CN109219959A - 图像处理装置及方法 - Google Patents

Abstract

本公开内容涉及图像处理装置及方法，其使得可以抑制主观图像质量的降低。利用与位于用于预测处理的当前块周围的周边块的大小对应的大小来设定该当前块，该预测处理用于生成待编码图像的预测图像，通过对所设定的当前块执行帧内预测处理来生成预测图像，并且使用生成的预测图像对待编码图像进行编码。该公开内容可应用于例如图像处理装置、图像编码装置、图像解码装置等。

Description

图像处理装置及方法

技术领域

本公开内容涉及图像处理装置及方法，并且更具体地，涉及能够抑制主观图像质量降低的图像处理装置及方法。

背景技术

近年来，视频编码联合工作组(JCTVC)一直致力于使被称为高效视频编码(HEVC)的编码方法标准化，以实现与MPEG-4Part10(高级视频编码，在下文中称为“AVC”)相比进一步提高的编码效率(例如，参照非专利文献1)。JCTVC是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化组织。

在AVC和HEVC中，针对每个块生成待编码图像的预测图像，并且生成该待编码图像与预测图像之间的残差信息。然后，对残差信息进行编码。

[引用列表]

[非专利文献]

[非专利文献1]

ITU-T，＂SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure ofaudiovisual services.Coding of moving video High efficiency video coding＂,ITU-T H.265(V3),2015-04-29

发明内容

[技术问题]

然而，在AVC和HEVC中，这些块是在诸如RD成本的数值性能的基础上设定的。因此，在待编码图像是人工生成的人工图像的情况下，存在主观图像质量降低的可能。

本发明即是鉴于上述情况提出的，并且本发明使得可以抑制主观图像质量的下降。

[问题的解决方案]

根据本技术的一个方面的图像处理装置包括：块设定单元，其被配置成根据位于用于预测处理的当前块的周边的周边块的大小来设定该当前块的大小，该预测处理生成待编码图像的预测图像；帧内预测单元，其被配置成对由块设定单元设定的当前块执行帧内预测处理并且生成预测图像；编码单元，其被配置成使用由帧内预测单元生成的预测图像对待编码图像进行编码。

周边块可以是与当前块的上侧相邻的上块和与当前块的左侧相邻的左块。在上块的大小和左块的大小彼此相同的情况下，块设定单元可以将当前块的大小设定成与上块的大小和左块的大小相同。

在上块的大小和左块的大小彼此不同的情况下，块设定单元可以将当前块的大小设定成等于或小于所述上块和所述左块中的大小较小的一个块的大小。

周边块可以是在当前块中参考了其像素值的参考块，并且块设定单元可以将当前块的大小设定成与该参考块的大小相同。

周边块可以是在当前块中参考了其像素值的参考块，并且块设定单元可以将当前块的大小设定成小于该参考块的大小。

待编码图像可以是人工生成的人工图像。

还可以包括人工图像确定单元，其被配置成确定待编码图像是否是人工生成的人工图像。在人工图像确定单元确定待编码图像是人工图像的情况下，块设定单元可以根据周边块的大小来设定当前块的大小。

在用户指定待编码图像是人工图像的情况下，人工图像确定单元可以确定待编码图像是人工图像。

在水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，人工图像确定单元可以确定待编码图像是人工图像。

在高频分量的数量小于预定标准的情况下，人工图像确定单元可以确定待编码图像是人工图像。

在像素值的变化小于预定标准的情况下，人工图像确定单元可以确定待编码图像是人工图像。

还可以包括区域确定单元，其被配置成确定当前块是否是由人工生成的人工图像构成的人工图像区域。在区域确定单元确定当前块是人工图像区域的情况下，块设定单元可以根据周边块的大小来设定当前块的大小。

在用户指定当前块是人工图像区域的情况下，区域确定单元可以确定当前块是人工图像区域。

在当前块的水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，区域确定单元可以确定当前块是人工图像区域。

在当前块中的高频分量的数量小于预定标准的情况下，区域确定单元可以确定当前块是人工图像区域。

在当前块中的像素值的变化小于预定标准的情况下，区域确定单元可以确定当前块是人工图像区域。

还可以包括：第一计算单元，其被配置成针对当前块计算在待编码图像与由帧内预测单元生成的预测图像之间的差并且生成残差图像；正交变换单元，其被配置成对由第一计算单元获得的残差图像执行正交变换；以及量化单元，其被配置成对由正交变换单元获得的残差图像的正交变换系数进行量化。编码单元可以对由量化单元获得的正交变换系数的量化系数进行编码。

还可以包括：逆量化单元，其被配置成对由量化单元获得的量化系数执行逆量化；逆正交变换单元，其被配置成对由逆量化单元获得的正交变换系数执行逆正交变换；第二计算单元，其被配置成将由帧内预测单元生成的预测图像添加至由逆正交变换单元获得的残差图像并且生成局部解码图像；以及去块滤波单元，其被配置成向由第二计算单元获得的解码图像应用去块滤波器。

帧内预测单元和编码单元可以使用符合ITU-T H.265|ISO/IEC 23008-2高效视频编码的方法来执行各个处理。

根据本技术的一个方面的图像处理方法包括：根据位于用于预测处理的当前块的周边的周边块的大小来设定该当前块的大小，该预测处理生成待编码图像的预测图像；对已设定的当前块执行帧内预测处理并且生成预测图像；以及使用已生成的预测图像对待编码图像进行编码。

在根据本技术的一个方面的图像处理装置和方法中，根据位于用于预测处理的当前块的周边的周边块的大小来设定该当前块的大小。预测处理将生成待编码图像的预测图像。对已设定的当前块执行帧内预测处理并且生成预测图像。使用已生成的预测图像对待编码图像进行编码。

[发明的有益效果]

根据本公开内容，可以对图像进行处理。特别地，可以抑制主观图像质量的降低。

附图说明

[图1]图1是示例性SG图像的视图。

[图2]图2是示出边界滤波处理的示例的图。

[图3]图3是示出去块滤波处理的示例的图。

[图4]图4是示出主观图像质量如何降低的示例的图。

[图5]图5是示出主观图像质量如何降低的示例的图。

[图6]图6是示出主观图像质量如何降低的示例的图。

[图7]图7是用于描述CU的递归块划分的概览的说明图。

[图8]图8是用于描述向图7所示的CU设定PU的说明图。

[图9]图9是用于描述向图7所示的CU设定TU的说明图。

[图10]图10是用于描述CU/PU扫描顺序的说明图。

[图11]图11是示出图像编码装置的主要配置的示例的框图。

[图12]图12是示出预处理单元的主要配置的示例的框图。

[图13]图13是示出如何进行块设定的示例的图。

[图14]图14是描述图像编码处理的流程的示例的流程图。

[图15]图15是描述预处理流程的示例的流程图。

[图16]图16是示出预处理单元的主要配置的示例的框图。

[图17]图17是描述预处理流程的示例的流程图。

[图18]图18是示出预处理单元的主要配置的示例的框图。

[图19]图19是描述预处理流程的示例的流程图。

[图20]图20是示出计算机的主要配置的示例的框图。

[图21]图21是示出电视装置的示意性配置的示例的框图。

[图22]图22是示出移动电话的示意性配置的示例的框图。

[图23]图23是示出了记录/重放装置的示意性配置的示例的框图。

[图24]图24是示出成像装置的示意性配置的示例的框图。

[图25]图25是示出视频设备的示意性配置的示例的框图。

[图26]图26是示出视频处理器的示意性配置的示例的框图。

[图27]图27是示出视频处理器的示意性配置的另一示例的框图。

[图28]图28是示出网络系统的示意性配置的示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的方式(在下文中称为“实施方式”)。注意，将按照下述顺序进行描述。

1.第一实施方式(图像编码装置)

2.第二实施方式(预处理单元)

3.第三实施方式(预处理单元)

4.第四实施方式(其他)

<1.第一实施方式>

<HEVC块大小>

近年来，视频编码联合工作组(JCTVC)一直致力于使被称为高效视频编码(HEVC)的编码方法标准化，以实现与MPEG-4Part10(高级视频编码，在下文中称为“AVC”)相比进一步提高的编码效率。JCTVC是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准化组织。

在HEVC标准中，针对每个块生成待编码图像的预测图像，并且生成该待编码图像与预测图像之间的残差信息。然后，对残差信息进行编码。此外，这些块的大小是在诸如RD成本的数值性能的基础上设定的。在HEVC标准的情况下，这些块的大小可以被设定为从64×64至8×8。注意，运动补偿(MC)块大小可以被设定为从64×64至8×8，而离散余弦变换(DCT)大小可以被设定为从32×32至4×4。

利用这个HEVC标准，在待编码图像是人工生成的人工图像的情况下，存在解码图像的主观图像质量降低的可能。

<SG图像>

将描述人工图像。人工图像为不是诸如捕获图像的自然图像的图像。人工图像的示例包括：SG图像，其是用于商业的测量信号；计算机生成的计算机图形(CG)图像；字幕；以及动画图像。图1中示出的图像10是示例性SG图像。如图像10的示例所示，SG图像通常包括竖直方向或水平方向上的斜坡信号(单调增加或单调减小的像素值)。

通常，与自然图像相比，人工图像具有诸如下述的特性：在竖直方向或水平方向上像素值更单调的增加或更单调的减小；噪声分量(高频分量)更少；并且像素值的变化更小。换句话说，与自然图像相比，在人工图像中，图像的变化小或者变化的规则性强。

<边界滤波处理>

顺便提及，HEVC采用边界滤波处理(其也被称为边界平滑化处理)作为进一步提高帧内预测效率的方式。边界滤波处理是为了抑制在诸如DC预测和水平/竖直预测的简单预测模式下在预测参考图像与预测图像之间产生的不连续性。

图2是描述边界滤波处理的图。在图2中，每个小方块表示一个像素，并且用粗线围绕的4×4像素表示当前块。图2的A示出了在DC预测的情况下如何执行边界滤波处理的示例。在DC预测的情况下，如下面的式(1)所示，以对角线图案对像素执行滤波处理。

predSamples[0][0]＝(p[-1][0]+2*dcVal+p[0][-1]+2)>>2

predSamples[x][0]＝(p[x][-1]+3*dcVal+2)>>2,其中x＝1..nTbS-1

predSamples[0][y]＝(p[-1][y]+3*dcVal+2)>>2,其中y＝1..nTbS-1

...(1)

注意，dcVal是周边像素(除了图2所示的当前块中的像素之外的像素(未被粗线围绕的区域中的像素))的平均值。例如，如下面的式(2)所示，通过参考周边像素p1的值来对图2的A中的像素p执行滤波处理。

p＝(p1+3*dcVal+2)>>2

...(2)

图2的B示出了在水平预测的情况下如何执行边界滤波处理的示例。在水平预测的情况下，如下面的式(3)所示，以对角线图案对像素执行滤波处理。

predSamples[x][y]＝Clip1_Y(p[-1][y]+((p[x][-1]-p[-1][-1])>>1))

其中x＝0..nTbS-1,y＝0

...(3)

例如，如下面的式(4)所示，通过参考周边像素p0至p2的值来对图2的B中的像素p执行滤波处理。

p＝(p2+(p1-p0))>>1

...(4)

图2的C示出了在竖直预测的情况下如何执行边界滤波处理的示例。在竖直预测的情况下，如下面的式(5)所示，以对角线图案对像素执行滤波处理。

predSamples[x][y]＝Clip1_Y(p[x][-1]+((p[-1][y]-p[-1][-1])>>1))

其中x＝0,y＝0..nTbS-1

...(5)

例如，如下面的式(6)所示，通过参考周边像素p0至p2的值来对图2的C中的像素p执行滤波处理。

p＝(p1+(P2-P0))>>1

...(6)

<去块滤波器>

接下来，将描述去块滤波器。去块滤波器是使用块边界线附近的像素并且沿块边界线(竖直边界和水平边界)施加的平滑处理。在HEVC中，有两种类型的滤波器可用：弱滤波器和强滤波器。根据边界处的像素值的变化来选择任何一个。在强滤波器的情况下，改变边界两侧的三个像素的像素值。在弱滤波器的情况下，改变边界两侧的一个像素或两个像素的像素值。

例如，图3示出了在边界处于竖直方向的情况下(在竖直边界的情况下)的去块滤波器的示例。在图3中，每个方块表示一个像素，并且竖直方向上的粗线表示边界(竖直边界)。在弱滤波器的情况下，当应用去块滤波器时，边界附近的像素值p0和p1以及像素值q0和q1被分别改变为像素值p0'和p1'以及像素值q0'和q1'，如下面的式(7)所示。此外，在强滤波器的情况下，边界附近的像素值p0至p2以及像素值q0至q2被分别改变为像素值p0'至p2'以及像素值q0'至q2'，如下面的式(8)所示。

弱滤波器

Δ＝(9*(q0-p0)-3*(q1-p1)+8)>>4

p0’＝Clip1_Y(p0+Δ)

q0’＝Clip1_Y(q0-Δ)

Δp＝(((p2+p0+1)>>1)-p1-Δ)>>1)

Δq＝(((q2+q0+1)>>1)-q1-Δ)>>1)

p1’＝Clip1_Y(p1+Δp)

q1’＝Clip1_Y(q1+Δq)

...(7)

强滤波器

p0’＝Clip3(p0-2*t_C,p0+2*t_C,(p2+2*p1+2*p0+2*q0+q1+4)>>3)

p1’＝Clip3(p1-2*t_C,p1+2*t_C,(p2+p1+p0+q0+2)>>2)

p2’＝Clip3(p2-2*t_C,p2+2*t_C,(2*p3+3*p2+p1+p0+q0+4)>>3)

q0’＝Clip3(q0-2*t_C,q0+2*t_C,(p1+2*p0+2*q0+2*q1+q2+4)>>3)

q1’＝Clip3(q1-2*t_C,q1+2*t_C,(p0+q0+q1+q2+2)>>2)

q2’＝Clip3(q2-2*t_C,q2+2*t_C,(p0+q0+q1+3*q2+2*q3+4)>>3)

...(8)

<主观图像质量的劣化>

在图4中，每个方块表示一个像素，并且粗线表示块边界。具体地，在图4中，在上侧示出了8×8像素的块(也被称为8×8块)，而在下侧示出了16×16像素的块(也被称为16×16块)。在图4中，例如，当向每个8×8块应用竖直预测时，通过边界滤波处理，在每个8×8块的竖直方向上与边界相邻的像素的像素(图中对角线图案中的像素)值被改变(即，劣化)。

接下来，当向每个16×16块应用竖直预测时，每个8×8块的像素值被复制到对应的16×16块。也就是说，如图中的对角线图案所示，8×8块的被劣化的像素值也反映在16×16块中，从而使像素列41至44劣化。

在这些像素列中，像素列41和像素列43是16×16块的边界附近的像素列。因此，通过上述去块滤波器抑制了劣化。然而，由于像素列42和像素列44不是边界附近的像素列，因此不能应用去块滤波器。因此，劣化仍然存在。通过使用这样的图像作为参考图像，像素值的劣化会进一步传播。这种图像质量的劣化可能导致解码图像的主观图像质量的降低。

图5和图6示出了图4的配置中的像素值的具体示例。图5和图6的上侧的每个方块对应于图4中的8×8块的每个像素，并且每个数字代表对应的像素值。类似地，图5和图6的下侧的每个方块对应于图4中的16×16块的每个像素，并且每个数字代表对应的像素值。

图5示出了如何通过边界滤波器改变像素值的示例。在图5中，图中的对角线图案中的与8×8块的边界相邻的像素的像素值已被改变为与其他像素的像素值不同的值。此外，像素值的这些变化也已传播至16×16块。

图6示出了应用去块滤波器之后的像素值。在图6中，灰色像素表示已经应用去块滤波器的像素。如图6所示，向8×8块的几乎所有像素应用了去块滤波器。因此，减轻了像素值的变化。相反，在16×16块的情况下，不向未处于边界附近的像素应用去块滤波器。因此，对角线图案中的像素的像素值的变化(即，图像质量的劣化)几乎保留。

特别地，如上所述，在人工图像的情况下，存在一些噪声分量，并且变化小或者变化的规律性强。因此，不符合规律性的像素值的劣化是主观上可察觉的。此外，换句话说，很可能由于人工图像的这种特性而导致图像是平坦的或者在水平方向或竖直方向上存在单调增加或单调减小。因此，很可能应用上述DC预测、水平预测或竖直预测。因此，可能发生上述像素值的劣化。

<对块大小的限制>

鉴于这种情况，根据位于用于预测处理的当前块的周边的周边块的大小来设定该当前块的大小。预测处理将生成待编码图像的预测图像。以这种方式，可以抑制解码图像的主观图像质量的降低。

<块划分>

顺便提及，在诸如运动图像专家组2(MPEG2)(ISO/IEC 13818-2)和MPEG-4部分10(高级视频编码，在下文中称为AVC)的传统图像编码方法中，对被称为宏块的每个处理单元执行编码处理。宏块是具有16×16像素的等大小的块。相反，在高效视频编码(HEVC)中，对被称为编码单元(CU)的每个处理单元(进行编码的单位)执行编码处理。CU是具有可变大小的块，并且其是通过递归地划分最大编码单元(LCU)而形成的。LCU是最大编码单元。可选择的最大的CU大小为64×64像素。可选择的最小的CU大小为8×8像素。具有最小大小的CU被称为最小编码单元(SCU)。注意，最大CU大小不限于64×64像素，而可以是更大的块大小，例如128×128像素和256×256像素。

作为以这种方式采用具有可变大小的CU的结果，HEVC能够根据图像的内容自适应地调整图像质量和编码效率。对被称为预测单元(PU)的每个处理单元(进行预测的单位)执行用于预测编码的预测处理。PU是通过使用若干划分图案中的一个来划分CU而形成的。此外，PU由针对亮度(Y)和色差(Cb，Cr)的被称为预测块(PB)的各个处理单元(预测块)组成。此外，对被称为变换单元(TU)的每个处理单元(进行变换的单位)执行正交变换处理。TU是通过将CU或PU划分为特定深度而形成的。此外，TU由针对每个亮度(Y)和色差(Cb，Cr)的被称为变换块(TB)的各个处理单元(变换块)组成。

<递归块划分>

图7是用于描述HEVC中的CU的递归块划分的概览的说明图。通过将一个块递归地划分为四个(＝2×2个)子块来执行CU块划分。重复这种划分从而形成四叉树形式的树结构。一个完整的四叉树被称为编码树块(CTB)。与CTB对应的逻辑单元被称为编码树单元(CTU)。

作为示例，在图7的上部示出了C01。C01是大小为64×64像素的CU。C01划分的深度等于零。这意味着C01是CTU的根并且对应于LCU。可以通过被编码在序列参数集(SPS)或图片参数集(PPS)中的参数来指定LCU的大小。作为CU的C02是从C01划分的四个CU之一，并且其大小为32×32像素。C02划分的深度等于1。作为CU的C03是从C02划分的四个CU之一，并且其大小为16×16像素。C03划分的深度等于2。作为CU的C04是从C03划分的四个CU之一，并且其大小为8×8像素。C04划分的深度等于3。以这样的方式，通过递归地划分待编码图像来形成CU。划分的深度是可变的。例如，对于诸如蓝天的平坦图像区域，可以设定具有更大大小(即，更小深度)的CU。在另一方面，对于包括许多边缘的陡峭图像区域，可以设定具有更小的大小(即，更大深度)的CU。然后，已设定的CU中的每个CU用作编码处理中的处理单元。

<向CU设定PU>

PU是用于包括帧内预测和帧间预测的预测处理的处理单元。PU是通过使用若干划分图案中的一个来划分CU而形成的。图8是用于描述向图7所示的CU设定PU的说明图。在图8的右侧示出了2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N的八个划分图案。在这些划分图案中，两个图案即2N×2N和N×N是可选择的以用于帧内预测(N×N仅可在SCU中是可选择的)。相反，在帧间预测的情况下，在启用非对称运动分区的情况下，所有八个划分图案都是可选择的。

<向CU设定TU>

TU是用于正交变换处理的处理单元。TU是通过将CU(用于帧内CU的CU中的每个PU)划分为特定深度而形成的。图9是用于描述向图8所示的CU设定TU的说明图。在图9的右侧示出了可以向C02设定的多于一个的TU。例如，作为TU的T01的大小为32×32像素，并且其TU划分深度等于零。作为TU的T02的大小为16×16像素，并且其TU划分深度等于1。作为TU的T03的大小为8×8像素，并且其TU划分深度等于2。

通常，基于对影响编码效率的成本的比较来确定执行什么块划分，从而向图像设定诸如CU、PU和TU的上述块。例如，编码器对一个具有2M×2M像素的CU与四个具有M×M像素的CU之间的成本进行比较。在设定四个具有M×M像素的CU会实现更高的编码效率的情况下，编码器确定将具有2M×2M像素的CU划分为四个具有M×M像素的CU。

<对CU和PU的扫描顺序>

当对图像进行编码时，将按照光栅扫描顺序扫描CTB(或LCU)。在图像(或切片或图块)中以格子图案设定CTB(或LCU)。在一个CTB中，以下述方式扫描CU：从左到右且从顶部到底部沿迹追踪四叉树。当处理当前块时，将与其上方和左侧的相邻块相关联的信息用作输入信息。图10是用于描述对CU和PU的扫描顺序的说明图。在图10的左上方，示出了可以被包括在一个CTB中的四个CU，即C10、C11、C12和C13。每个CU的帧中的数字表示处理顺序。编码处理按照下述顺序执行：作为左上方的CU的C10、作为右上方的CU的C11、作为左下方的CU的C12、作为右下方的CU的C13。在图10的右侧示出了可以向作为CU的C11设定的用于帧间预测的多于一个的PU。在图10的底部示出了可以向作为CU的C12设定的用于帧内预测的多于一个的PU。如这些PU的帧中的数字所示，还扫描PU以从左到右且从顶部到底部进行沿迹追踪。

在下文中，有时可以使用“块”作为部分区域或图像(图片)的处理单元来给出描述(“块”不是指处理单元的块)。在这种情况下，“块”指示图片内的任意部分区域，并且对块的大小、形状、特性等没有限制。也就是说，这种情况下的“块”包括任意部分区域(处理单元)，例如TB、TU、PB、PU、SCU、CU、LCU(CTB)、子块、宏块、图块和切片。

<图像编码装置>

图11是示出根据应用本技术的图像处理装置的一个方面的图像编码装置的配置的示例的框图。图11所示的图像编码装置100是使用符合ITU-T H.265|ISO/IEC 23008-2高效视频编码(HEVC)的方法对运动图像的图像数据进行编码的装置。注意，图11示出了主处理单元和数据流；并且图11所示的处理单元和数据流不一定是全部。也就是说，图像编码装置100可以包括未被示为图11中的块的处理单元并且/或者可以包括未被示为图11中的箭头等的处理或数据流。

如图11所示，图像编码装置100包括预处理缓冲器111、预处理单元112、计算单元113、正交变换单元114、量化单元115、编码单元116和累积缓冲器117。此外，图像编码装置100包括逆量化单元118、逆正交变换单元119、计算单元120、滤波器121、帧存储器122、帧内预测单元123、帧间预测单元124、预测图像选择单元125和速率控制单元126。

在这种情况下的图像编码装置100中，输入人工图像作为输入图像。预处理缓冲器111按显示顺序存储输入的人工图像的每帧图像数据。预处理单元112对预处理缓冲器111中存储的图像数据执行处理。该处理包括帧的重新排列、元数据的生成、块的设定等。当预处理结束时，图像数据和与编码相关联的各种信息被提供至各种处理单元。例如，图像数据被提供至计算单元113、帧内预测单元123和帧间预测单元124。此外，元数据等被提供至编码单元116和其他处理单元。

计算单元113从从预处理缓冲器111读取的图像中减去预测图像。预测图像已经通过预测图像选择单元125由帧内预测单元123或帧间预测单元124提供。然后，计算单元113获得残差信息(也被称为残差数据)，其是图像与预测图像之间的差。例如，在对其执行帧内编码的图像的情况下，计算单元113将已由帧内预测单元123提供的预测图像从从预处理缓冲器111读取的图像中减去。进一步，例如，在对其执行帧间编码的图像的情况下，计算单元113将已由帧间预测单元124提供的预测图像从从预处理缓冲器111读取的图像中减去。计算单元113将获得的残差数据提供至正交变换单元114。

使用预定方法，正交变换单元114对由计算单元113提供的残差数据执行正交变换。正交变换单元114将已对其执行正交变换的残差数据(也被称为正交变换系数)提供至量化单元115。

量化单元115使用预定方法对该正交变换系数进行量化。量化单元115根据由速率控制单元126提供的代码量的目标值(target_bitrate)来设定量化参数并执行量化。量化单元115将量化的残差数据(也被称为量化数据)提供至编码单元116和逆量化单元118。

编码单元116对由量化单元115提供的量化数据进行编码。此外，编码单元116从预测图像选择单元125获得与最佳预测模式相关联的信息。此外，编码单元116能够从任意处理单元获得任意信息。编码单元116对这些各种信息进行编码。以这种方式，编码单元116对与图像相关联的信息进行编码并生成编码数据。编码单元116将获得的编码数据提供至累积缓冲器117，使累积缓冲器117累积编码数据。

累积缓冲器117临时存储从编码单元116提供的编码数据。累积缓冲器117例如在预定定时将所存储的编码数据作为比特流输出至图像编码装置100的外部。例如，该编码数据通过任意记录介质、任意传送介质、任意信息处理装置等被传送到解码侧。换句话说，累积缓冲器117还用作发送编码数据的发送单元。

逆量化单元118使用与由量化单元115执行的量化对应的方法来对量化数据执行逆量化。逆量化单元118将已对其执行逆量化的量化数据(也被称为正交变换系数)提供至逆正交变换单元119。

逆正交变换单元119使用与由正交变换单元114执行的正交变换处理对应的方法来对该正交变换系数执行逆正交变换。逆正交变换单元119将已对其执行逆正交变换的正交变换系数(也被称为还原的残差数据)提供至计算单元120。

计算单元120向还原的残差数据添加通过预测图像选择单元125从帧内预测单元123或帧间预测单元124提供的预测图像。然后，计算单元120获得局部重建的图像(也被称为重建图像)。例如，在对其执行帧内编码的图像的情况下，计算单元120将从帧内预测单元123提供的预测图像添加至还原的残差数据。此外，例如，在对其执行帧间编码的图像的情况下，计算单元120将从帧间预测单元124提供的预测图像添加至还原的残差数据。计算单元120将获得的重建图像提供至滤波器121和帧内预测单元123。

滤波器121适当地对重建图像执行滤波处理，例如去块滤波器。滤波器121将滤波处理的结果(称为解码图像)提供至帧存储器122。

帧存储器122将解码图像存储在帧存储器122自身的存储区域中。此外，帧存储器122在预定定时将存储的解码图像作为参考图像提供至帧间预测单元124。

帧内预测单元123执行使用待处理图片中的像素值生成预测图像的帧内预测(画面内预测)。待处理图片是从计算单元120提供的作为参考图像的重建图像。例如，帧内预测单元123执行预先设置的多种帧内预测模式的帧内预测(例如，DC预测、水平预测、竖直预测)。帧内预测单元123生成所有候选帧内预测模式下的预测图像以选择最佳模式。在帧内预测单元123选择最佳帧内预测模式之后，帧内预测单元123将在该最佳帧内预测模式下生成的预测图像、帧内预测模式信息等作为与预测结果相关联的信息提供至预测图像选择单元125。帧内预测模式信息是与帧内预测相关联的信息，例如指示最佳帧内预测模式的索引。

帧间预测单元124使用从预处理缓冲器111提供的输入图像和从帧存储器122提供的参考图像来执行帧间预测处理(运动预测处理和补偿处理)。更具体地，作为帧间预测处理，帧间预测单元124根据通过执行运动预测而检测到的运动矢量来执行运动补偿处理。然后，帧间预测单元124生成预测图像(帧间预测图像信息)。例如，帧间预测单元124执行预先设置的多种帧间预测模式下的帧间预测。帧间预测单元124生成所有候选帧间预测模式下的预测图像以选择最佳模式。在帧间预测单元124选择最佳帧间预测模式之后，帧间预测单元124将在该最佳帧间预测模式下生成的预测图像、帧间预测模式信息等作为与预测结果相关联的信息提供至预测图像选择单元125。帧间预测模式信息是与帧间预测相关联的信息，例如指示最佳帧内预测模式的索引和运动信息。

预测图像选择单元125从帧内预测单元123和帧间预测单元124获得与预测结果相关联的上述信息。预测图像选择单元125选择与预测结果相关联的多条信息中的任何一条以选择该区域的预测模式。具体地，预测图像选择单元125选择(最佳)帧内预测模式和(最佳)帧间预测模式中的任一个作为最佳预测模式。预测图像选择单元125将所选模式下的预测图像提供至计算单元113和计算单元120。此外，预测图像选择单元125将与已选择的预测结果相关联的多条信息中的部分或全部信息作为与最佳预测模式相关联的信息提供至编码单元116，使编码单元116将该信息存储在编码数据中。

为了防止发生上溢或下溢，速率控制单元126基于累积缓冲器117中累积的编码数据的代码量来控制量化单元115正在执行的量化操作的速率。

<预处理单元>

图12是示出预处理单元112的主要配置的示例的框图。如图12所示，预处理单元112包括画面重排单元151、元数据设定单元152和人工图像块设定单元153。

画面重排单元151将在预处理缓冲器111中以显示顺序存储的图像数据的每帧的顺序重新排列为基于图片组(GOP)的编码顺序。元数据设定单元152生成元数据，例如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和切片头。注意，由元数据设定单元152设定的元数据是任意的，并且不限于这些示例。元数据设定单元152将设定的元数据提供至任意处理单元，例如编码单元116。

在人工图像模式中，人工图像块设定单元153对当前图片执行块设定，当前图像是指在预处理缓冲器111中存储的人工图像的图像数据的处理目标。人工图像与诸如自然图像的普通图像不同。例如，作为人工图像模式，人工图像块设定单元153根据位于用于预测处理的当前块的周边的周边块的大小来设定该当前块的大小。预测处理将生成待编码图像的预测图像。例如，人工图像块设定单元153将与当前块的顶部相邻的上块和与当前块的左边相邻的左块视为当前块的周边块，并且根据该上块的大小和左块的大小来设定当前块的大小。

例如，如图13的A所示，在与当前块(当前)的顶部相邻的上块(上)的大小(N×N)和与当前块(当前)的左边相邻的左块(左)的大小(N×N)彼此相同的情况下，人工图像块设定单元153可以将当前块(当前)的大小设定成与上块(上)和左块(左)中的每个的大小(N×N)相同(即，设定为N×N)。

此外，如图13的B所示，例如，在上块(上)的大小(N×N)与左块(左)的大小(M×M)彼此不同的情况下，人工图像块设定单元153可以将当前块(当前)的大小(S×S)设定成等于或小于这些块中的下述一个块的大小，该一个块的大小小于这些块中的另一个块的大小(即，S＜＝min(M，N))。

此外，例如，人工图像块设定单元153可以将当前块(当前)的大小设定成与像素值被参考的参考块的大小相同。例如，如图13的C所示，在左块(左)是参考块的情况下，人工图像块设定单元153可以将当前块(当前)的大小设定成与左块(左)的大小(M×M)相同(即，设定为M×M)。

此外，如图13的D所示，例如，在左块(左)是参考块的情况下，人工图像块设定单元153可以将当前块(当前)的大小(S×S)设定成等于或小于左块(左)的大小(M×M)(即，S<＝M)。

人工图像模式中的块设定方法是任意的，只要块设定方法是基于周边块的大小即可。可以应用上述四种示例性方法中的一种，或者可以应用除了上述四种示例性方法之外的方法。此外，可以将多种方法设定为候选，并且可以根据情况选择和应用这些方法中的一种。该选择可以基于例如块大小或参考方向来进行。注意，周边块可以是除了上述上块和左块之外的块，只要周边块是已被处理(编码)的块即可。例如，周边块可以是在对角线方向上与当前块相邻的块，或者可以是与当前块不相邻的块。

在HEVC标准的情况下，块设定是基于诸如RD成本的数值性能而执行的。在图11所示的图像编码装置100的情况下，如上所述人工图像块设定单元153基于周边块的大小来设定当前块的大小。例如，通过将块的大小与周边块的大小对准，图像编码装置100能够防止像素值的变化(图像质量的劣化)传播，从而抑制解码图像的主观图像质量的降低。

<图像编码处理的流程>

接下来，将描述由图像编码装置100执行的处理。首先，将参照图14中的流程图描述图像编码处理的流程的示例。当图像编码装置100对人工图像进行编码时，执行图像编码处理。

当图像编码处理开始时，在步骤S101中，预处理单元112对已被输入图像编码装置100中并被存储在预处理缓冲器111中的人工图像的图像数据执行预处理。

在步骤S102中，帧内预测单元123、帧间预测单元124和预测图像选择单元125执行各个预测处理，以生成最佳预测模式下的预测图像等。具体地，在该预测处理中，帧内预测单元123执行帧内预测以生成最佳帧内预测模式下的预测图像等。帧间预测单元124执行帧间预测以生成最佳帧间预测模式下的预测图像等。在这些预测模式中，预测图像选择单元125选择比其它预测模式更佳的预测模式。

在步骤S103中，计算单元113计算作为输入图像的人工图像与通过步骤S102中的预测处理选择的最佳模式下的预测图像之间的差。也就是说，计算单元113生成输入图像与预测图像之间的残差数据。与原始图像数据相比，以这种方式获得的残差数据具有减少的数据量。因此，与按原样对图像进行编码的情况相比，这可以实现对数据量的压缩。

在步骤S104中，正交变换单元114对通过步骤S103中的处理生成的残差数据执行正交变换。

在步骤S105中，量化单元115使用由速率控制单元126计算的量化参数等对通过步骤S104中的处理获得的正交变换系数进行量化。

在步骤S106中，逆量化单元118使用与在步骤S105中执行的量化的特性对应的特性来对通过步骤S105中的处理生成的量化数据执行逆量化。

在步骤S107中，逆正交变换单元119使用与在步骤S104中执行的正交变换对应的方法来对通过步骤S106中的处理获得的正交变换系数执行逆正交变换。

在步骤S108中，计算单元120将通过步骤S102中的预测处理获得的预测图像添加至通过步骤S107中的处理还原的残差数据，从而生成重建图像的图像数据。

在步骤S109中，滤波器121对通过步骤S108中的处理生成的重建图像的图像数据执行诸如去块滤波的滤波处理。

在步骤S110中，帧存储器122存储通过步骤S109中的处理而局部解码并获得的解码图像。

在步骤S111中，编码单元116对通过步骤S105中的处理获得的量化残差数据进行编码。例如，编码单元116对量化残差数据执行基于上下文的自适应二进制算术编码(CABAC)以生成编码数据。此外，编码单元116对通过步骤S101中的处理生成的元数据进行编码，并且将该元数据添加至编码数据。此外，编码单元116适当地对与量化相关联的信息、与预测相关联的信息等进行编码，并且将这些信息添加至编码数据。

在步骤S112中，累积缓冲器117累积通过步骤S111中的处理获得的编码数据等。在累积缓冲器117中累积的编码数据等被适当地读取为例如比特流，并且通过传送路径或记录介质被传送至解码侧。

在步骤S113中，速率控制单元126基于通过步骤S112中的处理而在累积缓冲器117中累积的编码数据的代码量(生成的代码量)等来控制步骤S105中的量化处理的速率。这是为了防止发生上溢或下溢。

当步骤S113中的处理结束时，图像编码处理结束。

注意，这些处理中的每个处理的处理单元是任意的，并且各个处理之间的处理单元不一定相同。因此，每个步骤处的处理可以适当地与另一步骤处的处理并行执行或者可以以不同的处理顺序执行。

<预处理流程>

接下来，将参照图15中的流程图来描述在图14的步骤S101中执行的预处理的流程的示例。当预处理开始时，在步骤S131中，画面重排单元151将预处理缓冲器111中存储的图像数据的帧从显示顺序重新排列为编码顺序。

在步骤S132中，元数据设定单元152设定各种元数据。

在步骤S133中，人工图像块设定单元153在人工图像模式下执行块划分。与每个划分的块相关联的信息被适当地提供至任意处理单元。被提供该信息的处理单元基于块划分来执行相应的处理。

当步骤S133中的处理结束时，预处理结束。处理返回至图14中的处理。

通过执行如上所述的每个处理，图像编码装置100能够对人工图像进行编码以抑制由边界滤波处理导致的图像质量劣化的传播。换句话说，图像编码装置100能够抑制解码图像的主观图像质量的降低。

<2.第二实施方式>

<人工图像的确定>

虽然在第一实施方式中是假设将人工图像输入到图像编码装置100中，但是图像编码装置100也可以识别人工图像。

<预处理单元>

同样在这种情况下，图像编码装置100的配置基本上类似于第一实施方式中的配置(图11)。然而，图16中示出了用于该情况的预处理单元112的主要配置的示例。在这种情况下，除了第一实施方式中描述的配置(图12)之外，预处理单元112还包括人工图像确定单元201和普通图像块设定单元202。

人工图像确定单元201确定输入的图像是否为人工图像。该确定方法是任意的。例如，可以基于例如用户指定来进行人工图像确定。具体地，在用户等指定“输入图像是人工图像”的情况下，人工图像确定单元201可以确定输入图像是人工图像。在不存在用户指定等的情况下，人工图像确定单元201可以确定输入图像是诸如自然图像的普通图像。

此外，可以基于例如在水平方向或竖直方向上是否发生像素值单调增加或单调减小来进行人工图像确定。具体地，人工图像确定单元201可以计算水平方向(即，像素行)和竖直方向(即，像素列)中的每个方向上的相邻像素之间的像素值的差异，并且基于该差异确定是否发生像素值的单调增加或单调减小。基于确定的结果，人工图像确定单元201可以做出人工图像确定。例如，在人工图像确定单元201确定发生了像素值单调增加或单调减小的情况下，人工图像确定单元201可以确定输入图像是人工图像。在人工图像确定单元201确定没有发生像素值单调增加或单调减小的情况下，人工图像确定单元201可以确定输入图像是普通图像。注意，确定标准不一定是像素值单调增加或单调减小。例如，在像素列或像素行中的像素值中观察到预定的重复图案的情况下，人工图像确定单元201可以确定输入图像是人工图像。

此外，例如，可以基于通过对输入图像(残差数据)执行的诸如离散余弦变换(DCT)或阿达玛(Hadamard)变换的正交变换而获得的正交变换系数的高频分量来进行人工图像确定。例如，在正交变换系数中的高频分量的数量小于预定标准(例如，预定阈值)的情况下，人工图像确定单元201可以确定输入图像是人工图像。在正交变换系数中的高频分量的数量等于或大于预定标准的情况下，人工图像确定单元201可以确定输入图像是普通图像。

此外，例如，可以计算输入图像的像素值的分散，并且可以基于变化水平进行人工图像确定。例如，在输入图像的像素值的变化小于预定标准(例如，预定阈值)的情况下，人工图像确定单元201可以确定输入图像是人工图像。在输入图像的像素值的变化等于或大于预定标准的情况下，人工图像确定单元201可以确定输入图像是普通图像。

当然，可以使用除这些方法之外的方法来确定输入图像。此外，可以以组合方式使用多种方法。例如，在多种方法中的甚至仅一个方法确定输入图像是人工图像的情况下，该输入图像可以被确定为人工图像。此外，在多种方法中的预定数量的或更多的方法确定输入图像是人工图像的情况下，该输入图像可以被确定为人工图像。此外，可以对每种方法进行加权。此外，权重可以是可变的。例如，可以根据情况或者可以基于例如确定的历史来更新权重。

基于诸如RD成本的数值性能，普通图像块设定单元202对被确定为普通图像的输入图像执行块设定。也就是说，普通图像块设定单元202使用与HEVC标准类似的方法来设定块。

<预处理流程>

同样在这种情况下，图像编码装置100以与第一实施方式类似的方式执行图像编码处理(图14)。将参照图17中的流程图来描述针对这种情况在图14的步骤S101中执行的预处理的流程的示例。当预处理开始时，以与图15的步骤S131和步骤S132中的处理类似的方式分别执行步骤S201和步骤S202中的处理。

在步骤S203中，人工图像确定单元201确定输入图像是否是人工图像。在输入图像被确定为人工图像的情况下，处理进行到步骤S204。

在步骤S204中，人工图像块设定单元153将已被确定为人工图像的输入图像划分为人工图像模式下的块。与每个划分的块相关联的信息被适当地提供至任意处理单元。被提供该信息的处理单元基于块划分来执行相应的处理。当步骤S204中的处理结束时，预处理结束。处理返回至图14中的处理。

此外，在步骤S203中确定输入图像是普通图像的情况下，处理进行到步骤S205。

在步骤S205中，普通图像块设定单元202将已被确定为普通图像的输入图像划分为普通图像模式下的块。也就是说，基于诸如RD成本的数值性能来设定块。与每个划分的块相关联的信息被适当地提供至任意处理单元。被提供该信息的处理单元基于块划分来执行相应的处理。当步骤S205中的处理结束时，预处理结束。处理返回至图14中的处理。

通过执行如上所述的每个处理，图像编码装置100能够根据输入图像是否为人工图像来适当地执行块划分。因此，在输入图像是人工图像的情况下，图像编码装置100能够抑制解码图像的主观图像质量的降低。在输入图像是普通图像的情况下，图像编码装置100能够抑制编码效率的不必要的降低。

<3.第三实施方式>

<人工图像区域的确定>

在第二实施方式给出的描述中，图像编码装置100确定输入图像是否为人工图像。然而，还可能存在输入图像的一部分是人工图像。具体地，图像编码装置100可以能够检测在输入图像中包括的人工图像区域，并且针对每个检测到的区域执行与图像的特性对应的块划分。

<预处理单元>

同样在这种情况下，图像编码装置100的配置基本上类似于第一实施方式中的配置(图11)。然而，图18中示出了用于该情况的预处理单元112的主要配置的示例。在这种情况下，预处理单元112包括人工图像区域确定单元301以替代第二实施方式中描述的配置(图16)中的人工图像确定单元201。

人工图像区域确定单元301检测由输入图像(每个帧)中的人工图像构成的部分区域(也被称为人工图像区域)。确定(检测)人工图像区域的方法是任意的。例如，可以基于例如用户指定来确定人工图像区域。具体地，人工图像区域确定单元301可以确定被用户等指定为“人工图像区域”的部分区域是人工图像区域，并且确定其他区域是由诸如自然图像的普通图像构成的区域(普通图像区域)。

此外，可以基于例如在水平方向或竖直方向上是否发生像素值单调增加或单调减小来确定人工图像区域。例如，人工图像区域确定单元301可以计算在水平方向(即，像素行)和竖直方向(即，像素列)中的每个方向上的相邻像素之间的像素值的差异，并且基于该差异即是否发生像素值单调增加或单调减小来确定人工图像区域。也就是说，人工图像区域确定单元301可以确定已经确定其中发生像素值单调增加或单调减小的区域是人工图像区域，并且确定已经确定其中未发生像素值单调增加或单调减小的区域是普通图像。注意，确定标准不一定是像素值单调增加或单调减小。例如，在像素列或像素行中的像素值中观察到预定的重复图案的情况下，人工图像区域确定单元301可以确定该区域是人工图像区域。

此外，例如，可以基于通过对输入图像(残差数据)执行的诸如离散余弦变换(DCT)或阿达玛(Hadamard)变换的正交变换而获得的正交变换系数的高频分量来确定人工图像区域。例如，人工图像区域确定单元301可以确定其中正交变换系数中的高频分量的数量小于预定标准(例如，预定阈值)的区域是人工图像，并且确定其中正交变换系数中的高频分量的数量等于或大于预定标准的区域是普通图像。

此外，例如，可以计算输入图像的像素值的分散，并且可以基于变化水平来确定人工图像区域。例如，人工图像区域确定单元301可以确定其中像素值的变化小于预定标准(例如，预定阈值)的区域是人工图像，并且确定其中像素值的变化等于或大于预定标准的区域是普通图像。

当然，可以使用除这些方法之外的方法来确定输入图像。此外，可以以组合方式使用多种方法。例如，被多种方法中的甚至仅一种方法确定为人工图像区域的区域可以被确定为人工图像区域。此外，被多种方法中的预定数量的或更多方法确定为人工图像区域的区域可以被确定为人工图像区域。此外，可以对每种方法进行加权。此外，权重可以是可变的。例如，可以根据情况或者可以基于例如确定的历史来更新权重。

注意，可以针对预先确定的预定大小的每个部分区域进行区域确定。也就是说，人工图像区域确定单元301可以确定每个部分区域是否为人工图像区域。此外，可以针对每个像素进行区域确定。也就是说，人工图像区域确定单元301可以识别每个像素是属于人工图像区域还是属于普通图像区域。注意，例如，可以使用对过去处理的帧例如前一帧(也被称为过去帧)的区域确定结果来确定待处理的当前帧的区域。例如，过去帧的区域确定结果可以被用作区域确定的初始值。

<预处理流程>

同样在这种情况下，图像编码装置100以与第一实施方式类似的方式执行图像编码处理(图14)。将参照图19中的流程图来描述针对这种情况在图14的步骤S101中执行的预处理的流程的示例。当预处理开始时，以与图15的步骤S131和步骤S132中的处理类似的方式分别执行步骤S301和步骤S302中的处理。

在步骤S303中，人工图像区域确定单元301检测输入图像的当前帧中的人工图像区域。也就是说，人工图像区域确定单元301将当前帧划分为人工图像区域和除人工图像区域之外的区域(普通图像区域)。

在步骤S304中，人工图像块设定单元153将被确定为人工图像区域的区域划分为人工图像模式下的块。具体地，人工图像块设定单元153根据周边块的大小来设定在输入图像的当前帧中包括的人工图像区域中的当前块的大小。

在步骤S305中，普通图像块设定单元202将被确定为普通图像区域的区域划分为普通图像模式下的块。具体地，人工图像块设定单元153基于诸如RD成本的数值性能来设定在输入图像的当前帧中包括的普通图像区域中的当前块的大小。

当步骤S305中的处理结束时，预处理结束。处理返回至图14中的处理。

通过执行如上所述的每个处理，即使在输入图像的帧是人工图像(区域)和普通图像(区域)的混合的情况下，图像编码装置100也能够将每个区域适当地划分为块。因此，图像编码装置100能够抑制解码图像的主观图像质量的降低，同时抑制编码效率的降低。

<4.第四实施方式>

<信息的数据单位>

其中设定有上述与图像相关联的信息和与图像编码/解码相关联的信息的各个数据单位(或目标数据的数据单位)是任意的，并且不限于上述示例。例如，可以针对每个TU、TB、PU、PB、CU、LCU、子块、块、图块、切片、图片、序列或分量来设定这些信息中的每条信息，或者可以以这些数据单位中的数据为目标。不必说，针对每条信息设定数据单位。换句话说，可以不必为每个相同的数据单位设定所有信息(或者说，每个相同的数据单位不必以所有信息为目标)。注意，这些信息可以被存储在任意位置，并且可以被存储在上述各个数据单位的头、参数集等中。此外，这些信息可以被存储在多个位置。

<编码>

本技术可以应用于其中执行帧内预测的任意图像编码。也就是说，变换(逆变换)、量化(逆量化)、编码、帧间预测、滤波处理等的规格是任意的，并且不限于上述示例。此外，可以省略这些处理中的部分或全部。

<本技术的应用领域>

应用了本技术的系统、装置、处理单元等可以被用在任意领域中，例如交通、医疗、犯罪预防、农业、畜牧业、采矿业、美妆、工厂、家用电器、天气和自然监控。

例如，本技术还可以应用于用于传送供观看的图像的系统和装置。此外，例如，本技术还可以应用于用于交通的系统和装置。此外，例如，本技术还可以应用于用于安全的系统和装置。此外，例如，本技术还可以应用于用于体育业的系统和装置。此外，例如，本技术还可以应用于用于农业的系统和装置。此外，例如，本技术还可以应用于用于畜牧业的系统和装置。此外，例如，本技术还可以应用于用于监测自然界例如火山、森林和海洋的状态的系统和装置。此外，例如，本技术还可以应用于用于观测天气、温度、湿度、风速、日照时间等的天气观测系统和天气观测装置。此外，例如，本技术还可以应用于用于观察野生动物例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫和植物的生态的系统、装置等。

<应用于多视图图像编码系统>

上述一系列处理可以应用于用于对包括具有多个视点(视图)的图像的多视图图像进行编码的多视图图像编码系统。在这种情况下，本技术可以应用于对每个视点(视图)进行编码。

<应用于分层图像编码系统>

此外，上述一系列处理可以应用于用于对分层图像进行编码的分层图像编码(可伸缩编码)系统。分层图像是多层的(分层的)以便具有针对预定参数的可伸缩功能。在这种情况下，本技术可以应用于对每个层级(层)进行编码。

<计算机>

上述一系列处理可以通过硬件或软件来执行。在通过软件执行所述一系列处理的情况下，在计算机中安装构成该软件的程序。这里，计算机的示例包括：并入专用硬件中的计算机和能够利用安装在其中的各种程序执行各种功能的通用个人计算机。

图20是示出其中由程序执行上述一系列处理的计算机的硬件配置的示例的框图。

在图20中所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802以及随机存取存储器(RAM)803通过总线804彼此连接。

输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。

输入单元811包括例如键盘、鼠标、麦克风、触摸板以及输入端子。输出单元812包括例如显示器、扬声器以及输出端子。存储单元813包括例如硬盘、RAM盘以及非易失性存储器。通信单元814包括例如网络接口。驱动器815驱动可移除介质821如磁盘、光盘、磁光盘以及半导体存储器。

在如上配置的计算机中，例如，CPU 801经由输入/输出接口810和总线804将存储单元813中存储的程序加载至RAM 803中，并且执行该程序，通过该程序执行上述一系列处理。RAM 803还适当地存储CPU 801执行各种处理所需的数据等。

待由计算机(CPU 801)执行的程序可以被记录在例如用作封装介质等的可移除介质821中并且被应用。在这种情况下，通过将可移除介质821附接至驱动器815，可以经由输入/输出接口810将程序安装在存储单元813中。

此外，还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。在这种情况下，可以由通信单元814来接收程序并且将其安装在存储单元813中。

此外，可以将程序预先安装在ROM 802或存储单元813中。

<对本技术的应用>

根据上述实施方式的图像编码装置100可以应用于各种电子装置，例如发射器和接收器、记录装置和回放装置。发射器和接收器用于例如卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信向终端的分发。记录装置将图像记录到诸如光盘、磁盘和闪速存储器的介质上。回放装置从这些存储介质再现图像。

<第一应用示例：电视接收器>

图21示出了应用了所描述的上述实施方式的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望的信道的信号并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的经编码的比特流输出至解复用器903。也就是说，在电视装置900中，调谐器902用作发送单元，其接收其中对图像进行了编码的编码流。

解复用器903从经编码的比特流中分离要观看的节目的视频流和音频流，并且将分离出的每个流输出至解码器904。此外，解复用器903从经编码的比特流中提取辅助数据如电子节目指南(EPG)并且将提取的数据提供至控制单元910。注意，在经编码的比特流被加扰的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905回放从解码器904输入的视频数据，并且使显示单元906显示该视频。此外，视频信号处理单元905还可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置执行另外的处理，例如针对视频数据的噪声移除。此外，视频信号处理单元905可以生成图形用户界面(GUI)图像例如菜单、按钮以及光标，并且将生成的图像叠加在输出图像上。

显示单元906被由视频信号处理单元905提供的驱动信号驱动，并且在显示装置(例如，液晶显示器、等离子显示器或有机电致发光显示器(OELD显示器))的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出音频。此外，音频信号处理单元907可以执行另外的处理，例如针对音频数据的噪声移除。

外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口单元909接收的视频流或音频流可以由解码器904进行解码。也就是说，在电视装置900中，外部接口单元909还用作发送单元，其接收其中对图像进行了编码的编码流。

控制单元910包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储例如待由CPU执行的程序、程序数据、EPG数据、通过网络获得的数据。例如当电视装置900被启动时，CPU读取并执行存储器中存储的程序。通过执行该程序，CPU根据例如从用户接口单元911输入的操作信号来控制电视装置900的操作。

用户接口单元911连接至控制单元910。例如，用户接口单元911包括：用户用来操作电视装置900的按钮和开关；以及遥控信号接收单元。用户接口单元911通过这些结构元件检测用户的操作、生成操作信号并将生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910彼此互连。

在以这种方式配置的电视装置900中，视频信号处理单元905可以能够例如对从解码器904提供的图像数据进行编码，并且经由外部接口单元909将所获得的编码数据输出至电视装置900的外部。此外，视频信号处理单元905可以具有上述图像编码装置100的功能。也就是说，视频信号处理单元905可以使用在上述每个实施方式中描述的方法对从解码器904提供的图像数据进行编码。以这种方式，电视装置900可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<第二应用示例：移动电话>

图22示出了应用了上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930以及控制单元931彼此互连。

移动电话920以各种操作模式(包括音频通信模式、数据通信模式、成像模式以及视频电话模式)来执行各种操作，例如发送和接收音频信号、发送和接受电子邮件或图像数据、捕捉图像以及记录数据。

在音频通信模式下，由麦克风925生成模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据执行A/D转换并且对该经转换的音频数据进行压缩。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后，通信单元922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线信号放大并对该无线信号的频率进行转换以获得接收信号。然后，通信单元922对接收的信号进行解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频信号进行解压缩并且对该音频数据执行D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924，使扬声器924输出音频。

此外，根据用户经由操作单元932进行的操作，控制单元931在数据通信模式下生成例如构成电子邮件的文本数据。此外，控制单元931使文本显示在显示单元930上。此外，控制单元931响应于来自用户的经由操作单元923的发送指令来生成电子邮件数据并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线信号放大并对该无线信号的频率进行转换以获得接收信号。然后，通信单元922对接收的信号进行解调和解码，还原电子邮件数据并将还原的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，同时将电子邮件数据提供至记录/再现单元929，以使电子邮件数据被写入记录/再现单元929的存储介质中。

记录/再现单元929包括任意可读和可写的存储介质。例如，存储介质可以是内置存储介质，例如RAM和闪速存储器，或者可以是在外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡。

此外，在成像模式中，例如，摄像装置单元926捕捉主体的图像、生成图像数据并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流提供至记录/再现单元929以使编码流被写入记录/再现单元929的存储介质中。

此外，在图像显示模式中，记录/再现单元929读取在存储介质中记录的编码流，并且将该编码流输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，将图像数据提供至显示单元930以使图像被显示。

此外，在视频电话模式中，例如，复用/解复用单元928对经图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用的流输出至通信单元922。通信单元922对该流进行编码和调制，并且生成传输信号。然后，通信单元922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信单元922将经由天线921接收的无线信号放大并对该无线信号的频率进行转换以获得接收信号。这些传输信号和接收到的信号可以包括经编码的比特流。然后，通信单元922对接收到的信号进行解调和解码，将流还原并且将还原的流输出至/解复用单元928。复用/解复用部928从输入的流中分离视频流和音频流，将视频流输出至图像处理单元927并且将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供至显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩并且执行D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供至扬声器924，使扬声器924输出音频。

在以这种方式配置的移动电话920中，例如，图像处理单元927可以具有上述图像编码装置100的功能。也就是说，图像处理单元927可以使用在以上每个实施方式中描述的方法对图像数据进行编码。以这种方式，移动电话920可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<第三应用示例：记录/再现装置>

图23示出了应用了上述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收的广播节目的音频数据和视频数据进行编码，并且将该音频数据和视频数据记录在记录介质上。此外，例如，记录/再现装置940还可以对从另一装置获得的音频数据和视频数据进行编码，并且将该音频数据和视频数据记录在记录介质上。此外，例如，记录/再现装置940响应于来自用户的指令来通过监视器和扬声器回放在记录介质中记录的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口(I/F)单元942、编码器943、硬盘驱动器(HDD)单元944、磁盘驱动器945、选择器946、解码器947、屏幕显示(OSD)单元948、控制单元949以及用户接口(I/F)单元950。

调谐器941从经由天线(未示出)接收的广播信号中提取期望的信道的信号，并且对提取的信号进行解调。然后，调谐器941将通过解调获得的经编码的比特流输出至选择器946。也就是说，调谐器941用作记录/再现装置940的发送单元。

外部接口单元942是用于将记录/再现装置940连接至外部装置或网络的接口。例如，外部接口单元942可以是电气和电子工程师协会(IEEE)1394接口、网络接口、USB接口或者闪速存储器接口等。例如，经由外部接口单元942接收的视频数据和音频数据被输入至编码器943。也就是说，外部接口单元942用作记录/再现装置940的发送单元。

在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，编码器943对该视频数据和音频数据进行编码。然后，编码器943将经编码的比特流输出至选择器946。

HDD单元944将经编码的比特流与经压缩的诸如视频和音频的内容数据、各种程序以及其他数据一起记录到内部硬盘上。此外，HDD单元944在对视频和音频进行再现时从硬盘读取这些数据。

盘驱动器945将数据记录到附接的记录介质上并且从其读取数据。附接至盘驱动器945的记录介质可以是例如数字多功能盘(DVD)盘(DVD-视频或DVD-随机存取存储器(DVD-RAM)、DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)、蓝光(注册商标)盘等。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的经编码的比特流，并且将所选择的经编码的比特流输出至HDD 944或盘驱动器945。此外，当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的经编码的比特流输出至解码器947。

解码器947对该经编码的比特流进行解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD单元948。此外，解码器947将生成的音频数据输出至外部扬声器。

OSD单元948回放从解码器947输入的视频数据以显示视频。此外，OSD单元948可以将GUI图像(例如，菜单、按钮和光标)叠加到所显示的视频上。

控制单元949包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储待由CPU执行的程序、程序数据等。例如当记录/再现装置940被启动时，CPU读取并执行存储器中存储的程序。通过执行该程序，CPU根据例如从用户接口单元950输入的操作信号来控制记录/再现装置940的操作。

用户接口单元950连接至控制单元949。例如，用户接口单元950包括：用户用来操作记录/再现装置940的按钮和开关；以及遥控信号接收单元。用户接口单元950通过这些结构元件检测用户的操作、生成操作信号并将生成的操作信号输出至控制单元949。

在以这种方式配置的记录/再现装置940中，例如，编码器943可以具有上述图像编码装置100的功能。也就是说，编码器943可以使用在以上每个实施方式中描述的方法对图像数据进行编码。以这种方式，记录/再现装置940可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<第四应用示例：成像装置>

图24示出了应用了上述实施方式的成像装置的示意性配置的示例。成像装置960捕捉主体的图像、生成图像、对图像数据进行编码并且将图像数据记录到记录介质上。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此互连。

光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成主体的光学图像。成像单元962包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的图像传感器。成像单元962将形成在成像表面上的光学图像光电转换为作为电信号的图像信号。然后，成像单元962将该图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将已执行过摄像装置信号处理的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，使显示单元965显示该图像。此外，图像处理单元964可以将从OSD单元969获得的显示数据叠加到待输出至显示单元965的图像上。

OSD单元969生成GUI图像例如菜单、按钮和光标，并且将生成的图像输出至图像处理单元964。

外部接口单元966例如被配置为USB输入/输出端子。例如，外部接口单元966在打印图像时将成像装置960连接至打印机。此外，根据需要将驱动器连接至外部接口单元966。可移除介质例如磁盘和光盘被安装到驱动器中，并且从可移除介质读取的程序可以被安装到成像装置960中。此外，外部接口部966可以被配置为连接至网络如LAN或因特网的网络接口。也就是说，外部接口单元966用作成像装置960的发送单元。

待被安装到介质驱动器968中的记录介质例如可以是任意可读且可写的可移除介质，例如磁盘、磁光盘、光盘、半导体存储器。此外，例如，记录介质可以以固定方式安装在介质驱动器968中以构成非便携式存储单元，例如内置硬盘驱动器和固态驱动器(SSD)。

控制单元970包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储待由CPU执行的程序、程序数据等。例如当成像装置960被启动时，CPU读取并执行存储器中存储的程序。通过执行该程序，CPU根据例如从用户接口单元971输入的操作信号来控制成像装置960的操作。

用户接口单元971连接至控制单元970。用户接口单元971包括例如用户用来操作成像装置960的按钮和开关。用户接口单元971通过这些结构元件检测用户的操作、生成操作信号并将生成的操作信号输出至控制单元970。

在以这种方式配置的成像装置960中，例如，图像处理单元964可以具有上述图像编码装置100的功能。也就是说，图像处理单元964可以使用在以上每个实施方式中描述的方法对图像数据进行编码。以这种方式，成像装置960可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<第五应用示例：视频设备>

此外，本技术还可以实现为安装在任意装置中的任何配置或构成系统的任意装置(换句话说，本技术可以实现为装置的配置的一部分)。配置的示例包括：用作系统大规模集成(LSI)等的处理器；使用多个处理器等的模块；使用多个模块等的单元；以及包括添加到单元的其他功能的设备。图25示出了应用本技术的视频设备的示意性配置的示例。

近年来，越来越多的电子装置变得多功能化。在这种电子装置的研制或制造中，存在实现部分配置以供销售、提供等的情况。在这种情况下，可以实现具有单一功能的配置。然而，越来越多地存在具有相关功能的多个配置被组合并被实现为具有多种功能的单个设备的情况。

图25所示的视频设备1300具有这种多功能化的配置。视频设备1300是具有与图像编码和解码(可能是其一者或两者)有关的功能的装置和具有与该功能有关的其他功能的装置的组合。

如图25所示，视频设备1300包括一组具有相关功能的模块和装置。该组模块包括视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314。所述装置包括连接件1321、摄像装置1322以及传感器1323。

模块是具有集成功能的部件，其中集成了若干相互关联的部件功能。其具体的物理配置是任意的。作为一个可能的示例，可以将具有各个功能的多个处理器、诸如电阻器和电容器的电子电路部件、其他装置等布置并集成在布线板等上。此外，作为另一个可能的示例，可以设置一个模块和另一个模块、处理器等的组合作为新模块。

在图25所示的示例的情况下，视频模块1311是具有与图像处理有关的功能的配置的组合。该视频模块1311包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

通过将具有预定功能的配置集成到半导体芯片上作为芯片上系统(SoC)来形成处理器。例如，一些处理器被称为系统大规模集成(LSI)等。具有这些预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM、以及通过使用这些CPU、ROM和RAM执行的程序(软件配置)，或者可以是组合了其二者的配置。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，并且部分功能可以由逻辑电路(硬件配置)来实现，而其他功能可以由CPU执行的程序(软件配置)来实现。

图25中的应用处理器1331是执行与图像处理有关的应用的处理器。要在该应用处理器1331中执行的应用不仅能够执行计算处理以实现预定功能，还能够按照需要控制视频模块1311内部和外部的配置例如视频处理器1332。

视频处理器1332是具有与图像编码和解码(其中一者或两者)有关的功能的处理器。

宽带调制解调器1333通过数字调制等将传输数据(数字信号)转换为模拟信号。将通过有线或无线(或者有线和无线二者)宽带通信对该数据进行传送，所述宽带通信是通过诸如因特网和公共电话线网络的宽带线路执行的。宽带调制解调器1333还对通过宽带通信接收的模拟信号进行解调并将其转换为数据(数字信号)。宽带调制解调器1333对任意信息例如由视频处理器1332处理的图像数据、已对图像数据进行编码的流、应用程序以及设置数据进行处理。

RF模块1334是对要经由天线发送或接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号的频率进行转换来生成RF信号。此外，例如，RF模块1334通过对经由前端模块1314接收的RF信号的频率进行转换来生成基带信号。

注意，如图25中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成并被配置为一个处理器。

外部存储器1312是包括由视频模块1311使用的存储装置的模块。外部存储器1312被设置在视频模块1311的外部。外部存储器1312的存储装置可以通过任何物理配置来实现。一般来说，存储装置通常用于存储大量数据如以帧为单位的图像数据。因此，期望使用相对便宜的大容量半导体存储器例如动态随机存取存储器(DRAM)来实现该存储装置。

电力管理模块1313管理和控制去往视频模块1311(视频模块1311内的每个配置)的电力供应。

前端模块1314是为RF模块1334提供前端功能(天线侧的发送端和接收端处的电路)的模块。如图25所示，前端模块1314包括例如天线单元1351、滤波器1352以及放大单元1353。

天线单元1351包括天线及其发送和接收无线信号的外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发射，并将接收的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等，并且将处理后的RF信号提供至RF模块1334。放大单元1353将从RF模块1334提供的RF信号放大并将该RF信号提供至天线单元1351。

连接件1321是具有与外部连接有关的功能的模块。连接件1321的物理配置是任意的。例如，连接件1321包括：具有除宽带调制解调器1333支持的通信标准之外的通信功能的配置；外部输入/输出端子；等。

例如，连接器1321可以包括具有符合无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)以及红外数据关联(IrDA)的通信功能的模块；以及发射和接收符合该标准的信号的天线。此外，例如，连接器1321可以包括具有符合有线通信标准例如通用串行总线(USB)以及高清晰度多媒体接口(HDMI)(注册商标)的通信功能的模块；以及符合该标准的端子。此外，例如，连接件1321可以具有发送其他数据(信号)的功能，例如模拟输入/输出端子。

注意，连接件1321可以包括发送数据(信号)去往的目的地装置。例如，连接件1321可以包括从诸如磁盘、光盘、磁光盘和半导体存储器的记录介质读取数据和向其写入数据的驱动器(该驱动器不仅包括可移动介质的驱动器，还包括硬盘、固态驱动器(SSD)、网络附加存储装置(NAS)的驱动器等)。此外，连接件1321可以包括输出图像和音频的装置(监视器、扬声器等)。

摄像装置1322是具有对主体进行成像并获得该主体的图像数据的功能的模块。通过摄像装置1322的成像而获得的图像数据例如被提供至视频处理器1332，并且然后被编码。

传感器1323是具有下述任意传感器的功能的模块：例如声音传感器、超声传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、震动传感器以及温度传感器。传感器1323检测到的数据例如被提供至应用处理器1331并由应用等使用。

以上被描述为模块的配置可以被实现为处理器。相反，以上被描述为处理器的配置可以被实现为模块。

在如上所述配置的视频设备1300中，本技术可以应用于视频处理器1332，如下文所述。因此，视频设备1300可以被实现为应用本技术的设备。

(视频处理器的配置示例)

图26示出了应用本技术的视频处理器1332(图25)的示意性配置的示例。

在图26中的示例的情况下，视频处理器1332具有：接收视频信号和音频信号的输入并且使用预定方法对该视频信号和音频信号进行编码的功能；以及对经编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。

如图26所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332还包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332还包括音频编码器1410、音频解码器1411、复用单元(复用器(MUX))1412、解复用单元(解复用器(DMUX))1413和流缓冲器1414。

视频输入处理单元1401获得例如从连通件1321(图25)输入的视频信号，并且将该视频信号转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行诸如格式转换和图像放大或缩小的处理。第二图像放大/缩小单元1403根据经由视频输出处理单元1404输出图像的目的地处的格式来对图像数据执行诸如图像放大或缩小的处理。与第一图像放大/缩小单元1402类似，第二图像放大/缩小单元1403对图像数据执行诸如格式转换和图像放大或缩小的处理。视频输出处理单元1404转换图像数据的格式并将图像数据转换为模拟信号等。然后，视频输出处理单元1404将模拟信号作为已经再现的视频信号输出至例如连接件1321。

帧存储器1405是在视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407之间共享的图像数据的存储器。帧存储器1405被实现为半导体存储器，例如DRAM。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的访问帧存储器1405的调度来控制对帧存储器1405的写入和读取访问。访问管理表1406A由存储器控制单元1406根据编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来进行更新。

编码/解码引擎1407对图像数据执行编码处理并且对视频流执行解码处理。视频流是其中已经对图像数据进行编码的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将经编码的图像数据作为视频流依次写入视频ES缓冲器1408A中。此外，例如，编码/解码引擎1407对从视频ES缓冲器1408B依次读取的视频流进行解码，并将解码后的视频流作为图像数据依次写入帧存储器1405。在这些编码处理和解码处理中，编码/解码引擎1407使用帧存储器1405作为工作区。此外，编码/解码引擎1407例如在开始对每个宏块进行处理时将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲并将该视频流提供至复用单元(MUX)1412。视频ES缓冲器1408B对从解复用单元(DMUX)1413提供的视频流进行缓冲并且将该视频流提供至编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲并且将该音频流提供至复用单元(MUX)1412。音频ES缓冲器1409B对从解复用单元(DMUX)1413提供的音频流进行缓冲并且将该音频流提供至音频解码器1411。

音频编码器1410例如对从例如连接件1321输入的音频信号执行数字转换，并且使用预定方法(例如，MPEG音频方法和音频编码3(AC3)方法)对音频信号进行编码。音频编码器1410将音频流依次写入音频ES缓冲器1409A。音频流是其中已经对音频信号进行编码的数据。例如，音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码并将该音频流转换为模拟信号。然后，音频解码器1411将该模拟信号作为已经再现的音频信号提供至例如连接件1321。

复用单元(MUX)1412对视频流和音频流进行复用。进行复用的方法(即，通过复用生成的比特流的格式)是任意的。此外，在进行复用时，复用单元(MUX)1412还能够向比特流添加预定的头信息等。换句话说，复用单元(MUX)1412能够通过复用来转换流的格式。例如，复用单元(MUX)1412对视频流和音频流进行复用以将该视频流和音频流转换为传输流。所述传输流是传输格式的比特流。此外，例如，复用单元(MUX)1412对视频流和音频流进行复用以将该视频流和音频流转换为记录文件格式中的数据(文件数据)。

使用与由复用单元(MUX)1412执行的复用对应的方法，解复用单元(DMUX)1413对其中已对视频流和音频流进行复用的比特流进行解复用。具体地，解复用单元(DMUX)1413从从流缓冲器1414读取的比特流中提取视频流和音频流(将视频流和音频流彼此分离)。也就是说，解复用单元(DMUX)1413能够通过解复用来转换流的格式(能够执行对由复用单元(MUX)1412执行的转换的逆转换)。例如，解复用单元(DMUX)1413能够经由流缓冲器1414获得从例如连接件1321、宽带调制解调器1333等提供的传输流，并且对该传输流进行解复用以将该传输流转换为视频流和音频流。此外，例如，解复用单元(DMUX)1413能够经由流缓冲器1414获得例如由连接件1321从各种记录介质读取的文件数据，并且对该文件数据进行解复用以将该文件数据转换为视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用单元(MUX)1412提供的传输流进行缓冲，并且在预定定时或者例如基于来自外部的请求将该传输流提供至例如连接件1321、宽带调制解调器1333等。

此外，例如，流缓冲器1414对从复用单元(MUX)1412提供的文件数据进行缓冲，并且在预定定时或者基于来自外部的请求等将该文件数据提供至例如连接件1321以使该文件数据被记录到各种记录介质上。

此外，流缓冲器1414对通过例如连接件1321、宽带调制解调器1333等获得的传输流进行缓冲，并且在预定定时或者例如基于来自外部的请求将该传输流提供至解复用单元(DMUX)1413。

此外，流缓冲器1414对例如由连接件1321从各种记录介质读取的文件数据进行缓冲，并且在预定定时或者例如基于来自外部的请求将该文件数据提供至解复用单元(DMUX)1413。

接下来，将描述如上所述配置的视频处理器1332的操作的示例。例如，将视频信号从连接件1321等输入至视频处理器1332。视频输入处理单元1401以预定方法例如4：2：2的Y/Cb/Cr方法将视频信号转换为数字图像数据，并且将该数字图像数据依次写入帧存储器1405。该数字图像数据被第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取被转换成诸如4：2：0的Y/Cb/Cr方法的预定格式下的预定格式并且通过该处理被放大或缩小。然后，再次将数字图像数据写入帧存储器1405。编码/解码引擎1407对该图像数据进行编码并将其作为视频流写入视频ES缓冲器1408A。

此外，从连接件1321等输入至视频处理器1332的音频信号被音频处理器1410编码并被作为音频流写入音频ES缓冲器1409A中。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流被复用单元(MUX)1412读取并复用，并被转换为传输流、文件数据等。由复用单元(MUX)1412生成的传输流被流缓冲器1414缓冲，并且然后经由例如连接件1321、宽带调制解调器1333等输出至外部网络。此外，由复用单元(MUX)1412生成的文件数据被流缓冲器1414缓冲，并且然后输出至例如连接件1321以被记录到各种记录介质上。

此外，经由例如连接件1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流被流缓冲器1414缓冲，并且随后被解复用单元(DMUX)1413解复用。此外，例如通过连接件1321从各种记录介质读取并且被输入至视频处理器1332的文件数据被流缓冲器1414缓冲，并且随后被解复用单元(DMUX)解复用。也就是说，输入至视频处理器1332的传输流或文件数据被解复用单元(DMUX)1413分离为视频流和音频流。

音频流经由音频ES缓冲器1409B被提供至音频解码器1411并被解码。然后，音频信号被再现。此外，在视频流被写入视频ES缓冲器1408B之后，视频流被编码/解码引擎1407依次读取和解码，并且然后被写入帧存储器1405。解码的图像数据通过第二图像放大/缩小单元1403进行的处理而被放大或缩小，并且被写入帧存储器1405。然后，视频输出处理单元1404读取该解码的图像数据，将其转换成预定方法(例如4：2：2的Y/Cb/Cr方法)下的格式，并且然后将其转换成模拟信号。然后输出视频信号以进行再现。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，根据上述每个实施方式的本技术可以应用与编码/解码引擎1407。也就是说，例如，编码/解码引擎1407可以具有上述图像编码装置的功能。以这种方式，视频处理器1332可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

注意，在编码/解码引擎1407中，本技术(即，图像编码装置100的功能)可以通过诸如逻辑电路的硬件或者通过诸如并入的程序的软件来实现，或者可以通过其二者来实现。

<视频处理器的另一个配置示例>

图27示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图27中的示例的情况下，视频处理器1332具有使用预定方法对视频数据进行编码和解码的功能。

更具体地，如图27所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用/解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332内的每个处理单元如显示接口1512、显示引擎1513、图像处理引擎1514以及编解码器引擎1516的操作。

如图27所示，控制单元1511包括例如主CPU 1531、副CPU 1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器1332内的每个处理单元的操作的程序等。主CPU1531根据程序等生成控制信号，并且将该控制信号提供至每个处理单元(也就是说，主CPU1531控制每个处理单元的操作)。副CPU 1532用于辅助主CPU 1531。例如，副CPU 1532执行由主CPU 1531执行的程序等的子进程、子例程等。系统控制器1533例如通过指定待由主CPU1531和副CPU 1532执行的程序来控制主CPU 1531和副CPU 1532的操作。

在控制单元1511的控制下，显示接口1512将图像数据输出至例如连接件1321。例如，显示接口1512将作为数字数据的图像数据转换为模拟信号，并且将该模拟信号输出至连接件1321的监视器装置等作为已经再现的视频信号。替选地，显示接口1512将作为数字数据的图像数据原样输出至连接件1321的监视器装置等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理例如格式转换、大小转换和色域转换，以符合显示该图像的监视器装置等的硬件规格。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定的图像处理，例如用于改善图像质量的滤波处理。

内部存储器1515是在视频处理器1332内部设置的存储器，该存储器在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间共享。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间发送和接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并根据需要(例如，基于请求)将该数据提供至显示引擎1513、图像处理引擎1514和编解码器引擎1516。内部存储器1515可以由任何存储装置实现。一般来说，内部存储器1515通常用于存储少量数据(例如以块为单位的图像数据)和参数。因此，期望由半导体存储器例如静态随机存取存储器(SRAM)来实现内部存储器1515，其(例如与外部存储器1312相比)具有相对较小的容量但实现较高的响应速度。

编解码器引擎1516执行与图像数据的编码和解码有关的处理。编解码器引擎1516支持的编码/解码方法是任意的。编解码器引擎1516可以支持单一方法或多种方法。例如，编解码器引擎1516可以具有拥有多种编码/解码方法的编解码器功能，并且可以使用从多种编码/解码方法中选择的方法对图像数据进行编码或者对编码数据进行解码。

在图27所示的示例中，编解码器引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为用于与编解码器有关的处理的功能块。

MPEG-2视频1541是使用MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是使用AVC方法对图像数据进行编码和解码的功能块。HEVC/H.265 1543是使用HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是使用HEVC方法对图像数据执行可伸缩编码和可伸缩解码的功能块。HEVC/H.265(多视图)1545是使用HEVC方法对图像数据执行多视图编码和多视图解码的功能块。

MPEG-DASH 1551是使用MPEG-基于HTTP的动态自适应流传输(MPEG-DASH)方法发送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)流式传输视频的技术。MPEG-DASH的一个特性是在预先准备的具有相互不同的分辨率等的多个编码数据中，以段为每个单位来选择适当的编码数据并进行发送。例如，MPEG-DASH 1551生成符合标准的流并控制该流的传输。上述MPEG-2视频1541至HEVC/H.265(多视图)1545均用于对图像数据进行编码或解码。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。此外，从外部存储器1312读取的数据经由存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用单元(MUX DMUX)1518对与图像有关的各种数据例如例如比特流、图像数据以及编码数据的视频信号进行复用和解复用。复用/解复用方法是任意的。例如，在进行复用时，复用/解复用单元(MUX DMUX)1518不仅能够将多个数据组合成一个数据，还能够向该数据添加预定的头信息等。此外，在进行解复用时，复用/解复用单元(MUX DMUX)1518不仅能够将一个数据划分成多个数据，还能够向划分的数据中的每个数据添加预定的头信息等。也就是说，复用/解复用单元(MUX DMUX)1518能够通过进行复用/解复用来转换数据的格式。例如，复用/解复用单元(MUX DMUX)1518能够通过对比特流进行复用来将该比特流转换为传输流(其是传输格式的比特流)或者转换为记录的文件格式中的数据(文件数据)。不必说，通过进行解复用可以对其进行逆转换。

网络接口1519是用于例如宽带调制解调器1333、连接件1321等的接口。视频接口1520是用于例如连接件1321、摄像装置1322等的接口。

接下来，将描述如上所述的视频处理器1332的操作的示例。例如，当经由连接件1321、宽带调制解调器1333等从外部网络接收到传输流时，该传输流经由网络接口1519被提供至复用/解复用单元(MUX DMUX)1518并被解复用。然后，由编解码器引擎1516对该传输流进行解码。例如，图像处理引擎1514对通过编解码器引擎1516执行的解码而获得的图像数据执行预定的图像处理。然后，显示引擎1513对图像数据执行预定的转换。然后，经由显示接口1512将图像数据提供至例如连接件1321，并且在监视器上显示图像。此外，例如，通过编解码器引擎1516执行的解码而获得的图像数据被编解码器引擎1516重新编码，并且被复用/解复用单元(MUX DMUX)1518复用以将其转换为文件数据。该文件数据经由视频接口1520被输出至例如连接件1321并被记录到各种记录介质上。

此外，由例如连接件1321从未示出的记录介质读取文件数据(其是包括编码图像数据的编码数据)，并且经由视频接口1520将其提供至复用/解复用单元(MUX DMUX)1518。然后，文件数据被复用/解复用单元(MUX DMUX)1518解复用，并且被编解码器引擎1516解码。图像处理引擎1514对通过编解码器引擎1516执行的解码而获得的图像数据执行预定的图像处理。然后，显示引擎1513对该图像数据执行预定的转换。然后，经由显示接口1512将该图像数据提供至例如连接件1321，并且在监视器上显示图像。此外，例如，通过编解码器引擎1516执行的解码而获得的图像数据被编解码器引擎1516重新编码，并且被复用/解复用单元(MUX DMUX)1518复用以将其转换为传输流。该传输流经由网络接口1519被提供至例如连接件1321、宽带调制解调器1333等并被发送至未示出的另一装置。

注意，视频处理器1332内的处理单元使用例如内部存储器1515和外部存储器1312来彼此发送和接收图像数据和其他数据。此外，电力管理模块1313控制例如去往控制单元1511的电力供应。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，根据上述每个实施方式的本技术可以应用于编解码器引擎1516。也就是说，编解码器引擎1516可以具有例如上述图像编码装置100的功能。以这种方式，视频处理器1332可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

注意，在编解码器引擎1516中，本技术(即，图像编码装置100的功能)可以由诸如逻辑电路的硬件实现或者由诸如并入的程序的软件来实现，或者可以由其二者来实现。

在上文中，已经描述了两个示例作为视频处理器1332的配置。然而，视频处理器1332的配置是任意的，并且可以使用除了上述两个示例之外的配置。此外，虽然视频处理器1332可以被配置为单个半导体芯片，但是视频处理器1332也可以被配置为多个半导体芯片。例如，视频处理器1332可以是其中堆叠有多个半导体的三维堆叠LSI。此外，视频处理器1332可以由多个LSI实现。

<应用于装置的示例>

可以将视频设备1300并入处理图像数据的各种装置中。例如，可以将视频设备1300并入电视装置900(图21)、移动电话920(图22)、记录/再现装置940(图23)、成像装置960(图24)等中。在并入了视频设备1300的情况下，装置可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

注意，只要包括了视频处理器1332，即使上述视频设备1300的部分配置也可以被实现为应用本技术的配置。例如，仅视频处理器1332就可以被实现为应用本技术的视频处理器。此外，例如，由虚线1341指示的处理器、视频模块1311等可以被实现为如上所述的应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314可以被组合并被实现为应用本技术的视频单元1361。利用这些配置中的任何配置，可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

也就是说，与视频设备1300的情况一样，任何配置都可以并入到处理图像数据的各种装置中，只要该配置包括视频处理器1332即可。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以并入电视装置900(图21)、移动电话920(图22)、记录/再现装置940(图23)、成像装置960(图24)等中。与视频设备1300的情况一样，通过并且应用本技术的任何配置，该装置可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<第六应用示例：网络系统>

此外，本技术还可以应用于包括多个装置的网络系统。图28示出了应用本技术的网络系统的示意性配置的示例。

图28中示出的网络系统1600是其中装置经由网络发送和接收与图像(运动图像)相关联的信息的系统。网络系统1600中的云服务1601是向可通信地连接至云服务1601自身的终端(例如计算机1611、视听(AV)装置1612、便携式信息处理终端1613以及物联网(IoT)装置1614)提供与图像(运动图像)有关的服务的系统。例如，云服务1601向终端提供图像(运动图像)内容提供服务，例如所谓的运动图像分发(按需分发或实时分发)。此外，例如，云服务1601提供用于存储从终端接收的图像(运动图像)内容的备份服务。此外，例如，云服务1601提供用于调解终端之间的图像(运动图像)内容的发送和接收的服务。

云服务1601的物理配置是任意的。例如，云服务1601可以包括各种服务器和任意网络(例如因特网和LAN)。服务器的示例包括：存储和管理运动图像的服务器；将运动图像分发至终端的服务器；从终端获得运动图像的服务器；以及管理用户(终端)和计费的服务器。

计算机1611包括信息处理装置，例如个人计算机、服务器以及工作站。AV装置1612包括图像处理装置，例如电视接收器、硬盘记录器、游戏装置和摄像装置。便携式信息处理终端1613包括便携式信息处理装置，例如笔记本个人计算机、平板终端、移动电话和智能电话。IoT装置1614包括执行与图像有关的处理的任意对象，例如机器、家用电子装置、家具、其他对象、IC标签以及卡片型装置。这些终端中的每个都具有通信功能，使得终端能够连接至云服务1601(建立会话)并且向云服务1601发送和从其接收信息(即，与之执行通信)。此外，每个终端还可以与另一个终端进行通信。终端之间的通信可以经由云服务1601执行，或者可以在没有云服务1601的情况下执行。

在如上所述将本技术应用于网络系统1600并且在终端之间或者在终端与云服务1601之间发送和接收图像(运动图像)数据的情况下，可以以以上在每个实施方式中描述的方式对图像数据进行编码。也就是说，终端(计算机1611至IoT装置1614)中的每个和云服务1601可以具有上述图像编码装置100的功能。以这种方式，发送和接收图像数据的终端(计算机1611至IoT装置1614)和云服务1601可以获得与以上参照图1至图19描述的每个实施方式的效果类似的效果。

<其它>

注意，与编码数据(比特流)有关的各种类型的信息可以在编码数据中被复用并且然后被发送或记录，或者可以在不被复用在编码数据中的情况下作为与编码数据相关联的单独的数据被发送或记录。本文中的术语“相关联”是指例如当对一个数据进行处理时可以使用另一数据(可以链接)。也就是说，彼此相关联的数据可以被组合为一条数据，或者可以是单独的数据。例如，可以在与编码数据(图像)不同的传输路径上传送与编码数据(图像)相关联的信息。此外，例如，可以将与编码数据(图像)相关联的信息记录到与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)上。注意，可以对部分数据而不是整个数据执行“关联”。例如，图像和与该图像对应的信息可以以任意单位例如以多个帧、一个帧或帧内的一部分为单位彼此相关联。

此外，如上所述，在本说明书中，诸如“合成”、“复用”、“添加”、“集成”、“包括”、“存储”、“安装”、“嵌入”和“插入”的术语是指将多个对象组合成一个对象；例如，将编码数据和元数据组合成一个数据。这些术语指用于上述“关联”的方法之一。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

例如，在本说明书中，系统是指多个结构元件(装置、模块(部件)等)的集合，并且所有这些结构元件是否处在同一壳体内并不重要。因此，存储在独立的壳体中并且通过网络连接的多个装置以及在单个壳体中储存多个模块的单个装置二者中的任一情况均是系统。

此外，例如，以上被描述为单个装置(或处理单元)的配置可以被划分并被配置为多个装置(或处理单元)。相反，以上被描述为多个装置(或处理单元)的配置可以被组合并被配置为单个装置(或处理单元)。此外，不必说，可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置中。此外，一个装置(或处理单元)的配置的一部分可以包括在另一个装置(或另一个处理单元)的配置中，只要作为整个系统的配置和操作大致相同即可。

此外，例如，本技术可以被配置为云计算，在该配置中，通过网络使单个功能在多个装置之间共享并被协作处理。

此外，例如，上述程序可以由任意装置来执行。在这种情况下，装置仅需要具有必要的功能(功能块等)并且能够获得必要的信息。

此外，例如，上述流程图中描述的每个步骤可以由单个装置执行或者由多个装置以共享方式执行。此外，在单个步骤包括多个处理的情况下，该单个步骤中包括的多个处理可以由单个装置执行或者由多个装置以共享方式执行。

注意，在由计算机执行的程序中，描述程序的步骤中的处理可以按照本说明书中描述的顺序以时间顺序执行。替选地，例如，各个步骤中的处理可以并行执行，或者可以在发生调用时在必要时刻单独执行。此外，描述该程序的步骤中的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。

注意，本说明书中描述的多个本技术中的每一种可以作为单个技术来独立实现，只要不存在矛盾即可。不必说，可以以组合方式实现多种任意的本技术。例如，在其中一个实施方式中描述的本技术可以与在另一实施方式中描述的本技术组合实现。此外，上述任何本技术可以与以上未描述的其他技术组合实现。

注意，本技术也可以被如下配置。

(1)一种图像处理装置，包括：

块设定单元，被配置成根据位于用于预测处理的当前块的周边的周边块的大小来设定所述当前块的大小，所述预测处理生成待编码图像的预测图像；

帧内预测单元，被配置成对由所述块设定单元设定的所述当前块执行帧内预测处理并且生成所述预测图像；以及

编码单元，被配置成使用由所述帧内预测单元生成的所述预测图像对所述待编码图像进行编码。

(2)根据(1)所述的图像处理装置，

其中，所述周边块是与所述当前块的上侧相邻的上块和与所述当前块的左侧相邻的左块，并且

在所述上块的大小和所述左块的大小彼此相同的情况下，所述块设定单元将所述当前块的大小设定成与所述上块的大小和所述左块的大小相同。

(3)根据(1)或(2)所述的图像处理装置，

其中，在所述上块的大小和所述左块的大小彼此不同的情况下，所述块设定单元将所述当前块的大小设定成等于或小于所述上块和所述左块中的大小较小的一个块的大小。

(4)根据(1)至(3)中任一项所述的图像处理装置，

其中，所述周边块是其像素值在所述当前块中被参考的参考块，并且

所述块设定单元将所述当前块的大小设定成与所述参考块的大小相同。

(5)根据(1)至(4)中任一项所述的图像处理装置，

其中，所述周边块是其像素值在所述当前块中被参考的参考块，并且

所述块设定单元将所述当前块的大小设定成小于所述参考块的大小。

(6)根据(1)至(5)中任一项所述的图像处理装置，

其中，所述待编码图像是人工生成的人工图像。

(7)根据(1)至(6)中任一项所述的图像处理装置，还包括：

人工图像确定单元，被配置成确定所述待编码图像是否为人工生成的人工图像，

其中，在所述人工图像确定单元确定所述待编码图像是人工图像的情况下，所述块设定单元根据所述周边块的大小设定所述当前块的大小。

(8)根据(1)至(7)中任一项所述的图像处理装置，

其中，在用户指定所述待编码图像是人工图像的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

(9)根据(1)至(8)中任一项所述的图像处理装置，

其中，在水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

(10)根据(1)至(9)中任一项所述的图像处理装置，

其中，在高频分量的数量小于预定标准的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

(11)根据(1)至(10)中任一项所述的图像处理装置，

其中，在像素值的变化小于预定标准的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

(12)根据(1)至(11)中任一项所述的图像处理装置，还包括：

区域确定单元，被配置成确定所述当前块是否是由人工生成的人工图像构成的人工图像区域，

其中，在所述区域确定单元确定所述当前块是人工图像区域的情况下，所述块设定单元根据所述周边块的大小来设定所述当前块的大小。

(13)根据(1)至(12)中任一项所述的图像处理装置，

其中，在用户指定所述当前块是人工图像区域的情况下，所述区域确定单元确定所述当前块是人工图像区域。

(14)根据(1)至(13)中任一项所述的图像处理装置，

其中，在所述当前块的水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，所述区域确定单元确定所述当前块是人工图像区域。

(15)根据(1)至(14)中任一项所述的图像处理装置，

其中，在所述当前块中的高频分量的数量小于预定标准的情况下，所述区域确定单元确定所述当前块是人工图像区域。

(16)根据(1)至(15)中任一项所述的图像处理装置，

其中，在所述当前块中的像素值的变化小于预定标准的情况下，所述区域确定单元确定所述当前块是人工图像区域。

(17)根据(1)至(16)中任一项所述的图像处理装置，还包括：

第一计算单元，被配置成针对所述当前块计算在所述待编码图像与由所述帧内预测单元生成的所述预测图像之间的差并且生成残差图像；

正交变换单元，被配置成对由所述第一计算单元获得的所述残差图像执行正交变换；以及

量化单元，被配置成对由所述正交变换单元获得的所述残差图像的正交变换系数进行量化，

其中，所述编码单元对由所述量化单元获得的正交变换系数的量化系数进行编码。

(18)根据(1)至(17)中任一项所述的图像处理装置，还包括：

逆量化单元，被配置成对由所述量化单元获得的所述量化系数执行逆量化；

逆正交变换单元，被配置成对由所述逆量化单元获得的正交变换系数执行逆正交变换；

第二计算单元，被配置成将由所述帧内预测单元生成的所述预测图像添加至由所述逆正交变换单元获得的残差图像，并且生成局部解码图像；以及

去块滤波单元，被配置成向由所述第二计算单元获得的所述解码图像应用去块滤波器。

(19)根据(1)至(18)中任一项所述的图像处理装置，

其中，所述帧内预测单元和所述编码单元使用符合ITU-T H.265|ISO/IEC 23008-2高效视频编码的方法执行各自的处理。

(20)一种图像处理方法，包括：

根据位于用于预测处理的当前块的周边的周边块的大小来设定所述当前块的大小，所述预测处理生成待编码图像的预测图像；

对已设定的当前块执行帧内预测处理并且生成所述预测图像；以及

使用已生成的所述预测图像对所述待编码图像进行编码。

附图标记列表

100 图像编码装置

111 预处理缓冲器

112 预处理单元

113 计算单元

114 正交变换单元

115 量化单元

116 编码单元

117 累积缓冲器

118 逆量化单元

119 逆正交变换单元

120 计算单元

121 滤波器

122 帧存储器

123 帧内预测单元

124 帧间预测单元

125 预测图像选择单元

126 速率控制单元

151 画面重排单元

152 元数据设定单元

153 人工图像块设定单元

201 人工图像确定单元

202 普通图像块设定单元

301 人工图像区域确定单元

Claims (20)

1.一种图像处理装置，包括：

块设定单元，被配置成根据位于用于预测处理的当前块的周边的周边块的大小来设定所述当前块的大小，所述预测处理生成待编码图像的预测图像；

帧内预测单元，被配置成对由所述块设定单元设定的当前块执行帧内预测处理并且生成所述预测图像；以及

编码单元，被配置成使用由所述帧内预测单元生成的所述预测图像对所述待编码图像进行编码。

2.根据权利要求1所述的图像处理装置，

其中，所述周边块包括与所述当前块的上侧相邻的上块和与所述当前块的左侧相邻的左块，并且

在所述上块的大小和所述左块的大小彼此相同的情况下，所述块设定单元将所述当前块的大小设定成与所述上块的大小和所述左块的大小相同。

3.根据权利要求2所述的图像处理装置，

其中，在所述上块的大小和所述左块的大小彼此不同的情况下，所述块设定单元将所述当前块的大小设定成等于或小于所述上块和所述左块中的大小较小的一个块的大小。

4.根据权利要求1所述的图像处理装置，

其中，所述周边块是其像素值在所述当前块中被参考的参考块，并且

所述块设定单元将所述当前块的大小设定成与所述参考块的大小相同。

5.根据权利要求1所述的图像处理装置，

其中，所述周边块是其像素值在所述当前块中被参考的参考块，并且

所述块设定单元将所述当前块的大小设定成小于所述参考块的大小。

6.根据权利要求1所述的图像处理装置，

其中，所述待编码图像是人工生成的人工图像。

7.根据权利要求1所述的图像处理装置，还包括：

人工图像确定单元，被配置成确定所述待编码图像是否为人工生成的人工图像，

其中，在所述人工图像确定单元确定所述待编码图像是人工图像的情况下，所述块设定单元根据所述周边块的大小设定所述当前块的大小。

8.根据权利要求7所述的图像处理装置，

其中，在用户指定所述待编码图像是人工图像的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

9.根据权利要求7所述的图像处理装置，

其中，在水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

10.根据权利要求7所述的图像处理装置，

其中，在高频分量的数量小于预定标准的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

11.根据权利要求7所述的图像处理装置，

其中，在像素值的变化小于预定标准的情况下，所述人工图像确定单元确定所述待编码图像是人工图像。

12.根据权利要求1所述的图像处理装置，还包括：

区域确定单元，被配置成确定所述当前块是否是由人工生成的人工图像构成的人工图像区域，

其中，在所述区域确定单元确定所述当前块是人工图像区域的情况下，所述块设定单元根据所述周边块的大小来设定所述当前块的大小。

13.根据权利要求12所述的图像处理装置，

其中，在用户指定所述当前块是人工图像区域的情况下，所述区域确定单元确定所述当前块是人工图像区域。

14.根据权利要求12所述的图像处理装置，

其中，在所述当前块的水平方向或竖直方向上发生像素值单调增加或单调减小的情况下，所述区域确定单元确定所述当前块是人工图像区域。

15.根据权利要求12所述的图像处理装置，

其中，在所述当前块中的高频分量的数量小于预定标准的情况下，所述区域确定单元确定所述当前块是人工图像区域。

16.根据权利要求12所述的图像处理装置，

其中，在所述当前块中的像素值的变化小于预定标准的情况下，所述区域确定单元确定所述当前块是人工图像区域。

17.根据权利要求1所述的图像处理装置，还包括：

第一计算单元，被配置成针对所述当前块计算所述待编码图像与由所述帧内预测单元生成的所述预测图像之间的差并且生成残差图像；

正交变换单元，被配置成对由所述第一计算单元获得的所述残差图像执行正交变换；以及

量化单元，被配置成对由所述正交变换单元获得的所述残差图像的正交变换系数进行量化，

其中，所述编码单元对由所述量化单元获得的所述正交变换系数的量化系数进行编码。

18.根据权利要求17所述的图像处理装置，还包括：

逆量化单元，被配置成对由所述量化单元获得的所述量化系数执行逆量化；

逆正交变换单元，被配置成对由所述逆量化单元获得的正交变换系数执行逆正交变换；

第二计算单元，被配置成将由所述帧内预测单元生成的所述预测图像添加至由所述逆正交变换单元获得的残差图像，并且生成局部解码图像；以及

去块滤波单元，被配置成向由所述第二计算单元获得的所述解码图像应用去块滤波器。

19.根据权利要求1所述的图像处理装置，

其中，所述帧内预测单元和所述编码单元使用符合ITU-T H.265|ISO/IEC 23008-2高效视频编码的方法执行各自的处理。

20.一种图像处理方法，包括：

根据位于用于预测处理的当前块的周边的周边块的大小来设定所述当前块的大小，所述预测处理生成待编码图像的预测图像；

对已设定的当前块执行帧内预测处理并且生成所述预测图像；以及

使用已生成的所述预测图像对所述待编码图像进行编码。