CN102972026A - 图像处理装置和图像处理方法 - Google Patents

Abstract

为了能够在图像处理装置中处理具有更大尺寸的块而同时抑制线路存储器冗余，通过利用形状确定信息来确定预测单元中的块的形状（正方形或非正方形），其中形状确定信息用于确定与块的尺寸对应的块的形状。公开了一种图像处理装置，其包括：形状确定部，其用于使用形状确定信息确定在图像中设置的块的形状，所述形状确定信息用于根据块的尺寸确定块的形状；运动矢量设置部，其用于根据由所述形状确定部确定的形状在所述图像中的每个块中布置预测单元，并且针对每个布置的预测单元设置用于在所述预测单元中预测图像的运动矢量；以及编码部，其用于使用由所述运动矢量设置部设置的所述运动矢量编码所述图像。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法。

背景技术

传统上，压缩技术很普遍，压缩技术的目的是高效发送或累积数字图像，并且例如通过使用对图像唯一的冗余，通过移动补偿和诸如离散余弦变换等正交变换压缩该图像的信息量。例如，符合诸如由ITU-T开发的H.26x标准或者由MPEG（运动图像专家组）开发的MPEG-y标准等标准技术的图像编码装置和图像解码装置被广泛用于各种领域，例如，由广播设备累积和分配图像以及由一般用户接收和累积图像。

MPEG2（ISO/IEC 13818-2）是被定义为通用目的的图像编码方法的MPEG-y标准之一。MPEG2能够处理隔行扫描图像和非隔行扫描图像，并且除了标准分辨率的数字图像以外还针对高清晰度图像。MPEG2当前在包括专业用途和消费者用途的广泛应用范围中广泛使用MPEG2。根据MPEG2，例如，通过将4至8Mbps比特率分配给720×480像素的标准分辨率的隔行扫描图像并且将18至22Mbps比特率分配给1920×1088像素的高分辨率的隔行扫描图像，可以实现高压缩比和期望的图像质量二者。

MPEG2主要用于适合于广播使用的高质量编码，并且不处理低于MPEG1的比特率，即，不处理高压缩比。然而，随着近年来移动终端的普及，对能够处理高压缩比的编码方法的需求日益增加。因此，MPEG4编码方法的标准化最近被推广。对于作为MPEG4编码方法的一部分的图像编码方法，其标准在1998年12月被接受为国际标准（ISO/IEC14496-2）。

H.26x标准（ITU-T Q6/16VCEG）是最初为了进行适合于诸如视频电话和视频会议等通信的编码而开发的标准。已经知道H.26x标准需要用于编码和解码的大计算量，但是与MPEG-y标准相比，能够实现更高的压缩比。此外，利用作为MPEG4的功能的一部分的增强压缩视频编码的联合模型（Joint Model of Enhanced-Compression Video Coding），开发出基于H.26x标准通过采用新函数允许实现更高压缩比的标准。该标准在2003年3月成为H.264和MPEG-4Part 10（高级视频编码，AdvancedVideo Coding;AVC）名下的国际标准。

此外，近年来，还认识到需要具有更大压缩比的编码方法，以用于压缩4000×2000像素的大图像或者在因特网等传输能力存在限制的环境下传输高视觉图像。因此，非专利文献1提出将宏块的尺寸设置为比MPEG2或H.264/AVC的尺寸大的尺寸（例如，设置为32×32像素）并且进行帧间预测。通过使用更大尺寸的宏块进行运动预测，可以增强通过运动预测压缩数据量的效果，并且可以进一步增加图像的压缩比。

引用列表

非专利文献

非专利文献1：Sung-Chang Lim,Hahyun Lee,Jinho Lee,JonghoKim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,“Intra coding usingextended block size”,(ITU-Telecommunications Standardization Sector，Study Group 16 Question 6,Video Coding Experts Group,38th Meeting:London,UK/Geneva,CH,1-8 July，2009,D)

非专利文献2：Qualcomm Inc,“Video Coding Using Extended Block1Sizes”(STUDY GROUP16-CONTRIBUTION 123,ITU-Telecommunications Standardization Sector，January 2009)

发明内容

技术问题

然而，对宏块的最大尺寸进行扩展意味着图像的编码或解码所需的线路存储器的尺寸也变得更大。例如，对于H.264/AVC，由于可以使用16×16像素的最大宏块（LMB），所以编码或解码所需的线路存储器是16像素。相反，对于上述非专利文献1或2中提出的方法，由于可以使用32×32像素的最大宏块，所以需要具有32像素尺寸的线路存储器。然而，从硬件成本的立场来看，线路存储器的尺寸的不必要的增加是不利的。此外，对于存储器资源有限的硬件，希望能够在尽可能不扩展线路存储器的情况下再现以高压缩比编码的图像。

因此，根据本公开的技术意图提供一种能够在抑制线路存储器增加的同时处理更大的块图像处理装置和图像处理方法。

根据本公开的实施例，提供一种图像处理装置，其包括：形状确定部，其用于使用形状确定信息确定在图像中设置的块的形状，所述形状确定信息用于根据尺寸确定块的形状；运动矢量设置部，其用于根据由所述形状确定部确定的形状在所述图像中的每个块中布置预测单元，并且针对每个布置的预测单元设置用于预测所述预测单元中的图像的运动矢量；以及编码部，其用于使用由所述运动矢量设置部设置的所述运动矢量对所述图像进行编码。

该图像处理装置通常可以被实现为用于对图像进行编码的图像编码装置。

此外，所述形状确定信息可以包括与用于块尺寸的边界值有关的信息，该边界值用于将正方形块与非正方形块区分开。

此外，所述形状确定部可以将比所述边界值大的尺寸的块的形状确定为非正方形，并且将比所述边界值小的尺寸的块的形状确定为正方形。

此外，所述图像中的每个块的形状可以是正方形或者长边与短边的比值固定的长方形。

此外，所述图像中的每个块的形状是正方形或者长方形，并且所述形状确定信息可以包括用于限定块的长边与短边的比值的比值信息。

此外，所述形状确定信息可以包括层数信息，该层数信息用于限定块的长边与短边的比值彼此不同的层的数目，并且所述比值信息可以是用于限定每个所述层的比值的信息。

此外，所述运动矢量设置部可以针对每个块输出表示在所述图像中设置的每个块的尺寸的信息和指定所述块中的预测单元的布置模式的预测模式信息。

此外，所述图像中的每个块的形状是正方形或长方形，并且正方形块的预测单元的布置候选与长方形块的预测单元的布置候选可以不同。

此外，所述形状确定信息可被允许由用户输入。

此外，所述图像处理装置可以进一步包括发送部件，所述发送部件用于发送由所述编码部产生的编码流和所述形状确定信息。

此外，所述编码部可以将所述形状确定信息复用到所述编码流的序列参数集、图片参数集或者宏块条头部（slice header）。

此外，根据本公开的实施例，提供一种用于处理图像的图像处理方法，该方法包括：使用形状确定信息确定在图像中设置的块的形状，所述形状确定信息用于根据尺寸确定块的形状；根据所确定的形状在所述图像中的每个块中布置预测单元，并且针对每个布置的预测单元设置用于在所述预测单元中预测图像的运动矢量；以及使用所设置的运动矢量对所述图像进行编码。

此外，根据本公开的实施例，提供一种图像处理装置，其包括：形状确定部，其用于使用形状确定信息和在对图像进行编码时在所述图像中设置的块的尺寸，确定所述图像中的每个块的形状，所述形状确定信息用于根据尺寸确定块的形状；预测单元确定部，其用于根据由所述形状确定部确定的每个块的形状来确定每个块中的预测单元的布置；预测部，其用于使用由所述预测单元确定部确定的预测单元的布置和针对每个预测单元获取的运动矢量，产生每个块的预测图像；以及解码部，其用于使用由所述预测部产生的所述预测图像，对编码有所述图像的编码流进行解码。

所述图像处理装置通常可以被实现为用于将图像解码的图像解码装置。

此外，所述形状确定信息可以包括与用于块尺寸的边界值有关的信息，该边界值用于将正方形块和非正方形块区分开。

此外，所述图像中的每个块的形状可以是正方形或者长边与短边的比值固定的长方形。

此外，所述图像中的每个块的形状是正方形或者长方形，并且所述形状确定信息可以包括用于限定块的长边与短边的比值的比值信息。

此外，所述形状确定信息可以包括层数信息，层数信息用于限定块的长边与短边的比值彼此不同的层的数目，并且所述比值信息可以是用于限定每个所述层的所述比值的信息。

此外，所述形状确定部可以从复用到所述编码流的序列参数集、图片参数集或者宏块条头部中获取所述形状确定信息。

此外，所述形状确定部可以从包括在所述编码流中的块头部中获取用于确定每个块的尺寸的信息。

此外，所述图像中的每个块的形状是正方形或者长方形，并且正方形块的预测单元的布置候选与长方形块的预测单元的布置候选可以不同。

此外，所述形状确定信息可以是基于在已经对所述图像进行编码的装置处的用户输入而获取的信息。

此外，所述图像处理装置可以进一步包括接收部件，所述接收部件用于接收所述编码流和所述形状确定信息。

此外，根据本公开的实施例，提供一种用于处理图像的图像处理方法，该方法包括：使用形状确定信息和在对图像进行编码时在所述图像中设置的块的尺寸，确定所述图像中的每个块的形状，所述形状确定信息用于根据尺寸确定块的形状；根据所确定的每个块的形状确定每个块中的预测单元的布置；使用所确定的预测单元的布置和针对每个预测单元获取的运动矢量，产生每个块的预测图像；以及使用所产生的预测图像，对编码有所述图像的编码流进行解码。

本发明的有益效果

如上所述，根据本公开的图像处理装置和图像处理方法可以在抑制线路存储器增加的同时处理更大的块。

附图说明

图1是示出根据实施例的图像编码装置的配置的例子的框图。

图2是示出实施例的图像编码装置的运动估计部的详细配置的例子的框图。

图3是描述形状确定信息的第一实施例的说明图。

图4是示出可以由形状确定信息的第一实施例定义的编码块的层级结构的第一例子的说明图。

图5是示出可以由形状确定信息的第一实施例定义的编码块的层级结构的第二例子的说明图。

图6是示出可以由形状确定信息的第一实施例定义的编码块的层级结构的第三例子的说明图。

图7是描述正方形块中预测单元的布置的说明图。

图8是描述具有2N×N形状的块中预测单元的布置的说明图。

图9是描述形状确定信息的第一实施例中运动矢量的估计范围的说明图。

图10是描述具有2N×N形状的块中变换单元的布置的说明图。

图11是示出关于具有2N×N形状的变换单元的编码块模式的例子的说明图。

图12是描述形状确定信息的第二实施例的说明图。

图13是示出可以由形状确定信息的第二实施例定义的编码块的层级结构的例子的说明图。

图14是描述具有4N×N形状的块中预测单元的布置的说明图。

图15是描述可以在具有4N×N形状的块中设置的变换单元的说明图。

图16是示出具有4N×N形状的块的编码块模式的例子的说明图。

图17是描述形状确定信息的第三实施例的说明图。

图18是示出可以由形状确定信息的第三实施例定义的编码块的层级结构的第一例子的说明图。

图19是示出可以由形状确定信息的第三实施例定义的编码块的层级结构的第二例子的说明图。

图20是示出可以由形状确定信息的第三实施例定义的编码块的层级结构的第三例子的说明图。

图21是示出可以由形状确定信息的第三实施例定义的编码块的层级结构的第四例子的说明图。

图22是示出根据实施例的运动估计处理流程的例子的流程图的前半部分。

图23是示出根据实施例的运动估计处理流程的例子的流程图的后半部分。

图24是示出根据实施例的图像解码装置的配置的例子的框图。

图25是示出根据实施例的图像解码装置的运动压缩部的详细配置的例子的框图。

图26是示出根据实施例的运动压缩处理流程的例子的流程图。

图27是示出电视机的示意性配置的例子的框图。

图28是示出移动电话的示意性配置的例子的框图。

图29是示出记录/再现装置的示意性配置的例子的框图。

图30是示出图像捕获装置的示意性配置的例子的框图。

具体实施方式

下面参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，基本具有相同功能和结构的要素由相同的附图标记来表示，并且省略重复的说明。

此外，以下面给出的顺序描述“具体实施方式”。

1.根据实施例的图像编码装置的示例性配置

2.形状确定信息的例子

3.根据实施例的在编码时的处理流程

4.根据实施例的图像解码装置的示例性配置

5.根据实施例的在解码时的处理流程

6.示例性应用

7.总结

<1.根据实施例的图像编码装置的示例性配置>

首先，使用图1和图2描述根据实施例的图像编码装置的示例性配置。

[1-1.整体配置的例子]

图1是示出根据实施例的图像编码装置10的配置的例子的框图。参考图1，图像编码装置10包括A/D（模拟至数字）转换部11、排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26、帧内预测部30、运动估计部40和模式选择部50。

A/D转换部11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出到排序缓冲器12。

排序缓冲器12将包括在从A/D转换部11输入的一系列图像数据中的图像排序。根据编码处理，按照GOP（图片组，Group of Pictures）结构将图像排序之后，排序缓冲器12将已经被排序的图像数据输出到减法部13、帧内预测部30和运动估计部40。

从排序缓冲器12输入的图像数据和由稍后描述的模式选择部50选择的预测图像数据被提供给减法部13。减法部13计算预测误差数据，预测误差数据是从排序缓冲器12输入的图像数据和从模式选择部50输入的预测图像数据之间的差，并且将计算出的预测误差数据输出到正交变换部14。

正交变换部14对从减法部13输入的预测误差数据的稍后描述的每个变换单元（TU）进行正交变换。由正交变换部14进行的正交变换可以例如是离散余弦变换（DCT）或者Karhunen-Loeve变换。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。

从正交变换部14输入的变换系数数据和来自稍后描述的速率控制部18的速率控制信号被提供给量化部15。量化部15将该变换系数数据量化，并且将已经被量化的变换系数数据（在下文中称为量化数据）输出到无损编码部16和逆量化部21。此外，量化部15基于来自速率控制部18的速率控制信号切换量化参数（量化级），从而改变要被输入到无损编码部16的量化数据的比特率。

从量化部15输入的量化数据和稍后描述的与由帧内预测部30或运动估计部40产生的并且由模式选择部50选择的帧内预测或帧间预测有关的信息被提供给无损编码部16。此外，从运动估计部40输出的与块的形状有关的定义信息也被提供给无损编码部16。与帧内预测有关的信息可以包括例如表示每个块的最佳帧内预测模式的预测模式信息。此外，如稍后详细描述的，与帧间预测有关的信息可以还包括例如用于指定图像中设置的块的尺寸的尺寸指定信息、用于指定每个块中的预测单元的布置的预测模式信息、运动矢量信息和基准图像信息。此外，与块的形状有关的定义信息可以包括稍后描述的最大尺寸信息、最小尺寸信息和形状确定信息。

无损编码部16通过对量化数据进行无损编码处理来产生编码流。无损编码部16进行的无损编码可以例如是长度可变编码或者算术编码。此外，无损编码部16将上述与帧内预测有关的信息或者与帧间预测有关的信息复用到编码流的头部（例如，块头部、宏块条头部等）。此外，无损编码部16将从运动估计部40提供的定义信息复用到例如编码流的序列参数集、图片参数集或者宏块条头部。然后，无损编码部16将所产生的编码流输出到累积缓冲器17。

累积缓冲器17使用诸如半导体存储器等存储介质存储从无损编码部16输入的编码流。然后，累积缓冲器17以符合传输线（或者图像编码装置10的输出线）的带宽的速率输出所累积的编码流。

速率控制部18监测累积缓冲器17的空闲空间。然后，速率控制部18根据累积缓冲器17上的空闲空间产生速率控制信号，并且将所产生的速率控制信号输出到量化部15。例如，当累积缓冲器17上没有很大的空闲空间时，速率控制部18产生用于降低量化数据的比特率的速率控制信号。此外，例如当累积缓冲器17上的空闲空间足够大时，速率控制部18产生用于增加量化数据的比特率的速率控制信号。

逆量化部21对从量化部15输入的量化数据进行逆量化处理。然后，逆量化部21将通过逆量化处理获取的变换系数数据输出到逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据进行逆正交变换处理。然后，逆正交变换部22将恢复后的预测误差数据输出到加法部23。

加法部23将从逆正交变换部22输入的恢复后的预测误差数据与从模式选择部50输入的预测图像数据相加，从而产生解码图像数据。然后，加法部23将所产生的解码图像数据输出到去块滤波器24和帧存储器25。

去块滤波器24进行用于减小在将编码图像时出现的块失真的滤波处理。去块滤波器24对从加法部23输入的解码图像数据进行滤波以去除块失真，并且将滤波后的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质存储从加法部23输入的解码图像数据和从去块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取滤波之前的要被用于帧内预测的解码图像数据，并且将所读取的该解码图像数据提供给帧内预测部30作为基准图像数据。此外，选择器26还从帧存储器25读取滤波之后的要被用于帧间预测的解码图像数据，并且将所读取的该解码图像数据提供给运动估计部40作为基准图像数据。

帧内预测部30基于从排序缓冲器12输入的编码目标图像数据和通过选择器26提供的解码图像数据，以H.264/AVC定义的每个帧内预测模式进行帧内预测处理。例如，帧内预测部30使用预定的成本函数来估计每个帧内预测模式的预测结果。然后，帧内预测部30选择成本函数值最小的帧内预测模式，即，压缩比（编码效率）最高的帧内预测模式，作为最佳帧内预测模式。此外，帧内预测部30将表示该最佳帧内预测模式的预测模式信息、预测的图像数据和诸如成本函数值等与帧内预测有关的信息输出到模式选择部50。此外，帧内预测部30可以基于从排序缓冲器12输入的编码目标图像数据和通过选择器26提供的解码图像数据，利用比H.264/AVC定义的每个帧内预测模式大的块进行帧内预测处理。在此情况下，帧内预测部30使用预定的成本函数来估计每个帧内预测模式的预测结果，并且将与最佳帧内预测模式的帧内预测有关的信息输出到模式选择部50。

运动估计部40基于从排序缓冲器12输入的编码目标图像数据和通过选择器26提供的解码图像数据，使用比H.264/AVC定义的宏块的尺寸大的最大块尺寸进行运动估计处理。例如，运动估计部40分别使用多种预测模式将预测单元布置在可以设置的最大块中和通过分割该最大块获得的每个块中。此外，运动估计部40确定由每个预测模式布置的每个预测单元的运动矢量。然后，运动估计部40使用预定的成本函数估计每个预测模式。然后，运动估计部40选择使成本函数值最小的块尺寸和预测模式，即，使压缩比（编码效率）最高的块尺寸和预测模式，作为最佳块尺寸和最佳预测模式。稍后更详细地描述运动估计部40的该运动估计处理。运动估计部40向模式选择部50输出与帧间预测有关的信息，如用于指定使成本函数值最小的块尺寸的尺寸指定信息、用于指定预测单元的布置的预测模式信息、运动矢量信息、基准图像信息、预测的图像数据、成本函数值等。

模式选择部50比较与从帧内预测部30输入的帧内预测相关的成本函数值和与从运动估计部40输入的帧间预测相关的成本函数值。然后，模式选择部50从该帧内预测和该帧间预测中选择具有较小成本函数值的预测方法。在选择帧内预测的情况下，模式选择部50将与帧内预测有关的信息输出到无损编码部16，并且还将预测的图像数据输出到减法部13。此外，在选择帧间预测的情况下，模式选择部50将与帧间预测有关的尺寸指定信息、预测模式信息、运动矢量信息和基准图像信息输出到无损编码部16，并且还将预测的图像数据输出到减法部13。

[1-2.运动估计部的示例性配置]

图2是示出图1中所示的图像编码装置10的运动估计部40的详细配置的例子的框图。参考图2，运动估计部40包括信息保存部41、形状确定部42、运动矢量设置部43和运动补偿部44。

信息保存部41使用诸如半导体存储器等存储介质预先保存最大尺寸信息、最小尺寸信息和形状确定信息。最大尺寸信息是用于定义可以在图像中设置的最大块的尺寸的信息。例如，根据H264/AVC可以在图像中设置的最大块的尺寸是16×16像素。另一方面，根据扩展标准，最大尺寸信息可以表示超过16的值（例如，32、64、128等）。最小尺寸信息是用于定义在图像中可以设置的最小块的尺寸的信息。

形状确定信息是被定义为根据尺寸确定块的形状的信息。也就是说，形状确定信息是在针对特定的块指定了尺寸的情况下，允许根据该形状确定信息和指定的尺寸来确定块的形状的信息。稍后通过引用三个例子更详细地描述形状确定信息的具体例子。

另外，在本实施例中，可以由从最大块分割的次数来表达用于图像编码的块的尺寸。例如，如果分割的次数是零，则块的尺寸等于最大块的尺寸。如果从最大块分割的次数是一以上，则块的尺寸小于最大块的尺寸。在本说明书中，将从最大块分割出每个块的次数称为块的“深度”（或层）。

形状确定部42使用保存在信息保存部41中的上述形状确定信息来确定在图像中可以设置的块的形状。在本实施例中，图像中的每个块的形状是正方形或长方形。因此，形状确定部42查阅形状确定信息，并且例如确定特定尺寸的块的形状是长方形，而另一尺寸的块的形状是正方形。

另外，如图2中所示，可以由使用图像编码装置10的用户（例如，将图像编码装置10嵌入在电子设备中作为编码器的开发者等）输入或更新保存在信息保存部41中的信息。也就是说，允许使用图像编码装置10的用户根据对图像编码装置10的使用，来指定在图像编码处理时所使用的最大尺寸信息、最小尺寸信息和形状确定信息。

例如，用户可以指定形状确定信息，使得最大尺寸的块的形状是长方形。因此，例如可以使用32×16像素的块作为超过例如由H.264/AVC定义的最大宏块尺寸（16×16像素）的尺寸的块。在此情况下，因为块的短边长度不变，所以可以使用与传统方法的尺寸（16像素）相同尺寸的线路存储器，但是块尺寸被扩展，因此可以进一步增加图像的压缩比。此外，例如，在将图像编码装置10嵌入在能够确保较大尺寸的线路存储器的设备中的情况下，用户可以指定形状确定信息，使得最大尺寸的块的形状是正方形。由用户指定的并且保存在信息保存部41中的这些定义信息被输出到图1中所示的无损编码部16。

运动矢量设置部43包括预测单元布置部件，其用于根据由形状确定部42确定的上述块的形状，将预测单元布置在图像中的每个块中。然后，例如，运动矢量设置部43针对根据块的形状布置的每个预测单元，设置用于预测该预测单元中的图像的运动矢量。

更具体来说，例如，运动矢量设置部43首先在深度0的块（最大块）中以多种预测模式（预测单元的布置模式）布置预测单元，并且确定每个预测单元的运动矢量。此外，运动矢量设置部43在深度1的块中以多种预测模式布置预测单元，并且确定每个预测单元的运动矢量。类似地，运动矢量设置部43在向下到最小尺寸的块的每个深度的对应块中以多种预测模式布置预测单元，并且确定每个预测单元的运动矢量。结果，确定出分别与深度和预测模式的组合相对应的多组运动矢量。另外，当确定每个预测单元的运动矢量时，使用预测单元中的原始图像的像素值和从帧存储器25输入的基准图像的像素值。接下来，运动矢量设置部43选择深度和预测模式的最佳组合，其中，通过该最佳组合，成本函数值最小。然后，运动矢量设置部43向运动补偿部44输出用于根据所选择的组合（与深度相对应的信息）指定块尺寸的尺寸指定信息、预测模式信息、运动矢量信息、基准图像信息和成本函数值。

在此，在本实施例中，如上所述，根据块的尺寸，每个块具有正方形或长方形形状。因此，在运动矢量设置部43中，正方形块的预测单元的布置候选和长方形块的预测单元的布置候选是不同的。稍后进一步描述预测单元的这种布置候选。

运动补偿部44使用由运动矢量设置部43设置的最佳运动矢量和从帧存储器25输入的基准图像数据（过滤后的解码图像数据）产生预测的图像数据。然后，运动补偿部44向模式选择部50输出所产生的预测的图像数据和与帧间预测有关的信息，如尺寸指定信息、预测模式信息、运动矢量信息、基准图像信息等。

<2.形状确定信息的例子>

接下来，使用图3至图21描述形状确定信息的三个典型实施例。

[2-1.第一实施例]

（关于数据的说明）

图3是描述形状确定信息的第一实施例的说明图。参考图3，图3示出第一实施例中可以保存在信息保存部41中的定义信息41a。定义信息41a包括最大尺寸信息“high_layer（高层）”、最小尺寸信息“low_layer（低层）”和形状确定信息“high_square_layer（高正方形层）”。另外，在此示出的每个参数的名称仅是例子，也可以使用其它参数名称。

最大尺寸信息“high_layer”表示在图像中可以设置的最大块的尺寸。例如，最大尺寸信息的值是64、32、16、8或4。最小尺寸信息“low_layer”表示在图像中可以设置的最小块的尺寸。例如，最小尺寸信息的值是64、32、16、8或4。例如，最大尺寸信息和最小尺寸信息是也可以在H264/AVC中使用的信息。

作为根据本实施例的形状确定信息的“high_square_layer”表示用于将正方形块和非正方形块分开的块尺寸的边界值。“high_square_layer”可以取由“high_layer”和“low_layer”定义的范围内的块尺寸的值（在图3的例子中为64、32、16、8或4）。边界值“high_square_layer”意味着块尺寸超过该值的块是非正方形，并且块尺寸等于或低于该值的块是正方形。因此，在“high_square_layer”=“high_layer”的情况下，所有深度（所有尺寸）的块都是正方形。另一方面，在“high_square_layer”<“high_layer”的情况下，所有深度（所有尺寸）的块都是非正方形。

在本实施例中，非正方形块的形状是长边与短边的比值固定的长方形。在以下说明中，将描述长边与短边的比值为2至1的情况。然而，它不局限于该例子，也可以使用其它比值作为非正方形块的长边与短边的比值。

另外，例如，“high_layer”、“low_layer”和“high_square_layer”的尺寸值对应于图3中的下方的表中所示的块尺寸。也就是说，在尺寸值（N）是64的情况下，正方形块的尺寸是128×128像素，而长方形块的尺寸是128×64像素。在尺寸值（N）是32的情况下，正方形块的尺寸是64×64像素，而长方形块的尺寸是64×32像素。在尺寸值（N）是16的情况下，正方形块的尺寸是32×32像素，而长方形块的尺寸是32×16像素。在尺寸值（N）是8的情况下，正方形块的尺寸是16×16像素，而长方形块的尺寸是16×8像素。在尺寸值（N）是4的情况下，正方形块的尺寸是8×8像素，而没有长方形块。顺便提及，这些尺寸定义仅是例子，也可以使用其它尺寸值定义。

下面将示出定义信息41a的语义。另外，在以下语义中，“HighSQsize”和“LowSQsize”分别是表示正方形形状的块的尺寸的上限和下限的变量。另外，HighNSsize”和“LowNSsize”分别是表示非正方形形状的块的尺寸的上限和下限的变量。

[运算1]

（编码块的层级结构）

图4是示出可以由第一实施例定义的编码块的层级结构的第一例子的说明图。在图4的例子中，定义信息41a表明“high_layer”是64，“low_layer”是4，并且“high_square_layer”是64。在此情况下，由于“high_square_layer”和“high_layer”相等，所以所有深度（所有尺寸）的块都是正方形。也就是说，如图4中所示，深度0的最大尺寸（128×128）的块、深度1的第二尺寸（64×64）的块和深度4的最小尺寸（8×8）的块都是正方形。

图5是示出可以由第一实施例定义的编码块的层级结构的第二例子的说明图。在图5的例子中，定义信息41a表明“high_layer”是64，“low_layer”是8，并且“high_square_layer”是-1。在此情况下，由于“high_square_layer”小于“low_layer”，所以所有深度（所有尺寸）的块都是非正方形。也就是说，如图5中所示，深度（分割的次数）0的最大尺寸（128×64）的块、深度1的第二尺寸（64×32）的块和深度3的最小尺寸（16×8）的块都是非正方形。

图6是示出可以由第一实施例定义的编码块的层级结构的第三例子的说明图。在图6的例子中，定义信息41a表明“high_layer”是32，“low_layer”是4，并且“high_square_layer”是8。在此情况下，可以根据块尺寸设置非正方形块和正方形块。也就是说，如图6中所示，深度0的最大尺寸（64×32）的块和深度1的第二尺寸（32×16）的块是非正方形。此外，深度2的第三尺寸（16×16）的块和深度3的最小尺寸（8×8）的块都是正方形。

另外，从图4至图6可以理解，在分割块而不改变块形状的情况下（例如，在分割之前和分割之后块的形状都是长方形或都是正方形的情况下），例如以竖直方向和水平方向上的中心线作为分割线，将块分割成四个。另一方面，在跨过由“high_square_layer”表示的边界值将长方形块分割成正方形块的情况下，可以例如以竖直方向上的线作为分割线，将该块分割成两个（在长边与短边的比值为四比一的情况下，分割成4个）。

（预测单元：正方形块）

图7是描述在具有2N×2N形状的块（即，正方形块）中预测单元的布置的说明图。参考图7，图7示出九种预测模式，模式0至模式8。

在这些模式当中，模式0是在使用跳过的宏块模式或直接模式的情况下选择的独特预测模式。在模式0中，在块中布置尺寸为2N×2N的一个预测单元。模式1是在块中布置尺寸为2N×2N的一个预测单元的预测模式。模式2是在块中竖直方向布置尺寸为2N×N的两个预测单元的预测模式。模式3是在块中水平方向布置尺寸为N×2N的两个预测单元的预测模式。模式4是在块中布置尺寸为N×N的四个预测单元（竖直方向上两个，水平方向上两个）的预测模式。这些模式0至4是H264/AVC采用的预测模式。

模式5是在块中竖直方向布置尺寸为2N×nU（N/2,3N/2）的两个预测单元的预测模式。模式6是竖直方向反转模式5的预测单元的布置的预测模式。模式7是在块中水平方向布置尺寸为nL(N/2,3N/2)×2N的两个预测单元的预测模式。模式8是水平方向反转模式7的预测单元的布置的预测模式。这些模式5至8也可以被用作关于正方形块的预测模式的候选。

（预测单元：2比1的长方形块）

图8是用于描述在长边与短边的比值为2:1的长方形形状的块中的预测单元的布置的说明图。参考图8，图8示出九种预测模式，模式0至模式8。此外，还示出了作为模式9的分割模式。

在这些模式当中，模式0是在使用跳过的宏块模式或直接模式的情况下选择的独特预测模式。在模式0中，在块中布置尺寸为2N×N的一个预测单元。模式1是在块中布置尺寸为2N×N的一个预测单元的预测模式。模式2是在块中竖直方向布置尺寸为2N×N/2的两个预测单元的预测模式。模式3是在块中水平方向布置尺寸为N×N的两个预测单元的预测模式。模式4是在块中布置尺寸为N×N/2的四个预测单元（竖直方向上两个，水平方向上两个）的预测模式。模式5是在块中水平方向布置尺寸为N/2×N和3N/2×N的两个预测单元的预测模式。模式6是水平方向反转模式5的预测单元的布置的预测模式。模式7和模式8是在块中布置由块的对角线分开的两个三角形预测单元的预测模式。

模式9是表示块被进一步分割的分割模式。在该分割模式被表示为特定深度的块的预测模式时，该块被分割为更小的块。因此，针对最大尺寸的特定块所指定的分割模式的数目代表从最大尺寸的块分割的次数。这意味着分割模式的数目用作用于指定在图像中设置的块的尺寸的尺寸指定信息。另外，在本说明书中的描述中，尺寸指定信息和预测模式信息彼此不同，但是尺寸指定信息可以作为预测模式信息的一部分来处理。另外，如上所述，在分割块而不改变块的形状的情况下，可以例如以竖直方向和水平方向中心线为分割线将块分割为四个。另一方面，在跨过由“high_square_layer”表示的边界值将长方形块分割为正方形块的情况下，可以例如以竖直方向的线为分割线分割该块。

（运动矢量的估计范围）

图9是描述在形状确定信息的第一实施例中运动矢量的估计范围的说明图。

参考图9，图9示出“high_layer”=64，“low_layer”=4，并且“high_square_layer”=8的情况下运动矢量的估计范围的树结构。该树结构的最高等级的第一层包括九个预测模式，模式0至模式8，它们可被应用于128×64像素的最大尺寸的非正方形块。此外，第一层之后的第二层包括九个预测模式，模式0至模式8，它们可被应用于64×32像素的尺寸的非正方形块。此外，第二层之后的第三层包括九个预测模式，模式0至模式8，它们可被应用于32×16像素的尺寸的非正方形块。第三层之后的第四层包括从模式0至模式M的预测模式，它们可被应用于16×16像素的尺寸的正方形块。第四层之后的第五层包括从模式0至模式M的预测模式，它们可被应用于8×8像素的最小尺寸的正方形块。

图2中所示的运动估计部40的运动矢量设置部43根据由形状确定部42确定的每个块尺寸的块的形状，以包括在该树结构中的第一层至第五层的每个预测模式为目标，估计运动矢量。然后，运动矢量设置部43选择在估计范围内使成本函数值最小的预测模式，作为用于标识将被用于编码的预测单元的布置的预测模式。由图7或图8中所示的预测模式的编号和层的深度唯一地标识该最佳预测模式。深度表示从最大尺寸的块分割的次数，并且是用于指定分割后的块的尺寸的信息。预测模式的编号和深度被复用在例如编码流的块头部内，作为预测模式信息和尺寸指定信息。此外，最大尺寸信息和形状确定信息还被复用在例如编码流的序列参数集、图片参数集或者宏块条头部内。因此，用于解码编码图像的装置可以通过从编码流中取得这些被复用的信息，识别在编码时使用的块的预测单元的尺寸、形状和布置。

（变换单元：2比1的长方形块）

图10是描述2N×N形状的块中，作为正交变换处理的单元的变换单元（TU）的布置的说明图。

参考图10，图10示出类型T0至类型T4五个变换单元布置模式。在这些模式当中，类型T0是在2N×N形状的块中布置一个尺寸为2N×N的变换单元的模式。类型T1是在该块中水平方向彼此相邻布置两个尺寸为N×N的变换单元的模式。类型T2是在该块中布置四个尺寸为N×N/2的变换单元的模式，在竖直方向上彼此相邻地布置两个，在水平方向上彼此相邻地布置两个。类型T3是在该块中水平方向上彼此相邻地布置四个尺寸为N/2×N的变换单元的模式。类型T4是布置八个尺寸为N/2×N/2的变换单元的模式，在竖直方向上彼此相邻地布置两个，在水平方向上彼此相邻地布置四个。正交变换部14对这五个类型中的任一类型的每个变换单元进行正交变换，并且输出变换系数数据。

表1示出图8中所示的预测单元（PU）和图10中所示的变换单元（TU）的映射。表1中的“○”表示如果选择左列中的预测单元，则可以使用对应的变换单元。“×”表示如果选择左列中的预测单元，则不可以使用对应的变换单元。

[表1]

表1.预测单元（PU）和变换单元（TU）的映射（比值：2比1）

PU\TU	T0	T1	T2	T3	T4
						模式0：2N×N	○	○	×	×	×
模式1：2N×N	○	○	×	×	×
						模式2：2N×N/2	×	×	○	×	○

模式3：N×N	×	○	○	○	○
						模式4：N×N/2	×	×	○	○	○
模式5：N/2,3N/2×N	×	×	×	○	○
						模式6：3N/2,N/2×N	×	×	×	○	○
模式7：三角形1	○	○	○	○	○
						模式8：三角形2	○	○	○	○	○

另外，一般来说，正交变换的单元可以是允许执行的最大尺寸为32×32像素的单元。因此，应当指出，即使在表1中被分配了“○”，根据块尺寸仍可能存在不能使用的变换单元。

图11是示出关于2N×N形状的变换单元的编码块模式（coded blockpattern,CBP）的例子的说明图。在利用2N×N形状的变换单元进行正交变换的情况下，如果从亮度信号（Y）产生2N×N的变换系数，则例如从色度信号（Cb,Cr）分别产生N×N/2的变换系数。在此情况下，亮度信号（Y）的变换系数被分为例如四组（Y0、Y1、Y2和Y3），并且将四位（b0、b1、b2和3b）分配给各组。另外，还向色度信号（Cb、Cr）的每个变换系数分配一位（b4或b5）。从而可以由每位的值表示是否可以产生DC值以外的有效变换系数。

（第一实施例的总结）

根据上述第一实施例，形状确定信息包括与用于将正方形块与非正方形块区分开的块尺寸的边界值有关的信息。然后，形状确定部42将尺寸大于该边界值的块的形状确定为非正方形，而将尺寸小于该边界值的块的形状确定为正方形。通过允许块形状的这种阶梯式定义，可以采用处理较大尺寸如32×16像素或者64×32像素和32×16像素的方法，同时支持最大宏块例如为16×16像素的正方形的H.264/AVC方法。

此外，这些较大尺寸的块的形状是长方形。因此，通过使图像处理所需的线路存储器的尺寸与短边的尺寸相同，可以防止随着块尺寸的扩展而增加线路存储器。

此外，上文描述的最大尺寸信息和最小尺寸信息已经可在H.264/AVC等方法中使用，第一实施例中唯一的新定义信息是作为形状确定信息的“high_square_layer”。因此,可以容易地引入这种新块尺寸的构架，并且压缩比由于头部信息的增加而减小的可能性很小。

[2-2.第二实施例]

（关于数据的说明）

图12是描述形状确定信息的第二实施例的说明图。参考图12，图12示出第二实施例中可以由信息保存部41保存的定义信息41b。定义信息41b包括最大尺寸信息“high_layer（高层）”、最小尺寸信息“low_layer（低层）”和形状确定信息“width_to_height_ratio（宽度与高度比）”。

作为根据本实施例的形状确定信息的“width_to_height_ratio”表示最大尺寸的块的长边与短边的比值。“width_to_height_ratio”的值可以例如是1、2或4。在将1指定为“width_to_height_ratio”的值的情况下，在图像中只能设置正方形块。另一方面，在将1以外的值指定为“width_to_height_ratio”的值的情况下，最大尺寸的块的形状将是长方形。

在本实施例中，假定最大尺寸的块的形状是正方形或长方形，并且假定较小尺寸的块的形状是正方形。定义信息41b的语义被示出如下：

[运算2]

（编码块的层级结构）

图13是示出可以由第二实施例定义的编码块的层级结构的例子的说明图。在图13的例子中，定义信息41b表明“high_layer”是16，“low_layer”是4，并且“width_to_height_ratio”是4。在此情况下，可以根据块尺寸设置非正方形块和正方形块二者。也就是说，如图13中所示，深度0的最大尺寸（64×16）的块是长边与短边的比值为4（4比1）的长方形。此外，每个1以上深度的宽度的形状是正方形。

（预测单元：4比1的长方形块）

图14是描述在长边与短边的比值为4比1的长方形形状的块中预测单元的布置的说明图。参考图14，图14示出九种预测模式，模式0至模式8。此外，还示出作为模式9的分割模式。

在这些模式中，模式0是在使用跳过的宏块模式或直接模式的情况下选择的独特预测模式。在模式0中，在块中布置尺寸为4N×N的一个预测单元。模式1是在块中布置尺寸为4N×N的一个预测单元的预测模式。模式2是在块中竖直方向布置尺寸为4N×N/2的两个预测单元的预测模式。模式3是在块中水平方向布置尺寸为2N×N的两个预测单元的预测模式。模式4是在块中水平方向布置尺寸为N×N的四个预测单元的预测模式。模式5是在块中水平方向布置尺寸为N×N和3N×N的两个预测单元的预测模式。模式6是水平方向反转模式5的预测单元的布置的预测模式。模式7和模式8是在块中布置由块的对角线分开的两个三角形预测单元的预测模式。

图9是表示块被进一步分割的分割模式。在图13的例子中，4比1的长方形块由三条竖直的等距离线作为分割线分割成四个正方形块。此外，在可以在多个层上设置长方形块的情况下，4比1的长方形块可以例如由竖直方向和水平方向上的中心线作为分割线分割成四个。

此外，在本实施例中，运动估计部40的运动矢量设置部43可以将包括在图13中所示的层级结构中的每个层的每个运动模式作为目标，估计运动矢量。

（变换单元：4比1的长方形块）

图15是描述在4N×N形状的块中作为正交变换处理的单元的变换单元（TU）的布置的说明图。

参考图15，图15示出变换单元的五种布置模式，类型T0至类型T4。在这些布置模式当中，类型T0是在4N×N形状的块中布置尺寸为4N×N的一个变换单元的模式。类型T1是在该块中水平方向上彼此相邻地布置尺寸为2N×N的两个变换单元的模式。类型T2是在该块中布置尺寸为2N×N/2的四个变换单元的模式，在竖直方向上彼此相邻地布置两个，在水平方向上彼此相邻地布置两个。类型T3是在该块中在水平方向上彼此相邻地布置尺寸为N×N的四个变换单元的模式。类型T4是在该块中布置尺寸为N×N/2的八个变换单元的模式，在竖直方向上彼此相邻地布置两个，在水平方向上彼此相邻地布置四个。正交变换部14例如对这五种类型中的每一类型的每个变换单元进行正交变换，并且输出变换系数数据。

表2示出图14中所示的预测单元（PU）和图15中所示的变换单元（TU）的映射。

[表2]

表2.预测单元（PU）和变换单元（TU）的映射（比值：4比1）

PU\TU	T0	T1	T2	T3	T4
						模式0：4N×N	○	○	×	×	×
模式1：4N×N	○	○	×	×	×
						模式2：4N×N/2	×	×	○	×	○
模式3：2N×N	×	○	○	○	○
						模式4：N×N	×	×	○	○	○
模式5：N,3N×N	×	×	×	○	○
						模式6：3N,N×N	×	×	×	○	○
模式7：三角形1	○	○	○	○	○
						模式8：三角形2	○	○	○	○	○

另外，与2比1的长方形块的情况相同，应当指出，即使在表2中被分配了“○”，根据块尺寸仍可能存在不能使用的变换单元。

图16是示出关于4N×N形状的变换单元的编码块模式（CBP）的例子的说明图。在利用4N×N形状的变换单元进行正交变换的情况下，如果从亮度信号（Y）产生4N×N的变换系数，则例如从色度信号（Cb,Cr）分别产生2N×N/2的变换系数。在此情况下，亮度信号（Y）的变换系数被分为例如四组（Y0、Y1、Y2和Y3），并且将四位（b0、b1、b2和3b）分配给各组。另外，还向色度信号（Cb、Cr）的每个变换系数分配一位（b4或b5）。从而可以由每位的值表示是否可以产生DC值以外的有效变换系数。

（第二实施例的总结）

根据上述第二实施例，图像中的每个块的形状是正方形或长方形，并且形状确定信息包括用于定义块的长边与短边的比值的比值信息。可以基于该比值信息确定最大尺寸的块的形状。通过允许块形状的这种阶梯式定义，可以采用处理较大尺寸如32×16像素或者64×32像素等的方法，同时支持最大宏块例如为16×16像素的正方形的H.264/AVC方法。

此外，根据第二实施例，长方形块的长边与短边的比值可以由用户来指定，因此可以灵活地满足与线路存储器的尺寸、压缩比和图像质量有关的各种用户需要。

此外，在第二实施例中，唯一的新定义信息是作为形状确定信息的“width_to_height_ratio”。因此，可以容易地引入这种新块尺寸的构架，并且可以防止压缩比由于头部信息的增加而减小。

另外，根据第一实施例的“high_square_layer”和根据第二实施例的“width_to_height_ratio”二者都可以被作用形状确定信息。在此情况下，用户可以灵活地指定例如层数和长方形块的形状。

[2-3.第三实施例]

（关于数据的说明）

图17是描述形状确定信息的第三实施例的说明图。参考图17，图17示出第三实施例中可以由信息保存部41保存的定义信息41c。除了最大尺寸信息“max_high_level（最高等级）”以外，定义信息41c还包括三个数据项：“number_of_layers（层数）”、“width_to_height_ratio（宽度与高度比）[]”和“low_level（低等级）[]”，作为形状确定信息。

最大尺寸信息“max_high_level”表示在图像中可以设置的最大块的尺寸。最大尺寸信息的值例如是128、64、32、16或8。

“number_of_layers”表示包括在编码块的层级结构中的长边与短边的比值不同的层的数目。例如，如果在编码块的层级结构中所有层的块的形状都相同，则“number_of_layers”的值为1。此外，如图13中所示的层级结构，在存在长边与短边的比值为4（4比1）的层并存在长边与短边的比为1的层的情况下，“number_of_layers”的值是2。

“width_to_height_ratio[]”是表示块的长边与短边的比值不同的每个层的比值的数据阵列。该阵列的元素的数目等于“number_of_layers”的值。例如，在第一层的比值是4并且第二层的比值是1的情况下，如图13中所示的层级结构，“width_to_height_ratio[]”的内容是（4,1），也就是说，width_to_height_ratio [1]是4，并且width_to_height_ratio[2]是1。

“low_level[]”是表示应用了由“width_to_height_ratio[]”定义的每个比值的最小块尺寸的数据阵列。该阵列的元素的数目等于“number_of_layers”的值。

下面示出定义信息41c的语义。另外，在下面的语义中，高等级[k]和low_level[k]是分别表示具有不同比值的第k层组中最大尺寸的层的等级和最小尺寸的层的等级。

[运算3]

（编码块的层级结构）

图18是示出可以由第三实施例定义的编码块的层级结构的第一例子的说明图。在图18的例子中，定义信息41c表明“max_high_level”是16，“number_of_layers”是2，“width_to_height_ratio[]”是（2,1），并且“low_level[]”是（16,8）”。在此情况下，可以根据块尺寸设置具有不同比值的两个层组。也就是说，如图18中所示，深度0的最大尺寸（32×16）的块是长边与短边的比值是2的长方形。此外，1以上深度的尺寸的每个块是正方形。

图19是示出可以由第三实施例定义的编码块的层级结构的第二例子的说明图。在图19的例子中，定义信息41c表明“max_high_level”是16，“number_of_layers”是2，“width_to_height_ratio[]”是（4,1），并且“low_level[]”是（16,8）。在此情况下，可以根据块尺寸设置具有不同比值的两个层组。也就是说，如图19中所示，深度0的最大尺寸（64×16）的块是长边与短边的比值是4的长方形。此外，1以上深度的尺寸的每个块是正方形。

图20是示出可以由第三实施例定义的编码块的层级结构的第三例子的说明图。在图20的例子中，定义信息41c表明“max_high_level”是32，“number_of_layers”是2，“width_to_height_ratio[]”是（4,1），并且“low_level[]”是（16,8）。在此情况下，可以根据块尺寸设置具有不同比值的两个层组。也就是说，如图20中所示，深度0的最大尺寸（128×32）的块和深度1的第二尺寸（64×16）的块是长边与短边的比值是4的长方形。此外，2以上深度的尺寸的每个块是正方形。

图21是示出可以由第三实施例定义的编码块的层级结构的第四例子的说明图。在图21的例子中，定义信息41c表明“max_high_level”是16，“number_of_layers”是3，“width_to_height_ratio[]”是（4,2,1），并且“low_level[]”是（16,16,8）。在此情况下，可以根据块尺寸设置具有不同比值的三个层组。也就是说，如图21中所示，深度0的最大尺寸（64×16）的块是长边与短边的比值是4的长方形。深度1的第二尺寸（32×16）的块是长边与短边的比值是2的长方形。此外，2以上深度的尺寸的每个块是正方形。

另外，从图18至图21可以看出，在分割块而不改变块形状的情况下，可以像第一实施例中那样，以竖直方向和水平方向上的中心线作为分割线将该块分割为4个。另一方面，在将块分割为从一个层组改变到具有不同比值的另一个组层的情况下，可以例如以竖直方向上的线作为分割线将该块分割为两个或四个。

此外，在本实施例中，运动估计部40的运动矢量设置部43可以将包括在层级结构中的每个层的每个预测模式作为目标，估计运动矢量。

（第三实施例的总结）

根据上述第三实施例，图像中的每个块的形状是正方形或长方形，并且形状确定信息包括用于定义块的长边与短边的比值彼此不同的层的数目的层数信息和用于定义每层的比值的信息。通过允许块形状的这种阶梯式定义，可以处理各种长边与短边比值的各种尺寸的块，同时支持最大宏块例如为16×16像素的正方形的H.264/AVC方法。

此外，根据第三实施例，可以指定长方形块的长边与短边的多种比值，因此，在考虑线路存储器的尺寸、压缩比、图像质量等的同时，进一步增加在设计图像处理装置时的灵活性。

<3.根据实施例的编码时的处理流程>

接下来，使用图22和图23描述编码时的处理流程。图22和图23是示出根据本实施例的图像编码装置10的运动估计部40的运动估计处理的例子的流程图。

参考图22，首先形状确定部42从信息保存部41获取形状确定信息（步骤S102）。在此获取的形状确定信息可以例如是图3中所示的“high_square_layer（高正方形层）”、图12中所示的“width_to_height_ratio（宽度与高度比）”或者图17中所示的“number_of_layers(层数）”、“width_to_height_ratio（宽度与高度比）[]”和“low_level（低等级）[]”。形状确定部42还从信息保存部41获取如最大尺寸信息、最小尺寸信息等的信息。

接下来，形状确定部42在图像中设置可被设置的最大尺寸的块（步骤S104）。

然后，形状确定部42基于所获取的形状确定信息和当前设置的块的尺寸，确定该块的形状是否是正方形（步骤S106）。例如，在定义图4中所示的定义信息41a并且块的尺寸是128×128像素（N=64）的情况下，该块的形状被确定为正方形。此外，例如，在图6中所示的定义信息41a被定义并且块的尺寸是64×32像素（N=32）的情况下，该块的形状被确定为不是正方形。在该块的形状被确定为不是正方形的情况下，该处理前进到步骤S108。另一方面，在该块的形状被确定为正方形的情况下，该处理前进到步骤S112。

在步骤S108中，运动矢量设置部43以非正方形块的每个运动模式在该块中布置预测单元，并且确定每个所布置的预测单元的运动矢量（步骤S108）。在该块的形状是2比1长方形的情况下，在此使用的预测模式可以是图8中所示的九种预测模式，并且在该块的形状是4比1长方形的情况下，是图14中所示的九种预测模式。接下来，运动矢量设置部43计算每个预测模式的成本函数值（步骤S110）。另外，在步骤S108中确定的运动矢量是用于选择为产生该块的预测像素值而设置的预测单元的布置（即，最佳预测模式）的临时运动矢量。

在步骤S112中，运动矢量设置部43以正方形块的每种预测模式在该块中布置预测单元，并且确定每个所布置的预测单元的运动矢量（步骤S112）。在此使用的预测模式可以例如是图7中所示的九种预测模式。接下来，运动矢量设置部43计算每个预测模式的成本函数值（步骤S114）。另外，在步骤S112中确定的运动矢量也是用于选择最佳预测模式的临时运动矢量。

接下来，运动矢量设置部43确定该块的尺寸是否是可被设置的最小尺寸（步骤S116）。此处，在该块的尺寸不是最小尺寸的情况下，该处理前进到步骤S118。另一方面，在该块的尺寸是最小尺寸的情况下，该处理前进到步骤S120。

在步骤S118中，运动矢量设置部43将该块分割成多个较小尺寸的块（步骤S118）。在此情况下，可以选择分割之前该层的预测模式作为分割模式。然后，针对分割之后的块重复上述步骤S106至S116的处理。

在图23的步骤S120中，运动矢量设置部43比较针对各个预测模式计算出的成本函数值，并且选择使成本函数值最小的最佳预测模式（步骤S120）。然后，运动矢量设置部43向运动补偿部44输出表示所选择的最佳预测模式的预测模式信息、尺寸指定信息（例如，代表块分割次数的分割模式选择的次数）、对应的运动矢量信息和基准图像信息。

接下来，运动补偿部44根据由运动矢量设置部43选择的最佳预测模式产生预测的像素值（步骤S122）。然后，运动补偿部44将包括所产生的预测的像素值的预测图像数据输出到模式选择部50，并且还将预测模式信息、尺寸指定信息、运动矢量信息和基准图像信息输出到模式选择部50作为与帧间预测有关的信息（步骤S124）。

<4.根据实施例的图像解码装置的示例性配置>

在本部分中，使用图24和图25描述根据实施例的图像解码装置的示例性配置。

[4-1.整体配置的例子]

图24是示出根据实施例的图像解码装置60的配置例子的框图。参考图24，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、排序缓冲器67、D/A（数字-模拟）转换部68、帧存储器69、选择器70和71、帧内预测部80和运动补偿部90。

累积缓冲器61使用存储介质临时存储经由传输线输入的编码流。

无损解码部62根据编码时使用的编码方法对从累积缓冲器61输入的编码流进行解码。此外，无损解码部62对被复用到编码流的头部区域的信息进行解码。被复用到编码流的头部区域的信息可以例如包括序列参数集、图片参数集或者宏块条头部内的形状确定信息。此外，被复用到编码流的头部区域的信息还可以包括例如块头部内与帧内预测有关的信息和与帧间预测有关的信息。无损解码部62将与帧内预测有关的信息输出到帧内预测部80。此外，无损解码部62还将形状确定信息和与帧间预测有关的信息输出到运动补偿部90。

逆量化部63对已经被无损解码部62解码的量化数据进行逆量化。逆正交变换部64根据在编码时使用的正交变换方法，通过对从逆量化部63输入的变换系数数据进行逆正交变换，产生预测的误差数据。然后，逆正交变换部64将所产生的预测的误差数据输出到加法部65。

加法部65将从逆正交变换部64输入的预测的误差数据与从选择器71输入的预测的图像数据相加，从而产生解码图像数据。然后，加法部65将所产生的解码图像数据输出到去块滤波器66和帧存储器69。

去块滤波器66通过对从加法部65输入的解码图像数据进行滤波来去除块失真，并且将滤波后的解码图像数据输出到排序缓冲器67和帧存储器69。

排序缓冲器67通过对从去块滤波器66输入的图像进行排序，按时间顺序产生一系列的图像数据。然后，排序缓冲器67将所产生的图像数据输出到D/A转换部68。

D/A转换部68将从排序缓冲器67输入的数字格式的图像数据转换为模拟格式的图像信号。然后，D/A转换部68通过将该模拟图像信号输出到例如与图像解码装置60相连的显示器（未示出），使图像被显示。

帧存储器69使用存储介质存储从加法部65输入的滤波之前的解码图像数据和从去块滤波器66输入的滤波之后的解码图像数据。

选择器70根据无损解码部62获取的模式信息，针对图像中的每个块，在帧内预测部80和运动补偿部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在指定帧内预测模式的情况下，选择器70将从帧存储器69提供的滤波之前的解码图像数据输出到帧内预测部80作为基准图像数据。此外，在指定帧间预测模式的情况下，选择器70将从帧存储器69提供的滤波之后的解码图像数据输出到运动补偿部90作为基准图像数据。

选择器71根据无损解码部62获取的模式信息，针对图像中的每个块，在帧内预测部80和运动补偿部90之间切换要被提供给加法部65的预测图像数据的输出源。例如，在指定帧内预测模式的情况下，选择器71将从帧内预测部80输出的预测图像数据提供给加法部65。在指定帧间预测模式的情况下，选择器71将从运动补偿部90输出的预测图像数据提供给加法部65。

帧内预测部80基于从无损解码部62输入的与帧内预测有关的信息和来自帧存储器69的基准图像数据进行像素值的屏幕内预测，并且产生预测图像数据。然后，帧内预测部80将所产生的预测图像数据输出到选择器71。

运动补偿部90基于从无损解码部62输入的与帧间预测有关的信息和来自帧存储器69的基准图像数据进行运动补偿处理，并且产生预测图像数据。然后，运动补偿部90将所产生的预测图像数据输出到选择器71。

[4-2.运动补偿部的示例性配置]

图25是示出图24中所示的图像解码装置60的运动补偿部90的详细配置的例子的框图。参考图25，运动补偿部90包括形状确定部91、预测单元确定部92和预测部93。

形状确定部91使用从无损编码部62输入的与帧间预测有关的信息中包括的形状确信息定和尺寸指定信息，确定编码图像时在图像中设置的每个块的形状。形状确定部91获取的形状确定信息可以例如是上述第一、第二或第三实施例中描述的信息。例如，在第一实施例中“high_square_layer”=8被定义为形状确定信息并且由尺寸指定信息指定的块的尺寸是16的情况下，形状确定部91可以确定块的形状是长边与短边的比值为2比1的长方形。此外，例如，在第二实施例中“width_to_height_ratio”=4被定义为形状确定信息并且由尺寸指定信息指定的块的尺寸等于最大尺寸的情况下，形状确定部91可以确定块的形状是长边与短边的比值是4比1的长方形。此外，例如，在第三实施例中定义图21中所示的形状确定信息并且由尺寸指定信息指定的块的尺寸等于最小尺寸的情况下，形状确定部91可以确定块的形状是正方形。另外，如上所述，可以由从最大块分割块的次数代表尺寸指定信息。

预测单元确定部92使用从无损编码部62输入的预测模式信息确定每个块中预测单元的布置。在此，如图7、8和14中所示，在本实施例中，正方形块的预测单元的布置候选和长方形块的预测单元的布置候选是不同的。此外，长方形块的预测单元的布置候选随长方形的长边与短边的比值的不同而不同。因此，预测单元确定部92根据由形状确定部91确定的每个块的形状来确定每个块中预测单元的布置。例如，在块的形状是正方形并且预测模式信息表示模式2的情况下，预测单元的布置可被确定是图7中模式2（2N×N）的布置。此外，例如，在块的形状是2比1的长方形并且预测模式信息表示模式4的情况下，预测单元的布置可被确定是图8中的模式4（N×N/2）的布置。此外，在块的形状是4比1的长方形并且预测模式信息表示模式3的情况下，预测单元的布置可被确定是图14中的模式3（2N×N）的布置。

预测部93使用由预测单元确定部92确定的预测单元的布置、从无损编码部62输入的每个预测单元的运动矢量和基准图像信息以及从帧存储器输入的基准图像数据，产生每个块的预测的像素值。然后，预测部93将包括所产生的预测的像素值的预测图像数据输出到选择器71。

<5.根据实施例的解码时的处理流程>

接下来，使用图26描述解码时的处理流程。图26是示出根据本实施例的图像解码装置60的运动补偿部90的运动补偿处理的流程的例子的流程图。

参考图26，首先，形状确定部91获取包括在从无损解码部62输入的与帧间预测有关的信息中的形状确定信息和尺寸指定信息（步骤S202）。在此获取的形状确定信息可以例如是图3中所示的“high_square_layer”、图12中所示的“width_to_height_ratio”或者图17中所示的“number_of_layers”、“width_to_height_ratio[]”和“low_level[]”。

接下来，形状确定部91使用所获取的尺寸指定信息确定在对图像进行编码时设置的块的尺寸（步骤S204）。例如，该尺寸指定信息可以被获取作为表示从最大的块分割块的次数的分割模式。这种分割模式可以是预测模式信息的一部分。在此情况下，可以基于最大块尺寸和块分割的次数确定在对图像进行编码时设置的块的尺寸。

然后，形状确定部91基于所获取的形状确定信息和块尺寸确定在对图像进行编码时设置的块的形状是否是正方形（步骤S206）。形状确定部91确定形状的该例子与上文关于图22中的步骤S106描述的例子相同。在此，在块的形状不是正方形的情况下，该处理前进到步骤S208。另一方面，在块的形状是正方形的情况下，该处理前进到步骤S210。

在步骤S208中，预测单元确定部92将从无损编码部62输入的预测模式信息表示的预测模式识别为非正方形的预测模式，并且确定所讨论的块的预测单元的布置（步骤S208）。此外，在步骤S210中，预测单元确定部92将从无损编码部62输入的预测模式信息表示的预测模式识别为正方形的预测模式，并且确定所讨论的块的预测单元的布置（步骤S210）。

接下来，预测部93使用每个预测单元的运动矢量和基准图像数据，基于由预测单元确定部92确定的预测单元的布置，产生每个块的像素的预测像素值（步骤S212）。然后，预测部93将包括所产生的预测像素值的预测的图像数据输出到选择器71（步骤S214）。

<6.示例性应用>

根据上述实施例的图像编码装置10和图像解码装置60可被应用于各种电子设备，例如，用于卫星广播、有线电视等有线广播、因特网上发布、经由蜂窝通信发布到终端等的发送器和接收器，用于将图像记录在诸如光盘、磁盘或闪存等介质中的记录装置，用于从这种存储介质再现图像的再现装置等。下面描述四个示例性应用。

[6-1.第一示例性应用]

图27是示出采用上述实施例的电视机的示意性配置的例子的框图。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从经由天线901接收到的广播信号中提取期望信道的信号，并且解调所提取的信号。然后，调谐器902将通过解调获得的编码比特流输出到解复用器903。也就是说，调谐器902用作电视机900的传输部件，用于接收编码有图像的编码流和上文描述的形状确定信息。

解复用器903分离要从该编码比特流观看的节目的视频流和音频流，并且将已经分离的每个流输出到解码器904。此外，解复用器903从该编码比特流中提取辅助数据，如EPG（Electronic Program Guide，电子节目指南），并且将所提取的数据提供给控制部910。另外，在该编码比特流被扰频的情况下，解复用器903可以进行解扰。

解码器904将从解复用器903输入的视频流和音频流解码。然后，解码器904将通过该解码处理产生的视频数据输出到视频信号处理部905。此外，解码器904还将通过该解码处理产生的音频数据输出到音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并且使显示部906显示该视频。视频信号处理部905还可以使显示部906显示经由网络提供的应用画面。此外，视频信号处理部905根据设置对该视频数据进行附加处理，例如，噪声去除。此外，视频信号处理部905可以产生GUI（Graphical User Interface，图形用户界面）的图像，例如，菜单、按钮、光标等，并且将所产生的图像叠加在所输出的图像上。

显示部906被视频信号处理部905提供的驱动信号所驱动，并且将视频或图像显示在显示装置（例如，液晶显示器、等离子体显示器、OLED等）的视频屏幕上。

音频信号处理部907对从解码器904输入的音频数据进行再现处理，如D/A转换和放大，并且从扬声器908输出音频。此外，音频信号处理部907还可以对该音频数据进行附加处理，如噪声去除。

外部接口909是用于连接电视机900和外部设备或网络的接口。例如，经由外部接口909接收到的视频流或音频流可以被解码器904解码。也就是说，外部接口909还用作电视机900的传输部，用于接收编码有图像的编码流和上述形状确定信息。

控制部910包括诸如CPU（中央处理单元）的处理器和诸如RAM（随机访问存储器）、ROM（只读存储器）等的存储器。该存储器存储由该CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。存储在该存储器中存储的程序例如在电视机900启动时被该CPU读取并执行。该CPU例如通过执行该程序，根据从用户接口911输入的操作信号控制电视机900的操作。

用户接口911连接到控制部910。用户接口911例如包括由用户使用的用于操作电视机900的按钮和开关以及用于接收遥控信号的接收部。用户接口911经由这些结构元件检测用户的操作，产生操作信号，并且将所产生的操作信号输出到控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910相互连接。

在以这种方式配置的电视机900中，解码器904具有根据上述实施例的图像解码装置60的功能。因此，在电视机900中，可以获取各种效果，如由用于运动预测的块尺寸的扩展导致的压缩比的增加，同时抑制线路存储器的增加。

[6-2.第二示例性应用]

图28是示出采用上述实施例的移动电话的示意性配置的例子的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932和总线933。

天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933将通信部922、音频编解码器923、摄像部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931相互连接。

移动电话920在包括音频通信模式、数据通信模式、图像捕获模式和视频电话模式在内的各种操作模式中进行操作，如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获、数据捕获等。

在音频通信模式中，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将该模拟音频信号转换为音频数据，并且对转换后的音频数据进行A/D转换和压缩。然后，音频编解码器923将压缩后的音频数据输出到通信部922。通信部922对该音频数据进行编码和调制，并且产生传输信号。然后，通信部922将所产生的传输信号经由天线921发送到基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号，并且转换该无线信号的频率，并且获取接收到的信号。然后，通信部922对接收到的信号进行解调和解码，并且产生音频数据，并且将所产生的音频数据输出到音频编解码器923。音频编解码器923对该音频数据进行扩展和D/A转换，并且产生模拟音频信号。然后，音频编解码器923将所产生的音频信号提供给扬声器924并使该音频被输出。

此外，在数据通信模式中，控制部931例如根据用户经由操作部932的操作，产生构成电子邮件的文本数据。此外，控制部931使该文本显示在显示部930上。此外，控制部931根据用户经由操作部932的传输指令，产生电子邮件数据，并且将所产生的电子邮件数据输出到通信部922。然后，通信部922对该电子邮件数据进行编码和调制，并且产生传输信号。然后，通信部922经由天线921将所产生的传输信号发送到基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号，并且转换该无线信号的频率，并且获取接收到的信号。然后，通信部922对接收到的信号进行解调和解码，恢复该电子邮件数据，并且将恢复后的电子邮件数据输出到控制部931。控制部931使显示部930显示该电子邮件的内容，并且还使该电子邮件数据存储在记录/再现部929的存储介质中。

记录/再现部929包括任意可读和可写的存储介质。例如，该存储介质可以是内置的存储介质，如RAM、闪存等，或者是外部安装的存储介质，如硬盘、磁盘、磁光盘、光盘、USB存储器、存储卡等。

此外，在图像捕获模式中，摄像部926例如捕获物体的图像，产生图像数据，并且将所产生的图像数据输出到图像处理部927。图像处理部927将从摄像部926输入的图像数据编码，并且使该编码流存储在记录/再现部929的存储介质中。

此外，在视频电话模式中，解复用部928例如将由图像处理部927编码的视频流与从音频编解码器923输入的音频流复用，并且将复用后的流输出到通信部922。通信部922对该流进行编码和调制，并且产生传输信号。然后，通信部922将所产生的传输信号经由天线921发送到基站（未示出）。此外，通信部922放大经由天线921接收到的无线信号，并且转换该无线信号的频率，并且获取接收到的信号。该发送信号和接收到的信号可以包括编码的比特流和上述形状确定信息。然后，通信部922对接收到的信号进行解调和解码，恢复该流，并且将恢复后的流输出到解复用部928。解复用部928从输入的流中分离出视频流和音频流，并且将视频流输出到图像处理部927，将音频流输出到音频编解码器923。图像处理部927将该视频流解码，并且产生视频数据。该视频数据被提供给显示部930，并且由显示部930显示显示一系列图像。音频编解码器923对该音频流进行扩展和D/A转换，并且产生模拟音频信号。然后，音频编解码器923将所产生的音频信号提供给扬声器924，并且使该音频被输出。

在以这种方式配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，在移动电话920中，可以获取各种效果，例如，由用于运动预测的块尺寸的扩展引起的压缩比增加，同时抑制线路存储器的增加。

[6-3.第三示例性应用]

图29是示出采用上述实施例的记录/再现装置的示意性配置的例子的框图。记录/再现装置940例如将接收到的广播节目的音频数据和视频数据编码，并将其记录在记录介质中。记录/再现装置940还例如将从另一装置获取的音频数据和视频数据编码，并将其记录在该记录介质中。此外，记录/再现装置940例如根据用户的指令，使用监测器或扬声器再现记录在该记录介质中的数据。此时，记录/再现装置940将该音频数据和视频数据解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动）944、盘驱动945、选择器946、解码器947、OSD（On-ScreenDisplay，屏幕上显示器）948、控制部949和用户接口950。

调谐器941从经由天线（未示出）接收到的广播信号中提取所需信道的信号，并且解调所提取的信号。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。也就是说，调谐器941用作记录/再现装置940的传输部件。

外部接口942是用于将记录/再现装置940与外部设备或网络相连的接口。例如，外部接口942可以是IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，由外部接口942接收到的视频数据和音频数据被输入到编码器943。也就是说，外部接口942用作记录/再现装置940的传输部件。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943将该视频数据和音频数据编码。然后，编码器943将编码后的比特流输出到选择器946。

HDD 944将作为音频或视频的压缩后的内容数据的编码后的比特流、各种程序和其它数据记录在内部硬盘中。此外，HDD 944在再现视频或音频时从该硬盘中读取这些数据。

盘驱动945在被安装的记录介质中记录或读取数据。安装在盘驱动945上的记录介质可以例如是DVD盘（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等）、蓝光（Blu-ray，已注册的商标）盘等。

选择器946在记录视频或音频时选择从调谐器942或编码器943输入的编码后的比特流，并且将所选择的编码后的比特流输出到HDD 944或者盘驱动945。此外，选择器946在再现视频或音频时将从HDD 944或盘驱动945输入的编码后的比特流输出到解码器947。

解码器947将该编码后的比特流解码，并且产生视频数据和音频数据。然后，解码器947将所产生的视频数据输出到OSD 948。此外，解码器904还将所产生的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据，并且显示视频。OSD 948还可以例如将菜单、按钮、光标等GUI图像叠加在所显示的视频上。

控制部949包括处理器，如CPU，以及存储器，如RAM或ROM。该存储器存储将由该CPU执行的程序、程序数据等。例如在记录/再现装置940启动时，存储在该存储器中的程序被该CPU读取并执行。该CPU例如通过执行该程序，根据从用户接口950输入的操作信号控制记录/再现装置940的操作。

用户接口950连接到控制部949。用户接口950例如包括由用户使用的用于操作记录/再现装置940的按钮和开关以及用于接收遥控信号的接收部。用户接口950经由这些结构元件检测用户的操作，产生操作信号，并且将所产生的操作信号输出到控制部949。

在以这种方式配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。此外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，在记录/再现装置940中，可以获取各种效果，例如，由用于运动预测的块尺寸的扩展引起的压缩比增加，同时抑制线路存储器增加。

[6-4.第四示例性应用]

图30是示出采用上述实施例的图像捕获装置的示意性配置的例子的框图。图像捕获装置960捕获物体的图像，产生图像，将图像数据编码，并且将该图像数据记录在记录介质中。

图像捕获装置960包括光学块961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动968、OSD 969、控制部970、用户接口971和总线972。

光学块961连接到图像捕获部962。图像捕获部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动968、OSD 969和控制部970相互连接。

光学块961包括聚焦镜头、孔径光阑机构等。光学块961将物体的光学图像形成在图像捕获部962的图像捕获表面上。图像捕获部962包括图像传感器，如CCD、CMOS等，并且通过光电转换将形成在该图像捕获表面上的光学图像转换为作为电信号的图像信号。然后，图像捕获部962将该图像信号输出到信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号进行各种摄像信号处理，如膝校正、伽玛校正、颜色校正等。信号处理部963将摄像信号处理后的图像数据输出到图像处理部964。

图像处理部964将从信号处理部963输入的图像数据编码，并且产生编码数据。然后，图像处理部964将所产生的编码数据输出到外部接口966或者介质驱动968。此外，图像处理部964将从外部接口966或介质驱动968输入的编码数据解码，并且产生图像数据。然后，图像处理部964将所产生的图像数据输出到显示部965。此外，图像处理部964还可以将从信号处理部963输入的图像数据输出到显示部965，并且使该图像被显示。此外，图像处理部964可以将从OSD 969获取的用于显示的数据叠加在要被输出到显示部965的图像上。

OSD 969例如产生GUI图像，如菜单、按钮、光标等，并且将所产生的图像输出到图像处理部964。

外部接口966例如被配置为USB输入/输出端子。外部接口966例如在打印图像时将图像捕获装置960与打印机相连接。此外，根据需要，驱动器连接到外部接口966。可移动介质，如磁盘、光盘等，安装在该驱动器上，并且从该可移动介质读取的程序可以安装在图像捕获装置960上。此外，外部接口966可以被配置为网络接口，以连接到诸如LAN、因特网等网络。也就是说，外部接口966用作图像捕获装置960的传输部件。

安装在介质驱动器968上的记录介质可以是任意可读和可写的可移动介质，例如，磁盘、磁光盘、光盘、半导体存储器等。此外，记录介质可以被固定地安装在介质驱动器968上，配置不可移动的存储部，例如，内置的硬盘驱动器或者SSD（Solid State Drive，固态驱动器）。

控制部970包括处理器，如CPU，以及存储器，如RAM或者ROM。该存储器存储由该CPU执行的程序、程序数据等。存储在该存储器上的程序例如在图像捕获装置960启动时被该CPU读取并执行。该CPU例如通过执行该程序，根据从用户接口971输入的操作信号控制图像捕获装置960的操作。

用户接口971连接到控制部970。用户接口971例如包括由用户使用的用于操作图像捕获装置960的按钮、开关等。用户接口971经由这些结构元件检测用户的操作，产生操作信号，并且将所产生的操作信号输出到控制部970。

在以这种方式配置的图像捕获装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，利用图像捕获装置960可以获取各种效果，例如，由用于运动预测的块尺寸的扩展导致的压缩比的增加，同时抑制线路存储器的增加。

<7.总结>

至此已经使用图1至图30描述了根据实施例的图像编码装置10和图像解码装置60。根据本实施例，当将图像编码时，使用形状确定信息确定在该图像中设置的块的形状，该形状确定信息用于根据尺寸确定块的形状，并且针对根据该形状布置的每个预测单元设置运动矢量，该运动矢量用于预测每个预测单元中的图像。此外，当将图像解码时，使用该形状确定信息和该块尺寸确定图像中的每个块的形状，并且基于根据该形状和运动矢量的预测单元的布置，产生每个块的预测图像。因此，可以将正方形以外的形状的块用于运动预测。即使例如在扩展用于运动预测的块尺寸以增加压缩比的情况下，也可以由此抑制线路存储器的增加。

此外，根据本实施例，可以在图像中设置的最大块的形状可以是非正方形，并且同时较小块的形状可以是正方形。因此，可以在与最大块是正方形的现有编码方法保持兼容的同时，实现本说明书中提出的编码方法。

此外，根据本实施例，该形状确定信息可以由用户输入。由用户输入的形状确定信息被复用到编码流的序列参数集、图片参数集或者宏块条头部，并且从编码侧发送到解码侧。从而用户可以根据与线路存储器的尺寸、压缩比和图像质量有关的各种需要，使用本说明书中提出的编码方法，灵活地定义块的形状，并且该定义可被编码侧和解码侧二使用。

此外，根据本实施例，还针对非正方形块提供各种预测模式（预测单元的布置候选）。因此，在使用正方形以外形状的块的情况下，也可以根据图像的内容高效地进行运动预测。

另外，在本说明书中，主要描述了以下例子，其中，形状确定信息被复用在例如编码流的序列参数集、图片参数集或者宏块条头部内，并且编码流从编码侧发送到解码侧。然而，发送形状确定信息的方法不局限于该例子。例如，形状确定信息可以作为与被编码的比特流相关联的单独数据被发送或记录，而不被复用到被编码的比特流。术语“相关联”在此意味着使包括在比特流中的图像（或者图像的一部分，如宏块条或块）和与图像相对应的信息在解码时能够相互链接。也就是说，可以在不同于图像（或比特流）的传输线上发送形状确定信息。或者可以将形状确定信息记录在不同于图像（或者比特流）的记录介质上（或者相同记录介质上的不同记录区）。此外，形状确定信息和图像（或者比特流）可以基于任意单元相互关联，例如，多帧、一帧、一帧的一部分等。

至此已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不局限于该例子。本公开的技术领域的技术人员显然可以在所附权利要求中描述的技术思想的范围内进行各种替换或修改，并且这些替换和修改当然被认为在本公开的技术范围内。

附图标记列表

10图像编码装置（图像处理装置）

16编码部

42形状确定部

43运动矢量设置部

60图像解码装置（图像处理装置）

62解码部

91形状确定部

92预测单元确定部

93预测部

Claims (23)

1.一种图像处理装置，包括：

形状确定部，其用于使用形状确定信息确定在图像中设置的块的形状，所述形状确定信息用于根据尺寸确定块的形状；

运动矢量设置部，其用于根据由所述形状确定部确定的形状在所述图像中的每个块中布置预测单元，并且针对每个布置的预测单元设置用于预测所述预测单元中的图像的运动矢量；以及

编码部，其用于使用由所述运动矢量设置部设置的所述运动矢量对所述图像进行编码。

2.根据权利要求1所述的图像处理装置，其中所述形状确定信息包括与用于块尺寸的边界值有关的信息，所述边界值用于将正方形块与非正方形块区分开。

3.根据权利要求2所述的图像处理装置，其中所述形状确定部将比所述边界值大的尺寸的块的形状确定为非正方形，并且将比所述边界值小的尺寸的块的形状确定为正方形。

4.根据权利要求3所述的图像处理装置，其中所述图像中的每个块的形状是正方形或者长边与短边的比值固定的长方形。

5.根据权利要求1所述的图像处理装置，

其中所述图像中的每个块的形状是正方形或者长方形，并且

其中所述形状确定信息包括用于限定块的长边与短边的比值的比值信息。

6.根据权利要求5所述的图像处理装置，

其中所述形状确定信息包括层数信息，所述层数信息用于限定块的长边与短边的比值彼此不同的层的数目，并且

其中所述比值信息是用于限定每个所述层的比值的信息。

7.根据权利要求1所述的图像处理装置，其中所述运动矢量设置部针对每个块而输出表示在所述图像中设置的每个块的尺寸的信息和指定所述块中的预测单元的布置模式的预测模式信息。

8.根据权利要求1所述的图像处理装置，

其中所述图像中的每个块的形状是正方形或长方形，并且

其中正方形块的预测单元的布置候选与长方形块的预测单元的布置候选不同。

9.根据权利要求1所述的图像处理装置，其中允许由用户输入所述形状确定信息。

10.根据权利要求1所述的图像处理装置，进一步包括：

发送部件，所述发送部件用于发送由所述编码部产生的编码流和所述形状确定信息。

11.根据权利要求10所述的图像处理装置，其中所述编码部将所述形状确定信息复用到所述编码流的序列参数集、图片参数集或者宏块条头部。

12.一种用于处理图像的图像处理方法，该方法包括：

使用形状确定信息确定在图像中设置的块的形状，所述形状确定信息用于根据尺寸确定块的形状；

根据所确定的形状在所述图像中的每个块中布置预测单元，并且针对每个布置的预测单元设置用于预测所述预测单元中的图像的运动矢量；以及

使用所设置的运动矢量对所述图像进行编码。

13.一种图像处理装置，包括：

形状确定部，其用于使用形状确定信息和在对所述图像进行编码时在所述图像中设置的块的尺寸，确定所述图像中的每个块的形状，所述形状确定信息用于根据尺寸确定块的形状；

预测单元确定部，其用于根据由所述形状确定部确定的每个块的形状，确定每个块中的预测单元的布置；

预测部，其用于使用由所述预测单元确定部确定的预测单元的布置和针对每个预测单元获取的运动矢量，产生每个块的预测图像；以及

解码部，其用于使用由所述预测部产生的所述预测图像，对编码有所述图像的编码流进行解码。

14.根据权利要求13所述的图像处理装置，其中所述形状确定信息包括与用于块尺寸的边界值有关的信息，所述边界值用于将正方形块和非正方形块区分开。

15.根据权利要求14所述的图像处理装置，其中所述图像中的每个块的形状是正方形或者长边与短边的比值固定的长方形。

16.根据权利要求13所述的图像处理装置，

其中所述图像中的每个块的形状是正方形或者长方形，并且

其中所述形状确定信息包括用于限定块的长边与短边的比值的比值信息。

17.根据权利要求16所述的图像处理装置，

其中所述形状确定信息包括层数信息，所述层数信息用于限定块的长边与短边的比值彼此不同的层的数目，并且

其中所述比值信息是用于限定每个所述层的所述比值的信息。

18.根据权利要求13所述的图像处理装置，其中所述形状确定部从复用到所述编码流的序列参数集、图片参数集或者宏块条头部中获取所述形状确定信息。

19.根据权利要求13所述的图像处理装置，其中所述形状确定部从包括在所述编码流中的块头部中获取用于确定每个块的尺寸的信息。

20.根据权利要求13所述的图像处理装置，

其中所述图像中的每个块的形状是正方形或者长方形，并且

其中正方形块的预测单元的布置候选与长方形块的预测单元的布置候选不同。

21.根据权利要求13所述的图像处理装置，其中所述形状确定信息是基于在已经对所述图像进行编码的装置处的用户输入而获取的信息。

22.根据权利要求13所述的图像处理装置，进一步包括：

接收部件，其用于接收所述编码流和所述形状确定信息。

23.一种用于处理图像的图像处理方法，包括：

使用形状确定信息和在对所述图像进行编码时在所述图像中设置的块的尺寸，确定所述图像中的每个块的形状，所述形状确定信息用于根据尺寸确定块的形状；

根据所确定的每个块的形状来确定每个块中的预测单元的布置；

使用所确定的预测单元的布置和针对每个预测单元获取的运动矢量，产生每个块的预测图像；以及

使用所产生的预测图像，对编码有所述图像的编码流进行解码。

Images