CN103026710A - 图像处理装置和图像处理方法 - Google Patents

Abstract

运动向量数量限制设置单元（35）按照宏块大小设置运动向量数量的上限值。运动预测/补偿单元（32）检测运动向量的数量小于上限值的最优预测模式。使用检测最优预测模式的运动向量，运动预测/补偿单元（32）对参考图像执行运动补偿，以生成预测图像。由于按照宏块大小设置运动向量数量的上限值，运动向量的数量未约束比需要数量小的数量，并可以在使用扩展宏块时防止图像劣化等。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法。特别地，本技术提供一种用于执行与扩展宏块兼容的图像处理的图像处理装置和图像处理方法。

背景技术

近年来，操控作为数字信息的图像信息并在这样做的过程中实现高效率信息传输和累积的设备、或者与用于通过如离散余弦变换的正交变换和运动补偿进行压缩的诸如MPEG的标准兼容的设备，正在广播台和一般家庭之中普及。

特别地，MPEG2（ISO/IEC 13818-2）被定义为通用图像编码技术，且当前用于专业人士和一般顾客的广泛范围应用。

另外，正开发称为H.26L（ITU-T Q6/16VCEG）的标准以对视频会议中要使用的图像进行编码。相比于诸如MPEG2和MPEG4的传统编码技术而言，H.26L在编码和解码的过程中需要较大量的计算，但是已知实现较高编码效率。作为MPEG4活动的一部分，用于基于H.26L实现更高编码效率的标准当前正作为增强压缩视频编码的联合模型开发，并且已经设置为H.264和MPEG-4Part10（在下文中称作H.264/AVC（高级视频编码））名下的国际标准。

进一步地，对于以较高压缩比进行编码以压缩4000×2000像素图像等，或者在如互联网中一样传输容量受限的如今状况中发布高清晰度图像需求增长。鉴于此，非专利文献1建议宏块大小向比MPEG2和H.264/AVC中宏块大小更大的例如32×32像素增加。即，在非专利文献1中，对于宏块使用层级结构，使得16×16像素的块和较小块与H.264/AVC中的宏块兼容。作为这些块的超集，定义比这些块更大的块。

引用列表

非专利文献

非专利文献1：“Video Coding Using Extended Block Sizes”（研究组16，投稿123，ITU，2009年1月）

发明内容

技术问题

在H.264/AVC中，把通过16×16像素形成的宏块划分成16×16、16×8、8×16或者8×8的部分，且各部分可以相互独立地具有运动向量信息。把每个8×8部分进一步划分成8×8、8×4、4×8或者4×4的子部分，子部分可以相互独立地具有运动向量信息。如此，执行运动预测/补偿操作，宏块中部分的数量增加，运动向量信息的量变得巨大。如果按照原样编码运动向量信息，则编码效率变得较低。因此，在H.264/AVC中，确定运动补偿块大小，使得两个连续宏块中运动向量的总数量不超过预定上限值。鉴于此，当在宏块大小被扩展的情形中使用H.264/AVC标准中定义的上限值时，由于运动向量数量的限制而无法使得块大小更小，会出现图像质量劣化等。

因此，本技术旨在提供用于执行与扩展宏块兼容的图像处理的图像处理装置和图像处理方法。

解决方案

本技术的第一方面是图像处理装置，包括：设置单元，其根据作为在编码图像数据时执行编码的单位的块的块大小设置运动向量数量的上限值；运动预测/补偿单元，其在块的运动向量数量等于或小于由设置单元设置的上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及编码单元，其通过使用由运动预测/补偿单元生成的预测图像对图像数据进行编码以生成编码流。

根据本技术，运动向量数量限制设置单元按照宏块大小设置运动向量数量的上限值。在宏块大于诸如16×16像素的预定大小的情形中，把上限值设置在比16×16像素宏块中上限值大的值。在运动向量数量的上限值在宏块大小是16×16像素时是p、并且扩展宏块的大小是（16×m）×（16×n）像素的情形中，把上限值设置在（p×m×n）。运动预测/补偿单元通过从最优预测模式的候选中排除运动向量的数量大于上限值的每个预测模式检测最优预测模式。使用检测的最优预测模式的运动向量，运动预测/补偿单元对参考图像执行运动补偿，以生成预测图像。运动预测/补偿单元还在每一帧中监视执行用以把运动向量的数量约束为小于上限值的数量的控制的次数。当执行控制的次数超过预定次数时，使得接下来帧中的宏块较大。当场景改变检测单元检测到场景改变时，把宏块调整为预先设置的预定大小。此外，在设置了通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像进行运动补偿以生成预测图像的操作模式中，当最优预测模式中运动向量的数量大于该操作模式中的上限值时，运动预测/补偿单元将指示运动向量的数量大于上限值的确定信息合并到通过使用预测图像生成的压缩图像信息中。另外，大小大于预定大小的块例如是用于在层级结构中编码的单位之中用于通过最大大小编码的最大单位。

本技术的第二方面是图像处理方法，包括步骤：根据作为在编码图像数据时执行编码的单位的块的块大小设置运动向量数量的上限值；通过在块的运动向量数量等于或小于设置的上限值时检测预测模式，并且利用检测的预测模式的运动向量对参考图像进行运动补偿，来生成预测图像；以及通过利用生成的预测图像对图像数据进行编码来生成编码流。

本技术的第三方面是图像处理装置，包括：设置单元，其根据作为在对通过对图像数据进行编码生成的编码流进行解码时执行解码的单位的块的块大小，设置运动向量数量的上限值；运动补偿单元，其在块的运动向量数量等于或小于由设置单元设置的上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及解码单元，其通过使用由运动补偿单元生成的预测图像解码编码流。

根据本技术，运动向量数量限制设置单元在解码通过编码图像数据生成的编码流时按照宏块大小设置运动向量数量的上限值。在宏块大于诸如16×16像素的预定大小的情形中，把上限值设置在比16×16像素宏块中上限值大的值。在运动向量数量的上限值在宏块大小是16×16像素时是p、以及扩展宏块的大小是（16×m）×（16×n）像素的情形中，把上限值设置在（p×m×n）。当通过基于压缩图像信息中包含的运动向量信息对参考图像执行运动补偿生成预测图像时，运动补偿单元在运动向量的数量等于或小于上限值的情况下检测预测模式。使用检测预测模式的运动向量，运动补偿单元对参考图像执行运动补偿，以生成预测图像。使用生成的预测图像，解码单元解码编码流。当检测预测模式时，运动补偿单元从要检测预测模式的候选中排除运动向量的数量大于上限值的每个预测模式。此外，运动补偿单元在每一帧中监视执行用以把运动向量的数量约束为比上限值小的数量的控制的次数。当执行控制的次数超过预定次数时，使得接下来帧中的块在大小上较大。当在图像数据中检测到场景改变时，把宏块大小调整为预先设置的预定大小。在用以通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像执行运动补偿来生成预测图像的操作模式中，从编码流获得指示运动向量的数量大于上限值的确定信息。还从编码流获得用于标识在其上设置上限值的每个块的块大小的大小标识信息。

本技术的第四方面是图像处理方法，包括步骤：根据作为在对通过对图像数据进行编码生成的编码流进行解码时执行解码的单位的块的块大小，设置运动向量数量的上限值；通过在块的运动向量数量等于或小于由设置单元设置的上限值时检测预测模式，并且利用检测的预测模式的运动向量对参考图像进行运动补偿，来生成预测图像；以及利用生成的预测图像解码编码流。

技术效果

根据本技术，按照宏块大小设置运动向量数量的上限值。检测运动向量的数量小于上限值的最优预测模式，对参考图像执行使用检测的最优预测模式的运动向量的运动补偿，以生成预测图像。相应地，当使用扩展大小的宏块时，运动向量的数量未约束为比所需更小的数量，可以执行与扩展宏块兼容的图像处理。

附图说明

图1是例示图像编码装置结构的图。

图2是示出H.264/AVC中宏块的图。

图3是示出运动补偿块和相邻块的图。

图4是用于说明多参考帧的图。

图5是用于说明时间直接模式的图。

图6是用于说明精度为1/4像素的运动预测/补偿操作的图。

图7是示出使用6抽头FIR滤波器的精度为1/4像素的运动预测/补偿操作中要使用像素的图。

图8是用于说明运动向量数量上限值的图。

图9例示扩展宏块大小的情形中的层级结构。

图10是示出运动预测/补偿单元和运动向量数量限制设置单元结构的图。

图11是示出图像编码装置操作的流程图。

图12是示出预测操作的流程图。

图13是示出帧内预测操作的流程图。

图14是示出帧间预测操作的流程图。

图15是示出运动向量数量上限值设置的流程图。

图16是例示另一图像编码装置结构的图。

图17是示出另一运动预测/补偿单元和运动向量数量限制设置单元结构的图。

图18是例示图像解码装置结构的图。

图19是示出运动补偿单元和运动向量数量限制设置单元结构的图。

图20是示出图像解码装置操作的流程图。

图21是示出预测图像生成操作的流程图。

图22是示出帧间预测图像生成操作的流程图。

图23是示出片段头实例的图。

图24是示意性地示出电视设备实例结构的图。

图25是示意性地示出便携式电话装置实例结构的图。

图26是示意性地示出记录/再现设备实例结构的图。

图27是示意性地示出成像设备实例结构的图。

具体实施方式

以下是实施例的描述。根据本技术，当在大小上扩展宏块的情形中使用如在H.264/AVC中一样按照级别设置的上限值时，运动向量的数量限于比需要小的数，图像质量会劣化。因此，在使用扩展大小的宏块的情形中，按照宏块大小设置上限值，以在运动向量的数量未约束到比需要小的数的情况下，鉴于存储器带宽保证实时操作。另外，运动向量的数量未约束为比需要小的数，防止了图像质量劣化。将按以下次序做出说明。

1.图像编码装置的结构

2.图像编码装置的操作

3.另一图像编码装置的结构

4.图像编码装置的其它操作

5.图像解码装置的结构

6.图像解码装置的操作

7.软件处理的情形

8.向电子设备的应用

[1.图像编码装置的结构]

图1例示作为执行图像编码的图像处理装置的图像编码装置的结构。图像编码装置10包括：模拟/数字转换单元（A/D转换单元）11、画面重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17以及速率控制单元18。图像编码装置10还包括：逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器25、帧内预测单元31、运动预测/补偿单元32以及预测图像/最优模式选择单元33。

A/D转换单元11把模拟图像信号转换成数字图像数据，并把图像数据输出到画面重排缓冲器12。

画面重排缓冲器12重新排列从A/D转换单元11输出的图像数据的帧。画面重排缓冲器12按照与编码操作有关的GOP（画面组）结构重新排列帧，并把重新排列的图像数据输出到减法单元13、帧内预测单元31以及运动预测/补偿单元32。

减法单元13接收从画面重排缓冲器12输出的图像数据和稍后描述的预测图像/最优模式选择单元33选择的预测图像数据。减法单元13计算作为从画面重排缓冲器12输出的图像数据与从预测图像/最优模式选择单元33提供的预测图像数据之间的差的预测误差数据，并把预测误差数据输出到正交变换单元14。

正交变换单元14对从减法单元13输出的预测误差数据执行正交变换操作，诸如离散余弦变换（DCT）或Karhunen-Loeve变换。正交变换单元14向量化单元15输出通过执行正交变换操作获得的变换系数数据。

量化单元15接收从正交变换单元14输出的变换系数数据和从稍后描述的速率控制单元18提供的速率控制信号。量化单元15对变换系数数据进行量化，并把量化的数据输出到无损编码单元16和逆量化单元21。基于从速率控制单元18提供的速率控制信号，量化单元15切换量化参数（量化规模），以改变量化的数据的比特率。

无损编码单元16接收从量化单元15输出的量化数据，以及从稍后描述的帧内预测单元31、运动预测/补偿单元32以及预测图像/最优模式选择单元33提供的预测模式信息。按照预测模式是帧内预测模式还是帧间预测模式，预测模式信息包含指示预测模式、宏块大小、宏块类型以及运动向量的信息。预测模式信息还可以包括稍后描述的确定信息、大小标识信息等。无损编码单元16通过可变长度编码或算术编码等对量化数据执行无损编码操作，以生成并向累积缓冲器17输出压缩图像信息。进一步地，无损编码单元16对预测模式信息执行无损编码，并把编码的预测模式信息添加到压缩图像信息。例如，无损编码单元16把编码的预测模式信息添加到作为压缩图像信息的编码流中的头信息。

累积缓冲器17存储从无损编码单元16提供的压缩图像信息。累积缓冲器17还以适合传输路径的传输速率输出存储的压缩图像信息。

速率控制单元18监视累积缓冲器17中的自由空间。速率控制单元18按照自由空间生成速率控制信号，并把速率控制信号输出到量化单元15。速率控制单元18例如获得指示来自累积缓冲器17的自由空间的信息。在剩余自由空间较小的情形中，速率控制单元18通过速率控制信号降低量化数据的比特率。在累积缓冲器17中的剩余自由空间足够大的情形中，速率控制单元18通过速率控制信号增加量化数据的比特率。

逆量化单元21逆量化从量化单元15提供的量化数据。逆量化单元21把通过执行逆量化操作获得的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22对从逆量化单元21提供的变换系数数据执行逆正交变换操作，并把所得数据输出到加法单元23。

加法单元23把从逆正交变换单元22提供的数据添加到从预测图像/最优模式选择单元33提供的预测图像数据，以生成解码的图像数据。加法单元23然后把解码图像数据输出到去块滤波器24和帧存储器25。使用解码图像数据作为参考图像的图像数据。

去块滤波器24执行滤波操作以减少在图像编码时出现的块失真。去块滤波器24执行滤波操作以从自加法单元23提供的解码图像数据去除块失真，并把滤波的解码图像数据输出到帧存储器25。

帧存储器25存储接受了滤波操作并从去块滤波器24提供的解码图像数据。运动预测/补偿单元32要使用帧存储器25中存储的解码图像数据作为参考图像数据。

帧内预测单元31通过使用从画面重排缓冲器12输出并关于要编码图像的图像数据、以及从加法单元23提供的解码图像数据，以所有候选帧内预测模式执行帧内预测操作。帧内预测单元31在帧内预测模式的每一个中进一步计算成本函数值，并选择作为计算出的成本函数值最小的帧内预测模式或编码效率最高的帧内预测模式的最优帧内预测模式。帧内预测单元31把以最优帧内预测模式生成的预测图像数据、关于最优帧内预测模式的预测模式信息以及最优帧内预测模式中的成本函数值输出到预测图像/最优模式选择单元33。

运动预测/补偿单元32以每个运动补偿块大小执行运动预测/补偿操作。使用从帧存储器25读取的参考图像数据，运动预测/补偿单元32以每个预测模式从画面重排缓冲器12读取的要编码图像中，或从每个模式中的每个运动补偿块中检测运动向量。基于检测的运动向量，运动预测/补偿单元32对解码图像进一步执行运动补偿操作，以生成预测图像数据。

运动预测/补偿单元32还计算每个预测模式中的成本函数值。运动预测/补偿单元32选择作为计算的成本函数值最小、并且两个连续宏块的运动向量总数不大于由稍后描述的运动向量数量限制设置单元35设置的上限值的运动补偿块大小的最优帧间预测模式。运动预测/补偿单元32把以最优帧间预测模式生成的预测图像数据、关于最优帧间预测模式的预测模式信息以及最优帧间预测模式中的成本函数值和运动向量信息输出到预测图像/最优模式选择单元33。运动预测/补偿单元32还以作为帧间预测模式的跳过宏块模式和直接模式执行预测。

预测图像/最优模式选择单元33把从帧内预测单元31提供的成本函数值与从运动预测/补偿单元32提供的成本函数值相比较，并且选择较小成本函数值作为编码效率最高的最优模式。预测图像/最优模式选择单元33还把以最优模式生成的预测图像数据输出到减法单元13和加法单元23。进一步地，预测图像/最优模式选择单元33把关于最优模式的预测模式信息输出到无损编码单元16。预测图像/最优模式选择单元33逐片段（slice）地执行帧内预测或帧间预测。

不依照H.264/AVC地，运动向量数量限制设置单元35按照宏块大小选择运动向量数量的上限值，并且把上限值输出到运动预测/补偿单元32。现在描述H.264/AVC中运动向量数量的限制。

在H.264/AVC中，把通过16×16像素形成的宏块划分成16×16、16×8、8×16或者8×8部分，如图2（A）中所示，且各部分可以相互独立地具有运动向量信息。把每个8×8部分进一步划分成8×8、8×4、4×8或者4×4子部分，如图2（B）中所示，且子部分可以相互独立地具有运动向量信息。如此，执行运动预测/补偿操作，运动向量信息的量变得巨大。如果按照原样编码运动向量信息，则编码效率变得较低。因此，在H.264/AVC中，以如下方式减少运动向量信息的量。

在图3中，块“E”是要编码的运动补偿块，块“A”至“D”是已经编码的块并与块“E”相邻。

此处，x是A、B、C、D或者E，mvx表示关于x的运动向量信息。首先，通过使用关于块A、B以及C的运动向量信息，根据式（1）通过中位数操作生成关于运动补偿块E的预测运动向量信息pmvE：

pmvE=med(mvA,mvB,mvC)...（1）

在由于块“C”位于图像帧的边角处等原因关于块“C”的信息“不可用”的情形中，代替使用关于块“D”的信息。

在压缩图像信息中，根据式（2）通过使用pmvE生成要作为关于运动补偿块“E”的运动向量信息编码的数据mvdE：

mvdE=mvE-pmvE        ...（2）

在实际操作中，彼此独立地对运动向量信息的水平分量和竖直分量执行处理。

通过使用作为与预测运动向量信息pmvE的差的数据mvdE作为如上所述的运动向量信息，实现运动向量信息量的减少。

在H.264/AVC中，规定诸如MPEG-2和H.263的图像信息编码技术中未规定的称为多参考帧的技术。图4是用于说明多参考帧的图。在H.264/AVC中，在存储器中存储参考帧，可以针对每个运动补偿块参考不同的帧，如图4中所示。

对于H.264/AVC中的B画面，设置直接模式。在直接模式中，在压缩图像信息中未存储运动向量信息，但是从图像解码装置中关于相邻块或共同位于的（co-located）块的运动向量信息中提取关于每个运动补偿块的运动向量信息。

在直接模式中，设置空间直接模式和时间直接模式，可以对每个片段选择两个模式之一。

在空间直接模式中，向每个运动补偿块应用通过中位数预测生成的运动向量信息，如式（3）中所示：

mvE=pmvE     ...（3）

图5是用于说明时间直接模式的图。在图5中，把L0参考画面中位于与运动补偿块一样空间中地址处的块设置成共同位于的块，并把共同位于的块中的运动向量信息设置成mvcol。另外，TDB表示时间轴上画面与L0参考画面之间的距离，TDD表示时间轴上L0参考画面与L1参考画面之间的距离。

此处，如式（4）和（5）所指示地生成L0运动向量信息mvL0和L1运动向量信息mvL1：

mvL0=(TDB/TDD)mvcol       ...（4）

mvL1=((TDD-TDB)/TDD)mvcol   ...（5）

在压缩图像信息中，不存在指示时间轴上距离的信息，因此，通过使用POC（画面次序计数）来执行计算。

在H.264/AVC中，通过使用6抽头FIR（有限脉冲响应）滤波器执行精度为1/4像素的运动预测/补偿操作，以提高编码效率。图6是用于说明精度为1/4像素的运动预测/补偿操作的图。

在图6中，“A”表示帧存储器中存储的每个整数精度像素的位置，“b”、“c”以及“d”表示1/2像素精度像素的位置，“e1”、“e2”以及“e3”表示1/4像素精度像素的位置。

如式（6）中所示定义Clip1()：

[数学式1]

在式（6）中，max_pix的值在输入图像的精度为8比特的情形中是255。

如式（7）和（8）中所示通过使用6抽头FIR滤波器生成位置“b”和“d”处的像素值：

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃...（7）

b,d=Clip1((F+16)>>5)         ...（8）

如式（9）或（10）和式（11）中所示通过使用6抽头FIR滤波器生成位置“c”处的像素值：

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃...（9）

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃...（10）

c=Clip1((F+512)>>10)        ...（11）

最终在水平方向和竖直方向上均执行求积求和（product-sum）操作之后仅执行Clip1处理一次。

如式（12）至（14）中所示通过线性插值生成位置“e1”至“e3”处的像素值：

e1=(A+b+1)>>1   ...（12）

e2=(b+d+1)>>1   ...（13）

e3=(b+c+1)>>1   ...（14）

在精度为1/4像素的这种运动预测/补偿操作中，在运动补偿块的大小是16×16像素的情形中使用图7(A)中示出的21×21像素块的像素值。在运动补偿块的大小是4×4像素的情形中，使用图7(B)中示出的9×9像素块的像素值。如上所述，在使用6抽头FIR滤波器的精度为1/4像素的运动预测/补偿操作中，对于每个块大小在水平方向和竖直方向上都需要超出5个像素。因此，在块大小是16×16像素的情形中，需要（（21×21）/（16×16））倍大的像素值，在块大小是4×4像素的情形中，需要（（9×9）/（4×4））倍大的像素值。即，如果图像编码装置选择较大数量的小的块大小，则需要较大数量像素的像素值，需要较大存储器带宽。

因此，在H.264/AVC中，确定运动补偿块大小，使得两个连续宏块中运动向量的总数不超过预定上限值，如图8中所示。这样，防止存储器带宽的增加。具体地，阻止宏块MB(a)中运动向量数量N(a)和宏块MB(a+1)中运动向量数量N(a+1)的总数超过上限值NHL（级别4（HDTV的分辨率）的情形中为16）。同样地，阻止宏块MB(a+1)中运动向量数量N(a+1)和宏块MB(a+2)中运动向量数量N(a+2)的总数超过上限值NHL。如上所述，阻止两个连续宏块中运动向量的总数超过预定上限值NHL。例如，B画面的宏块大小是16×16个像素，运动补偿块大小是4×4个像素。在此情形中，在一个宏块中包括16个运动补偿块，运动向量的数量是大于上限值NHL（＝16）的16×2。因此，确定运动补偿块大小，使得运动向量的数量不超过上限值。

图9例示扩展宏块大小的情形中的层级结构。图9的8×8个像素子宏块，图9(C)和图9(D)示出H.264/AVC标准中定义的16×16像素宏块和8×8像素子宏块。作为比H.264/AVC中的宏块大小较大的宏块，定义图9(A)中示出的64×64像素宏块和图9(B)中示出的32×32像素宏块。应当注意：在图9中，“跳过/直接”指示选择跳过宏块模式或直接模式的情形中使用的块大小。另外，“ME”指示运动补偿块大小。“P8×8”指示可以在块大小较小的较低层级级别中进一步划分块。

如上所述，当在扩展宏块大小的情形中也使用H.264/AVC标准中定义的上限值时，运动向量的数量限于比需要少的数量，图像质量可能劣化。例如，如果在64×64像素宏块中使用每个宏块大小是16×16像素的情形中使用的上限值，则由于虽然块大小是四倍大但上限值仍然一样，所以运动向量的数量限于比需要小的数量。于是，无法使得运动补偿块大小较小，并可能会出现图像质量劣化等。

因此，运动向量数量限制设置单元35按照宏块大小设置运动向量数量的上限值。在大小大于预定大小（N）的宏块的情形中，运动向量数量限制设置单元35设置比预定大小（N）的宏块中上限值大的上限值，以在运动向量的数量未约束为小于需要的数量的情况下，鉴于存储器带宽保证实时操作。例如，在运动向量数量的上限值在宏块大小是16×16像素（N＝16）时是p并且宏块大小是（16×m）×（16×n）像素的情形中，运动向量数量限制设置单元35把上限值设置在与宏块大小成预定比率的（m×n×p）。这样，在运动向量的数量未约束为比需要小的数量的情况下，鉴于存储器带宽保证实时操作。

图10是示出运动预测/补偿单元和运动向量数量限制设置单元结构的图。

运动预测/补偿单元32包括运动搜索单元321、模式确定单元322、运动补偿处理单元323以及运动向量缓冲器324。

向运动搜索单元321提供从画面重排缓冲器12提供的重排图像数据以及从帧存储器25读取的参考图像数据。

运动搜索单元321在所有候选帧间预测模式中执行运动搜索操作，并向模式确定单元322输出指示通过运动搜索操作检测的运动向量的运动向量信息。基于检测的运动向量，运动搜索单元321对参考图像数据执行运动补偿，以生成并向模式确定单元322输出预测图像数据。运动搜索单元321进一步向运动向量数量限制设置单元35输出指示宏块大小的信息、或者用于标识设置上限值的块的块大小的大小标识信息。

基于大小标识信息，运动向量数量限制设置单元35按照块大小设置运动向量数量的上限值，以及通知设置上限值的模式确定单元322。

把关于所有候选帧间预测模式的运动向量信息和预测图像数据从运动搜索单元321提供给模式确定单元322。还从稍后描述的运动向量缓冲器324向模式确定单元322提供编码相邻块处生成的运动向量信息。此外，还向模式确定单元322提供从画面重排缓冲器12提供的重新排列图像数据以计算成本函数。

模式确定单元322通过使用从画面重排缓冲器12提供的图像数据和从运动搜索单元321提供的预测图像数据计算最优帧间预测模式候选的每一个中的成本函数值。模式确定单元322选择成本函数值最小的模式作为正编码宏块的最优帧间预测模式。使用从运动向量缓冲器324提供的关于相邻宏块的运动向量信息，模式确定单元322计算两个连续宏块中运动向量的总数。模式确定单元322从候选模式中排除计算的值大于运动向量数量限制设置单元35设置的上限值的每个模式，然后确定最优帧间预测模式。

此外，模式确定单元322把预测模式信息、运动向量信息以及确定为最优模式的模式的成本函数值输出到运动补偿处理单元323。预测模式信息可以包含用于标识在其上设置上限值的每个块的块大小的大小标识信息。基于从运动向量缓冲器324提供的运动向量信息，模式确定单元322还计算预测运动向量。模式确定单元322计算作为计算的预测运动向量与由运动搜索单元321检测的运动向量之间差的差运动向量，并且向运动补偿处理单元323输出指示运动向量信息中包含的差运动向量的差运动向量信息。

使用从帧存储器25提供的关于参考图像的图像数据，运动补偿处理单元323基于从模式确定单元322提供的运动向量信息执行运动补偿，以生成预测图像数据。运动补偿处理单元323把生成的预测图像数据、成本函数值以及预测模式信息（包含宏块大小、宏块类型、预测模式、差运动向量信息等）输出到预测图像/最优模式选择单元33。运动补偿处理单元323还把运动向量信息输出到运动向量缓冲器324。

运动向量缓冲器324临时存储从运动补偿处理单元323提供的运动向量信息。运动向量缓冲器324还把存储的运动向量信息提供给模式确定单元322，以计算两个连续宏块中的运动向量和预测运动向量的总数。

[2.图像编码装置的操作]

图11是示出图像编码装置操作的流程图。在步骤ST11中，A/D转换单元11对输入图像信号执行A/D转换。

在步骤ST12中，画面重排缓冲器12执行图像重新排列。画面重排缓冲器12存储从A/D转换单元11提供的图像数据，并按编码次序而非显示次序重新排列各画面。

在步骤ST13中，减法单元13生成预测误差数据。减法单元13通过计算步骤ST12中重新排列的图像的图像数据与由预测图像/最优模式选择单元33选择的预测图像数据之间的差生成预测误差数据。预测误差数据的数据量小于原始图像数据。相应地，可以使得数据量比直接对图像进行编码的情形中小。

在步骤ST14中，正交变换单元14执行正交变换操作。正交变换单元14对从减法单元13提供的预测误差数据进行正交变换。具体地，对预测误差数据执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并输出变换系数数据。

在步骤ST15中，量化单元15执行量化操作。量化单元15量化变换系数数据。在量化中，将执行如后面将在步骤ST25的描述中描述的速率控制。

在步骤ST16中，逆量化单元21执行逆量化操作。逆量化单元21逆量化特性与量化单元15的特性兼容的、由量化单元15量化的变换系数数据。

在步骤ST17中，逆正交变换单元22执行逆正交变换操作。逆正交变换单元22对特性与正交变换单元14的特性兼容的、由逆量化单元21逆量化的变换系数数据执行逆正交变换。

在步骤ST18中，加法单元23生成参考图像数据。加法单元23通过把从预测图像/最优模式选择单元33提供的预测图像数据添加到与预测图像相对应并接受了逆正交变换的位置的数据，来生成参考图像数据（解码图像数据）。

在步骤ST19中，去块滤波器24执行滤波操作。去块滤波器24通过滤波从加法单元23输出的解码图像数据去除块失真。

在步骤ST20中，帧存储器25存储参考图像数据。帧存储器25存储滤波的参考图像数据（解码图像数据）。

在步骤ST21中，帧内预测单元31和运动预测/补偿单元32各自执行预测操作。具体地，帧内预测单元31在帧内预测模式中执行帧内预测操作，运动预测/补偿单元32在帧间预测模式中执行运动预测/补偿操作。后面将参照图12详细描述预测操作。在此步骤中，在所有候选预测模式中执行预测操作，并在所有候选预测模式中计算成本函数值。基于计算的成本函数值，选择最优帧内预测模式和最优帧间预测模式，把选择的预测模式中生成的预测图像、成本函数以及预测模式信息提供给预测图像/最优模式选择单元33。

在步骤ST22中，预测图像/最优模式选择单元33选择预测图像数据。基于从帧内预测单元31和运动预测/补偿单元32输出的各成本函数值，预测图像/最优模式选择单元33确定最优模式以优化编码效率。预测图像/最优模式选择单元33在确定的最优模式中进一步选择预测图像数据，并把选择的预测图像数据输出到减法单元13和加法单元23。在步骤ST13和ST18中的操作中使用此预测图像，如上所述。把与选择的预测图像数据相对应的预测模式信息输出到无损编码单元16。

在步骤ST23中，无损编码单元16执行无损编码操作。无损编码单元16对从量化单元15输出的量化数据执行无损编码。即，对量化数据执行诸如可变长度编码或算术编码的无损编码，以压缩数据。在该点上，还对如上所述在步骤ST22中向无损编码单元16输入的预测模式信息执行无损编码。此外，把预测模式信息的无损编码数据合并到通过对量化数据执行无损编码生成的压缩图像信息中。

在步骤ST24中，累积缓冲器17执行累积操作。累积缓冲器17存储从无损编码单元16输出的压缩图像信息。读取并在需要时经由传输路径向解码侧传输累积缓冲器17中存储的压缩图像信息。

在步骤ST25中，速率控制单元18执行速率控制。速率控制单元18控制量化单元15的量化操作速率，使得在累积缓冲器17存储压缩图像信息时在累积缓冲器17中不出现溢出或下溢。

现在参照图12的流程图，描述图11的步骤ST21中的预测操作。

在步骤ST31中，帧内预测单元31执行帧内预测操作。帧内预测单元31在所有候选帧内预测模式中对当前块的图像执行帧内预测。每个帧内预测中要参考的解码图像的图像数据是尚未在去块滤波器24处进行块滤波的解码图像数据。在帧内预测操作中，在所有候选帧内预测模式中执行帧内预测，并在所有候选帧内预测模式中计算成本函数值。基于计算的成本函数值，从所有帧内预测模式中选择编码效率最高的帧内预测模式。

在步骤ST32中，运动预测/补偿单元32执行帧间预测操作。使用帧存储器25中存储并进行了去块滤波的解码图像数据，运动预测/补偿单元32在候选帧间预测模式中执行帧间预测操作。在帧间预测操作中，在所有候选帧间预测模式中执行帧间预测操作，并在所有候选帧间预测模式中计算成本函数值。基于计算的成本函数值，从所有帧间预测模式中选择编码效率最高的帧间预测模式。

现在参照图13的流程图，描述图11的步骤ST31中的帧内预测操作。

在步骤ST41中，帧内预测单元31在各预测模式中执行帧内预测操作。使用尚未进行块滤波的解码图像数据，帧内预测单元31在每个帧内预测模式中生成预测图像数据。

在步骤ST42中，帧内预测单元31在每个预测模式中计算成本函数值。如作为H.264/AVC中参考软件的JM（联合模型）中所规定的，通过高复杂性模式或低复杂性模式的技术计算成本函数值。

具体地，在高复杂性模式中，临时执行以无损编码操作结束的操作作为每个候选预测模式中步骤ST42的操作，以计算每个预测模式中通过以下式（15）表达的成本函数值：

Cost(Mode∈Ω)=D+λ·R      ...（15）

此处，Ω表示用于编码块或宏块的候选预测模式的全集。D表示在预测模式中执行编码的情形中解码图像与输入图像之间的能量差（失真）。R表示包括正交变换系数和预测模式信息的生成的编码量，且λ表示作为量化参数QP的函数给出的拉格朗日乘数。

即，为了在高复杂性模式中执行编码，需要在所有候选预测模式中执行临时编码操作以计算以上参数D和R，因此，需要较大量的计算。

在低复杂性模式中，另一方面，执行预测图像的生成和诸如运动向量信息和预测模式信息的头比特的计算作为步骤ST42在所有候选预测模式中的操作，并且在每个预测模式中计算以下式（16）表示的成本函数值：

Cost(Mode∈Ω)=D+QP2Quant(QP)·Header_Bit   ...（16）

此处，Ω表示用于编码块或宏块的候选预测模式的全集。D表示在预测模式中执行编码的情形中解码图像与输入图像之间的能量差（失真）。Header_Bit表示与预测模式相对应的头比特，且QP2Quant是作为量化参数QP的函数给出的函数。

即，在低复杂性模式中，需要在每个预测模式中执行预测操作，但是不需要任何解码图像。相应地，计算的量可以小于高复杂性模式中需要的计算量。

在步骤ST43中，帧内预测单元31确定最优帧内预测模式。基于步骤ST42中计算的成本函数值，帧内预测单元31在计算的成本函数值之中选择成本函数值最小的一个帧内预测模式，并把选择的帧内预测模式确定为最优帧内预测模式。

现在参照图14的流程图，描述图11的步骤ST32中的帧间预测操作。在步骤ST51中，运动向量数量限制设置单元35设置运动向量数量的上限值。

图15是示出运动向量数量上限值设置的流程图。在步骤ST61中，运动向量数量限制设置单元35确定宏块大小。运动向量数量限制设置单元35从运动搜索单元321获得指示用于执行帧间预测的宏块大小的大小标识信息，并确定宏块大小。操作然后移动到步骤ST62。

在步骤ST62中，运动向量数量限制设置单元35计算运动向量数量的上限值。按照宏块大小，运动向量数量限制设置单元35计算数量的上限值。如果宏块大于16×16像素宏块，则运动向量数量限制设置单元35设置比16×16像素宏块中上限值大的上限值，以在运动向量的数量未约束为比需要小的数量的情况下，鉴于存储器带宽保证实时操作。例如，在运动向量数量的上限值在宏块大小是16×16像素时为p，且宏块大小是（16×m）×（16×n）像素的情形中，运动向量数量限制设置单元35把上限值设置在（m×n×p）。操作然后回到图14的步骤ST52。

在步骤ST52中，运动预测/补偿单元32执行运动预测操作。运动预测/补偿单元32在每个预测模式中执行运动预测，以检测运动向量。操作然后移动到步骤ST53。

在步骤ST53中，运动预测/补偿单元32执行运动向量编码操作。运动预测/补偿单元32生成指示作为各预测模式中检测的运动向量与编码块的运动向量之间差的差运动向量的运动向量信息。运动预测/补偿单元32对生成的运动向量信息执行无损编码，然后移动到步骤ST54。

在步骤ST54中，运动预测/补偿单元32确定每个预测模式的运动向量和参考图像。运动预测/补偿单元32对每个运动补偿块大小确定每个模式中的运动向量，并确定运动向量的检测中使用的参考图像。操作然后移动到步骤ST55。运动预测/补偿单元32还从最优帧间预测模式的候选中排除两个连续宏块的运动向量总数大于上限值的每个预测模式。

在步骤ST55中，运动预测/补偿单元32在每个预测模式中计算成本函数值。使用以上提到的式（15）或（16），运动预测/补偿单元32计算成本函数值。帧间预测模式中的成本函数值计算涉及H.264/AVC中规定的跳过宏块模式或直接模式中成本函数值的估算。

在步骤ST56中，运动预测/补偿单元32确定最优帧间预测模式。基于步骤ST55中计算的成本函数值，运动预测/补偿单元32在计算的成本函数值之中选择成本函数值最小的一个帧间预测模式，并把选择的帧间预测模式确定为最优帧间预测模式。

如上所述，通过图1中示例的图像处理装置和图11中示出的图像处理方法，按照宏块大小设置运动向量数量的上限值。相应地，即使在运动向量的数量受限以不超过上限值的情况下，在运动向量的数量未约束为比需要数量小的数量的情况下，也可以鉴于存储器带宽保证实时操作。另外，运动向量的数量未限于比需要小的数量，使得可以防止图像质量劣化。即，可以执行适合扩展宏块的图像处理。

[3.另一图像编码装置的结构]

以下是对另一图像编码装置的结构的描述，在该图像编码装置中，对于每一帧监视执行把运动向量的数量约束为比上限值小的数量的控制的次数，使得可以较高效地执行编码操作。

图16例示另一图像编码装置的结构。如同图像编码装置10一样，图像编码装置10a包括模拟/数字转换单元（A/D转换单元）11、画面重排缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17以及速率控制单元18。如同图像编码装置10一样，图像编码装置10a还包括逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器25、帧内预测单元31、运动预测/补偿单元32a、预测图像/最优模式选择单元33以及运动向量数量限制设置单元35。此外，图像编码装置10a包括场景改变检测单元29。在以下描述中，将仅描述与图像编码装置10不同的方面。

场景改变检测单元29通过使用从画面重排缓冲器12输出的输入图像数据检测场景改变，并把场景改变检测结果输出到运动预测/补偿单元32a。

图17示出另一运动预测/补偿单元和运动向量数量限制设置单元的结构。

运动预测/补偿单元32a包括运动搜索单元321a、模式确定单元322a、运动补偿处理单元323以及运动向量缓冲器324。

向运动搜索单元321a提供从画面重排缓冲器12提供的重排图像数据，以及从帧存储器25读取的参考图像数据。另外，把场景改变检测结果从场景改变检测单元29提供给运动搜索单元321a，并把执行把运动向量的数量约束为比上限值小的数量的控制的次数从模式确定单元322a提供给运动搜索单元321a。

运动搜索单元321a在所有候选帧间预测模式中执行运动搜索操作，并且向模式确定单元322a输出指示通过运动搜索操作检测的运动向量的运动向量信息。基于检测的运动向量，运动搜索单元321a对参考图像数据执行运动补偿，以生成并向模式确定单元322a输出预测图像数据。运动搜索单元321a进一步向运动向量数量限制设置单元35输出用于标识设置上限值的块的块大小的大小标识信息。在执行把运动向量的数量约束为比上限值小的数量的控制的次数大于预定次数的情形中，运动搜索单元321a使得宏块在接下来的帧中较大。当场景改变检测结果指示检测到了场景改变时，运动搜索单元321a执行操作以使宏块大小返回到预定大小。

把关于所有候选帧间预测模式的运动向量信息和预测图像数据从运动搜索单元321a提供给模式确定单元322a。还从运动向量缓冲器324向模式确定单元322a提供编码相邻块处生成的运动向量信息。此外，还向模式确定单元322a提供从画面重排缓冲器12提供的重排图像数据以计算成本函数。

模式确定单元322a通过使用从画面重排缓冲器12提供的图像数据和从运动搜索单元321a提供的预测图像数据，在最优帧间预测模式候选中的每个候选中计算成本函数值。模式确定单元322a选择成本函数值最小的模式作为正编码宏块的最优帧间预测模式。

使用从运动向量缓冲器324提供的相邻宏块的运动向量信息，模式确定单元322a计算两个连续宏块的运动向量的总数。在成本函数值最小的模式中运动向量的总数大于上限值的情形中，模式确定单元322a执行控制以把最优帧间预测模式确定为最小成本函数值的总值不超过上限值的模式，诸如，进行控制以从最优帧间预测模式的候选中排除两个连续宏块的运动向量总数大于上限值的每个预测模式。然后针对每一帧，把在每一帧中执行控制的次数（宏块的数量）输入到运动搜索单元321a。

此外，模式确定单元322a把预测模式信息、运动向量信息以及确定为最优模式的模式的成本函数值输出到运动补偿处理单元323。基于从运动向量缓冲器324提供的运动向量信息，模式确定单元322a还计算预测运动向量。模式确定单元322a计算作为计算的预测运动向量与由运动搜索单元321a检测的运动向量之间差的差运动向量，以及向运动补偿处理单元323输出指示运动向量信息中包含的差运动向量的差运动向量信息。

如上所述，当在每一帧中监视执行把运动向量的数量约束为比上限值小的数量的控制的次数，且执行控制的次数变得大于预定次数的情形中，使得宏块在下一帧中更大。通过这样做，上限值变得较大，运动向量数量的限制变得较不严格。相应地，可以使得执行把运动向量的数量约束为比上限值小的数量的控制的次数较小，并且可以执行高效的编码操作。当检测到场景改变时，将宏块返回到预定大小。相应地，当由于场景改变而损失图像连续性时，可以通过预定宏块大小执行编码操作。

[4.图像编码装置的其它操作]

以下是具有允许运动向量数量比上限值大的操作模式的图像编码装置的其它操作的描述。应当注意，此情形中图像编码装置的结构与图1或10中示例的一样。

设置运动向量数量的限制以如上所述鉴于存储器带宽保证实时操作。因此，可以设置对保证实时操作不需要的操作模式，以允许比上限值大的运动向量数量。在该情形中，运动向量的数量不限于上限值，相应地，可以生成更合适预测的图像。

在使用这种操作模式的情形中，在压缩图像信息中的顺序参数集合等中提供指示未保证实时解码操作的信息、或者指示运动向量的数量大于上限值的确定信息（诸如标志）。当这种标志被提供时，解码压缩图像信息的图像解码装置可以通过检测标志轻松确定运动向量的数量大于上限值。相应地，可以容易地把未保证实时解码操作通知用户等。

[5.图像解码装置的结构]

经由预定传输路径或记录介质等向图像解码装置提供、并在其中解码通过对输入图像进行编码生成的压缩图像信息。

图18示出作为解码压缩图像信息的图像处理装置的图像解码装置的结构。图像解码装置50包括累积缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、去块滤波器56、画面重排缓冲器57以及数字/模拟转换单元（D/A转换单元）58。图像解码装置50还包括帧存储器61、帧内预测单元62、运动补偿单元63、选择器64以及运动向量数量限制设置单元65。

累积缓冲器51存储传输的压缩图像信息。无损解码单元52通过与由图1的无损编码单元16使用的编码技术兼容的技术解码从累积缓冲器51提供的压缩图像信息。

无损解码单元52把通过解码压缩图像信息获得的预测模式信息输出到帧内预测单元62和运动补偿单元63。

逆量化单元53使用与由图1的量化单元15使用的量化技术兼容的技术，逆量化由无损解码单元52解码的量化数据。逆正交变换单元54通过与由图1的正交变换单元14使用的正交变换技术兼容的技术对来自逆量化单元53的输出执行逆正交变换，并把结果输出到加法单元55。

加法单元55通过把进行了逆正交变换的数据添加到从选择器64提供的预测图像数据生成解码图像数据，并把解码图像数据输出到去块滤波器56和帧内预测单元62。

去块滤波器56对从加法单元55提供的解码图像数据执行去块滤波，并去除块失真。向帧存储器61提供并在帧存储器61中存储所得数据，并还将所得数据输出到画面重排缓冲器57。

画面重排缓冲器57执行图像重排。具体地，按原始显示次序重新排列、并且向D/A转换单元58输出以由图1的画面重排缓冲器12执行的编码的次序重新排列的帧次序。

D/A转换单元58对从画面重排缓冲器57提供的图像数据执行D/A转换，并把转换的图像数据输出到显示器（未示出）以显示图像。

帧存储器61存储进行了滤波操作并从去块滤波器24提供的解码图像数据。

基于从无损解码单元52提供的预测模式信息，帧内预测单元62根据从加法单元55提供的解码图像数据生成预测图像，并把生成的预测图像数据输出到选择器64。

基于从无损解码单元52提供的预测模式信息和运动向量，运动补偿单元63通过从帧存储器61读取参考图像的图像数据来执行运动补偿，并生成和向选择器64输出预测图像数据。运动补偿单元63把由预测模式信息指示的宏块大小输出到运动向量数量限制设置单元65。此外，运动补偿单元63确定两个连续宏块的运动向量的总数是否大于从运动向量数量限制设置单元65发送的上限值，并例如把确定结果输出到系统控制器。

选择器64把由帧内预测单元62生成的预测图像数据输出到加法单元55。选择器64还把由运动补偿单元63生成的预测图像数据输出到加法单元55。

运动向量数量限制设置单元65按照从运动补偿单元63发送的宏块大小设置运动向量数量的上限值，并且把设置的上限值通知运动补偿单元63。如果宏块大于16×16像素宏块，则运动向量数量限制设置单元65设置比16×16像素宏块中上限值大的上限值，以允许进行检查以确定是否可以在运动向量的数量未约束为小于需要的数量的情况下，鉴于存储器带宽保证实时操作。例如，在运动向量数量的上限值在宏块大小是16×16像素时是p，且宏块大小是（16×m）×（16×n）像素的情形中，运动向量数量限制设置单元65把上限值设置在与宏块大小成预定比率的（m×n×p）。相应地，可以做出检查以确定是否可以在运动向量的数量未约束为小于所需的数量的情况下，鉴于存储器带宽保证实时操作。

图19是示出运动补偿单元和运动向量数量限制设置单元结构的图。

运动补偿单元63包括宏块大小缓冲器631、运动向量生成单元632、模式缓冲器633以及运动补偿处理单元634。

宏块大小缓冲器631存储从无损解码单元52提供的大小标识信息。宏块大小缓冲器631还把存储的大小标识信息输出到运动向量数量限制设置单元65。

运动向量数量限制设置单元65按照宏块大小确定运动向量数量的上限值，并把上限值通知运动向量生成单元632。

为了重新配置运动向量信息，运动向量生成单元632包括存储关于在时间和空间上的相邻块的运动向量信息的缓冲器。使用关于相邻块的运动向量信息和从无损解码单元提供的由预测模式信息指示的差运动向量信息，运动向量生成单元632重新生成关于块的运动向量信息。运动向量生成单元632还确定重新配置运动向量的数量是否大于由运动向量数量限制设置单元65确定的上限值，并把确定结果输出到系统控制器（未示出）等。

模式缓冲器633存储从无损解码单元52提供的、指示预测模式的预测模式信息。模式缓冲器633还把存储的预测模式信息输出到运动补偿处理单元634。

基于预测模式信息，运动补偿处理单元634从帧存储器61读取参考图像的图像数据，并按照由运动向量生成单元632生成的运动向量信息执行运动补偿，以生成预测图像数据。运动补偿处理单元634把生成的预测图像数据输出到选择器64。

[6.图像解码设备的操作]

现在参照图20中的流程图，描述由图像解码装置50执行的图像解码操作。

在步骤ST81中，累积缓冲器51存储传输的压缩图像信息。在步骤ST82中，无损解码单元52执行无损解码操作。无损解码单元52解码从累积缓冲器51提供的压缩图像信息。具体地，获得由图1的无损编码单元16编码的每一画面的量化数据。无损解码单元52还对压缩图像信息中包含的预测模式信息执行无损解码。在获得的预测模式信息是关于帧内预测模式的信息的情形中，把预测模式信息输出到帧内预测单元62。在预测模式信息是关于帧间预测模式的信息的情形中，另一方面，无损解码单元52把预测模式信息输出到运动补偿单元63。

在步骤ST83中，逆量化单元53执行逆量化操作。逆量化单元53对由特性与图1量化单元15的特性兼容的无损解码单元52解码的量化数据进行逆量化。

在步骤ST84中，逆正交变换单元54执行逆正交变换操作。逆正交变换单元54对由特性与图1的正交变换单元14的特性兼容的逆量化单元53进行了逆量化的变换系数数据执行逆正交变换。

在步骤ST85中，加法单元55生成解码图像数据。加法单元55把通过逆正交变换操作获得的数据添加到稍后将描述的步骤ST89中选择的预测图像数据，并生成解码图像数据。以此方式，解码原始图像。

在步骤ST86中，去块滤波器56执行滤波操作。去块滤波器56对从加法单元55输出的解码图像数据执行去块滤波，并且去除解码图像中包含的块失真。

在步骤ST87中，帧存储器61执行解码图像数据存储操作。

在步骤ST88中，帧内预测单元62和运动补偿单元63执行预测图像生成操作。帧内预测单元62和运动补偿单元63按照从无损解码单元52提供的预测模式信息各自执行预测图像生成操作。

具体地，在从无损解码单元52提供关于帧内预测的预测模式信息的情形中，帧内预测单元62基于预测模式信息生成预测图像数据。在从无损解码单元52提供关于帧间预测的预测模式信息的情形中，另一方面，运动补偿单元63基于预测模式信息执行运动补偿，以生成预测图像数据。

在步骤ST89中，选择器64选择预测图像数据。具体地，选择器64选择从帧内预测单元62提供的预测图像和由运动补偿单元63生成的预测图像数据，并把选择的预测图像数据提供给把选择的预测图像数据添加到来自逆正交变换单元54的输出的加法单元55，如上所述。

在步骤ST90中，画面重排缓冲器57执行图像重排。具体地，由图1的图像编码装置10的画面重排缓冲器12为进行编码重新排列的帧的次序由画面重排缓冲器57按原始显示次序重新排列。

在步骤ST91中，D/A转换单元58对从画面重排缓冲器57提供的图像数据执行D/A转换。向显示器（未示出）输出并且显示图像。

现在参照图21中的流程图，描述图20的步骤ST88中的预测图像生成操作。

在步骤ST101中，无损解码单元52确定当前块是否被帧内编码。如果通过执行无损解码获得的预测模式信息是关于帧内预测的预测模式信息，则无损解码单元52把预测模式信息提供给帧内预测单元62，并且操作前往步骤ST102。在预测模式信息是关于帧间预测模式的预测模式信息的情形中，另一方面，无损解码单元52把预测模式信息提供给运动补偿单元63，操作前往步骤ST103。

在步骤ST102中，帧内预测单元62执行预测图像生成操作。使用从加法单元55提供的解码图像数据和预测模式信息，帧内预测单元62执行帧内预测，以生成预测图像数据。

在步骤ST103中，运动补偿单元63执行预测图像生成操作。基于从无损解码单元52提供的预测模式信息和运动向量，运动补偿单元63对从帧存储器61读取的参考图像执行运动补偿，并生成预测图像数据。

图22是示出步骤ST103的帧间预测图像生成操作的流程图。在步骤ST111中，运动向量数量限制设置单元65执行与图15中示出的一样的操作，以设置运动向量数量的上限值。运动向量数量限制设置单元65按照宏块大小设置运动向量数量的上限值。如果宏块大于16×16像素宏块，则运动向量数量限制设置单元65设置比16×16像素宏块中的上限值大的上限值，以允许做出检查以确定是否可以在运动向量的数量未约束为小于所需数量的情况下，鉴于存储器带宽保证实时操作。例如，在运动向量数量的上限值在宏块大小是16×16像素时是p，且宏块大小是（16×m）×（16×n）像素的情形中，运动向量数量限制设置单元65把上限值设置在（m×n×p）。操作然后前往步骤ST112。

在步骤ST112中，运动补偿单元63获得预测模式信息。为了生成预测图像数据，运动补偿单元63从无损解码单元52获得预测模式信息，并前往步骤ST113。

在步骤ST113中，运动补偿单元63重新配置运动向量信息。运动补偿单元63例如根据解码相邻块的运动向量生成预测运动向量信息，并基于预测运动向量信息和由预测模式信息指示的差运动向量信息重新配置运动向量信息。操作然后前往步骤ST114。

在步骤ST114中，运动补偿单元63监视运动向量的数量。运动补偿单元63监视两个相邻宏块的运动向量总数是否大于步骤ST111中确定的上限值。在运动向量的数量大于上限值的情形中，运动补偿单元63将该效果通知系统控制器等，以及前往步骤ST115。

在步骤ST115中，运动补偿单元63生成预测图像数据。基于步骤ST112中获得的预测模式信息和步骤ST113中重新配置的运动向量信息，运动补偿单元63通过从帧存储器61读取参考图像数据来执行运动补偿，并生成和向选择器64输出预测图像数据。

如上所述，通过图18中示例的图像处理装置和图20中示出的图像处理方法，按照宏块大小设置运动向量数量的上限值，并执行监视以确定运动向量的数量是否大于上限值。然后输出监视的结果。相应地，基于监视结果，可以容易地做出检查以确定是否可以保证实时操作。在运动向量的数量大于上限值，且未保证实时操作的情形中，可以通过显示或声音等将该效果通知用户。

在压缩图像信息包含指示运动向量的数量大于上限值的确定信息的情形中，基于确定信息输出指示运动向量的数量大于上限值的确定结果。相应地，当未保证实时操作时，可以通过显示或声音等将该效果通知用户。

宏块大小不限于以上实施例中描述的宏块大小，可以是一些其它大小。目前，为了实现比H.264/AVC的编码效率高的编码效率，作为ITU-T和ISO/IEC联合标准化组织的JCTVC（联合协作组－视频编码）正作为标准开发称为HEVC（高效率视频编码）的图像编码技术。

在HEVC中，可以在每一序列中动态指定编码单位（CU）的大小。HEVC中的编码单位也称为编码树块，其中，具有最大大小的编码单位是最大编码单位（LCU），具有最小大小的编码单位是最小编码单位（SCU）。在作为压缩图像信息一部分的顺序参数集合中指定LCU和SCU的大小。以此方式，可以定义可用编码单位大小的范围。此外，指定分割标志（split_flag）的值，以规定各个序列中使用的每一编码单位的大小。

编码单位的形状通常是方形，把每一侧的大小表示成2的幂。此外，可以把编码单位划分成作为帧内预测或帧间预测中的处理单位的预测单位（PU）。另外，可以把编码单位划分成作为正交变换中处理单位的变换单位（TU）。在HEVC中，除了4×4像素和8×8像素变换单位之外，还可以使用在大小上是16×16像素和32×32像素的变换单位。相应地，本说明书中的块不仅包括宏块而且包括诸如编码单位和最大编码单位的单位概念。

此外，并不需要在所有CU中设置运动向量数量的上述上限值，而可以仅在要设置与参考上限值不同的值的块中设置上述上限值。在此情形中，向编码流中合并用于仅标识要设置与参考上限值不同的值的块的标识信息。图23示出在片段头中包含标识信息的情形中的实例语句。在图23中，每行左端处的号码是提供以便容易说明的行号。

第22行中的语句“MinUnitForNumMV”是用于指定要设置上限值的最小CU大小的信息。在即使在较小CU大小例如是8×8像素的情况下也指定MinUnitForNumMV＝16的情形中，仅在大小为16×16像素或更大的每个CU上设置上限值，在8×8像素的每个CU上不设置任何上限值。

作为另一途径，可以设置标志。在例如把作为标志的“MinUnitForNumMV”设置在“0”的情形中，把上限值设置在128×128像素大小的级别，但是在64×64像素大小和更小的级别未设置任何上限值。在把作为标志的“MinUnitForNumMV”设置在“1”的情形中，把上限值设置在64×64像素大小的级别，但是在32×32像素大小和更小的级别未设置任何上限值。在把作为标志的“MinUnitForNumMV”设置在“2”的情形中，把上限值设置在32×32像素大小的级别，但是在16×16像素大小和更小的级别未设置任何上限值。

如果期望例如仅在16×16像素大小和更大大小中设置上限值的过程中进行控制，则在8×8像素大小的每个CU上不设置任何上限值的情况下，执行运动预测/补偿。通过设置这种语句“MinUnitForNumMV”，可以在此情形中跳过控制8×8像素大小的CU，可以灵活执行上限值设置和运动预测/补偿控制。

虽然图23示出在片段头中提供语句“MinUnitForNumMV”的实例情形，但可以把此语句存储在除了片段头以外的区域中。例如，可以把语句存储在画面参数集合中。由于把语句存储在片段头或画面参数集合中，可以例如在场景改变之后改变语句的值。另外，如果在片段头中存储“MinUnitForNumMV”，则可以使画面转变成多片段画面，并可以对每个片段执行并行处理。

[7.软件处理的情形]

可以通过硬件、软件或者硬件和软件的组合执行本说明书中描述的操作系列。在通过软件执行操作的情形中，在合并到计算机中专用硬件中的存储器中安装记录操作序列的程序。可替选地，可以通过把程序安装到可以执行各种操作的通用计算机中执行操作。

例如，可以把程序预先记录在作为记录介质的硬盘或ROM（只读存储器）上。可替选地，可以把程序暂时或永久存储（记录）在诸如软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字多功能盘）、磁盘或者半导体存储器的可移除记录介质中。可以作为所谓的封装软件提供这种可移除记录介质。

不仅可以从上述可移除记录介质向计算机中安装、而且可以从下载站点向计算机无线传送或经由诸如LAN（局域网）或互联网的网络通过线路向计算机传送程序，使得可以在计算机中接收和向诸如内部硬盘的记录介质中安装以此方式传送的程序。

写入程序的步骤包括：要并行或在并非必定按时间次序的情况下相互独立地执行操作，以及要按照规定的次序按时间次序执行的操作。

[8.向电子设备的应用]

在上述实例中，使用H.264/AVC作为编码/解码技术。然而，可以把本技术应用于使用其它编码/解码技术以便执行运动预测/补偿操作的图像编码装置和图像解码装置。

此外，可以把本技术应用于图像编码装置和图像解码装置，该图像编码装置和图像解码装置在经由诸如卫星广播、有线TV（电视）、互联网或者便携式电话装置的网络媒体接收，或者在诸如光盘或磁盘或快擦写存储器的存储介质中处理如在MPEG或H.26x中一样通过诸如离散余弦变换的正交变换和运动补偿压缩的图像信息（比特流）时使用。

可以把上述图像编码装置10和图像解码装置50应用于任何电子设备。以下是这种实例的描述。

图24示意性示出应用本技术的电视设备的实例结构。电视设备90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。电视设备90还包括控制单元910、用户接口单元911等。

调谐器902从天线901处接收的广播波信号中选择期望频道，并执行解调。把所得流输出到解复用器903。

解复用器903从流中提取要查看的演出的视频和音频包，并把提取的包的数据输出到解码器904。解复用器903还向控制单元910输出诸如EPG（电子节目指南）的数据包。在执行扰频的情况下，解复用器等取消扰频。

解码器904执行包解码操作，并把通过解码操作生成的视频数据输出到视频信号处理单元905，并把音频数据输出到音频信号处理单元907。

视频信号处理单元905按照用户设置对视频数据进行噪声去除和视频处理等。视频信号处理单元905生成显示单元906上要显示的演出的视频数据，或者基于经由网络提供的应用程序通过操作生成图像数据等。视频信号处理单元905还生成用于显示菜单屏幕等的视频数据以进行项目选择，并把视频数据叠加在演出的视频数据上。基于以此方式生成的视频数据，视频信号处理单元905生成驱动信号以驱动显示单元906。

基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示装置（例如液晶显示元件）以显示演出的视频。

音频信号处理单元907使音频数据进行诸如噪声去除的预定处理，并对处理的音频数据执行D/A转换操作和放大操作。把所得音频数据作为音频输出提供给扬声器908。

外部接口单元909是用于与外部装置或网络连接的接口，并发送和接收诸如视频数据和音频数据的数据。

用户接口单元911连接到控制单元910。用户接口单元911通过操作开关、远程控制信号接收单元等形成，并向控制单元910提供根据用户操作的操作信号。

通过CPU（中央处理单元）、存储器等形成控制单元910。存储器存储CPU要执行的程序、对于CPU执行操作必要的各种数据、EPG数据、经由网络获得的数据等。CPU在诸如电视设备90启动时的预定时间读取和执行存储器中存储的程序。CPU执行程序以控制各组件，使得电视设备90按照用户操作工作。

在电视设备90中，提供总线912以把调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910。

在具有这种结构的电视设备中，解码器904具有本发明图像解码装置（图像解码方法）的功能。相应地，即使在使用扩展宏块的情况下，也可以执行与扩展宏块兼容的图像编码操作。例如，在再现使用扩展宏块的压缩图像信息时运动向量的数量大于上限值且未保证实时操作的情形中，可以将该效果通知用户。

图25示意性示出应用本技术的便携式电话装置的实例结构。便携式电话装置92包括通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930以及控制单元931。这些组件经由总线933相互连接。

另外，天线921被连接到通信单元922，且扬声器924和麦克风925被连接到音频编解码器923。此外，操作单元932被连接到控制单元931。

便携式电话装置92在诸如音频通信模式和数据通信模式的各种模式中，执行诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕捉以及数据记录的各种操作。

在音频通信模式中，把麦克风925处生成的音频信号转换成音频数据，并在音频编解码器923处压缩数据。把压缩数据提供给通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成传输信号。通信单元922还把传输信号提供给天线921，并把传输信号传输给基站（未示出）。通信单元922还放大天线921处接收的信号，并执行频率转换操作、解调操作等。把所得音频数据提供给音频编解码器923。音频编解码器923解压缩音频数据，并把音频数据转换成模拟音频信号。随后把模拟音频信号输出到扬声器924。

在数据通信模式中执行邮件传输的情形中，控制单元931接收通过对操作单元932进行操作输入的文本数据，并在显示单元930上显示输入文本。按照通过操作单元932的用户指令等，控制单元931生成和向通信单元922提供邮件数据。通信单元922对邮件数据执行调制操作、频率转换操作等，并从天线921发送所得传输信号。通信单元922还放大天线921处接收的信号，并执行频率转换操作、解调操作等，以恢复邮件数据。把该邮件数据提供给显示单元930，并显示邮件的内容。

便携式电话装置92可以使得记录/再现单元929向存储介质中存储接收的邮件数据。存储介质是可重写存储介质。例如，存储介质可以是诸如RAM或内部快擦写存储器的半导体存储器，硬盘，或者诸如磁盘、磁光盘、光盘、USB存储器或者记忆卡的可移除介质。

在数据通信模式中传输图像数据的情形中，向图像处理单元927提供摄像机单元926处生成的图像数据。图像处理单元927对图像数据执行编码操作，以生成编码数据。

解复用单元928通过预定技术复用图像处理单元927处生成的编码数据和从音频编解码器923提供的音频数据，并把复用数据提供给通信单元922。通信单元922对复用数据执行调制操作、频率转换操作等，并从天线921发送所得传输信号。通信单元922还放大在天线921处接收的信号，并执行频率转换操作、解调操作等，以恢复复用数据。把该复用数据提供给解复用单元928。解复用单元928划分复用数据，并把编码数据提供给图像处理单元927，并把音频数据提供给音频编解码器923。

图像处理单元927对编码数据执行解码操作，以生成图像数据。把该图像数据提供给显示单元930，以显示接收的图像。音频编解码器923把音频数据转换成模拟音频信号，并把模拟音频信号输出到扬声器924，并输出接收的声音。

在具有以上结构的便携式电话装置中，图像处理单元927具有本发明图像编码装置（图像编码方法）和图像解码装置（图像解码方法）的功能。相应地，即使在使用扩展宏块的情况下，也可以执行与扩展宏块兼容的图像编码操作和图像解码操作。

图26示意性示出应用本技术的记录/再现设备的实例结构。记录/再现设备94在记录介质上记录接收广播演出的音频数据和视频数据，并在根据来自用户的指令时把记录的数据提供给用户。记录/再现设备94还可以例如从另一设备获得音频数据和视频数据，并把数据记录在记录介质上。此外，记录/再现设备94解码和输出记录介质上记录的音频数据和视频数据，使得监视器装置等可以显示图像并输出声音。

记录/再现设备94包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（屏上显示）单元948、控制单元949以及用户接口单元950。

调谐器941从天线（未示出）处接收的广播信号中选择期望频道。调谐器941解调期望频道的接收信号，并把所得压缩图像信息输出到选择器946。

通过IEEE1394接口、网络接口单元、USB接口、快擦写存储器接口等中的至少之一形成外部接口单元942。外部接口单元942是用于与外部装置、网络、记忆卡等连接的接口，其接收要记录的诸如视频数据和音频数据的数据等。

编码器943对从外部接口单元942提供并未进行编码的视频数据和音频数据执行预定编码，并把压缩图像信息输出到选择器946。

HDD单元944在内部硬盘上记录诸如视频和声音的内容数据、各种程序以及其它数据，并在再现时等从硬盘读取数据。

盘驱动器945对装配的光盘执行信号记录和再现。光盘可以例如是DVD盘（诸如，DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、或者DVD+RW）或蓝光盘。

选择器946在视频和音频记录时从调谐器941或编码器943中选择流，并把流提供给HDD单元944或者盘驱动器945。选择器946还在视频和音频再现时向解码器947提供从HDD单元944或盘驱动器945输出的流。

解码器947对流执行解码操作。解码器947把通过执行解码生成的视频数据提供给OSD单元948。解码器947还输出通过执行解码生成的音频数据。

OSD单元948还生成用于显示用于项目选择的菜单屏幕等的视频数据，并把视频数据叠加在从解码器947输出的视频数据上。

用户接口单元950连接到控制单元949。用户接口单元950通过操作开关、远程控制信号接收单元等形成，并向控制单元949提供根据用户操作的操作信号。

通过CPU、存储器等形成控制单元949。存储器存储CPU要执行的程序和CPU执行操作所需的各种数据。CPU在诸如记录/再现设备94启动时的预定时间读取和执行存储器中存储的程序。CPU执行程序以控制各组件，使得记录/再现设备94按照用户操作工作。

在具有以上结构的记录/再现设备中，编码器943具有本发明图像编码装置（图像编码方法）的功能，解码器947具有图像解码装置（图像解码方法）的功能，使得可以在使用扩展宏块时执行与扩展宏块兼容的图像编码操作和图像解码操作。

图27示意性示出应用本技术的成像设备的实例结构。成像设备96捕捉对象的图像，并使得显示单元显示对象的图像或把图像作为图像数据记录在记录介质上。

成像设备96包括光学块961、成像单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972连接。

通过聚焦透镜、光圈等形成光学块961。光学块961在成像单元962的成像表面上形成对象的光学图像。通过CCD或CMOS图像传感器形成的成像单元962通过光电转换生成根据光学图像的电信号，并把电信号提供给摄像机信号处理单元963。

摄像机信号处理单元963对从成像单元962提供的电信号执行诸如拐点校正、伽玛校正以及色彩校正的各种摄像机信号处理。摄像机信号处理单元963把进行了摄像机信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从摄像机信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964把通过执行编码操作生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的编码数据执行解码操作。图像数据处理单元964把通过执行解码操作生成的图像数据提供给显示单元965。图像数据处理单元964还执行操作以把从摄像机信号处理单元963提供的图像数据提供给显示单元965，或者在图像数据上叠加从OSD单元969获得的显示数据，并把图像数据提供给显示单元965。

OSD单元969生成通过符号、字符或者图形形成的菜单屏幕和图标的显示数据，并把数据输出到图像数据处理单元964。

外部接口单元966例如通过USB输入/输出终端等形成，并在执行图像打印时连接到打印机。驱动器在必要的情况下也连接到外部接口单元966，并酌情在驱动器上装配诸如磁盘或光盘的可移除介质。在必要的情况下安装从这种可移除盘读取的计算机程序。此外，外部接口单元966包括向诸如LAN或互联网的预定网络连接的网络接口。控制单元970例如按照来自用户接口单元971的指令从存储器单元967读取编码数据，并可以把编码数据从外部接口单元966提供给经由网络向其连接的另一设备。控制单元970还可以经由外部接口单元966获得经由网络从另一设备提供的编码数据或图像数据，并把编码数据或图像数据提供给图像数据处理单元964。

介质驱动器968要驱动的记录介质可以是诸如磁盘、磁光盘、光盘或者半导体存储器的可读/可重写可移除盘。记录介质可以是任何类型的可移除介质，并且可以是带装置、盘或者存储器卡。记录介质当然可以是非接触式IC卡等。

可替选地，可以整合、并可以通过诸如内部硬盘驱动器或SSD（固态驱动器）的非移动存储介质形成介质驱动器968和记录介质。

通过CPU、存储器等形成控制单元970。存储器存储CPU要执行的程序、CPU执行操作所需的各种数据等。CPU在诸如成像设备96启动时的预定时间读取和执行存储器中存储的程序。CPU执行程序以控制各组件，使得成像设备96按照用户操作工作。

在具有以上结构的成像设备中，图像数据处理单元964具有本发明图像编码装置（图像编码方法）和图像解码装置（图像解码方法）的功能。因此，即使在存储器单元967、记录介质等中记录捕捉图像时使用扩展宏块的情况下，也可以执行与扩展宏块兼容的图像编码操作和图像解码操作。

此外，不应当把本技术解释成限于上述实施例。实施例通过实例公开本技术，明显的是：本领域技术人员可以在不脱离本技术范围的情况下通过其它实施例修改或替换这些实施例。即，应当在理解本技术主题的过程中考虑权利要求。

本技术也可以按以下形式。

（1）一种图像处理装置，包括：

设置单元，被配置为根据作为在编码图像数据时执行编码的单位的块的块大小设置运动向量数量的上限值；

运动预测/补偿单元，被配置为在块的运动向量数量等于或小于由设置单元设置的上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及

编码单元，被配置为通过使用由运动预测/补偿单元生成的预测图像对图像数据进行编码以生成编码流。

（2）如（1）所述的图像处理装置，其中，当块的块大小大于预定大小时，设置单元把上限值设置为比预定大小的块中的上限值大的值。

（3）如（2）所述的图像处理装置，其中，当具有预定大小（N）的块中运动向量数量的上限值是p，并且比预定大小大的块大小是（N×m）×（N×n）个像素时，设置单元把上限值设置为（p×m×n）。

（4）如（2）或（3）所述的图像处理装置，其中，预定大小是16×16个像素。

（5）如（2）至（4）中任一项所述的图像处理装置，其中，大小大于预定大小的块是在层级结构的编码单位之中具有最大大小的最大编码单位。

（6）如（2）至（5）中任一项所述的图像处理装置，其中，当检测预测模式时，运动预测/补偿单元从要检测的预测模式的候选中排除运动向量的数量大于上限值的预测模式。

（7）如（2）至（6）中任一项所述的图像处理装置，其中，运动预测/补偿单元在每一帧中监视执行用以把运动向量的数量约束为比上限值小的数量的控制的次数，以及，当执行控制的次数超过预定次数时，增加下一帧中每个块的块大小。

（8）如（1）至（7）中任一项所述的图像处理装置，还包括：

场景改变检测单元，被配置为检测图像数据中的场景改变，

其中，当由场景改变检测单元检测到场景改变时，运动预测/补偿单元把每一块的块大小设置为预先设定的预定大小。

（9）如（1）至（8）中任一项所述的图像处理装置，其中，在通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像进行运动补偿以生成预测图像的操作模式中，当预测模式中运动向量的数量超过上限值时，编码单元发送编码流和指示运动向量数量大于上限值的确定信息。

（10）如（1）至（9）中任一项所述的图像处理装置，还包括：

生成单元，被配置为生成用于标识由设置单元在其上设置上限值的块的块大小的大小标识信息，

其中，编码单元发送编码流和大小标识信息。

（11）一种图像处理装置，包括：

设置单元，被配置为根据作为在对通过对图像数据进行编码生成的编码流进行解码时执行解码的单位的块的块大小，设置运动向量数量的上限值；

运动补偿单元，被配置为在块的运动向量数量等于或小于由设置单元设置的上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及

解码单元，被配置为通过使用由运动补偿单元生成的预测图像解码编码流。

（12）如（11）所述的图像处理装置，其中，当块的块大小大于预定大小时，设置单元把上限值设置为比预定大小的块中的上限值大的值。

（13）如（12）所述的图像处理装置，其中，当具有预定大小（N）的块中运动向量数量的上限值是p，并且比预定大小大的块大小是（N×m）×（N×n）个像素时，设置单元把上限值设置为（p×m×n）。

（14）如（12）或（13）所述的图像处理装置，其中，预定大小是16×16个像素。

（15）如（12）至（14）中任一项所述的图像处理装置，其中，大小大于预定大小的块是在层级结构中的编码单位之中具有最大大小的最大编码单位。

（16）如（12）至（15）中任一项所述的图像处理装置，其中，当检测预测模式时，运动补偿单元从要检测的预测模式的候选中排除运动向量的数量大于上限值的预测模式。

（17）如（12）至（16）中任一项所述的图像处理装置，其中，运动补偿单元在每一帧中监视执行用以把运动向量的数量约束为比上限值小的数量的控制的次数，以及，当执行的控制的次数超过预定次数时，增加下一帧中每个块的块大小。

（18）如（11）至（17）中任一项所述的图像处理装置，还包括：

场景改变检测单元，被配置为检测图像数据中的场景改变，

其中，当由场景改变检测单元检测到场景改变时，运动补偿单元把每一块的块大小设置为预先设定的预定大小。

（19）如（11）至（18）中任一项所述的图像处理装置，其中，在通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像进行运动补偿以生成预测图像的操作模式中，解码单元从编码流获得确定信息，确定信息指示运动向量的数量大于上限值。

（20）如（11）至（19）中任一项所述的图像处理装置，其中，解码单元从编码流获得大小标识信息，大小标识信息标识在其上设置上限值的块的块大小。

工业实用性

通过根据本技术的图像处理装置和图像处理方法，根据宏块大小设置运动向量数量的上限值。检测运动向量的数量小于上限值的最优预测模式，并对参考图像执行使用检测最优预测模式的运动向量的运动补偿，以生成预测图像。相应地，当使用增加大小的宏块时，运动向量的数量未约束为小于所需数量的数量，并可以执行与扩展宏块兼容的图像处理。

鉴于以上，本技术适合在经由诸如卫星广播、有线电视广播、互联网或者便携式电话的网络媒体传输和接收，或者在诸如光盘或磁盘或快擦写存储器的存储介质上处理通过对每个块执行编码获得的压缩图像信息（比特流）时使用的图像编码装置、图像解码装置等。

附图标记列表

10、10a...图像编码装置11...A/D转换单元12、57...画面重排缓冲器13...减法单元14...正交变换单元15...量化单元16...无损量化单元17...累积缓冲器18...速率控制单元21、53...逆量化单元22、54...逆正交变换单元23、55...加法单元24、56...去块滤波器25...帧存储器29...场景改变检测单元31...帧内预测单元32、32a...运动预测/补偿单元33...预测图像/最优模式选择单元35、65...运动向量数量限制设置单元50...图像解码装置51...累积缓冲器52...无损解码单元58...D/A转换单元61...帧存储器62...帧内预测单元63...运动补偿单元64...选择器90...电视设备92...便携式电话装置94...记录/再现设备96...成像设备321、321a...运动搜索单元322、322a...模式确定单元323、634...运动补偿处理单元324...运动向量缓冲器631...宏块大小缓冲器632...运动向量生成单元633...模式缓冲器

Claims (22)

1.一种图像处理装置，包括：

设置单元，被配置为根据作为在编码图像数据时执行编码的单位的块的块大小设置运动向量数量的上限值；

运动预测/补偿单元，被配置为在所述块的运动向量数量等于或小于由所述设置单元设置的所述上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及

编码单元，被配置为通过使用由所述运动预测/补偿单元生成的所述预测图像对图像数据进行编码以生成编码流。

2.如权利要求1所述的图像处理装置，其中，当所述块的块大小大于预定大小时，所述设置单元把所述上限值设置为比预定大小的块中的上限值大的值。

3.如权利要求2所述的图像处理装置，其中，当具有预定大小（N）的块中运动向量数量的所述上限值是p，并且比预定大小大的块大小是（N×m）×（N×n）像素时，所述设置单元把所述上限值设置为（p×m×n）。

4.如权利要求3所述的图像处理装置，其中，所述预定大小是16×16个像素。

5.如权利要求2所述的图像处理装置，其中，大小大于预定大小的块是在层级结构的编码单位之中具有最大大小的最大编码单位。

6.如权利要求2所述的图像处理装置，其中，当检测所述预测模式时，所述运动预测/补偿单元从要检测的预测模式的候选中排除运动向量的数量大于所述上限值的预测模式。

7.如权利要求2所述的图像处理装置，其中，所述运动预测/补偿单元在每一帧中监视执行用以把运动向量的数量约束为比所述上限值小的数量的控制的次数，以及，当执行所述控制的次数超过预定次数时，增加下一帧中每个块的块大小。

8.如权利要求7所述的图像处理装置，还包括：

场景改变检测单元，被配置为检测所述图像数据中的场景改变，

其中，当由所述场景改变检测单元检测到场景改变时，所述运动预测/补偿单元把每一块的块大小设置为预先设定的预定大小。

9.如权利要求1所述的图像处理装置，其中，在通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像进行运动补偿以生成预测图像的操作模式中，当预测模式中运动向量的数量超过所述上限值时，所述编码单元发送所述编码流和指示运动向量数量大于所述上限值的确定信息。

10.如权利要求1所述的图像处理装置，还包括：

生成单元，被配置为生成用于标识由所述设置单元在其上设置上限值的块的块大小的大小标识信息，

其中，所述编码单元发送所述编码流和所述大小标识信息。

11.一种图像处理方法，包括：

根据作为在编码图像数据时执行编码的单位的块的块大小设置运动向量数量的上限值；

通过在所述块的运动向量数量等于或小于设置的上限值时检测预测模式，并且利用检测的预测模式的运动向量对参考图像进行运动补偿，来生成预测图像；以及

通过利用生成的预测图像对所述图像数据进行编码来生成编码流。

12.一种图像处理装置，包括：

设置单元，被配置为根据作为在对通过对图像数据进行编码生成的编码流进行解码时执行解码的单位的块的块大小，设置运动向量数量的上限值；

运动补偿单元，被配置为在所述块的运动向量数量等于或小于由所述设置单元设置的所述上限值时检测预测模式，并且通过使用检测的预测模式的运动向量对参考图像进行运动补偿，以生成预测图像；以及

解码单元，被配置为通过使用由所述运动补偿单元生成的所述预测图像解码所述编码流。

13.如权利要求12所述的图像处理装置，其中，当所述块的块大小大于预定大小时，所述设置单元把所述上限值设置为比预定大小的块中的上限值大的值。

14.如权利要求13所述的图像处理装置，其中，当具有预定大小（N）的块中运动向量数量的所述上限值是p，并且比预定大小大的块大小是（N×m）×（N×n）像素时，所述设置单元把所述上限值设置为（p×m×n）。

15.如权利要求14所述的图像处理装置，其中，所述预定大小是16×16个像素。

16.如权利要求13所述的图像处理装置，其中，大小大于预定大小的块是在层级结构中的编码单位之中具有最大大小的最大编码单位。

17.如权利要求13所述的图像处理装置，其中，当检测所述预测模式时，所述运动补偿单元从要检测的预测模式的候选中排除运动向量的数量大于所述上限值的预测模式。

18.如权利要求13所述的图像处理装置，其中，所述运动补偿单元在每一帧中监视执行用以把运动向量的数量约束为比所述上限值小的数量的控制的次数，以及，当执行的控制的次数超过预定次数时，增加下一帧中每个块的块大小。

19.如权利要求18所述的图像处理装置，还包括：

场景改变检测单元，被配置为检测所述图像数据中的场景改变，

其中，当由所述场景改变检测单元检测到场景改变时，所述运动补偿单元把每一块的块大小设置为预先设定的预定大小。

20.如权利要求12所述的图像处理装置，其中，在通过无论运动向量的数量如何均检测最优预测模式，并利用检测的最优预测模式的运动向量对参考图像进行运动补偿以生成预测图像的操作模式中，所述解码单元从所述编码流获得确定信息，所述确定信息指示运动向量的数量大于所述上限值。

21.如权利要求12所述的图像处理装置，其中，所述解码单元从所述编码流获得大小标识信息，所述大小标识信息标识在其上设置上限值的块的块大小。

22.一种图像处理方法，包括步骤：

根据作为在对通过对图像数据进行编码生成的编码流进行解码时执行解码的单位的块的块大小，设置运动向量数量的上限值；

通过在所述块的运动向量数量等于或小于由所述设置单元设置的所述上限值时检测预测模式，并且利用检测的预测模式的运动向量对参考图像进行运动补偿，来生成预测图像；以及利用生成的预测图像解码所述编码流。

Images