CN103597836A - 图像处理设备和方法 - Google Patents

Abstract

本图像处理设备和方法能够提高运动矢量的编码效率。当对图像进行运动估计时，时间估计运动矢量信息确定单元从参考图像中与经历处理的区域对应的参考区域中确定提取区域，其中该提取区域用于提取运动矢量信息作为时间估计运动矢量信息。差运动矢量生成单元产生从确定的提取区域中提取的时间估计运动矢量信息，并产生构成该区域中的运动信息的差的差运动信息。参考区域被划分成多个分区。时间估计运动矢量信息确定单元从参考区域中的多个分区中将与该区域具有最大面积重叠的最大区域确定为提取区域。该特征可以被应用于图像处理设备。

Description

图像处理设备和方法

技术领域

本技术涉及图像处理设备和方法，尤其涉及可以提高运动矢量编码效率的图像处理设备和方法。

背景技术

近年来，符合MPEG（动态图像专家组）方案等的设备在发布信息的广播站和接收信息的普通家庭中普及，其中，为了有效地传送和存储信息，MPEG方案在利用图像信息特有的冗余的同时，通过正交变换如离散余弦变换和运动补偿，将图像信息看作数字并且压缩信息。

特别地，MPEG-2（ISO（国际标准化组织）/IEC（国际电工委员会）13818-2）被定义为通用图像编码方案，是覆盖隔行扫描图像和逐行扫描图像、以及标准分辨率图像和高分辨率图像的标准。如今，MPEG-2被用于专业人员和消费者的广阔的应用范围中。例如，使用MPEG-2压缩方案，通过向具有720×480像素的标准分辨率的隔行扫描图像分配4到8Mbps的代码量（比特率），或者向具有1920×1088像素的高分辨率的隔行扫描图像分配18到22Mbps的代码量（比特率），可以实现高压缩比和满意的图像质量。

MPEG-2目标在于主要用于广播的高质量图像编码，但是不适于代码量（比特率）低于MPEG-1的编码方案，即具有更高压缩比的编码方案。随着移动终端的广泛使用，预计未来对于这样的编码方案的需求会增加。作为应对，MPEG-4编码方案已经被标准化。关于图像编码方案，该标准在1998年12月被批准为国际标准ISO/IEC 14496-2。

此外，命名为H.26L（ITU-T（国际电信联盟远程通信标准化组织）Q6/16 VCEG（视频编码专家组））的标准，其最初用于对电视会议中使用的图像进行编码，近年来，正在成为标准的过程中。虽然与诸如MPEG-2和MPEG-4的传统编码方案相比，H.26L在编码和解码中需要更大的计算量，但是已知H.26L能够实现更高的编码效率。此外，作为属于MPEG-4的活动的一部分，通过将H.26L用作基础并结合H.26L中不支持的功能而实现更高的编码效率的标准目前正处于作为增强压缩视频编码的联合模型（Joint Model of Enhanced-Compression Video Coding）的过程中。这在2003年3月以H.264和MPEG-4部分10（高级视频编码；下文中称为AVC）的名称称为国际标准。

然而，值得关注的是，16像素×16像素的宏块尺寸对于将成为下一代编码方案目标的UHD（超高清；4000像素×2000像素）中提供的大的图像帧而言不是最佳的。

因此，作为由ITU-T和ISO/IEC组成的联合标准化组的JCTVC（Joint Collaboration Team-Video Coding，视频编码的联合协作小组）正致力于使称为HEVC（高效率视频编码）的编码方案标准化，从而进一步提高由AVC实现的编码效率（例如，参照非专利文献1）。

HEVC编码方案定义作为处理单元的编码单元（CU），类似于AVC中使用的宏块。与AVC中使用的宏块不同的是，编码单元的尺寸不固定为16×16像素，而是在每个序列中的图像压缩信息内指定。

现在，为了改进AVC中使用中值预测的运动矢量的编码，除了AVC中定义的且中值预测所需的“空间预测器”之外，还提出了适应性地使用“时间预测器”和“时空预测器”中的任一种作为预测运动矢量信息（以下也称为MV竞争）（例如，参照非专利文献2）。

引用列表

非专利文献

非专利文献1：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft 1 ofHigh-Efficiency Video Coding",JCTVC-C403,Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11第3次会议，中国广州7-152010年10月

非专利文献2：Joel Jung,Guillaume Laroche,"Competition-BasedScheme for Motion Vector Selection and Coding",VCEG-AC06,ITU-Telecommunications Standardization SectorSTUDY GROUP 16 Question6Video Coding Experts Group(VCEG)第29次会议:奥地利克拉根福17-18 2006年7月.

发明内容

本发明要解决的问题

然而，使用“时间预测器”的运动矢量的编码处理中有对运动矢量进行编码的效率降低取决于共位区域的面积的可能性，所述共位区域是包括与参考图像内的区域中的要处理的区域的左上部分中的像素具有相同的地址的像素的区域。换句话说，当面积小的区域对应于共位区域时，要处理的区域和共位区域之间的共享面积减小，该区域是参考图像分成的多个区域的其中一个。因此，运动矢量的编码效率有可能下降，因为要处理的区域的运动矢量信息和共位区域的运动矢量信息之间的相关性下降。

本技术已经考虑了这样的情形，允许使运动矢量的编码效率得到提高。

问题的解决方案

根据本技术的第一方面的图像处理设备包括：确定单元，其在对图像进行运动预测时从参考图像中的参考区域内确定提取区域，其中从提取区域中提取运动矢量信息作为时间预测运动矢量信息，参考区域与要处理的当前区域相对应；以及差产生单元，其产生差运动信息，差运动信息是从确定单元确定的提取区域中提取的时间预测运动矢量信息和当前区域的运动信息之间的差。参考区域被划分为多个分区，确定单元从参考区域的多个分区中将与当前区域重叠面积最大的最大区域确定为提取区域。

当存在多个最大区域时，确定单元可以具有从所述多个最大区域中确定提取区域的规则。

该规则可以被设置成使得将按光栅扫描的顺序跟踪参考区域时首先出现的最大区域确定为提取区域。

此外，该规则可以被设置成使得将按光栅扫描的顺序跟踪参考区域时首先出现的通过帧间预测而编码的最大区域确定为提取区域。

在参考区域被划分成多个分区的情况下，当当前区域的尺寸大于或等于预定阈值时，确定单元可以把参考区域内的多个分区中的与当前区域重叠面积最大的最大区域确定为提取区域。当当前区域的尺寸小于预定阈值时，确定单元把参考区域内的多个分区中的以下分区确定为提取区域，该分区包括与当前区域的左上部分中的像素具有相同地址的像素。

可以在要输入的图像压缩信息中包括的序列参数集、图像参数集或者宏块条头中指定预定阈值。

当要输出的图像压缩信息中的档次级别（profile level）等于或高于预定阈值时，确定单元可以把参考区域内的多个分区中的与当前区域重叠面积最大的最大区域确定为提取区域。当要输出的图像压缩信息中的档次级别低于预定阈值时，确定单元可以把参考区域内的多个分区中的以下分区确定为提取区域，该分区包括与当前区域的左上部分中的像素具有相同地址的像素。

所述档次级别可以是图像帧。

根据本技术的第一方面的图像处理方法对应于上述根据本技术的第一方面的图像处理设备。

提供根据本技术的第一方面的图像处理设备和方法，使得在对图像进行运动预测时，从与要处理的当前区域相对应的参考图像中的参考区域内确定以下提取区域并产生以下差运动信息，其中从该提取区域提取运动矢量信息作为时间预测运动矢量信息，该差运动信息是从被确定的提取区域中提取的时间预测运动矢量信息和当前区域的运动信息之间的差。参考区域被划分成多个分区，并且把参考区域内的多个分区中的与当前区域重叠面积最大的最大区域确定为提取区域。

根据本技术的第二方面的图像处理设备包括：获取单元，其在对图像的编码数据进行解码时，获取差运动信息，所述差运动信息是对图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差；确定单元，其与要处理的当前区域相对应的参考图像中的参考区域内确定以下提取区域，其中从该提取区域中提取运动矢量信息作为时间预测运动矢量信息；运动信息重建部，通过使用由获取单元获取的差运动信息和从确定单元确定的提取区域中提取的时间预测运动矢量信息，来重建当前区域的被提供用于运动补偿的运动信息。参考区域被划分成多个分区，确定单元把参考区域内的多个分区中的与当前区域重叠面积最大的最大区域确定为提取区域。

确定单元可以具有以下规则：当存在多个最大区域时，从所述多个最大区域中确定提取区域。

该规则可以被设置成使得将按光栅扫描的顺序跟踪参考区域时首先出现的最大区域确定为提取区域。

此外，该规则可以被设置成使得将按光栅扫描的顺序跟踪参考区域时首先出现的通过帧间预测编码的最大区域确定为提取区域。

在参考区域被划分成多个分区的情况下，当当前区域的尺寸大于或等于预定阈值时，确定单元可以把参考区域内的多个分区中与当前区域重叠面积最大的最大区域确定为提取区域。当当前区域的尺寸小于预定阈值时，确定单元可以把参考区域内的多个分区中的以下分区确定为提取区域，该分区包括与当前区域的左上部分中的像素具有相同地址的像素。

可以在要输入的图像压缩信息中包括的序列参数集、图像参数集或者宏块条头中指定预定阈值。

当要输出的图像压缩信息中的档次级别等于或高于预定阈值时，确定单元可以把参考区域内的多个分区中与当前区域重叠面积最大的最大区域确定为提取区域。当要输出的图像压缩信息中的档次级别低于预定阈值时，确定单元可以把参考区域内的多个分区中的以下分区确定为提取区域，该分区包括与当前区域的左上部分中的像素具有相同地址的像素。

所述档次级别可以是图像帧。

根据本技术的第二方面的图像处理方法对应于上述根据本技术的第二方面的图像处理设备。

提供根据本技术的第二方面的图像处理设备和方法，使得在对图像的编码数据进行解码时，获取差运动信息，所述差运动信息是对图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差，从与当前区域相对应的参考图像中的参考区域内确定提取区域，其中从提取区域中提取运动矢量信息作为时间预测运动矢量信息，通过使用差运动信息和从提取区域中提取的时间预测运动矢量信息，重建当前区域的被提供用于运动补偿的运动信息。参考区域被划分成多个分区，把参考区域内的多个分区中的与当前区域重叠面积最大的最大区域确定为提取区域。

本发明的效果

如上所述，根据本技术，可以提高运动矢量的编码效率。

附图说明

图1是示出了图像编码装置的主要配置的例子的框图。

图2是示出了具有小数像素精度的运动预测/补偿处理的例子的图。

图3是示出了宏块的例子的图。

图4是示出了怎样进行中值运算的例子的图。

图5是示出了多参考帧的例子的图。

图6是示出了怎样进行时间直接模式的例子的图。

图7是示出了怎样进行运动矢量编码方法的例子的图。

图8是示出了编码单元的配置的例子的图。

图9是示出了怎样进行运动分区合并的例子的图。

图10是示出了共位（co-located）区域的面积的图。

图11是示出了怎样确定提取时间预测运动矢量信息的区域的图。

图12是示出了运动预测/补偿单元、时间预测运动矢量信息确定单元以及运动矢量编码单元的详细配置的例子的框图。

图13是示出了编码处理的流程的流程图。

图14是示出了帧间运动预测处理的流程的流程图。

图15是示出了确定提取时间预测运动矢量信息的区域的处理的流程的流程图。

图16是示出了图像解码装置的主要配置的例子的框图。

图17是示出了运动预测/补偿单元、时间预测运动矢量信息确定单元以及运动矢量解码单元的详细配置的例子的框图。

图18是示出了解码过程的流程的流程图。

图19是示出了预测处理的流程的流程图。

图20是示出了帧间运动预测处理的例子的流程图。

图21是示出了计算机的主要配置的例子的框图。

图22是示出了电视装置的示意性配置的例子的框图。

图23是示出了移动电话的示意性配置的例子的框图。

图24是示出了记录/再现装置的示意性配置的例子的框图。

图25是示出了成像装置的示意性配置的例子的框图。

具体实施方式

将描述实现本技术的方式（以下称为实施方式）。将以如下顺序提供描述。

1.第一实施方式（图像编码装置）

2.第二实施方式（图像解码装置）

3.第三实施方式（计算机）

4.第四实施方式（电视机）

5.第五实施方式（移动电话）

6.第六实施方式（记录/再现装置）

7.第七实施方式（成像装置）

<1.第一实施方式>

[图像编码装置]

图1是示出了图像编码装置的主要配置的例子的框图。

图1所示的图像编码装置100在使用诸如H.264或MPEG（动态图像专家组）4的部分10（AVC（增强视频编码））的编码方案中进行的预测处理时对图像数据进行编码。

如图1所示，图像编码装置100包括A/D转换单元101、屏幕重排缓冲器102、计算器103、正交变换单元104、量化单元105、无损编码单元106和累积缓冲器107。此外，图像编码装置100包括逆量化单元108、逆正交变换单元109、计算器110、环路滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116和速率控制单元117。

图像编码装置100还包括时间预测运动矢量信息确定单元121和运动矢量编码单元122。

A/D转换单元101对输入的图像数据进行A/D转换，将经转换的图像数据（数字数据）提供到屏幕重排缓冲器102，以在屏幕重排缓冲器102中存储经转换的图像数据。屏幕重排缓冲器102将存储的图像中的按显示顺序排列的帧重排为根据GOP（图像组）编码采用的顺序，然后将具有重排的帧顺序的图像提供到计算器103。屏幕重排缓冲器102还将具有重排的帧顺序的图像提供到帧内预测单元114和运动预测/补偿单元115。

计算器103将从屏幕重排缓冲器102读出的图像减去由帧内预测单元114或运动预测/补偿单元115通过预测图像选择单元116提供的预测图像，并且将差信息输出到正交变换单元104。

例如，当图像经受帧间编码时，计算器103将从屏幕重排缓冲器102读出的图像减去由运动预测/补偿单元115提供的预测图像。

正交变换单元104对从计算器103提供的差信息进行诸如离散余弦变换或Karhunen-Loeve变换的正交变换。要注意的是，正交变换的方法是任意选择的。然后，正交变换单元104将变换系数提供到量化单元105。

量化单元105将从正交变换单元104提供的变换系数进行量化。也就是说，量化单元105根据从速率控制单元117提供的编码量的目标值有关的信息来设置量化参数，并进行量化。要注意的是，该量化的方法是任意选择的。然后，量化单元105将量化的变换系数提供到无损编码单元106。

无损编码单元106通过使用任意的编码方案，对量化单元105中量化的变换系数进行编码。由于系数数据是在速率控制单元117的控制下被量化的，编码量与速率控制单元117设置的目标值一致（或接近该目标值）。

此外，无损编码单元106获取表示来自帧内预测单元114的帧内预测模式等的信息以及获取表示来自运动预测/补偿单元115的帧间预测模式和运动矢量信息等的信息。无损编码单元106还获取环路滤波器111中使用的滤波系数等。

无损编码单元106通过任意的编码方案对这些各种信息进行编码，使其成为编码数据的一部分头信息（即，复用）。然后，无损编码单元106将通过编码得到的编码数据提供到累积缓冲器107，并且在累积缓冲器107中累积数据。

例如，无损编码单元106可以使用可变长度编码或算术编码作为编码方案。例如，可以使用H.264/AVC方案中指定的CAVLC（基于上下文的自适应变长编码）作为可变长度编码。例如，可以使用CABAC（基于上下文的自适应二进制算术编码）作为算术编码。

累积缓冲器107临时地保存从无损编码单元106提供的编码数据。在预定定时，累积缓冲器107将其中保存的编码数据输出到记录装置（记录介质）或传输路径（未示出，但设置在下面阶段中）。

量化单元105中量化的变换系数也被提供到逆量化单元108。逆量化单元108通过与量化单元105进行的量化相对应的方法，对所述量化的变换系数进行逆量化。逆量化的方法可以是任何一种方法，只要它与量化单元105进行的量化处理相对应就行。逆量化单元108将得到的变换系数提供到逆正交变换单元109。

逆正交变换单元109通过与正交变换单元104进行的正交变换处理相对应的方法，对从逆量化单元108提供的变换系数进行逆正交变换。逆正交变换的方法可以是任何一种方法，只要它与正交变换单元104进行的正交变换处理相对应就行。已经经历逆正交变换的输出（恢复的差信息）被提供到计算器110。

计算器110将从帧内预测单元114或运动预测/补偿单元115通过预测图像选择单元116提供的预测图像加到从逆正交变换单元109提供的逆正交变换的结果，即恢复的差信息。计算器110由此获得局部解码的图像（解码图像），该解码图像被提供到环路滤波器111或帧存储器112。

在必要时，包括去块滤波器和自适应环路滤波器的环路滤波器111对从计算器110提供的解码图像进行滤波处理。例如，通过对解码图像进行去块滤波处理，环路滤波器111除去了解码图像中的块失真。例如，环路滤波器111通过使用Wiener滤波器对去块滤波处理的结果（已经从解码图像除去了块失真）进行环路滤波处理，还提高了图像质量。

要注意的是，环路滤波器111可以适合于对解码图像进行任意的滤波处理。根据需要，环路滤波器111还可以将诸如滤波处理中使用的滤波系数的信息提供到无损编码单元106以对该信息进行编码。

环路滤波器111将滤波处理的结果（滤波处理之后的解码图像）提供到帧存储器112。要注意的是，从计算器110输出的解码图像可以被提供到帧存储器112，而无需经过上述环路滤波器111，这意味着可以省去环路滤波器111的滤波处理。

帧存储器112存储被提供到帧存储器112的解码图像，并且在预定定时，将存储的解码图像提供到选择单元113作为参考图像。

选择单元113选择将从帧存储器112提供的参考图像提供到哪个目的的。例如，当进行帧间预测时，选择单元113将从帧存储器112提供的参考图像提供到运动预测/补偿单元115。

帧内预测单元114使用要处理的图像内的像素值，并且以预测单元（PU）作为基本处理单元进行产生预测图像的帧内预测（图像的帧内预测），所述要处理的图像是从帧存储器112提供的通过选择单元113的参考图像。帧内预测单元114在提前准备的多个模式（帧内预测模式）中进行这个帧内预测。

帧内预测单元114在所有候选的帧内预测模式中产生预测图像，通过使用从屏幕重排缓冲器102提供的输入图像，估计每一个预测图像的成本函数值，以及选择最佳的模式。在选择最佳的帧内预测模式之后，帧内预测单元114将以最佳模式产生的预测图像提供到预测图像选择单元116。

此外，如上所述，帧内预测单元114适当地将表示采用的帧内预测模式的帧内预测模式信息等提供到无损编码单元106，然后，无损编码单元106对所述信息进行编码。

通过使用从屏幕重排缓冲器102提供的输入图像和从帧存储器112通过选择单元113提供的参考图像，运动预测/补偿单元115以预测单元作为基本处理单元进行运动预测（帧间预测），根据检测的运动矢量来进行运动补偿处理，以及产生预测图像（帧间预测图像信息）。运动预测/补偿单元115以提前准备的多个模式（帧间预测模式）进行这个帧间预测。

运动预测/补偿单元115以所有候选的帧间预测模式产生预测图像，估计每一个预测图像的成本函数值，并选择最佳模式。在选择最佳的帧间预测模式之后，运动预测/补偿单元115将以最佳模式产生的预测图像提供到预测图像选择单元116。

此外，运动预测/补偿单元115将表示采用的帧间预测模式的信息以及在对编码数据进行解码时在帧间预测模式下进行处理所需的信息提供到无损编码单元106，然后，无损编码单元106对所述信息进行编码。

运动预测/补偿单元115还将时间相邻运动信息提供到时间预测运动矢量信息确定单元121，以及将空间相邻运动信息和运动信息提供到运动矢量编码单元122。

预测图像选择单元116选择预测图像被提供到计算器103和计算器110的起点。例如，当进行帧间编码时，预测图像选择单元116选择运动预测/补偿单元115作为提供预测图像的起点，并将从运动预测/补偿单元115提供的预测图像提供到计算器103和计算器110。

速率控制单元117基于累积缓冲器107中累积的编码数据的编码量来控制由量化单元105进行的量化操作的速率，从而避免上溢或下溢。

时间预测运动矢量信息确定单元121在从运动预测/补偿单元115提供的时间相邻运动信息中确定要使用的信息作为时间预测运动矢量信息，并将确定的时间预测运动矢量信息提供到运动矢量编码单元122。

运动矢量编码单元122在从运动预测/补偿单元115提供的空间相邻运动信息中确定要使用的信息作为空间预测运动矢量信息。然后，运动矢量编码单元122从确定的空间预测运动矢量信息以及从时间预测运动矢量信息确定单元121提供的时间预测运动矢量信息中选择适当的预测运动矢量信息。然后，运动矢量编码单元122在选择的预测运动矢量信息和从运动预测/补偿单元115提供的运动信息之间找到差运动信息。

运动预测/补偿单元115使用由运动矢量编码单元122找到的差运动信息等来进行诸如MV竞争或合并模式的处理。

[1/4像素精度运动预测]

图2是示出了怎样进行由AVC编码方案指定的具有1/4像素精度的运动预测/补偿处理的例子的图。图2中的每一个四边形表示像素。由A表示的四边形表示存储在帧存储器112中的具有整数精度的像素的位置。由b、c和d表示的四边形表示具有1/2像素精度的位置。由e1、e2和e3表示的四边形表示具有1/4像素精度的位置。

函数Clip1()在下文中将定义为如下表达式（1）。

[表达式1]

例如，当输入图像具有8位精度时，表达式（1）中的max_pix的值为255。

当使用6抽头FIR滤波器时，在如以下表达式（2）和（3）表达的那样产生位置b和d的每一个的像素值。

[表达式2]

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃      （2）

[表达式3]

b,d=Clip1((F+16)＞＞5)                  （3）

当在水平和竖直方向上应用6抽头FIR滤波器时，在如以下表达式（4）到（6）表达的那样产生由c表示的位置的像素值。

[表达式4]

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃      （4）

或，

[表达式5]

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃      （5）

[表达式6]

c=Clip1((F+512)＞＞10)            （6）

要注意的是，在水平方向和竖直方向上进行乘积和运算之后，最后只进行一次Clip处理。

在如以下表达式（7）到（9）表达的那样通过线性内插产生位置e1到e3的每一个的值。

[表达式7]

e₁=（A+b+1）＞＞1           （7）

[表达式8]

e₂=（b+d+1）＞＞1           （8）

[表达式9]

e₃=（b+c+1）＞＞1           （9）

[宏块]

MPEG-2通过在帧运动补偿模式中以16×16像素为单位以及在场运动补偿模式中在第一场和第二场的每一个中以16×8像素为单位，进行运动预测/补偿处理。

在AVC方案中，另一方面，16×16像素配置的单个宏块可以被划分成如图3所示的16×16像素、16×8像素、8×16像素或8×8像素，从而每一个子宏块可以具有独立的运动矢量信息。8×8像素的划分可以进一步被分成如图3所示的8×8像素、8×4像素、4×8像素或4×4像素的任一个子宏块，从而每一个可以具有独立的运动矢量信息。

然而，要关注的是，当运动预测/补偿处理进行的方式与MPEG-2中进行的方式相同时，在AVC图像编码方案中，产生大量运动矢量信息。因此，要关注的是，一起对产生的大量运动矢量信息进行编码会导致编码效率下降。

[运动矢量的中值预测]

作为解决上述问题的方法，AVC图像编码已经实施了以下方法，并且减少了运动矢量的编码信息量。

图4中所示的每一条直线表示运动补偿块的边界。在图4中，字母E表示要编码的当前运动补偿块，而字母A到D的每一个表示已经编码并与块E相邻的运动补偿块。

现在，让X=A,B,C,D和E，X的运动矢量信息为mv_x。

首先，通过如以下表达式（10）表达的中值运算，运动补偿块A、B和C的运动矢量信息用于产生运动补偿块E的预测运动矢量信息pmv_E。

[表达式10]

pmv_E=med(mv_A，mv_B，mv_C)          （10）

当运动补偿块C的信息不可用时，例如，因为它在图像帧的边缘，运动补偿块D的信息代替运动补偿块C的信息。

通过使用如以下表达式（11）表达的pmv_E，产生数据mvd_E，所述数据mvd_E被编码作为图像压缩信息中的运动补偿块E的运动矢量信息。

[表达式11]

mvd_E=mv_E-pmv_E           （11）

要注意的是，实际的处理是针对运动矢量信息的水平分量和竖直分量中的每一个独立进行的。

[多参考帧]

AVC中还指定了称为多参考帧的系统，该系统在诸如MPEG-2和H.263的传统图像编码方案中未被指定。

现在，将参照图5来描述AVC中指定的多参考帧。

当使用P图像时，MPEG-2和H.263通过参考帧存储器中存储的单参考帧来进行运动预测/补偿处理，而如图5所示，AVC具有存储在存储器中的多个参考帧，从而对于每一个宏块，可以查阅不同的存储器。

[直接模式]

当在使用B图像时涉及大量运动矢量信息，AVC具有称为直接模式的模式。

在直接模式中，运动矢量信息未被存储在图像压缩信息中。图像解码装置根据参考帧中的共位块的运动矢量信息或相邻块的运动矢量信息，来计算当前块的运动矢量信息，所述共位块与要处理的块位于相同的位置。

直接模式包括空间直接模式和时间直接模式，在每一宏块条中，可以在这两种模式之间切换。

空间直接模式如以下表达式（12）表达的那样计算要处理的运动补偿块E的运动矢量信息mv_E。

mv_E=pmv_E              （12）

也就是说，由中值预测产生的运动矢量信息被应用于当前块。

现在将参照图6来描述时间直接模式。

在图6中，参考图像L0中的共位块是位于与当前块相同空间地址的块，而共位块中的运动矢量信息被表示为mv_col。当前图像和参考图像L0之间沿时间轴的距离被表示为TD_B，而参考图像L0与参考图像L1之间沿时间轴的距离被表示为TD_D。

这里，通过如下表达式（13）和（14）来计算当前图像中的L0的运动矢量信息mv_L0和L1的运动矢量信息mv_L1。

[表达式12]

${\mathrm{mv}}_{L0}=\frac{{\mathrm{TD}}_B}{{\mathrm{TD}}_D}{\mathrm{mv}}_{\mathrm{col}}---\left(13\right)$

[表达式13]

${\mathrm{mv}}_{L1}=\frac{{\mathrm{TD}}_D-{\mathrm{TD}}_B}{{\mathrm{TD}}_D}{\mathrm{mv}}_{\mathrm{col}}---\left(14\right)$

要注意的是，信息TD表示在AVC图像压缩信息中不存在沿时间轴的距离，从而使用图像序列号（POC）来实现上述表达式（12）和（13）中的计算。

此外，可以由16×16像素的宏块单元或8×8像素的块单元定义AVC图像压缩信息中的直接模式。

[预测模式的选择]

在AVC编码方案中选择适当的预测模式以实现更高的编码效率是重要的。

称为JM（联合模型）的H.264/MPEG-4AVC的参考软件（公开于http://iphome.hhi.de/suehring/tml/index.htm）中实施的方法是这样的选择方案的例子。

JM（联合模型）可以在下文要描述的高复杂性模式和低复杂性模式的两种模式确定方法之间选择。两种方法都计算每一种预测模式的成本函数值，选择具有最小成本函数值的预测模式作为用于当前子宏块或当前宏块的最佳模式。

通过以下表达式（15）来计算高复杂性模式中的成本函数。

Cost（Mode∈Ω）=D+λ*R            （15）

这里，Ω表示对当前块或宏块进行编码的候选模式的通用组，D表示在当前预测模式中进行编码时的解码图像和输入图像之间的能量差，λ表示作为量化参数的函数给出的拉格朗日待定乘子，R表示在当前模式中进行编码时包括正交变换系数的总编码量。

这意味着，高复杂性模式中的编码处理需要更多的计算，这是因为在所有候选模式中需要进行一次临时编码处理以计算参数D和R。

通过以下表达式（16）来计算低复杂性模式中的成本函数。

Cost(Mode∈Ω)=D+QP2Quant(QP）*HeaderBit     （16）

不同于高复杂性模式，这里，D表示预测图像和输入图像之间的能量差。QP2Quant(QP）被给出作为量化参数QP的函数，而HeaderBit是关于属于头部的信息（例如运动矢量和模式）的编码量，不包括正交变换系数。

这意味着，低复杂性模式需要每个候选模式中的预测处理，但不需要解码图像，因此不需要编码处理。因此，可以以比高复杂性模式更少的计算来实现低复杂性模式。

[运动矢量竞争]

现在，非专利文献1提出了以下方法以改进使用参照图4描述的中值预测的运动矢量编码处理。

除了由中值预测得到的和AVC中定义的“空间预测器”之外，该方法允许下面要描述的“时间预测器”和“时空预测器”的任一种适应性地用作预测运动矢量信息。

也就是说，在图7中，当假设“mv_col”是与当前块相对应的共位块（参考图像中的块，该块与当前块具有相同的x-y坐标）的运动矢量信息以及假设mv_tk（k=0到8）是相邻块的运动矢量信息时，由以下表达式（17）到（19）定义每一个预测运动矢量信息（预测器）。

时间预测器：

[表达式14]

mv_tm5=median{mv_col，mv_t0，…，mv_t3}     （17）

[表达式15]

mv_tm9=median{mv_col，mv_t0，…，mv_t8}     （18）

时空预测器：

[表达式16]

mv_spt=median{mv_col，mv_col，mv_a，mv_b，mv_c}     （19）

图像编码装置100针对使用各预测运动矢量信息的每个块计算成本函数，并且选择最佳的预测运动矢量信息。表示关于每个块中使用的预测运动矢量信息的信息的标记被传送到图像压缩信息。

要注意的是，空间预测器在下文中称为空间预测运动矢量信息，而时间预测器在下文中称为时间预测运动矢量信息。

[编码单元]

现在，对于具有以下一代编码方案为目标的UHD（超高清；4000像素×2000像素）的大图像帧而言，16像素×16像素的宏块尺寸不是最佳的。

AVC指定了如图3所示的包括宏块和子宏块的分级结构，而HEVC（高效率视频编码）例如指定了如图8所示的编码单元（CU）。

编码单元也称为编码树块（CTB），编码单元是图像单元中的图像的部分区域，与AVC中的宏块起着类似的作用。宏块具有16×16像素的固定尺寸，而编码单元的尺寸是不固定的，因此在每个序列的图像压缩信息中指定。

例如，在要输出的编码数据中包括的序列参数集（SPS）中指定编码单元的最大尺寸（LCU（最大编码单元））和最小尺寸（SCU（最小编码单元））。

在不降至最小编码单元的尺寸之下的范围内，通过设置split_flag=1，每个最大编码单元可以进一步被分成更小的编码单元。如图8所示的例子中，最大编码单元在尺寸上为128×128像素，而最大的分级深度是5。当split_flag（分割标记）的值是“1”时，具有2N×2N像素尺寸的编码单元被分为分级中更低一层的具有N×N像素尺寸的编码单元。

编码单元进一步被分成预测单元（PU），预测单元是用于帧内预测或帧间预测的处理单元的区域（图像单元中图像的部分区域），然后，编码单元被分成变换单元（TU），变换单元是用于正交变换的处理单元的区域（图像单元中图像的部分区域）。当前，除了4×4像素和8×8像素之外，HEVC可以以16×16像素和32×32像素进行正交变换。

可以认为，当诸如上述HEVC的编码方案通过定义编码单元并将该编码单元用作单元来进行各种处理时，AVC中的宏块对应于最大编码单元。然而，编码单元具有如图8所示的分级结构，因此，通常的情况是，分级的最上层中的最大编码单元的尺寸（例如128×128像素）被设置成大于AVC中宏块的尺寸。

[运动分区合并]

如图9所示，称为运动分区合并（合并模式）的方法已经被提出作为对运动信息进行编码的一种方案。在该方法中，包括MergeFlag（合并标记）和MergeLeftFlag（合并左标记）在内的两个标记作为与合并模式有关的合并信息被传送。标记MergeFlag=1表示作为要处理的区域的当前区域X的运动信息与在当前区域X上面邻近的相邻区域T的运动信息或在当前区域X左边邻近的相邻区域L的运动信息相同。这时候，被传送的合并信息包括MergeLeftFlag。标记MergeFlag=0表示当前区域X的运动信息既不同于相邻区域T又不用于相邻区域L的运动信息。在这种情况下，传送当前区域X的运动信息。

[共位区域的面积]

取决于共位区域的面积，当通过使用时间预测运动矢量信息进行对运动矢量进行编码的处理时，运动矢量的编码效率可能降低。共位区域是位于参考图像内的具有与当前区域相同x-y坐标的区域。将参照图10来描述编码效率下降的具体例子。

图10是示出了共位区域的面积的图。图10中左边的图表示参考区域，而右边的图表示当前区域。参考区域是参考图像中的区域，并且对应于当前区域。

假定参考区域被分成如图10所示的多个区域（编码单元或预测单元）。要注意的是，参考区域中分成的多个区域的每一个在下文中称为分区。参考区域中包括与当前区域的左上部分中的像素P具有相同地址的像素P’的分区被确定为共位区域，在通过使用时间预测运动矢量信息来对运动矢量进行编码处理时，该共位区域的运动矢量信息被用作时间预测运动矢量信息。然而，当如图10所示的当前区域和共位区域之间共享的面积较小时，运动矢量的编码效率有下降的可能性，这是因为当前区域的运动矢量信息和共位区域的运动矢量新之间的相关性趋于下降。

现在，时间预测运动矢量信息确定单元121从分区中确定与当前区域重叠面积最大的区域（以下称为最大区域）为共位区域，也就是说，具有被提取作为时间预测运动矢量信息的运动矢量信息的区域（以下称为时间预测运动矢量信息提取区域）。其结果是，时间预测运动矢量信息提取区域（共位区域）的运动矢量信息被用作时间预测运动矢量信息。在这种情况下，当前区域的运动矢量信息和时间预测运动矢量信息提取区域的运动矢量信息之间的相关性经常提高，这是因为当前区域和时间预测运动矢量信息提取区域之间共享的面积增加。其结果是，提高了运动矢量的编码效率。

接下来，将参照图11来给出时间预测运动矢量信息确定单元121怎样确定时间预测运动矢量信息提取区域的描述。

[时间预测运动矢量信息提取区域的确定]

图11是示出了怎样确定时间预测运动矢量信息提取区域的图。图11中的情形A和情形B的每一个中左边的图表示参考区域，而右边的图表示当前区域。

当参考区域被分成如图11的情形A中所示的多个区域时，时间预测运动矢量信息确定单元121从分区中确定最大区域X为时间预测运动矢量信息提取区域。也就是说，最大区域X（共位区域）的运动矢量信息被用作时间预测运动矢量信息。最大区域X和当前区域之间共享的面积较大，意味着最大区域X具有与当前区域的运动矢量信息高度相关的运动矢量信息的可能性高。因此，通过使用最大区域X的运动矢量信息作为时间预测运动矢量信息，提高了运动矢量的编码效率。在最大区域X是由帧内预测编码的区域以及没有运动矢量信息的情况下，如图10所示例子的情形，参考区域中包括与当前区域的左上部分中的像素P具有相同地址的像素P’的分区被确定为时间预测运动矢量信息提取区域。也就是说，包括与当前区域的左上部分中的像素P具有相同地址的像素P’的分区（共位区域）的运动矢量信息被用作时间预测运动矢量信息。要注意的是，参考区域中包括与当前区域的左上部分中的像素P具有相同地址的像素P’的分区在下文中称为左上区域。

另一方面，当参考区域被分成如图11的情形B中所示的多个区域时，有两个最大区域Y和Z出现在分区中。这里，当分区中出现多个最大区域时，时间预测运动矢量信息确定单元121通过以下预定规则来确定时间预测运动矢量信息提取区域。例如，一个可以采用作为预定规则的规则是，当按光栅扫描顺序跟踪参考区域时（也就是说，线内从左到右的方向，线间从上到下的方向），首先出现的最大区域被确定为时间预测运动矢量信息提取区域。因此，时间预测运动矢量信息确定单元121可以减少确定时间预测运动矢量信息提取区域所需的处理时间。在图11的情形B所示的例子中，时间预测运动矢量信息确定单元121将最大区域Y确定为时间预测运动矢量信息提取区域。这意味着，最大区域Y（共位区域）的运动矢量信息被用作时间预测运动矢量信息。

然而，在图11的情形B所示的例子中，当最大区域Y是帧内预测编码的区域且没有运动矢量信息时，而最大区域Z是帧间预测编码的区域且有运动矢量信息时，最大区域Z被确定为时间预测运动矢量信息提取区域。也就是说，一个可以采用作为预定规则的规则是，当按光栅扫描顺序跟踪参考区域时，帧间预测编码的且首先出现的最大区域被确定为时间预测运动矢量信息提取区域。在这种情况下，最大区域Z（共位区域）的运动矢量信息被用作时间预测运动矢量信息。要注意的是，当多个最大区域出现在所有区域由帧内预测编码且没有运动矢量信息的分区中时，时间预测运动矢量信息确定单元121将左上区域确定为时间预测运动矢量信息提取区域。也就是说，左上区域（共位区域）的运动矢量信息被用作时间预测运动矢量信息。

要注意的是，时间预测运动矢量信息确定单元121独立地在每一个L0预测和L1预测上进行确定时间预测运动矢量信息提取区域的处理（下文中称为时间预测运动矢量信息提取区域确定处理）。

当当前区域的尺寸增加时，由时间预测运动矢量信息确定单元121以这样的方式进行的时间预测运动矢量信息提取区域确定处理尤其变得有效。换句话说，当当前区域的尺寸减小时，该处理不太有效，因为当前区域的尺寸接近左上区域的尺寸，导致区域的运动矢量信息彼此具有高相关性。因此，当当前区域较小时，考虑到该处理所需的时间，进行的时间预测运动矢量信息提取区域确定处理不是有效的。

因此，在本实施方式中，只有当当前区域的尺寸等于或大于预定阈值时，时间预测运动矢量信息确定单元121才进行时间预测运动矢量信息提取区域确定处理。另一方面，当当前区域的尺寸小于预定阈值时，时间预测运动矢量信息确定单元121将左上区域确定为时间预测运动矢量信息提取区域。

要注意的是，在要输入的图像压缩信息中包括的序列参数集、图像参数集、或者宏块条头中指定当前区域尺寸的预定阈值。

[运动预测/补偿单元、时间预测运动矢量信息确定单元、运动矢量编码单元]

图12是示出了包括在图1所示的图像编码装置中的运动预测/补偿单元115、时间预测运动矢量信息确定单元121以及运动矢量编码单元122的详细配置的例子的框图。

如图12所示，运动预测/补偿单元115包括运动搜索部131、成本函数计算部132、模式确定部133、运动补偿部134和运动信息缓冲器135。

运动矢量编码单元122包括空间预测运动矢量信息确定部141、预测运动矢量信息产生部142和差运动矢量产生部143。

来自屏幕重排缓冲器102的输入图像像素值和来自帧存储器112的参考图像像素值被输入到运动搜索部131。然后，运动搜索部131对所有的帧间预测模式进行运动搜索处理来产生包括运动矢量和参考索引的运动信息。然后，运动搜索部131将产生的运动信息提供到运动矢量编码单元122的预测运动矢量信息产生部142。

运动信息缓冲器135存储先前在最佳预测模式中处理的区域的运动信息。在时间上位于与所存储的运动信息对应的区域之后处理的区域执行的处理中，存储的运动信息作为相邻运动信息被提供到每个部分。具体而言，运动信息缓冲器135将时间相邻运动信息提供到时间预测运动矢量信息确定单元121，并将空间相邻运动信息提供到空间预测运动矢量信息确定部141。

在从运动信息缓冲器135获得在参考区域中包括的每个分区的时间相邻运动信息之后，时间预测运动矢量信息确定单元121进行时间预测运动矢量信息提取区域确定处理。也就是说，时间预测运动矢量信息确定单元121在参考区域中包括的分区中将最大区域确定为如图11描述的时间预测运动矢量信息提取区域。其结果是，时间预测运动矢量信息提取区域（共位区域）的运动矢量信息（或时间相邻运动信息）被用作时间预测运动矢量信息。时间预测运动矢量信息确定单元121将确定的时间预测运动矢量信息提取区域的运动矢量信息作为时间预测运动矢量信息，提供到预测运动矢量信息产生部142。

在从运动信息缓冲器135获得空间相邻运动信息之后，空间预测运动矢量信息确定部141使用成本函数值来确定哪一个空间相邻运动信息被最佳用作空间预测运动矢量信息。这里，空间预测运动矢量信息确定部141从具有最小成本函数值的空间相邻运动信息产生空间预测运动矢量信息，并且将产生的信息提供到预测运动矢量信息产生部142。

预测运动矢量信息产生部142从时间预测运动矢量信息确定单元121获得时间预测运动矢量信息以及从空间预测运动矢量信息确定部141获得空间预测运动矢量信息。然后，对于每个帧间预测模式，预测运动矢量信息产生部142从已经提供的时间预测运动矢量信息和空间预测运动矢量信息确定最佳预测运动矢量信息。

预测运动矢量信息产生部142将从运动搜索部131获得的运动信息和已经确定的预测运动矢量信息提供到差运动矢量产生部143。

对于每个帧间预测模式，差运动矢量产生部143产生差运动信息，差运动信息包括运动信息和从预测运动矢量信息产生部142提供的预测运动矢量信息之间的差值。差运动矢量产生部143将针对每个帧间预测模式产生的差运动信息以及每个帧间预测模式的预测运动矢量信息提供到运动预测/补偿单元115的成本函数计算部132。

运动搜索部131还使用搜索的运动矢量信息来对参考图像进行补偿处理，并产生预测图像。此外，运动搜索部131计算产生的预测图像和输入图像之间的差（差像素值），并且将计算的差像素值提供到成本函数计算部132。

成本函数计算部132针对每个帧间预测模式使用从运动搜索部131提供的差像素值，以计算每个帧间预测模式中的成本函数值。然后，成本函数计算部132将针对每个帧间预测模式计算的成本函数值提供到模式确定部133。成本函数计算部132也将每个帧间预测模式的差运动信息和每个帧间预测模式的预测运动矢量信息提供到模式确定部133。

模式确定部133通过使用每个帧间预测模式的成本函数值来确定使用哪一个帧间预测模式是最佳的，并且将具有最小成本函数值的帧间预测模式确定为最佳预测模式。然后，模式确定部133将最佳预测模式信息（关于最佳预测模式的信息）和合并信息提供到运动补偿部134。模式确定部133还将已经被选为最佳预测模式的帧间预测模式的差运动信息和预测运动矢量信息提供到运动补偿部134。

运动补偿部134使用从模式确定部133提供的差运动信息和预测运动矢量信息来产生最佳预测模式的运动矢量。运动补偿部134通过使用运动矢量并对来自帧存储器112的参考图像进行补偿，来产生最佳预测模式中的预测图像。运动补偿部134将产生的预测图像提供到预测图像选择单元116。

当已经选择帧间预测时，预测图像选择单元116提供以下信号，该信号表示预测图像选择单元116已经选择帧间预测。作为响应，运动补偿部134将最佳预测模式信息和合并信息提供到无损编码单元106。运动补偿部134还将最佳预测模式的差运动信息和预测运动矢量信息提供到无损编码单元106。要注意的是，提供到无损编码单元106的最佳预测模式的预测运动矢量信息包括标识信息，该标识信息表示时间预测运动矢量信息和空间预测运动矢量信息中的哪一个被用作预测运动矢量信息。

运动补偿部134还将最佳预测模式中的运动信息存储到运动信息缓冲器135中。要注意的是，当帧间预测未被预测图像选择单元116选择时（表示帧内预测图像被选择），作为运动矢量信息的0矢量被存储在运动信息缓冲器135中。

运动信息缓冲器135存储最佳预测模式中先前处理的区域的运动信息。如上所述，运动信息缓冲器135将时间相邻运动信息提供到时间预测运动矢量信息确定单元121以及将空间相邻运动信息提供到空间预测运动矢量信息确定部141。

[编码处理流程]

现在，将描述通过上述图像编码装置100进行的每个处理的流程。

图13是示出了编码处理的流程的流程图。

在步骤S101中，A/D转换单元101对输入图像进行A/D转换。在步骤S102中，屏幕重排缓冲器102存储A/D转换的图像，并且将每个图像的顺序从显示顺序重排为编码顺序。

在步骤S103中，帧内预测单元114在帧内预测模式中进行帧内预测处理。

在步骤S104中，运动预测/补偿单元115在帧间预测模式中进行帧间运动预测处理，该帧间运动预测处理进行运动预测或运动补偿。要注意的是，将在后面参照图14给出在步骤S104中进行的处理的详细描述。

在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的每个成本函数值，来确定最佳模式。也就是说，预测图像选择单元116选择帧内预测单元114产生的预测图像或运动预测/补偿单元115产生的预测图像之一。

在步骤S106中，计算器103计算步骤S102中进行处理中所重排的图像和步骤S105中进行处理所选择的预测图像之间的差。与原始图像数据相比，差数据具有减少的数据量。因此，与图像按照原样被编码时相比，可以压缩数据量。

在步骤S107中，正交变换单元104对步骤S106中进行的处理所产生的差信息进行正交变换。具体而言，进行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，从而输出变换系数。

在步骤S108中，量化单元105对步骤S107中进行的处理所得到的正交变换系数进行量化。

步骤S108中进行的处理所量化的差信息被如下局部解码。也就是说，在步骤S109中，逆量化单元108通过与量化单元105的特征相对应的特征，对步骤S108中进行的处理所量化和产生的正交变换系数（也称为量化系数）进行逆量化。

在步骤S110中，逆正交变换单元109通过与正交变换单元104的特征相对应的特征，对步骤S107中进行的处理所得到的正交变换系数进行逆正交变换。

在步骤S111中，计算器110通过添加预测图像到局部解码的差信息，以产生局部解码图像（与输入到计算器103相对应的图像）。

在步骤S112中，环路滤波器111适当地对步骤S111中进行的处理所得到的局部解码图像进行环路滤波处理，该环路滤波处理包括去块滤波处理和自适应环路滤波处理。

在步骤S113中，帧存储器112存储步骤S112中进行的处理已经进行环路滤波处理的解码图像。帧存储器112还存储未被环路滤波器111进行滤波处理的图像，其中该图像是从计算器110提供的。

在步骤S114中，无损编码单元106对步骤S108中进行的处理所量化的变换系数进行编码。也就是说，对差图像进行诸如可变长编码或算术编码的无损编码。

无损编码单元106对步骤S108中计算的量化参数进行编码，并将它加到编码数据。无损编码单元106还对关于步骤S105中进行的处理所选择的预测图像的预测模式的信息进行编码，并将它加到通过对差图像进行编码得到的编码数据。无损编码单元106还对从帧内预测单元114提供的最佳帧内预测模式信息或对与从运动预测/补偿单元115提供的最佳帧间预测模式相对应的信息进行编码，并将它加到编码数据。

在步骤S115中，累积缓冲器107累积步骤S114中进行的处理所得到的编码数据。累积缓冲器107中累积的编码数据被适当读出，通过传输路径和记录介质传送到解码侧。

在步骤S116中，速率控制单元117基于通过步骤S115中进行的处理在累积缓冲器107中累积的编码数据的编码量（产生的编码量），来控制通过量化单元105的量化操作的速率，从而不导致上溢或下溢。

现在完成了编码处理。

[帧间运动预测处理的流程]

现在，将描述图13的步骤S104中进行的帧间运动预测处理。

图14是示出了帧间运动预测处理的流程的流程图。

在步骤S131中，运动搜索部131在每个帧间预测模式中进行运动搜索，并产生运动信息和差像素值。

在步骤S132中，时间预测运动矢量信息确定单元121进行时间预测运动矢量信息提取区域确定处理，其中，在参考区域中包括的分区中的最大区域被确定为时间预测运动矢量信息提取区域。要注意的是，稍后将参照图15来描述步骤S132中进行的处理。

在步骤S133中，时间预测运动矢量信息确定单元121产生时间预测运动矢量信息。也就是说，时间预测运动矢量信息确定单元121将步骤S132中确定的时间预测运动矢量信息提取区域的运动矢量信息确定为时间预测运动矢量信息。

在步骤S134中，空间预测运动矢量信息确定部141根据从运动信息缓冲器135提供的空间相邻运动信息中具有最小成本函数值的空间相邻运动信息，产生空间预测运动矢量信息。

在步骤S135中，预测运动矢量信息产生部142从步骤S133和步骤S134中分别产生的时间预测运动矢量信息和空间预测运动矢量信息中确定最佳预测运动矢量信息。

在步骤S136中，差运动矢量产生部143产生差运动信息，差运动信息包括运动信息和步骤S135中确定的最佳预测运动矢量信息之间的差值。

在步骤S137中，成本函数计算部132计算每个帧间预测模式的成本函数值。

在步骤S138中，模式确定部133使用步骤S137中计算的成本函数值来确定最佳帧间预测模式（也称为最佳预测模式），最佳帧间预测模式是被确定为最佳的帧间预测模式。

在步骤S139中，运动补偿部134在最佳帧间预测模式中进行运动补偿。

在步骤S140中，运动补偿部134通过预测图像选择单元116将由步骤S139中进行运动补偿得到的预测图像提供到计算器103和计算器110，并且产生差图像信息和解码图像。

在步骤S141中，运动补偿部134将最佳预测模式信息、差运动信息和预测运动矢量信息提供到无损编码单元106，然后，无损编码单元106对提供的信息进行编码。

在步骤S142中，运动信息缓冲器135存储选择的最佳帧间预测模式的运动信息。

现在，完成了帧间运动预测处理，该处理返回到图13。

[时间预测运动矢量信息提取区域确定处理的流程]

现在，将描述图14的步骤S132中进行的时间预测运动矢量信息提取区域确定处理。

图15是示出了时间预测运动矢量信息提取区域确定处理的流程的流程图。

在步骤S161中，时间预测运动矢量信息确定单元121确定当前区域的尺寸是否等于或大于阈值。

当当前区域的尺寸等于或大于阈值时，步骤S161中确定“是”（YES），从而该处理进入步骤S162。要注意的是，后面将描述步骤S162之后进行的处理。

另一方面，当当前区域的尺寸小于阈值时，步骤S161中确定“否”（NO），从而该处理进入步骤S170。

在步骤S170中，时间预测运动矢量信息确定单元121将左上区域确定为时间预测运动矢量信息提取区域。也就是说，左上区域（共位区域）的运动矢量信息被用作时间预测运动矢量信息。这完成了时间预测运动矢量信息提取区域确定处理，并且该处理返回到图14。

另一方面，当当前区域的尺寸等于或大于阈值时，步骤S161中确定“是”，从而该处理进入步骤S162。

在步骤S162中，时间预测运动矢量信息确定单元121从参考区域提取与当前区域重叠的所有区域。也就是说，时间预测运动矢量信息确定单元121在参考区域中提取所有分区。

在步骤S163中，时间预测运动矢量信息确定单元121确定是否有一个最大区域。换句话说，时间预测运动矢量信息确定单元121从在参考区域中包括的分区中，确定是否只有一个与当前区域重叠面积最大的区域。

当最大区域的数量不是一个时，步骤S163中确定“否”，从而该处理进入步骤S166。要注意的是，后面将描述步骤S163之后进行的处理。

另一方面，当有一个最大区域时，步骤S163中确定“是”，从而该处理进入步骤S164。

在步骤S164中，时间预测运动矢量信息确定单元121确定最大区域是否是通过帧间预测编码的区域。

当最大区域是通过帧间预测编码的区域时，步骤S164中确定“是”，从而该处理进入步骤S165。

在步骤S165中，时间预测运动矢量信息确定单元121将最大区域确定为时间预测运动矢量信息提取区域。这意味着，最大区域（共位区域）的运动矢量信息被用作时间预测运动矢量信息。这完成了时间预测运动矢量信息提取区域确定处理，该处理返回到图14。

另一方面，当最大区域被确定为不是通过帧间预测编码的区域时，即最大区域是通过帧内预测编码的区域，步骤S164中确定“否”，从而该处理进入步骤S170。

在步骤S170中，时间预测运动矢量信息确定单元121将左上区域确定为时间预测运动矢量信息提取区域。这完成了时间预测运动矢量信息提取区域确定处理，该处理返回到图14。

另一方面，当最大区域的数量不是一个时，步骤S163中确定“否”，从而该处理进入步骤S166。

在步骤S166中，时间预测运动矢量信息确定单元121选择按光栅扫描顺序跟踪分区时首先出现的最大区域。

在步骤S167中，时间预测运动矢量信息确定单元121确定选择的最大区域是否是通过帧间预测编码的区域。

当最大区域被确定为不是通过帧间预测编码的区域时，即当最大区域是通过帧内预测编码的区域时，确定“否”，从而该处理进入步骤S168。

在步骤S168中，时间预测运动矢量信息确定单元121确定选择的最大区域是否是多个最大区域中最后的最大区域。也就是说，时间预测运动矢量信息确定单元121确定选择的最大区域是否是按光栅扫描顺序跟踪分区时最后出现的最大区域。

当选择的最大区域不是最后的最大区域时，步骤S168中确定“否”，从而该处理进入步骤S166，从那里重复进行处理。也就是说，重复步骤S166和步骤S168之间的环路过程，直到通过帧间预测编码的区域被选为最大区域或通过帧内预测编码的最后的最大区域被选择。

然后，在步骤S166中，按光栅扫描顺序的第二最大区域被选择。当选择的最大区域是通过帧间预测编码的区域时，步骤S167中确定“是”，该处理进入步骤S169。

在步骤S169中，时间预测运动矢量信息确定单元121将选择的最大区域确定为时间预测运动矢量信息提取区域。其结果是，选择的最大区域（共位区域）的运动矢量信息被用作时间预测运动矢量信息。这完成了时间预测运动矢量信息提取区域确定处理，该处理返回到图14。

另一方面，当步骤S166中按光栅扫描顺序的第二最大区域被选择时，因为选择的最大区域不是通过帧间预测编码的区域，步骤S167中确定“否”，该处理进入步骤S168。

在步骤S168中，当选择的最大区域是最后的最大区域时，确定“是”，从而该处理进入步骤S170。

在步骤S170中，时间预测运动矢量信息确定单元121将左上区域确定为时间预测运动矢量信息提取区域。这完成了时间预测运动矢量信息提取区域确定处理，该处理返回到图14。

然后，在图14的步骤S133中产生时间预测运动矢量信息提取区域的时间预测运动矢量信息，步骤S134中产生空间预测运动矢量信息。在步骤S135中，从产生的时间预测运动矢量信息和空间预测运动矢量信息中确定最佳预测运动矢量信息。

其结果是，时间预测运动矢量信息确定单元121可以将与当前区域的运动矢量信息有高相关性的时间预测运动矢量信息提供到运动矢量编码单元122。因此，运动矢量编码单元122可以使用时间预测运动矢量信息作为预测运动矢量信息，减少关于预测运动矢量的信息量，该时间预测运动矢量信息与当前区域的运动矢量信息有高相关性。因此，图像编码装置100可以提高运动矢量的编码效率。

上述例子中时间预测运动矢量信息提取区域确定处理是在当前区域的尺寸等于或大于预定阈值的条件下进行的。然而，时间预测运动矢量信息提取区域确定处理进行的条件不限于上述例子所描述的。例如，可采用的一个条件是要输出的图像压缩信息中的档次级别（例如图像帧）高于某一指定级别。这是因为，图像帧的尺寸越大，编码处理中使用的编码单元（CU）或预测单元（PU）更可能越大，而图像帧的尺寸越小，编码处理中使用的编码单元或预测单元更可能越小，因此，当以更大图像帧进行时间预测运动矢量信息提取区域确定处理时，可以实现更大的提高。将时间预测运动矢量信息提取区域确定处理应用到具有1920×1080像素的高清（HD）图像和具有更高分辨率的序列是特别有效的。要注意的是，不管当前区域尺寸和档次级别怎样，都可以进行时间预测运动矢量信息提取区域确定处理。也就是说，进行时间预测运动矢量信息提取区域确定处理的上述两个条件不必是强制条件。

此外，除了与当前区域上面或左边相邻的相邻区域的运动矢量，根据本实施方式的共位区域（或时间预测运动矢量信息提取区域）的运动矢量可以作为相邻区域的运动矢量被添加，以在合并模式中与当前区域的运动矢量相比较。

<2.第二实施方式>

[图像解码装置]

现在，将描述对上述方式中编码的数据进行解码的过程。

图16是示出了与图1所示的图像编码装置100相对应的图像解码装置的主要配置的例子的框图。

图16所示的图像解码装置200通过与编码方法相对应的解码方法，对图像编码装置100产生的编码数据进行解码。要注意的是，跟图像编码装置100一样，图像解码装置200适于通过以预测单元（PU）为单位来进行帧间预测。

图16所示的图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算器205、环路滤波器206、屏幕重排缓冲器207和D/A转换单元208。此外，图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。

图像解码装置200还包括时间预测运动矢量信息确定单元221和运动矢量解码单元222。

累积缓冲器201累积被传送的编码数据，并在预定定时，将编码数据提供到无损解码单元202。无损解码单元202通过与图1所示的无损编码单元106使用的编码方案相对应的解码方案，对从累积缓冲器201提供的无损编码单元106编码的信息进行解码。无损解码单元202将通过解码得到的差图像的量化系数数据提供到逆量化单元203。

无损解码单元202还确定是帧内预测模式还是帧间预测模式已被选为最佳预测模式，并将关于最佳预测模式的信息提供到与无损解码单元已确定为已被选择的模式相对应的帧内预测单元211或运动预测/补偿单元212。例如，当图像编码装置100已确定帧间预测模式作为最佳预测模式时，关于最佳预测模式的信息被提供到运动预测/补偿单元212。

逆量化单元203通过与图1所示量化单元105使用的量化方案相对应的方案，对无损解码单元202解码的量化系数数据进行逆量化，并将得到的系数数据提供到逆正交变换单元204。

逆正交变换单元204通过与图1所示正交变换单元104使用的正交变换方案相对应的方案，对从逆量化单元203提供的系数数据进行逆正交变换。逆正交变换处理的结果是，逆正交变换单元204获得解码残余数据，该残余数据与经历图像编码装置100的正交变换之前的残余数据相对应。

已经经历逆正交变换的解码残余数据被提供到计算器205。来自帧内预测单元211或运动预测/补偿单元212的预测图像通过选择单元213也被提供到计算器205。

计算器205将解码残余数据和预测图像加在一起，获得与通过图像编码装置100中的计算器103从图像数据中减去预测图像之前的图像数据相对应的解码图像数据。然后，计算器205将解码图像数据提供到环路滤波器206。

环路滤波器206适当地对所提供的解码图像进行包括去块滤波处理和自适应环路滤波处理的环路滤波处理，并将结果提供到屏幕重排缓冲器207。

在必要时，包括去块滤波器和自适应环路滤波器的环路滤波器206对从计算器205提供的解码图像进行滤波处理。例如，环路滤波器206通过对解码图像进行去块滤波处理来除去解码图像中的块失真。例如，环路滤波器206通过使用Wiener滤波器对去块滤波处理的结果（已经去除了块失真的解码图像）进行环路滤波，还提高了图像质量。

要注意的是，环路滤波器206可以适合于对解码图像进行任意的滤波处理。环路滤波器206还可以通过使用从图1所示的图像编码装置100提供的滤波系数来进行滤波处理。

环路滤波器206将滤波处理的结果（滤波处理之后的解码图像）提供到屏幕重排缓冲器207和帧存储器209。从计算器205输出的解码图像可以被提供到屏幕重排缓冲器207和帧存储器209，而无需经过环路滤波器206，这意味着可以省去由环路滤波器206进行的滤波处理。

屏幕重排缓冲器207重排图像。也就是说，由图1所示的屏幕重排缓冲器102重排为编码顺序的帧的顺序现在被重排回原始的显示顺序。D/A转换单元208对从屏幕重排缓冲器207提供的图像进行D/A转换，并将它输出到显示器（未示出），在显示器上显示提供的图像。

帧存储器209存储被提供到帧存储器209的解码的图像，并在预定定时或基于来自外部（诸如帧内预测单元211或运动预测/补偿单元212）的请求，将存储的解码图像作为参考图像提供到选择单元210。

选择单元210选择将从帧存储器209提供的参考图像提供到哪个目的地。当对帧内编码的图像进行解码时，选择单元210将从帧存储器209提供的参考图像提供到帧内预测单元211。另一方面，当对帧间编码的图像进行解码时，选择单元210将从帧存储器209提供的参考图像提供到运动预测/补偿单元212。

在认为适当的时候，无损解码单元202将表示通过对头信息进行解码得到的帧内预测模式的信息提供到帧内预测单元211。帧内预测单元211通过使用从帧存储器209获取的参考图像来进行帧内预测，并在图1所示的帧内预测单元114中使用的帧内预测模式中产生预测图像。然后，帧内预测单元211将产生的预测图像提供到选择单元213。

运动预测/补偿单元212从无损解码单元202获取通过对头信息进行解码得到的信息（例如最佳预测模式信息和差信息）。

运动预测/补偿单元212通过使用从帧存储器209获取的参考图像来进行帧间预测，并在图1所示的运动预测/补偿单元115中使用的帧间预测模式中产生预测图像。

当时间预测运动矢量信息在最佳预测模式中被用作运动矢量信息时，运动预测/补偿单元212还将时间预测运动矢量信息提供到时间预测运动矢量信息确定单元221。另一方面，当空间预测运动矢量信息在最佳预测模式中被用作运动矢量信息时，运动预测/补偿单元212将空间预测运动矢量信息提供到运动矢量解码单元222。

在接收从运动预测/补偿单元212提供的时间预测运动矢量信息之后，时间预测运动矢量信息确定单元221进行基本上与时间预测运动矢量信息确定单元121进行的处理类似的处理。然后，时间预测运动矢量信息确定单元221重建时间预测运动矢量信息，并将重建的时间预测运动矢量信息提供到运动矢量解码单元222。

运动矢量解码单元222在从运动预测/补偿单元212接收到空间预测运动矢量信息之后重建空间预测运动矢量信息。然后，运动矢量解码单元222将由时间预测运动矢量信息确定单元221重建的时间预测运动矢量信息或重建的时间预测运动矢量信息作为预测运动矢量信息提供到运动预测/补偿单元212。

[运动预测/补偿单元、时间预测运动矢量信息确定单元和运动矢量解码单元]

图17是示出了运动预测/补偿单元212、时间预测运动矢量信息确定单元221和运动矢量解码单元222的详细配置的例子的框图。

如图17所示，运动预测/补偿单元212包括差运动信息缓冲器231、预测运动矢量信息缓冲器232、运动信息缓冲器233、运动信息重建部234、运动补偿部235和运动补偿部236。

运动矢量解码单元222包括空间预测运动矢量信息重建部241和预测运动矢量信息重建部242。

差运动信息缓冲器231存储从无损解码单元202提供的差运动信息。从图像编码装置100提供的这个差运动信息是被选为最佳预测模式的帧间预测模式的差运动信息（即预测运动矢量信息和运动信息之间的差）。差运动信息缓冲器231在预定定时或基于从运动信息重建部234发出的请求，将存储的差运动信息提供到运动信息重建部234。

预测运动矢量信息缓冲器232存储从无损解码单元202提供的预测运动矢量信息。从图像编码装置100提供的这个预测运动矢量信息是被选为最佳预测模式的帧间预测模式的预测运动矢量信息。预测运动矢量信息缓冲器232在预定定时或基于来自空间预测运动矢量信息重建部241或时间预测运动矢量信息确定单元221的请求，将存储其中的预测运动矢量信息提供到空间预测运动矢量信息重建部241或时间预测运动矢量信息确定单元221。具体而言，当时间预测运动矢量信息被用作最佳预测模式的预测运动矢量信息时，预测运动矢量信息缓冲器232将时间预测运动矢量信息提供到时间预测运动矢量信息确定单元221。另一方面，当空间预测运动矢量信息被用作最佳预测模式的预测运动矢量信息时，预测运动矢量信息缓冲器232将空间预测运动矢量信息提供到空间预测运动矢量信息重建部241。

运动信息缓冲器233存储从运动信息重建部234提供的当前区域的运动信息。运动信息缓冲器233将对时间上在当前区域之后处理的另一区域进行处理得到的运动信息作为相邻运动信息，提供到空间预测运动矢量信息重建部241和时间预测运动矢量信息确定单元221。具体而言，运动信息缓冲器233基于来自时间预测运动矢量信息确定单元221的请求，将时间相邻运动信息提供到时间预测运动矢量信息确定单元221。基于来自空间预测运动矢量信息重建部241的请求，运动信息缓冲器233还将空间相邻运动信息提供到空间预测运动矢量信息重建部241。

在接收到从预测运动矢量信息缓冲器232提供的时间预测运动矢量信息之后，时间预测运动矢量信息确定单元221从运动信息缓冲器233获取时间相邻运动信息，并进行时间预测运动矢量信息提取区域确定处理。换句话说，时间预测运动矢量信息确定单元221将在参考区域中包括的分区中的最大区域确定为时间预测运动矢量信息提取区域（共位区域）。然后，时间预测运动矢量信息确定单元221重建已确定的时间预测运动矢量信息提取区域的时间预测运动矢量信息，并将重建的时间预测运动矢量信息提供到预测运动矢量信息重建部242。

在接收到从预测运动矢量信息缓冲器232提供的空间预测运动矢量信息之后，空间预测运动矢量信息重建部241从运动信息缓冲器233获取空间相邻运动信息，并重建空间预测运动矢量信息。然后，空间预测运动矢量信息重建部241将重建的预测运动矢量信息提供到预测运动矢量信息重建部242。

预测运动矢量信息重建部242获取由时间预测运动矢量信息确定单元221重建的时间预测运动矢量信息或由空间预测运动矢量信息重建部241重建的空间预测运动矢量信息，并将获取的信息作为预测运动矢量信息提供到运动预测/补偿单元212的运动信息重建部234。

运动信息重建部234从差运动信息缓冲器231获取从图像编码装置100提供的差运动信息。然后，运动信息重建部234将从预测运动矢量信息重建部242获取的预测运动矢量信息（时间预测运动矢量信息或空间预测运动矢量信息）加到获取的差运动信息，并重建当前区域的运动信息。运动信息重建部234将重建的当前区域的运动信息提供到运动补偿部235。

运动补偿部235使用上述通过运动信息重建部234重建的当前区域的运动信息来对从帧存储器209获取的参考图像像素值进行运动补偿，并产生预测图像。运动补偿部235通过选择单元213将预测图像像素值提供到计算器205。

运动信息重建部234还将重建的当前区域的运动信息提供到运动信息缓冲器233。

运动信息缓冲器233存储从运动信息重建部234提供的当前区域的运动信息。如上所述，运动信息缓冲器233将对时间上在当前区域之后处理的另一区域进行处理得到的运动信息作为相邻运动信息，提供到空间预测运动矢量信息重建部241和时间预测运动矢量信息确定单元221。

每个部分进行上述处理，从而图像解码装置200可以正确地对图像编码装置100编码的数据进行解码，提高了编码效率。

[解码处理的流程]

现在，将描述上述图像解码装置200进行的每个处理的流程。

图18是示出了解码处理的流程的流程图。

在步骤S201中，累积缓冲器201累积正被传送的码流（或编码的差图像信息）。

在步骤S202中，无损解码单元202对从累积缓冲器201提供的码流进行解码。即，对由如图1中所示的无损编码单元106编码的I图像、P图像和B图像进行解码。

除了包括在码流中的差图像信息之外，这时候还被解码的有各种信息，例如差运动信息和预测运动矢量信息。

在步骤S203中，逆量化单元203对步骤S202中进行的处理所得到的量化的正交变换系数进行逆量化。

在步骤S204中，逆正交变换单元204对步骤S203中逆量化的正交变换系数进行逆正交变换。

在步骤S205中，帧内预测单元211或运动预测/补偿单元212使用被提供的信息来进行预测处理。后面将参照图19来提供步骤S205中进行的处理的详细描述。

在步骤S206中，选择单元213选择步骤S205中产生的预测图像。

在步骤S207中，计算器205将步骤S206中选择的预测图像加到步骤S204中进行逆正交变换得到的差图像信息。其结果是，原始图像被解码。

在步骤S208中，环路滤波器206对步骤S207中得到的解码图像适当地进行包括去块滤波处理和自适应环路滤波处理的环路滤波处理。

在步骤S209中，屏幕重排缓冲器207对已在步骤S208中进行滤波处理的图像进行重排。也就是说，通过图像编码装置100中屏幕重排缓冲器102为编码而重排的帧的顺序被重排回原始的显示顺序。

在步骤S210中，D/A转换单元208对已在步骤S209中重排帧顺序的图像进行D/A转换。然后，这个图像被输出到显示器（未示出），并被显示。

在步骤S211中，帧存储器209存储已在步骤S208中进行滤波处理的图像。

现在完成了解码处理。

[预测处理的流程]

下面，将描述图18的步骤S205中进行的预测处理。

图19是示出了预测处理的流程的流程图。

在步骤S231中，无损解码单元202基于从图像编码装置100提供的最佳预测模式的信息，来确定要处理的编码数据是否是帧内编码的。

当编码数据被确定为是帧内编码的时，步骤S231中确定“是”，从而该处理进入步骤S232。

在步骤S232中，帧内预测单元211获取帧内预测模式信息。

在步骤S233中，帧内预测单元211使用步骤S232中获取的帧内预测模式信息来进行帧内预测，并产生预测图像。当已产生预测图像时，预测处理完成，该处理返回到图18。

另一方面，当步骤S231中编码数据被确定为是帧间编码的时，步骤S231中确定“否”，从而该处理进入步骤S234。

在步骤S234中，运动预测/补偿单元212进行帧间运动预测处理。后面将参照图20来提供步骤S234中进行的处理的详细描述。

当完成帧间运动预测处理时，预测处理完成，该处理返回到图18。

[帧间运动预测处理的流程]

现在，将描述图24的步骤S234中进行的帧间运动预测处理。

图20是示出了帧间运动预测处理的流程的流程图。

在步骤S251中，运动预测/补偿单元212获得属于对当前区域进行的运动预测的信息。例如，差运动信息缓冲器231获取差运动信息，并且预测运动矢量信息缓冲器232获取预测运动矢量信息。

在步骤S252中，预测运动矢量信息缓冲器232基于在步骤S251中获取的预测运动矢量信息中包括的标识信息，来确定获取的预测运动矢量信息是否是时间预测运动矢量信息。

当获取的预测运动矢量信息是时间预测运动矢量信息时，步骤S252中确定“是”，该处理进入步骤S253。

在步骤S253中，时间预测运动矢量信息确定单元221进行时间预测运动矢量信息提取区域确定处理。换句话说，时间预测运动矢量信息确定单元221将在参考区域中包括的分区中的最大区域确定为时间预测运动矢量信息提取区域（共位区域）。这里，时间预测运动矢量信息提取区域确定处理的描述类似于图15中的描述，将省略以避免重复。

在步骤S254中，时间预测运动矢量信息确定单元221重建时间预测运动矢量信息。一旦重建了时间预测运动矢量信息，该处理就进入步骤S256。要注意的是，后面将描述步骤S256之后的处理。

另一方面，当获取的预测运动矢量信息是空间预测运动矢量信息时，步骤S252中确定“否”，该处理进入步骤S255。

在步骤S255中，空间预测运动矢量信息重建部241重建空间预测运动矢量信息。一旦重建了空间预测运动矢量信息，该处理就进入步骤S256。

在步骤S256中，运动信息重建部234从差运动信息缓冲器231获取差运动信息。

在步骤S257中，运动信息重建部234将步骤S256中获取的差运动信息加到步骤S254中重建的时间预测运动矢量信息或步骤S255中重建的空间预测运动矢量信息，从而重建当前区域的运动信息。

在步骤S258中，运动补偿部235使用步骤S257中重建的运动信息来进行运动补偿并产生预测图像。

在步骤S259中，运动补偿部236通过选择单元213将步骤S258中产生的预测图像提供到计算器205，并产生解码图像。

在步骤S260中，运动信息缓冲器233存储步骤S257中重建的运动信息。

这完成了帧间运动预测处理，该处理返回到图19。

通过以上述方式进行每个处理，图像解码装置200可以正确地对图像编码装置100编码的编码数据进行解码。因此，图像解码装置200可以提高图像编码装置100对运动矢量进行编码的效率。

与MPEG和H.26x一样，例如，本技术可以被应用到用于通过网络介质（例如卫星广播、有线电视、因特网或移动电话）接收通过正交变换（例如离散余弦变换）和运动补偿而压缩的图像信息（比特流）的图像编码装置和图像解码装置。本技术还可以被应用到用于在存储介质（例如光盘、磁盘或闪存）上进行处理的图像编码装置和图像解码装置。此外，本技术可以被应用于在这些图像编码装置和图像解码装置中包括的运动预测补偿装置。

<3.第三实施方式>

[计算机]

可以通过硬件或软件来执行上述一系列处理。当通过软件来执行这系列处理时，形成软件的程序被安装到计算机。这里，计算机包括结合到专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机。

如图21所示，个人计算机500的CPU（中央处理单元）501根据ROM（只读存储器）502中存储的程序或从存储单元513加载到RAM（随机存取存储器）503的程序，执行各种处理。在认为适当的时候，RAM503还存储CPU501执行各种处理所需的数据等。

CPU501、ROM502和RAM503通过总线504彼此连接。输入/输出接口510也连接到总线504。

连接到输入/输出接口510的是包括键盘和鼠标的输入单元511、包括CRT（阴极射线管）或LCD（液晶显示器）显示器和扬声器的输出单元512、包括硬盘等的存储单元513、以及包括调制解调器等的通信单元514。通信单元514通过包括因特网的网络，来进行通信处理。

此外，如果需要的话，驱动器515连接到输入/输出接口510，如果适当的话，可移除介质521（例如磁盘、光盘、磁光盘或半导体存储器）被安装到驱动器，从而如果需要的话，从介质读出的计算机程序被安装到存储单元513。

当由软件执行上述系列处理时，从网络或记录介质安装形成软件的程序。

如图21中的例子所示，例如，记录介质由以下各项形成：其中记录有程序并被分布为与装置自身分离地将程序传送给用户的可移除介质521，包括磁盘（包括软盘）、光盘（包括CD-ROM（压缩盘-只读存储器）和DVD（数字多功能光盘））、磁光盘（包括MD（迷你光盘））或半导体存储器；或者其中记录有程序并且在预先结合到装置自身中的情况下将程序传送给用户的ROM502；以及在存储单元513中包括的硬盘。

要注意的是，例如，由计算机执行的程序可以是按照本文描述的顺序的时间序列来执行处理的程序，也可以是并行地或者在被调用时在需要的定时执行处理的程序。

此外，本文中描述在记录介质中记录的程序的步骤不仅包括按照所描述的顺序的时间序列执行的处理，还包括并行地或单独地执行的处理。

本文中的“系统”表示包括多个装置的整个装置。

上面描述为一个装置（或处理单元）的结构可以被分为多个装置（或处理单元）。相反地，上面描述为多个装置（或处理单元）的结构可以被集成为一个装置（或处理单元）。此外，当然可以将除了上述结构之外的结构添加到每个装置（或处理单元）的结构。此外，只要与系统有关的结构和操作基本相同，则一些装置（或处理单元）的一部分结构就可以被包括在另一装置（或处理单元）的结构中。也就是说，本技术不限于上述实施方式，而是可以在不脱离本技术的范围的情况下进行各种改变。

根据上述实施方式的图像编码装置和图像解码装置可以被应用于各种电子装置，包括：有线广播（例如卫星广播和有线电视）、因特网上分配或在蜂窝通信中分配到终端所使用的发射器或接收器；记录装置，将图像记录到诸如光盘、磁盘或闪存的介质中；再现装置，从这些存储介质再现图像。下面将描述四个应用例子。

<4.第四实施方式>

[第一应用例子：电视机]

图22是示出了应用上述实施方式的电视机装置的示意性配置的例子的图。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号提取所需频道的信息，并且对提取的信号进行解调。然后，调谐器902将通过解调得到的编码比特流输出到解复用器903。也就是说，调谐器902在电视机装置900中起着接收编码有图像的编码流的传输装置的作用。

解复用器903从编码比特流中分离要观看的节目中的视频流和音频流，并将每个分离的流输出到解码器904。解复用器903还从编码比特流提取辅助数据，例如EPG（电子节目指南），并将提取的数据提供到控制单元910。这里，当被加扰时，解复用器903可以对编码比特流进行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理产生的视频数据输出到视频信号处理单元905。此外，解码器904将通过解码处理产生的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并将视频显示在显示器906上。视频信号处理单元905还可以将通过网络提供的应用屏幕显示在显示器906上。视频信号处理单元905还可以根据设定，对视频数据进行额外的处理，例如降噪。此外，视频信号处理单元905可以产生诸如菜单、按键或光标的GUI（图形用户界面）的图像，并将产生的图像叠加到输出图像上。

显示器906由从视频信号处理单元905提供的驱动信号来驱动，并将视频或图像显示在显示装置（例如液晶显示器、等离子显示器或OELD（有机电致发光显示器））的视频屏幕上。

音频信号处理单元907对从解码器904输入的音频数据进行再现处理如D/A转换和放大，并从扬声器908输出音频。音频信号处理单元907还可以对音频数据进行额外的处理，例如降噪。

外部接口909是将电视机装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这意味着，外部接口909在电视机装置900中也起着接收编码有图像的编码流的传输装置的作用。

控制单元910包括处理器（例如CPU）和存储器（例如RAM和ROM）。存储器存储由CPU执行的程序、节目数据、EPG数据以及通过网络获取的数据。例如，在电视机装置900启动时，CPU读取和执行存储在存储器中的程序。例如，通过执行程序，CPU根据从用户接口911输入的操作信号来控制电视机装置900的运行。

用户接口911连接到控制单元910。例如，用户接口911包括用于用户操作电视机装置900的按键和开关、以及接收远程控制信号的接收部。用户接口911通过这些部件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

以上述方式配置的电视机装置900中的解码器904具有根据上述实施方式的图像解码装置的功能。其结果是，通过在电视机装置900中对图像进行解码时使用与当前区域的运动矢量信息具有高相关性的运动矢量信息作为时间预测运动矢量信息，可以提高运动矢量的编码效率。

<5.第五实施方式>

[第二应用例子：移动电话]

图23是示出了应用上述实施方式的移动电话的示意性配置的例子的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930和控制单元931相互连接。

移动电话920在包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种模式中进行诸如传送/接收音频信号、传送/接收电子邮件或图像数据、对图像成像或记录数据的操作。

在音频呼叫模式中，由麦克风925产生的模拟音频信号被提供到音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据进行A/D转换，并且压缩数据。然后，音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以产生发送信号。然后，通信单元922通过天线921将产生的发送信号发送到基站（未示出）。此外，通信单元922对通过天线921接收的无线电信号进行放大，转变信号的频率，以及获得接收信号。然后，通信单元922对接收信号进行解调和解码，以产生音频数据，并将产生的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据，对数据进行D/A转换，并产生模拟音频信号。然后，音频编解码器923通过将产生的音频信号提供到扬声器924而输出音频。

在数据通信模式中，例如，控制单元931根据通过操作单元932的用户操作，产生形成电子邮件的字符数据。控制单元931还在显示器930上显示字符。此外，控制单元931根据通过操作单元932来自用户的发送指令，来产生电子邮件数据，并将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以产生发送信号。然后，通信单元922通过天线921将产生的发送信号发送到基站（未示出）。此外，通信单元922对通过天线921接收的无线电信号进行放大，转变信号的频率，以及获得接收信号。然后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示器930上显示电子邮件的内容，以及将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括可读和可写的任意存储介质。例如，存储介质可以是内置存储介质，例如RAM或闪存，或者可以是外置存储介质，例如硬盘、磁盘、磁光盘、光盘、USB（Unallocated Space Bitmap，未分配空间位图）存储器或存储卡。

在摄影模式中，例如，相机单元926对对象成像，产生图像数据，并将产生的图像数据输出到图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行解码，并将解码流存储在记录/再现单元929的存储介质中。

在视频电话模式中，例如，解复用单元928复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并将复用的流输出到通信单元922。通信单元922对流进行编码和调制，以产生发送信号。然后，通信单元922通过天线921将产生的发送信号发送到基站（未示出）。此外，通信单元922将通过天线921接收的无线电信号进行放大，转变信号的频率，以及获得接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码，以恢复流，并将恢复的流输出到解复用单元928。解复用单元928从输入的流分离视频流和音频流，并将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以产生视频信号。然后，视频信号被提供到显示器930，显示器930显示一系列图像。音频编解码器923对音频流进行扩展并进行D/A转换，以产生模拟音频信号。然后，音频编解码器923通过将产生的音频信号提供到扬声器924而输出音频。

图像处理单元927在以上述方式配置的移动电话920中具有根据上述实施方式的图像编码装置和图像解码装置的功能。其结果是，通过在移动电话920中对图像进行编码和解码时使用与当前区域的运动矢量信息具有高相关性的运动矢量信息作为时间预测运动矢量信息，可以提高运动矢量的编码效率。

<6.第六实施方式>

[第三应用例子：记录/再现装置]

图24是示出了应用上述实施方式的记录/再现装置的示意性配置的例子的图。例如，记录/再现装置940对接收的广播节目的音频数据和视频数据进行编码，并将数据记录到记录介质中。例如，记录/再现装置940还可以对从另一装置获取的音频数据和视频数据进行解码，并将数据记录到记录介质中。例如，响应于用户指令，记录/再现装置940将记录介质中记录的数据再现在监视器和扬声器上。在这时候，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示）948、控制单元949和用户接口950。

调谐器941从通过天线（未示出）接收的广播信号提取期望的频道的信号，并且对提取的信号进行解调。然后，调谐器941将通过解调得到的编码比特流输出到选择器946。也就是说，调谐器941在记录/再现装置940中起着传输装置的作用。

外部接口942是将记录/再现装置940与外部装置或网络进行连接的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口942在记录/再现装置940中起着传输装置的作用。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。

HDD944将压缩有诸如视频和音频的内容数据的编码比特流、各种程序和其他数据记录到内部硬盘。当再现视频和音频时，HDD944从硬盘读取这些数据。

盘驱动器945将数据记录到安装到盘驱动器的记录介质中以及从该记录介质读取数据。例如，安装到盘驱动器945的记录介质可以是DVD盘（例如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（注册商标）光盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD944或盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，以产生视频数据和音频数据。然后，解码器947将产生的视频数据输出到OSD948。解码器904将产生的音频数据输出到外部扬声器。

OSD948再现从解码器947输入的视频数据，并显示视频。OSD948还可以将诸如菜单、按键或光标的GUI的图像叠加到显示的视频上。

控制单元949包括处理器（例如CPU）和存储器（例如RAM和ROM）。存储器存储由CPU执行的程序和程序数据。例如，在记录/再现装置940启动时，CPU读取并执行存储在存储器中的程序。例如，通过执行程序，CPU根据从用户接口950输入的操作信号来控制记录/再现装置940的运行。

用户接口950连接到控制单元949。例如，用户接口950包括用于用户操作记录/再现装置940的按钮和开关、以及接收远程控制信号的接收部。用户接口950通过这些部件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元949。

编码器943在以上述方式配置的记录/再现装置940中具有根据上述实施方式的图像编码装置的功能。另一方面，解码器947具有根据上述实施方式的图像解码装置的功能。其结果是，通过在记录/再现装置940中对图像进行编码和解码时使用与当前区域的运动矢量信息具有高相关性的运动矢量信息作为时间预测运动矢量信息，可以提高运动矢量的编码效率。

<7.第七实施方式>

[第四应用例子：成像装置]

图25是示出了应用上述实施方式的成像装置的示例性配置的例子的图。成像装置960对对象成像，产生图像，对图像数据进行编码，并将数据记录到记录介质。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示器965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970相互连接。

光学块961包括聚焦镜头和光圈机构。光学块961将对象的光学图像形成在成像单元962的成像表面上。成像单元962包括诸如CCD（电荷耦合器件）或CMOS（互补金属氧化半导体）的图像传感器，并进行光电转换以将形成在成像表面上的光学图像转换成图像信号作为电信号。然后，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行各种相机信号处理，例如拐点校正、伽玛校正和颜色校正。信号处理单元963将已经进行相机信号处理的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并产生编码数据。然后，图像处理单元964将产生的编码数据输出到外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码以产生图像数据。然后，图像处理单元964将产生的图像数据输出到显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示器965以显示图像。此外，图像处理单元964可以将从OSD969获取的显示数据叠加到在显示器965上输出的图像上。

OSD969产生诸如菜单、按钮或光标的GUI图像，并将产生的图像输出到图像处理单元964。

外部接口966被配置为例如USB输入/输出端。例如，当打印图像时，外部接口966将成像装置960与打印机连接。此外，如果需要的话，驱动器连接到外部接口966。例如，诸如磁盘或光盘的可移除介质被安装到驱动器，从而从可移除介质读取的程序可以被安装到成像装置960。外部接口966也可以被配置作为连接到网络（例如LAN或因特网）的网络接口。也就是说，外部接口966在成像装置960中起着发送装置的作用。

安装到介质驱动器968的记录介质可以是可读和可写的任意可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以被固定安装到介质驱动器968，从而配置诸如内置硬盘驱动器或SSD（固态驱动器）的不可传输存储单元。

控制单元970包括处理器（例如CPU）和存储器（例如RAM和ROM）。存储器存储由CPU执行的程序和程序数据。在成像装置960启动时，CPU读取和然后执行存储在存储器中的程序。例如，通过执行程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的运行。

用户接口971连接到控制单元970。例如，用户接口971包括用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，产生操作信号，并将产生的操作信号输出到控制单元970。

图像处理单元964在以上述方式配置的成像装置960中具有根据上述实施方式的图像编码装置和图像解码装置的功能。其结果是，通过在成像装置960中对图像进行编码和解码时使用与当前区域的运动矢量信息具有高相关性的运动矢量信息作为时间预测运动矢量信息，可以提高运动矢量的编码效率。

本文描述的是诸如预测运动矢量信息和差运动信息的各种信息被复用到编码的流的头以及从编码侧被传送到解码侧的例子。然而，传送这些信息的方法并不限于这样的例子。例如，这些信息可以作为与编码比特流相关联的独立数据被传送或记录，而不复用到编码比特流。这里，术语“相关联”表示，当解码时，允许包括在比特流（可以是图像的一部分，例如宏块条或块）中的图像和与当前图像相对应的信息建立连接。也就是说，来自图像（或比特流）的信息可以在不同传输路径上被传送。来自图像（或比特流）的信息也可以被记录在不同记录介质中（或相同记录介质中的不同记录区）。此外，信息和图像（或比特流）可以按照诸如多个帧、一个帧或帧内一部分的任意单位彼此相关联。

尽管已经参照附图详细描述了本技术的优选实施方式，但是，本技术并不限于这样的例子。显而易见的是，在权利要求描述的技术思想的范围之内，本技术所属领域的普通技术人员可以做出各种改变或修改，因此，应当理解，这些改变或修改无疑也属于本技术的技术范围。

要注意的是，本技术还可以采用以下配置。

（1）一种图像处理设备，包括：

确定单元，其在对图像进行运动预测时从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为时间预测运动矢量信息，所述参考区域与要处理的当前区域相对应；以及

差产生单元，其产生差运动信息，所述差运动信息是从所述确定单元确定的提取区域中提取的时间预测运动矢量信息和所述当前区域的运动信息之间的差，其中，

所述参考区域被划分为多个分区，以及

所述确定单元把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

（2）如（1）所述的图像处理设备，其中，所述确定单元具有当存在多个最大区域时从所述多个最大区域中确定所述提取区域的规则。

（3）如（1）或（2）所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的最大区域确定为所述提取区域。

（4）如（1）、（2）或（3）所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的通过帧间预测而编码的最大区域确定为所述提取区域。

（5）如（1）至（4）中任一项所述的图像处理设备，其中，

所述参考区域被划分成所述多个分区，以及

所述确定单元：

当所述当前区域的尺寸大于或等于预定阈值时，把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述当前区域的尺寸小于所述预定阈值时，把所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

（6）如（1）至（5）中任一项所述的图像处理设备，其中，在要输入的图像压缩信息所包含的序列参数集、图像参数集或者宏块条头中指定所述预定阈值。

（7）如（1）至（6）中任一项所述的图像处理设备，其中，

所述确定单元：

当要输出的图像压缩信息中的档次级别等于或高于预定阈值时，把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述要输出的图像压缩信息中的档次级别低于所述预定阈值时，把所述参考区域内的多个分区中的以下分区确定为所述提取区域，所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

（8）如（1）至（7）中任一项所述的图像处理设备，其中，所述档次级别是图像帧。

（9）一种图像处理方法，包括：

确定步骤，在对图像进行运动预测时从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为时间预测运动矢量信息，所述参考区域与要处理的当前区域相对应；以及

差产生步骤，产生差运动信息，所述差运动信息是从所述确定步骤中进行处理所确定的提取区域中提取的时间预测运动矢量信息和所述当前区域的运动信息之间的差，其中

所述参考区域被划分为多个分区，以及

所述确定步骤把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

（10）一种图像处理设备，包括：

获取单元，其在对图像的编码数据进行解码时，获取差运动信息，所述差运动信息是对所述图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差；

确定单元，其从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为所述时间预测运动矢量信息，所述参考区域与所述当前区域相对应；以及

运动信息重建部，通过使用所述获取单元获取的差运动信息和从所述确定单元确定的提取区域中提取的时间预测运动矢量信息来重建所述当前区域的被提供用于运动补偿的运动信息，其中

所述参考区域被划分成多个分区，以及

所述确定单元把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

（11）如（10）所述的图像处理设备，其中，所述确定单元具有当存在多个最大区域时从所述多个最大区域中确定所述提取区域的规则。

（12）如（10）或（11）所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的最大区域确定为所述提取区域。

（13）如（10）、（11）或（12）所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的通过帧间预测编码的最大区域确定为所述提取区域。

（14）如（10）至（13）中任一项所述的图像处理设备，其中，

所述参考区域被划分成所述多个分区，以及

所述确定单元：

当所述当前区域的尺寸大于或等于预定阈值时，把所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述当前区域的尺寸小于所述预定阈值时，把所述参考区域内的多个分区中的以下分区确定为所述提取区域，所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

（15）如（10）至（14）中任一项所述的图像处理设备，其中，在要输入的图像压缩信息所包含的序列参数集、图像参数集或者宏块条头中指定所述预定阈值。

（16）如（10）至（15）中任一项所述的图像处理设备，其中，

所述确定单元：

当要输出的图像压缩信息中的档次级别等于或高于预定阈值时，把所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述要输出的图像压缩信息中的档次级别低于所述预定阈值时，把所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

（17）如（10）至（16）中任一项所述的图像处理设备，其中，所述档次级别是图像帧。

（18）一种图像处理方法，包括：

获取步骤，在对图像的编码数据进行解码时获取差运动信息，所述差运动信息是对所述图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差；

确定步骤，从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为所述时间预测运动矢量信息，所述参考区域与所述当前区域相对应；以及

运动信息重建步骤，通过使用所述获取步骤中进行处理所获取的差运动信息和从所述确定步骤中进行处理所确定的提取区域中提取的时间预测运动矢量信息来重建所述当前区域的被提供用于运动补偿的运动信息，其中

所述参考区域被划分成多个分区，以及

在所述确定步骤中进行的处理把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

参考符号列表

100图像编码装置、115运动预测/补偿单元、121时间预测运动矢量信息确定单元、122运动矢量编码单元、141空间预测运动矢量信息确定部、142预测运动矢量信息产生部、143差运动矢量产生部、200图像解码装置、212运动预测/补偿单元、221时间预测运动矢量信息确定单元、222运动矢量解码单元、241时间预测运动矢量信息重建部、242预测运动矢量信息重建部、243空间预测运动矢量信息重建部。

Claims (18)

1.一种图像处理设备，包括：

确定单元，其在对图像进行运动预测时从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为时间预测运动矢量信息，所述参考区域与要处理的当前区域相对应；以及

差产生单元，其产生差运动信息，所述差运动信息是从所述确定单元确定的提取区域中提取的时间预测运动矢量信息和所述当前区域的运动信息之间的差，其中，

所述参考区域被划分为多个分区，以及

所述确定单元把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

2.如权利要求1所述的图像处理设备，其中，所述确定单元具有当存在多个最大区域时从所述多个最大区域中确定所述提取区域的规则。

3.如权利要求2所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的最大区域确定为所述提取区域。

4.如权利要求2所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的通过帧间预测而编码的最大区域确定为所述提取区域。

5.如权利要求1所述的图像处理设备，其中，

所述参考区域被划分成所述多个分区，以及

所述确定单元：

当所述当前区域的尺寸大于或等于预定阈值时，将所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述当前区域的尺寸小于所述预定阈值时，将所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

6.如权利要求5所述的图像处理设备，其中，在要输入的图像压缩信息所包含的序列参数集、图像参数集或者宏块条头中指定所述预定阈值。

7.如权利要求1所述的图像处理设备，其中，

所述确定单元：

当要输出的图像压缩信息中的档次级别等于或高于预定阈值时，将所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述要输出的图像压缩信息中的档次级别低于所述预定阈值时，将所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

8.如权利要求7所述的图像处理设备，其中，所述档次级别是图像帧。

9.一种图像处理方法，包括：

确定步骤，在对图像进行运动预测时从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为时间预测运动矢量信息，所述参考区域与要处理的当前区域相对应；以及

差产生步骤，产生差运动信息，所述差运动信息是从所述确定步骤中进行处理所确定的提取区域中提取的时间预测运动矢量信息和所述当前区域的运动信息之间的差，其中

所述参考区域被划分为多个分区，以及

所述确定步骤把从所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

10.一种图像处理设备，包括：

获取单元，其在对图像的编码数据进行解码时，获取差运动信息，所述差运动信息是对所述图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差；

确定单元，其从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为所述时间预测运动矢量信息，所述参考区域与所述当前区域相对应；以及

运动信息重建部，通过使用所述获取单元获取的差运动信息和从所述确定单元确定的提取区域中提取的时间预测运动矢量信息来重建所述当前区域的被提供用于运动补偿的运动信息，其中

所述参考区域被划分成多个分区，以及

所述确定单元把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

11.如权利要求10所述的图像处理设备，其中，所述确定单元具有当存在多个最大区域时从所述多个最大区域中确定所述提取区域的规则。

12.如权利要求11所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的最大区域确定为所述提取区域。

13.如权利要求11所述的图像处理设备，其中，所述规则将按光栅扫描顺序跟踪所述参考区域时首先出现的通过帧间预测而编码的最大区域确定为所述提取区域。

14.如权利要求10所述的图像处理设备，其中，

所述参考区域被划分成所述多个分区，以及

所述确定单元：

当所述当前区域的尺寸大于或等于预定阈值时，将所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述当前区域的尺寸小于所述预定阈值时，将所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

15.如权利要求14所述的图像处理设备，其中，在要输入的图像压缩信息所包含的序列参数集、图像参数集或者宏块条头中指定所述预定阈值。

16.如权利要求10所述的图像处理设备，其中，

所述确定单元：

当要输出的图像压缩信息中的档次级别等于或高于预定阈值时，将所述参考区域内的多个分区中的与所述当前区域重叠面积最大的最大区域确定为所述提取区域；以及

当所述要输出的图像压缩信息中的档次级别低于所述预定阈值时，将所述参考区域内的多个分区中的以下分区确定为所述提取区域：所述分区包括与所述当前区域的左上部分中的像素具有相同地址的像素。

17.如权利要求16所述的图像处理设备，其中，所述档次级别是图像帧。

18.一种图像处理方法，包括：

获取步骤，在对图像的编码数据进行解码时获取差运动信息，所述差运动信息是对所述图像进行编码时所使用的时间预测运动矢量信息和要处理的当前区域的运动信息之间的差；

确定步骤，从参考图像中的参考区域内确定提取区域，其中从所述提取区域中提取运动矢量信息作为所述时间预测运动矢量信息，所述参考区域与所述当前区域相对应；以及

运动信息重建步骤，通过使用所述获取步骤中进行处理所获取的差运动信息和从所述确定步骤中进行处理所确定的提取区域中提取的时间预测运动矢量信息来重建所述当前区域的被提供用于运动补偿的运动信息，其中

所述参考区域被划分成多个分区，以及

在所述确定步骤中进行的处理把所述参考区域内的多个分区中与所述当前区域重叠面积最大的最大区域确定为所述提取区域。

Images