CN1980394A - 运动矢量估计装置和运动矢量估计方法 - Google Patents

Abstract

本发明提供一种运动画面估计装置和运动画面估计方法，其允许在减少处理量的同时估计精确的运动矢量。一种运动画面编码设备，包括：缩小画面产生单元，用于从包括将要编码的当前块的输入画面以及候选参考画面，分别产生缩小的将要编码的当前画面和缩小的候选参考画面；画面分割单元，用于将缩小的当前画面分成多个区域；区域运动矢量估计单元，用于为每个区域估计相对于每个缩小的候选参考画面的区域运动矢量；相关度计算单元，用于为每个区域计算每个区域运动矢量的相关度；参考画面选择单元，用于根据所述区域运动矢量和该区域运动矢量的相关度，从候选参考画面中为每个区域选择一个参考画面；以及包括运动估计单元的编码单元，所述运动估计单元利用所选择的参考画面估计当前块的运动矢量。

Description

运动矢量估计装置和运动矢量估计方法

技术领域

本发明涉及运动矢量估计装置和运动矢量估计方法，其应用在通过执行画面间预测来对运动画面进行编码的画面编码设备中。

背景技术

在利用运动画面的画面间相关度的图像压缩方案中，例如运动图像专家组(MPEG)标准中，必须对每个执行了运动补偿的块估计其运动矢量。为了估计精确的运动矢量，一般采用在估计运动矢量时通过扩大搜索范围来提高精确度的方法。然而，扩大的搜索范围需要增加处理量，并且因此还需要增加存储容量，因为所需要的处理量是根据所要处理的块的数量与搜索范围的乘积决定的。因此，需要在不扩大搜索范围的情况下估计高精确度的运动矢量。

作为这种在不扩大搜索范围的情况下估计高精确度运动矢量的方法，已经提出了一种运动画面编码设备，其根据过去估计的运动矢量的大小和对应的宏块的类型来确定搜索范围(例如，参照日本公开未审专利申请No.11-112993)。

然而，在上述根据过去估计的运动矢量的大小和对应的宏块的类型来确定搜索范围的情形中，需要存储过去估计的运动矢量，从而增加了所需要的存储容量。这就是常规方法中存在的问题。

另外，H.264标准允许多达16个用于画面间预测的参考画面。由于常规的MPEG-2标准最多只允许使用两个参照画面，所以H.264标准允许估计更精确的运动矢量。然而，如果根据所有的参考画面估计运动矢量，H.264标准需要八倍于MPEG-2标准的处理时间，这是非常大的处理量。这也是常规方法中存在的问题。

发明内容

本发明考虑了上述情况，目的在于提供运动矢量估计装置和运动矢量估计方法，其允许在减少处理量的同时估计精确运动矢量。

为了实现上述目的，根据本发明的运动矢量估计装置是这样一种运动矢量估计装置，其相对于参考画面估计包含在将要编码的当前画面中的当前块的运动矢量。该运动矢量估计装置包括：缩小画面产生单元，用于通过减少当前画面和候选参考画面的像素数量，分别产生缩小的当前画面和缩小的候选参考画面；画面分割单元，用于将所述缩小的当前画面分成多个区域；区域运动矢量估计单元，用于为每个缩小的候选参考画面估计区域运动矢量，所述区域运动矢量是相对于所述缩小的候选参考画面的每个区域的运动矢量；相关度计算单元，用于为每个缩小的候选参考画面计算每个区域的图像与预测的区域图像之间的相关度，所述预测的区域图像是根据区域运动矢量和缩小的候选参考画面生成的；参考画面选择单元，用于根据所述相关度从候选参考画面中为每个区域选择至少一个参考画面；以及运动估计单元，用于利用由所述参考画面选择单元为所述区域选择的参考画面，估计包含在所述区域中的当前块的运动矢量。利用这种结构，可以通过有效地减少在其中为当前块搜索运动矢量的参考画面的数量，来根据区域运动矢量的相关度确定参考画面，以及在减少处理量的同时估计具有高精确度的当前块的运动矢量。

上述参考画面选择单元可以从候选参考画面中选择与具有高相关度的缩小的候选参考画面相对应的参考画面。利用这种结构，可以通过充分减少在其中为当前块搜索运动矢量的参考画面的数量，来根据区域运动矢量以及该区域运动矢量的相关度来确定参考画面，以及在减少处理量的同时估计具有高精确度的当前块的运动矢量。

上述运动矢量估计装置进一步包括搜索范围确定单元，其用于根据区域运动矢量为当前块确定关于运动矢量搜索范围的信息，并且上述运动估计单元可以根据由所述搜索范围确定单元确定的关于运动矢量搜索范围的信息，在由所述参考画面选择单元选择的参考画面中确定运动矢量搜索范围，以及通过在所确定的运动矢量搜索范围内进行搜索，估计当前块的运动矢量。按照这种结构，根据区域运动矢量确定关于运动矢量搜索范围的信息，例如针对当前块的运动矢量搜索范围的大小、运动矢量搜索范围的偏移量、搜索运动矢量时搜索位置抽取(decimation)量、以及在计算所述块的估计值的过程中像素抽取量。这些信息的确定使得有效地确定运动矢量搜索范围成为可能。因此，可以估计具有高精确度的当前块的运动矢量。

上述搜索范围确定单元可以根据区域运动矢量和相关度确定关于运动矢量搜索范围的信息。利用这种结构，根据区域运动矢量以及该区域运动矢量的相关度确定关于运动矢量搜索范围的信息。这使得更加有效地确定运动矢量搜索范围成为可能。因此，可以估计具有高精确度的当前块的运动矢量。

需要注意的是，本发明不仅可以实现为上述运动矢量估计装置，还可以实现为以步骤形式包括运动矢量估计装置中特征单元的运动矢量估计方法，以及实现为用于让计算机执行这些步骤的程序。此外，可以通过记录在包括CD-ROM的介质上以及通过包括因特网的传输介质来分发这种程序。与本申请技术背景相关的进一步信息

通过引用，在此并入于2005年12月9日递交的日本专利申请No.2005-357028所公开的全部内容，包括说明书、附图和权利要求书。

附图说明

下面结合图示本发明具体实施例的附图进行描述，从中可以容易地看出本发明的上述和其它的目的、优点以及特征。在附图中：

图1为示出根据本发明第一实施例的包括运动矢量估计装置的运动画面编码设备结构的框图；

图2为示出运动画面编码设备中编码单元结构的框图；

图3为示出用于从候选的参考画面中选择一个参考画面的操作顺序的流程图；

图4A为示出被分成多个区域的缩小的当前画面的图；

图4B为示出在区域B与缩小的候选参考画面中一个区域相匹配的图；

图4C为示出用于计算当前画面和参考画面之间相关度的公式的图；

图5为表示如何估计相对于各缩小的候选参考画面的运动矢量的图；

图6为表示如何相对于缩小的候选参考画面估计来自各区域的区域运动矢量的图；

图7为示出根据本发明第二实施例的包括运动矢量估计装置的运动画面编码设备结构的框图；

图8为示出用于选择参考画面以及确定关于运动矢量搜索范围的信息的操作顺序的流程图；

图9为示出用于确定关于运动矢量搜索范围的信息的操作顺序的流程图；

图10为表示如何偏移运动矢量搜索范围的位置的图；

图11为表示运动矢量搜索范围的大小以及如何偏移该范围的位置的图；

图12为表示搜索位置抽取量的图；

图13为表示在运动矢量搜索过程中用于计算估计值的像素抽取量的图；

图14为表示根据本发明第三实施例的用于在运动矢量估计设备中设置搜索范围的方法的图；

图15为表示根据本发明第三实施例的用于在运动矢量估计设备中设置搜索范围的另一种方法的图；

图16为表示根据本发明第四实施例的用于在运动矢量估计设备中校正关于运动矢量搜索范围的信息的方法的图。

具体实施方式

下面参照附图描述本发明的优选实施例。

(第一实施例)

图1是表示根据本发明第一实施例的包括运动矢量估计装置的运动画面编码设备结构的框图。

运动画面编码设备100用于以块为单位对输入的运动画面进行编码，如图1所示，其包括缩小画面产生单元1、画面存储器2、画面分割单元3、区域运动矢量估计单元4、相关度计算单元5、参考画面选择单元6和编码单元7。需要注意的是，在本实施例中假设了编码单元7执行根据H.264标准的编码。另外，还假设了在实际由编码单元7以每个宏块为单位执行运动矢量估计的过程中搜索单个矩形区域。

缩小画面产生单元1接收候选参考画面和包括将要编码的宏块(当前块)的将要编码的当前画面(输入画面)，其中候选参考画面能够被参考用于估计在编码当前块中使用的运动矢量，并计算将要从当前画面和候选参考画面减少的外围像素，从而产生缩小的将要编码的当前画面和缩小的候选参考画面，两者都具有被减少的像素。尽管缩小画面产生单元1计算了从当前画面和候选参考画面分别减少的外围像素以产生缩小当前画面和缩小候选参考画面，但是本发明并不局限于这种结构，并且缩小画面产生单元1可以仅抽取画面中所包含的一部分像素。将由缩小画面产生单元1产生的缩小的候选参考画面保存到画面存储器2中。

画面分割单元3将由缩小画面产生单元1产生的缩小的当前画面分成多个区域。区域运动矢量估计单元4对由画面分割单元3所得到的每个区域，估计相对于缩小画面产生单元1所产生的每个缩小候选参考画面的区域运动矢量。更具体地说，区域运动矢量估计单元4计算被包含在缩小的候选参考画面中并且与当前画面中目标区域最相似的图像区域的位置，并估计指示该位置的运动矢量，作为相对于该缩小的候选参考画面的区域运动矢量。区域运动矢量估计单元4相对于每个缩小的候选参考画面为每个区域执行上述操作，从而估计相对于每个缩小候选参考画面的区域运动矢量。

相关度计算单元5为每个区域计算相关度，所述相关度是指示相对于每个缩小候选参考画面的区域运动矢量的相似性的指数，其中区域运动矢量是由区域运动矢量估计单元4估计的。更具体地说，相关度计算单元5利用所述区域的图像值与包含在缩小的候选参考画面中且由区域运动矢量所指示的图像区域的图像值的协方差，来计算每个区域的区域运动矢量的相关度。然后，相关度计算单元5相对于每个缩小的候选参考画面为每个区域运动矢量执行上述操作，从而获得区域中每个区域运动矢量的相关度。

参考画面选择单元6根据由区域运动矢量估计单元4估计的区域运动矢量和由相关度计算单元5计算的每个区域运动矢量的相关度，从能够被参考用于估计将要编码的当前块的运动矢量的候选参考画面当中，为每个区域选择一个参考画面。

图2是示出运动画面编码设备100中编码单元7的结构的框图。

编码单元7包括运动估计单元702、运动补偿单元703、差值计算单元704、正交变换单元705、量化单元706、反量化单元707、反正交变换单元708、加法单元709、画面存储器710、以及可变长编码单元712。需要注意的是，根据H.246标准对I画面和帧内宏块执行了帧内预测。然而，在本发明中并没有给出它的描述，而是重点描述运动补偿。

将输入画面输入到运动估计单元702和差值计算单元704。

运动估计单元702利用由参考画面选择单元6选择的参考画面估计当前块的运动矢量。更具体地说，运动估计单元702在参考画面选择单元6所选择的参考画面中确定的预定运动矢量搜索范围内进行搜索。通过这么操作，定位与当前块最相似的图像区域，并且估计指示该图像区域位置的运动矢量。例如，这里与当前块最相似的图像区域是具有最小的绝对差值之和(SAD)的图像区域，所述最小的SAD是在参考画面中各搜索范围的像素值和当前块的像素值之间的SAD当中最小的SAD。需要注意的是，H.264标准允许针对每个将要编码的16像素乘16像素(16×16)的当前宏块进行可变块大小运动矢量估计以及运动补偿，其中所述当前宏块具有大小为16×16、16×8、8×16、8×8、8×4、4×8、4×4等等的块。

运动补偿单元703利用由运动估计单元702估计的运动矢量，从保存在画面存储器710中的解码后画面选取用于预测图像的最佳图像区域，并生成该预测图像。

另一方面，当差值计算单元704接收到输入画面时，计算输入画面中当前块的图像与预测图像之间的差值，并将差值输出给正交变换单元705。正交变换单元705将该差值变换为频率系数，并将所得到的频率系数输出给量化单元706。量化单元706将所输入的频率系数量化，并将得到的量化值输出给可变长编码单元712。

反量化单元707对输入的量化值进行反量化，从而重新生成频率系数，并将得到的系数输出给反正交变换单元708。反正交变换单元708将频率系数反变换为差分像素值，并将得到的值输出给加法单元709。加法单元709将差分像素值与从运动补偿单元703输出的预测图像值相加，从而获得解码后的画面。可变长编码单元712执行量化值、运动矢量等的可变长编码，并输出流。

接着，描述包括上述结构运动矢量估计装置的运动图像编码设备100的操作。图3是表示从候选参考画面当中选出一个参考画面所执行的操作顺序的流程图。

首先，缩小画面产生单元1接收将要编码的当前画面。例如，将要编码的当前画面由1920像素×1080像素组成，并且包括将要编码的当前块。由于在本实施例中假设了根据H.264标准执行编码，所以当前块是由16像素×16像素组成的宏块。缩小画面产生单元1缩小当前画面的大小，并产生缩小的当前画面。

另外，缩小画面产生单元1接收由编码单元7本地解码的且能够被参考用于估计运动矢量的候选参考画面，其中所述运动矢量用于对当前块进行编码。如同当前画面一样，例如，该本地解码的参考画面由1920像素×1080像素组成。缩小画面产生单元1缩小每个候选参考画面的大小，并产生缩小的候选参考画面(步骤S101)。然后，将由缩小画面产生单元1所产生的缩小的参考画面保存到画面存储器2中。

接着，画面分割单元3将由缩小画面产生单元1产生的缩小当前画面分成多个区域(步骤S102)。如图4A所示，该缩小当前画面在水平方向和垂直方向都被分成两部分，从而被分成四个区域A、B、C和D。

接着，区域运动矢量估计单元4相对于缩小画面产生单元1所产生的每个缩小的候选参考画面为由画面分割单元3所获得的每个区域估计区域运动矢量(步骤S103)。例如，如图4B所示，当估计区域B的区域运动矢量AMV时，区域运动矢量估计单元4通过仅利用与缩小的候选参考画面相重叠的部分执行匹配来计算估计值。如果重叠部分较小，则估计值也变小，所以根据重叠部分的大小计算校正值，以作为估计值。接着，区域运动矢量估计单元4计算能够提供最小校正估计值的位置，从而估计指示该位置的运动矢量，以作为相对于缩小的候选参考画面的区域运动矢量AMV。例如，如图5所示，假设有三个候选参考画面，区域运动矢量估计单元4首先估计相对于第一缩小候选参考画面52的区域运动矢量。需要注意的是，本发明并不局限于这种仅利用与缩小的候选参考画面重叠的部分执行匹配。例如，可以在将缩小的候选参考画面周围区域填充了像素数据之后，利用整个区域执行匹配。

接着，相关度计算单元5计算相关度，该相关度是指示由区域运动矢量估计单元4估计的区域运动矢量AMV的相似性的指数(步骤104)。更具体地说，相关度计算单元5利用如图4C所示的公式，通过计算重叠部分的协方差，计算与如图4所示的区域运动矢量AMV的相似性相对应的重叠部分的相关程度。此处计算了重叠部分的协方差。然而，需要注意的是，也可以使用其他指标，例如重叠部分像素值的绝对差值之和。

接着，参考画面选择单元6确定由相关度计算单元5计算的区域运动矢量AMV的相关度是否大于或等于预定阈值(步骤S105)。结果，当区域运动矢量AMV的相关度大于或等于预定阈值时(步骤S105中为是)，参考画面选择单元6开始对候选参考画面进行计数(步骤S106)。另一方面，当区域运动矢量AMV的相关度小于预定阈值时(步骤S105中为否)，参考画面选择单元6不对候选参考画面进行计数。

从估计区域运动矢量的过程(步骤S103)到对候选参考画面计数的过程(步骤S106)的操作重复执行多次，次数等于能够被参考用于估计当前块的运动矢量的候选参考画面的数量。更具体地说，在上面的例子中，相对于图5中第二缩小候选参考画面53估计区域运动矢量，计算并确定相关度，然后执行对候选参考画面进行计数的过程。下一步，相对于第三缩小候选参考画面54估计区域运动矢量，计算并确定相关度，然后执行对候选参考画面进行计数的过程。

接着，参考画面选择单元6确定候选参考画面是否被计数(步骤S107)。结果，当候选参考画面被计数时(步骤S107中为是)，参考画面选择单元6从相关度大于或等于预定阈值的画面当中选择具有最高相关度的画面作为参考画面(步骤S108)。另一方面，当候选参考画面没有被计数时(步骤S107中为否)，也就是说，当没有画面的相关度大于或等于预定阈值时，参考画面选择单元6选择具有最小值的区域运动矢量指向的画面作为参考画面(步骤S109)。

接着，参考画面选择单元6确定是否已经为所有的区域选择了参考画面(步骤S110)。结果，当已经为所有区域选择了参考画面时(步骤S110中为是)，针对一个当前画面的过程结束。另一方面，当还没有为所有区域选择了参考画面时(步骤S110中为否)，重复执行从估计区域运动矢量的过程(步骤S103)至选择参考画面的过程(步骤S108或S109)的操作。

作为上述操作的结果，如图6所示，为缩小的当前画面中的区域A和区域B选择与缩小的候选参考画面52相对应的参考画面，为缩小的当前画面中的区域C选择与缩小候选参考画面54相对应的参考画面，为缩小的当前画面中的区域D选择与缩小候选参考画面53相对应的参考画面。

然后，编码单元7中的运动估计单元702利用由参考画面选择单元6选择的参考画面，估计当前块的运动矢量。

如上所述，在本实施例中，根据由区域运动矢量估计单元4估计的区域运动矢量和由相关度计算单元5计算的相关度，从能够被参考的候选参考画面中选择一个参考画面。因此，可以在减少在其中搜索运动向量的候选参考画面数量的同时估计精确的运动矢量，从而提高编码效率。

需要注意的是，虽然本实施例描述了从能够被参考的候选参考画面中选择一个参考画面的操作顺序，但是本发明并不局限于这些操作。例如，可以选择两个参考画面。在这种情况下，在通过上述方法选择了第一参考画面之后，参考画面选择单元6选择具有次高相关度的另一个候选参考画面作为第二参考画面。可替代地，如果只有一个候选参考画面具有预定阈值的相关度或更高的相关度，那么参考画面选择单元6选择相关度小于阈值且具有最小值的区域运动矢量指向的候选参考画面中的一个作为第二参考画面。此外，还可以利用与上述方法相似的方法，从四个或更多的能够被参考的候选参考画面中选择三个参考画面。

(第二实施例)

图7是示出根据本发明第二实施例的包括运动矢量估计装置的运动画面编码设备的结构的框图。需要注意的是，与第一实施例中相同的部件用相同的附图标记表示，并且不再重复描述这些部件。

运动画面编码设备200除了包括第一实施例中运动画面编码设备100的部件之外，还包括如图7所示的搜索范围确定单元201。

搜索范围确定单元201根据区域运动矢量估计单元4估计的区域运动矢量和相关度计算单元5计算的相关度，确定关于运动矢量搜索范围的信息。该信息包括：相对于由参考画面选择单元6所选择的参考图像的运动矢量搜索范围的大小、运动矢量搜索范围的偏移量、搜索运动矢量时搜索位置抽取量、以及在计算估计值中像素抽取量。

除了运动估计单元702的操作不同以外，编码单元7的结构与第一实施例中编码单元的结构相同。

运动估计单元702利用由搜索范围确定单元201确定的关于运动矢量搜索范围的信息，确定当前块的运动矢量搜索范围，并在由参考画面选择单元6选择的参考画面中所确定的运动矢量搜索范围内进行搜索。通过上述操作，运动估计单元702估计与当前块最相似的图像区域，并且估计指示该图像区域位置的运动矢量。

接着，描述包括上述结构运动矢量估计装置的运动画面编码设备200的操作。图8是表示选择参考画面并确定关于运动矢量搜索范围的信息的操作顺序的流程图。

从产生缩小的将要编码的当前画面和相应的缩小候选参考画面的过程(步骤S101)到选择参考画面的过程(步骤S108或步骤S109)的操作与第一实施例中的操作相同。

一旦选择了参考画面，搜索范围确定单元201就确定关于运动矢量搜索范围的信息(步骤S201)。图9是表示确定所述关于运动矢量搜索范围的信息的操作顺序的流程图。

首先，搜索范围确定单元201确定相对于所选择的参考画面的区域运动矢量的相关度是否大于或等于一预定阈值(步骤S301)。当结果显示该区域运动矢量的相关度大于或等于该预定阈值时(步骤S301中为是)，搜索范围确定单元201确定相对于所选择的参考画面的区域运动矢量是否大于或等于一预定阈值(步骤S302)。当结果显示该区域运动矢量大于或等于该预定阈值时(步骤S302中为是)，搜索范围确定单元201确定使用大的运动矢量搜索范围偏移量、小的在运动矢量搜索范围中搜索位置抽取量、以及中等大小的搜索范围(步骤S303)。另一方面，当结果显示该区域运动矢量小于该预定阈值时(步骤S302中为否)，搜索范围确定单元201确定使用小的运动矢量搜索范围偏移量、小的在运动矢量搜索范围中搜索位置抽取量、以及小尺寸的搜索范围(步骤S304)。

当区域运动矢量的相关度小于该预定阈值时(步骤S301中为否)，搜索范围确定单元201确定相对于所选择的参考画面的区域运动矢量是否大于或等于预定阈值(步骤S305)。当结果显示区域运动矢量大于或等于预定阈值时(步骤S305中为是)，搜索范围确定单元201确定使用中等的运动矢量搜索范围偏移量、大的在运动矢量搜索范围中搜索位置抽取量、以及大尺寸的搜索范围(步骤S306)。另一方面，当结果显示区域运动矢量小于预定阈值时(步骤S305中为否)，搜索范围确定单元201确定使用小的运动矢量搜索范围偏移量、大的在运动矢量搜索范围中搜索位置抽取量、以及中等大小的搜索范围(步骤S307)。

当相关度高时，可以判断出图像间的匹配程度高，而且区域运动矢量AMV的精确度也高。当区域运动矢量的精确度高时，可以判断出当前块的运动矢量的精确度并不是非常波动。因此，如上所述，当相关度高时，与相关度低时相比，确定了较小的搜索范围。另外，在这种情况下，搜索位置抽取量也确定为小。另一方面，当相关度低时，可以判断出图像间的匹配程度低，而且区域运动矢量AMV的精确度也低。当区域运动矢量的精确度低时，可以判断出当前块的运动矢量的精确度剧烈波动。因此，如上所述，当相关度低时，与相关度高时相比，确定了较大的搜索范围。另外，由于在搜索范围确定为较大时处理量增加了，所以确定大的搜索位置抽取量。

一旦如上所述确定了关于运动矢量搜索范围的信息，搜索范围确定单元201就确定是否对所有区域的处理已经完成(步骤S110)。结果，当对所有区域的处理已经完成时(步骤S110中为是)，针对将要编码的一个当前画面的处理结束。另一方面，当对所有区域的处理还没有完成时(步骤S110中的否)，重复执行从估计区域运动矢量的过程(步骤S103)至确定关于运动矢量搜索范围的信息的过程(步骤S201)。

接着，利用上述确定的关于运动矢量搜索范围的信息，由运动估计单元702确定运动矢量搜索范围并执行运动矢量搜索，下面给出这些操作的描述。

首先，描述如何偏移搜索范围的位置。图10是显示如何偏移运动矢量搜索范围的框图。

与缩小的将要编码的当前画面的情况相似，将要编码的当前画面在水平方向和垂直方向都被分为两部分，从而被分成四个区域。各个区域与缩小的当前画面的区域A至D相对应。标准位置的搜索范围由图10中虚线所围住，所围住的搜索范围包括位于其中央的当前块。运动估计单元702将搜索范围从标准位置偏移由搜索范围确定单元201所确定的每个区域中的搜索范围偏移量R，从而在由如图10中实线围住的范围内搜索运动矢量。例如，当确定了偏移量R时，如图10中的区域A、区域B和区域C所示，将各区域分别偏移了偏移量R。当偏移量R为0时，如图10的区域D所示，搜索范围与标准位置的搜索范围相同。

接着，描述运动矢量搜索范围的大小。图11是表示运动矢量搜索范围的大小和如何偏移搜索范围位置的图。

与上述情况相似，标准位置的搜索范围由图11中的虚线围住，并且所围住的搜索范围包括位于其中央的当前块。运动估计单元702根据由搜索范围确定单元210所确定的每个区域中的运动矢量搜索范围的大小，将标准位置的搜索范围扩大预定的量，保持被扩大的搜索范围不变，或者将其缩小预定的量。然后，运动估计单元702将搜索范围偏移偏移量R’，并且在由图11中实线围住的范围内搜索运动矢量。例如，当搜索范围大且偏移量R’被确定时，如图11中的区域A所示，将标准位置的搜索范围扩大预定的量，并将扩大的搜索范围偏移偏移量R’。另外，当搜索范围的大小为中等且偏移量R’被确定时，如图11中的区域B所示，保持标准位置的搜索范围不变，并将搜索范围偏移偏移量R’。当搜索范围小且偏移量R’被确定时，如图11中的区域C所示，将标准位置的搜索范围缩小预定的量，并将缩小的搜索范围偏移偏移量R’。另外，当搜索范围小且偏移量R’为0时，如图11中区域D所示，标准位置的搜索范围为缩小的搜索范围。在此假设了标准位置的搜索范围被扩大或缩小。然而，需要注意的是，搜索范围并不总是被扩大或缩小。可以将搜索范围的大小改变为预定的大小，然后可以将预定大小的搜索范围偏移该搜索范围的偏移量。

接着，描述搜索位置抽取量。图12是表示搜索位置抽取量的图。

在搜索范围确定单元201扩大搜索范围的情形中，当在所有位置分别计算估计值并且搜索运动矢量时，处理量会与搜索范围的大小成比例增加。当采用不增加处理量而扩大搜索范围的方法时，需要执行搜索位置抽取。例如，在执行二分之一水平搜索位置抽取的情况下，如图12所示，运动估计单元702对在水平方向上每隔一个像素的每个位置执行搜索，其顺序为第一搜索位置、第二搜索位置、第三搜索位置，等等。

接着，描述在计算估计值中的像素抽取量。图13是表示在搜索运动矢量时计算估计值的过程中像素抽取量的图。

在搜索运动矢量时计算估计值的过程中使用像素抽取的目的与使用搜索位置抽取的目的相同。使用搜索位置抽取是一种在保持处理量的同时扩大搜索范围的方法。例如，在执行二分之一水平搜索位置抽取的情况下，如图13所示，运动估计单元702利用位于水平方向上每隔一个像素位置处的像素数据计算估计值。一般来说，计算当前块中所有像素与搜索位置中所有像素之间的绝对差值之和。然而，这里只计算了图13中阴影像素与对应的像素之间的绝对差值之和。

如上所述，在本实施例中，根据由区域运动矢量估计单元4估计的区域运动矢量和由相关度计算单元5估计的区域运动矢量的相关度来确定关于运动矢量搜索范围的信息，例如运动矢量搜索范围的大小、运动矢量搜索范围的偏移量、搜索运动矢量时搜索位置抽取量、以及在计算块的估计值时像素抽取量。因此，可以有效地确定运动矢量搜索范围，从而估计具有高精确度的运动矢量。

在本实施例中，针对根据下面的两个条件确定的四种情况中的每种情况，确定关于运动矢量搜索范围的信息：区域运动矢量的大小是否大于或等于一预定阈值；区域运动矢量的相关度是否大于或等于一预定阈值。但是本发明并不局限于这样的确定四种情况中每种的方式。例如，可以根据基于两个或更多阈值的三个或更多条件来确定更详细的情况，并且针对这些情况中的每种情况确定所述信息。

(第三实施例)

在第二实施例中，描述了在运动估计单元702中估计运动矢量时准备一个运动矢量搜索范围的情况。在本实施例中，将描述准备多个运动矢量搜索范围的情形。

图14是表示根据本发明第三实施例在运动矢量估计装置中如何设置搜索范围的图。由于该运动矢量估计装置的结构与第二实施例中运动矢量估计装置的结构相同，这里不再重复描述。

如图14所示，运动估计单元702对搜索范围91和92进行搜索。搜索范围91位于具有预定大小且在其中央具有将要编码的当前块(宏块)的矩形区域中。搜索范围92位于处在由区域运动矢量AMV所指向位置的矩形区域中。与第一实施例相似，对于搜索区域92来说，可以根据相关度和区域运动矢量的大小来改变搜索位置抽取量、在计算估计值中像素抽取量、以及搜索范围的大小。

这里假设了对上述两个搜索区域进行搜索，但需要注意的是，也可以搜索在其中央具有由在H.264标准中定义的预测矢量所指向的位置的矩形区域。在这种情况下，如图15所示，运动估计单元702除了搜索具有预定大小且在其中央具有将要编码的当前块(宏块)的矩形区域中的搜索范围91和位于区域运动矢量所指向位置的矩形区域的搜索范围92外，还要搜索位于预测矢量PMV所指向位置的矩形区域的搜索范围93。

如上所述，对中央具有当前块的搜索范围91和根据区域运动矢量AMV确定的搜索范围92进行搜索，使得即使每个搜索范围被设置得小也能估计具有高精确度的运动矢量。

(第四实施例)

在本实施例中，将描述相对于宏块(将要编码的当前块)校正关于运动矢量搜索范围的信息的情况，其中所述宏块(将要编码的当前块)呈现为与区域间边界接触。

图16是表示根据本发明第四实施例在运动矢量估计装置中如何校正关于运动矢量搜索范围的信息的图。由于该运动矢量估计装置的结构与第二实施例中运动矢量估计装置的结构相同，这里不再重复描述。

搜索范围确定单元201根据每组相邻区域的相关度，相对于与区域间边界接触的宏块校正关于运动矢量搜索范围的信息。这里假设，对于图16中所示的将要编码的当前画面中区域A至区域D，相关度数值按照区域B、D、A、C的次序减小。在这种情况下，对于位于具有较低相关度的区域中且接触具有较高相关度的区域的宏块，搜索范围确定单元201进行校正，以便利用具有较高相关度的区域的区域运动矢量的值或者搜索范围偏移量、以及参考画面。例如，对由与区域B相邻且包含在区域D、A、C中的宏块构成的区域111进行校正，以便利用区域B的区域运动矢量或搜索范围偏移量、以及参考画面。另外，对与区域A相邻且包含在区域C中的区域112进行校正，以便利用区域A的区域运动矢量或搜索范围偏移量、以及参考画面。另外，对与区域D相邻且包含在区域C中的区域113进行校正，以便利用区域D的区域运动矢量或搜索范围偏移量、以及参考画面。

如上所述，根据每套相邻区域之间的相关度，为与区域间边界接触的每个宏块校正参考画面和关于运动矢量搜索范围的信息。因此，可以有效地确定运动矢量搜索范围，并且估计具有高精确度的运动矢量。

这里假设与边界接触的区域表示与边界接触的一行宏块。然而，本实施例的处理可以应用于由多行宏块组成的区域。另外，可以根据相关度的不同，改变将要校正的宏块数目。下面是一个相关度数值设置在0和1之间的例子。当相关度差值为0.5或0.5以上时，使用两行宏块来校正区域运动矢量或搜索范围的偏移量。当相关度差值不小于0.25且小于0.5时，使用一行宏块来校正区域运动矢量或搜索范围的偏移量。另外，可以根据相关度通过执行线性插值将边界周围宏块的区域运动矢量或搜索范围的偏移量替换为另一个。

图1、图2和图7所示框图中的每个功能块由典型的集成电路LSI实现。该LSI可以集成为一个芯片，也可以集成为多个芯片。例如，除了存储器之外的功能块可以集成为一个芯片。此处使用的名称是LSI，但是也可以根据集成的程度将其称为IC、系统LSI、超级LSI或者超LSI。

此外，实现集成的方法并不局限于LSI，专用电路或者通用处理器等等也能实现集成。能够在制造LSI之后进行编程的现场可编程门阵列(FPGA)或者允许重新配置连接或者设置LSI中电路单元的可重新配置处理器可以被用于上述相同目的。

将来，随着半导体技术或者由此发展起来的其它技术的进步，全新的集成技术可以替代LSI。可以用那些技术实现集成。其中的一种可能就是生物工程的应用。

只有用于在功能块之外存储数据的单元可以被构造为独立的单元，而不集成到一个芯片中。

尽管以上已详细描述了本发明的一些示例性实施例，但是本领域技术人员很容易意识到，可以在本质上不背离本发明新颖的教导和优势的示例性实施例中进行多种修改。因此，所有此类修改都被意味着包括在本发明的范围之内。

工业应用性

根据本发明的运动矢量估计装置和运动矢量估计方法对于通过根据H.264标准执行画面间预测来压缩画面、录制TV广播节目以及拍摄运动画面等方面应用是非常有用的。例如，它们可以应用到个人计算机、HDD记录器、DVD记录器、摄像机以及带有摄像机的移动电话。

Claims (8)

1、一种运动矢量估计装置，其相对于参考画面估计包含在将要编码的当前画面中的当前块的运动矢量，所述装置包括：

缩小画面产生单元，其用于通过减少当前画面和候选参考画面的像素数量，分别产生缩小的当前画面和缩小的候选参考画面；

画面分割单元，其用于将所述缩小的当前画面分成多个区域；

区域运动矢量估计单元，其用于为每个缩小的候选参考画面估计区域运动矢量，其中所述区域运动矢量是相对于所述缩小的候选参考画面的每个区域的运动矢量；

相关度计算单元，其用于为每个缩小的候选参考画面计算每个区域的图像与预测的区域图像之间的相关度，其中所述预测的区域图像是根据所述区域运动矢量和缩小的候选参考画面生成的；

参考画面选择单元，其用于根据所述相关度从候选参考画面中为每个区域选择至少一个参考画面；以及

运动估计单元，其用于利用由所述参考画面选择单元为所述区域选择的参考画面，估计包含在所述区域中的当前块的运动矢量。

2、根据权利要求1的运动矢量估计装置，

其中，所述参考画面选择单元用于从候选参考画面中选择与具有高相关度的缩小的候选参考画面相对应的参考画面。

3、根据权利要求1的运动矢量估计装置，

其中，所述参考画面选择单元用于根据所述相关度和区域运动矢量，从候选参考画面中为每个区域选择至少一个参考画面。

4、根据权利要求3的运动矢量估计装置，

其中，所述参考画面选择单元用于确定为每个缩小的候选参考画面计算的相关度是否大于或等于一预定阈值，并且(i)当任意缩小的候选参考画面具有大于或等于该预定阈值的相关度时，从具有大于或等于该预定阈值的相关度的缩小的候选参考画面中选择与具有高相关度的缩小的候选参考画面相对应的参考画面，以及(ii)当没有缩小的候选参考画面具有大于或等于该预定阈值的相关度时，选择与具有小区域运动矢量的缩小的候选参考画面相对应的参考画面。

5、根据权利要求1的运动矢量估计装置，进一步包括：

搜索范围确定单元，其用于根据所述区域运动矢量，为当前块确定关于运动矢量搜索范围的信息，

其中，所述运动估计单元用于根据由所述搜索范围确定单元确定的所述关于运动矢量搜索范围的信息，在由所述参考画面选择单元选择的参考画面中确定运动矢量搜索范围，以及通过在所确定的运动矢量搜索范围内进行搜索来估计当前块的运动矢量。

6、根据权利要求3的运动矢量估计装置，

其中，所述搜索范围确定单元用于根据所述区域运动矢量和相关度确定关于运动矢量搜索范围的信息。

7、一种运动矢量估计方法，其相对于参考画面估计包含在将要编码的当前画面中的当前块的运动矢量，所述方法包括：

通过减少当前画面和候选参考画面的像素数量，分别产生缩小的当前画面和缩小的候选参考画面；

将所述缩小的当前画面分成多个区域；

为每个缩小的候选参考画面估计区域运动矢量，其中所述区域运动矢量是相对于所述缩小的候选参考画面的每个区域的运动矢量；

为每个缩小的候选参考画面计算每个区域的图像与预测的区域图像之间的相关度，其中所述预测的区域图像是根据所述区域运动矢量和缩小的候选参考画面生成的；

根据所述相关度从候选参考画面中为每个区域选择至少一个参考画面；以及

利用在所述选择步骤中为所述区域选择的参考画面，估计包含在所述区域中的当前块的运动矢量。

8、一种集成电路，用于相对于参考画面估计包含在将要编码的当前画面中的当前块的运动矢量，所述电路包括：

缩小画面产生单元，其用于通过减少当前画面和候选参考画面的像素数量，分别产生缩小的当前画面和缩小的候选参考画面；

画面分割单元，其用于将所述缩小的当前画面分成多个区域；

区域运动矢量估计单元，其用于为每个缩小的候选参考画面估计区域运动矢量，其中所述区域运动矢量是相对于所述缩小的候选参考画面的每个区域的运动矢量；

相关度计算单元，其用于为每个缩小的候选参考画面计算每个区域的图像与预测的区域图像之间的相关度，其中所述预测的区域图像是根据所述区域运动矢量和缩小的候选参考画面生成的；

参考画面选择单元，其用于根据所述相关度从候选参考画面中为每个区域选择至少一个参考画面；以及

运动估计单元，其用于利用由所述参考画面选择单元为所述区域选择的参考画面，估计包含在所述区域中的当前块的运动矢量。

Images