CN1816154A - 用于运动估计的方法和装置 - Google Patents

Abstract

提供了一种可以降低计算量的用于运动估计的方法和装置。该运动估计方法包括：存储为要被运动估计的先前匹配块所计算得到的块间匹配差值；使用所存储的块间匹配差值为要被运动估计的当前匹配块计算块间匹配差值；以及使用为当前匹配块所计算得到的块间匹配差值而对当前匹配块进行运动估计。

Description

用于运动估计的方法和装置

相关专利申请的交叉引用

本申请要求2005年2月3日向韩国知识产权局提交的韩国专利申请号第10-2005-0010228号的优先权，这里通过引用而全部合并其公开。

技术领域

本发明涉及一种用于运动估计的方法和装置。

背景技术

通常，个人计算机(PC)或高清晰度电视(HDTV)进行帧频转换以与遵循各种广播标准诸如逐行倒相(PAL)或全国电视系统委员会(NTSC)的节目兼容。帧频转换(FRC)是改变每秒帧数的动作。特别地，当帧频增加时，有必要插入新帧。

随着广播技术的近期进展，在根据视频压缩标准诸如运动图像专家组(MPEG)和H.263压缩视频数据之后进行帧频转换。在视频处理领域，视频信号通常由于其高自相关性而具有冗余。在数据压缩期间通过去除冗余可以提高数据压缩效率。这里，为了有效地压缩随时间变化的视频帧，有必要去除时间轴方向上的冗余。

时间轴方向上的冗余的去除基于下述想法，即通过用先前帧代替显示没有运动或者轻微运动的帧，可以大大减少要传送的数据量。

为此，需要在先前帧中搜索与当前帧中的块最相似的块的动作，这被称作运动估计(ME)。运动向量(MV)是指示块移动了多少的变量。

对于运动估计，基于运动量的准确度、实时处理的可能性、以及硬件实现而通常采用块匹配算法(BMA)。用于FRC的各帧之间的中间图像的生成采用上述的BMA，并且可以简单表示为如图1所示。

参考图1，为了在先前帧F_n-1和当前帧F_n之间插入中间图像帧F_i，通过先前帧F_n-1的块B与当前帧F_n的块B之间的运动估计而生成中间图像帧F_i的块B。

由于BMA易于实现并且适于实时处理，所以其不仅用于FRC中而且用于诸如MPEG2/4和H.262/264的压缩标准中。尽管BMA在水平和/或垂直运动估计中展示出超越性能，但是在图像的旋转或放大/缩小方面其性能很差。

为了改善在使用BMA时的运动估计的准确度，应该增加匹配块的大小。块大小的增加不仅改善了准确度，而且增加了计算量并且使得精确表示困难。另一方面，块大小的降低不仅降低了计算量并且使得精确表示成为可能，而且也降低了准确度。

在用于提高匹配准确度和允许精确表示的常规技术中，存在使用具有保护块(guard block)的块的运动估计技术。在该技术中，如图2A所示，M×M的块用于运动估计并且N×N的块用于运动补偿。

参考图2B，使用具有保护块的M×M的块进行运动估计，并且使用N×N的运动补偿块进行实际运动补偿。这样，提高了匹配准确度，并且通过使用N×N的块的内插可以改善表示精度。但是，这样的技术仍然增加了计算量。

发明内容

本发明提供了一种降低了计算量的用于运动估计的方法和装置。

根据本发明的一个方面，提供了一种用于运动估计的方法。该方法包括：存储为要被运动估计的先前匹配块所计算的块间匹配差值；使用所存储的块间匹配差值为要被运动估计的当前匹配块计算匹配差值；以及使用为当前匹配块所计算的块间匹配差值，而对当前匹配块进行运动估计。

该先前匹配块或当前匹配块大于要被运动补偿的块。

当前匹配块或先前匹配块的块间匹配差值是通过对来自当前匹配块或先前匹配块的像素进行采样而计算得到的。

根据本发明的另一方面，提供了一种用于运动估计的方法。该方法包括：从存储器中读取先前匹配块的块间匹配差值的右半部分；计算要被运动估计的当前匹配块的块间匹配差值的右半部分；将所读取的右半部分与所计算得到的右半部分相加，以获得当前匹配块的块间匹配差值；以及使用所获得的块间匹配差值对当前匹配块进行运动估计。

所述进行运动估计的步骤包括：确定在整个搜索区域中所获得的块间匹配差值之中具有最小块间匹配差值的搜索块；以及基于所确定的搜索块和当前搜索块而确定运动向量。

根据本发明的另一方面，提供了一种用于运动估计的装置。该装置包括；存储单元、预测单元、以及运动向量确定单元。该存储单元存储为先前匹配块所计算的块间匹配差值。该预测单元使用所存储的块间匹配差值而为要被运动估计的当前匹配块计算块间匹配差值。该运动向量确定单元使用为当前匹配块所计算得到的块间匹配差值而对当前匹配块进行运动估计。

根据本发明的另一方面，提供了一种用于运动估计的装置。该装置包括匹配差值存储单元、预测单元、以及运动向量确定单元。该匹配差值存储单元存储先前匹配块的块间匹配差值的右半部分。该预测单元计算要被运动估计的当前匹配块或先前匹配块的块间匹配差值的右半部分，并且将所读取的右半部分与所计算得到的右半部分相加，以获得当前匹配块或先前匹配块的块间匹配差值。该运动向量确定单元使用所获得的块间匹配差值对当前匹配块进行运动估计。

附图说明

通过参考附图详细描述本发明的示例性实施例，本发明的上述以及其它方面将变得更清楚，在所述附图中：

图1是用于解释根据相关技术的通过运动估计的帧间内插的概念图；

图2A是用于解释根据相关技术的用在运动估计中的保护块的概念的图；

图2B是用于解释根据相关技术的使用保护块的通过运动估计的帧间内插的概念图；

图3图示了根据本发明的用于计算绝对差值之和(SAD)的匹配块；

图4A和4B图示了根据本发明的用于运动估计的先前匹配块和当前匹配块；

图5A图示了用于计算SAD的先前匹配块的搜索区域以及该搜索区域中的第一搜索块；

图5B图示了用于基于图5A中所示的第一搜索块和先前匹配块而计算SAD的公式；

图6A图示了用于SAD计算的先前匹配块的搜索区域、以及在该搜索区域中从图5A中所示的第一搜索块沿x轴移动1的搜索块的位置；

图6B图示了用于基于图6A中所示的搜索块和先前匹配块而计算SAD的公式；

图7A图示了用于SAD计算的先前匹配块的搜索区域、以及在该搜索区域中从图5A中所示的第一搜索块沿y轴移动1的搜索块的位置；

图7B图示了用于基于图7A中所示的搜索块和先前匹配块而计算SAD的公式；

图8A图示了用于SAD计算的先前匹配块的搜索区域以及该搜索区域中的最后搜索块的位置；

图8B图示了用于基于图8A中所示的最后搜索块和先前匹配块而计算SAD的公式；

图9A图示了用于SAD计算的当前匹配块的搜索区域以及该搜索区域中的第一搜索块的位置；

图9B图示了用于基于图9A中所示的第一搜索块和当前匹配块而计算SAD的公式；

图10A图示了用于SAD计算的当前匹配块的搜索区域、以及在该搜索区域中从第一搜索块沿x轴移动1的搜索块的位置；

图10B图示了用于基于图10A中所示的搜索块和当前匹配块来计算SAD的公式；

图11A图示了用于SAD计算的当前匹配块的搜索区域、以及在该搜索区域中从第一搜索块沿y轴移动1的搜索块的位置；

图11B图示了用于基于图11A中所示的搜索块和当前匹配块来计算SAD的公式；

图12A图示了用于SAD计算的当前匹配块的搜索区域以及该搜索区域中的最后搜索块的位置；

图12B图示了用于基于图12A中所示的最后搜索块和当前匹配块来计算SAD的公式；

图13是用于解释经历根据图5A到图12B所示的示例的等同计算的先前匹配块和当前匹配块的SAD计算的部分公式的参考视图；

图14是根据本发明的用于运动估计的装置的示例性示意框图；

图15是图14中所示的预测单元和绝对差值均值(MAD)存储单元的示例性详细框图；以及

图16是用于解释根据本发明的从匹配块对用于SAD计算的像素进行采样以降低计算量的视图。

具体实施方式

图3图示了根据本发明的用于计算绝对差值之和(SAD)的匹配块。

参考图3，以虚线标记的、由子块a、b、c、和d组成的块指示先前已计算过的匹配块(即，先前匹配块)，而由子块b、d、e、和f组成的块指示当前要计算的匹配块(即，当前匹配块)。这里，由于先前匹配块和当前匹配块的子块b和d重叠，所以由b、d、e、和f组成的当前匹配块的SAD可以通过使用已经计算的子块b和d的SAD仅计算子块e和f的SAD来获得。SAD是匹配块与搜索块之间的差值，更特别地，是匹配块像素与搜索块像素之间的绝对差值之和。

首先，现在将描述使用公式降低计算量的原则。

先前匹配块的SAD由下述公式给出

$\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}|f_n(k+i+x,l+j+y)-f_{n-1}(k+i,l+j)|$

其中(k，l)表示先前匹配块的左上角处像素的坐标，i和j分别表示该先前匹配块中所包括的点的x轴索引和y轴索引，f_n表示当前帧，而f_n-1表示邻近当前帧的先前帧。总而言之，f_n(k+i+x，l+j+y)表示当匹配块的左上角处像素的坐标是(k，l)时匹配块中所包括的像素值，而f_n-1(k+i，l+j)表示该匹配块的搜索块中的像素值。

当前匹配块的SAD表示为

$\mathrm{SA}{D}_{(k+16,l)}(x,y)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}|f_n(k+16+i+x,l+j+y)-f_{n-1}(k+i,l+j)|$

从当前匹配块的SAD中减去先前匹配块的SAD的结果可以表示为

$\mathrm{SA}{D}_{(k+16,l)}(x,y)-\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k+16,l)-\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

if，S_(i，j)(k，l)≡|f_n(k+i+x，l+j+y)-f_n-1(k+i，l+j)|

S_(i，j)(k+16，l)＝|f_n(k+16+i+x，l+j+y)-f_n-1(k+16+i，l+j)|

                ＝S_(i+16，j)(k，l)

这样，结果可以整理并展开如下。

$\mathrm{SA}{D}_{(k+16,l)}(x,y)-\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i+1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k+16,l)-\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i+16,j)}(k,l)-\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$=\underset{i=33}{\overset{48}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

∵ $\underset{m=33}{\overset{48}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)=\underset{m=17}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)+\underset{m=33}{\overset{48}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)$

$\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)+\underset{i=17}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$\mathrm{SA}{D}_{(k+16,l)}(x,y)=\mathrm{SA}{D}_{(k,l)}(x,y)+\underset{i=33}{\overset{48}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

这样，通过重新整理上面的公式，当前匹配块的SAD可以如下分为部分1和部分2。

∴

从上面的公式可见，部分1是当前匹配块的SAD的左半部分，而部分2是当前匹配块的SAD的右半部分。

作为当前匹配块的SAD的左半部分的部分1对应于先前匹配块的SAD的右半部分。这样，在本发明中，先前匹配块的SAD的右半部分的计算结果被存储，并且所存储的结果用于当前匹配块的SAD的计算。

现将利用示例描述重叠计算。

图4A图示了根据本发明的用于运动估计的先前匹配块。

参考图4A，要匹配的块包括先前运动补偿块和邻近该先前运动补偿块的重叠部分，并且由四个点S_1，1、S_1，32、S_32，1、和S_32，32形成。

图4B图示了根据本发明的用于运动估计的当前匹配块。

参考图4B，要匹配的块包括当前运动补偿块和邻近该当前运动补偿块的重叠部分，并且由四个点S_1，17、S_1，48、S_32，17、和S_32，48形成。

图5A到8B图示了先前匹配块的搜索区域中的搜索块的位置以及根据该位置的SAD。

图5A图示了用于SAD计算的先前匹配块的搜索区域以及该搜索区域中第一搜索块的位置。

参考图5A，先前匹配块的搜索区域由R_1，1、R_1，64、R_64，1、和R_64，64形成，以及在该搜索区域中首先搜索到的第一搜索块由R_1，1、R_1，32、R_32，1、和R_32，32形成。

图5B图示了基于图5A所示的第一搜索块和先前匹配块而计算SAD的公式。

SAD(previous)_1，1＝

|S_1，1-R_1，1|+|S_1，2-R_1，2|+...+|S_1，16-R_1，16|+|S_1，17-R_1，17|+...+|S_1，32-R_1，32|+|S_2，1-R_2，1|+|S_2，2-R_2，2|+...+|S_2，16-R_2，16|+|S_2，17-R_2，17|+...+|S_2，32-R_2，32|+...+|S_32，1-R_32，1|+|S_32，2-R_32，2|+...+|S_32，16-R_32，16|+|S_32，17-R_32，17|+...+|S_32，32-R_32，32|

图6A图示了用于SAD计算的先前匹配块的搜索区域、以及在该搜索区域中从第一搜索块沿x轴移动1的搜索块的位置。

参考图6A，从第一搜索块的位置沿着x轴移动1的搜索块由R_1，2、R_1，33、R_32，2、和R_32，33形成。

图6B图示了基于图6A中所示的搜索块和先前匹配块而计算SAD的公式。

SAD(previous)_1，2＝

|S_1，1-R_1，2|+|S_1，2-R_1，3|+...+|S_1，16-R_1，17|+|S_1，17-R_1，18|+...+|S_1，32-R_1，33|+|S_2，1-R_2，2|+|S_2，2-R_2，3|+...+|S_2，16-R_2，17|+|S_2，17-R_2，18|+...+|S_2，32-R_2，33|+...+|S_32，1-R_32，2|+|S_32，2-R_32，3|+...+|S_32，16-R_32，17|+|S_32，17-R_32，18|+...|S_32，32-R_32，33|

图7A图示了用于SAD计算的先前匹配块的搜索区域、以及在该搜索区域中从第一搜索块的位置沿y轴移动1的搜索块的位置。

参考图7A，从第一搜索块的位置沿着y轴移动1的搜索块由R_2，1、R_2，32、R_33，1、和R_33，32形成。

图7B图示了基于图7A中所示的搜索块和先前匹配块而计算SAD的公式。

SAD(previous)_2，1＝

|S_1，1-R_2，1|+|S_1，2-R_2，2|+...+|S_1，16-R_2，16|+|S_1，17-R_2，17|+...+|S_1，32-R_2，32|+|S_2，1-R_3，1|+|S_2，2-R_3，2|+...+|S_2，16-R_3，16|+|S_2，17-R_3，17|+...+|S_2，32-R_3，32|+...+|S_32，1-R_33，1|+|S_32，2-R_33，2|+...+|S_32，16-R_33，16|+|S_32，17-R_33，17|+...|S_32，32-R_33，32|

图8A图示了用于SAD计算的先前匹配块的搜索区域以及该搜索区域中的最后搜索块的位置。

参考图8A，搜索区域中的最后搜索块由R_33，33、R_33，64、R_64，33、和R_64，64形成。

图8B图示了基于图8A中所示的最后搜索块和先前匹配块而计算SAD的公式。

SAD(previous)_32，32＝

|S_1，1-R_32，32|+|S_1，2-R_32，33|+...+|S_1，16-R_32，48|+|S_1，17-R_32，49|+...+|S_1，32-R_32，64|+|S_2，1-R_33，32|+|S_2，2-R_33，33|+...+|S_2，16-R_33，48|+|S_2，17-R_33，49|+...+|S_2，32-R_33，64|+...+|S_32，1-R_64，32|+|S_32，2-R_64，33|+...+|S_32，16-R_64，48|+|S_32，17-R_64，49|+...+|S_32，32-R_64，64|

图9A到12B图示了当前匹配块的搜索区域中的搜索块的位置以及根据该位置的SAD。

图9A图示了用于SAD计算的当前匹配块的搜索区域以及该搜索区域中第一搜索块的位置。

参考图9A，当前匹配块的搜索区域由R_1，17、R_1，80、R_64，17、和R_64，80形成，以及在该搜索区域中首先搜索到的第一搜索块由R_1，17、R_1，48、R_32，17、和R_32，48形成。

图9B图示了基于图9A所示的第一搜索块和当前匹配块的SAD计算的公式。

SAD(current)_1，1＝

|S_1，17-R_1，17|+...+|S_1，32-R_1，32|+|S_1，33-R_1，33|+...+|S_1，48-R_1，48|+|S_2，17-R_2，17|+...+|S_2，32-R_2，32|+|S_2，33-R_2，33|+...+|S_2，48-R_2，48|+...+|S_32，17-R_32，17|+...+|S_32，32-R_32，32|+|S_32，33-R_32，33|+...+|S_32，48-R_32，48|

图10A图示了用于SAD计算的当前匹配块的搜索区域以及在该搜索区域中从第一搜索块的位置沿x轴移动1的搜索块的位置。

参考图10A，从第一搜索块的位置沿着x轴方向移动1的搜索块由R_1，18、R_1，49、R_32，18、和R_32，49形成。

图10B图示了基于图10A中所示的搜索块和当前匹配块的SAD计算的公式。

SAD(current)_1，2＝

|S_1，17-R_1，18|+...+|S_1，32-R_1，33|+|S_1，33-R_1，34|+...+|S_1，48-R_1，49|+|S_2，17-R_2，18|+...+|S_2，32-R_2，33|+|S_2，33-R_2，34|+...+|S_2，48-R_2，49|+...+|S_32，17-R_32，18|+...+|S_32，32-R_32，33|+|S_32，33-R_32，34|+...+|S_32，48-R_32，49|

图11A图示了用于SAD计算的当前匹配块的搜索区域以及在该搜索区域中从第一搜索块的位置沿y轴移动1的搜索块的位置。

参考图11A，从第一搜索块的位置沿着y轴移动1的搜索块由R_2，17、R_2，48、R_33，17、和R_33，48形成。

图11B图示了基于图11A中所示的搜索块和当前匹配块的SAD计算的公式。

SAD(current)_2，1＝

|S_1，17-R_2，17|+...+|S_1，32-R_2，32|+|S_1，33-R_2，33|+...+|S_1，48-R_2，48|+|S_2，17-R_3，17|+...+|S_2，32-R_3，32|+|S_2，33-R_3，33|+...+|S_2，48-R_3，48|+...+|S_32，17-R_33，17|+..+|S_32，32-R_33，32|+|S_32，33-R_33，33|+...+|S_32，48-R_33，48|

图12A图示了用于SAD计算的当前匹配块的搜索区域以及该搜索区域中的最后搜索块的位置。

参考图12A，搜索区域中的最后搜索块由R_33，49、R_33，80、R_64，49、和R_64，80形成。

图12B图示了基于图12A中所示的最后搜索块和当前匹配块的SAD计算的公式。

SAD(current)_32，32＝

|S_1，17-R_33，49|+...+|S_1，32-R_33，64|+|S_1，33-R_33，65|+...+|S_1，48-R_33，80|+|S_2，17-R_34，49|+...+|S_2，32-R_34，64|+|S_2，33-R_34，65|+...+|S_2，48-R_34，80|+...+|S_32，17-R_64，49|+...+|S_32，32-R_64，64|+|S_32，33-R_64，65|+...+|S_32，48-R_64，80|

从先前匹配块和当前匹配块的SAD之间的比较可以看出，用于计算每个SAD的公式的一半在先前匹配块和当前匹配块之间是共同的，如图13所示。

参考图13，SAD(previous)的公式的右半部分与SAD(current)的左半部分相同。

换言之，SAD(previous)_1，1的右半部分1310与SAD(current)_1，1的左半部分1315相同，SAD(previous)_1，2的右半部分1330与SAD(current)_1，2的左半部分1335相同，SAD(previous)_2，1的右半部分1350与SAD(current)_2，1的左半部分1355相同，以及SAD(previous)_32，32的右半部分1370与SAD(current)_32，32的左半部分1375相同。

这样，不是计算当前SAD的公式的所有项，而是存储先前SAD的计算得到的右半部分，并仅计算当前SAD的右半部分，并且用所存储的先前SAD的右半部分代替当前SAD的左半部分，由此迅速进行计算同时减少了硬件。

图14是根据本发明的用于运动估计的装置的示例性示意框图。

参考图14，用于运动估计的装置1400包括参考缓冲器1410、搜索缓冲器1420、预测单元1500、绝对差值均值(MAD)存储单元1430、运动向量确定单元1440、和运动向量存储单元1450。

参考缓冲器1410存储作为当前输入图像帧的参考帧。参考帧的匹配块中的像素被分成亮度分量和色度分量，并且参考缓冲器1410仅存储亮度分量。从存储在参考缓冲器1410中的参考帧提取的匹配块被输入到预测单元1500中。

搜索缓冲器1420存储与参考缓冲器1410中所存储的参考帧邻近的先前帧。搜索缓冲器1420存储用于当前帧运动估计的搜索区域中的所有像素的亮度分量。从存储在搜索缓冲器1420中的搜索(先前)帧提取的搜索区域被输入到预测单元1500中。

预测单元1500使用来自参考缓冲器1410的匹配块和来自搜索缓冲器1420的搜索区域的块来计算当前匹配块的右半部分的MAD、从MAD存储单元1430接收先前匹配块的右半部分(对应于当前匹配块的左半部分)的MAD、将当前匹配块的右半部分的MAD与当前匹配块的左半部分的MAD相加以获得最终MAD、以及将该最终MAD输出到运动向量确定单元1440。预测单元1500将所计算的当前匹配块的右半部分的MAD存储在MAD存储单元1430中，用于下一匹配块的MAD计算。

运动向量确定单元1440接收来自预测单元1500的32×32个MAD，确定具有所接收的MAD之中的最小MAD的搜索块、计算所确定的搜索块的运动向量、以及将计算得到的运动向量存储在运动向量存储单元1450中。

运动向量存储单元1450存储由运动向量确定单元1440所确定的运动向量。

图15是图14中所示的预测单元1500和MAD存储单元1430的示例性详细框图。

参考图15，该预测单元1500一共包括32个预测元件，包括第一预测元件1510、第二预测元件1520、...、和第三十二预测元件1530。

由于预测单元1500中所包括的32个预测元件的每个计算搜索区域中至少一个搜索块的MAD并且32个预测元件同时工作，所以一次计算出32个搜索块的MAD。这样，例如，为了计算如图5A中所示的搜索区域中搜索块的MAD，需要总计32次计算。换言之，在第一次计算中，第一预测元件1510计算MAD_1，1，第二预测元件1520计算MAD_1，2，以及第三十二预测元件1530计算MAD_1，32，并且一次将所计算得到的总计32个MAD输出到运动向量确定单元1440。在第二次计算中，第一预测元件1510计算MAD_2，1，第二预测元件1520计算MAD_2，2，以及第三十二预测元件1530计算MAD_2，32，并且一次将所计算得到的总计32个MAD输出到运动向量确定单元1440。通过以这种方式进行的32次计算，可以获得32×32个搜索块的MAD。

右半部分计算单元1511接收来自参考缓冲器1410的匹配块和来自搜索缓冲器1420的搜索块，基于所接收的匹配块和搜索块而计算SAD的右半部分，以及通过对所计算得到的SAD的右半部分进行诸如移位的操作而计算MAD。右半部分计算单元1511将计算得到的部分MAD输出到MAD计算单元1512，并输出到MAD存储单元1430以存储在那儿用于下一匹配块的MAD计算。

MAD计算单元1512接收来自右半部分计算单元1511的当前匹配块的右半部分的MAD，从MAD存储单元1430读取先前匹配块的右半部分的MAD(即当前匹配块的左半部分的MAD)，将所接收的MAD与所读取的MAD相加，以及将相加的结果输出到运动向量确定单元1440。

MAD存储单元1430包括总计32个存储元件，包括第一存储元件1431、第二存储元件1432、......、和第三十二存储元件1433。所述32个存储元件的每个由存储32个MAD的总计32个存储单元组成。例如，在32次计算之后，在预定时钟时间存储在存储元件中的MAD被输入到MAD计算单元1512以供下一匹配块的MAD计算使用。

现在将参考图13和15描述预测单元1500和MAD存储单元1430的操作。

MAD存储单元1430存储先前匹配块的MAD。将通过对SAD的右半部分1310执行诸如移位的操作而计算得到的MAD_1，1的右半部分存储在第一储元件1431的第一存储单元中，将通过对SAD的右半部分1330执行诸如移位的操作而计算得到的MAD_1，2的右半部分存储在第二存储元件1432的第一存储单元中，以及将通过对SAD的右半部分1350执行诸如移位的操作而计算得到的MAD_1，32的右半部分存储在第三十二存储元件1433的第一存储单元中。

在当前匹配块的MAD计算过程中，第一预测元件1510的右半部分计算单元1511计算MAD_1，1的右半部分1320并且将计算得到的右半部分1320输出到MAD计算单元1512，以及MAD计算单元1512将所接收的右半部分1320与从第一存储元件1431读取的左半部分1315相加以获得MAD0。类似地，其它第二到第三十二预测元件获得并输出MAD。

在其中先前计算得到的MAD的一半用于运动估计的本发明中，使用用于运动估计的匹配块的采样像素通过基于重叠块的运动估计(overlappingblock-based motion estimation，OBME)可以降低计算量。

在OBME中，使用大于运动补偿(MCI)块的匹配(ME)块进行运动估计。要点在于，由采样像素组成的匹配块用于运动估计以降低计算量。

参考图16，匹配块具有32×32个像素的大小，而运动补偿块具有16×16个像素的大小。假定匹配块的采样率是1/4。这样，匹配块的有效像素数目是16×16。如果必要可以改变采样率。采样率的改变可能需要设计的改变，但是并不改变设计方法的基本原理。

为了确认通过匹配块的采样可以降低计算量，现将描述其中以2∶1采样匹配块的原理。

先前匹配块的SAD由下式给出

$\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}|f_n(k+2i+x,l+2j+y)-f_{n-1}(k+2i,l+2j)|$

当前匹配块的SAD由下式给出

$\mathrm{SA}{D}_{(k+16,l)}(x,y)=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}|f_n(k+16+2i+x,l+2j+y)-f_{n-1}(k+2i,l+2j)|$

从当前匹配块的SAD减去先前匹配块的SAD的结果可以由下式给出

$\mathrm{SA}{D}_{(k+16,l)}(x,y)-\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k+16,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

if，S_(i，j)(k，l)≡|f_n(k+2i+x，l+2j+y)-f_n-1(k+2i，l+2j)|

S_(i，j)(k+16，l)＝|f_n(k+16+2i+x，l+2j+y)-f_n-1(k+16+2i，l+2j)|

                ＝|f_n(k+2(8+i)+x，l+2j+y)-f_n-1(k+2(8+i)，l+2j)|

                ＝S_(i+8，j)(k，l)

这样，该结果可以整理并展开如下。

$\mathrm{SA}{D}_{(k+16,l)}(x,y)-\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k+16,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$=\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i+8,j)}(k,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$=\underset{m=9}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)-\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$=\underset{i=17}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)-\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

∵ $\underset{m=9}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)=\underset{m=17}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)+\underset{m=9}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(m,j)}(k,l)$

$\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)+\underset{i=9}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

$\mathrm{SA}{D}_{(k+16,l)}(x,y)=\mathrm{SA}{D}_{(k,l)}(x,y)=\underset{i=17}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)-\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}{S}_{(i,j)}(k,l)$

这样，通过重新整理上面的公式，当前匹配块的SAD可以如下分为部分1和部分2。

∴

从上面的公式可见，部分1是当前匹配块的SAD的左半部分，而部分2是当前匹配块的SAD的右半部分。

作为当前匹配块的SAD的左半部分的部分1对应于先前匹配块的SAD的右半部分。这样，如同其中匹配块没有被按照2∶1采样的情况，先前匹配块的SAD的右半部分的计算结果被存储，并且所存储的结果用于当前匹配块的SAD的计算。

如上所述，根据本发明，为先前匹配块获得的匹配差值用于计算当前匹配块的匹配差值，由此降低了计算量以及运动估计所需的硬件资源。

尽管参考本发明的示例性实施例具体示出和描述了本发明，但是本领域普通技术人员应该理解，在不背离以下权利要求限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种修改。

Claims (18)

1.一种用于运动估计的方法，该方法包括：

存储为要被运动估计的先前匹配块所计算得到的块间匹配差值；

使用所存储的块间匹配差值为要被运动估计的当前匹配块计算匹配差值；以及

使用为当前匹配块所计算得到的块间匹配差值而对当前匹配块进行运动估计。

2.如权利要求1所述的方法，其中，所述先前匹配块或当前匹配块大于要被运动补偿的块。

3.如权利要求1所述的方法，其中，当前匹配块或先前匹配块的块间匹配差值是通过对来自当前匹配块或先前匹配块的像素进行采样而计算得到的。

4.一种用于运动估计的方法，该方法包括：

从存储器中读取先前匹配块的块间匹配差值的一半；

计算要被运动估计的当前匹配块的块间匹配差值的一半；

将所读取的一半与所计算得到的一半相加，以确定当前匹配块的块间匹配差值；以及

使用该块间匹配差值对当前匹配块进行运动估计。

5.如权利要求4所述的方法，其中，所述先前匹配块或当前匹配块大于要被运动补偿的块。

6.如权利要求4所述的方法，其中，当前匹配块或先前匹配块的块间匹配差值是通过对来自当前匹配块或先前匹配块的像素进行采样而计算得到的。

7.如权利要求4所述的方法，其中所述进行运动估计的步骤包括：

确定具有整个搜索区域中所获得的块间匹配差值之中的最小块间匹配差值的搜索块；以及

基于所确定的搜索块和当前搜索块而确定运动向量。

8.一种用于运动估计的装置，该装置包括；

存储单元，用于存储为先前匹配块所计算得到的块间匹配差值；

预测单元，用于使用所存储的该块间匹配差值计算而为要被运动估计的当前匹配块计算块间匹配差值；以及

运动向量确定单元，用于使用为当前匹配块所计算得到的块间匹配差值而对当前匹配块进行运动估计。

9.如权利要求8所述的装置，其中，所述先前匹配块或当前匹配块大于要被运动补偿的块。

10.如权利要求8所述的装置，其中，所述预测单元通过对来自当前匹配块或先前匹配块的像素进行采样而计算得到当前匹配块或先前匹配块的块间匹配差值。

11.一种用于运动估计的装置，该装置包括：

匹配差值存储单元，用于存储先前匹配块的块间匹配差值的一半；

预测单元，用于计算要被运动估计的当前匹配块的块间匹配差值的一半，并且将所存储的一半与所计算得到的一半相加，以确定当前匹配块的块间匹配差值；以及

运动向量确定单元，用于使用该块间匹配差值对当前匹配块进行运动估计。

12.如权利要求11所述的装置，其中，所述先前匹配块或当前匹配块大于要被运动补偿的块。

13.如权利要求11所述的装置，其中，所述预测单元通过对来自当前匹配块或先前匹配块的像素进行采样而计算得到当前匹配块或先前匹配块的块间匹配差值。

14.如权利要求11所述的装置，其中，所述运动向量确定单元确定具有整个搜索区域中所获得的块间匹配差值之中的最小块间匹配差值的搜索块，以及基于所确定的搜索块和当前搜索块而确定运动向量。

15.如权利要求8所述的装置，其中所述预测单元将为当前匹配块计算得到的块间匹配差值存储在块间匹配存储单元中，以及其中所述运动向量确定单元计算运动向量并且将所计算得到的运动向量存储在运动向量存储单元中。

16.如权利要求14所述的装置，其中所述预测单元将为当前匹配块计算得到的块间匹配差值存储在块间匹配存储单元中，以及其中所述运动向量确定单元将运动向量存储在运动向量存储单元中。

17.如权利要求4所述的方法，其中，所读取的一半和所计算的一半的每个是右半部分。

18.如权利要求11所述的方法，其中，所读取的一半和所计算的一半的每个是右半部分。

Images