CN100592797C - 快速运动估计方法 - Google Patents

Abstract

本发明涉及视频编码的技术领域。本发明所要解决的技术问题是，提供一种基于下层预测运动矢量与多模式搜索的快速运动估计方法；本发明提供的快速运动估计方法以最小分割模式为最下层模式，以最大分割模式为最上层模式，采用至下而上的顺序的预测搜索中心；搜索中心确定后搜索最佳匹配点，并存储最佳运动矢量；本发明的有益效果是，在保证视频编码图像质量的基础上，降低编码器复杂度，适用于高清视频图像编码。

Description

快速运动估计方法

技术领域

本发明涉及视频编码的技术领域。

背景技术

运动估计是视频编码系统中最重要的部分之一，对视频的压缩效率和视频的质量有着重要的影响。目前很多视频编码标准都采用了多帧参考与多种分割模式的帧间编码方法，使得运动估计的复杂度急剧的上升，占据了80％左右编码时间(全搜索算法)，因此改进运动估计的性能非常重要。典型的快速运动估计算法三步法(TSS)、六边形搜索(HEXS)、钻石法(DS)等这些算法搜索范围小、运动平缓的时候效果比较好，但于对于一些运动复杂的视频序列，很容易在搜索的初期就落了局部最优的陷阱。目前[JVT-FO17r1]提案的一种搜索算法UMHexagonS(Unsymmetrical-cross Multi-Hexagon-grid Search)可以很好的解决落入局部最优的陷阱，编码效率很高，但是运动估计的复杂度仍然很高。公开号为CN1492687，发明名称为“多种快模式的快速整像素运动估计方法”于2004年4月28日公开了一种快速运动估计方法，使用了以较小分割模式(下层模式)的运动矢量来确定较大模式(上层模式)的搜索范围。该方法相对于对各种分割模式单独搜索降低了计算量。但是对于运动复杂视频序列，较小分割模式块运动后的距离较大，部分块的运动比较分散，从而使得搜索范围扩大，增加了搜索的复杂度。

综上，运动估计仍是视频编码器的瓶颈。据统计发现，视频图像有两个重要的特征：运动矢量分布满足的中心偏置原则与运动补偿对应的失真度满足单峰分布。对于复杂的视频序列不一定能完全满足上面两个特征，但是如果运动搜索中心选得非常好，上面两个特征几乎可以完全满足。因此，运动搜索中心的选择至关重要。

另一方面，运动搜索的效率与搜索中心有很大的关系，搜索中心离最佳匹配点越近，那么搜索到最佳匹配点所需要搜索的时间就越短。一股地，把中值预测运动矢量作为运动搜索中心，对一些运动复杂的视频序列，中值预测运动矢量不能很好的接近最佳匹配点，使得搜索步骤过多或搜索点落入局部最优点。

发明内容

本发明所要解决的技术问题是，提供一种基于下层预测运动矢量与多模式搜索的快速运动估计方法。

本发明为解决上述技术问题所采用的技术方案是，快速运动估计方法，其特征在于，以

最小分割模式为最下层模式，以最大分割模式为最上层模式，采用至下而上的顺序的进行预测：

a对最下层模式块预测运动矢量，确定最下层模式块最佳预测运动矢量；

b根据最佳预测运动矢量确定搜索中心；

c搜索中心确定后采用第一搜索模式搜索最佳匹配点，并存储最佳运动矢量，进入上一层模式；

d在中值预测运动矢量与下一层模式的最佳运动矢量之中选取SAD值最小的为当前层模式的最佳预测运动矢量；再根据当前层模式的最佳预测运动矢量确定当前层的搜索中心；

e搜索中心确定后采用第二搜索模式搜索最佳匹配点，并存储最佳运动矢量；判断当前层是否为最上层，如否，进入上一层模式，回到步骤d，如是，搜索完毕。

上层模式(较大分割模式)使用下层模式(较小分割模式)的运动矢量来预测其搜索中心，从而不会因为各个下层模式块的运动的分散而增加搜索的复杂度，很好的解决了现有技术中所提到的因为小模式块的运动分散而使得搜索范围过大增加搜索的复杂度。

步骤a所述对最下层模式块预测运动矢量采用多种预测方式，具体包括：中值预测运动矢量、零运动矢量、左边块运动矢量、上边块运动矢量、右上块运动矢量和左上块运动矢量，除上述运动矢量外还包括：最近参考帧对应块的运动矢量或当前块在前一参考帧的运动矢量；其中最近参考帧对应块的运动矢量与当前块在前一参考帧的运动矢量不同时存在，前者是用于最邻近参考帧，后者是除最邻近参考帧外的所有参考帧。

步骤a所述最佳预测运动矢量为所有预测运动矢量中SAD值最小的预测运动矢量。

由于当前层模式使的运动矢量与该模式所包含的块的运动矢量相关性很强的而且依赖于下一层模式的运动矢量，那么最下层模式使了多种预测方法尽可能确保其最佳预测运动矢量为全局最优。

当所述步骤d中下一层模式有2种分割模式时，选择该层中子块运动矢量距离较小的分割模式作为对应的当前层的下层预测模式。

步骤d当前层模式使用下一层模式的运动矢量来预测其搜索中心的具体为：在中值预测运动矢量与下一层模式的最佳运动矢量之中选取SAD值最小的预测运动矢量为当前层模式的

最佳预测运动矢量；再根据最佳预测运动矢量确定当前层的搜索中心。

为了进一步提高运动估计的速度，步骤d中当前层并不局限于对直接相邻的上一层模式进行预测，也可以是跨层预测：如当前层内所有子块的运动矢量距离小于预先设定的阈值，则认为子块的运动一致性很强，可跳过相邻上一层的运动估计。

所述第一搜索模式为交叉正方形-菱形模式；所述交叉正方形-菱形模式具体为：

(1)计算搜索中心和以该点为中心的步长为2的正方形、大菱形的各点的SAD值；

(2)如最小SAD值的点在所述正方形边界内，则以该点为中心采用小菱形进行搜索，进入步骤(3)；

如最小SAD值的点在所述正方形边界上，则以该点为中心采用大菱形进行搜索，确定大菱形范围内SAD值最小的点是否为大菱形的中心，如是，则以该点为中心采用小菱形进行搜索，进入步骤(3)；如否，则该点为中心继续采用采用大菱形进行搜索，直至大菱形范围内SAD值最小的点落入大菱形的中心，再采用小菱形进行搜索，进入步骤(3)；

(3)选择如最小SAD值的点为最佳匹配点。

所述第二搜索模式为十字形模式；所述十字形模式具体为：

(1)计算搜索中心和以该点为中心的步长为2的十字形各点的SAD值；

(2)如最小SAD值的点未落在所述十字形的顶点上，则以该点为中心采用小正方形进行搜索，进入步骤(3)；

如否，则以该点为中心继续采十字形进行搜索，直至最小SAD值的点未落在所述十字形的顶点上，再采用小正方形进行搜索，进入步骤(3)；

(3)选择如最小SAD值的点为最佳匹配点。

针对H.264标准的快速运动估计方法，所述最下层模式为4x4模式，最上层模式为16x16模式，其中，自下而上的预测模式顺序为：4x4→4x8或8x4→8x8→16x8或8x16→16x16。

本发明的有益效果是，在保证视频编码图像质量的基础上，降低编码器复杂度，适用于高清视频图像编码。

附图说明

图1为实施例运动估计顺序图；

图2为实施例中4x4模式的运动搜索图；

图3为实施例中4x4以上模式的运动搜索图。

具体实施方式

本发明适用于高清视频图像编码。很多视频编码标准采用的都是基于匹配块的运动估计方法，一个块的运动与其相邻块的运动有关，但与其内部子块的运动情况更为密切。所以使用内部子块的运动矢量来预测当前块的运动更为准确。基于块匹配运动估计是目前最通用的视频压缩编码算法，广泛应用于各种视频编码标准中，比如MPEG1、MPEG2、MPEG4以及IUT-T的H26X系列中，尤其在最新的H.264视频压缩编码标准中，得到了充分的体现。H.264标准将当前视频帧分割成多种互不重叠的矩形块，分别为16x16、16x8、8x16、8x8、4x8、8x4、4x4像素的矩形块，本发明以H.264标准为例，结合说明书附图对本发明对进一步详细的描述。

实施例

本实施例采用先搜索小分割模式，再搜索大分割模式，并且使用多模式进行搜索。上层模式(大分割模式)使用下层模式(小分割模式)的运动矢量来预测其搜索中心。如图1所示，本实施例运动估计顺序以最小分割模式为最下层模式，自下而上进行：4x4→4x8或8x4→8x8→16x8或8x16→16x16。

其中，对最下层模式4x4模式的运动矢量预测尤为重要，最下层模式预测运动矢量的精确选择对运动估计性能有着重要影响的预测矢量，可以明显改善搜索中心。为了准确预测本实施例采用了多种运动矢量预测方法，选择运动补偿对应的失真度最小的预测运动矢量作为最佳预测运动矢量。

1、4x4模式运动估计：

步骤1.1预测运动矢量，如果相邻块无效或为帧内预测模式，则没有对应的预测运动矢量，最邻近的参考帧使用参考帧对应块的运动矢量作为预测运动矢量之一；对于不是最邻近的参考帧，则使用当前块在前一参考帧对应的运动矢量作为预测运动矢量之一；

预测矢量主要是根据序列的相关性来选择，包括空间和时间的相关性以及搜索范围内的一些特殊位置。总共有以下几个预测运动矢量：中值预测运动矢量，零运动矢量、左边块运动矢量，上边块运动矢量、右上块运动矢量、左上块运动矢量、最近参考帧对应块的运动矢量或当前块在前一参考帧的运动矢量(后面两个预测运动矢量不同时存在，前者是用于最邻近参考帧，后者是除最邻近参考帧外的所有参考帧)。

步骤1.2根据前面的预测运动矢量，基于最小SAD(绝对误差和)准则来选择最佳预测运动矢量，合并整像素部分相同的运动矢量，得到新的一个预测运动矢量集，计算各个预测运动矢量对应匹配块的SAD值，以SAD值最小的预测运动矢量作为最佳预测运动矢量，选择最佳预测运动矢量作为搜索中心。

步骤1.3搜索中心确定后采用第一搜索模式搜索最佳匹配点，根据运动矢量的中心偏置原理，绝大部分运动矢量分布在搜索中心的[2，+2]的范围内，因此第一搜索模式采用交叉正方形-菱形模式：

(1)使用交叉正方形-菱形模式在该范围内搜索，如图2a所示，共13个搜索点，在运动矢量的主要分布范围内寻找最佳运动矢量：计算搜索中心(0点)和以该点为中心至其各边距离为2个步长的正方形以及该点为中心至其顶点距离为2个步长的大菱形的各点(a1、a2、a3、a4、a5、a6、a7、a8、b1、b2、b3、b4)的SAD值；

(2)如最小SAD值的点在所述正方形边界内(b1、b2、b3、b4中的一点)，则以该点为中心采用小菱形进行更精细的搜索，如图2d所示，以0点为中心采用小菱形(其顶点与搜索中心距离为1个步长的菱形)搜索，搜索点为0点及小菱形的4个顶点(图2d所示的4个矩形点)；如图2e所示，以b4点为中心采用小菱形搜索；搜索点为b4点及小菱形的4个顶点(图2e所示的4个矩形点)；在小菱形范围内的搜索点中选择SAD值最小的点为最佳匹配点；

如最小SAD值的点在所述正方形边界上(a1、a2、a3、a4、a5、a6、a7、a8中的一点)，最佳的匹配点可能离搜索中心较远，则以该点为中心采用大菱形进行搜索以加快搜索的速度；如图2b所示，以a8点为中心采用大菱形搜索，搜索点为a8点及大菱形超出正方形范围的3个点(图2b所示的3个矩形点)；如图2c所示，以a1点为中心采用大菱形搜索，搜索点为a1点及大菱形超出正方形范围的5个点(图2b所示的5个矩形点)；确定大菱形范围内的搜索点中SAD值最小的点是否落入大菱形的中心，如是，以该点为中心采用小菱形进行搜索，再在小菱形范围内选择SAD值最小的点为最佳匹配点；如否，继续以该点为中心采用大菱形搜索，直至SAD值最小的点落入大菱形的中心，再以该点为中心采用小菱形进行搜索；

步骤1.4、存储在当前参考帧上的最佳运动矢量。

2、4x4以上模式的运动估计：

在实施过程中，采用从小分割模式到大分割模式的顺序进行运动估计，下层模式在每一个参考帧中的最佳匹配点的运动矢量(最佳运动矢量)都需要存储，为它们的上层模式提供预测运动矢量。4x4以上模式以下层模式作为基础，只需保留中值预测运动矢量与下一层模式子块运动矢量，预测运动矢量的个数可以减少很多。

步骤2.1、下层模式的选择，如果当前模式有多种下层模式，选择运动矢量距离最小的一种模式作为当前模式的参考模式：4x4没有下层模式；4x8和8x4的下层预测模式为4x4；16x8和8x16的下层预测模式为8x8；16x16与8x8的下层模式都有两个16x8、8x16与8x4、4x8，选择依据如下：如果两个4x8块的运动矢量距离小于两个8x4块的运动矢量距离，则选择4x8作为对应的8x8块的下层预测模式，反之选择8x4；如果两个8x16块的运动矢量距离小于两个16x8块的运动矢量距离，则选择8x16作为对应的16x16块的下层预测模式，反之选择16x8。

运动矢量距离的定义：(1)式中|MV1-MV2|为任意两个运动矢量距离的计算式，(2)式中的MV0为m个运动矢量的平均运动矢量，(3)式中的Dmv为m个运动矢量之间的距离。

|MV1-MV2|＝|MV1_x-MV2_x|+|MV1_y-MV2_y|          (1)

$\mathrm{MV}0=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{MVi}\right)/m---\left(2\right)$

$\mathrm{Dmv}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}|\mathrm{MVi}-\mathrm{MV}0|---\left(3\right)$

当m等于2时，(2)、(3)式与(1)式等效，即两个运动矢量之间的距离。

当然，上层模式的运动估计并不局限于对直接相邻的上一层模式进行预测，也可以是跨层的预测。在4x4模式运动估计完之后，直接检测一个8x8模式内的所有4x4块的运动矢量距离，如果运动矢量距离小于预先设定的阈值T，则这四个4x4块的运动的一致性很强，跳过4x8和8x4模式的运动估计。同样，按上述原则也可以跳过16x8和8x16模式的运估计。

步骤2.2、预测运动矢量，4x4以上的模式有两种预测运动矢量：中值预测运运矢量和下一层预测动矢量。中值预测运动矢量是必须选择的。当前模式的下一层模式的两个子块，运动矢量距离小于等于D(D取16，以1/4像素为单位)时，取它们的运动矢量平均值作为预测运动矢量，否则，两个子块的运动矢量都作为预测运动矢量：

由下一层预测模式的推导可以确定任意模式的两个下一层模式子块，两个子块的运动矢量分别为MV1、MV2，它们的平均运动矢量为MV0(MV0由(2)式计算得到)。当满足式(4)时，当前的候选预测运动矢量为中值预测运动矢量、MV1和MV2。

Dmv＞D  (D为16，并且以1/4像素为单位)  (4)

否则，运动矢量为中值预测运动矢量和MV0。

步骤2.3、合并整像素部分相同的运动矢量，得到一个新的预测运动矢量集，计算各个预测运动矢量对应匹配块的SAD值，选择最小SAD值对应的预测运动矢量作为搜索中心；

步骤2.4搜索中心确定后采用第二搜索模式搜索最佳匹配点：下层预测运动矢量具有相对位置的不变性，即一个子块若位于另一子块的上方，那么运动后仍在上方，所以上层模式的运动趋势与子块的运动相似。如果两个子块的运动矢量距离较小，则它们的运动的一致性较强，那么上层模式块的运动就位于两者之间。如果两子块的运动矢量距离较大，则它们运动的一致性较弱，它们的上层模式块的运动，不再是位于两者之间，而是靠近其中一个子块

根据以上的分析，使用十字形模式进行搜索较好，所述十字形模式具体为：

(1)如图3a所示，计算搜索中心(0点)和以该点为中心的步长为2的十字形各点(c1、c2、c3、c4、d1、d2、d3、d4)的SAD值；

(2)如最小SAD值的点没落在所述十字形的4个顶点上，则以该点为中心采用小正方形(其各边距搜索中心为1个步长的正方形)进行搜索；以图3c所例，以d4点为中心采用十字形搜索，搜索点为d4点及小正方形超出十字形范围的4个点(图3c中的4个矩形点)；以图3d为例，以0点为中心采用十字形搜索，搜索点为0点及小正方形超出十字形范围的4个点(图3d中的4个矩形点)；选择SAD值最小的点为最佳匹配点；

如最小SAD值的点落在所述十字形的顶点上，则以该点为中心继续采十字形进行搜索，以图3b为例，以c4点为中心采用十字形搜索，搜索点为c4及十字形超出原十字形范围的6个点(图3b中的6个矩形点)，直至搜索范围内SAD值最小的点不在十字形顶点上，再采用小正方形模式进行精确搜索，以小正方形范围内SAD值最小的点为最佳匹配点。

步骤2.5、存储在当前参考帧上的最佳运动矢量，直至最上层模式搜索完毕。

Claims (8)

1、快速运动估计方法，其特征在于，以最小分割模式为最下层模式，以最大分割模式为最上层模式，采用至下而上的顺序进行预测：

a对最下层模式块预测运动矢量，确定最下层模式块最佳预测运动矢量；

b根据最佳预测运动矢量确定搜索中心；

c搜索中心确定后采用第一搜索模式搜索最佳匹配点，并存储最佳运动矢量，进入上一层模式；

d在中值预测运动矢量与下一层模式的最佳运动矢量之中选取SAD值最小的为当前层模式的最佳预测运动矢量；再根据当前层模式的最佳预测运动矢量确定当前层的搜索中心；

e搜索中心确定后采用第二搜索模式搜索最佳匹配点，并存储最佳运动矢量；判断当前层是否为最上层，如否，进入上一层模式，回到步骤d，如是，搜索完毕。

2、如权利要求1所述快速运动估计方法，其特征在于，步骤a所述对最下层模式块预测运动矢量采用的预测运动矢量包括：中值预测运动矢量、零运动矢量、左边块运动矢量、上边块运动矢量、右上块运动矢量和左上块运动矢量，除上述运动矢量外还包括：最近参考帧对应块的运动矢量或当前块在前一参考帧的运动矢量；其中最近参考帧对应块的运动矢量与当前块在前一参考帧的运动矢量不同时存在，前者是用于最邻近参考帧，后者是除最邻近参考帧外的所有参考帧；

步骤a所述最佳预测运动矢量为所有预测运动矢量中SAD值最小的预测运动矢量。

3、如权利要求1所述快速运动估计方法，其特征在于，所述步骤d中下一层模式有2种分割模式时，选择该层中子块运动矢量距离较小的分割模式作为对应的当前层的下一层预测模式。

4、如权利要求1所述快速运动估计方法，其特征在于，当前模式的下一层模式的两个子块的运动矢量距离如小于或等于设定值D，则下一层模式的最佳运动矢量为两个子块的运动矢量平均值；否则，两个子块的运动矢量均为下一层模式的最佳运动矢量。

5、如权利要求1所述快速运动估计方法，其特征在于，如当前层模式内所有子块的运动矢量距离小于预先设定的阈值T，则跳过对相邻上一层模式的运动估计。

6、如权利要求1所述快速运动估计方法，其特征在于，所述第一搜索模式为交叉正方形-菱形模式；所述交叉正方形-菱形模式具体为：

(1)计算搜索中心和以该点为中心的步长为2的正方形、大菱形的各点的SAD值；

(2)如最小SAD值的点在所述正方形边界内，则以该点为中心采用小菱形进行搜索，进入步骤(3)；

如最小SAD值的点在所述正方形边界上，则以该点为中心采用大菱形进行搜索，确定大菱形范围内SAD值最小的点是否为大菱形的中心，如是，则以该点为中心采用小菱形进行搜索，进入步骤(3)；如否，则该点为中心继续采用采用大菱形进行搜索，直至大菱形范围内SAD值最小的点落入大菱形的中心，再采用小菱形进行搜索，进入步骤(3)；

(3)选择最小SAD值的点为最佳匹配点。

7、如权利要求1所述快速运动估计方法，其特征在于，所述第二搜索模式为十字形模式；所述十字形模式具体为：

(1)计算搜索中心和以该点为中心的步长为2的十字形各点的SAD值；

(2)如最小SAD值的点未落在所述十字形的顶点上，则以该点为中心采用小正方形进行搜索，进入步骤(3)；

如否，则以该点为中心继续采十字形进行搜索，直至最小SAD值的点未落在所述十字形的顶点上，再采用小正方形进行搜索，进入步骤(3)；

(3)选择最小SAD值的点为最佳匹配点。

8、如权利要求1所述快速运动估计方法，其特征在于，所述最下层模式为4x4模式，最上层模式为16x16模式，其中，自下而上的预测模式顺序为：4x4，4x8或8x4，8x8，16x8或8x16，16x16。

Images