CN1245028C - 非均匀多层次六边形格点整象素运动搜索方法 - Google Patents

Abstract

本发明属于信号处理中的视频编码领域，涉及非均匀多层次六边形格点整象素运动搜索方法。包括四级搜索及在搜索中的提前终止搜索控制：四级搜索为：第一级预测起始搜索点：第二级非对称十字形搜索：第三级非均匀多层次六边形格点搜索：第四级局部六边形搜索：所说的提前终止搜索控制以SAD_thrh＝SAD_pred(1+β)为判决条件控制搜索提前终止；根据重建图像质量要求，设定多个调整因子β_i，从而得到多个提前终止阈值SAD_{thrh_i}，进而进行不同的后续搜索。本发明在保持已有技术的编码率失真特性的同时极大的降低了软硬件中整象素运动估计的运算复杂度。且不限于H.264国际标准，同时具有一定的可扩展性，可以实现运算复杂度与预测精度之间的均衡调节。

Description

非均匀多层次六边形格点整象素运动搜索方法

技术领域

本发明属于信号处理中的视频编码领域，特别针对最新的视频编码标准H.264提出了新的快速整象素运动搜索方法，在保证视频编码效率的前提下大幅度节省了软硬件实现中整象素运动搜索的运算量。

背景技术

传统的视频编码标准如ITU制定的H.261，H.263，H.263+，H.264标准以及ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4等都是建立在混合编码，即HybridCoding框架之上的。所谓混合编码框架是一种混合时间空间视频压缩方案，先用帧间预测编码消除时间域的相关性，然后对残差进行变换编码，消除空间相关性，然后进行熵编码去除统计上的冗余度。

上述视频编码标准都具有帧内编码帧，即I帧，和帧间编码帧，即P帧或者B帧。

帧内编码帧和帧间编码帧采用了不同的编码方法。帧内编码帧的编码过程如下：对原始图象数据进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后进行熵编码，即Hunffman编码或者算术编码等。帧间编码的编码过程如下：采用运动估计得到运动矢量，然后采用基于运动补偿的帧间预测，接着对帧间预测得到的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。

运动估计通过运动矢量搜索(简称为运动搜索)得到运动矢量的最佳估计。运动搜索可包括整象素运动矢量搜索(简称为整象素搜索)和亚象素运动矢量搜索。整象素搜索的最佳方法是全搜索方法，全搜索的运算量大硬件实现复杂度大。整象素的快速搜索方法可以将搜索过程加速，在一定的重建图象质量的要求下，可以将全搜索方法加速几倍或者更高。典型的整象素快速搜索方法如三步法，钻石形搜索法，六边形搜索法等。

一般整象素搜索方法的处理过程是，对于图象序列当前帧中给定的图象数据块(连续像素点组成的矩形块)，在图象序列其它重建图象帧(称为参考帧)中按一定最佳匹配准则搜索最佳匹配块。上述搜索是在搜索窗内进行，该搜索窗定义在参考帧中，范围从相对于当前帧中的当前块的中心位置，左移+W_x，右移-W_x，上移W_y，下移W_y所覆盖的所有象素，W_x和W_y构成矩形搜索窗(2W_x+1)*(2W_y+1)。如果W_x，＝W_y＝W，也叫做搜索窗±W。上述的最佳匹配的准则有多种定义，由公式(1)定义的代价函数SAD被广泛采用，值最小。最佳匹配块的中心在此定义为最佳匹配点。

$\mathrm{SAD}\left(P\right)=\begin{array}{cc}N-1& M-1\\ i=0& j=0\end{array}|f(i,j,t)-f(i-x,j-y,t-1)|$ 公式(1)

(1)式中NxM是当前块(当前帧中待处理的图象块)的大小，也是参考帧中搜索块(参考帧中的图象数据块)的大小；f(i，j，t)是t时刻的图象帧在(i，j)坐标位置处的象素的亮度值；(x，y)表示当前块位置指向参考帧中象素点P位置的运动矢量的两个分量；当搜索窗是±32时，如果P点布满整个搜索窗，则需要计算代价函数(1)4225次，这样的运算叫做全搜索。如果只选择搜索窗内某些P点计算这些点的代价函数，则叫做快速搜索。计算某点的代价函数，也叫做搜索某点。

H.264采取了多参考帧，即公式(1)中的t-1为t-m，m＝1，...5；多预测块模式，即当N和M取多个值时NxM的块有多种块模式，在H.264中有7种块模式；以及高精度运动矢量的技术来提高预测精度，即x和y不但可以是整数，而且可以取为分数；提高了运动估计的精确度而使得编码效率增加。当然上述的多参考帧，多模式和高精度运动矢量等技术大大增加了本来十分复杂的运算量。

以往的快速搜索方法多针对缓慢运动的图象序列。例如被MPEG-4国际标准接纳的钻石形搜索法，该方法由S.Zhu and K.-K.Ma以“A New Diamond Search Algorithm forFast Block Matching Motion Estimation”为名发表在in Proc.Int.Conf Inform.，Commun.，Signal Process.，pp.292-296，Singapore，Sept.9-12，1997。该方法的不足之处是，在运动激烈时图象质量的损伤大，不能应用于高质量图象编码。钻石形搜索方法基于钻石形模板。模板的定义是从搜索起始点出发，搜索该点相邻上下左右的四个象素点(由于四个象素点所构成的形如钻石状，故得名)，如图1(b)所示。

由Ce Zhu，Xiao Lin，and Lap-Pui Chau三人以“Hexagon-Based Search Patten for FastBlock Motion Estimation”为题名发表在IEEE Trans.on CSVT，pp.349-355，Vol.12，No.5，May，2002的六边形搜索法，可以使得搜索点相对于钻石形搜索法更少，从而使运动搜索进一步加速。该方法的不足之处和上述所提的钻石形搜索法一样，在用于有剧烈运动的图象序列时，重建图象有大的失真。该六边形搜索法的搜索过程，具体包括：

(1)以预测起始点为中心，搜索六边形模板的6个点，得到6个代价函数值。在这6个代价函数值与起始点的代价函数值中，代价函数值最小者为最佳匹配点。如果最佳匹配点处于六边形的中心，则转到第三步，否则到第二步；

(2)以前一步搜索得的最佳匹配点为起始点，搜索六边形模板的6个点(此时已经搜索过的点并不再进行搜索)，得到6个代价函数值。在这6个代价函数值与起始点的代价函数值中，代价函数值最小者为最佳匹配点。如果最佳匹配点位于六边形的中心，则转到第三步，否则重复这一步；

(3)以前一步搜索得的最佳匹配点为起始点，搜索钻石形模板的4个点得到4个代价函数值，取该4个代价函数值与起始点的代价函数值最小者为最佳匹配点，最佳匹配点对应的运动矢量即为最终运动矢量。

上述所说的六边形模板如图(a)所示：图中，设搜索起始点为中心点(i，j)，i为水平坐标，j为垂直坐标；六边形模板的6个点分别是(i+2，j)，(i-2，j)，(i+1，j+2)，(i+1，j-2)，(i-1，j+2)，(i-1，j-2)。

为了获得好的图象质量，通常要增大运动矢量的搜索窗。本申请发明人针对大运动量的图象，曾发明非均匀分布多格点运动搜索方法：即HMGS(Danian Gong，YunHe，“Fast motion estimation algorithm using unequal-distributed multi-grid search strategy”，Proceeding of PCS2001，pp.362-365，Seoul，April，2001)。该方法包括三级搜索，如图2所示，图中以搜索窗±7为例，其处理过程为：

(1)第一级：以起始点为基准，搜索过基准点的水平线上间隔为2的点，以这些点的代价函数值和起始点的代价函数值最小者为最佳匹配点，如图2中空心圆所示；

(2)第二级：非均匀的多格点矩形搜索，包含如下步骤：

(a)取第一级搜索所得的最佳匹配点为起始点，在搜索起始点周围±2的矩形搜索窗内进行全搜索，得到各点的代价函数值；如图2的中心部分棱形所示的区域；

(b)取第一步搜索所得的最佳匹配点为基准，搜索多层次矩形格点模板上的点，得到各点的代价函数值，如图2中空心矩型所示的区域；

(c)比较(a)与(b)步骤各点和起始点的代价函数值，取最小者为本级的最佳匹配点。

(3)第三级：扩展的三步法搜索：以第二级的最佳匹配点为基准，搜索其周围相邻8点，如图2中网格填充圆所示；取这8点和起始点的代价函数值的最小者为最佳匹配点；最佳匹配点所对应的运动矢量即为搜索的最终结果。

上述所说的多层次矩形格点模板定义为：设搜索起始点为中心点(i，j)，i为水平坐标，j为垂直坐标；多层次矩形格点模板的点分别为下述两个集合的并集：

搜索窗为±W。

由于网格形状基于矩形，搜索点的数量还可以进一步降低。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种非均匀多层次六边形格点整象素运动搜索方法，在保持已有技术的编码率失真特性的同时极大的降低了软硬件中整象素运动估计的运算复杂度。且本方法并不限于H.264国际标准，可以推广至其他国际标准和非国际标准视频编码的应用。同时本发明的方法具有一定的可扩展性，可以实现运算复杂度与预测精度之间的均衡调节。

本发明提出的一种一种非均匀多层次六边形格点整象素运动搜索方法，其特征在于，包括四级搜索及在搜索中的提前终止搜索控制：

第一级预测起始搜索点：选取代价函数值最小的预测点作为下一级非对称十字形搜索的起始搜索点；

第二级非对称十字形搜索：以上一级预测起始搜索点的结果起始搜索点为基准，在搜索窗内采用非对称十字形搜索；设水平搜索范围为搜索窗的宽度2W，垂直搜索范围小于或等于2W的非对称十字形搜索模板。经过非对称十字形搜索之后获得的最佳匹配点将作为下一级搜索的搜索基准点；

搜索可以设定不同顺序，比如先水平后垂直，先中间后两边的次序；

在搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理。

第三级非均匀多层次六边形格点搜索：以第二级的最佳匹配点作为本级的起始搜索点，在起始点周围±2矩形搜索窗内进行全搜索，在搜索窗±W内搜索非均匀多层次六边形格点模板上的点，将本级已搜索过的点与起始点相比，代价函数值最小者为本级的最佳匹配点，同时作为下一级搜索的起点；

可以以不同搜索顺序，例如从里层到外层，每层按顺时针方向；

在搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理。

第四级局部六边形搜索：以第三级的最佳匹配点作为本级的起始搜索点，搜索六边型模板上的点，在本级的搜索终止条件控制下，得到本级中的最佳匹配点，相对应的运动矢量即为最终运动矢量；

所说的提前终止搜索控制：以

SAD_thrh＝SAD_pred(1+β)

为判决控制搜索提前终止条件；

根据重建图像质量要求，设定多个调整因子β_i，从而得到多个提前终止阈值SAD_{thrh_i}，进而进行不同的后续搜索。

本发明的工作原理与效果如下：

本发明将六边形搜索方法扩展到多层次六边形网格，用于本组的非均匀分布多网格运动搜索方法之中，按照矩形多网格的思路，构造多个六边形网格。既大大减低了搜索点数量，有满足了大运动图象的解码图象质量。

另外，本发明还提供了由使用者自行决定解码图象质量，运算量的提前终止搜索控制新技术，这可以使得某些应用，比如采用低档次的硬件，针对缓慢运动进一步降低运算量。

附图说明

图1为已有六边形搜索法和钻石形搜索法中的模板示意图，其中a)为六边形模板，b)为钻石形模板。

图2为已有的非均匀分布多格点运动搜索方法的示意图。

图3为本发明的空间域中值预测中当前块与相邻块的位置关系示意图。

图4为七种块模式。

图5为本发明非均匀多层次六边形格点整象素运动搜索方法总体搜索过程示意图。

图6为本发明的非均匀多层次六边形格点模板中基本的16点六边形模板。

具体实施方式

本发明提出的非均匀多层次六边形格点整象素运动搜索方法结合附图及实施例详细说明如下：

本发明提出的整象素运动估计方法中的非均匀多层次六边形格点整象素运动搜索方法，包括四级搜索：预测起始搜索点；非对称十字形搜索；非均匀多层次六边形格点搜索；和局部六边形搜索；以及在各级搜索中的提前终止搜索控制。下面分别介绍：

第一级预测起始搜索点，包括以下步骤：

a)空间域的中值运动矢量预测(MP-Median Prediction)：

空间域的中值运动矢量预测是常用的预测方法，由公式(2)定义：

MV_{pred_MP}＝Median(MV_A，MV_B，MV_C)              (2)

其中，MV_{pred_MP}是当前块的空间域的中值运动矢量预测；如图3所示，A为当前块E的左边相邻块，B为当前块E的上方相邻块，C为当前块E的右上方的相邻块；MV_A，MV_B，MV_C分别是A，B C块对应的运动矢量；Median表示中值运算：

当块C位于图象外部时，其运动矢量用当前块的左上方相邻块D的运动矢量来代替；

b)空间域的上层搜索模式运动矢量预测(UP-UpLayer Prediction)：

将不同搜索模式排序，为块模式1，块模式2，块模式3，...，各块模式的关系为：块模式1为2或3的上层搜索块模式，块模式2为其所包含的块模式4的上层搜索块模式，块模式4为其所包含的块模式5或6的上层搜索块模式，5为其所包含的块模式7的上层搜索块模式；每个块模式有相对应的运动矢量；用上层搜索模式的运动矢量MV_UpLayer作为当前块的预测运动矢量MV_{pred_ULP}，即：

          MV_{pred_ULP}＝MV_UpLayer                     公式(3)例如H.264中有七种块模式，对应于不同的块尺寸：16×16，8×16，16×8，8×8，8×4，4×8，4×4等，如图4所示，对应于公式(1)式中N与M分别取不同值，分别定义为块模式1到块模式7，大块排序在先；

c)时间域的前帧对应块运动矢量预测(CP-Corresponding-block Prediction)：

由于运动矢量在时间域的相关性，可以利用前一帧的与当前块相同坐标位置的块的运动矢量MV_Co来作为当前块的预测运动矢量：

                  MV_{pred_CP}＝MV_Co             公式(4)

d)时间域的邻近参考帧运动运动矢量预测(NRP-Neighboring Reference-framePrediction)：

设当前帧的时间为t，与时间t-1，t-2，...相对应的参考帧为：帧t-1，帧t-2，...；则当在参考帧t′中搜索时，用当前块在帧t′+1中的运动矢量MV_NR来估测出当前块在帧t′的运动矢量MV_{pred_NRP}：即

${\mathrm{MV}}_{\mathrm{pred}\_\mathrm{NRP}}={\mathrm{MV}}_{\mathrm{NR}}\×\frac{t-t^{\′}}{t-t^{\′}+1}$ 公式(5)

H.264在运动估计中采用了多参考帧来提高预测精度，由于视频序列的连续性，当前块在不同的参考帧中的运动矢量也是有一定的相关性的；

最终预测起始搜索点：

对上述得到的四个预测的运动矢量MV_{pred_MP}，MV_{pred_ULP}，MV_{pred_CP}，MV_{pred_NRP}指向的搜索位置进行搜索，然后选取代价函数值最小的搜索点作为本级的最终预测起始搜索点，同时也是下一级非对称十字形搜索的起始搜索点。

第二级非对称十字形搜索：

由于地球引力的作用，自然界的物体在水平方向的运动多会比在垂直方向的运动程度更大一些，因此通常的视频序列都具有水平运动较剧烈而垂直运动较小的特点。

基于这一思想，本发明在上一级比较准确的预测起始搜索点的基础之上，采用非对称十字形搜索可以比较近似得到一个相对准确的运动矢量，作为更为精确的下一级搜索的起始搜索点。如图5中空心正三角所代表的非对称十字形搜索模板所示，非对称十字形模板的水平搜索宽度是4W+1，而垂直高度是2W+1，在本发明的方法的实施例中每个搜索点之间的间距被设为2。而且显然在某些特殊的情况下例如在垂直方向有比较剧烈的运动时可以将垂直方向的搜索范围扩展到2W。经过非对称十字形搜索之后获得的最佳匹配点将作为下一级搜索的搜索中心和搜索的起始位置。

搜索可以设定不同顺序，比如先水平后垂直，先中间后两边的次序；

在搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理。

第三级非均匀多层次六边形格点搜索：

非均匀多层次六边形格点搜索点，如图5中空心圆所代表的矩形搜索模板-和和空心矩形所代表的非均匀多层次六边形格点模板所示，本实施例的非均匀多层次六边形格点搜索方法包括以下步骤：

(a)将上一级非对称十字形搜索的最佳匹配点作为本级搜索的起始点，在起始点周围，在矩形±2搜索窗内进行全搜索(也称为矩形搜索模板)得到每个搜索点的代价函数值；

(b)以上一级最佳匹配点为基准，在搜索窗±W内，搜索多层次六边形格点模板上的点得到每个点的代价函数值；

(c)取上述(a)，(b)步骤中的搜索点以及起始点中代价函数值最小者为本级的最佳匹配点，作为下一级搜索的起点。

(a)与(b)步骤的搜索过程中，可以以不同搜索顺序，例如从里层到外层，每层按顺时针方向；

在搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理。

本实施例的多层次六边形格点模板定义为：

首先定义了一个基本的16点六边形模板，也是多层次六边形格点模板的第一层，由图6中空心矩形表示，此模板上的各点的坐标集合Ω_16-HP为：

Ω_16-HP＝{(x，y)|(±4，±2)，(±4，±1)，(±4，0)，(±2，±3)，(0，±4)}

由基本的16点六边形模板向外进行扩展就可以获得多层次六边形格点模板，由图5中空心矩形表示，多层次六边形格点模板上的点的坐标集合Ω为：

$\mathrm{\Ω}=\left\{(x,y)\right|x=x^{\′}*k,y=y^{\′}*k,(x^{\′},y^{\′})\∈{\mathrm{\Ω}}_{16-\mathrm{HP}},k=\mathrm{1,2},...,\frac{W}{4}\},$ 如果搜索窗为±W。

模板的定义在水平方向的搜索密度明显高于在垂直方向的搜索密度，这也是由于水平方向运动和垂直方向运动剧烈程度不同，垂直方向的运动剧烈程度较小，采用这一搜索模板可以在垂直方向上减少许多不必要的搜索点。

在上一级非对称十字形搜索的基础之上，非均匀多层次六边形格点搜索主要是通过扩展的格点搜索来应对具有视频序列中有较大或者不规则运动的情况；

搜索的格点呈非均匀分布：在中心分布密集，在远离中心点的地方分布稀疏，这与实际运动场的情况相吻合，因此虽然在远离中心点的地方搜索精度较低，但是并没有导致性能明显下降；

第四级局部六边形搜索：

经过上一级搜索之后，此时的最佳匹配点已经非常接近全局的最佳匹配点了，但是由于搜索格点分布比较稀疏，尤其是当上级最佳匹配点的位置距离位于网格分布的外围时，搜索的精度相对也会比较小些。因此，可以采用基于中心的搜索方法进行进一步的运动矢量的校正工作。而当上级搜索的最佳匹配点落在网格区域的中心位置时，因为这一位置的周围的点大部分已经被搜索过，而每个点的搜索状态已经被存储，运动矢量的校正需要的运算量并不会太大。

本发明比传统的六边形搜索方法有更好的性能，包含了两种搜索模式，适合于采用提前终止搜索控制时不同阈值下的对应不同处理。

本实施例局部六边形搜索分为以下几个步骤：

(a)以上一级最佳匹配点为起点，搜索六边形模板上的6个点；得到六个搜索点的代价函数值。比较六边形上搜索点与上一级最佳匹配点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点，作为下一步搜索的起点；如果上一级的最佳匹配点代价函数值为最小，则转到步骤(c)；如果最佳匹配点在六边形上，则转到步骤(b)；

(b)以前一步搜索所得的最佳匹配点作为起始点，搜索六边形模板上的6个点；得到六个搜索点的代价函数值。比较六边形上搜索点与上一步最佳匹配点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点；如果上一级的最佳匹配点代价函数值为最小，则转到步骤(c)；如果最佳匹配点在六边形上，则转到步骤(b)；

(c)以前一步搜索所得的最佳匹配点作为起始点，本级的搜索过程和终止条件描述如下：搜索该起点周围钻石形模板上的四点，比较该四点与本步骤起始点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点；如果该四个点的代价函数值皆大于本步骤的起始点的代价函数值，则搜索终止；此时的最佳匹配点就是最终运动矢量的解；如果最佳匹配点不位于中心点，则以此最佳匹配点为中心，重复步骤(c)，直到最佳匹配点位于中心或者到达搜索窗边缘截止。

局部六边形搜索也支持了提前终止搜索控制后的处理。

提前终止搜索控制：

本发明在上述四级搜索中采取了提前终止搜索控制的方法，其基本原理如下：

利用了代价函数SAD在空间域和时间域的相关性来预测当前块在搜索过程中的SAD值，并在此基础上适当的选择阈值以提前终止搜索过程，避免多余的搜索。采用提前终止技术的目标是：a)越早提前终止越好，这样可以节省不必要的运算，b)同时还必须保证不会错过最优的运动矢量，视频的重建质量不会因为减少运算量而下降很多。但这两点往往是相互矛盾的。

提前终止阈值：

本发明以下式作为判决控制搜索提前终止条件：

SAD_thrh＝SAD_pred(1+β)

其中SAD_pred为预测所估计的SAD值，即预测的代价函数值；

β为调解因子，代表编码后重建图象的质量，当取β为多个值时，可以针对不同的重建图象质量要求，例如本实施例取两个β值，β₁和β₂时，两个提前终止的值阈SAD_{thrh_1}与SAD_{thrh_2}为：

                      SAD_{thrh_1}＝SAD_pred(1+β₁)

                      SAD_{thrh_2}＝SAD_pred(1+β₂)

调节因子：

本发明的调节因子为

$\mathrm{\&beta;}<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-\mathrm{NSD}$

其中Q_step是量化步长，B_size是图象块的大小，M[0，0]是矩阵M的第(0，0)元素；NSD为归一化的SAD差值(Normative SAD Difference)，即归一化的代价函数差值，其理论式为：

                   NSD＝(SAD_pred-SAD_best)/SAD_pred

SAD_best是可能搜索的到的全局最优运动矢量所对应的代价函数值，即搜索到的最小代价函数值。本发明中的NSD由试验得到，根据NSD的分布统计特性，根据不同预测模式下NSD的单边分布概率P(NSD＜α)的概率分布特性，设定P(NSD＜α)两个阈值P(NSD＜α₁)＝0.8和P(NSD＜α₂)＝0.9，由所得α₁和α₂得到β₁和β₂分别为：

${\mathrm{\&beta;}}_1<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-{\mathrm{\&alpha;}}_1$ 和：

${\mathrm{\&beta;}}_2<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-{\mathrm{\&alpha;}}_2$

Q_step越大，β也越大，此时可以适当的提高判决的阈值，使运动搜索更早的截止。这表明当量化参数比较大的时候，量化噪声会比较大，频域的高频分量多数为零，因此重建图象的细节会变得更为模糊，相应的运动搜索窗内误差匹配曲面变得更为平滑，矢量之间的模糊度也会增加，因此也可以适当提高β以使搜索尽量提前终止。

越大，β就越小，此时应当适当的降低判决的阈值，牺牲搜索速度来保证重建图象质量。SAD_pred是根据SAD在时空域的相关性预测而得的，因此根据图象数据在时空域的相关性可以认为SAD_pred也是基本上反映了当前块与参考帧之间的残差的大小。显然当

越大时，图象的细节会越多，相应的运动搜索窗内的误差匹配曲面会比较复杂和有突变存在，因此为了避免过早的落入局部最小点，应当减小β，适当降低判决阈值SAD_thrh。

α反应了根据实验结果得出的NSD的分布统计特性，由此可以相应的调节β因子使搜索速度和最终的重建质量之间达到平衡。

上述矩阵M的元素M[u，v]＝[ARA^T]_u，u[ARA^T]_v，v

其中下标u，u或v，v表示矩阵ARA^T的第u，u或v，v元素，u＝0，...，N，v＝0，...，N，N为图象块的宽度或高度。

A为余弦变换F＝Af的变换矩阵，f为变换的输入矩阵即残差矩阵，F为变换的输出矩阵即变换系数矩阵；R为残差矩阵元素的相关系数矩阵；残差矩阵为当前块与参考块的差值矩阵；

当本实施例余弦变换为4×4变换时：

$R=\left[\begin{array}{cccc}1& \mathrm{\&rho;}& {\mathrm{\&rho;}}^2& {\mathrm{\&rho;}}^3\\ \mathrm{\&rho;}& 1& \mathrm{\&rho;}& {\mathrm{\&rho;}}^2\\ {\mathrm{\&rho;}}^2& \mathrm{\&rho;}& 1& \mathrm{\&rho;}\\ {\mathrm{\&rho;}}^3& {\mathrm{\&rho;}}^2& \mathrm{\&rho;}& 1\end{array}\right]$

其中ρ是残差矩阵元素的相关系数，ρ值可以根据经验取值，例如提前终止后的处理：

(a)如果当前搜索到的SAD值小于SAD_{thrh_1}时，搜索将终止，并转到局部六边形搜索进行运动矢量局部细化搜索；

(b)如果当前搜索到的SAD值小于SAD_{thrh_2}时，转到局部六边形搜索的第三步

(a)直接进行钻石形搜索。

预测的代价函数值

所说的预测的代价函数值SAD_pred可以由多种方法得到，例如在本实施例中采用四种预测，中值预测，上层预测，前帧对应位置预测，和相邻参考帧预测。

(a)中值预测(MP)：

此处的中值预测在空间域进行。与E为当前块，A为其左相邻块，B为其上边相邻块和C为其右上方相邻块，与A，B，C块对应的运动矢量分别为MV_A，MV_B，MV_C，并且搜索所得的最小代价函数SAD值分别为SAD_A，SAD_B，和SAD_C，中值预测代价函数为：

SAD_{pred_MD}＝min(SAD_{Vx_median}，SAD_{Vy_media})，

SAD_{Vx_median}＝f_SAD(Vx_median)

Vx_median＝Median(MV_A(x)，MV_B(x)，MV_C(x))

SAD_{Vy_median}＝f_SAD(Vy_median)

Vy_median＝Median(MV_A(y)，MV_B(y)，MV_C(y))

其中f_SAD()函数的定义如下：

$\left\{\begin{array}{c}{f}_{\mathrm{SAD}}\left({\mathrm{MV}}_A\left(x\right)\right)=f_{\mathrm{SAD}}\left({\mathrm{MV}}_A\left(y\right)\right)={\mathrm{SAD}}_A\\ f_{\mathrm{SAD}}\left({\mathrm{MV}}_B\left(x\right)\right)=f_{\mathrm{SAD}}\left({\mathrm{MV}}_B\left(y\right)\right)={\mathrm{SAD}}_B\\ f_{\mathrm{SAD}}\left({\mathrm{MV}}_C\left(x\right)\right)=f_{\mathrm{SAD}}\left({\mathrm{MV}}_C\left(y\right)\right){=\mathrm{SAD}}_C\end{array}\right.$

(b)上层预测(UP)：

上层预测在空间域进行。每个图象块将对应一种块模式，每个块有相对应的运动矢量；将块模式排序，块模式1，块模式2，块模式3，...，块模式1为2或3的上层搜索块模式，块模式2为其所包含的块模式4的上层搜索块模式，块模式4为其所包含的块模式5或6的上层搜索块模式，5为其所包含的块模式7的上层搜索块模式；这样利用空间域上层搜索模式的搜索所得的最小代价函数值SAD_UpLayer的1/2作为当前块模式下的代价函数预测SAD_{pred_UP}，如：

SAD_{pred_UP}＝SAD_UpLayer/2

例如H.264中有七种块模式，对应于不同的块尺寸：16×16，8×16，16×8，8×8，8×4，4×8，4×4等，如图4所示，对应于公式(1)式中N与M分别取不同值，分别定义为块模式1到块模式7，大块排序在先。

(c)前帧对应位置块的预测(CP)：

前帧对应位置块的预测在时间域进行。设当前帧t在参考帧t-1进行搜索，用前一帧t-1中与当前块对应坐标相同的块在帧t′-1中搜索得到的最小代价函数SAD_Co作为当前搜索块在帧t′中进行搜索的SAD的预测值SAD_{pred_CP}：

SAD_{pred_CP}＝SAD_Co

(d)邻近参考帧的预测(NRP)：

邻近参考帧的预测在时间域进行。在多参考帧的运动搜索时，从距离当前帧最近的参考帧开始，逐渐向距离比较远的参考帧进行搜索。在参考帧t′进行搜索时可以利用当前块在参考帧t′+1内搜索得到的最小代价函数SAD_NR作为当前块在t′搜索的预测值SAD_{pred_NRP}。取邻近参考帧搜索所得的最小代价函数作为在当前参考帧搜索过程中的SAD的预测值：

SAD_{pred_NRP}＝SAD_NR

预测的代价函数值的选取：

预测的代价函数值SAD_pred的选取原则为：

对上述四种预测，即中值预测(MP)，上层预测(UP)，前帧对应位置预测(CP)，和相邻参考帧预测(NRP)，及其对应的预测的代价函数值SAD_{pred_MP}，SAD_{pred_UP}，SAD_{pred_CP}和SAD_{pred_NRP}，将根据不同的参考帧和不同的块模式，采用不同的预测所得的SAD值，选取基本原则如下：

(a)当前帧t的某块在参考帧t′(t′＜t-1)中进行运动搜索时，利用此块在参考帧t′+1中搜索所SAD值SAD_{pred_NRP}作为预测值，即：

 SAD_pred＝SAD_{pred_NRP}

(b)当前帧t的某块在参考帧t-1中进行运动搜索时，如果此块的块模式为16×16，即为块模式1，用中值预测所得的SAD作为预测值，即：

SAD_pred＝SAD_{pred_MP}

(c)当前帧t的某块在参考帧t-1中进行运动搜索时，如果此块的块模式不为16×16，即为块模式2~块模式7，用上层预测的SAD作为预测值，即：

ASD_pred＝SAD_{pred_UP}

(d)在利用MV_{pred_CP}作为预测矢量进行搜索时，在进行这一点的搜索之后，可以利用SAD_{pred_CP}作为预测SAD判断是否终止搜索跳转到矢量细化搜索部分，即：

SAD_pred＝SAD_{pred_CP}

本发明方法在H.264的测试平台JM5.0c基础上进行了实验，选择了具有代表性的分辨率从QCIF(176×144)到HD(1280×720)，运动剧烈程度从缓慢到剧烈的各种序列进行了测试，本发明方法的实验结果表明：在各种参数配置(如多参考帧，多预测块模式等)的情况下，相对于H.264原来的采用的快速全搜索算法平均的运算量下降在90％以上，最高可超过95％，质量的下降平均在0.04dB左右，最大不会超过0.07dB。所以本发明的方法可以在保持搜索精度和编码效率的前提下极大的降低搜索速度，节省编码的时间。而且本方法通过调节因子β可以实现速度与最终解码质量之间的均衡，例如分别取α1和α₂为满足P(NSD＜α₁)＝0.6和P(NSD＜α₂)＝0.7的参数时，对应的判断阈值会提高，搜索速度会有所提高，但是重建图像质量会相应的有所下降。

Claims (8)

1、一种非均匀多层次六边形格点整象素运动搜索方法，其特征在于，包括四级搜索及在搜索中的提前终止搜索控制：

第一级预测起始搜索点：选取代价函数值最小的预测点作为下一级非对称十字形搜索的起始搜索点；

第二级非对称十字形搜索：以上一级预测起始搜索点的结果起始搜索点为基准，在搜索窗内采用非对称十字形搜索；设水平搜索范围为搜索窗的宽度2W，垂直搜索范围小于或等于2W的非对称十字形搜索模板。经过非对称十字形搜索之后获得的最佳匹配点将作为下一级搜索的搜索基准点；

在本级搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理；

第三级非均匀多层次六边形格点搜索：以第二级的最佳匹配点作为本级的起始搜索点，在起始点周围±2矩形搜索窗内进行全搜索，在搜索窗±W内搜索非均匀多层次六边形格点模板上的点，将本级已搜索过的点与起始点相比，代价函数值最小者为本级的最佳匹配点，同时作为下一级搜索的起点；

在本级搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理；

第四级局部六边形搜索：以第三级的最佳匹配点作为本级的起始搜索点，搜索六边型模板上的点，在本级的搜索终止条件控制下，得到本级中的最佳匹配点，相对应的运动矢量即为最终运动矢量；

所说的提前终止搜索控制以SAD_thrh＝SAD_pred(1+β)为判决条件控制搜索提前终止；

根据重建图像质量要求，设定多个调整因子β_i，从而得到多个提前终止阈值SAD_{thrh_i}，进而进行不同的后续搜索。

2、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的第一级预测起始搜索点，从空间域的中值运动矢量、空间域的上层搜索模式运动矢量、时间域的前帧对应位置运动矢量和时间域的邻近参考帧运动运动矢量的预测指向的搜索位置进行搜索，然后选取代价函数值最小为本级的最佳匹配点，同时作为下一级非对称十字形搜索的起始搜索点。

3、如权利要求2所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的空间域的中值运动矢量预测为：

MV_{pred_MP}＝Median(MV_A，MV_B，MV_C)

其中，MV_{pred_MP}是当前块的空间域的中值运动矢量预测；A为当前块的左边相邻块，B为当前块的上方相邻块，C为当前块的右上方的相邻块；MV_A，MV_B，MV_C分别是A，B C块对应的运动矢量；Median表示中值运算：

当块C位于图象外部时，其运动矢量用当前块的左上方相邻块的运动矢量来代替；

所说的空间域的上层搜索模式运动矢量预测为：

将不同块模式排序，为块模式1，块模式2，块模式3，…，各块模式的关系为：块模式1为2或3的上层搜索块模式，块模式2为其所包含的块模式4的上层搜索块模式，块模式4为其所包含的块模式5或6的上层搜索块模式，5为其所包含的块模式7的上层搜索块模式；每个块模式有相对应的运动矢量；用上层搜索模式的运动矢量MV_UpLayer作为当前块的预测运动矢量MV_{pred_ULP}：即MV_{pred_ULP}＝MV_UpLayer；

所说的时间域的前帧对应位置运动矢量预测为：

取当前帧的前一帧中与当前帧当前块相同坐标位置的块的运动矢量MV_Co作为当前块的预测运动矢量MV_{pred_CP}，即

MV_{pred_CP}＝MV_Co

所说的时间域的邻近参考帧运动运动矢量预测为：

设当前帧的时间为t，与时间t-1，t-2，…相对应的参考帧为：帧t-1，帧t-2，…；则当在参考帧t′中搜索时，用当前块在帧t′+1中的运动矢量MV_NR来估测出当前块在帧t′的运动矢量MV_{pred_NRP}：即

${\mathrm{MV}}_{\mathrm{pred}\_\mathrm{NRP}}={\mathrm{MV}}_{\mathrm{NR}}\&times;\frac{t-t^{\&prime;}}{t-t^{\&prime;}+1}$

对上述得到的四个预测的运动矢量MV_{pred_MP}，MV_{pred_ULP}，MV_{pred_CP}，MV_{pred_NRP}指向的搜索位置进行搜索，然后选取代价函数值最小的搜索点作为本级的最终预测起始搜索点，同时也是下一级非对称十字形搜索的起始搜索点。

4、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的第三级非均匀多层次六边形格点搜索，具体包括：

(a)将上一级非对称十字形搜索的最佳匹配点作为本级搜索的起始点，在起始点周围，在矩形±2搜索窗内进行全搜索得到每个搜索点的代价函数值；

(b)以上一级最佳匹配点为基准，在搜索窗±W内，搜索多层次六边形格点模板上的点得到每个点的代价函数值；

(c)取上述(a)，(b)中的搜索点以及起始点中代价函数值最小者为本级的最佳匹配点，作为下一级搜索的起点；

(a)与(b)步骤的搜索过程中，可以以不同搜索顺序，例如从里层到外层，每层按顺时针方向；

在搜索过程中如果满足提前终止条件，则计算本级中所有已搜索过点的代价函数值，与起始点相比较，取最小者为本级的最佳匹配点，然后转向提前终止搜索控制的处理。

5、如权利要求1或4所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的第三级非均匀多层次六边形格点搜索，所说的多层次六边形格点模板定义为：

首先定义一个基本的16点六边形模板，也是多层次六边形格点模板的第一层，此模板上的各点的坐标集合Ω_16-HP为：

Ω_16-HP＝{(x，y)|(±4，±2)，(±4，±1)，(±4，0)，(±2，±3)，(0，±4)}

由基本的16点六边形模板向外进行扩展就可以获得多层次六边形格点模板，多层次六边形格点模板上的点的坐标集合Ω为：

$\mathrm{\&Omega;}=\left\{(x,y)\right|x=x^{\&prime;*}k,y=y^{\&prime;*}k,(x^{\&prime;},y^{\&prime;})\&Element;{\mathrm{\&Omega;}}_{16-\mathrm{HP}},k=\mathrm{1,2},...,\frac{W}{4}\},$ 如果搜索窗为±W。

6、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的第四级局部六边形搜索，具体包括：

(a)以上一级最佳匹配点为为起点，搜索六边形模板上的6个点；得到六个搜索点的代价函数值；比较六边形上搜索点与上一级最佳匹配点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点，作为下一步搜索的起点；如果上一级的最佳匹配点代价函数值为最小，则转到步骤(c)；如果最佳匹配点在六边形上，则转到步骤(b)；

(b)以前一步搜索所得的最佳匹配点作为起始点，搜索六边形模板上的6个点；得到六个搜索点的代价函数值；比较六边形上搜索点与上一步最佳匹配点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点；如果上一级的最佳匹配点代价函数值为最小，则转到步骤(c)；如果最佳匹配点在六边形上，则转到步骤(b)；

(c)以前一步搜索所得的最佳匹配点作为起始点，本级的搜索过程和终止条件描述如下：搜索该起点周围钻石形模板上的四点，比较该四点与本步骤起始点的代价函数值的大小，取代价函数值最小者为本步骤最佳匹配点；如果该四个点的代价函数值皆大于本步骤的起始点的代价函数值，则搜索终止；此时的最佳匹配点就是最终运动矢量的解；如果最佳匹配点不位于中心点，则以此最佳匹配点为中心，重复步骤(c)，直到最佳匹配点位于中心或者到达搜索窗边缘截止。

7、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的提前终止搜索控制，具体包括终止条件的设置和提前终止后的处理：

所说的提前终止条件为：以SAD_thrh＝SAD_pred(1+β)：

其中SAD_pred为预测的代价函数值；

β为调解因子，代表编码后重建图象的质量，针对不同的重建图象质量要求，β取两个值β₁和β₂，分别对应于两个阈值；

SAD_{thrh_1}＝SAD_pred(1+β₁)

SAD_{thrh_2}＝SAD_pred(1+β₂)

所说的的调节因子为

$\mathrm{\&beta;}<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-\mathrm{NSD}$

其中Q_step是量化步长，B_size是图象块的大小，M[0，0]是矩阵M的第(0，0)元素；NSD为归一化的SAD差值(Normative SAD Difference)，即归一化的代价函数差值，定义为：

NSD＝(SAD_pred-SAD_best)/SAD_pred

SAD_best搜索到的最小代价函数值；所说的NSD由试验得到，根据NSD的分布统计特性，根据不同预测模式下NSD的单边分布概率P(NSD＜α)的概率分布特性，

${\mathrm{\&beta;}}_1<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-{\mathrm{\&alpha;}}_1$

${\mathrm{\&beta;}}_2<\frac{Q_{\mathrm{step}}}{M\left[\mathrm{0,0}\right]*4}*{\left(\frac{B_{\mathrm{size}}}{{\mathrm{SAD}}_{\mathrm{pred}}}\right)}^2-{\mathrm{\&alpha;}}_2$

设定α₁和α₂由P(NSD＜α)两个阈值P(NSD＜α₁)＝0.8和P(NSD＜α₂)＝0.9得到，

所说的矩阵M的元素M[u，v]＝[ARA^T]_u，u[ARA^T]_v，v

其中下标u，u或v，v表示矩阵ARA^T的第u，u或v，v元素，u＝0，...，N，v＝0，...，N，N为图象块的宽度或高度；

A为余弦变换F＝Af的变换矩阵，f为变换的输入矩阵即残差矩阵，F为变换的输出矩阵即变换系数矩阵；R为残差矩阵元素的相关系数矩阵；残差矩阵为当前块与参考块的差值矩阵；

当余弦变换为4×4变换时：

$R=\left[\begin{array}{cccc}1& \mathrm{\&rho;}& {\mathrm{\&rho;}}^2& {\mathrm{\&rho;}}^3\\ \mathrm{\&rho;}& 1& \mathrm{\&rho;}& {\mathrm{\&rho;}}^2\\ {\mathrm{\&rho;}}^2& \mathrm{\&rho;}& 1& \mathrm{\&rho;}\\ {\mathrm{\&rho;}}^3& {\mathrm{\&rho;}}^2& \mathrm{\&rho;}& 1\end{array}\right]$

其中ρ是残差矩阵元素的相关系数，取ρ＝0.6，M矩阵则为：

$M=\left[\begin{array}{cccc}5.607424& 2.125210& 1.060864& 0.678503\\ 2.125210& 0.805453& 0.402067& 0.257152\\ 1.060864& 0.402067& 0.200704& 0.128365\\ 0.678503& 0.257152& 0.128365& 0.082099\end{array}\right];$

所说的提前终止后的处理包括以下步骤：

(a)如果当前搜索到的SAD值小于SAD_{thrh_1}时，搜索将终止，并转到局部六边形搜索进行运动矢量局部细化搜索；

(b)如果当前搜索到的SAD值小于SAD_{thrh_2}时，转到局部六边形搜索的第三步(a)直接进行钻石形搜索。

8、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法，其特征在于，所说的预测的代价函数值包括四种预测：中值预测，上层预测，前帧对应位置预测，和相邻参考帧预测；

所说的中值预测在空间域进行；与E为当前块，A为其左相邻块，B为其上边相邻块和C为其右上方相邻块，与A，B，C块对应的运动矢量分别为MV_A，MV_B，MV_C，并且搜索所得的最小代价函数SAD值分别为SAD_A，SAD_B，和SAD_C，中值预测代价函数为：SAD_{pred_MD}＝min(SAD_{Vx_median}，SAD_{Vy_media})，

SAD_{Vx_median}＝f_SAD(Vx_median)

Vx_median＝Median(MV_A(x)，MV_B(x)，MV_C(x))

SAD_{Vy_median}＝f_SAD(Vy_median)

Vy_median＝Median(MV_A(y)，MV_B(y)，MV_C(y))

$\left\{\begin{array}{c}{f}_{\mathrm{SAD}}({\mathrm{MV}}_A\left(x\right)=f_{\mathrm{SAD}}({\mathrm{MV}}_A\left(y\right)={\mathrm{SAD}}_A\\ f_{\mathrm{SAD}}({\mathrm{MV}}_B\left(x\right)=f_{\mathrm{SAD}}({\mathrm{MV}}_B\left(y\right)={\mathrm{SAD}}_B\\ f_{\mathrm{SAD}}({\mathrm{MV}}_C\left(x\right)=f_{\mathrm{SAD}}({\mathrm{MV}}_C\left(y\right)={\mathrm{SAD}}_C\end{array}\right.$

所说的上层预测在空间域进行；每个图象块将对应块模式，每个块有相对应的运动矢量；将块模式排序，块模式1，块模式2，块模式3，…，：块模式1为2或3的上层搜索块模式，块模式2为其所包含的块模式4的上层搜索块模式，块模式4为其所包含的块模式5或6的上层搜索块模式，5为其所包含的块模式7的上层搜索块模式；利用空间域上层搜索模式的搜索所得的最小代价函数值SAD_UpLayer的1/2作为当前块模式下的代价函数预测SAD_{pred_UP}，如：

SAD_{pred_UP}＝SAD_UpLayer/2

所说的前帧对应位置块的预测在时间域进行。设当前帧t在参考帧t′进行搜索，用前一帧t-1中与当前块对应坐标相同的块在帧t′-1中搜索得到的最小代价函数SAD_Co作为当前搜索块在帧t′中进行搜索的SAD的预测值SAD_{pred_CP}：

SAD_{pred_CP}＝SAD_Co

所说的邻近参考帧的预测在时间域进行；在多参考帧的运动搜索时，从距离当前帧最近的参考帧开始，逐渐向距离比较远的参考帧进行搜索。在参考帧t′进行搜索时可以利用当前块在参考帧t′+1内搜索得到的最小代价函数SAD_NR作为当前块在t′搜索的预测值SAD_{pred_NRP}。取邻近参考帧搜索所得的最小代价函数作为在当前参考帧搜索过程中的SAD的预测值：

SAD_{pred_NRP}＝SAD_NR

所说的预测的代价函数值SAD_pred的选取原则为：

(a)当前帧t的某块在参考帧t′(t′＜t-1)中进行运动搜索时，利用此块在参考帧t′+1中搜索所SAD值SAD_{pred_NRP}作为预测值，即：

SAD_pred＝SAD_{pred_NRP}

(b)当前帧t的某块在参考帧t-1中进行运动搜索时，如果此块的块模式为16x16，即为块模式1，用中值预测所得的SAD作为预测值，即：

SAD_pred＝SAD_{pred_MP}

(C)当前帧t的某块在参考帧t-1中进行运动搜索时，如果此块的块模式不为16x16，即为块模式2~块模式7，用上层预测的SAD作为预测值，即：

SAD_pred＝SAD_{pred_UP}

(d)在利用MV_{pred_CP}作为预测矢量进行搜索时，在进行这一点的搜索之后，可以利用SAD_{pred_CP}作为预测SAD判断是否终止搜索跳转到矢量细化搜索部分，即：

SAD_pred＝SAD_{pred_CP}

Images