CN1236624C - 多种块模式的快速整像素运动估计方法 - Google Patents

Abstract

本发明涉及多种块模式的快速整像素运动估计方法。搜索中，首先以较小块模式搜索，由较小块模式运动向量确定较大块模式搜索范围，进一步按较大模式搜索，直到完成整像素搜索。本方法不仅保证了编码器原有的率失真特征，而且相对于各种块模式单独搜索大幅度降低了计算量，使编码速度大大提高，且方法简单，易于软硬件实现。本方法致力于解决H.264视频编码器中多种块模式运动估计方法上的问题，但并不限于H.264国际标准，可与现有亚像素搜索方法和率失真优化(RDO)块模式决策模型相结合使用。

Description

多种块模式的快速整像素运动估计方法

技术领域

本发明属于信息处理的视频编码领域，主要针对H.264视频编码国际标准中最新提出的多种块模式运动补偿方法，提出了新的利用各种块模式的相关性和中途截止(half stop)准则的快速运动估计方法，在保证视频编码原有率失真的条件下，大大提高了各种块模式的搜索速度，且算法简单，有利于软硬件实现。

背景技术

目前，视频编码技术已趋于成熟，国际标准H.261、H.263、H.264、MPEG-1、MPEG-2、MPEG-4等的制定大大推动了多媒体技术的应用。即将制定完成的H.264视频编码标准其编码效率比以前的编码标准大大提高，从而广受业界的关注。

以上视频编码的国际标准都采用混合编码框架，即综合考虑预测、变换、熵编码等因素提高编码效率。预测包括帧内预测与帧间预测，帧内预测后可去除帧内编码的空间冗余，而帧间的预测则可去除时间上的冗余度。

由于运动图像时间上的连续性，去除时间上的冗余可获得更大的压缩效率，所以通过运动估计方法去除帧间的冗余，一直是视频编码研究的热点。传统的运动估计方法是基于块匹配的，这与编码方法有关。现有的视频编码标准都是基于DCT(或类DCT)变换的，通常将一帧图像按16×16的图像块进行编码。比如在编码某一P帧中的一个宏块M时，在参考帧相应位置的一定范围内搜索最为匹配的块R作为宏块M的参考块，将当前宏块M减去参考宏块R即可得到运动估计后的残余矩阵，将此残余矩阵经过变换、量化、熵编码即得到该宏块编码后的码流。

在搜索匹配块时要用到匹配准则，目前最为通用的匹配函数是SAD(Sum ofAbsolute Difference)函数，其定义如下：

$\mathrm{SAD}(x,y,n)=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{abs}(f(i,j,t)-f(i-x,j-y,t-n))$ 公式(1)

这里假设采用多参考帧，其中匹配块大小为M×N，H.263，MPEG-4有16×16和8×8两种块模式，H.264包括7种块匹配模式，如：16×16、16×8、8×16、8×8、8×4、4×8、4×4，参见附图1。其中：f(i，j，t)表示t时刻当前图像帧块坐标位置的亮度值，函数abs()表示绝对值，SAD(x，y，n)代表运动向量为(x，y)及参考帧为n时的运动估计代价函数。假设当前块矩阵为C，P(x，y，n)表示第n个参考帧中相对当前图像块运动向量为(x，y)的参考块矩阵，则残余矩阵E(x，y，n)为

              E(x，y，n)＝C-P(x，y，n)        公式(2)

H.264采用了与以前编码标准类似的混合编码框架，不同的是在预测、变换、熵编码上都采用了新的技术，进一步提高了编码效率。H.264帧间预测技术主要包括运动补偿的七种块模式(如图1)、各种块模式的运动向量预测、精确到1/4的亚像素插值等。实验证实H.264的运动补偿方法对其编码效率提高作用最大，且采用不同大小的块模式的整像素运动补偿，可以比仅采用16×16的模式提高15％左右的编码效率，若与现有的率失真优化(RDO)块模式决策模型相结合，可得到更高的编码效率。

但是其编码的高效性是以增加计算的复杂度为代价的。如果每个块模式独立搜索，即使采用目前最快的搜索方法，其计算量也可想而知。要想达到实时编码，对系统硬件要求过高，成本可能会成倍地提高。如果采用全搜索法，且每种块模式进行独立搜索，其整像素搜索复杂度将增加7倍以上。因而减小不同块模式搜索的计算量将对发挥H.264编码效率的优势起着致关重要的作用。为提高H.264整像素搜索的速度，必须综合考虑其整数变换、量化方法、向量预测等方法及其各个块模式之间的相关性。

发明内容

本发明在现有的运动估计方法基础上，针对H.264等视频编码标准提出一种适应多种块模式运动估计的方法。在保证原有编码率失真特性的条件下极大地降低了运算量，大大提高了编码的速度，且算法思想简单，易于实现。本方法不仅适用于H.264国际标准，在编码中可视具体情况与亚像素搜索方法以及率失真优化(RDO)块模式决策模型结合使用。

本发明从各种块模式的相关性出发，结合起始点的预测以及提前截止退出等方法进行各种块模式的搜索。本发明采用的技术方案如下：

多种块模式的快速整像素运动估计方法，其特征在于包括以下四个部分：起始点的确定及跳过宏块(skipped macroblock)的检测；最小块模式的菱形带搜索方法；其它块模式的搜索方法；搜索截止准则，各个部分实现步骤如下：

a.起始点的确定及跳过宏块(skipped macroblock)的检测：

起始点设定为可能成为跳过宏块的位置，并在起始点检测该宏块是否为跳过宏块。如该宏块为跳过宏块，则不再进块匹配搜索与宏块编码，直接进行下

一个宏块的块匹配搜索与编码；否则开始下一步搜索；

b.最小块模式的菱形环搜索方法

这一步提出两种菱形环搜索方法：菱形环环扩散搜索法和基于方向校正的菱形环环扩散搜索法。这两种方法以菱形区域作为搜索区域，并按以下公式归类菱形环：

                  N＝abs(MV_X)+abs(MV_Y)搜索时，这两种方法皆按菱形环的顺序，一个菱形环一个菱形环地搜索，直到中途截止或完成搜索区域内的搜索，第二种方法提出了一种基于方向校正的菱形环环扩散搜索法，方向校正是通过统计SAD值，逐步放弃最大统计SAD值方向的搜索，直到搜索到SAD值最小的匹配块，速度较前一个快，但精度稍差一点；

这两种方法中的任何一种方法的中途截止必须符合以下其中一个条件：

1)N_cur-N_min＞＝2

N_cur为当前搜索菱形环号，N_min最小SAD所在菱形环号，

2)当前搜索菱形环SAD最小的参考块符合第四部分搜索截止准则；

c.其它块模式的搜索方法：其它块模式搜索法是基于由较小块模式到较大块模式搜索的一种搜索方法，由较小块运动向量决定较大块模式搜索范围的左上角、右上角、左下角、右下角，即决定其搜索的方形搜索范围，并在此范围进行全搜索或快速搜索，由此来减小较大模式的搜索范围的方法来减小计算量；

d.搜索截止准则：本搜索截止准则参考H.264国际标准整数变换与量化方法，以4×4块大小为检测单位，通过对每个4×4块的运动估计残余矩阵经整数变换并校正后，根据其16个系数是否都小于阈值H1，决定每一个4×4块搜索是否截止，本截止准则用于第一步跳过宏块(skipped macroblock)的检测和第二步最小块模式搜索截止的检测。

下面对以上四个部分作进一步的说明：

跳过宏块(skipped macroblock)的检测及起始点的确定

H.264标准规定，若当前编码宏块为跳过宏块，则该编码宏块必须符合以下三个准则：

1)16×16的块模式。

2)如附图2所示，A块为当前编码宏块，L块与T块分别是左边与上边最小块模式。如果L块与T块任一块运动向量水平与垂直都为零，即零向量，则要求A块运动向量为零向量；如果L块与T块的运动向量都不为零向量，则要求A块运动向量为其16×16块模式的预测向量。

3)帧间预测后的残余矩阵经整数变换与量化后全为0。

本发明第一步首先检测是否为跳过宏块。如为跳过宏块，那么整个宏块无需再进行匹配搜索和宏块编码，直接进入下一宏块的运动估计与编码；否则，进行第二步搜索。搜索具体步骤如下：

1)首先以上述准则2)确定A块运动运动向量作为运动估计的起始点。

2)获得起始点处经帧间预测后的的残余矩阵，采用本说明第四部分搜索截止(half stop)准则检测该残余矩阵是否符合以上跳过宏块准则。

3)如符合跳过宏块准则，则退出当前宏块运动估计；否则开始第二步搜索。

2.最小块模式的菱形环搜索法

最小块模式可能是4×4块模式，也可能是8×8的块模式。值得强调的是，最小块模式搜索的准确度往往直接影响到其它块模式的搜索精度，所以尽量采用搜索精度较高的搜索方法，我们提出两种菱形环搜索法，其特征如下：

(1)搜索范围不再是传统的方形范围，而直接采用菱形范围，简化了软硬件实现；

(2)固定的搜索模式，和良好的可扩展性，易于软硬件的实现；

(3)由于H.264运动向量编码采用UVLC变长码编码方法，运动向量残差数据(MVD)越大，其码长越长。菱形环搜索法采用从较短码长运动向量位置向较长码长运动向量位置搜索的策略，更容易搜索到最接近当前宏块位置的最匹配块。这也是本方法的一个最大的特点。

菱形环搜索法可参看附图3，图中是-7~+7的菱形搜索范围，其中a为搜索起始点，搜索位置所属菱形环由以下公式确定：

             N＝abs(MV_X)+abs(MV_Y)    公式3

假设菱形环搜索起始点a为第0个菱形环，b~h分别是第1~7个菱形环，以此类推。以上公式中N为菱形环编号，MV_X，MV_Y分别为运动向量的水平和垂直分量。附图3中字母旁的数字表示菱形环方向，如b1，b2，b3，b4表示b环的四个方向。

1)菱形环环扩散搜索法

前面基本介绍了菱形环的搜索区域设置，最简单的菱形环搜索法按以下步骤进行：

(1)搜索位置a，完成跳过宏块检测后，如不符合跳过宏块准则，则沿b环路线开始搜索匹配块(如附图3所示)。

(2)完成b环搜索后，如当前搜索到的最小SAD值在b环中，检测最小SAD值的4×4块是否符合截止准则(本说明第四部分阐述)，如符合则停止此4×4块搜索，开始下一4×4块的搜索；如不符合，则开始c环的搜索。

(3)如此一个一个环往下搜索，直到符合以下公式或搜索完规定搜索范围时，此4×4块搜索停止，开始下一个4×4块搜索：

N_cur-N_min＞＝2       公式4

N_cur为当前搜索菱形环号，N_min最小SAD所在菱形环号。

2)基于方向校正的菱形环环扩散搜索法

前一方法对于静止块较多或多为大块运动的序列可快速准确地搜索到匹配块，但对运动块较小，且运动不易预测的序列，则要消耗很多的时间，基于上一种方法，这里提出一种更快的搜索方法。步骤如下：

(1)如上一方法搜索b，c，d菱形环，并分别计算四个方向的总的SAD值SAD1_sum、SAD2_sum、SAD3_sum、SAD4_sum，其中：

        SAD1_sum＝SAD_b1+SAD_c1+SAD_d1

        SAD2_sum＝SAD_b2+SAD_c2+SAD_d2

        SAD3_sum＝SAD_b3+SAD_c3+SAD_d3    公式5

        SAD4_sum＝SAD_b4+SAD_c4+SAD_d4

SAD_b1，SAD_b2，SAD_b3，SAD_b4分别为b环四个方向总的SAD值，SAD_c1，SAD_c2，SAD_c3，SAD_c4分别为c环四个方向总的SAD值，SAD_d1，SAD_d2，SAD_d3，SAD_d4分别为d环四个方向总的SAD值。如在搜索b，c，d过程中满足如第一种方法截止条件时，搜索截止；否则比较SAD1_sum SAD2_sum SAD3_sum SAD4_sum四个值，并找出最大值和标出最大值所在方向，在下一步放弃此方向的匹配块搜索。

(2)如搜索还未停止，继续e菱形环其它三个方向的搜索，并将此三个方向所有SAD加入其相应方向SADX_sum(X表示某方向)，在f菱形环搜索时，放弃最大SADX_sum方向的搜索，如此搜索下去，在以上搜索过程中，按第一种方法的搜索截止方法截止搜索，直到只有一个方向。如搜索没有停止，按此一个方向完成搜索。

以上两种方法都基于一个假设：最接近预测值处的SAD最小值即为最佳匹配值。第二种方法还基于如下假设：接近最小SAD值周围SAD要小于其它SAD值。对于绝大多数情况这两个假设是成立的，也有些时候并不成立。实验发现，虽有时并不能找到最佳匹配，但可在保证较高的搜索速度的同时，最大程度上保证原有率失真特性。

以上两种方法最大的特点是每一步中以及步骤之间独立性较好，易并行实现，有利于硬件和DSP实现。传统的搜索方法多采用中心偏离(center bias)方法，如钻石搜索法(Diamond search)，六边形搜索法(hexagon search)等，其每一步之间相关性大，不易并行实现。

3.其它块模式的搜索

本搜索法采用从较小块模式到较大块模式的策略，逐步搜索。在此以最小块模式4×4为例进行阐述。完成一个宏块中16个最小块模式搜索后，开始4×8块模式的搜索。每个4×8块由两个4×4块组成，由此可产生该4×8块的矩形搜索范围(如附图4所示)，假设两个4×4块运动向量分别为(MV0_X，MV0_Y)、(MV1_X，MV1_Y)搜索范围产生公式如下(如图4所示)：

LT坐标为：(min(MV0_X，MV1_X)，min(MV0_Y，MV1_Y))

LB坐标为：(min(MV0_X，MV1_X)，max(MV0_Y，MV1_Y))    公式6

RT坐标为：(max(MV0_X，MV1_X)，min(MV0_Y，MV1_Y))

RB坐标为：(max(MV0_Y，MV1_Y)，max(MV0_Y，MV1_Y))

通常，由于图像在空间上运动具有一定的连续性，特别是在同一运动物体上的块，由此所得出来的搜索范围极小，而且可极准确地找到匹配块，因此可在此范围内采用全搜索，并不会对搜索速度影响太大，当然也可以采用更为快速的搜索策略。

完成当前宏块4×8块模式的搜索之后，可采用类似方法完成8×4，8×8等更大块模式的搜索，极大地减小了匹配块搜索的计算量。

完成各种块模式的搜索之后，再配合其它亚像素搜索法，及其率失真(RDO)模型完成当前宏块最佳宏块类型的决策。

4.搜索截止(half stop)准则

搜索截止准则用在第一步跳过宏块的检测和第二步最小块模式搜索截止。第一步跳过宏块的检测以一个4×4的块为单位进行判断，直到完成16个块检测。如遇其中一个块不符合截止准则，即退出检测，进行下一步搜索。第二步最小块模式搜索时，每一个菱形环进行一次搜索截止检测。

由于H.264采用类DCT的整数变换，变换会带来一定的失真，而采用量化方法，对变换系数进行补偿。为了简化量化后零系数的检测方法，首先要对其变换后的系数进行校正，公式如下：

                Y＝(CEC^T)T          公式7

其中 $T=\left[\begin{array}{cccc}0.256& 0.160& 0.256& 0.160\\ 0.160& 0.100& 0.160& 0.100\\ 0.256& 0.160& 0.256& 0.160\\ 0.160& 0.100& 0.160& 0.100\end{array}\right],C=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]$

T为统一校正矩阵，E为4×4亮度块预测后残差矩阵，C为类DCT变换矩阵，表示矩阵对应元素相乘，Y即为校正后矩阵。首先求出量化后值为1所对应的量化前的校正系数H1，并将其作为检测的阈值。即小于H1值时，则将其视为零系数。

H1＝0.256×(2^q_bits-qp_const)/quant_coeff[qp_rem]  公式8

其中：qp_per＝QP/6，qp_rem＝QP％6，q_bits＝15+qp_per，qp_const＝(2^q_bits)/6。QP最大值为51，qp_rem为整数0~5，quant_coeff[6]＝{13107，11916，10082，9362，8192，7282}。

搜索截止检测按如下步骤进行：

1)按上述方法，对4×4块差值矩阵进行整数变换，并校正矩阵；

2)逐一检测16个系数是否大于阈值H1，一旦有大于H1的系数，则退出。搜索截止准则实施依据：

1)H.264整数变换很大程度上简化了运算复杂度，在此进行整数变换，只要不太频繁的判断，不会增加太多计算量；

2)截止判断不能过于频繁，如每一个搜索位置进行一次判断，其运动算量太大，一般一个菱形环进行一次判断；

3)检测过程中，还可通过忽略一些行程过长的，量化后其值(Level)为1的系数，从而提高编码速度与编码效率。

本发明的特点与效果：

本发明提出了一种适应多种块模式快速整像素运动估计方法。本方法最大程度上保证了已有编码率失真特性，极大地降低了运动估计的计算量。其搜索精度由最小块模式搜索精度决定；其运动估计速度与编码器目标码率有关，通常目标码率越低，平均量化参数越大，运动估计速度越快。与亚像素搜索方法与率失真优化(RDO)宏块类型决策模型结合使用，获得最佳编码率失真特性。本发明不限于H.264国际标准，可考虑具体情况适当应用。

附图说明：

图1为H.264标准规定七种帧间运动补偿块模式示意图；

图2为H.264标准规定16×16块模式运动向量预测示意图；

图3为菱形环运动估计方法搜索范围示意图；

图4为除最小块模式外其它块模式搜索范围示意图。

具体实施方式

本发明提出的适应于多种块模式的整像素运动估计搜索法主要适用于具有多种块模式的视频编码标准，如H.264等，主要按如下步骤进行：

1.起始点的确定及跳过宏块(skipped macroblock)的检测

搜索首先确定起始点，以可能成为跳过宏块(skipped macroblock)的位置作为起始点开始搜索。这一步与视频编码标准有关。如确定为可跳过宏块，则不再进行块匹配搜索与与编码，继续下一宏块搜索，否则开始第二步的搜索。

2.最小块模式的菱形环搜索法

这一步是运动估计的关键，其搜索精度直接影响下一步其它块模式搜索精度。块越小，往往匹配越困难，特别是4×4大小的块模式，最小SAD值匹配块也不一定是最佳匹配块。这一步本发明提供两个搜索方法，即菱形环环扩散搜索法和基于方向校正的菱形环环扩散搜索法，可配合搜索截止准则，精确地完成4×4块模式的匹配。

3.其它块模式的搜索

较大块模式其块匹配位置与较小块模式相关，所以先完成较小块模式搜索，然后按较大块模式搜索。大的块模式在相关的小的块模式范围内搜索。由于通常其范围较小，可在其范围全搜索。也可考虑具体情况，在此范围内采用快速算法。

4.搜索截止(half stop)准则

搜索截止准则主要用于第一步跳过宏块检测和第二步最小块模式的搜索截止。截止准则参考了H.264整数变换与量化方法，本方法以一个4×4的块为检测单位，首先将估计后残余量作整数变换，然后校正变换系数，将校正矩阵与阈值H1逐一比较，如遇大于阈值H1的系数则退出检测。

本截止准则判断准确但运算量较大，不宜每个搜索点都判断，如采用菱形环搜索法，一般一个菱形环搜索完成后作截止判断。

本发明已在发明人自主开发的H.264编码器上测试通过。该编码器采用了H.264中如下技术：

1)参考帧个数：1个

2)帧类型：I帧、P帧

3)率失真优化(RDO)

4)CAVLC熵编码

5)整像素运动估计范围：32

6)运动估计块模式：包括7种块模式

7)1/4像素搜索精度

通过该技术的应用，在1GHz CPU的PC机上，对foreman，mobile，paris，bus等CIF序列编码可达6-10帧/秒，对foreman等QCIF序列可达20-40帧/秒。在没有用MMX、SSE等多媒体扩展指令的条件下，QCIF序列在PC机上可实现实时编码。并且经编码的图像保持了原有的率失真特性。

Claims (1)

1.多种块模式的快速整像素运动估计方法，其特征在于包括以下四个部分：起始点的确定及跳过宏块的检测；最小块模式的菱形带搜索方法；其它块模式的搜索方法；搜索截止准则，各个部分实现步骤如下：

a.起始点的确定及跳过宏块的检测：

起始点设定为跳过宏块的位置，H.264标准规定，若当前编码宏块为跳过宏块，则该编码宏块必须符合以下三个准则：

1)16×16的块模式；

2)在H.264标准规定的16×16块模式运动向量预测图中，A块为当前编码宏块，

L块与T块分别是左边与上边最小块模式；如果L块与T块任一块运动向量水平与垂直都为零，即零向量，则要求A块运动向量为零向量；如果L块与T块的运动向量都不为零向量，则要求A块运动向量为其16×16块模式的预测向量；

3)帧间预测后的残余矩阵经整数变换与量化后全为0；

如该宏块为跳过宏块，则不再进块匹配搜索与宏块编码，直接进行下一个宏块的块匹配搜索与编码；否则开始下一步搜索；

b.最小块模式的菱形环搜索方法

这一步提出两种菱形环搜索方法：菱形环环扩散搜索法和基于方向校正的菱形环环扩散搜索法；这两种方法以菱形区域作为搜索区域，并按以下公式归类菱形环：

                  N＝abs(MV_X)+abs(MV_Y)

搜索时，这两种方法皆按菱形环的顺序，一个菱形环一个菱形环地搜索，直到中途截止或完成搜索区域内的搜索；第二种方法提出了一种基于方向校正的菱形环环扩散搜索法，方向校正是通过统计SAD值，逐步放弃最大统计SAD值方向的搜索，直到搜索到SAD值最小的匹配块，速度较前一个快，但精度稍差一点；

这两种方法中的任何一种方法的中途截止必须符合以下其中一个条件：

1)N_cur-N_min＞＝2

N_cur为当前搜索菱形环号，N_min最小SAD所在菱形环号，

2)当前搜索菱形环SAD最小的参考块符合第四部分搜索截止准则；

c.其它块模式的搜索方法：其它块模式搜索法是基于由较小块模式到较大块模式搜索的一种搜索方法，由较小块运动向量决定较大块模式搜索范围的左上角、右上角、左下角、右下角，即决定其搜索的方形搜索范围，并在此范围进行全搜索或快速搜索，由此来减小较大模式的搜索范围的方法来减小计算量；

d.搜索截止准则：本搜索截止准则参考H.264国际标准整数变换与量化方法，以4×4块大小为检测单位，通过对每个4×4块的运动估计残余矩阵经整数变换并校正后，根据其16个系数是否都小于阈值H1，决定每一个4×4块搜索是否截止，本截止准则用于第一步跳过宏块的检测和第二步最小块模式搜索截止的检测。

Images