CN1791224A - 一种基于h.264的自适应块搜索范围快速运动估计方法 - Google Patents

Abstract

一种基于H.264的自适应块搜索范围快速运动估计方法，包括有初始搜索中心位置预测、静止宏块判定、搜索区域自适应调整三个步骤。本发明采用了自适应确定搜索范围的思想，并根据相邻块运动矢量的绝对值来动态地确定每个块的搜索区域大小，由于利用了图像运动的帧间、帧内相关性来找到其初始搜索中心位置，并动态地确定每个块的搜索区域的大小，从而可根据帧率和运动幅度的不同，不同程度地减少运算复杂度；同时能够在基本不损失信噪比的前提下，提高这种搜索运动估计方法的运算速度，具有适用面广、鲁棒性强的特点。

Description

一种基于H.264的自适应块搜索范围快速运动估计方法

技术领域

本发明涉及计算机领域中视频图像编码数据的运动估计方法的技术领域，特别是涉及一种基于H.264的自适应块搜索范围快速运动估计方法。

背景技术

H.264是由ITU-T和MPEG组成联合专家组JVT制定的目前最新的视频编码标准。这一编码标准可以获得很高的编码效率，尤其在低码率视频编码方面比MPEG4有明显提高，非常适合于低带宽质量网络视频的应用需要，但是，由于H.264为了提高编码效率，采用了许多高计算复杂度的运动估计方法，使得编解码计算量很大，因而很难用软件方式进行实时编解码，同时为硬件实现编解码也增加了难度。

为了使H.264能比较容易地在低码率、高实时性的应用系统中实现，必须对其编码运动估计方法进行优化。通过对H.264编码器(参见附图1)各个运动估计模块进行的分析可以看出，由于运动估计模块的计算量占整个编码器运算量的80％以上，因此，若对整个编码器进行优化，运动估计模块应作为首选。

运动估计方法的好坏影响着编码比特率、重建图像质量和速度。如果以预测误差作为衡量标准，则全搜索(FS)是最好、最简单的匹配方法，但由于它的计算量太高，不适合实时应用，因而提出了许多改进的快速搜索运动估计方法，目前主要有以下几种方法：

方法一：参见附图2，步骤①以w/2为步长，测试以原点为中心的八点；步骤②以最小匹配误差点为中心，步长折半，测试新的八点；步骤③重复第②步得到最后的运动向量。此类运动估计方法对于每一块的测试点为固定的9+8+8＝25个。当位移大小w＝7时，它相对于全搜索运动估计方法的加速因子为9。这种搜索运动估计方法称为三步法(There-Step Search简称3SS)。

方法二：参见附图3，步骤①以中心起始点为中心，以步长为2的8个点为搜索窗(5×5)，找出9个点中绝对误差和最小的点，如果这个最小误差点是搜索窗的中心点或者到达搜索区域边界，则转到第③步；步骤②以步骤①中找到的最小误差为中心点，步长为2的8个点为搜索窗(5×5)，找出9个点中绝对误差和最小的点。如果这个最小误差点是搜索窗的中心点或者到达搜索区域边界，则转到第③步，否则，重复本步骤；步骤③以步骤②中找到的最小误差点为中心，步长1的8个点为搜索窗(3×3)，找出9个点中绝对误差和最小的点。以该点为基础进行一次半象素精度的运动估计，得到最终的运动矢量。这种搜索运动估计方法称为四步法(Four-Step Search简称4SS)。

方法三：参见附图4，在搜索时采用了大菱形搜索模式和小菱形搜索模式。大菱形搜索模式有9个搜索点，小菱形搜索模式有5个搜索点。用此方式搜索时，先以预测到的搜索中心为中心，进行大菱形搜索，计算9个点，如果9个点中的最优点不在大菱形的中点，则将大菱形的中心移至该点，重复大菱形搜索，直到最优点处于大菱形中心为止。然后在该点切换小菱形搜索模式搜索，共搜索5个点得到最终的搜索结果作为运动估计最优匹配点。这种搜索运动估计方法称为菱形法(Diamond Search简称DS)。

分析以上各种运动估计方法可得：由于它们有一个共同的特点，即它们的搜索范围都是确定的，从而必然存在一定的搜索冗余，而且以上运动估计方法本身的适应性和鲁棒性也不够好。

而现在一些论文中提出的自适应搜索范围方法(Extended Adaptive Range Search简称EARS)则是通过对整帧图像的所有块的运动向量求平均值，然后通过这一平均值来确定整帧图像的块搜索范围。但这种运动估计方法对于那些运动向量偏差较小的块带来了搜索冗余，而对于那些运动向量偏差较大的块，则又容易造成图像质量损失。

发明内容

本发明所要解决的技术问题是针对上述现有技术现状而提供一种能明显减少运算冗余、大大提高运动估计运算速度的基于H.264的自适应块搜索范围快速运动估计方法。

本发明解决上述技术问题所采用的技术方案为：该基于H.264的自适应块搜索范围快速运动估计方法，包括有初始搜索中心位置预测、静止宏块判定、搜索区域自适应调整三个步骤；

其中，所述的初始搜索中心位置预测为根据相邻宏块的运动矢量及前一帧对应位置运动矢量的相关性，然后推出预测初始中心位置，具体步骤如下：

1)从缓存中取出相邻宏块的运动矢量及前一帧对应位置运动矢量；

2)根据公式(2)，(3)计算出预测的初始中心位置；

x_c＝i+v_x(i，j)，y_c＝j+v_y(i，j)，(3)

其中，所述的V(i，j)表示初始运动矢量，所述的(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分别表示当前宏块、当前宏块左上角宏块、参考帧中当前宏块的对应宏块，对应地，所述的V(i，j，t)、V(i-1，j-1，t)、V(i，j，t-1)分别表示当前运动矢量、当前宏块左上角运动矢量、参考帧中当前宏块对应的运动矢量，而(x_c，y_c)表示初始搜索中心位置；

3)根据预测的初始中心位置，定位参考帧中对应的宏块；

所述的静止宏块判定是根据自适应确定的阈值T₀，再计算出当前宏块与其在参考帧中的初始对应宏块的SAD(sum of absolute differences，意为绝对差和，简称SAD)，将其与自适应阈值T₀相比较，判断是否为静止宏块，具体步骤如下：

1)根据公式(4)计算出自适应阈值T₀；

2)计算当前宏块与其在参考帧中的初始对应宏块的SAD；

3)比较SAD与T₀，当SAD≤T₀时，其预测得出的初始中心位置就是最终的最佳匹配点，此时就可跳过此宏块直接对下一宏块进行运动估计；

4)否则，进入所述搜索区域自适应调整的步骤；

所述的搜索区域自适应调整是利用相邻宏块的运动矢量及前一帧对应位置运动矢量的相关性，根据前面得出的相邻宏块的运动矢量及前一帧对应位置的运动矢量，计算出自适应确定的搜索区域的大小，具体步骤如下：

1)从缓存中取出相邻宏块的运动矢量及前一帧对应位置运动矢量；

2)根据公式(5)，(6)计算出自适应确定的搜索区域A的大小；

$D=\frac{\underset{i=0}{\overset{N_{\mathrm{MV}}}{\mathrm{\Σ}}}\left|{V_i}^{\mathrm{motion}}\right|}{N_{\mathrm{MV}}}...\left(5\right)$

3)根据搜索区域A的大小，确定合适的搜索方法。

为进一步完善该方法，提高运算速度，所述的根据搜索区域A的大小来确定合适的搜索方法具体步骤如下：当搜索区域A≤2时，采用全搜索方法；当搜索区域A≥3时，则与三步法或新三步法或四步法或菱形法等快速搜索方法相结合。

与现有技术相比，本发明提出了一种新的适用于H.264自适应块搜索范围的快速运动估计搜索方法(简称NARS)，采用了自适应确定搜索范围的思想，并引入了根据相邻块运动矢量的绝对值来动态地确定每个块的搜索区域大小的概念；该运动估计方法由于利用了图像运动的帧间、帧内相关性来找到其初始搜索中心位置，并动态地确定每个块的搜索区域的大小，从而其可以根据帧率和运动幅度的不同，不同程度地减少运算复杂度；同时这种运动估计方法还可以与其它任何一种快速运动估计方法相结合，并能够在基本不损失信噪比的前提下，提高这种搜索运动估计方法的运算速度。实验结果表明，在基本不影响图像重建质量的前提下，该运动估计方法在平均搜索次数方面相对于全搜索运动估计方法降低了200-300倍，不仅明显提高了运算速度，而且具有适用面广、鲁棒性强的特点。

附图说明

图1为现有的基于块匹配搜索方法的编码器模块图；

图2为背景技术中方法一(三步搜索法)的运动估计方法的示意图；

图3为背景技术中方法二(四步搜索法)的运动估计方法的示意图；

图4为背景技术中方法三(菱形法)的运动估计方法的示意图；

图5为本发明实施例的流程示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图5所示，该基于H.264的自适应块搜索范围快速运动估计方法，具体步骤包括初始搜索中心位置预测、静止宏块判定、搜索区域自适应调整以及根据设定的自适应阈值T₀ 提前结束搜索步骤；

其中，对当前宏块做运动估计时，首先利用图像运动的帧间、帧内相关性，找到其初始搜索中心位置，然后再根据一定的准则快速判定其是否是静止宏块，若是，就跳过此宏块，直接对当前帧中的下一宏块进行运动估计；否则，就根据相邻宏块的运动矢量来动态地确定当前块的搜索区域的大小，以便减少搜索点数和减少运算的复杂度，该运动估计方法流程见附图5。

衡量最佳匹配的准则：衡量最佳匹配的准则有很多种，其中绝对差和(sum ofabsolute differences简称SAD)运算量最小，用得也最多，本发明采用SAD来进行最佳匹配的衡量。SAD定义为

$d={\mathrm{SAD}}_{(x,y)}(u,v)$

$=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|F_i(x+i,y+j)-F_{i-1}(x+i+u,y+j+v)|...\left(1\right)$

初始搜索中心位置的预测：根据运动区域的特征，特别是对同一物体，由于构成它的宏块具有高度相关的运动矢量，因此如果利用相邻宏块的运动矢量来预测当前宏块(i，j）的初始运动矢量V(i，j)，那么找到初始搜索中心位置(x_c，y_c)后，就可以使最终得到的运动矢量更接近于全局最优值，甚至优于用FS(full search，意为全搜索方法，简称FS)找到的运动矢量。初始搜索中心位置的计算可由公式(2)、(3)得到，公式(2)中(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分别代表当前宏块、当前宏块左上角宏块、参考帧中当前宏块的对应宏块，依次类推。

                x_c＝i+v_x(i，j)，y_c＝j+v_y(i，j)，(3)

静止宏块判定：通常情况下，都是用固定的阈值来确定静止宏块，如SAD＝512常用做16×16宏块的阈值。本运动估计方法中提出一种与相邻宏块SAD值有关的自适应阈值T₀。T₀的实现见公式(4)，SAD的定义见公式(1)。若当前宏块与其在参考帧中的初始对应宏块所得的SAD≤T₀，则其初始运动矢量就为v(i，j)，此时就可跳过此宏块直接对下一宏块进行运动估计。

搜索区域自适应调整：由公式(2)、(3)即可得出初始运动中心位置的预测，同时可以知道相邻宏块的运动矢量及前一帧对应位置运动矢量。根据SAD分布的空间方向性和运动矢量中心偏移性的思想，若当相邻块的运动矢量绝对值较大时，预测出来的当前块的运动矢量与最后计算得出的运动矢量之间的偏差的收敛域会比较大，这时就需要放大搜索范围才能找到最佳匹配块；当相邻块的运动矢量都比较小时，则情况恰恰相反。另外，根据搜索区域的不同，还可以与具体的快速运动估计方法相结合，以便在保证图像质量的前提下，达到减少运算复杂度的目的。

本发明方法(即NARS)的实现过程为：当初始搜索中心位置测定后，即可根据相邻块运动矢量及前一帧对应位置运动矢量的绝对值的平均值来动态确定搜索区域的大小A，具体公式如下：

$D=\frac{\underset{i=0}{\overset{N_{\mathrm{MV}}}{\mathrm{\Σ}}}|{V_i}^{\mathrm{motion}}}{N_{\mathrm{MV}}}...\left(5\right)$

分析以上实现过程可知当帧率较高，相应的运动幅度较小时，由于一帧图像中绝大部分宏块的运动矢量都比较小，所以采用该运动估计方法后，绝大部分宏块的搜索区域可以限定在较小的范围内(A≤2)，本发明对这些宏块采用FS的搜索运动估计方法，虽大大地减少了匹配的点数，降低了计算复杂度，但并不影响重建图像的质量；当帧率相对比较低运动幅度较大时，一小部分宏块的搜索区域会比较大(A≥3)，本运动估计方法对这部分宏块采用DS搜索运动估计方法，由于一帧图像中大部分宏块的运动矢量还是比较小的，因而匹配的点数也会大大地减少，但没有帧率高、运动幅度小的情况下减少得多，图像质量也有一定的损失，也就是在性能的提高上有所下降。

本发明的具体操作如下：

第一步，确定预测出初始的中心位置，具体的实现过程如上述公式(2)，(3)所示，假设当前块的坐标为(2，5)而根据公式(2)估计出来的运动矢量为(1，-1)，则根据公式3可以得到预测的初始中心位置的坐标就是(3，4)。

初始中心位置确定以后，下一步就是静止宏块的确定。根据公式(4)可以得到一个自适应的阈值T₀，当当前宏块与其在参考帧中的初始对应宏块所得的SAD≤T₀时，其初始运动矢量就为v(i，j)，此时就可跳过此宏块直接对下一宏块进行运动估计。假设当前块的自适应阈值为450，而当前宏块与其在参考帧中的初始对应宏块所得的SAD＝420，则其在参考帧中的初始对应宏块就被判为静止块，而最终所得的最佳匹配点就是(3，4)。

而当通过静止宏块判定公式判定以后发现不是静止宏块，则此时要用块匹配方法找到最佳的匹配点。本发明采用了块搜索范围自适应确定的快速搜索方法。由上面已经得出预测的初始中心位置坐标及知道相邻宏块的运动矢量。根据公式(5)，(6)即可确定搜索范围的大小。然后根据搜索范围的大小，选择相应的快速运动估计搜索方法进行最佳匹配点地搜索。假设得出的搜索范围为2，然后通过全搜索方法得出的运动矢量为(1，1)，则最终最佳搜索中心点的坐标为(4，5)。当得出的搜索范围大于2时，可以考虑采用另一种搜索方法，如三步法(参见图2)、新三步法、四步法(参见图3)、菱形法(参见图4)等。从而可以把搜索次数限定在一定的范围内，同时不影响重建图像的质量。

以下两张表是本发明与其它方法在JM5.0参考模型上就重建图像质量和搜索次数的比较：

表1  测试序列不同方法PNSR比较

	算法
							测试序列	FS	3SS	N3SS	4SS	DS	NARS
Carphone	35.4	35.1	35.3	35.2	35.3	35.4
							Claire	39.5	39.4	39.4	39.4	39.5	39.5
Flower-garden	35.5	35.1	35.4	35.3	35.5	35.5
							Foreman	35.6	35.4	35.6	35.5	35.5	35.6
Grandmother	37.2	37.1	37.2	37.2	37.2	37.2
							Salesman	36.2	36.2	36.2	36.2	36.2	36.2
Table-tennis	35.8	35.4	35.7	35.6	35.7	35.7

表2  测试序列不同方法平均搜索点数比较

	算法
							测试序列	FS	3SS	N3SS	4SS	DS	NARS
Carphone	4225	41	19.5	18.3	17.9	17.2
							Claire	4225	41	17.6	17.2	15.7	10.4
Flower-garden	4225	41	19.2	18	16.7	17.6
							Foreman	4225	41	19.4	18.2	16.8	15.3
Grandmother	4225	41	17.5	17.2	15.5	10.9
							Salesman	4225	41	17.9	17.5	16.2	10.5
Table-tennis	4225	41	19.3	18.2	18.1	17.4

综上所述，不论是对小的运动序列，还是对大的运动序列，本发明在比较次数、匹配精度和重建图像质量方面都优于前面提出的各类快速运算方法。本发明在匹配精度上虽与全搜索方法相当，但计算量却有很大的降低。它可根据相邻块的运动相关性来预测出当前宏块的运动向量，并可通过一定的计算公式来动态地确定块搜索范围的大小。同时，由于它还能根据具体情况与各类快速运算方法相结合，因此适用面非常广。

Claims (2)

1、一种基于H.264的自适应块搜索范围快速运动估计方法，其特征在于包括有初始搜索中心位置预测、静止宏块判定、搜索区域自适应调整三个步骤；

其中，所述的初始搜索中心位置预测为根据相邻宏块的运动矢量及前一帧对应位置运动矢量的相关性，然后推出预测初始中心位置，具体步骤如下：

4)从缓存中取出相邻宏块的运动矢量及前一帧对应位置运动矢量；

5)根据公式(2)，(3)计算出预测的初始中心位置；

              x_c＝i+v_x(i，j)，y_c＝j+v_y(i，j)，       (3)

其中，所述的V(i，j)表示初始运动矢量，所述的(i，j，t)、(i-1，j-1，t)、(i，j，t-1)分别表示当前宏块、当前宏块左上角宏块、参考帧中当前宏块的对应宏块，对应地，所述的V(i，j，t)、V(i-1，j-1，t)、V(i，j，t-1)分别表示当前运动矢量、当前宏块左上角运动矢量、参考帧中当前宏块对应的运动矢量，而(x_c，y_c)表示初始搜索中心位置；

6)根据预测的初始中心位置，定位参考帧中对应的宏块；

所述的静止宏块判定是根据自适应确定的阈值T₀，再计算出当前宏块与其在参考帧中的初始对应宏块的SAD(sum of absolute differences，意为绝对差和，简称SAD)，将其与自适应阈值T₀相比较，判断是否为静止宏块，具体步骤如下：

5)根据公式(4)计算出自适应阈值T₀；

6)计算当前宏块与其在参考帧中的初始对应宏块的SAD；

7)比较SAD与T₀，当SAD≤T₀时，其预测得出的初始中心位置就是最终的最佳匹配点，此时就可跳过此宏块直接对下一宏块进行运动估计；

8)否则，进入所述搜索区域自适应调整的步骤；

所述的搜索区域自适应调整是利用相邻宏块的运动矢量及前一帧对应位置运动矢量的相关性，根据前面得出的相邻宏块的运动矢量及前一帧对应位置的运动矢量，计算出自适应确定的搜索区域的大小，具体步骤如下：

1)从缓存中取出相邻宏块的运动矢量及前一帧对应位置运动矢量；

2)根据公式(5)，(6)计算出自适应确定的搜索区域A的大小；

$D=\frac{\underset{i=0}{\overset{N_{\mathrm{MV}}}{\mathrm{\Σ}}}\left|{V_i}^{\mathrm{motion}}\right|}{N_{\mathrm{MV}}}---\left(5\right)$

3)根据搜索区域A的大小，确定合适的搜索方法。

2、根据权利要求1所述的基于H.264的自适应块搜索范围快速运动估计方法，其特征在于：所述的根据搜索区域A的大小来确定合适的搜索方法具体步骤如下：当搜索区域A≤2时，采用全搜索方法；当搜索区域A≥3时，则与三步法或新三步法或四步法或菱形法等快速搜索方法相结合。

Images