CN102447904A

CN102447904A - 一种快速对视频序列进行运动估计的方法

Info

Publication number: CN102447904A
Application number: CN 201110325218
Authority: CN
Inventors: 欧阳国胜; 罗永伦
Original assignee: CHENGDU GUODIAN INTELLIGENT ELECTRIC POWER TECHNOLOGY CO LTD
Current assignee: CHENGDU GUODIAN INTELLIGENT ELECTRIC POWER TECHNOLOGY CO LTD
Priority date: 2011-10-24
Filing date: 2011-10-24
Publication date: 2012-05-09

Abstract

一种快速对视频序列进行运动估计的方法，包括以下步骤：①、利用运动矢量预测技术，得到预测运动矢量差分分布图；②、根据预测运动矢量差分的分布情况跟视频内容的运动复杂度高度，自适应的改变搜索区域，避免不必要的搜索点；③、选取一个最靠近全局最小点的初始搜索点；④、提前截止。本发明采用了三角形模板和小菱形模板，在保证搜索精度的同时有效地提高了搜索速度。实验结果表明，对于各种不同运动程度的视频序列，该方法不但可以获得和DS算法基本相同的图像质量，而且加速比SUR达到2.80-10.24，大大降低了块匹配的计算量，因此该方法适用于实时性要求比较高的场合。

Description

一种快速对视频序列进行运动估计的方法

技术领域

本发明属于多媒体技术领域，具体涉及一种快速对视频序列进行运动估计的方法。

背景技术

运动估计是视频编码系统的关键部分，同时也是整个视频编码器中计算量最大的部分^[1]。运动估计性能的优劣直接影响到整个视频编码器的运行效率和整个视频序列的重构质量。块匹配算法同时具有简单性和高效性，因此被很多国际视频编码标准采纳，并得到广泛的应用。基于块匹配的运动估计算法是减少时间冗余信息的一种有效的方法，通常在一个视频压缩方案中运动估计约占总计算量的50%~60%，因此寻找简单、高效、快速的运动估计算法是至关重要的。

目前运动估计的搜索算法有很多种，其中全搜索运动估计算法(Full Search method，FS)的优点是产生的残差系数最小，但其巨大的时间开销和计算量是实时视频编码系统不能接受的；同时尽管FS能搜索到精度最高的运动矢量，但其运动矢量场未必均匀，从而造成总体的编码效率不一定最优。为了减少FS算法的运动估计搜索复杂度，现已出现了许多改进的运动估计算法，如Jain提出的二维对数搜索算法(Two Dimensional Logarithmic Search，TDLS)，跟踪最小失真方向并降低了计算复杂度。另一种著名方法是三步搜索算法(Three Step Search，TSS) 在搜索窗内只搜索25个点，而FS要搜索225个点。后来有很多算法针对TSS做了许多修改，如新三步搜索算法(New Three Step Search，NTSS) ，该算法在第一步进行了中心偏置模式处理。另一种是有效的三步搜索算法(Efficient Three Step Search，ETSS) ，该算法在第一步应用了小菱形模式，并且在搜索区域内不限制搜索步骤。Puri等人提出了混合TDLS和TSS的正交搜索算法(Orthogonal Search，OS)。Ghanbari提出的交叉搜索算法（Cross Search，CS）和TDLS十分相似。Po等人应用了真实视频序列的中心偏置特性提出了四步搜索算法(Four-step Search，4SS) 。

2000年Zhu等人提出了菱形搜索算法（Diamond Search，DS）。DS算法是一种在时间性能和精度指标上都比较突出的快速算法。TSS、NTSS和4SS等快速算法在搜索运动矢量时都是基于不同尺寸的正方形进行的，DS算法则采用一种基于菱形的搜索模式。DS算法获得了与TSS、NTSS和4SS相当的图像质量而搜索次数却大为降低。DS算法以其卓越的搜索精度和搜索速度被广泛应用。管DS有很多优点，但仍然以下有三点不足之处：(1) DS算法的搜索策略缺乏必要的灵活性。在搜索策略方面，DS算法并没有对图像序列内容是大运动矢量还是小运动矢量做适当判断，而是一层不变的采用固定的方式去搜索最佳匹配点，其结果是对小运动矢量图像序列的运动估计时形成不必要的计算浪费；（2）DS算法没有利用运动矢量的空间线相关性来预测搜索起始点。事实上，如果对搜索起始点进行预测，即便是对大运动矢量而言，也可以采用小DS模式而不必非大DS模式不可，从而不能提高效率；（3）在扩展模式中，其对应的搜索范围可以减少，而不必采用大DS扩展模式。

发明内容

本发明的目的是克服上述技术存在之不足，提出一种能够集菱形搜索和三角形搜索长处的形状自适应搜索(Shape Adaptive Search, SAS)的方法，采用菱形进行水平和垂直方向的搜索，而三角形用于对角线方向搜索的快速对视频序列进行运动估计的方法。

本发明为了达到上述目的所采用的技术方案如下：

一种快速对视频序列进行运动估计的方法，其特征在于包括以下步骤：

①、利用运动矢量预测技术，通过用当前帧当前编码块的左、上、右上相邻块和参考帧中对应位置的块的运动矢量作为预测运动矢量，得到预测运动矢量差分分布图；

②、根据预测运动矢量差分的分布情况跟视频内容的运动复杂度高度，自适应的改变搜索区域，避免不必要的搜索点；

③、选取一个最靠近全局最小点的初始搜索点；

④、提前截止：利用步骤①得到的预测运动矢量差分的分布图，预测运动矢量差分通常高度集中在以初始搜索点为中心的两个像素宽的区域内，因此设置阈值T用于检测出静止块和准静止块，从而加快搜索速度，完成提前截止。

其中步骤③包括以下步骤：A、确定包含相邻块区域（ROS），B、确定计算预测运动矢量的算法。

前述包含相邻块区域（ROS）定义如下：

，其中中，

Figure 2011103252180100002DEST_PATH_IMAGE002

表示参考帧中与当前编码块相同位置的时域相邻块，而其它三个块表示当前帧中当前编码块的空域相邻块。

所述计算预测运动矢量的算法是融合菱形模式和三角形模式的自适应运动估计算法。

所述步骤④采用绝对差值和SAD为块匹配失真函数，SAD定义为：，

表示当前编码帧中位置为

的灰度值，

表示参考帧中位置为

的灰度值，

表示当前编码图像块和参考图像块之间的位移。

本发明采用了三角形模板和小菱形模板，在保证搜索精度的同时有效地提高了搜索速度。实验结果表明，对于各种不同运动程度的视频序列，该方法不但可以获得和DS算法基本相同的图像质量，而且加速比SUR达到2.80—10.24，大大降低了块匹配的计算量，因此该方法适用于实时性要求比较高的场合。

附图说明

图1是标准视频“Beijing Weather Girl” 视频序列的预测运动矢量差分分布图。

图2是标准视频“Woman Drinking” 视频序列的预测运动矢量差分分布图。

图3是标准视频“Circus” 视频序列的预测运动矢量差分分布图。

图4是标准视频“Mobile Hands” 视频序列的预测运动矢量差分分布图。

图5是通过预测运动矢量确定初始搜索点的示意图。

图6—11均是是本发明中基于菱形和三角形自适应的视频编码运动估计搜索方法的搜索策略示意图。

图12视频“Beijing Weather Girl” 帧搜索点数比较表。

图13视频“Beijing Weather Girl” 帧峰值信噪比比较表。

图14视频“Woman Drinking” 帧搜索点数比较表。

图15视频“Woman Drinking”帧峰值信噪比比较表。

图16视频“Circus”帧搜索点数比较表。

图17视频“Circus”帧峰值信噪比比较表。

图18视频“Mobile Hands”帧搜索点数比较表。

图19视频“Mobile Hands”帧峰值信噪比比较表。

具体实施方式

下面对本发明的技术方案出更加详细的说明：

一种快速对视频序列进行运动估计的方法：

该方法：首先利用运动矢量预测技术，通过用当前帧当前编码块的左、上、右上相邻块和参考帧中对应位置的块的运动矢量作为预测运动矢量，得到预测运动矢量差分分布图。

具体地本申请将运动预测技术应用于四个标准视频序列，“Beijing Weather Girl” (360×288，低运动复杂度)，“Woman Drinking” (352×288，中等运动复杂度)，“Circus” (352×288，低运动复杂度)和 “Mobile Hands” (176×144，高运动复杂度)，得出四个运动矢量差分分布图，具体的分布图如图1、2、3、4。

此时根据预测运动矢量差分的分布情况跟视频内容的运动复杂度高度相关，适应的改变搜索区域，将避免不必要的搜索点，从而提高搜索效率。

通过观察以上四个视频运动矢量差分分布图可得知，对于低复杂度的视频，预测运动矢量差分更多的向(0，0)点集中。这是因为平滑有序的预测运动矢量跟真正的运动矢量有更密切的相互关系，并且产生更少的预测误差。

这时便可选取一个最靠近全局最小点的初始搜索点。因此如何选择合适的预测运动矢量就显得十分重要。为了获得当前块精确的预测运动矢量，可采用以下两个步骤：1）包含相邻块区域（ROS）的确定。2）计算预测运动矢量的算法。

在1）中的包含相邻块区域（ROS），如图5所示：定义如下：

(1)

在（1）式中，

表示参考帧中与当前编码块相同位置的时域相邻块，而其它3个块表示当前帧中当前编码块的空域相邻块。

如果相邻块的运动矢量为

，

，

和

，那么当前编码块的预测运动矢量

为相邻块运动矢量的中值。定义如下：

(2)

从而达到通过选择合适的初始搜索点在搜索区域内有效的适应移动对象这样便可最大的好处就是能增加找到正真合适的运动矢量并减少计算量。

最后采用提前截止原则：本申请采用绝对差值和SAD为块匹配失真函数。SAD定义为：

(3)

表示当前编码帧中位置为的灰度值，

表示参考帧中位置为的灰度值。

表示当前编码图像块和参考图像块之间的位移。

从得到的预测运动矢量差分的分布图，可知预测运动矢量差分通常高度集中在以初始搜索点为中心的两个像素宽的区域内。因此设置阈值T用于检测出静止块和准静止块，从而加快搜索速度。在本实施方式中，实验结果显示当T设置为512时虚警概率最小。

本申请中所采用的搜索策略具体描述如下：

第1步：如图6所示：由等式确定初始搜索点 O 。如SAD ( O )< T ，则停止搜索。否则以 O 为中心形成菱形搜索模式 ABCD ，计算 A 、 B 、 C 和 D 点的SAD值，如 O 点SAD最小，则搜索结束；否则最小SAD点为菱形的四个顶点之一（如 A 点），则进入第2步；

第2步：如图6所示：比较 B 、 C 、 D 和 O 点的SAD值。如 B 或 D 点的SAD值为最小值，则进入第6步；否则进入三角形搜索模式 XYZ ，计算 X 、 Y 、 Z 点的SAD值并和 A 点的SAD值比较，如A点的SAD值最小，则搜索结束；如 X 点的SAD值最小，则进入第3步；如 Y 点的SAD值最小，则进入第4步；如 Z 点的SAD值最小，则进入第5步；

第3步：如图7所示：进入三角形搜索模式 B Y' Z' ，计算 Y' 、 Z' 点的SAD值并和 X 点的SAD值比较，如 X 点的SAD值最小，则搜索结束；如 Y' 点的SAD值最小，则进入第3步；如 Z' 点的SAD值最小，则进入第4步；

第4步：如图8所示：进入三角形搜索模式 X'Y' Z' ，计算 X' 、 Y' 、 Z' 点的SAD值并和 Y 点的SAD值比较，如 Y 点的SAD值最小，则搜索结束；如 Y' 点的SAD值最小，则进入第4步；如 Z' 点的SAD值最小，则进入第5步；如 X' 点的SAD值最小，则进入第3步；

第5步：如图9所示：进入三角形搜索模式 DX'Y' ，计算 X' 、 Y' 点的SAD值并和 Z 点的SAD值比较，如 Z 点的SAD值最小，则搜索结束；如 Y' 点的SAD值最小，则进入第5步；如 X' 点的SAD值最小，则进入第4步；

第6步：如图10所示：进入三角形搜索模式 AXY ，计算 X 、 Y 点的SAD值并和 A 点的SAD值比较，如 A 点的SAD值最小，则搜索结束；如 X 或 Y 点的SAD值最小（如 X 点的SAD值最小），则进入第7步；

第7步：如图11所示：进入三角形搜索模式 XA'B' ，计算 A' 、 B' 点的SAD值并和 X 点的SAD值比较，如 X 点的SAD值最小，则搜索结束；否则重复第7步。

实验和分析：

针对搜索精度和复杂度两个方面比较了FS，DS和本申请的方法。用峰值信噪比PSNR表示搜索精度，用每帧平均搜索点数表示搜索复杂度，用

表示DTAS和DS算法搜索精度差异。用加速比描述本申请的方法相对于DS算法的提速。

定义如下：

（4）

用

表示DS算法中每个块所用的搜索点数，用

表示DTAS算法中每个块所用的搜索点数。

用“Beijing Weather Girl”， “Woman Drinking”，“Circus” and “Mobile Hands” 四个视频序列来进行实验，这些视频序列包含了各种复杂度运动对象。块的大小被固定为16×16，搜索范围为±7像素点。只对亮度信号进行运动估计。

根据每帧的峰值信噪比PSNR和搜索点数，对DS，FS和DTAS三种算法进行性能比较结果参见附图12至19。

从图中可以看出DTAS算法图像质量十分接近DS和FS算法，而搜索点数却大幅度下降。这表明DTAS算法大幅度提高了运动估计的搜索效率。

对于四个视频序列一百帧的平均峰值信噪比和搜索点数描述如下：

表1 块平均搜索点数比较

表2 平均峰值信噪比PSNR比较 (单位：dB)

表1给出了各种算法平均搜索点数，可以看出本申请的方法比DS算法减少计算量为2.8到10.24倍。这客观反映了DTAS高效率搜索的平均水平。

表2给出了各种算法的平均峰值信噪比PSNR，可以看出本申请的方法得到的PSNR十分接近DS、FS算法得到的PSNR。这表明DTAS的精度十分优秀，并没有因为搜索速度的提高而牺牲搜索的质量。

从表1和表2可以看出，本申请的方法针对四种不同类型的视频序列都一致地展示出高效率的搜索特点，以及良好的搜索精度，性能表现相当的稳定性。综合分析表1和表2中对于不同类型视频序列的加速比SUR和峰值信噪比PSNR参数数据，可以看出本申请的整体性能远远超过DS算法：两者的搜索精度几乎一致，而本申请的计算量却远远少于DS算法。在工程实际中，高效的DTAS新算法具有广阔的实时应用空间，如视频电话，视频会议等。

本申请提出数字视频运动估计的一种基于菱形和三角形模式的自适应搜索高效新算法DTAS。该DTAS算法利用空域和时域相邻块的运动矢量预测搜索初始点，根据视频序列运动矢量的方向选择不同的搜索策略，对静止块和准静止块直接中止搜索，算法采用了三角形模板和小菱形模板，在保证搜索精度的同时有效地提高了搜索速度。实验结果表明，对于各种不同运动程度的视频序列，DTAS算法不但可以获得和DS算法基本相同的图像质量，而且加速比SUR达到2.80-10.24，大大降低了块匹配的计算量，因此本申请适用于实时性要求比较高的场合。

Claims

1.一种快速对视频序列进行运动估计的方法，其特征在于包括以下步骤：

③、选取一个最靠近全局最小点的初始搜索点；

④、提前截止：根据视频序列运动矢量的方向选择不同的搜索策略，在搜索中对静止块和准静止块直接中止搜索。

2.根据权利要求1所述的一种快速对视频序列进行运动估计的方法，其特征在于所述步骤③包括以下步骤：A、确定包含相邻块区域（ROS），B、确定计算预测运动矢量的算法。

3.根据权利要求2所述的一种快速对视频序列进行运动估计的方法，其特征在于所述包含相邻块区域（ROS）定义如下：

Figure 2011103252180100001DEST_PATH_IMAGE001

，其中中，

Figure 2011103252180100001DEST_PATH_IMAGE003

4.根据权利要求2所述的一种快速对视频序列进行运动估计的方法，其特征在于所述计算预测运动矢量的算法是融合菱形模式和三角形模式的自适应运动估计算法。

5.根据权利要求1所述的一种快速对视频序列进行运动估计的方法，其特征在于所述步骤④的具体方法是用步骤①得到的预测运动矢量差分的分布图，预测运动矢量差分通常高度集中在以初始搜索点为中心的两个像素宽的区域内，因此设置阈值T用于检测出静止块和准静止块，从而加快搜索速度，完成提前截止。

6.根据权利要求5述的一种快速对视频序列进行运动估计的方法，其特征在于所述提前截止准则采用绝对差值和SAD为块匹配失真函数，SAD定义为：

Figure 2011103252180100001DEST_PATH_IMAGE005

，

Figure 2011103252180100001DEST_PATH_IMAGE007

表示当前编码帧中位置为的灰度值，

表示参考帧中位置为的灰度值，

表示当前编码图像块和参考图像块之间的位移。

7.根据权利要求1所述的一种快速对视频序列进行运动估计的方法，其特征在于步骤④中的搜索策略具体包括以下步骤：

第（1）步：由等式

确定初始搜索点（ O），等式中

是当前编码块的预测运动矢量，

，

，

和

代表菱形相邻块的运动矢量，如菱形的中心点处的SAD小于系统阀值 T ，则停止搜索；否则以（ O）为中心形成菱形搜索模式，计算菱形各个角（ A）、（ B）、（ C）和（ D）点的SAD值，如初始搜索点（ O）点SAD最小，则搜索结束；如最小SAD点为为菱形的四个顶点之一，则进入第（2）步；

第（2）步：比较菱形中剩余角和中心点的SAD值；如其中两角的SAD值为最小值，则进入第（6）步；否则进入三角形搜索模式，并设定三角形的三角分别为（X）、（Y）、（Z），计算三角形各个角（ X）、（ Y）、（ Z）处 的SAD值并和菱形中角（ A）点的SAD值比较，如角（A）点的SAD值最小，则搜索结束；如三角形中（ X）点的SAD值最小，则进入第（3）步；如菱形中（ Y）点的SAD值最小，则进入第（4）步；如（ Z）点的SAD值最小，则进入第（5）步；

第（3）步：进入三角形（ B）、（Y'）、（ Z'） 搜索模式，计算各角（ Y'） 、（ Z'） 处的SAD值并和（ X）点的SAD值比较，如（ X）点的SAD值最小，则搜索结束；如（ Y'） 点的SAD值最小，则进入第（3）步；如（ Z'） 点的SAD值最小，则进入第（4）步；

第（4）步：进入三角形（ X'）、（Y'）、（Z'） 搜索模式，计算（ X'） 、（ Y'） 、（ Z'） 点的SAD值并和（ Y）点的SAD值比较，如（ Y）点的SAD值最小，则搜索结束；如（ Y'） 点的SAD值最小，则进入第（4）步；如（ Z'） 点的SAD值最小，则进入第（5）步；如（ X'） 点的SAD值最小，则进入第（3）步；

第（5）步：进入三角形 （D）、(X')、（Y'） 搜索模式，计算（ X'） 、（ Y'） 点的SAD值并和（ Z）点的SAD值比较，如（ Z）点的SAD值最小，则搜索结束；如（ Y'） 点的SAD值最小，则进入第（5）步；如（ X'） 点的SAD值最小，则进入第（4）步；

第（6）步：进入三角形（ A）、（X）、（Y） 搜索模式，计算 （X）、（Y） 点的SAD值并和（ A）点的SAD值比较，如（ A）点的SAD值最小，则搜索结束；如 （X）或（Y） 点的SAD值最小，则进入第（7）步；

第（7）步：进入三角形（ X）、（A'）、（B'） 搜索模式，计算（ A'） 、（ B'） 点的SAD值并和（ X）点的SAD值比较，如（ X）点的SAD值最小，则搜索结束；否则重复第（7）步。