CN101771870A - 一种视频编码技术中块运动匹配的快速搜索方法 - Google Patents

Abstract

本发明公开了一种视频编码技术中块运动匹配的快速搜索方法，它设有第一搜索模板F，含1个中心检测点和4个周边检测点；及第二搜索模板S，含1个中心检测点和8个周边检测点。包括步骤：1.根据搜索框对当前帧的原始块在其参考帧中设置搜索点，并设为F的中心检测点；2.对F的5个检测点进行搜索代价计算，找出最小搜索代价像素点，如其是4个周边检测点中的任一个则执行步骤4，否则执行步骤3；3.将当前最小搜索代价像素点设为S的中心检测点，并对其9个检测点进行搜索代价计算，找出最小搜索代价的像素点，执行步骤5；4.将当前最小搜索代价的像素点设为F的中心检测点，执行步骤2；5.将当前最小搜索代价的像素点作为最优匹配点。

Description

一种视频编码技术中块运动匹配的快速搜索方法

技术领域

本发明涉及多媒体应用的视频编码技术，尤其涉及一种视频编码技术中基于块运动匹配的快速搜索方法。

背景技术

AVS是我国自主研制的下一代音视频压缩标准，与MPEG系列和H.26x系列标准一样，AVS标准第二部分视频(AVS-P2)中的关键技术是帧间预测，对此采用了基于块运动估计的算法。随着实时监控、视频会议等实时性较高需求的不断增长，不仅要求此类块运动估计算法能够保证图像清晰，而且还要求计算方法本身的运行效率更高、计算复杂性更低。

由于AVS采用的是混合视频编码框架，包括了变换、量化、熵编码、帧内预测、帧间预测、环路滤波等技术模块，这也是当前主流的技术路线，其中帧间预测较为复杂，而且最为重要，同时也是多年来众多专家学者和工程技术人员研究的重点。

为了消除视频图像之间的时间冗余性，帧间预测采用了基于块运动匹配的搜索技术，对当前帧中的某个块(即原始块，是指在当前帧中当前位置正在处理的二维M像素×N像素的块)在其参考帧中的对应搜索框内进行匹配搜索，找到最相似块(即预测块，是指在参考帧中以二维K像素×J像素的搜索框进行匹配搜索后，得到的以最优搜索代价点为左上角并与原始块的尺寸大小相等的块)，然后通过保留该原始块和预测块的残差信息来压缩码流。但是，如何快速而又准确的找到最相似块，则要求好的搜索计算方法。

在块运动匹配的计算方法中，最简单且可靠的搜索算法是全搜索法(full search，FS)，即用当前原始块的左上角像素点在其参考帧对应的搜索框内进行穷尽搜索，也就是与所有像素点进行匹配，计算它的搜索代价(search cost，SC)，找出具有最小搜索代价(minimum search cost，MSC)的像素点，也就找到具有MSC的匹配块。全搜索法的不足之处在于，它的计算复杂度也是最高，耗时较多。因此，为了降低复杂度、提高计算效率，人们相继提出了多种快速的搜索法，如三步搜索法(three-step search，TSS)、四步搜索法(four-step search，FSS)、菱形搜索法(diamond search，DS)、正方形一菱形搜索法(square-diamond search，SDS)等，希望可以在图像性能与计算复杂性之间寻找到一条可协调的途径。

据统计，在视频图像的运动估计搜索时，最优像素点通常是在当前点为圆心并以两个像素点为半径的圆内。基于此原理，很多搜索法都考虑在上述范围内进行第一层搜索，如图1所示，菱形搜索法的最优点分布是当前块匹配搜索法中性能最优异的方法之一，考虑到粗定位和准确定位，它一般分别调用大小两种模板(即大菱形搜索模板和小菱形搜索模板)进行搜索：首先调用的是大菱形搜索模板，当匹配计算得到的MSC出现在该大菱形搜索模板的中心时，则换成小菱形搜索模板进行进一步搜索，随后获得的具有最小搜索代价的搜索点即为最优点；否则改变当前的搜索中心位置，重复以大菱形搜索模板继续进行搜索。

对于搜索代价SC的确定有多种方式，包括绝对误差和(sum of absolutedifference，SAD)、平均绝对差值(mean absolute error，MAE)、差值的平方和(sum of squared difference，SSD)等。为了提高效率，同时不失判断的准确度，针对SC需要考虑两个方面：一是计算原始块与预测块的SAD，即两个块的匹配程度，如式(1)所示；二是计算预测块的运动矢量代价(Motion Vector Cost，MVC)，即预测块距离原始块的位移代价，如式(2)所示。然后，根据式(3)计算原始块的搜索代价SC。

$\mathrm{SAD}=\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\underset{i=0}{\overset{N}{\mathrm{\Σ}}}|f_o(x+i,y+j)-f_P(x+i,y+j)|---\left(2\right)$

其中，f_o和f_P分别表示原始块里的像素点值和预测块里的像素点值，x和y表示原始块的左上角像素坐标。

$\mathrm{MVC}=\mathrm{\α}\·\underset{i=0}{\overset{1}{\mathrm{\Σ}}}f({\mathrm{MVo}}_i-{\mathrm{MVp}}_i)>>\mathrm{\β}---\left(2\right)$

其中，α和β为常量，i用来区分当前的坐标轴，MVo_i表示原始块的二维平面纵横坐标，MVp_i表示预测块的二维平面纵横坐标，函数f是一个缩放函数，＞＞表示右移。

SC＝SAD+λ·MVC        (3)

其中，λ是一可调参数。

上述菱形搜索法的缺陷是：当视频图像存在剧烈运动等情况下，因为大菱形搜索模板调用次数较多，而它所涉及的检测点有9个，所以搜索耗时较多。针对此问题，颇有必要设计一种新的搜索方法以对其进行优化、改进。

发明内容

本发明的目的是提出一种视频编码技术中块运动匹配的快速搜索方法，以解决现有的基于块运动匹配的搜索法，尤其在视频图像存在剧烈运动等情况下，它们的块运动匹配的计算量大、耗时较多、编码效率不高的问题。

本发明的目的是这样实现的：一种视频编码技术中块运动匹配的快速搜索方法，在该快速搜索方法中设有：第一搜索模板，其包括1个中心检测点和4个周边检测点，所述周边检测点对称分设于该中心检测点的水平像素方向两侧与垂直像素方向两侧，并与该中心检测点均间隔两个像素点；以及第二搜索模板，其包括1个中心检测点和以该中心检测点为中心并呈田字型对称设于其四周的8个周边检测点，所述中心检测点及周边检测点均间隔一个像素点；

该快速搜索方法包括如下步骤：

步骤1，针对当前帧中的原始块，根据预设的搜索框在该当前帧的参考帧中设置搜索点，并将该搜索点设为所述第一搜索模板的中心检测点；

步骤2，对所述第一搜索模板的中心检测点及4个周边检测点进行搜索代价SC计算，并找出其中的最小搜索代价MSC的像素点，如果该最小搜索代价MSC的像素点是所述4个周边检测点中的任一个，则执行步骤4；否则，执行步骤3；

步骤3，将步骤2中所述最小搜索代价MSC的像素点设为所述第二搜索模板的中心检测点，并对该第二搜索模板的中心检测点及8个周边检测点进行搜索代价SC计算，找出其中的最小搜索代价MSC的像素点，然后执行步骤5；

步骤4，将步骤2中所述最小搜索代价MSC的像素点设为所述第一搜索模板的中心检测点，然后执行步骤2；

步骤5，将步骤3中所述最小搜索代价MSC的像素点作为最优匹配点。

优选地，所述原始块为二维M像素×N像素的块，其中M和N均为4的倍数。

优选地，所述M和N均为16。

优选地，所述搜索框为二维K像素×J像素的块，其中K和J均为4的倍数。

优选地，所述K为44，所述J为28。

优选地，所述搜索代价SC计算包括以下步骤：

步骤a，计算所述原始块与预测块的绝对误差和SAD，

其中预测块为在当前帧的参考帧中以所述搜索框进行匹配搜索后得到的以最优搜索代价的像素点为左上角并与该原始块的尺寸大小相等的块，f_o和f_P分别为所述原始块里的像素点值和所述预测块里的像素点值，x和y为该原始块的左上角像素坐标；

步骤b，计算所述预测块的运动矢量代价MVC，

其中0.5≤α≤1.5，10≤β≤20，i用来区分当前块的坐标轴，MVo_i为所述原始块的二维平面纵横坐标，MVp_i为所述预测块的二维平面纵横坐标，函数f(x)＝x/θ，1≤θ≤10，＞＞表示右移；

步骤c，计算搜索代价SC，SC＝SAD+λ·MVC，其中λ＝0.85*2^qp/4*2¹⁶，0≤qp≤63。

本发明由于采用了以上技术方案，使之与现有技术相比，具有以下优点和积极效果：本发明一种视频编码技术中块运动匹配的快速搜索方法，它通过与全搜索法和菱形搜索法比较，能在充分保证编码性能的前提下，有效地降低编码复杂性，从而可以减少计算量、节省运算时间，实现更佳的编码效率。

附图说明

以下结合附图和具体实施例来对本发明作进一步说明。

图1为最优像素点的分布示意图。

图2为本发明视频编码技术中块运动匹配的快速搜索方法的第一搜索模板的示意图。

图3为本发明视频编码技术中块运动匹配的快速搜索方法的第二搜索模板的示意图。

图4为从本发明视频编码技术中块运动匹配的快速搜索方法的第一搜索模板到第二搜索模板的切换示意图。

图5为本发明视频编码技术中块运动匹配的快速搜索方法的第一搜索模板之间的切换示意图。

图6为本发明视频编码技术中块运动匹配的快速搜索方法的流程图。

图7为本发明视频编码技术中块运动匹配的快速搜索方法、全搜索法及菱形搜索法针对foreman序列的性能曲线对比图。

图8为本发明视频编码技术中块运动匹配的快速搜索方法、全搜索法及菱形搜索法针对subway序列的性能曲线对比图。

图9为本发明视频编码技术中块运动匹配的快速搜索方法、全搜索方法及菱形搜索方法针对bus序列的性能曲线对比图。

附图标记说明：

1a-第一搜索模板的中心检测点    1b-第一搜索模板的周边检测点

2a-第二搜索模板的中心检测点    2b-第二搜索模板的周边检测点

具体实施方式

如图2、3所示，在本发明视频编码技术中块运动匹配的快速搜索方法中设有：第一搜索模板，它包括1个中心检测点1a和4个周边检测点1b，这些周边检测点对称设置在中心检测点1a的水平像素方向两侧与垂直像素方向两侧，并且它们与中心检测点1a都间隔两个像素点；第二搜索模板，它包括1个中心检测点2a和呈田字型对称设于中心检测点2a四周的8个周边检测点2b，中心检测点2a及这些周边检测点均间隔一个像素点。

请参阅图6，它是本发明视频编码技术中块运动匹配的快速搜索方法的流程图，包括步骤：

步骤1，针对当前帧中的原始块，根据预设的搜索框在该当前帧的参考帧中设置搜索点，并将该搜索点设为第一搜索模板的中心检测点1a；

步骤2，对第一搜索模板的中心检测点1a及4个周边检测点1b进行搜索代价SC计算，并找出其中的最小搜索代价MSC的像素点，如果该最小搜索代价MSC的像素点是其4个周边检测点中的任一个，则执行步骤4；否则，执行步骤3；

步骤3，将步骤2中所述最小搜索代价MSC的像素点设为所述第二搜索模板的中心检测点2a，并对该第二搜索模板的中心检测点2a及8个周边检测点2b进行搜索代价SC计算，找出其中的最小搜索代价MSC的像素点，然后执行步骤5；

步骤4，将步骤2中所述最小搜索代价MSC的像素点设为所述第一搜索模板的中心检测点1a，然后执行步骤2；

步骤5，将步骤3中所述最小搜索代价MSC的像素点作为最优匹配点。

上述原始块的大小为二维M像素×N像素，搜索框的大小是二维K像素×J像素，其中M、N、K、J均为4的倍数。在上述步骤中所采用搜索模板的切换最多只有两种情况，即从第一搜索模板切换到第二搜索模板、第一搜索模板之间的切换。如图4和5所示，图中的符号△代表原始模板的检测点，○代表预测模板的检测点，

代表前后两模板重叠的检测点。在图4中，从第一搜索模板切换到第二搜索模板出现了一个重叠的检测点，而在图5中，第一搜索模板之间的切换则存在两个重叠的检测点，这样在计算搜索代价SC时仅需一次即可，因此能显著降低运算复杂度，提高搜索效率。

为了验证上述块运动匹配的快速搜索方法的合理性及实用性，下面从计算复杂性和图像质量两个方面将它与全搜索法和菱形搜索法进行比较。具体的测试环境为Pentium(R)4、CPU 2.40G Hz、256MB内存，实验采用了AVS标准组提供的参考代码rm52i作为实验平台，用ANSI C编程实现。其中，编码参数设置如表1所示。

表1编码参数配置

视频格式	cif
		帧率	30fps
率失真优化RDO	开启
		编码格式序列	IPPP……
编码帧数	150
		参考帧数	1
Hadamard变换	关闭
		帧间搜索模式(原始块尺寸)	16像素×16像素
搜索范围(搜索框尺寸)	44像素×28像素

1、计算复杂性

因为在本发明视频编码技术中块运动匹配的快速搜索方法中，计算搜索代价SC是最主要的代价，所以为了更精确的统计复杂度，在这里统计块计算搜索代价SC的次数。搜索代价SC按照如下的步骤进行计算：

首先，计算原始块与预测块的绝对误差和

其中原始块是在当前帧中当前位置正在处理的二维16像素×16像素的块，预测块是在参考帧的二维44像素×28像素的搜索框内匹配搜索后得到的以最优搜索代价点为左上角的二维16像素×16像素的块，f_o和f_P分别为该原始块里的像素点值和预测块里的像素点值，x和y为该原始块的左上角像素坐标；

然后，计算预测块的运动矢量代价

其中α取值1，i用来区分当前块的坐标轴，MVo_i为原始块的二维平面纵横坐标，MVp_i为预测块的二维平面纵横坐标，函数f(x)＝x/θ，1≤θ≤10，＞＞β在此为右移15位；

最后，计算搜索代价SC＝SAD+λ·MVC，其中λ＝0.85*2^qp/4*2¹⁶，qp取值40。

实验测试了7个序列，其中量化参数(quantization parameter，QP)设为30，测试结果如表2所示。

表2各种序列下块计算SC的次数

由表2可知，对于固定搜索框，在所有的序列中全搜索法计算SC的次数不变，并且数值最高，而本发明视频编码技术中块运动匹配的快速搜索方法与菱形搜索法相比，不仅搜索代价SC的总计算次数相对减少，同时每个块的计算次数也均出现下降，这在视频序列图像出现剧烈运动现象时，因以上运算量的降低而产生图像质量优化的效果则越明显。

2、编码性能分析

对于编码性能的考察，依据的是所获得的图像质量，具体比较的参数是峰值信噪比(peak signal noise rate，PSNR)。将本发明视频编码技术中块运动匹配的快速搜索方法与全搜索法和菱形搜索法在不同量化参数QP下进行比较，在此测试了三个序列，分别如图7、8、9所示，本发明视频编码技术中块运动匹配的快速搜索方法在这些图中对应的曲线标识为DFS，全搜索法和菱形搜索法的对应曲线标识分别为FS、DS。因为搜索越准确，则PSNR值越高，图中的FS的PSNR显示为最高。同时，本发明视频编码技术中块运动匹配的快速搜索方法的性能曲线DFS与DS的性能曲线彼此接近、相差不大，这充分说明了在显著降低计算复杂度的基础上，本发明方法能够获得与菱形搜索法的编码性能基本相当的效果。

综上所述，本发明视频编码技术中块运动匹配的快速搜索方法能在保证编码性能的同时，能够有效地降低搜索计算的复杂度，节省计算资源，最终实现更佳的编码效率。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (6)

1.一种视频编码技术中块运动匹配的快速搜索方法，其特征在于：在该快速搜索方法中设有：

第一搜索模板，其包括1个中心检测点(1a)和4个周边检测点(1b)，所述周边检测点(1b)对称分设于该中心检测点(1a)的水平像素方向两侧与垂直像素方向两侧，并与该中心检测点(1a)均间隔两个像素点；以及

第二搜索模板，其包括1个中心检测点(2a)和以该中心检测点(2a)为中心并呈田字型对称设于其四周的8个周边检测点(2b)，所述中心检测点(2a)及周边检测点(2b)均间隔一个像素点；

该快速搜索方法包括如下步骤：

步骤1，针对当前帧中的原始块，根据预设的搜索框在该当前帧的参考帧中设置搜索点，并将该搜索点设为所述第一搜索模板的中心检测点(1a)；

步骤2，对所述第一搜索模板的中心检测点(1a)及4个周边检测点(1b)进行搜索代价SC计算，并找出其中的最小搜索代价MSC的像素点，如果该最小搜索代价MSC的像素点是所述4个周边检测点(1b)中的任一个，则执行步骤4；否则，执行步骤3；

步骤3，将步骤2中所述最小搜索代价MSC的像素点设为所述第二搜索模板的中心检测点(2a)，并对该第二搜索模板的中心检测点(2a)及8个周边检测点(2b)进行搜索代价SC计算，找出其中的最小搜索代价MSC的像素点，然后执行步骤5；

步骤4，将步骤2中所述最小搜索代价MSC的像素点设为所述第一搜索模板的中心检测点(1a)，然后执行步骤2；

步骤5，将步骤3中所述最小搜索代价MSC的像素点作为最优匹配点。

2.如权利要求1所述的视频编码技术中块运动匹配的快速搜索方法，其特征在于：所述原始块为二维M像素×N像素的块，其中M和N均为4的倍数。

3.如权利要求2所述的视频编码技术中块运动匹配的快速搜索方法，其特征在于：所述M和N均为16。

4.如权利要求1所述的视频编码技术中块运动匹配的快速搜索方法，其特征在于：所述搜索框为二维K像素×J像素的块，其中K和J均为4的倍数。

5.如权利要求4所述的视频编码技术中块运动匹配的快速搜索方法，其特征在于：所述K为44，所述J为28。

6.如权利要求1-5中任一项所述的视频编码技术中块运动匹配的快速搜索方法，其特征在于：所述搜索代价SC计算包括以下步骤：

步骤a，计算所述原始块与预测块的绝对误差和SAD，

其中预测块为在当前帧的参考帧中以所述搜索框进行匹配搜索后得到的以最优搜索代价的像素点为左上角并与该原始块的尺寸大小相等的块，f_o和f_P分别为所述原始块里的像素点值和所述预测块里的像素点值，x和y为该原始块的左上角像素坐标；

步骤b，计算所述预测块的运动矢量代价MVC，

其中0.5≤α≤1.5，10≤β≤20，i用来区分当前块的坐标轴，MVo_i为所述原始块的二维平面纵横坐标，MVp_i为所述预测块的二维平面纵横坐标，函数f(x)＝x/θ，1≤θ≤10，＞＞表示右移；

步骤c，计算搜索代价SC，SC＝SAD+λ·MVC，其中λ＝0.85*2^qp/4*2¹⁶，0≤qp≤63。

Images