CN101867822A - 用于运动估计的自适应模板图像处理方法 - Google Patents

Abstract

本发明涉及视频编码中运动估计技术。为提供一种可实现减少运动估计时间，提高编码的速度，并能实际运用的用于运动估计的自适应模板方法，本发明采用的技术方案是：用于运动估计的自适应模板图像处理方法，包括下列步骤：对预测得到的最优点进行自适应的非对称十字模板搜索；根据运动矢量的中心分布特性进行双菱形模板的搜索；根据十字模板搜索结果选择不同的方向性模板，针对各种视频序列运动情况做出自适应地调整。本发明主要应用于视频编码中运动估计。

Description

用于运动估计的自适应模板图像处理方法

技术领域

本发明涉及视频编码中运动估计技术，具体涉及用于运动估计的自适应模板方法与实施装置。

背景技术

视频编码中运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定的搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前块。如图1所示。运动估计(Motion Estimation，ME)的结果是运动矢量(Motion Vector，MV)，其研究的主要内容就是如何快速、有效的获得有足够精度的运动矢量(MV)。如图2所示。

运动估计算法是视频编码领域一个非常重要的研究热点，运动估计所要花费的时间在整个编码过程中占据了相当大的比重，近年来各国学者提出了许多快速算法以减少运动估计的计算复杂度，同时基本保持了较高的视频质量。一些经典的快速搜索算法有新三步法(TSS)、四步法(FSS)、六边形搜索(HS)、钻石搜索(DS)。由于这些算法在不同程度上容易陷入局部最优，对小的运动序列效果比较好，而对大运动视频序列不是很理想。Chen Zhibo等人[2]提出的非对称十字型多层次六边形网格(UMHexagonS)算法，采用高效的起始点预测，内容自适应的搜索模板和搜索方式，及匹配准则采用率失真最优化准则，能很好地满足低码率和实时性的要求，并已被H.264标准和AVS标准正式采用。对于UMHexagonS算法，存在着计算复杂度过高的问题，某些块进行搜索匹配过程中还是没有很好的避免落入局部最优，要采用多种模板进行宏块匹配并且有些模板搜索点数过多，在很大程度上影响了搜索速度。

发明内容

为克服现有技术的不足，提供一种可实现减少运动估计时间，提高编码的速度，并能实际运用的用于运动估计的自适应模板方法，为达到上述目的，本发明采用的技术方案是：用于运动估计的自适应模板图像处理方法，包括下列步骤：对预测得到的最优点进行自适应的非对称十字模板搜索；根据运动矢量的中心分布特性进行双菱形模板的搜索；根据十字模板搜索结果选择不同的方向性模板，针对各种视频序列运动情况做出自适应地调整。

所述根据十字模板搜索结果选择不同的方向性模板，针对各种视频序列运动情况做出自适应地调整，细化为下列步骤：

首先，根据自适应非对称十字模板搜索结果得到的点，相对于进入该步前的最优点的方位，来选择不同方向的多层次模板，多层次模板分为水平方向多层次模板，垂直方向多层次模板，45度方向多层次模板和135度方向多层次模板；

其次，搜索层次可变：根据运动矢量预测得到的运动矢量的大小，对视频序列的运动程度做出一个划分，即小运动、中运动和大运动，由这三种运动类型决定搜索要采用的多层次模板，小运动对应为只采用模板的中间两层，中运动对应为只采用模板的中间4层，大运动对应为采用模板的所有8层。

所述对视频序列的运动程度做出一个划分，即小运动、中运动和大运动，是根据预测的运动矢量MVpred大小，设定判别阈值以对所要编码宏块的运动情况进行分类，即：

(1)当-9＜MVpred_x＜＝10，-9＜MVpred_y＜＝10时，判定当前块为小运动块；

(2)当-13＜MVpred_x＜15，-13＜MVpred_y＜＝14时，判定当前块为中运动块；

(3)当-17＜MVpred_x＜17，-17＜MVpred_y＜17时，判定当前块为大运动块。

由于本发明基于自适应模板的方法，通过相关信息采用可变模板进行搜索匹配，因而，在保持图像质量和码率基本不变的前提下，可大幅度的节省运动估计时间，从而大大缩短总的编码时间，并能运用于实际的视频会议、手机视频和其它应用。

附图说明

图1是运动估计方法原理整体框图；

图2是视频编码中运动矢量和残差数据获取、变换、量化和熵编码框图；

图3是自适应非对称十字模板；

图4是双菱形模板；

图5是一般运动矢量分布情况；

图6是多方向多层次模板；

图7是采用自适应模板的新算法；

图8是采用本发明算法与UMHexagonS算法在H.264编码器中的运动估计时间上实验结果的比较；

图9是采用本发明的算法编码一帧序列后解码的结果与原始视频序列主观上的比较。

具体实施方式

本发明的目的在于提供一种高效的自适应的运动估计模板方法。该方法的思想主要根据运动矢量中心分布特性、不同的运动矢量方向和视频内容的运动情况，来选择不同的搜索模板，采用自适应模板的策略来减少搜索点数以减少运动估计时间，提高编码的速度，并能运用到实际的视频会议、手机视频和其它应用当中。

本发明公开一种自适应的运动估计模板方法。该方法包括如下步骤：对预测得到的最优点进行自适应的非对称十字模板搜索；根据运动矢量的中心分布特性进行双菱形模板的搜索；根据十字模板搜索结果选择不同的方向性模板，并能够针对各种视频序列运动情况做出自适应地调整，从而提高整个算法的效率和稳定性。

整个方法的步骤如下：

第一步：以当前最优点为中心，采用一个小的自适应非对称十字模板，来进一步选择最优起始点。当最优点在十字模板的中心时，跳到下一步。这样每进行一次搜索需要6个点，最多也只会进行4次的十字模板搜索。模板如图3所示。

第二步：以目前最优点为中心，在(-2，2)的方形区域中，我们引入双菱形模板来覆盖中心区域，进行搜索即可达到很好的效果。双菱形模板形状如图4所示。此处我们分析，基于运动矢量中心分布特性和台湾国立中央大学Tsung-Han Tsai和Yu-Nan Pan学者对测试序列的运动矢量分布研究，在半径为3的方形区域(如图5所示)中，运动矢量在A、B、C和D点的出现的概率分别占64.934％、13.026％、1.81％和4.286％。所以采用双菱形模板是合理的。

第三步：以目前最优点为中心，我们可以根据以上信息自适应地来选择具有方向选择性模板，并且模板层次也可变来减少搜索点数，这样既可以有效的避免陷入局部最小，也极大地提高搜索的效率。

首先，由于运动矢量场的分布具有空间方向性，根据第一步中自适应非对称十字模板搜索结果得到的点(设为N点)，相对于进入该步前的最优点(设为M点)的方位，来选择不同方向的多层次模板(每层5个点)，因为根据两点偏离的方向性来为下一步自适应地选择相应方向性的模板，加快搜索速度同时也可避免陷入局部最小。该种模板可分为水平方向多层次模板，垂直方向多层次模板，45度方向多层次模板和135度方向多层次模板。例如N点在M点的水平左边或右边，则相应采用水平模板，其余依次类推。四种模板形状如图6所示。

其次，搜索层次可变，根据运动矢量预测得到的运动矢量的大小，可对视频序列的运动程度做出一个划分，即小运动、中运动和大运动。这三种运动类型决定了搜索要采用的模板。小运动对应为只采用模板的中间两层，中运动对应为只采用模板的中间4层，大运动对应为采用模板的所有8层。此步会更进一步提高搜索的速度。

根据预测运动矢量(MVpred)大小，设定判别阈值以对所要编码宏块的运动情况进行分类，则

(1)当-9＜MVpred_x＜＝10&&-9＜MVpred_y＜＝10时，判定当前块为小运动块；

(2)当-13＜MVpred_x＜＝15&&-13＜MVpred_y＜＝15时，判定当前块为中运动块；

(3)当-17＜MVpred_x＜17&&-17＜MVpred_y＜17时，判定当前块为大运动块。

下面结合具体实施例进一步说明本发明。

实施例1：

本实例是基于UMHexagonS算法，将本发明的算法替换掉UMHexagonS算法中的模板搜索部分，与UMHexagonS算法来比较，以验证本发明方法的综合性能。得到的新算法流程图如图9所示。

采用H.264测试模型(JM10.2)[3]为实验平台，对本发明算法和原UMHexagonS算法分别进行仿真实验。测试序列集为5个QCIF格式序列，序列格式为YUV 4:2:0，编码档次为Baseline Profile(基本档次)；编码配置文件为：encoder_baseline.cfg。实验主要的编码参数如下：FramesToBeEncoded(编码帧数)＝100，FrameRate(帧率)＝30，UseHadamard(使用哈达玛变换)＝1，SearchRange(搜索范围)＝16，NumberReferenceFrames(参考帧个数)＝5，其他参数为缺省配置。实验采用不同运动类型的标准视频序列：

(1)剧烈运动序列：coastguard qcif

(2)中运动序列：Froeman_qcif，mobile_qcif

(3)小运动序列：slient_qcif，akiyo_qcif

第一步：将所要编码的5个原始的标准视频序列放在编码器指定文件夹下，并修改配置文件encode_baseline.cfg中的上述相关参数，以达到我们所需配置；

第二步：编译，链接H.264编码器工程文件；

第三步：我们采用foreman序列，调整编码器配置文件中SearchRange(搜索范围)的大小，分别设为16，24，32，64，其他参数设置不变，得到相关的实验数据的对比。如表1所示，当搜索范围范围改变时，采用本发明算法的编码器相对于采用UMHexagonS算法的编码器并没有以降低算法的运动估计精度作为代价来提高运动估计的速度。

表1

第四步：我们将5个标准序列都进行一次编码处理，主要比较PSNR(峰值信噪比)、码率、总编码时间和运动估计时间。实验结果由表2所示，本发明的方法在编码后的一些视频序列的PSNR上有所下降，但下降幅度非常小，保持了图像质量，能较好地重构图像。其次，采用本发明算法的编码器，编码后的码率比UMHexagonS算法有所增加，但幅度变化在0.05％以下，且对部分序列有所降低，幅度变化在0.04％以下。最后由图4所示，采用本发明的方法的编码器，在运动估计时间上比UMHexagonS算法有一定的下降，并且对于中运动和剧烈运动序列有很好的效果，运动估计时间最多节省30％。

表2

图9展示了对mobile_qcif序列采用本发明算法编码后结果解码出来YUV序列和原始YUV序列的主观上的比较，可明显看出采用的本发明算法的编码结果的主观视频质量还是不错的。

参考文献：

[1]Wiegand T.Sullivan G.J.Luthra A.Overview of the H.264/AVC video codingstandard[J].IEEE Transactions on Circuits and System for Video Technology，2003，13(7)：560-576.

[2]Chen Zhibo，Zhou Peng，He Yun.Fast Integer and Fractional Pel MotionEstimation for JVT[C]//Proc.Of the 6th JVT F017Conference.Awaji，Japan：[s.n.]，2002.

[3]Joint Video Team，Reference Software JM10.2，http://iphome.hhi.de/suehring/tml/download/old jm/。

Claims (3)

1.一种用于运动估计的自适应模板图像处理方法，其特征是，包括下列步骤：对预测得到的最优点进行自适应的非对称十字模板搜索；根据运动矢量的中心分布特性进行双菱形模板的搜索；根据十字模板搜索结果选择不同的方向性模板，针对各种视频序列运动情况做出自适应地调整。

2.根据权利要求1所述的一种用于运动估计的自适应模板图像处理方法，其特征是，所述根据十字模板搜索结果选择不同的方向性模板，针对各种视频序列运动情况做出自适应地调整，细化为下列步骤：

首先，根据自适应非对称十字模板搜索结果得到的点，相对于进入该步前的最优点的方位，来选择不同方向的多层次模板，多层次模板分为水平方向多层次模板，垂直方向多层次模板，45度方向多层次模板和135度方向多层次模板；

其次，搜索层次可变：根据运动矢量预测得到的运动矢量的大小，对视频序列的运动程度做出一个划分，即小运动、中运动和大运动，由这三种运动类型决定搜索要采用的多层次模板，小运动对应为只采用模板的中间两层，中运动对应为只采用模板的中间4层，大运动对应为采用模板的所有8层。

3.根据权利要求1所述的一种用于运动估计的自适应模板图像处理方法，其特征是，所述对视频序列的运动程度做出一个划分，即小运动、中运动和大运动，是根据预测的运动矢量MVpred大小，设定判别阈值以对所要编码宏块的运动情况进行分类，即：

(1)当-9＜MVpred_x＜＝10，-9＜MVpred_y＜＝10时，判定当前块为小运动块；

(2)当-13＜MVpred_x＜＝15，-13＜MVpred_y＜＝15时，判定当前块为中运动块；

(3)当-17＜MVpred_x＜17，-17＜MVpred_y＜17时，判定当前块为大运动块。

Images