CN105282557A - 一种预测运动矢量的h264快速运动估计方法 - Google Patents

Abstract

本发明公开了一种预测运动矢量的H264快速运动估计方法，所述运动估计方法包括以下步骤：对预测运动矢量所对应的差值块进行全零系数块的检测，若存在全零系数块，则终止运动搜索过程；否则，执行下一步；预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略；选取准确度最高的两个预测MV，分别计算两个预测MV的水平分量差、垂直分量差，从中选取最大差值ΔMV，根据最大差值ΔMV执行搜索策略。本发明通过充分利用预测运动矢量的特性，相比UMHexagonS算法，在峰值信噪比下降很小、码率基本不变的情况下，大幅度地降低了运动估计的运算量。

Description

一种预测运动矢量的H264快速运动估计方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种预测运动矢量的H264快速运动估计方法，本方法主要应用于以H.264为代表的运动补偿视频编码中。

背景技术

运动估计是H.264编码器中最耗时的环节之一。块匹配法由于算法简单、易于硬件实现，成为了应用最广泛的运动估计算法。在块匹配运动估计算法中，传统的全搜索法通过检查搜索范围内的每一个点，可以得到最佳运动矢量。全搜索法能够获得图像质量上的高性能，但是计算复杂度过高。采用全搜索法的运动估计过程占据了H.264编码器超过50％的编码时间^[1]，为了解决编码器对计算能力和内存容量要求非常高的问题^[2]，许多快速搜索算法被提出。归纳起来，这些快速搜索算法大体可以分为几类，第一类采用特定的搜索模板，其中比较有代表性的算法是菱形搜索算法、六边形搜索算法等。由于搜索模板较为简单，这类算法对于运动缓慢的视频序列能够取得比较好的效果，但其没有从全局考虑运动方向，容易陷入局部最优化。第二类快速搜索算法采用动态的搜索范围，其主要思想就是根据当前块的运动状态自适应地选择搜索窗口的尺寸^[3]。第三类快速搜索算法采用提前终止策略，提前终止策略有很多，包括零运动矢量检测、最佳运动矢量检测以及全零系数块的检测等^[4-5]。近年来，基于宏块时域和空域上的特性，一些放宽匹配条件的算法涌现出来，比如：逐次消元算法^[6]和局部失真搜索算法^[7]等。这些算法能够在保持图像质量的同时降低运动估计的运算量，但是硬件实现较为困难。

目前H.264标准推荐采用的快速运动估计算法是非对称十字型多层次六边形格点搜索(UMHexagonS)算法^[8]。该算法是一种混合编码技术，相对全搜索法可节约90％的运算量，大大降低了计算复杂度，同时能够保持较好的编码效率和图像质量，比较好的兼顾了编码性能和编码速度的统一。但是UMHexagonS算法在全局搜索、提前终止策略等方面仍然存在一定的问题。

参考文献

[1]LiL,LiuS,ChenY,etal.MotionEstimationWithoutInteger-PelSearch[J].ImageProcessing,IEEETransactionson,2013,22(4):1340-1353.

[2]郭继昌，金卯亨嘉.一种基于字典学习的压缩感知视频编解码模型[J].数据采集与处理，2015，30(1)：59-67.

[3]KoYH,KangHS,LeeSW.Adaptivesearchrangemotionestimationusingneighboringmotionvectordifferences[J].ConsumerElectronics,IEEETransactionson,2011,57(2):726-730.

[4]YangLB,YuKM,LiJ,etal.Aneffectivevariableblock-sizeearlyterminationalgorithmforH.264videocoding[J].CircuitsandSystemsforVideoTechnology,IEEETransactionson,2005,15(6):784-788.

[5]SarwerMG,WuQMJ.Adaptivevariableblock-sizeearlymotionestimationterminationalgorithmforH.264/AVCvideocodingstandard[J].CircuitsandSystemsforVideoTechnology,IEEETransactionson,2009,19(8):1196-1201.

[6]ChoiC,JeongJ.ExtendedSuccessiveEliminationAlgorithmforFastOptimalBlockMatchingMotionEstimation[C]//TheSixthInternationalConferencesonAdvancesinMultimedia.Nice,France:MMEDIA,2014:33-36.

[7]ChenHM,ChenPH,LinCT,etal.Anadaptivemacroblock-meandifferencebasedsortingschemeforfastnormalizedpartialdistortionsearchmotionestimation[J].Computers&ElectricalEngineering,2013,39(5):1409-1421.

[8]ChenZ,XuJ,HeY,etal.Fastinteger-pelandfractional-pelmotionestimationforH.264/AVC[J].JournalofVisualCommunicationandImageRepresentation,2006,17(2):264-290.

发明内容

本发明提供了一种预测运动矢量的H264快速运动估计方法，本发明可以有效地降低视频编码中运动估计环节的运算复杂度，减少视频编码的时间，同时能够保持视频编码的质量，详见下文描述：

一种预测运动矢量的H264快速运动估计方法，所述运动估计方法包括以下步骤：

对预测运动矢量所对应的差值块进行全零系数块的检测，若存在全零系数块，则终止运动搜索过程；否则，执行下一步；

预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略；

选取准确度最高的两个预测MV，分别计算两个预测MV的水平分量差、垂直分量差，从中选取最大差值ΔMV，根据最大差值ΔMV执行搜索策略。

所述运动估计方法还包括：

根据当前编码块的运动状态自适应地决定搜索窗口的尺寸。

所述预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略的步骤具体为：

计算预测矢量集中MV的最大长度L；

如果L≤1，表明当前编码块的运动状态缓慢，则跳过全局搜索环节，直接进入小菱形模板搜索，流程结束；

如果1<L≤2，表明当前编码块运动程度一般，则首先以起始搜索点为中心进行大菱形模板搜索，然后进入小菱形模板搜索，流程结束；

如果L>2，表明当前编码块处于快速运动状态，则执行下一步，进入全局搜索环节。

本发明提供的技术方案的有益效果是：本发明以UMHexagonS算法为基础，在起始搜索点的预测环节，建立预测矢量集，并根据预测矢量集的长度信息，适当跳过全局搜索环节；在全局搜索环节，通过判断准确度最高的两个预测运动矢量之间的关系，适当跳过非对称十字型模板搜索和多层次大六边形模板搜索；对全局搜索环节也进行了自适应的改进。另外，根据整数变换和量化的特性检测全零系数块，并利用运动矢量与预测矢量的高度相关性，提前终止运动搜索过程，从而进一步减少搜索点数。

附图说明

图1为图1UMHexagonS算法的搜索模板的示意图；

其中，(a)为小菱形搜索模板的示意图；(b)为小六边形搜索模板的示意图；(c)为大菱形搜索模板的示意图；(d)为非对称十字型搜索模板的示意图；(e)为5×5螺旋方形搜索模板的示意图；(f)为3×3螺旋方形搜索模板的示意图；(g)为多层次大六边形搜索模板的示意图。

图2为H.264编码器的整体框架图；

图3为一种预测运动矢量的H264快速运动估计方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例以UMHexagonS算法为基础，利用预测运动矢量与最佳运动矢量的高度相关性，在起始搜索点的预测、全局搜索以及全零系数块的检测三个方面进行改进，参见图1，详见下文描述：

101：对预测运动矢量所对应的差值块进行全零系数块的检测，若存在全零系数块，则终止运动搜索过程；否则，执行步骤102；

现有技术中的UMHexagonS算法在多处进行了提前终止检测，具体来说就是设定阈值，将当前搜索点的拉格朗日(Lagrangian)编码代价与阈值相比较，如果小于阈值就跳过某些搜索步骤。具体的提前终止策略如下：

ifJ<Th1，进入小菱形模板搜索

ifTh1<J<Th1，进入小六边形模板搜索

其中J为当前搜索点所在块的Lagrangian编码代价，Th1、Th2为设定的阈值，阈值的设定与当前块大小、量化步长的大小有关。

小菱形搜索模板如图(a)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，将搜索中心和搜索中心周围的4个点设为点群，对点群做匹配运算，得到最佳匹配点。如果最佳匹配点就是搜索中心，那么停止搜索；否则以最佳匹配点为中心，新增3个点作为新点群，对新点群做匹配运算，得到新的最佳匹配点；直到最佳匹配点落在搜索中心上。

小六边形搜索模板如图(b)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，将搜索中心和搜索中心周围的6个点设为点群，对点群做匹配运算，得到最佳匹配点。如果最佳匹配点就是搜索中心，那么停止搜索；否则以最佳匹配点为中心，新增3个点作为新点群，对新点群做匹配运算，得到新的最佳匹配点；直到新的最佳匹配点落在搜索中心上。

UMHexagonS算法虽然采用了提前终止策略，但是没有充分利用整数变换和量化的特点、预测MV处SAD(差值块的绝对值之和)的分布特性以及率失真判决的条件。

为此，本发明实施例通过提前判定全零系数块来终止没有意义的运动搜索过程。全零系数块是指经过变换和量化之后系数全部变为零的块，如果这种块在运动估计时被检测到，那么就没有必要搜索更精确的匹配块，因为编码效率不会有提高。

H.264标准采用基于Lagrangian优化算法的率失真优化技术(RDO)实现对视频编码的控制，在{mode(模式)，MV(运动矢量)，REF(参考帧)，Direction(方向)}的组合中做出最佳选择。率失真优化的关键就是不断计算每种组合的Lagrangian编码代价，然后选出编码代价最小的一种组合。Lagrangian编码代价定义如下：

J(M，λ)＝SAD+λ×R(MV-PMV)

其中，J(M，λ)为Lagrangian编码代价；SAD为差值块的系数的绝对值之和(差值块由当前块和候选块对应像素值的差值构成)；λ为Lagrangian常数；MV为当前块的运动矢量；PMV为预测运动矢量。

H.264在变换编码环节摒弃了传统的8*8浮点离散余弦变换，采用4*4整数变换对帧内预测和帧间预测的差值数据进行编码。经过整数变换和量化后4*4块内所有系数变为零的充分条件为：

$SAD={\mathrm{\&Sigma;}}_{m=0}^3{\mathrm{\&Sigma;}}_{n=0}^3\left|x_{mn}\right|<\frac{25Q_{step}}{12}$

其中，x_mn为差值块的系数，Q_step为量化步长。

上式即为全零系数块的判决条件，如果在预测MV处进行全零系数块的判决，那么这也是率失真优化的最优判决。因此，本方法在中值预测结束、得到中值预测MV之后，计算当前编码的差值块所包含的所有4*4块的SAD_4×4，并与阈值比较，如果SAD_4×4全部小于阈值，那么将MV设成PMV，结束运动估计；否则进行正常的运动搜索过程。经过大量的实验，在综合考虑编码性能(PSNR)和计算复杂度之后，将4*4块的阈值设定为3Q_step+90。

另外，根据当前编码块的运动状态自适应地决定搜索窗口的尺寸。

搜索窗口尺寸(SR)的计算公式如下：

$SR=\&lsqb;\frac{{\mathrm{SAD}}_{current}}{n_1\&times;n_2}(\frac{a}{P_{max}}+b)\&rsqb;+c$

其中，SAD_current是指当前块的起始搜索点的SAD值；n₁、n₂分别表示当前块的宽度和高度；P_max表示配置文件中的搜索窗口尺寸；a、b、c均为常量，分别设为1、0.75和0。[]为取整操作。同时需要声明的是，SR不能大于P_max。

102：预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略；

其中，UMHexagonS算法主要分为四步。第一步为起始搜索点的预测，该算法采用五种方式预测起始的搜索中心，检测顺序依次为中值预测、(0，0)预测、上层块预测、前帧对应块预测和相邻参考帧预测。UMHexagonS算法既利用了运动矢量之间的时间相关性(前帧对应块预测、相邻参考帧预测)，也利用了运动矢量之间的空间相关性(中值预测、上层块预测)，还利用了运动矢量的中心偏移特性((0，0)预测)。但是该算法并没有将这三种特性有效地结合起来。

为此，本发明实施例通过建立预测矢量集的方法将预测MV的时间、空间相关性以及中心偏移特性有效地结合起来。具体来说，在起始搜索点预测之后，为当前块建立一个支持当前区域上的预测矢量集{mv₁，mv₂，mv₃}，根据预测矢量集的长度信息决定后续的搜索策略。其中mv₁从空间维度选取(相邻块中值MV)，mv₂从时间维度选取(前帧对应块MV)，mv₃为当前最优的预测MV(其包含(0,0)MV)，这三个预测MV构成的集合充分利用了运动矢量的时空特性和偏移特性，是预测当前运动矢量比较有效的基本预测矢量组合。计算预测矢量集中MV的最大长度L，长度信息可由下面的计算公式得到：

mv_i＝(x_i，y_i)，i＝1,2,3

l_i＝|x_i|+|y_i|，i＝1,2,3

L＝max(l₁,l₂,l₃)

其中，x_i为MV的水平分量；y_i为MV的垂直分量；l_i为MV的水平分量和垂直分量的长度之和。

如果L≤1，表明当前编码块的运动状态缓慢，则跳过全局搜索环节，直接进入小菱形模板搜索，流程结束；

如果1<L≤2，表明当前编码块运动程度一般，则首先以起始搜索点为中心进行大菱形模板搜索，然后进入小菱形模板搜索，流程结束；

如果L>2，表明当前编码块处于快速运动状态，则执行下一步，进入全局搜索环节。

其中，大菱形搜索模板如图(c)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，将搜索中心和搜索中心周围的8个点设为点群，对点群做匹配运算，得到最佳匹配点。如果最佳匹配点落在搜索中心的水平或垂直方向，新增5个点作为新点群，对新点群做匹配运算，得到新的最佳匹配点；如果最佳匹配点落在搜索中心的斜45度方向，新增3个点作为新点群，对新点群做匹配运算，得到新的最佳匹配点。以得到的最佳匹配点作为搜索中心，将搜索中心相邻的4个点作为第三步的点群，对点群做匹配运算，得到最佳匹配点。

该些模板为UMHexagonS算法自带的模板，为本领域技术人员所公知，本发明实施例对此不做赘述。

103：选取准确度最高的两个预测MV，分别计算两个预测MV的水平分量差、垂直分量差，从中选取最大差值ΔMV，根据最大差值ΔMV执行搜索策略。

在精确地找到起始搜索点之后，现有技术中的UMHexagonS算法通常采用全局搜索的方式，避免搜索陷入局部最优化。全局搜索依次采用：1)非对称十字型模板搜索；2)5*5螺旋方形模板搜索；3)多层次大六边形模板搜索。在全局搜索完成之后，UMHexagonS算法以得到的全局最优点为中心，进行局部搜索。局部搜索依次采用：1)小六边形模板搜索；2)小菱形模板搜索。

在许多实时的、便携式的多媒体应用中，相邻帧之间的连续性很大。这意味着，精确的起始搜索点很有可能就是全局最优点，即使不是全局最优点，那么也有很大的可能落入全局最优点的附近。因此在大部分情况下，全局搜索环节只需要进行5*5螺旋方形模板搜索，没有必要进行非对称十字型模板搜索和多层次大六边形模板搜索。

具体来说，准确度最高的两个预测MV的水平分量差和垂直分量差中的最大值为ΔMV，当ΔMV≤3时，可以认为这两个预测MV的差值非常小、起始搜索点的预测非常精确。在这种条件下，可跳过非对称十字型模板搜索和非均匀多层次大六边形模板搜索，只进行5*5螺旋方形搜索；然后执行小六边形模板搜索、小菱形搜索，流程结束。

ΔMV的计算公式如下：

ΔMV＝max(abs(MV_1x-MV_2x)，abs(MV_1y-MV_2y))

其中，MV₁和MV₂分别为准确度最高的两个预测MV，x为MV的水平方向，y为MV的竖直方向。

对5×5螺旋方形模板搜索环节进行改进，参见图3，对16×16块取消搜索，对4×4块采用5×5螺旋方形模板搜索，其余尺寸的块均采用3×3螺形模板搜索。

另，当ΔMV>3时，依次进行非对称十字型模板搜索、改进的螺旋方形模板搜索、多层次大六边形模板搜索、小六边形模板搜索、小菱形搜索，然后流程结束。

其中，非对称十字型搜索模板如图(d)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，对搜索中心、搜索中心水平和垂直方向的点做匹配运算，得到最佳匹配点。

5×5螺旋方形搜索模板如图(e)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，对以搜索中心为中心的5×5螺旋方形中的点群做匹配运算，得到最佳匹配点。

3×3螺旋方形搜索模板如图(f)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，对以搜索中心为中心的3×3螺旋方形中的点群做匹配运算，得到最佳匹配点。

多层次大六边形搜索模板如图(g)所示，具体步骤如下：将候选区中与当前块相同坐标位置处设为搜索中心，对以搜索中心为中心的多个层次的大六边形中的点群做匹配运算，得到最佳匹配点。

该些模板为UMHexagonS算法自带的模板，为本领域技术人员所公知，本发明实施例对此不做赘述。

综上所述，本发明实施例通过充分利用预测运动矢量的特性，相比UMHexagonS算法，在峰值信噪比下降很小、码率基本不变的情况下，大幅度地降低了运动估计的运算量。

实施例2

下面结合具体的试验数据对实施例1中的方案进行可行性验证，详见下文描述：

实验硬件平台为PC机，具体配置为：Intel(R)Core(TM)2DuoCPU，2.93GHz，2.00GB内存；操作系统为WindowsXP2002+SP3。实验软件平台为VisualStudio2010，测试软件为H.264标准的参考校验模型JM10.2，改进算法用C语言实现。编码器配置采用JM10.2的主类别，主要编码参数设置如下：编码80帧，帧率为30fps，使能哈达玛变换，运动估计搜索半径为16，参考帧为5帧，熵编码类型为基于上下文自适应的二进制算术编码(CABAC)，帧类型为IBPBP，其他参数为缺省设置。

实验中选取了News、Foreman、Coastguard、Waterfall四个视频序列作为编码器的输入。其中News代表慢速运动序列，Foreman代表中速运动序列，Coastguard代表快速运动序列，Waterfall代表垂直方向运动远大于水平方向运动的非常规运动序列。

全搜索法简记为FS，UMHexagonS算法简记为UMHS，简化的UMHexagonS算法简记为S-UMHS，本方法提出的综合改进算法命名为IMP。在同一测试环境下，对这四种算法进行测试，结果如表1所示。表1，QP代表量化步长，PSNR代表峰值信噪比，BR代表比特率，ENT代表编码时间，MET代表运动估计的时间。从表1可以看出，无论对于慢速、中速、快速运动序列、还是对于非常规运动序列，本方法相比UMHS算法均能够大幅度地减少编码时间和运动估计时间。

表2是本方法相对于FS算法以及S-UMHS算法的变化情况。由表2可知，相比FS算法，本方法在PSNR平均减少0.022dB的情况下，平均节省了79.62％的运动估计时间。相比S-UMHS算法，本方法除了在慢速运动序列上运动估计的时间有所增加外，在其他序列上运动估计的时间都能取得不同程度地降低。

表1实验结果记录(QP＝28)

表2本方法与FS、S-UMHS算法的编码性能比较(QP＝28)

实验结果表明，在重建图像质量和码率接近的情况下，相比UMHexagonS算法，本发明算法平均减少了34.80％的运动估计时间(量化步长为28)。

本发明实施例具有很好的鲁棒性，在不同量化步长的条件下能够适应不同运动强度的视频序列，针对不同运动强度的视频序列均能减少一定比率的运动估计时间，同时率失真性能与UMHexagonS算法相差无几，因此本方法是一种适合H.264的搜索效率高且编码损失小的快速方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种预测运动矢量的H264快速运动估计方法，其特征在于，所述运动估计方法包括以下步骤：

对预测运动矢量所对应的差值块进行全零系数块的检测，若存在全零系数块，则终止运动搜索过程；否则，执行下一步；

预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略；

选取准确度最高的两个预测MV，分别计算两个预测MV的水平分量差、垂直分量差，从中选取最大差值ΔMV，根据最大差值ΔMV执行搜索策略。

2.根据权利要求1所述的一种预测运动矢量的H264快速运动估计方法，其特征在于，所述运动估计方法还包括：

根据当前编码块的运动状态自适应地决定搜索窗口的尺寸。

3.根据权利要求1所述的一种预测运动矢量的H264快速运动估计方法，其特征在于，所述预测起始搜索点，建立预测矢量集，根据预测矢量集的长度信息执行搜索策略的步骤具体为：

计算预测矢量集中MV的最大长度L；

如果L≤1，表明当前编码块的运动状态缓慢，则跳过全局搜索环节，直接进入小菱形模板搜索，流程结束；

如果1＜L≤2，表明当前编码块运动程度一般，则首先以起始搜索点为中心进行大菱形模板搜索，然后进入小菱形模板搜索，流程结束；

如果L＞2，表明当前编码块处于快速运动状态，则执行下一步，进入全局搜索环节。