CN101521822B - 快速分数运动搜索方法 - Google Patents

Abstract

本发明属于视频编码技术，具体涉及一种H.264的帧间分数级运动搜索方法。本发明提供一种基于整数运动向量的快速分数运动搜索方法。本发明通过已检测点的误差值和上一级运动搜索的运动向量，决定了待搜索的像素点的优先级，优先级越高的像素点成为最优点的可能性越大，按照各像素点的优先级的高低进行运动搜索，可以尽快地找到最优点，并排除大量不可能成为最优的点，从而减少了检测的点数，提高了运动搜索的速度。本发明相比全搜索方法，检测点数平均减少了60％左右，使得编码速度大幅度地提高。

Description

快速分数运动搜索方法

技术领域

本发明属于视频编码技术，具体涉及一种H.264的帧间分数级运动搜索方法。

背景技术

H.264/AVC是由联合视频工作组(Joint Video Team，JVT)制定的。该标准为广播、存储设备、对话服务以及无线网络等方面的视频技术提供了技术支持，该标准和以往的标准相比，例如：H.263、H.263+、H.263++和MPEG-4，在视频编码效率上取得了很大的提高，在相同视频质量下，H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。H.264/AVC采用了许多新的技术，包括多模式的帧内预测、FMO(灵活模块次序)、1/4像素精度的运动估计和运动补偿、多参考帧技术、环路滤波技术等。这些新的技术不仅使得H.264具有了更好的视频压缩性能，而且让视频标准能更广泛地、更灵活地应用于不同的网络环境。

视频源由视频图像序列构成，视频序列被划分为不同的GOP(视频图像组)，在视频图像组里，可以由三种不同的视频图像帧构成，分别为I帧、P帧和B帧。I帧为帧内预测帧，其视频图像通过本帧内的图像信息进行压缩编码，这种模式的编码效率往往不高。P帧为帧间预测帧，其采用了帧间运动补偿技术，即通过前面已编码帧的信息来预测当前帧。B帧为双向帧间预测帧，它可以利用前面已编码帧或者后续帧，或者同时使用前面和后续重建帧的信息来进行帧间预测。P帧和B帧相比I帧，只需要很少的编码比特来存储图像信息，这些信息主要是帧间预测的残差。

帧间预测通过运动补偿预测对视频源进行压缩编码。当前帧中的宏块通过在参考帧中寻找匹配的宏块进行预测，其当前帧中的宏块位置与参考帧中的宏块位置差为运动向量。帧间预测的关键部分就在于如何寻找匹配块，即运动搜索。运动搜索精确度影响着视频压缩的效率和重建的质量，在H.264中采用了1/4像素精度的运动搜索方法。

运动搜索分为三级，第一级为整像素运动搜索，在一个搜索范围内采用整像素匹配的搜索方法找出最优整数像素点；第二级为1/2像素运动搜索，在最优整数点附近采用1/2像素精度运动搜索方法找出1/2像素的最优分数像素点；第三级为1/4像素运动搜索，在最优1/2像素点附近采用1/4像素精度的运动搜索方法找出1/4像素最优分数像素点。第二级与第三级运动搜索为分数运动搜索。这种运动搜索的方法在很大程度上提高了帧间预测的准确性，提高了视频压缩的效率，但在同时，却带来了大量的计算量。为了降低算法复杂度，快速整像素运动搜索可使检测点降到不到10个点，但分数级运动搜索仍需检测16个点才能达到1/4像素精度。这样分数级运动搜索算法成为编码器的编码速度的主要影响因素。

目前常见分数级运动搜索算法为全搜索算法。如图1所示，以整像素点(0，0)为中心像素点(中心像素点为整数运动搜索中的最优整数像素点)进行1/2像素运动搜索过程需全搜索8个1/2像素点后选择SAD值最小的像素点为最优1/2像素点，从而确定1/2像素运动向量，这8个1/2像素点为(-2，-2)、(-2，0)、(0，-2)、(0，2)、(2，0)、(2，2)、(-2，2)、(2，-2)；进行1/4像素运动搜索过程需全搜索8个1/4像素点后选择SAD值最小的像素点为最优1/4像素点，从而确定1/4像素运动向量，这8个1/4像素点为(-1，-1)、(-1，0)、(0，-1)、(0，1)、(1，0)、(1，1)、(-1，1)、(1，-1)。

发明内容

本发明所要解决的技术问题是，提供一种基于整数运动向量的快速分数运动搜索方法。

本发明为解决上述技术问题所采用的技术方案是，快速分数运动搜索方法，包括以下步骤：

a、确定上一级运动搜索得到的运动向量方向；比较上一级运动搜索的运动向量的X轴分量和Y轴分量的大小，以轴分量较大的为第一优先检测轴，另一个为第二优先检测轴，并确定X轴与Y轴上的首选像素点和次选像素点；

b、先在第一优先检测轴上进行运动搜索，搜索得到第一优先检测轴上的最优像素点为第一参考搜索像素点，再在第二优先检测轴上进行运动搜索，第二优先检测轴上的最优像素点为第二参考搜索像素点；判断第一参考搜索像素点或/和第二参考搜索像素点是否为中心像素点，如是，本级搜索结束，选择第一参考搜索像素点、第二参考搜索像素点中其误差值最小的为本级最优分数像素点；如否，进入步骤c；

c、搜索在X轴与Y轴形成的4个夹角方向所对应的4个像素点中与第一参考搜索像素点与第二参考搜索像素点最相邻的像素点为第三参考搜索像素点，本级搜索结束，选择第一参考搜索像素点、第二参考搜索像素点、第三参考搜索像素点中其误差值最小的为本级最优分数像素点。

步骤a中，X轴上的首选像素点为上一级运动向量的X轴分量所指向的像素点，X轴次选像素点与首选像素点方向相反；Y轴上的首选像素点为上一级运动向量的Y轴分量所指向的像素点，Y轴次选像素点与首选像素点方向相反。

步骤b中，在第一优先检测轴或第二优先检测轴上进行运动搜索时，先对该轴上的首选像素点进行检测，得到首选像素点的误差值，若首选像素点的误差值小于中心像素点的误差值，则首选像素点为该轴上的最优像素点，否则，对次选像素点进行检测，得到次选像素点的误差值，若次优像素点的误差值小于中心像素点的误差值，则次选像素点为该轴上的最优像素点，否则中心像素点为该轴上的最优像素点。

具体的，在实际运动搜索过程中，用于判断检测点匹配精确度的标准(误差值)可以用SAD(绝对误差和)，MAD(平均绝对误差)，cost(率失真代价函数)，SATD(残差频频变换后的统计量)等表示。

步骤b中，搜索结束后，若第一参考搜索像素点、第二参考搜索像素点均为中心像素点，则本级最优分数像素点为中心像素点；若第一参考搜索像素点不为中心像素点，而第二参考搜索像素点为中心像素点，则本级最优分数像素点为第一参考搜索像素点；若第一参考搜索像素点为中心像素点，而第二参考搜索像素点不为中心像素点，则本级最优分数像素点为第二参考搜索像素点。

本发明通过已检测点的误差值和上一级运动搜索的运动向量，决定了待搜索的像素点的优先级，优先级越高的像素点成为最优点的可能性越大，按照各像素点的优先级的高低进行运动搜索，可以尽快地找到最优点，并排除大量不可能成为最优的点，从而减少了检测的点数，提高了运动搜索的速度。相比全搜索(全搜索需要检测16个点，如图1所示，一个整像素点周围的1/2分数像素点与1/4分数像素点各8个)，而本发明在进行一个分数级的搜索时，最多需要5个，最少仅需3个分数像素点。

本发明的有益效果是，相比全搜索方法，检测点数平均减少了60％左右，使得编码速度大幅度地提高。

附图说明

图1为一个整像素点周围的1/2分数像素点与1/4分数像素点的示意图；

图2为本发明总流程图；

图3为x方向优先级高于y方向时的流程图；

图4为y方向优先级高于x方向时的流程图；

图5为实施例整数运动向量方向示意图。

具体实施方式

在1/2分数像素运动搜索时，检测点的先后顺序根据整数运行向量方向和已检测点的SAD值确定：

设整像素运动搜索后的最优点为(0，0)点，该点的SAD值为S(0，0)，最优整数点周围有8个1/2像素点，其坐标为(0，2)、(0，-2)、(2，-2)、(2，2)、(-2，2)、(-2，-2)、(2，0)和(-2，0)。IMVx表示整数运动向量的X轴方向的大小，IMVy表示整数运动向量的Y轴方向的大小：

若IMVx≥0：在X轴上的优先检测方向xdir＝2；

若0＞IMVx：在X轴上的优先检测方向xdir＝-2；

若IMVy≥0：在Y轴上的优先检测方向ydir＝2；

若0＞IMVy：在Y轴上的优先检测方向ydir＝-2；

若|IMVx|≥|IMVy|：X轴方向优先级大于Y轴方向，xory＝1，X轴为第一优先检测轴，Y轴为第二优先检测轴；否则xory＝0，及Y轴为第一优先检测轴，X轴为第二优先检测轴。

整个流程如图2所示，先确定整数运动搜索中的最优整数像素点(0，0)；比较整数运动搜索运动向量的X轴方向与整数运动搜索运动向量的Y轴方向的大小，判断是否|IMVx|≥|IMVy|，如是，第一优先检测轴为X轴，xory＝1，流程将进入A部分；如否，第一优先检测轴为Y轴，xory＝0，流程将进入B部分；

A部分流程如图3所示：

A1、确认第一优先检测轴为X轴，第二优先检测轴为Y轴；

A2、在X轴上进行运动搜索，与(0，0)相邻的上一级运动向量的X轴分量所指向的像素点为检测点(xdir，0)；检测点(xdir，0)的SAD值表示为S(xdir，0)，(0，0)SAD值表示为S(0，0)；判断是否S(xdir，0)＜S(0，0)；如是，将检测点(xdir，0)作为第一参考搜索像素点，进入步骤A3；如否，进入步骤A5；

A3、在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量所指向的像素点为检测点(0，ydir)；判断是否S(0，ydir)＜S(0，0)；如是，将检测点(0，ydir)作为第二参考搜索像素点，并搜索与检测点(xdir，0)与检测点(0，ydir)最邻近的X轴与Y轴夹角方向对应的检测点(xdir，ydir)，搜索结束，以S(xdir，0)、S(0，ydir)、S(xdir，ydir)中最小值对应的检测点作为最优分数像素点；如否，进入步骤A4；

A4、继续在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量的反方向所指向的像素点为检测点(0，-ydir)；判断是否S(0，-ydir)＜S(0，0)，如是，将检测点(0，-ydir)作为第二参考搜索像素点，并搜索与检测点(xdir，0)与检测点(0，-ydir)最邻近的X轴与Y轴夹角方向对应的检测点(xdir，-ydir)，搜索结束，以(xdir，0)、(0，-ydir)、(xdir，ydir)中SAD值最小的检测点作为最优分数像素点；如否，以(0，0)作为第二参考搜索像素点，搜索结束，以(xdir，0)作为最优分数像素点；

A5、继续在X轴上进行运动搜索，与(0，0)相邻的上一级运动向量的X轴分量的反方向所指向的像素点为检测点(-xdir，0)；判断是否S(-xdir，0)＜S(0，0)；如是，将检测点(-xdir，0)作为第一参考搜索像素点，进入步骤A6；如否，以(0，0)作为第一参考搜索像素点，进入步骤A8；

A6、在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量所指向的像素点为检测点(0，ydir)；判断是否S(0，ydir)＜S(0，0)；如是，将检测点(0，ydir)作为第二参考搜索像素点，并搜索与检测点(-xdir，0)与检测点(0，ydir)最邻近的X轴与Y轴夹角方向对应的检测点(-xdir，ydir)，搜索结束，以S(-xdir，0)、S(0，ydir)、S(-xdir，ydir)中最小值对应的检测点作为最优分数像素点；如否，进入步骤A7；

A7、继续在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量的反方向所指向的像素点为检测点(0，-ydir)；判断是否S(0，-ydir)＜S(0，0)，如是，将检测点(0，-ydir)作为第二参考搜索像素点，并搜索与检测点(-xdir，0)与检测点(0，-ydir)最邻近的X轴与Y轴夹角方向对应的检测点(-xdir，-ydir)，搜索结束，以(-xdir，0)、(0，-ydir)、(-xdir，-ydir)中SAD值最小的检测点作为最优分数像素点；如否，(0，0)为第二参考搜索像素点，搜索结束，(-xdir，0)作为B最优分数像素点；

A8、在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量所指向的像素点为检测点(0，ydir)；判断是否S(0，ydir)＜S(0，0)；如是，将检测点(0，ydir)作为第二参考搜索像素点，搜索结束，(0，ydir)作为最优分数像素点；如否，进入步骤A9；

A9、继续在Y轴上进行运动搜索，与(0，0)相邻的上一级运动向量的Y轴分量的反方向所指向的像素点为检测点(0，-ydir)；判断是否S(0，-ydir)＜S(0，0)，如是，将检测点(0，-ydir)作为第二参考搜索像素点，搜索结束，(0，-ydir)作为最优分数像素点；如否，(0，0)作为第二参考搜索像素点，搜索结束，(0，0)作为最优分数像素点。

B部分与A部分原理基本相同，以Y轴为第一优先检测轴，优先搜索检测点(0，ydir)，并判断是否S(0，ydir)＜S(0，0)，如是，将(0，ydir)作为第一参考搜索像素点，否则再判断是否S(0，-ydir)＜S(0，0)，如是(0，-ydir)作为第一参考搜索像素点，如不满足则将(0，0)作为第一参考搜索像素点；以X轴为第二优先检测轴，搜索检测点(xdir，0)，并判断是否S(xdir，0)＜S(0，0)，如是，将(xdir，0)作为第二参考搜索像素点，否则再判断是否S(-xdir，0)＜S(0，0)，如是，将(-xdir，0)作为第二参考搜索像素点，如不满足则将(0，0)作为第二参考搜索像素点；

当第一参考搜索像素点、第二参考搜索像素点均不为(0，0)时，继续搜索与第一参考搜索像素点、第二参考搜索像素点最邻近的X轴与Y轴夹角方向对应的检测点，将该检测点作为第三参考搜索像素点，搜索结束，以第一参考搜索像素点、第二参考搜索像素点、第三参考搜索像素点中SAD值最小的作为最优分数像素点；

当第一参考搜索像素点或第二参考搜索像素点为(0，0)时，确定完第一参考搜索像素点、第二参考搜索像素点后就不再进行搜索，以第一参考搜索像素点、第二参考搜索像素点中SAD值最小的作为最优分数像素点。具体流程见图4，B部分的流程与A部分的流程在判断过程中基本相同，在此不再赘述。

在1/4像素运动搜索时，检测点的先后顺序根据1/2像素运行向量方向和已检测点的SAD值确定。

假设整像素运动搜索后的最优点为(0，0)点，该点的SAD值为S(0，0)，最优整数点周围有8个半像素点，其坐标为(0，1)、(0，-1)、(1，-1)、(1，1)、(-1，1)、(-1，-1)、(1，0)和(-1，0)，如图4所示。IHMVx表示在1/2像素运动搜索后得到的运动向量的X轴方向的大小，IMVy表示在1/2像素运动搜索后得到运动向量的Y轴方向的大小。

若IHMVx≥IHMVy≥0，在X轴上的优先检测方向xdir＝1；

若0≥IHMVy≥IHMVx，在X轴上的优先检测方向xdir＝-1；

若IHMVy＞IHMVx≥0，在Y轴上的优先检测方向ydir＝1；

若0≥IHMVx＞IHMVy，在Y轴上的优先检测方向ydir＝-1；

若|IHMVx|≥|IHMVy|，X轴搜索优先级大于Y轴，xory＝1，否则xory＝0；

1/4像素运动搜索的流程与1/2像素运动搜索时相同。

实施例

如图5所示，以1/2像素运动搜索为例，1/4像素运动搜索同理。

先得到整数运动向量方向，|IMVx|＞|IMVy|，IMVx＞0，IMVy＜0，那么xdir＝2，ydir＝-2，因此首选的检测点是(0，0)沿X轴水平向右的检测点，即先检测(2，0)，若S(2，0)＜S(0，0)，那么(2，0)为第一参考搜索像素点；再检测Y轴方向，搜索(0，-2)，若S(0，-2)＞S(0，0)；则检测(0，2)，若S(0，2)＜S(0，0)，那么(0，2)为第二参考搜索像素点；最后再搜索与(2，0)、(0，2)最邻近的X轴与Y轴夹角方向对应的检测点(2，2)，将检测点(2，2)作为第三参考搜索像素点，搜索结束。选用(2，0)，(0，-2)，(2，2)中SAD值最小的作为最优1/2分数像素点。

Claims (7)

1.快速分数运动搜索方法，其特征在于，包括以下步骤：

a、确定上一级运动搜索得到的运动向量方向；比较上一级运动搜索的运动向量的X轴分量和Y轴分量的大小，以轴分量绝对值较大的为第一优先检测轴，另一个为第二优先检测轴，并确定X轴与Y轴上的首选像素点和次选像素点；所述X轴上的首选像素点为上一级运动向量的X轴分量所指向的像素点，X轴次选像素点与首选像素点方向相反；所述Y轴上的首选像素点为上一级运动向量的Y轴分量所指向的像素点，Y轴次选像素点与首选像素点方向相反；

b、先在第一优先检测轴上进行运动搜索，搜索得到第一优先检测轴上的最优像素点为第一参考搜索像素点，再在第二优先检测轴上进行运动搜索，第二优先检测轴上的最优像素点为第二参考搜索像素点；在第一优先检测轴或第二优先检测轴上进行运动搜索时，先对该轴上的首选像素点进行检测，得到首选像素点的误差值，若首选像素点的误差值小于中心像素点的误差值，则首选像素点为该轴上的最优像素点，否则，对次选像素点进行检测，得到次选像素点的误差值，若次选像素点的误差值小于中心像素点的误差值，则次选像素点为该轴上的最优像素点，否则中心像素点为该轴上的最优像素点；判断第一参考搜索像素点或/和第二参考搜索像素点是否为中心像素点，如是，本级搜索结束，选择第一参考搜索像素点、第二参考搜索像素点中其误差值最小的为本级最优分数像素点；如否，进入步骤c；

c、搜索在X轴与Y轴之间的4个夹角方向所对应的4个像素点中与第一参考搜索像素点与第二参考搜索像素点最相邻的像素点为第三参考搜索像素点，本级搜索结束，选择第一参考搜索像素点、第二参考搜索像素点、第三参考搜索像素点中其误差值最小的为本级最优分数像素点；所述在X轴与Y轴之间的4个夹角方向分别为X轴和Y轴相交于原点，沿逆时针或顺时针方向，以原点为起点，与X轴正方向形成的45°、135°、225°、315°夹角方向。

2.如权利要求1所述快速分数运动搜索方法，其特征在于，所述误差值为绝对误差和值。

3.如权利要求1所述快速分数运动搜索方法，其特征在于，所述误差值为平均绝对误差值。

4.如权利要求1所述快速分数运动搜索方法，其特征在于，所述误差值为率失真代价函数值。

5.如权利要求1所述快速分数运动搜索方法，其特征在于，所述误差值为残差频频变换后的统计量。

6.如权利要求1所述快速分数运动搜索方法，其特征在于，在步骤b中，搜索结束后，若第一参考搜索像素点、第二参考搜索像素点均为中心像素点，则本级最优分数像素点为中心像素点；

若第一参考搜索像素点不为中心像素点，而第二参考搜索像素点为中心像素点，则本级最优分数像素点为第一参考搜索像素点；

若第一参考搜索像素点为中心像素点，而第二参考搜索像素点不为中心像素点，则本级最优分数像素点为第二参考搜索像素点。

7.如权利要求1所述快速分数运动搜索方法，其特征在于，所述上一级运动搜索为整数运动搜索时，所述本级最优分数像素点为1/2分数像素点；所述上一级运动搜索为1/2分数运动搜索时，所述本级最优分数像素点为1/4分数像素点。

Images