CN1396774A - 基于预测方向校正/统计预判的快速亚象素运动估计方法 - Google Patents

Abstract

本发明属于信号处理中的视频编码领域，涉及基于预测方向校正/统计预判的快速亚象素运动估计方法。该方法主要是在1/2，1/4，1/8等亚象素运动估计中利用上一级搜索精度运动估计的结果以及当前精度下的统计信息来预判当前级的运动矢量，并且引入搜索截止准则。在保持已有技术的编码率失真特性的同时极大地降低了软硬件中亚象素运动估计的运算复杂度。且本方法并不限于H.264国际标准，可以推广至其他国际标准和非国际标准视频编码的应用。同时本发明的方法具有一定的可扩展性，可以与众多的整象素运动估计算法相结合，并可以实现运算复杂度与预测精度之间的均衡调节。

Description

基于预测方向校正/统计预判的快速亚象素运动估计方法

技术领域

本发明属于信号处理中的视频编码领域，特别针对最新的视频编码标准H.264提出了新的快速亚象素运动搜索方法，在保证视频编码效率的前提下大幅度节省了软硬件实现中亚象素运动估计部分运算量。

背景技术

传统的视频编码标准如ITU制定的H.261，H.263，H.26L，H.264标准以及ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4等都是基于混合编码，既HybridCoding框架之上的。所谓混合编码框架是综合考虑预测，变换以及熵编码的方法的编码框架，有以下主要特点：

1)利用预测去除时间域的冗余度；

2)利用变换去除空间域的冗余度；

3)而用熵编码去除统计上的冗余度；

上述视频编码标准都具有帧内编码帧，即I帧，和帧间编码帧，即P帧，I帧和P帧采用不同的编码方法。I帧的编码过程如下：对原始图象数据进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后进行熵编码，即Hunffman编码或者算术编码等。P帧的编码过程如下：采用运动估计得到运动矢量，然后采用基于运动补偿的帧间预测，接着对帧间预测得到的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。

由于视频序列在时间域上的较强的相关性，帧间预测是提高编码增益的关键因素，因此运动估计和运动补偿是视频编码方案中的很重要的部分。

运动估计分为两个部分，整象素运动估计和亚象素运动估计。整象素运动估计需要相对于当前帧当前象素点在参考帧对应象素点的一个(2*W_x+1)×(2*W_y+1)的窗口内寻找一个代价函数最小的匹配块，其中W_x，W_y是搜索宽度和高度参数。亚象素运动估计则是在对应于最优整象素运动矢量的最佳整象素点周围的亚象素点进行搜索，得到对应于最优亚象素运动矢量的最佳亚象素点。如通常采用的半象素搜索是在最佳整象素点周围的8个半象素点进行搜索的到最佳亚象素点。亚象素精度的运动补偿可以极大地提高编码效率，如H.263采用半象素精度运动补偿后比只采用整象素精度运动补偿H.261在相同的编码速率下信噪比大约可以提高超过1dB。而采用更高的亚象素精度运动补偿如1/4或1/8则可以获得更高的编码增益，但相应的滤波器设计以及编码等方面的复杂度也会增加。MPEG-4标准中已经采纳了1/4象素精度的运动补偿技术。

目前正在制定中的视频编码标准H.264，吸收了多年视频编码技术发展的成果，从编码效率以及功能上都超越了以往的视频编码标准，但是其基本框架仍然是基于混合编码框架的，而且其运动估计的精度可达1/8象素。图1是亚象素位置及其运动搜索范围示意图。图中大写字母(C，H_i，V_i，D_i)是整象素位置，罗马数字(I，II，III...)表示半象素位置，小写字母(a，b，c...)表示1/4象素位置，阿拉伯数字(1，2，3...)代表1/8象素位置。视频编码过程中对于每个宏块的运动估计基本上分为以下几步：

1.首先作整象素的运动搜索得到整象素精度的运动矢量，得到对应于整象素运动矢量的最佳整象素点C；

2.在最佳整象素点C周围的8个半象素位置I～VIII中寻找最佳亚象素点V；

3.在最佳亚象素点V周围的8个1/4象素a～h中寻找最佳1/4象素点h；

4.在最佳1/4象素点h周围的8个1/8象素1～8中寻找最佳1/8象素点1；

运动搜索中寻找最佳匹配块就需要采用一个匹配准则，采用的代价函数一般采用绝对差值和：SAD(Sum of Absolute Difference)函数，其定义为： $\mathrm{SAD}\left(P\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|f(i,j,t)-f(i-x,j-y,t-1)|$ 公式(1)

这里假定匹配块的尺寸是N×N，f(i，j，t)是t时刻的图象帧的(i，j)坐标位置处的象素亮度值，(x，y)表示当前帧当前图象块位置指向参考帧中点P位置的运动矢量的两个分量。

由此可见，为得到1/8象素精度的运动矢量光亚象素搜索部分就需要24个点的公式(1)的计算，而且还需要额外的24次的内插计算。

由于在整个运动估计的运算中，整象素运动矢量的估计所占的运算量是很大的，如当搜索步长是32时，整象素的全搜索方法需要4225个点的公式(1)运算，因此过去的研究工作中，快速运动估计方法都是针对整象素运动估计，而忽略了亚象素运动估计的影响。但是随着快速整象素运动估计方法的研究不断深入，整象素运动估计的运算量越来越少，目前的研究成果显示，整象素运动估计搜索的点的个数可以达到10以下，且在各种码率下都保持相当好的编码效率。这样，亚象素运动估计在整个运动估计的运算量中所占的比例更高了，尤其是当更高象素精度的运动矢量被采纳时，亚象素运动估计的运算量越来越成为限制运算量下降的瓶颈，这样对于快速亚象素运动估计方法的研究就显得越发重要了。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于预测方向校正/统计预判的亚象素运动快速搜索方法，包含基于预测-方向校正的快速运动估计方法，以及基于统计预判的快速运动估计法。在保持已有技术的编码率失真特性的同时极大的降低了软硬件中亚象素运动估计的运算复杂度。且本方法并不限于H.264国际标准，可以推广至其他国际标准和非国际标准视频编码的应用。同时本发明的方法具有一定的可扩展性，可以与众多的整象素运动估计算法相结合，并可以实现运算复杂度与预测精度之间的均衡调节。

本发明提出的亚象素运动估计方法中的基于预测的方向校正快速运动估计方法，包括以下三个步骤：

1/2运动矢量预测(Prediction)，方向校正(Directional Refinement)，截止准则(Half-Stop)。下面分别介绍：

1.1/2运动矢量预测(Prediction)：

首先有两个假设，一是在最佳整象素点周围的代价函数是一个平滑的的凸函数，第二个假设是假定最佳整象素点周围的四个整象素点的代价函数是已知的(对应于图1中就是V1，V2，H1和H2四个位置的代价函数是已知的)，可以分别记为SAD(V1)，SAD(V2)，SAD(H1)，SAD(H2)中心点的代价函数为SAD(C)。这一假设是建立在目前众多的快速整象素运动估计方法都是基于菱形运动估计模型的基础之上的。因此可以根据相邻四个整象素点的代价函数来预测下一步半象素运动矢量的可能的方向。

具体实现步骤如下：

1)在SAD(V1)，SAD(V2)，SAD(H1)和SAD(H2)中选出最小值SAD_min得到代价函数最小点(以下简称为最小点)；选出亚小值SAD_sub得到代价函数亚小点(以下简称为亚小点)，且分别对应点的象素点为P_min和P_sub： $P_{\min }=\arg \underset{j}{\min }\left(\mathrm{SAD}\left(P_j\right)\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Ω}$ $P_{\mathrm{sub}}=\arg \underset{j}{\min }\left(\mathrm{SAD}\left(P_j\right)\right),\mathrm{subject\; to}{P}_j\∈(\mathrm{\Ω}-P_{\min })$

          Ω＝{V1，V2，H1，H2|    公式(2)

2)如果P_min和P_sub两点在同一水平线或垂直线上，即P_min(x)＝P_sub(x)或者P_min(y)＝P_sub(y)时，选择位于这一直线上的两个1/2象素点和整象素点C作为下一步1/2象素运动估计的候选1/2象素点(例如在图1中，如果V1和V2分别是最小点和亚小点，那么选择II和IIV作为半象素的运动估计点)；

3)如果P_min和P_sub两点不在同一水平线或垂直线上，即P_min(x)≠P_sub(x)和P_min(y)≠P_sub(y)，那么这两点分别与中心点C连接而成的两条线段上和之间的三个1/2象素点以及整象素点C构成1/2象素的运动估计的候选点(例如在图1中，如果V1和H1分别是最小点和亚小点，那么选择I，II，IV作为半象素的运动估计点)；

4)在候选点中，选代价函数最小者的点为1/2象素最小点，最小点所对应的运动矢量为1/2象素运动矢量。选代价函数亚小者的点为1/2象素亚小点。

2.方向校正(Directional Refinement)

方向校正技术属于本发明人在2002年IEEE的ISCAS国际会议已发表的内容，用于1/4和1/8亚象素运动矢量估计。和上述1/2象素运动矢量估计及下一步的截止准则方法相结合，构成完整的亚象素运动矢量估计方法。

在上一级运动估计结果的基础上，进一步校正运动估计的方向，使其保证高精度运动矢量的准确度。具体实现步骤如图2所示：

1)上一级精度的运动估计过程中，最小点和亚小点的位置分别为P_min和P_sub，那么P_min和P_sub的相对位置关系有图2所示的两种模式，(a)表示P_min和P_sub两点在同一水平线或垂直线上，即P_min(x)＝P_sub(x)或者P_min(y)＝P_sub(y)时的情况，(b)表示P_min和P_sub两点不在同一水平线或垂直线上，即P_min(x)≠P_sub(x)和P_min(y)≠P_sub(y)的情况；

2)在每种模式下，取P_min和P_sub之间的三个当前精度的象素点为候选点。图2中举出了两种模式下例子，即选取图中由粗黑阿拉伯数字标志的三个当前精度象素点作为候选象素点。

3)在所选取的候选像素点与上一级搜索最佳匹配点构成的集合中，选择代价函数最小的点为本级精度最小点，其对应于本级精度象素运动矢量。选择代价函数亚小者的点为本级精度象素亚小点。

4)1/4象素和1/8象素精度下的运动矢量方向的校正判决都采用上述3个步骤步的方向校正方法。

3.截止(Half-Stop)准则

一般帧间编码的过程是对于运动补偿后的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。而当残差小于一定值的时候，其变化系数经量化后都会变为零，而不需要编码。因此在运动估计的过程中，当运动估计到的代价函数小于一定程度之后就没有必要继续搜索代价函数更小的值了，因其不会使编码效率再提高了。所以在本发明中提出的亚象素快速方法中采用了这一搜索截止准则：

当运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，可以取定值(根据实验结果获得)，也可以根据H.264中整形变换的公式和量化方式估测而得。

本发明提出的亚象素运动估计方法中的基于预测的方向校正快速运动估计方法的工作原理如下：

基于预测-方向校正方法基于代价函数在最优运动矢量周围具有一定的平滑性这一假设，根据相邻位置的代价函数值预测下一级精度运动矢量的方向，并且采用搜索截止判断准则避免多余的运算，可使亚像素运动估计的运算量降至原来的1/3左右，同时保持原有的编码性能。有利于硬件实现中运算量的降低，在硬件实现中亚像素运动估计的内插运算的复杂度亦下降1/3左右。

本发明提出的亚象素运动估计方法中的基于统计预判的快速运动估计方法，是一个用一致的预测模式进行从1/2象素到1/4和1/8象素精度的亚象素运动估计的方法。可以概括为包含以下三个步骤：一维匹配估计预测，二维匹配估计运算，截止准则。下面分别介绍

1.一维匹配估计预测：

这里主要分为三个步骤：

(1)计算一维匹配估计中的各个位置的VSum(P)值，即利用上一级搜索精度(对于1/2象素精度来说，上一级搜索精度就是整象素精度，对于1/4和1/8象素精度情况下上一级搜索精度分别为1/2和1/4精度)的一维匹配估计中的VSum(P)值，通过中值滤波的操作获得；

(2)根据公式 $\mathrm{VSAD}\left(P\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j,t)-\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i-x,j-y,t-1)|$ $=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\mathrm{VSum}(i,0,t)-\mathrm{VSum}(i-x,-y,t-1)|$ 公式(4)

对所有的搜索点进行一维的匹配估计预测；

(3)根据三角不等式判断法则选择需要进行二维匹配估计运算的点的集合∏：

∏＝{P_i，s.t.VSAD(P_i)≤α*SAD(R_min)}    公式(5)

2.二维匹配估计运算：

在一维匹配估计预测所得的集合∏中，进行二维匹配估计运算，选择最佳匹配点P_min，满足： $\mathrm{SAD}\left(P_{\min }\right)=\arg \underset{j}{\min }\mathrm{SAD}\left(P_j\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Π}$ 公式(6)

3.截止准则：

一般帧间编码的过程是对于运动补偿后的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。而当残差小于一定值的时候，其变化系数经量化后都会变为零，而不需要编码。因此在运动估计的过程中，当运动估计到的代价函数小于一定程度之后就没有必要继续搜索代价函数更小的值了，因其不会使编码效率再提高了。所以在本文中提出的亚象素快速方法中采用了这一搜索截止准则：

当运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，可以取定值，也可以根据H.264中整形变换的公式和量化方式估测而得。

本发明提出的亚象素运动估计方法中的基于统计预判快速运动估计方法的工作原理如下：

三角不等式判断法则(为公开技术)：

运动估计方法中常用的误差匹配函数是绝对差值函数，如下所示： $\mathrm{SAD}\left(P\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|f(i,j,t)-f(i-x,j-y,t-1)|$ 公式(7)

通过先计算当前处理块和参考预测块的每一列的和值，然后再求一个一维的误差匹配运算得： $\mathrm{VSAD}\left(P\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j,t)-\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i-x,j-y,t-1)|$ 公式(8) $=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\mathrm{VSum}(i,0,t)-\mathrm{VSum}(i-x,-y,t-1)|$

由三角不等式可得：

VSAD(P)≤SAD(P)                 公式(9)

运动估计的的过程就是在所有需要检测的点的集合Ω内选择具有最小匹配误差值的点P_min作为最佳匹配点： $\mathrm{SAD}\left(P_{\min }\right)=\arg \underset{j}{\min }\mathrm{SAD}\left(P_j\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Ω}$ 公式(10)

对于某位置点P_j，如果VSAD(P_j)＞SAD(P_min)成立，则必然有：

            SAD(P_j)＞SAD(P_min)    公式(11)

所以通过一维的匹配运算，可以预测出那些肯定不会是最佳匹配的点，然后在其他的有可能是最佳匹配的点中进行二维的匹配运算，选择最优的匹配点。

显然经过一维匹配运算后剩余的需要进行二维匹配的点数越少越好，而这一结果与具体的数据的分布统计特性，以及SAD(P_min)的选取是有关的。

由于亚象素运动估计的特点，本文提出的方法有以下的两个技术特点：

(1)每一级的一维运动估计过程中的SAD(P_min)由上一级运动估计得到的最小的匹配误差值代替，即半象素运动估计中利用整象素运动估计的结果，而1/4象素运动估计则利用半象素运动估计的结果，1/8象素运动估计利用1/4象素运动估计的结果。

在亚象素的每一级的一维运动估计中选取满足

VSAD(P)＜α*SAD(P_min)                公式(12)

的位置点进行二维运动估计。其中α参数可以用于调节运算复杂度与预测精度之间的均衡。

(2)每一级的一维运动估计过程中的VSum(P)值都是由上一级运动估计中所用到的VSum(P)值进行内插获得，这样可以节省巨大的运算量。

由公式(4)可以看出，所谓一维的匹配运算就是通过求每列数据的和将二维数据块转换为一维数据块，再进行同样的求解匹配误差运算。

公式(4)中的二维到一维的转换可以描述如下： $\mathrm{VSum}(i,j,t)=\underset{l=j}{\overset{j+N-1}{\mathrm{\Σ}}}f(i,l,t)$ 公式(13)

每一级精度(1/2，1/4，1/8象素精度)的运动估计过程都需要计算一维匹配数据块中的VSum数值，这里采用如下的两个原理进行快速计算：

1.对于整象素精度下的一维匹配数据块中的数值，由于垂直方向相邻位置点的VSum(i，j，t)具有很多重叠的，所以有通用的快速算法实现VSum(i，j，t)的计算，利用公式： $\mathrm{VSum}(i,j+1,t)=\underset{t=j+1}{\overset{j+N}{\mathrm{\Σ}}}f(i,l,t)=\mathrm{VSum}(i,j,t)-f(i,j,t)+f(i,j+N,t)$ 公式(14)

如果结合了某些特定的快速整象素运动估计算法，此部分的运算量甚至可以省略。

2.对于1/2，1/4，1/8象素精度下的一维匹配数据块中的VSum(P)数值则根据上一级计算的VSum(P)数值利用中值滤波计算而得。

如图14所示：假设圆圈标定的数据点是上一级运动估计的点，C是上一级运动估计所得到的最佳匹配点，其他点即当前级分辨率下所需运动估计的候选点，其中三角形的点表示水平或垂直方向的点，而菱形的点表示对角线位置的点。如果用VSum(P)表示P点位置的一维转换后的值，那么当前运动估计的这些象素点的一维转换后的值可以由上一级的值经过内插获得：

VSum(1)＝(VSum(C)+VSum(V1))＞＞1

VSum(2)＝(VSum(C)+VSum(V2))＞＞1

VSum(5)＝(VSum(C)+VSum(H1))＞＞1

VSum(6)＝(VSum(C)+VSum(H2))＞＞1

VSum(3)＝(VSum(C)+VSum(V1)+VSum(D1)+VSum(H1))＞＞2

VSum(4)＝(VSum(C)+VSum(V1)+VSum(D2)+VSum(H2))＞＞2

VSum(7)＝(VSum(C)+VSum(V2)+VSum(D3)+VSum(H1))＞＞2

VSum(8)＝(VSum(C)+VSum(V2)+VSum(D4)+VSum(H2))＞＞2

                                          公式(15)

这里使用的内插滤波器是中值滤波器。实验结果表明，在一维运动估计过程中采用中值滤波器进行预测可以得到与采用H.264中定义滤波器进行预测相近似的结果，同时复杂度有明显的下降。

本发明的特点及效果：

本发明提出了一种基于预测方向校正/统计预判的亚象素运动快速搜索方法，包含基于预测-方向校正的快速运动估计方法，以及基于统计预判的快速运动估计法。该方法在保持已有技术的编码率失真特性的同时极大的降低了软硬件中亚象素运动估计的运算复杂度。且本方法并不限于H.264国际标准，可以推广至其他国际标准和非国际标准视频编码的应用。同时本发明的方法具有一定的可扩展性，可以与众多的整象素运动估计算法相结合，并可以实现运算复杂度与预测精度之间的均衡调节。

附图说明：

图1为H.264标准中亚象素位置及其运动估计范围示意图。

图2为本发明中的预测方向校正方法的两种模式的示意图。

图3为本发明中两级运动估计点之间的对应关系。

具体实施方式

本发明提出的亚象素运动估计方法中的基于预测的方向校正快速运动估计方法的

具体实施例说明如下：

1.1/2运动矢量预测(Prediction)：

具体实现步骤如下(具体象素位置参照图1)：

1)在SAD(V1)，SAD(V2)，SAD(H1)和SAD(H2)中选出最小值SAD_min以及亚小值SAD_sub；

2)根据最小值和亚小值的位置关系，即在一条水平/垂直线上，或者在对角线上，选择1/2象素的运动估计候选象素点；

3)在上述候选点中选代价函数最小者所对应的运动矢量为1/2象素运动矢量。

2.方向校正(Directional Refinement)

1)根据1/2象素精度搜索所得的最小点和次小点，确定1/4象素精度的运动估计候选点，选代价函数最小点为最佳1/4象素；

2)根据1/4象素精度搜索所得的最小点和次小点，确定1/8象素精度的运动估计候选点，选代价函数最小点为最佳1/8象素；

3.截止(Half-Stop)准则

当运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，目前的实验中针对16×16的宏块取定值为500。例如当检测到某点的误差匹配函数值为400时，中止搜索过程，确认某为最佳搜索匹配点。

本实施例是在H.264的测试平台JM2.0基础上实现的，选择比较有代表性的4个CIF格式和2个QCIF格式的国际标准序列作为测试序列。4个CIF格式的序列为Foreman，其特点是有摄象头晃动；Stefan，其特点是有剧烈运动；ContainShip，其特点是；以及Carphon，其特点是有中度运动；QICF格式的序列为Suzi，其特点是头肩象；和Salesman，其特点是有物体转动。本实施例中的参数设置如下：

1.参考帧个数：1

2.Slice模式：没有采用

3.熵编码模式：CABAC

4.整象素运动估计范围：32

5.率失真优化：使用

6.Hardmard变换：没有使用

7.帧间运动估计块模式：只使用16×16的模式

本实施例表明运算量降至原方法的17.4％～34.7％左右，而且在硬件实现中也可以降低同样比例的内插运算，而内插运算尤其是高精度象素的内插运算量是很大的。本发明方法大幅度地提高了运算速度，在减少运算量的同时能很好的保持原有编码器的率失真特性。

本发明提出的亚象素运动估计方法中的基于统计预判的快速运动估计方法，是一个用一致的预测模式进行从1/2象素到1/4和1/8象素精度的亚象素运动估计方法。

具体实施例步骤如下：

1.根据一维匹配估计预测1/2象素点中需要进行二维匹配估计的点：

这里主要分为三个步骤：

a)如图3所示，C为整象素运动估计得到的最佳匹配点，C与其周围8个相邻整象素位置点的对应位置的二维数据块到一维数据块的转换可以根据公式(4)计算得到，其运算量接近一个SAD值的计算量。然后通过公式(15)中值滤波的运算获得当前亚象素位置搜索点的一维数据块的数据；

b)根据公式(4)对所有的搜索点进行一维的匹配估计预测；

c)根据三角不等式判断法则选择需要进行二维匹配估计运算的点的集合∏：

∏＝{P_i，s.t.VSAD(P_i)≤α*SAD(P_min)}

2.二维匹配估计运算：

在一维匹配估计预测所得的集合∏中，进行二维匹配估计运算，选择最佳匹配点P_min，满足： $\mathrm{SAD}\left(P_{\min }\right)=\arg \underset{j}{\min }\mathrm{SAD}\left(P_j\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Π}$

3.在最佳1/2象素精度的搜索点P_min周围进行1/4象素精度的运动估计，整个过程与1/2象素精度的运动估计过程一致，只是通过公式(4)计算1/2象素精度运动估计中的一维数据块的数据Vsum值，再由中值滤波获得当前1/4象素位置搜索点的一维数据块的Vsum值；

4.在最佳1/4象素精度的搜索点P_min周围进行1/8象素精度的运动估计过程，整个过程与1/4象素精度的运动估计过程一致，只是通过公式(4)计算1/4象素精度运动估计中的一维数据块的数据Vsum值，再由中值滤波获得当前1/8象素位置搜索点的一维数据块的Vsum值；

5.截止准则：

当某运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，目前的实验中针对16×16的宏块取定值为500。

6.实际实现中的α值的选取可以根据搜索精度的不同，以及图象序列本身的统计特性进行动态的调整。

本实施例的条件与上一实施例的条件一致。本实施例表明运算量相对于原始算法下降的比例可以在5％～80％左右进行调节，降低了同样比例的内插运算，而内插运算尤其是高精度象素的内插运算量是很大的。

本发明方法可以实现运算复杂度与预测精度之间的均衡调节。

Claims (2)

1、基于预测方向校正的快速亚象素运动估计方法，其特征在于，包括1/2运动矢量、预测方向和校正截止准则三个部分，各部分实现步骤如下：

所说的1/2运动矢量预测包括以下步骤：

1)首先假设：一是在最佳整象素点周围的代价函数是一个平滑的的凸函数，二是假定最佳整象素点周围的四个整象素点的代价函数是已知的，分别记为SAD(V1)，SAD(V2)，SAD(H1)，SAD(H2)，中心点的代价函数为SAD(C)；

2)在SAD(V1)，SAD(V2)，SAD(H1)和SAD(H2)中选出最小值SAD_min得到代价函数最小点；选出亚小值SAD_sub得到代价函数亚小点，且分别对应点的象素点为P_min和P_sub： $P_{\min }=\arg \underset{j}{\min }\left(\mathrm{SAD}\left(P_j\right)\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Ω}$ $P_{\mathrm{sub}}=\arg \underset{j}{\min }\left(\mathrm{SAD}\left(P_j\right)\right),\mathrm{subject\; to}{P}_j\∈(\mathrm{\Ω}-P_{\min })$

            Ω＝{V1，V2，H1，H2}

3)如果P_min和P_sub两点在同一水平线或垂直线上，即P_min(x)＝P_sub(x)或者P_min(y)＝P_sub(y)时，选择位于这一线段上的两个1/2象素点和整象素点C作为下一步1/2象素运动估计的候选1/2象素点；

4)如果P_min和P_sub两点不在同一水平线或垂直线上，即P_min(x)≠P_sub(x)和P_min(y)≠P_sub(y)，那么这两点分别与中心点C连接而成的两条线段上和之间的三个1/2象素点以及整象素点C构成1/2象素的运动估计的候选点；

5)在该候选点中，选代价函数最小者的点为1/2象素最小点，最小点所对应的运动矢量为1/2象素运动矢量。选代价函数亚小者的点为1/2象素亚小点；

所说的方向校正用于1/4和1/8亚象素运动矢量估计，具体实现步骤如下：

1)上一级精度的运动估计过程中，最小点和亚小点的位置分别为P_min和P_sub，分为两种模式：(a)P_min和P_sub两点在同一水平线或垂直线上，即P_min(x)＝P_sub(x)或者P_min(y)＝P_sub(y)，(b)P_min和P_sub两点不在同一水平线或垂直线上，即P_min(x)≠P_sub(x)和P_min(y)≠R_sub(y)；

2)在每种模式下，取P_min和P_sub之间的三个当前精度的象素点和上一级精度的最小点为候选点；

3)在所选取的候选象素点中，选代价函数最小的点为本级精度最小点，其对应于本级精度象素运动矢量，选代价函数亚小者的点为本级精度象素亚小点；

所说的截止准则为：

当运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，该值根据实验结果获得或根据H.264中整形变换的公式和量化方式估测而得。

2、一种基于统计预判的快速亚象素运动估计方法，其特征在于，包括一维匹配估计预测，二维匹配估计运算，截止准则三个部分，各部分实现步骤如下：

1)利用上一级搜索精度的一维匹配估计中的VSum(P)值，通过中值滤波计算一维匹配估计中的各个位置的VSum(P)值；

再根据公式 $\mathrm{VSAD}\left(P\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i,j,t)-\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}f(i-x,j-y,t-1)|$ $=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|\mathrm{VSum}(i,0,t)-\mathrm{VSum}(i-x,-y,t-1)|$

对所有的搜索点进行一维的匹配估计预测；

2)根据三角不等式判断法则选择需要进行二维匹配估计运算的点的集合∏：

∏＝{P_i，s.t.VSAD(P_i)≤α*SAD(P_min)}

3)二维匹配估计运算：

在一维匹配估计预测所得的集合∏中，进行二维匹配估计运算，选择最佳匹配点P_min，满足： $\mathrm{SAD}\left(P_{\min }\right)=\arg \underset{j}{\min }\mathrm{SAD}\left(P_j\right),\mathrm{subject\; to}{P}_j\∈\mathrm{\Π}$

4)截止准则：

当运动估计点的代价函数SAD＜T时，运动估计过程截止，其中T是域值，该值根据实验结果获得或根据H.264中整形变换的公式和量化方式估测而得。