CN101754022A - 低复杂度的运动估计方法 - Google Patents

Abstract

一种运动向量估计方法，包括步骤：检测当前编码宏块的运动状态，如果是第一运动状态，则使用第一搜索方式进行运动估计；如果是第二运动状态，则使用第二搜索方式进行运动估计。本发明通过对编码宏块上下文环境的分析，针对不同运动状态的宏块使用不同搜索模式，有效的避免了静态或简单运动状态下宏块运动向量搜索过程中的冗余计算，降低了计算量。对简单运动的序列，比六边形搜索可以节约45％的计算量，对复杂运动的序列，比六边形搜索节约21％的计算量。

Description

低复杂度的运动估计方法

技术领域

本发明涉及运动估计，特别涉及低复杂度的运动估计方法。

背景技术

随着数字视频技术的发展，各种数字视频处理的应用，特别是实时视频通信的应用，引起了人们的广泛关注。实时视频通信的要求侧重于低码率和低延迟的要求。由于传输通信链路的带宽有限，视频压缩编码技术成为许多视频应用必不可少的一部分。

在图像序列中，相邻图像帧之间有着高度冗余。因此相邻帧数据用作当前编码帧的参考帧，进行分块匹配寻找最佳匹配块，即基于分块匹配的运动向量预测。分块匹配编码把当前编码的宏块或子块在参考帧中进行匹配，使块匹配残差和运动向量的编码比特数最小，然后对匹配残差和运动向量进行编码。因此块匹配结果的好坏直接影响到编码效率。

分块匹配运动预测算法因其高效、简洁、易于实现而被当前视频编码标准广泛采用：H.261、H.263，MPEG-1，MPEG-2，MPEG-4和H.264和AVS中都采用块匹配算法来编码压缩图像序列。

视频编码器可分为1)帧内编码，2)帧间编码，3)量化、熵编码4)码率控制5)环路滤波五个部分。

其中，帧间编码的运动估计是编码器中计算最为复杂的部分，运动估计计算、访存密集，是实时实现编码器的一个巨大瓶颈。

各种运动向量估计方法中，最直接、简单的块匹配算法就是遍历搜索(Full Search——FS)，它在搜索窗口内遍历所有位置，寻找最佳匹配块，因此FS算法效果最好，但计算复杂度也最高。前人提出了对数搜索，三步，四步，新三步搜索法等，近年来又提出了钻石搜索法，六边形搜索法等。

对于目前的高效、快速运动估计算法，运动向量估计计算量仍占编码器运算的50％以上。运动估计计算和访存密集，对处理器计算能力要求高，功耗消耗大，缩减了手持设备电池使用时间。手持设备受电源功耗和计算能力的限制，计算成本高，这使得运动向量估计成为实时实现视频编码的瓶颈。因此需要探索计算量更低的快速运动估计算法，降低计算复杂度。在不降低或略微降低性能的情况下降低计算量，从而减少功耗。

上世纪90中期的提出的三步、四步算法采用固定搜索模式进行搜索，没有充分利用当前计算值和残差分布特性。近年来算法根据编码宏块当前计算值和残差分布特性调整搜索步长和搜索模式，搜索效果优于固定模式搜索算法，其中较为实用的是钻石搜索法和六边形搜索法。钻石搜索法包括大模式和小模式两种搜索模式，如图1所示，算法如下：

Step 1)初始大模式搜索中心位于搜索窗口中心，计算模式中的9个检查点的残差值。如最小匹配残差值点在模式中心，转步骤3，否则转步骤2。

Step 2)以最小匹配残差点为搜索模式中心，重新搜索模式上的检查点。如当前最小匹配残差点为搜索模式中心，转3，否则重复步骤2。

Step 3)由大搜索模式切换为小搜索模式，计算搜索模式中检查点。当前最小匹配残差点为最佳位置点，该点确定的运动向量为最佳匹配运动向量。

六边行搜索模式如图2，具体算法如下：

Step 1)初始六边形大模式搜索中心位于搜索窗口中心，计算模式中的7个检查点的残差值。如最小匹配残差值点为搜索模式中心，转步骤3，否则转步骤2。

Step 2)以最小匹配残差点为六边形搜索模式中心，重新搜索模式上的检查点。如当前最小匹配残差点为搜索模式中心，转3，否则重复步骤2。

Step 3)由六边形大模式切换为小十字搜索模式，计算搜索模式中检查点。当前最小匹配残差点为最佳位置点，该点确定的运动向量为最佳匹配运动向量。

低复杂度的快速运动估计算法

$\mathrm{Cost}=\mathrm{SAD}(s,c(\mathrm{REF},\stackrel{\→}{m}))+{\mathrm{\λ}}_{\mathrm{motion}}*(R(\stackrel{\→}{m}-\stackrel{\→}{p})+R\left(\mathrm{REF}\right))---(4-1)$

运动估计的代价模型如4-1，其中为当前计算的运动向量，REF为参考图像，

为运动向量预测值，λ_motion为Lagrange乘数因子。R(.)为编码所消耗的比特数，匹配残差SAD计算如下：

$\mathrm{SAD}(s,c(\mathrm{REF},\stackrel{\→}{m}))=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|s(i,j)-c(i-\mathrm{mx},j-\mathrm{my})|$

运动估计搜索过程寻找运动向量mv，使上述代价函数cost最小。

图像的匹配残差曲面(SAD曲面)如图3所示，残差与图像纹理细节，图像的内容相关。对运动复杂的视频序列，残差曲面不规则，存在多个局部极小值；对运动简单或静止序列，只有一个全局最小值。各种算法先作粗搜索，然后再进行局部的细化搜索以避免落入局部的极小值。先用较大步长快速达到最小点附近，然后用小步长在小范围搜索，即大模式+小模式的搜索算法。

事实上，对于运动向量较小或是静止图像序列，宏块的匹配残差曲面简单，采用小模式搜索就可以找到最佳运动向量。采用大模式搜索并不能提高搜索效果，但增加了计算复杂度。然而对运动向量大的序列，残差匹配曲面复杂，小模式搜索容易陷入局部最小点，搜寻效果变差。因此需要采用大模式搜索，才能获得更好搜索效果。

发明内容

本发明的目的是提供一种低复杂度的运动估计方法。

为实现上述目的，一种运动向量估计方法，包括步骤：

检测当前编码宏块的运动状态，如果是第一运动状态，则使用第一搜索方式进行运动估计；

如果是第二运动状态，则使用第二搜索方式进行运动估计。

本发明通过对编码宏块上下文环境的分析，针对不同运动状态的宏块使用不同搜索模式，有效的避免了静态或简单运动状态下宏块运动向量搜索过程中的冗余计算，降低了计算量。对简单运动的序列，比六边形搜索可以节约45％的计算量，对复杂运动的序列，比六边形搜索节约21％的计算量。

附图说明

图1是钻石搜索模式示意图；

图2是六边形搜索模式示意图；

图3是块匹配误差曲面示意图，其中，图a是有唯一全局最小值单峰值匹配误差曲面，图b是有多个极小值的多峰值匹配误差曲面；

图4是搜索策略流程图；

图5是宏块上下文编码环境示意图；

图6是快速算法搜索模式示意图；

图7是大搜索模式迭代搜索过程；

图8是小搜索模式迭代搜索过程；

图9是本发明的流程图；

图10是Akiyo序列三种运动估计算法RD性能曲线图；

图11是Akiyo三种运动估计算法复杂度比较；

图12是Stefan序列三种运动估计算法RD性能曲线图；

图13是Stefan序列三种运动估计算法复杂度比较；

图14是Container序列三种运动估计算法RD性能曲线图；

图15是Container序列三种运动估计算法复杂度比较；

图16是Crew序列三种运动估计算法RD性能曲线图；

图17是Crew序列三种运动估计算法复杂度比较；

图18是Foreman序列三种运动估计算法RD性能曲线图；

图19是Foreman序列三种运动估计算法复杂度比较。

具体实施方式

本发明对运动向量大的图像块先采用大模式搜索再采用小模式搜索，称为第一搜索模式。对运动向量小的图像块采用小搜索模式搜索，称为第二搜索模式。对运动向量小的图像块，避免了冗余的大模式搜索，从而节省了计算。发明流程图如图4a所示，前人的搜索策略如图4b。

第一搜索模式搜索过程执行图4中步骤401，402，403，404。小模式搜索执行图4中步骤401，405，404。

宏块运动状态的判断

实际图像序列是复杂多变的，在复杂运动的序列中局部也会存在静止的图像区域或是细微运动，而在运动简单图像序列中也会有局部区域的不规则运动。这些因素导致宏块运动状况的判断变得复杂，预测准确率受影响。

为提高对宏块运动状态的判断准确率、避免误判，本发明建立宏块的上下文编码环境，通过上下文环境来判断宏块运动状态。

宏块上下文编码环境：当前编码宏块的上一宏块行为当前宏块的上下文编码环境，图5中待编码的整幅图像被划分为16x16大小的宏块，当前编码宏块(图中虚线框部分)上方的整个宏块行(粗线框部分)为当前编码宏块的上下文编码环境。

步骤401检测当前宏块的运动状态：

1先计算宏块上下文编码环境运动向量(mbec_x，mbec_y)。

按(4-2)式计算当前编码宏块的上下文环境运动向量(mbec_x，mbec_y)，该向量是一个二维向量：

$\mathrm{mbec}\_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|{\mathrm{mvi}}_x\right|---(4-2)$

$\mathrm{mbec}\_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\mathrm{mv}{i}_y\right|$

其中，(mvi_x，mvi_y)，i＝1，2，..n，为宏块上下文编码环境中宏块的运动向量。

如上下文环境不可用，则置(mbec_x，mbec_y)＝(MAX_VALUE，MAX_VALUE)，其中MAX_VALUE＝99999。

2.判断宏块运动状态

编码宏块的上下文编码环境运动向量的两个分量之和与事先设定的阈值进行比较，如果大于等于设定的阈值，则当前宏块行运动向量大，运动状态较复杂，称为第一运动状态，采用第一搜索模式进行搜索，否则当前宏块运动向量小，运动状态简单，称为第二运动状态，直接采用第二搜索模式进行搜索。

if((mbec_x+mbec_y)＞＝T)

当前宏块运动剧烈，复杂运动状态(运动向量大)

else

当前宏块运动不剧烈，为静止，或简单的运动状态(运动向量小或中等运动向量)

阈值T以1/4像素为单位，设定方法如下：对于不同运动向量，分析大、小两种模式搜索到最佳运动向量时的计算量，表格0-1，当T＞＝12时，大模式搜索点数低于小模式搜索点数，当T＜12时，大模式搜索点数高于小模式搜索点数。事实上，对三个或三个以上的像素点运动向量，小模式易于陷入局部最小点，搜索质量降低。由表格0-1知阈值取11为最佳，但此值为统计最佳值，因此阈值取值不限于该值。在11的附近也能获得相似性能，如也可以取8，15，21等。

表格0-1运动向量大小与搜索模式及搜索计算量关系

搜索模式

搜索模式如图6，图中每个圆点代表图像中的一个像素点。红色实心圆点表示要搜索的点，大模式搜索步长为2，搜索点间距为两个像素点；小模式搜索步长为1，搜索点间距为1个像素点。

步骤402大搜索模式迭代搜索过程如图7，

步骤701初始化搜索，从相邻宏块的运动向量MV位置确定当前宏块的初始搜索位置。采样相邻宏块的中值作为当前初始搜索点。将图6-a大搜索模式的中心搜索点置于搜索初始点位置。

步骤702计算搜索模式(图6-A)中的5个检查点残差值。即把当前编码块左上角点和依次与搜索模式中的5个检查点对齐，按(4-3)式计算编码块和预测块的匹配残差，其中f(x，y)为编码图像，f′(x，y)为参考图像，m，n分别为编码块宽和高，(i₀，j₀)为欲估计的运动向量。

步骤703当最小匹配残差值SAD在搜索模式中心取得，结束大搜索模式。否则，执行步骤704。步骤704将大搜索模式中心与当前取得最小匹配残差值的点重合，转步骤701

$\mathrm{SAD}(i_0,.j_0)=\frac{1}{n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f(x+i,y+j)-f^{\′}(x+i_0+i,y+j_0+j)|---(4-3)$

其中f(x，y)为编码图像，f′(x，y)为参考图像，m，n分别为编码块宽和高，(i₀，j₀)为运动向量值。

步骤403执行一次小模式的搜索

将图6-B小模式搜索中心点与步骤402结束时最小匹配残差点重合，计算搜索模式(图6-B)中的5个检查点残差值，计算过程与步骤702相同。取得最小匹配残差值的点为搜索终点。

步骤404输出运动向量

以宏块左上角点为启动，步骤403中搜索终点为终点，形成的向量为当前宏块运动向量。

小模式迭代步骤405

搜索过程如图8，搜索步骤与402完全相同，不同之处在于搜索时采用图-6B中的小模式搜索模板。步骤801，802，803，804与701，702，703，704相同。

图9为本发明流程图。流程如下，首先检测和判断编码块的运动状态，如果是第一运动状态，则使用第一搜索方式进行运动估计，先使用大搜索模式进行迭代搜索，然后再用小搜索模式进行一次细化搜索并输出结果；如果是第二运动状态，则使用第二搜索方式进行运动估计，即采用小模式迭代搜索并输出结果。具体步骤如下：

步骤901根据4-2式计算上下文编码环境运动向量(mbec_x，mbec_y)；

步骤902判断宏块运动状态，若为第一运动状态((mbec_x+mbec_y)＞＝T)，执行步骤903，否则，执行步骤910；

步骤903、904、905与步骤701，702，703相同；

步骤906选择搜索模式为(图6-B)的小搜索模式，置搜索模式中心与步骤905中最小残差点重合；

步骤907计算搜索模式(图6-B)中的5个检查点残差值。即把当前编码块左上角点和依次与搜索模式中的5个检查点对齐，按(4-3)式计算编码块和预测块的匹配残差，其中f(x，y)为编码图像，f′(x，y)为参考图像，m，n分别为编码块宽和高，(i₀，j₀)为欲估计的运动向量。

步骤908以当前块左上角为起点，以步骤907中最小匹配残差点为终点，输出运动向量，结束搜索。

步骤909与704相同；

步骤910、911、912分别与步骤801，802，803相同；

步骤913与步骤804相同。

为测试算法的性能，5个具有代表性的测试序列Akiyo，Stefan，Container，Crew，Foreman用于进行性能比较，序列是QVGA分辨率，每个序列测试300帧。这些序列既包扩较小运动向量的序列Akiyo，Container，也有中等运动程度的foreman，和剧烈运动的crew，Stefan。

测试中关闭码率控制，选择四个不同QP值测试PSNR值，这些QP值对应的码流覆盖了64kbsp～512kbps。其余选项为RDO(Rate DistortionOptimization)OFF，hadamard ON，deblock filter ON。用于比较的算法包括六边形和大、小十字模式搜索算法，测试结果见表格0-2。表中BDPSNR与BDBR均是与AVS参考代码Rm52j全搜索算法比较。

表格0-2三种运动估计算法PSNR，BDBR性能比较

5个序列的平均BDPSNR，大、小十字搜索模式比六边形高0.005dB，比本发明高0.068dB。本发明PSNR性能降低小于0.1dB，此性能损失可忽略。在计算复杂度方面，表格0-3，对于运动状态简单的Akiyo序列，本算法计算量比大小十字搜索和六变形搜索分别节约33.7％和45％的计算量，对运动复杂的Stefan序列，本算法比大、小十字搜索和六变形搜索分别节约9.3％和21％的计算量，表格0-3。

表格0-3编码300帧时运动估计总搜索点数

图10到图19是发明的性能图。用于比较的算法是钻石搜索法(LCSP+SCSP)和六边形搜索法(Hex)，图中本发明为Combine(大小模式的组合搜索法)。RD(Rate-Distortion)性能曲线图中横坐标为码率，纵坐标为解码图像的PSNR(Peak Signal Noise Ratio，PSNR)，随着码流增高，图像质量增强。算法复杂度比较图中横坐标为编码使用的QP值，纵坐标为编码整个序列搜索的点数，随着QP增大，图像质量降低，搜索点数减少，计算量降低。

对运动较少的Akiyo，Container和Foreman序列，本发明BDPSNR与钻石搜索法和六边形一致(图10，14，18)，但计算量低于二者35％以上(图11，15，19)；对与运动较大的Stefan和Crew序列，本发明BDPSNR比六边形和钻石搜索法分别低0.068dB和0.063dB(图12，16)，计算量分别减少9.3％和21％(图13，17)。

Claims (15)

1.一种运动向量估计方法，包括步骤：

检测当前编码宏块的运动状态，如果是第一运动状态，则使用第一搜索方式进行运动估计；

如果是第二运动状态，则使用第二搜索方式进行运动估计。

2.如权利要求1所述的运动向量估计方法，其特征在于所述第一搜索方式包括步骤：

大搜索模式迭代搜索；

小搜索模式一次搜索；

运动向量估计输出。

3.如权利要求1所述的运动向量估计方法，其特征在于所述第二搜索方式包括步骤：

小搜索模式迭代搜索；

运动向量估计输出。

4.如权利要求1所述的运动向量估计方法，其特征在于所述检测当前编码宏块的运动状态包括步骤：

计算宏块上下文编码环境运动向量；

判断宏块运动状态。

5.如权利要求4所述的运动向量估计方法，其特征在于按下式计算宏块上下文编码环境运动向量：

$\mathrm{mbec}\_x=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|{\mathrm{mvi}}_x\right|$

$\mathrm{mbec}\_y=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|{\mathrm{mvi}}_y\right|$

其中，(mvi_x，mvi_y)，i＝1，2，..n，为宏块上下文编码环境中宏块的运动向量。

6.如权利5所述的运动向量估计方法，其特征在于：通过比较当前宏块的上下文编码环境运动向量与阈值的关系来确定当前编码宏块的运动状态。

7.如权利6所述的运动向量估计方法，其特征在于所述阈值取值范围在8-30之间。

8.如权利要求2所述的运动向量估计方法，其特征在于所述大搜索模式迭代搜索包括步骤：

将大搜索模式的中心点置于搜索初始点；

计算大搜索模式中的各检查点残差值。

9.如权利要求8所述的运动向量估计方法，其特征在于按下式计算编码块和预测块的匹配残差值：

$\mathrm{SAD}(i_0,.j_0)=\frac{1}{n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|f(x+i,y+j)-f^{\′}(x+i_0+i,y+j_0+j)|$

其中f(x，y)为编码图像，f′(x，y)为参考图像，m，n分别为编码块宽和高，(i₀，j₀)为运动向量值。

10.如权利要求8所述的运动向量估计方法，其特征在于所述小搜索模式一次搜索包括步骤：

将小模式搜索中心点与最小匹配残差点重合；

计算小搜索模式中的各检查点残差值。

11.如权利要求3所述的运动向量估计方法，其特征在于所述小搜索模式迭代搜索包括步骤：

将小搜索模式的中心点置于搜索初始点；

计算小搜索模式中的各检查点残差值。

12.如权利要求8所述的运动向量估计方法，其特征在于所述大模式搜索步长为2。

13.如权利要求11所述的运动向量估计方法，其特征在于所述小搜索模式的步长为1。

14.如权利8所述的运动估计方法，其特征在于：大搜索模式使用图6A中搜索模板，其中，该模板中搜索点分布在水平和垂直方向，这是因为绝大部分的物体运动呈水平或垂直方向，统计结果表明编码块的运动向量分布多分布在水平或垂直轴上，呈“十”字形。

15.如权利11所述的运动估计方法，其特征在于：小搜索模式使用图6B中搜索模板，其中，小搜索模式与大搜索模式相比，搜索模式相同，仅搜索步长变小。

Images