CN101990055B - 新型运动估计方法 - Google Patents

Abstract

本发明涉及视频处理技术、运动估计的方法。为克服现有技术的不足，改进视频去隔行处理和视频编码等领域中运动估计器的性能，本发明采取的技术方案是，新型运动估计方法，包括如下步骤：首先对于每个当前场内的待处理宏块以其为中心采用一定尺寸的搜索窗在参考场寻找匹配块，计算相应点的绝对差，然后根据绝对差的大小和预先设置的阈值来决定像素权值，以块内像素权值之和决定该块的匹配程度。本发明主要应用于视频运动估计。

Description

新型运动估计方法

技术领域

本发明涉及视频处理技术、运动估计的方法，可应用于基于运动补偿的去隔行视频处理及基于运动补偿的视频编码等领域。具体讲涉及新型运动估计方法。

背景技术

很多视频处理技术中都要用到运动估计来寻找正确的运动矢量，比如MPEG-2视频帧间预测编码中的运动补偿，以及去隔行处理当中的运动补偿去隔行。所谓运动估计，是寻找与当前处理的宏块(Macro Block)匹配性最好的参考块。目前采用最多的是全搜索(FS)，另外还有三步法(TSS)，四步法(FSS)，钻石法(DS)等快速算法[1-3]。但是这些算法对于每一个宏块的处理一般都是采用求绝对差和(SAD)的方法。这种方法的缺点在于，图像中的突发噪声对于一个宏块的SAD可能造成较大影响，进而影响运动估计的结果。在这种计算方式下不难发现，假设在白色背景下存在一个黑噪声点，那么这一个像素将对SAD产生255的贡献，而实际上大部分匹配块的SAD不会超过100，因此一个噪声点对SAD造成的影响相当大，这种算法很容易将含有少数噪声点的匹配块误判为非匹配块，从而造成运动估计的失败。

发明内容

为克服现有技术的不足，改进视频去隔行处理和视频编码等领域中运动估计器的性能，本发明采取的技术方案是，新型运动估计方法，包括如下步骤：首先对于每个当前场内的待处理宏块以其为中心采用一定尺寸的搜索窗在参考场寻找匹配块，计算相应点的绝对差，然后根据绝对差的大小和预先设置的阈值来决定像素权值，以块内像素权值之和决定该块的匹配程度。

所述方法进一步细化为：

算法主要步骤如下：

第一步：输入视频信号进入场缓存，将待处理当前场和参考场进行存储；

第二步：对于待处理场中每一个当前宏块CB，在参考场的搜索窗内依次计算各个参考宏块RB与CB的每一对相应像素的绝对差AD，

式中(i，j)代表CB左上角的行场位置，(x，y)代表RB在搜索窗内的偏移，(m，n)代表了宏块内每个像素；

第三步：然后根据AD的大小对像素进行阈值化和赋权。选取多级阈值以进行多级的赋权，达到更好的运动估计可靠性，并且避免了第五步比较权值和时出现相等的最大权值和；

第四步：将一个参考宏块内的所有像素的权值相加，得到参考宏块RB的权值和SW；

第五步：对搜索窗内所有参考宏块进行如上操作，然后比较它们的SW，SW最大的参考宏块即匹配块MB，MB与CB之间的向量即运动矢量；

第六步：将MB的SW与另一个阈值进行比较。如果SW大于该阈值，则认为运动估计可靠，如果SW不大于该阈值，则认为运动估计不可靠，特别地，在去隔行算法中，SW大于阈值时可以进行运动补偿处理，否则可以进行基于边缘保持的去隔行处理ELA。

本发明具备如下技术效果：

(1)本发明采用赋权值的方法取代常用的求绝对差和。首先对于每个当前场内的待处理宏块以其为中心采用一定尺寸的搜索窗在参考场寻找匹配块，计算相应点的绝对差，然后根据绝对差的大小和预先设置的阈值来决定像素权值。块内像素权值之和决定了其匹配程度。由于突发噪声在这个算法中的影响只是相应像素的权值的变化，而一个权值的变化对权值和的影响很小，从而避免了噪声点对运动估计结果的影响，提高了可靠性，具有较好的处理效果和更强的抗噪声性能。

(2)电视信号去隔行技术大体可分为非运动补偿和运动补偿两种。非运动补偿中，又存在场内线性插值，场内边缘插值，场间插值和运动自适应插值几种方法。目前处理效果最好的算法是运动补偿算法。尽管已经有很多种运动补偿方法被提出来，但是其效果都受到了运动矢量的正确性的制约。因此，提高运动估计的准确性是提升运动补偿去隔行的关键因素。将本发明提出的算法应用于运动补偿去隔行算法中取得了良好的效果，而且这种运动估计方法可以替代几乎所有运动补偿去隔行算法中的运动估计模块，因此具有广泛的用途。本发明也可应用于视频编解码等领域。

附图说明

图1是本发明算法结构框图；

图2是算法中当前块，搜索窗，参考块，运动矢量的示意图；

图3是使用计算SAD算法得到的处理结果；

图4是使用本发明中运动估计算法但未采用阈值SUM_TH及ELA得到的处理结果；

图5是使用本发明中运动估计算法并且采用阈值SUM_TH及ELA得到的处理结果。

具体实施方式

本发明提出一种新的运动估计方法，这种方法对像素求绝对差后，不是直接相加而是赋以一个权值，将所有像素的权值相加，权值和越大的匹配性越好。这一方法使噪声像素不会对总的结果产生大的影响，具有较好的处理效果和更强的抗噪声性能。

本发明的目的在于提供一种新的运动估计方法，以改进视频去隔行处理和视频编码等领域中运动估计器的性能。该方法采用赋权值的方法取代常用的求绝对差和。首先对于每个当前场内的待处理宏块以其为中心采用一定尺寸的搜索窗在参考场寻找匹配块，计算相应点的绝对差，然后根据绝对差的大小和预先设置的阈值来决定像素权值。块内像素权值之和决定了其匹配程度，从而避免了噪声点运动估计的过大影响，提高了可靠性。

下面结合附图是实施例进一步详细说明本发明。

本发明是一种基于权值和阈值的视频运动估计算法。算法流程图如图1所示。

基于PC机Visual C++6.0环境，新的运动估计方法可以应用于运动补偿去隔行算法中，然后评价去隔行处理的结果来间接验证运动估计的效果。为了保证合理的评价，使用了客观的PSNR结果和主观评价相结合的方法对处理结果进行分析。测试选取了CIF格式的352×288视频标准测试序列，使用新算法和几种先前的算法进行处理，然后与原始序列进行PSNR对比。

将新的运动估计算法应用于参考文献[4]提出的基于运动补偿的去隔行算法。参考文献[4]提出的算法是经典的Time-Recursive Motion Compensation，很多后续的算法都以其为基础。应用在这一算法上可以更好的证明本算法的适用性。

首先对于每个场n内的8×8当前宏块CB(i，j)，以其为中心采用32×32的搜索窗在场n-1中寻找匹配块，即运动矢量MV＝(x，y)，其中x和y最大可取±12，如图2。经过实验，选取如下的三级阈值：

$W_{(i,j)}^{(x,y)}(m,n)=\left\{\begin{array}{cc}3,\mathrm{if}{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}1,& \mathrm{TH}1=2\\ 2,\mathrm{ifTH}1\&le;{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}2,& \mathrm{TH}2=6\\ 1,\mathrm{ifTH}2\&le;{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}3,& \mathrm{TH}3=12\\ 0,\mathrm{if}{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)\&GreaterEqual;\mathrm{TH}3& \end{array}\right.$

对每一组(m，n)对应求出其W后，将块内所有权值相加得权值和(SW)：

${\mathrm{SW}}_{(i,j)}(x,y)={\mathrm{SAD}}_{(i,j)}(x,y)=\underset{m=0}{\overset{3}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{7}{\mathrm{\&Sigma;}}}{W}_{(i,j)}^{(x,y)}(m,n)$

对于每个场n内的8×8当前宏块CB(i，j)，在32×32搜索窗中寻找SW值最大的宏块。SW越大，证明与CB中像素匹配的像素越多，匹配性越好，SW的即找到的匹配块MB。再与阈值SUM_TH比较，如果SW大于SUM_TH，则认为运动估计是准确的，如果小于SUM_TH，则认为运动估计不够可靠，涉及到实际的运动估计时可以对这一CB(i，j)进行ELA去隔行处理。在表1中列出了行平均，基于边缘方向的去隔行(ELA)，参考文献[4]中运动补偿(TRMC)与本发明提出的方法的试验结果。

表1各种方法的平均PSNR(dB)

由表1的第4列和第5列可以发现，仅仅将参考文献[4]中算法的底层运动估计部分替换为本文的方法，其处理质量就有了一定的提升，从第六列看，结合ELA后反而造成了PSNR的下降，但是从主观的感受看来，却是有所提升的。另外从主观效果来看，图3中建筑物斜向的边缘和帽子边缘等有明显的锯齿和模糊，采用本发明的算法后，图4锯齿和模糊现象有了很大的改善，再使用阈值SUM_TH和ELA后，图5中的锯齿和模糊已经基本消除。

参考文献：

[1]A.M.Tekalp.Digital Video Processing[M].Prentice Hall Signal Processing Serious，UpperSaddle River，1995.

[2]L.-M.Po and W.-C.Ma，A novel four-step search algorithm for fast block motion estimation[J].IEEE Trans.Circuits Syst.Video Technol.，Jun.1996，vol.6，no.3：313-317.

[3]S.Zhu，K.-K.Ma.A new diamond search algorithm for fast blockmatching motion estimation[J].IEEE Trans.Image Process.，Feb.2000，vol.9，no.2：287-290.

[4]F M.Wang，D.Anastassiou，A.N.Netravali.Time-recursive deinterlacing for IDTV andpyramid coding[J].Signal Process.：Image Commun.2，1990：365-374.

Claims (2)

1.一种新型运动估计方法，其特征是，包括如下步骤：首先对于每个当前场内的待处理宏块以其为中心采用一定尺寸的搜索窗在参考场寻找匹配块，计算相应点的绝对差，然后根据绝对差的大小和预先设置的阈值来决定像素权值，阈值为选取如下的三级阈值：

$W_{(i,j)}^{(x,y)}(m,n)=\left\{\begin{array}{cc}3,\mathrm{if}{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}1,& \mathrm{TH}1=2\\ 2,\mathrm{ifTH}1\&le;{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}2,& \mathrm{TH}2=6\\ 1,\mathrm{ifTH}2\&le;{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)<\mathrm{TH}3,& \mathrm{TH}3=12\\ 0,\mathrm{if}{\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)\&GreaterEqual;\mathrm{TH}3& \end{array}\right.,$ 式中，AD表示绝对差，(i，j)代表当前宏块CB左上角的行场位置，(x，y)代表在参考场的搜索窗内参考宏块RB在搜索窗内的偏移，(m，n)代表了宏块内每个像素；以块内像素权值之和决定该块的匹配程度。

2.根据权利要求1所述的一种新型运动估计方法，其特征是，所述方法进一步细化为：

第一步：输入视频信号进入场缓存，将待处理当前场和参考场进行存储；

第二步：对于待处理场中每一个当前宏块CB，在参考场的搜索窗内依次计算各个参考宏块RB  与CB  的每一对相应像素的绝对差AD  ， ${\mathrm{AD}}_{(i,j)}^{(x,y)}(m,n)=|P_n(i+2m,j+n)-P_{n-1}(i+2m+x,j+n+y)|,$ 式中(i，j)代表CB左上角的行场位置，(x，y)代表RB在搜索窗内的偏移，(m，n)代表了宏块内每个像素；

第三步：然后根据AD的大小对像素进行阈值化和赋权，选取多级阈值以进行多级的赋权，达到更好的运动估计可靠性，并且避免了第五步比较权值和时出现相等的最大权值和；

第四步：将一个参考宏块内的所有像素的权值相加，得到参考宏块RB的权值和SW；

第五步：对搜索窗内所有参考宏块进行如上操作，然后比较它们的SW，SW最大的参考宏块即匹配块MB，MB与CB之间的向量即运动矢量；

第六步：将MB的SW与另一个阈值进行比较，如果SW大于该阈值，则认为运动估计可靠，如果SW不大于该阈值，则认为运动估计不可靠，在去隔行算法中，SW大于阈值时可以进行运动补偿处理，否则可以进行基于边缘保持的去隔行处理ELA。

Images