CN103124344A - 运动估计方法 - Google Patents

Abstract

本发明公开了一种运动估计方法，其包括：在参考帧中分别计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率；在当前帧中分别得到相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率；根据所述先验概率和所述条件概率分别在当前帧中计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的后验概率；和选择后验概率最大的相邻宏块的运动矢量作为当前宏块的预测运动矢量。这样，利用贝叶斯方法预测当前宏块的预测运动矢量，使得预测更为准确，简单，从而在降低计算量的同时，保证了得到的预测运动矢量的准确度。

Description

运动估计方法

【技术领域】

本发明涉及图像处理领域，尤其涉及运动估计方法。

【背景技术】

在视频压缩编码中，视频是由连续的图像帧形成的图像序列，由于景物变化速度的限制，相邻帧间存在很高的相关性，即存在很高的时间和空间冗余。运动估计就是利用视频图像序列中相邻帧之间存在的时间相关性，建立相邻帧之间表达上的相互关系，从而减少时间冗余，提高视频压缩编码效率的一种重要方法。运动估计是视频压缩中的关键技术，在一个视频压缩方案中运动估计通常约占总的计算量的60％-80％，其结果直接影响图像的编码效率和图像恢复的质量。

现有的运动估计方法主要分为两类：块匹配算法(Block MatchingAlgorithm，简称BMA)和像素递归法(Pixel Recursive Algorithm，PRA)。块匹配算法因其简单、实用的特点得到广泛的应用。采用块匹配运动估计的运动补偿预测算法与变换编码相结合构成的混合编码方式已被很多视频编码国际标准如H.261，H.263，MPEG-1，MPEG-2，MPEG-4和H.264所采用。在块匹配算法中，全搜索算法运动估计的优点是产生的残差系数最小，搜索精度最高，但其巨大的计算量和时间开销使它不可能应用于实时视频编码系统，而常常作为对其他算法性能的评价标准。为了解决这一问题，人们提出许多改进的快速搜索算法，如三步搜索法(Three Step Search，简称TSS)、新三步搜索法(NewStep Search，简称NTSS)、四步搜索法(4Step Search，简称4SS)、梯度下降搜索法(Block-Based Gradient Descent Search，简称BBGDS)、菱形搜索法(Diamond Search，简称DS)以及六边形搜索法(Hexagon Based Search，简称HEXBS)等，随后产生的混合搜索UMHexagonS(Unsymmetrical-crossMuti Hexagon grid Search)算法和基于起始点预测的自适应十字模式搜索算法(Adaptive Rood Pattern Search-3，简称ARPS-3)都被联合视频组(Joint VideoTeam，简称JVT)所采纳。

现有技术存在的缺点：(1)使用固定搜索模式的块运动估计算法认为运动估计匹配错误随着搜索方向朝全局最小误差值位置移动而单调减少，并且错误曲面是单峰的，所以无论剧烈运动图像还是相对静止的图像都同等对待，这样势必造成计算冗余。(2)分层的块运动估计算法假设大的宏块所得到的运动矢量(Motion Vector，简称MV)能很好的预测较小块，但是事实上经常会导致错误的匹配方向，效果不好。(3)混合搜索算法运算复杂度高，并且其复杂的模型在解码时需要更多的比特数来传输。(4)自适应的十字模式搜索算法只用到了运动矢量的空间相关性。

因此，有必要开发出一种可以改进的运动估计方法来克服上述问题。

【发明内容】

本发明要解决的技术问题在于提供一种运动估计方法，其可以降低计算量，又可以得到较为精确的运动矢量。

为了解决上述问题，根据本发明的一个方面，本发明提供了一种运动估计方法，其包括：在参考帧中分别计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率；在当前帧中分别得到相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率；根据所述先验概率和所述条件概率分别在当前帧中计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的后验概率；和选择后验概率最大的相邻宏块的运动矢量作为当前宏块的预测运动矢量。

进一步的，所述在参考帧中分别计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率包括：

在参考帧中分别计算当前宏块的运动矢量与相邻宏块的运动矢量的空间距离，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率，其中将最小距离值的相邻宏块对应的先验概率设置的最大。

更进一步的，根据下式计算所述空间距离：

Dis(i，D)＝(MV_i，x-MV_D，x)²+(MV_i，y-MV_D，y)²，

其中Dis(i，D)表示的是相邻宏块i的运动矢量与当前宏块D的运动矢量的空间距离，MV_i，x、MV_i，y分别表示相邻宏块i的运动矢量的x、y方向大小。

进一步的，根据下式计算所述后验概率：

$P\left(i\right|D)=\frac{P\left(D\right|i)P\left(i\right)}{P\left(D\right)}$

其中P(i)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的先验概率，P(D|i)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的条件概率，P(i|D)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的后验概率，相邻宏块i包括当前宏块的左、上、右上方向上的三个宏块，

其中P(D)为：

P(D)＝∑P(D|i)P(i)。

进一步的，所述在当前帧中分别得到相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率包括：将参考帧中的当前宏块的运动矢量作为当前帧的当前宏块的临时运动矢量；在当前帧中分别计算当前宏块的临时运动矢量与相邻宏块的运动矢量的空间距离，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率，其中将最小距离值的相邻宏块对应的条件概率设置的最大。

进一步的，以当前宏块的预测运动矢量对应的位置和搜索窗中心位置为初始搜索点进行初始搜索得到最小匹配误差点后，再精确搜索得到当前宏块的最终运动矢量。

与现有技术相比，在本发明中利用贝叶斯方法预测当前宏块的预测运动矢量，使得预测更为准确，简单，从而在降低计算量的同时，保证了得到的运动矢量的准确度。

关于本发明的其他目的，特征以及优点，下面将结合附图在具体实施方式中详细描述。

【附图说明】

结合参考附图及接下来的详细描述，本发明将更容易理解，其中同样的附图标记对应同样的结构部件，其中：

图1为本发明中的当前宏块D以及其相邻宏块A、B和C的位置关系的示意图；

图2为本发明中的当前宏块D的运动矢量的示意图；

图3为本发明中的初始搜索的两个初始搜索点的位置示意图；和

图4为本发明中的运动估计方法的流程示意图。

【具体实施方式】

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来呈现，其直接或间接地模拟本发明中的技术方案的运作。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。

此处所称的“一个实施例”或“实施例”是指与所述实施例相关的特定特征、结构或特性至少可包含于本发明至少一个实现方式中。在本说明书中不同地方出现的“在一个实施例中”并非必须都指同一个实施例，也不必须是与其他实施例互相排斥的单独或选择实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

为了使得本发明更容易理解，下面首先介绍一下贝叶斯(bayesian)理论基础。

假设存在一个完整和互斥的事件D₁，D₂，...，D_n，其中的某一个事件出现是事件x发生的必要条件，则对于事件x，有贝叶斯公式：

$P\left(D_j\right|x)=\frac{P\left(x\right|D_j)P\left(D_j\right)}{P\left(x\right)}---\left(1\right)$

其中j＝1，2，...，n，P(D_i)表示事件D_i发生的先验概率，且P(D_i)＞0，P(x|D_j)是事件D_j发生的条件概率；P(D_j|x)是事件D_j发生的后验概率。对同一个集合，P(x)为不变。根据全概率公式有：

$P\left(x\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}P\left(x\right|D_j)P\left(D_j\right)$

D₁，D₂，...，D_n作为事件x发生的若干可能的前提，P(D_i)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到结果x，那么贝叶斯公式提供了根据事件x的出现对前提条件做出新评价的方法。P(D_j|x)是对以事件x为前提下D_j的出现概率的重新认识，称之为后验概率。贝叶斯决策的方法的关键是必须且只须使用后验概率进行判断，也就是说分别对D₁，D₂，...，D_n计算这个后验概率值，得到使这个概率值最大时的D_max，并认为结果x的发生是由D_max引起的。

贝叶斯决策(bayesian decision)的基本思想是：a.已知或得到条件概率密度参数表达式和先验概率；b.利用贝叶斯公式转换成后验概率；c.根据后验概率大小进行决策分类。

在空间域内，因为在一个视频图像帧中所有的宏块(Macro Block)都是以光栅扫描顺序来处理的，所以当前宏块的左上、上、右上和左方向上的相邻宏块可以作为相邻宏块。在本发明的一个实施例中，如图1所示，采用当前宏块D的左、上、右上方向上的相邻宏块A、B和C，当前宏块A的预测运动矢量MV将由相邻宏块A、B和C的运动矢量MV决定。

由于选择更多的相邻宏块会提高计算复杂度，所以在本发明的一个实施例中仅使用A、B、C三个相邻宏块的运动矢量MV中的一个作为当前宏块D的预测运动矢量MV。这样，A、B、C相邻宏块的运动矢量MV就构成了一个完备事件组。

本发明提出的运动估计方法100包括如下步骤。

步骤110，在参考帧中分别计算相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的概率，这个概率作为先验概率P(i)，这里i＝A，B，C。

在一个实施例中，所述参考帧可以是当前帧的前一帧图像，运动估计一般从当前帧为第二帧时开始。在当前帧为第二帧时，由于没有对此时的参考帧(第一帧)进行过运动估计，因此使用自适应十字模式搜索算法APRS-3遍历所有宏块，分别计算当前帧的各个宏块的最终运动矢量MV。如图2所示，假设图中的左上角的当前宏块D的位置在下一帧移到了右下角的当前宏块D的位置，那么当前宏块的运动矢量如箭头所示。在当前帧为第三帧及后续帧时，参考帧为第二帧，此时参考帧已经经过了运动估计，可以正常的计算所述先验概率。

当然，所述参考帧也可以是当前帧的前几帧。

在一个实施例中，在参考帧中分别计算当前宏块D的运动矢量与相邻宏块A、B、C的运动矢量的空间距离，如下面公式，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率。具体的，将最小距离值的相邻宏块对应的概率设置的最大，相应的减小非最小距离值的相邻宏块对应的概率：

Dis(i，D)＝(MV_i，x-MV_D，x)²+(MV_i，y-MV_D，y)²(2)

上式中，Dis(i，D)表示的是三个相邻宏块中一个的运动矢量与当前宏块D的运动矢量的空间距离，MV_i，x、MV_i，y分别表示各个宏块i的运动矢量的x、y方向大小，MV_D，x、MV_D，y表示当前宏块i的运动矢量的x、y方向大小。

步骤120，在当前帧中分别得到相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的概率，这个概率作为条件概率P(D|i)。

在一个实施例中，可以将当前帧中分别得到相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的概率都设置为1/3。

在一个实施例中，可以将当前帧中的相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的概率都设置为1/3。

在另一个实施例中，可以将参考帧中的当前宏块D的运动矢量作为当前帧的当前宏块D的临时运动矢量，在当前帧中根据公式(2)分别计算当前宏块D的临时运动矢量与相邻宏块A、B、C的运动矢量的空间距离，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率。具体的，将最小距离值的相邻宏块对应的概率设置的最大，相应的减小非最小距离值的相邻宏块对应的概率，从而在当前帧中分别得到相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的概率。

对于当前帧的第一行和第一列的宏块，由于没有可用的相邻宏块的运动矢量，那么可以使用自适应十字模式搜索算法APRS-3遍历所有宏块，分别计算当前帧的第一行和第一列的宏块的最终运动矢量MV。

需要注意的是，参考帧的宏块A、B、C、D是分别与当前帧的宏块A、B、C、D位置对应的。

步骤130，根据所述先验概率P(i)和条件概率P(D|i)分别在当前帧中计算相邻宏块A、B、C的运动矢量作为当前宏块D的预测运动矢量的后验概率P(i|D)。

具体的，可以根据下述贝叶斯公式来进行计算：

$P\left(i\right|D)=\frac{P\left(D\right|i)P\left(i\right)}{P\left(D\right)}.$

其中P(D)为：

P(D)＝∑P(D|i)P(i)，i＝A，B，C。

步骤140，选择后验概率最大的相邻宏块的运动矢量作为当前宏块的预测运动矢量。

举例来说，此时计算得到P(A|D)＞P(B|D)＞P(C|D)，那么选择相邻宏块A的运动矢量MV_A作为当前宏块D的预测运动矢量MV_Dpredicted，即MV_Dpredicted＝MV_A。

对于P(A|D)、P(B|D)、P(C|D)来说，它们都采用同样的P(D)值，因此他们的大小完全由P(i)和P(i|D)来决定，对于同一次的集合来讲，P(D)可以视为一常数。

步骤150，以当前宏块D的预测运动矢量对应的位置MV₀和搜索窗中心位置MV₁为初始搜索点(如图3所示)进行初始搜索得到最小匹配误差点(MinimalMatching Error)后，再使用单位尺寸十字模式方法(Unit-Size Rood Pattern，URP)进行精确搜索得到当前宏块D的最终运动矢量。

重复步骤110-150计算得到当前帧的所有宏块的最终运动矢量，之后将当前帧更新为参考帧，将下一帧更新为当前帧继续进行运动估计。

在其他改变的实施例中，也可以采用当前宏块的其他相邻宏块来进行运动矢量的预测，比如左上。

上文对本发明进行了足够详细的具有一定特殊性的描述。所属领域内的普通技术人员应该理解，实施例中的描述仅仅是示例性的，在不偏离本发明的真实精神和范围的前提下做出所有改变都应该属于本发明的保护范围。本发明所要求保护的范围是由所述的权利要求书进行限定的，而不是由实施例中的上述描述来限定的。

Claims (6)

1.一种运动估计方法，其特征在于，其包括：

在参考帧中分别计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率；

在当前帧中分别得到相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率；

根据所述先验概率和所述条件概率分别在当前帧中计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的后验概率；和

选择后验概率最大的相邻宏块的运动矢量作为当前宏块的预测运动矢量。

2.根据权利要求1所述的运动估计方法，其特征在于，所述在参考帧中分别计算相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率包括：

在参考帧中分别计算当前宏块的运动矢量与相邻宏块的运动矢量的空间距离，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的先验概率，其中将最小距离值的相邻宏块对应的先验概率设置的最大。

3.根据权利要求2所述的运动估计方法，其特征在于，根据下式计算所述空间距离：

Dis(i，D)＝(MV_i，x-MV_D，x)²+(MV_i，y-MV_D，y)²

Dis(i，D)表示的是相邻宏块i的运动矢量与当前宏块D的运动矢量的空间距离，MV_i，x、MV_i，y分别表示相邻宏块i的运动矢量的x、y方向大小。

4.根据权利要求1所述的运动估计方法，其特征在于，根据下式计算所述后验概率：

$P\left(i\right|D)=\frac{P\left(D\right|i)P\left(i\right)}{P\left(D\right)}$

其中P(i)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的先验概率，P(D|i)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的条件概率，P(i|D)为相邻宏块i的运动矢量作为当前宏块D的预测运动矢量的后验概率，相邻宏块i包括当前宏块的左、上、右上方向上的三个宏块，

其中P(D)为：

P(D)＝∑P(D|i)P(i)。

5.根据权利要求1所述的运动估计方法，其特征在于，所述在当前帧中分别得到相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率包括：

将参考帧中的当前宏块的运动矢量作为当前帧的当前宏块的临时运动矢量；

在当前帧中分别计算当前宏块的临时运动矢量与相邻宏块的运动矢量的空间距离，根据所述空间距离设定相邻宏块的运动矢量作为当前宏块的预测运动矢量的条件概率，其中将最小距离值的相邻宏块对应的条件概率设置的最大。

6.根据权利要求1-5任一所述的运动估计方法，其特征在于，以当前宏块的预测运动矢量对应的位置和搜索窗中心位置为初始搜索点进行初始搜索得到最小匹配误差点后，再精确搜索得到当前宏块的最终运动矢量。

Images