CN102801972B - 基于特征的运动矢量估计和传递方法 - Google Patents

Abstract

本发明公开了一种基于特征的运动矢量估计和传递方法。首先在视频帧中进行特征点检测，然后对特征点进行光流跟踪；然后将特征点映射到图像块上并用光流来初始化图像块的运动矢量；最后根据特征信息来动态构造优先级队列，先对特征块进行运动估计，然后将其结果根据远近关系传递到周边的图像块上作为初始运动矢量。这一方法首先找到了具有明显特征的图像块以估计得到较为准确的运动矢量；其次通过优先级传递的方法将准确的运动矢量传递到了图像内其他图像块；从而对传统运动估计方法进行改善，缓解局部最优对搜索方法的影响，大大提高了运动估计所得运动矢量的准确度。

Description

基于特征的运动矢量估计和传递方法

技术领域

本发明涉及数字视频编解码技术及视频处理相关领域，特别涉及到运用图像特征信息来对视频帧间运动矢量进行估计与传递的方法。

技术背景

在目前主流视频编解码标准(如MPEG4，H.264/AVC及AVS)和相关视频处理应用(如超分辨率及帧率上采样)中，大多数的运动估计方法都按照从上到下从左往右的扫描顺序对二维视频帧中的图像块进行扫描来搜索对应的运动矢量。同时，在对每一个图像块进行估计时，一般用其左侧和上方区域中的相邻块的运动矢量作为空间参考运动矢量，用前一帧对应图像块右下方的图像块的运动矢量作为时间参考运动矢量，然后采用某种策略在参考运动矢量选择最好的来作为当前宏块的初始运动矢量。运用这一种方法，先估计出的运动矢量能够按照从上到下从左往右的扫描顺序从左上的图像块传递到右下角的图像块，起到逐步细化运动矢量的目的。

另一方面，在视频帧中，对不同位置的图像块所估计得到的运动矢量的准确程度存在差异。对特征明显的图像块估计得到的运动矢量通常比缺少特征的宏块上估计得到的运动矢量更为精确，这是因为运动矢量搜索的算法容易搜索到局部最优解，而特征明显的图像块由于其与周围图像块的区分度，而能够缓解这一问题所造成的影响。因此，若是能够首先对具有明显特征的图像块进行估计，然后将估计出来的运动矢量作为参考来对缺乏特征的图像块进行初始化，怎能够将准确估计所得的运动矢量传递到周围得图像块中，减缓局部最小值对运动矢量搜索的影响。

通过对现有文献资料的检索及应用系统的调研，发现Edward.Rosten等人在2010年发表的《FASTERand better：A machine learning approach to corner detection》中将其工作进行了总结归纳，提出了一种名为FAST的特征点检测方法；并且早在1988年，Harris等人就于《A combined corner and edge detector》一文中提出了至今运用广泛的Harris特征点检测器。而Lucas等人在1981年于《Generalized Image Matching by theMethod of Differences》中所提出的光流方法因为其简便性也同样被广泛使用。基于这些工作，发明人在经过大量的相关工作与实验后发现，对存在特征点的图像块运动估计结果往往较其他图像块估计所得运动矢量更为准确，将存在特征的宏块的运动矢量提供给周边的图像块参考能够在全局上优化运动估计的结果。

因此，本发明提出首先在视频帧中进行特征点检测，然后对特征点进行光流跟踪；然后将特征点映射到图像块上并用光流来初始化图像块的运动矢量；最后根据特征信息来动态构造优先级队列，先对特征块进行运动估计，然后将其结果根据远近关系传递到周边的图像块上作为初始运动矢量。这一方法首先找到了具有明显特征的图像块以估计得到较为准确的运动矢量；其次通过优先级传递的方法将准确的运动矢量传递到了图像内其他图像块；从而对传统运动估计方法进行改善，缓解局部最优对搜索方法的影响，大大提高了运动估计所得运动矢量的准确度。

发明内容

本发明目的在于提供一种利用图像特征构造优先级队列来对图像块进行运动矢量搜索与传递的运动估计方法，提高估计得到的运动矢量的准确度。

为实现这一目的，本发明一方面提供了一种提取特征图像块的方法，使其能够优先被估计，并利用特征图像块的光流信息对图像块的运动矢量进行初始化。所述方法包括：利用用FAST检测和Harris检测相结合的方法在每一视频帧内进行特征点提取与跟踪；利用特征点所在特征块与视频帧内图像块的重叠关系将特征点所在特征块映射为特征图像块；利用在特征点上跟踪所得到得光流来初始化宏块的运动矢量。

所述特征点提取与跟踪方法包括：首先在视频帧的亮度分量上进行FAST特征点检测。虽然FAST检测器速度较快，并且能产生较为理想的结果，但其检测得到的特征点会落在视频帧中的边缘上，边缘上的特征点不利于轨迹跟踪。因此，在本方法中，除了利用FAST检测器检测特征点外，还将得到的特征点作为Harris特征点检测器的输入做进一步的检测，只有当一个特征点被FAST和Harris均检测为特征点时，才认定其为一个特征点。利用所述方法，能够在保证与FAST检测器接近速度的情况下，减少边缘上的特征点检测结果，有利于利用光流来进行特征点的轨迹跟踪。

所述特征图像块映射方法包括：首先取以特征点为中心，大小为9×9像素的图像区域作为特征块。在FAST检测于Harris检测的过程中，该区域均被用于特征点的检测，因此其包含足够的特征信息。但是，特征块与图像块之间并不存在一一对应的关系，因此需要进行映射来找到特征宏块。每一个特征块均与周围的图像块之间存在着重叠关系。为了增强所获得特征块的可信程度，本方法设定了一个阈值，只有当某个图像块至少有一个特征块与其重叠面积大于预设阈值时，才将其认定为一个特征图像块。

所述特征图像块运动矢量初始化方法包括：对于由宏块映射所得到的特征图像块，需要对其运动矢量进行初始化。首先，将所有与特征图像块相重叠的特征块的重叠面积相加，然后计算每个特征块的重叠面积与总重叠面积的比值，最后将这一比值作为系数，将特征块中特征点的轨迹进行加权平均，作为特征图像块的初始运动向量。由于本节方法与上节所述特征图像块映射方法结合方法存在都需要对重叠面积进行计算，因此将特征宏块的映射和其运动矢量初始化的计算相结合。

另一方面，本发明提供了一种优先级策略来对图像块进行运动估计。所述方法包括：首先根据每个图像块离其最近的特征图像块的距离来确定其优先级。其中特征图像块的离自身的距离为0，具有最高的优先级，其上下左右的非特征图像块离其距离为1，具有第二高的优先级——以此类推，某一图像块离特征图像块越远，其优先级越低。其次，在计算完所有图像块的优先级之后，将其逐一插入到一个优先级队列中，在运动估计时每次取出队列首部的图像块进行估计，然后将其运动矢量添加给其周边的非特征图像块作为特征参考量，实施这一过程直至队列为空。但是，先计算图像块的优先级，再将所有图像块插入优先及队列，最后将其一一从队列中取出进行运动估计对任一计算平台的空间消耗及时间消耗比较大，因此所述方法还提供了一种基于先进先出队列的动态方法来构造队列，动态进行优先级(离特征图像块距离)计算与运动估计，在达到基于优先级队列方法相同的效果的前提下，能够大大减少时间与空间的消耗。

本发明具有以下优点：能够利用视频帧内的特征信息来提取特征图像块优先级进行运动估计；利用特征点上跟踪得到得光流来初始化特征图像块的运动轨迹，能够减少局部最小值的影响；利用根据图像块优先级的运动矢量传递与运动估计策略，将特征图像块较为准确的运动矢量传递给视频帧中的其他宏块，从整体上提高运动估计的性能；同时，本方法作为传统方法的补充，易于实现，能够与许多实际应用相结合，在不更改原有工作的前提下，得到性能上的提升。

附图说明

图1是本方法及实施例中特征检测跟踪的流程图；

图2是本方法及实施例中图像块与特征图像块重叠关系的示意图；

图3是本方法及实施例中特征图像块映射提取和其运动矢量初始化流程图

图4是本方法及实施例中各图像块到最近特征图像块距离的示意图；

图5是本方法及实施例中基于优先级队列的运动估计流程图。

图6是本方法及实施例中基于先进先出队列的运动估计流程图。

具体实施方式

下面结合附图和实施例，对本发明进行详细的描述，本实施例仅为本发明的一个实施例而不是全部实施例。

该实施例的特征块提取流程如图1所示。首先，在对图像进行FAST特征点检测的过程中，实施例中采用检测窗口大小为9×9的FAST-9进行特征点检测，并且为了得到较为鲁棒的结果，对初始检测到的特征点进行局部非极大抑制操作。其次，在以得到的FAST特征点为中心大小为9×9的窗口内进行Harris特征点检测，判定阈值设为400。只有当该窗口范围内的海塞矩阵的最小特征值大于阈值，才认定其中心的点为所需特征点。此外，将检测一个特征点时所用到的检测窗口图像作为特征块。而为了在下一步中初始化特征图像块的运动矢量，本实施例则利用由Lucas所提出的光流法，来对每个特征点进行帧间轨迹跟踪。

在得到所有特征点后，则利用特征信息进行特征图像块的提取及运动矢量初始化，流程如图3所示。在该实施例中，特征图像块提取的相关阈值设为13，只有当某个大小为8×8的宏块至少有一个与其重叠的特征块的重叠面积达到13，才认定其为一个特征图像块。然后计算与特征图像块重叠的特征块的面积和，最后将与特征图像块重叠的特征块内的特征轨迹根据重叠面积与重叠面积和的比例进行加权平均，来初始化特征图像块的运动矢量。

在提取所有特征图像块并对其运动矢量进行初始化之后，则根据所有宏块的优先级关系的顺序对其进行运动估计，而在本实施例中，采用图6中所示方法。首先，标记所有特征图像块的离最近的图像块(即其本身)的距离为0，其他图像块为预设的最大值MAX，然后将所有特征图像块插入到一个先进先出队列中。若当前先进先出队列不为空，则取出其队首的图像块，利用现有的图像块运动估计方法进行运动估计，然后对当前宏块上下左右四个方向的相邻图像块进行判断，若某个相邻宏块的距离值大于当前宏块距离加1，则将其距离赋值为当前图像块距离加1，并将此相邻图像块插从队列末尾插入。上述过程持续执行至队列为空。

Claims (6)

1.一种基于特征的运动矢量估计和传递方法，其特征和主要步骤在于：

(1)在视频帧内进行特征点检测，所述特征点为通过FAST检测与Harris检测的特征点；

(2)在视频帧内特征点上进行运动轨迹估计；

(3)将特征点检测时的窗口区域定义为特征块；将视频帧按某种方式划分为若干图像块，若图像块与特征块存在重叠关系，且重叠面积大于一定阈值，则该图像块定义为特征图像块；

(4)将特征图像块的运动向量初始化为与其有重叠关系的特征块的运动轨迹的加权平均，其中特征块运动轨迹的权重由该特征块与所述特征图像块重叠区域的面积决定；

(5)对视频帧内所有特征图像块进行运动估计，得到特征图像块的运动矢量，并将该运动矢量作为与之相邻的非特征图像块的初始运动矢量；

(6)按照与特征图像块的距离顺序估计非特征图像块的运动矢量，距离近的先估计，并将估计出来的运动矢量作为与之相邻的非特征图像块的初始运动矢量；

(7)重复(6)直到所有的非特征图像块运动矢量估计完毕。

2.如权利要求1所述的基于特征的运动矢量估计和传递方法，所述特征点的检测方法为：

首先在视频帧内检测FAST特征点，然后在检测到的FAST特征点上进一步检测Harris特征点；检测到的所述特征点为被FAST检测器和Harris检测器均判定为特征点的点。

3.如权利要求2所述的基于特征的运动矢量估计和传递方法，所述特征块定义为：以特征点为中心的MxN的窗口区域。

4.如权利要求1所述的基于特征的运动矢量估计和传递方法，其中，所述特征点运动轨迹定义为：在和特征点检测时同样的尺度图像金字塔上利用光流法来估计特征点的帧间轨迹。

5.如权利要求1所述的基于特征的运动矢量估计和传递方法，其中，所述的视频帧内图像块的运动估计顺序按照如下优先级：

优先级最高的图像块为特征图像块，非特征图像块的优先级由其距离特征图像块的距离决定，距离越短优先级越高。

6.如权利要求1所述的基于特征的运动矢量估计和传递方法，其中，所述的视频帧内特征图像块的运动估计顺序基于先进先出队列，该队列的构造为：

首先将所有特征图像块距离标记为0，非特征图像块距离标记为预设最大值MAX，之后将所有特征图像块按照扫描顺序插入到一个空优先级队列中；然后取出队首图像块，对其进行运动估计；并将估计所得结果作为其上下左右四个图像块中距离值大于前图像块距离加2的图像块的运动矢量初始值，并标记其距离为当前图像块距离加1；实施上述过程直至先进先出队列为空。