CN105809712B - 一种高效大位移光流估计方法 - Google Patents

Abstract

本发明公开了一种高效大位移光流估计方法，包括：从视频里获取两张连续图像，将两帧图像按时间顺序分别标记为I₁和I₂；以I₁和I₂为最底层分别构造图像金字塔和在图像金字塔的每层上生成相同数目的种子点，并将最顶层上的种子点的匹配初始化为随机值；将获得的种子点在由图像金字塔依次从顶层到底层逐层进行匹配，每层种子点的匹配结果作为下一层相应种子点的初始值；将最底层种子点的匹配结果利用对边缘敏感的插值算法进行插值，将插值结果作为光流估计的初始值，然后利用变分能量优化模型进行优化，最终得到大位移光流估计结果。本发明具有更高效、更灵活的效果，可以随时根据应用场景的不同控制种子点的数目，产生不同效率、不同精度的光流结果。

Description

一种高效大位移光流估计方法

技术领域

本发明属于数字视频处理领域，尤其涉及一种高效大位移光流估计方法。

背景技术

光流估计是计算机视觉领域内的一个重要基础模块，其研究目的是通过建模计算出视频连续两帧间的运动信息，具体就是第一帧中每个像素在第二帧中的对应匹配像素。经过三十多年的发展，光流估计问题已经有非常多的相关研究，但在真实世界视频里的鲁棒光流估计仍然是个富有挑战性的问题。

光流估计根据所采用的方法的不同，大体可以分为两种：一种是基于Horn和Schunck提出的变分能量优化模型，一种是基于匹配的插值优化模型。

基于变分能量优化模型的算法虽然能够在小位移光流估计中取得非常精确的结果，但这种方法通常会在有大位移运动物体的场景下失败。

基于匹配的插值优化模型主要利用了在大位移运动中，两帧之间视觉关键点的匹配信息对光流估计结果的重要性。以一种相对稠密的匹配结果作为光流估计的初始值，可以很好的解决传统变分能量优化模型存在的问题。

然而，基于匹配的插值优化模型主要问题在于计算稠密匹配需要相当大的代价，并且其匹配结果的精度也直接影响到最终光流估计的效果。针对这种问题，本发明提出一种新的适用于大位移光流估计的稠密匹配算法，可以高效地得到精确的匹配信息。

发明内容

本发明的目的在于提供一种高效大位移光流估计方法，旨在解决基于匹配的插值优化模型主要问题在于计算稠密匹配需要相当大的代价，并且其匹配结果的精度也直接影响到最终光流估计的效果的问题。

本发明是这样实现的，一种高效大位移光流估计方法，该高效大位移光流估计方法包括以下步骤：

步骤一、从视频里获取两张连续图像，将两帧图像按时间顺序分别标记为I₁和I₂；

步骤二、以I₁和I₂为最底层分别构造图像金字塔和

步骤三、在图像金字塔的每层上生成相同数目的种子点，并将最顶层 上的种子点的匹配初始化为随机值；

步骤四、将步骤三获得的种子点在由步骤二的图像金字塔依次从顶层到底层逐层进行匹配，每层种子点的匹配结果作为下一层相应种子点的初始值；

步骤五、将最底层种子点的匹配结果利用对边缘敏感的插值算法进行插值，将插值结果作为光流估计的初始值，然后利用变分能量优化模型进行优化，最终得到大位移光流估计结果。

进一步，所述步骤二将每一级图像的长宽缩小为原来的1/2，分别得到k幅图像，其中和即是最底层的原图，和是最顶层。

进一步，所述步骤三在图像金字塔的每层上生成相同数目的种子点中将最底层的种子点设计为间隔为d的图像网格交点；上层的种子点均是最底层种子点的对应缩放版本，即：

{p(s^l)}＝η·{p(s^l-1)}，l≥1

其中l代表金字塔层数，{p(s^l)}表示第l层种子点的在其上的位置，η表示金字塔缩放系数。

进一步，所述步骤三中将最顶层上的种子点的匹配初始化为随机值，然后与进行匹配(PatchMatch)，所述与进行匹配匹配包括以下步骤：

第一步：邻域传播，即：

其中s_m表示当前种子点，N_m表示对网格种子点之间使用自然邻域系统时当前种子点的相邻种子点集合，f(s_m)表示当前种子点的运动矢量，C(f(·))表示对当前种子点使用f(·)为运动矢量时的匹配代价；

第二步：随机搜索，以当前最佳运动矢量f(s_m)为中心，以指数递减半径 为搜索域，进行随机试探；迭代进行以上两步，直至收敛。

进一步，所述步骤四层内匹配方法相同，每层种子点的匹配值初始化为上一层种子点匹配值的缩放版本，即：

其中{f(s^l)}为第l层种子点的运动矢量，η为金字塔的缩放系数。

本发明只需要不断的使用大块的匹配结果来指导小块的匹配过程，就可以得到精确的大位移匹配；在图像金字塔上由顶层到底层的匹配过程中，不断优化匹配结果。对于在顶层中消失的细小物体，特别是高速运动的细小物体能够在由粗到细的过程中逐渐恢复。相比于传统的基于变分能量优化模型的方法可以更好的处理大位移运动，传统的基于变分能量优化模型的方法因为对初始值有非常高的要求，导致其对于大位移运动时无法找到一个合适的初始值，在即使使用了由粗到细的策略后也并不能解决这个问题，主要是因为在由粗到细的变分优化过程中，顶层的错误逐层传播到了底层，特别是在存在高速运动小物体的情况下，相反，本发明会在由粗到细的过程中，不断优化匹配结果，极大地限制了上层错误的传播；相比于基于匹配的插值优化方法，本发明具有更高效、更灵活的效果，本发明可以随时根据应用场景的不同控制种子点的数目，产生不同效率、不同精度的光流结果。

附图说明

图1是本发明实施例提供的高效大位移光流估计方法流程图；

图2是本发明实施例提供的构造图像金字塔和的示意图；

图3是本发明实施例提供的图像网格交点示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的一种高效大位移光流估计方法，该高效大位移光流估计方法包括以下步骤：

S101：从视频里获取两张连续图像，将两帧图像按时间顺序分别标记为I₁和I₂；

S102：以I₁和I₂为最底层分别构造图像金字塔和

S103：在图像金字塔的每层上生成相同数目的种子点，并将最顶层上的种子点的匹配初始化为随机值；

S104：将S103获得的种子点在由S102的图像金字塔依次从顶层到底层逐层进行匹配，每层种子点的匹配结果作为下一层相应种子点的初始值；

S105：将最底层种子点的匹配结果利用对边缘敏感的插值算法进行插值，将插值结果作为光流估计的初始值，然后利用变分能量优化模型进行优化，最终得到大位移光流估计结果。

如图2是构造图像金字塔和的示意图。

所述S102将每一级图像的长宽缩小为原来的1/2，分别得到k幅图像，其中和即是最底层的原图，和是最顶层。

所述S103在图像金字塔的每层上生成相同数目的种子点中将最底层的种子点设计为间隔为d的图像网格交点，如图3所示；

上层的种子点均是最底层种子点的对应缩放版本，即：

{p(s^l)}＝η·{p(s^l-1)}，l≥1

其中l代表金字塔层数，{p(s^l)}表示第l层种子点的在其上的位置，η表示金字塔缩放系数。

所述S103中将最顶层上的种子点的匹配初始化为随机值，然后与进行匹配(PatchMatch)，所述与进行匹配匹配包括以下步骤：

第一步：邻域传播，即：

其中s_m表示当前种子点，N_m表示对网格种子点之间使用自然邻域系统时当前种子点的相邻种子点集合，f(s_m)表示当前种子点的运动矢量，C(f(·))表示对当前种子点使用f(·)为运动矢量时的匹配代价；

第二步：随机搜索，以当前最佳运动矢量f(s_m)为中心，以指数递减半径为搜索域，进行随机试探；迭代进行以上两步，直至收敛。

所述S104层内匹配方法相同，每层种子点的匹配值初始化为上一层种子点匹配值的缩放版本，即：

其中{f(s^l)}为第l层种子点的运动矢量，η为金字塔的缩放系数。

下面结合附图对本发明的应用原理作进一步描述。

一般而言对于两张图像是否连续没有硬性的要求，只要求两张图像有50％以上是重合的，例如：对于高帧率视频，间隔多帧的两帧图像也能作为输入；

在构造图像金字塔的过程中，金字塔的缩放系数可以固定为0.5，也可以更具实际应用选择0.1～0.9之间的数，缩放系数越高意味着金字塔层数越多；

在金字塔每层上生成种子点的过程中，一般为考虑到匹配的稠密性，种子点需要在图像空间里大致均匀分布，可以根据不同的应用需求，调整种子点分布的稠密程度；

在层内对种子点进行匹配时，可以根据应用的不同，使用不同的匹配方法；

在最后对种子点的匹配进行插值时，可以使用不同的插值优化模型。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种高效大位移光流估计方法，其特征在于，该高效大位移光流估计方法包括以下步骤：

步骤一、从视频里获取两张连续图像，将两帧图像按时间顺序分别标记为I₁和I₂；

步骤二、以I₁和I₂为最底层分别构造图像金字塔和

步骤三、在图像金字塔的每层上生成相同数目的种子点，并将最顶层上的种子点的匹配初始化为随机值；

步骤四、将步骤三获得的种子点在由步骤二的图像金字塔依次从顶层到底层逐层进行匹配，每层种子点的匹配结果作为下一层相应种子点的初始值；

步骤五、将最底层种子点的匹配结果利用对边缘敏感的插值算法进行插值，将插值结果作为光流估计的初始值，然后利用变分能量优化模型进行优化，最终得到大位移光流估计结果；

所述步骤二将每一级图像的长宽缩小为原来的1/2，分别得到k幅图像，其中和即是最底层的原图，和是最顶层；

所述步骤三在图像金字塔的每层上生成相同数目的种子点中将最底层的种子点设计为间隔为d的图像网格交点；上层的种子点均是最底层种子点的对应缩放版本，也就是每层种子点在当前层的坐标位置均是下层种子点坐标位置的η倍，即：

{p(s^l)}＝η·{p(s^l-1)}，l≥1；

其中l代表金字塔层数，{p(s^l)}表示第l层种子点的在其上的位置，η表示金字塔缩放系数；

所述步骤三中将最顶层上的种子点的匹配初始化为随机值，然后与进行匹配，所述与进行匹配包括以下步骤：

第一步：邻域传播，即：

其中s_m表示当前种子点，N_m表示对网格种子点之间使用自然邻域系统时当前种子点的相邻种子点集合，f(s_m)表示当前种子点的运动矢量，C(f(·))表示对当前种子点使用f(·)为运动矢量时的匹配代价；

第二步：随机搜索，以当前最佳运动矢量f(s_m)为中心，以指数递减半径为搜索域，进行随机试探；迭代进行以上两步，直至收敛；

所述步骤四中，每层种子点的匹配结果作为下一层相应种子点的初始值，即：

其中{f(s^l)}为第l层种子点的运动矢量，η为金字塔的缩放系数。