CN112509014B - 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 - Google Patents

Abstract

本发明公开了一种金字塔遮挡检测块匹配的鲁棒插值光流计算方法，首先进行金字塔遮挡检测块匹配得到稀疏的鲁棒运动场，对连续两帧图像通过下采样因子构成k层图像金字塔，在每一层金字塔进行块匹配，获取带有初始遮挡的匹配结果；通过基于变形误差的遮挡检测算法，得到遮挡检测信息；由匹配得到准确的稀疏匹配结果，需要经过鲁棒插值算法获取稠密光流；由鲁棒插值算法得到稠密光流后，经过全局能量泛函变分优化稠密光流：经过全局能量泛函变分优化得到最终光流。有效地提高了光流估计的计算精度，改善了光流方法在复杂场景的适用性。在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。

Description

金字塔遮挡检测块匹配的鲁棒插值光流计算方法

技术领域

本发明涉及图像序列光流计算技术，特别涉及一种基于金字塔遮挡检测块匹配的鲁棒插值光流计算方法。

背景技术

光流场是分析序列图像中运动目标的重要方法。光流场不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息,所以光流场在不同的领域中具有很重要的作用。在计算机视觉中,诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等及其重要的任务。光流场计算在工业和军事应用领域具有重要的现实意义,诸如在完成各种工业或军事任务的机器人视觉系统,基于运动分析的空间卫星跟踪系统,地对空导弹火控系统,进行资源勘探、天气预报或卫星照片的自动分析系统,医学上器官异常的分析和诊断系统等中均有广泛应用。

近年来，随着光流估计算法的快速发展，基于块匹配的鲁棒插值光流计算策略逐渐成为解决光流计算大位移运动和遮挡的重要手段，目前基于块匹配的光流优化模型被广泛采用，能够在大位移运动中计算结果异常值对光流估计结果的影响。但是该类方法在边缘遮挡，大位移运动光流估计的准确性和鲁棒性问题仍未妥善解决。

发明内容

本发明的目的是提供一种金字塔遮挡检测块匹配的鲁棒插值光流计算方法。利用遮挡检测优化金字塔块匹配优化大位移运动下的光流估计准确性，利用边缘优化的鲁棒插值算法解决在遮挡情况下的光流估计的鲁棒性。

为了解决上述技术问题，本发明采取以下技术方案。一种金字塔遮挡检测块匹配的鲁棒插值光流计算方法，其步骤如下：

1)首先进行金字塔遮挡检测块匹配得到稀疏的鲁棒运动场：

(1)对连续两帧图像通过下采样因子构成k层图像金字塔，在每一层金字塔中构建种子块{s^l}；

(2)创建好图像金字塔和种子块后，在每一层金字塔进行块匹配，步骤如下：

I.初始化：每一个种子块分配一个随机匹配；

II.邻域传播：比较匹配块的相似度，选取最大相似度的匹配块；

III.随机搜索：在当前最优匹配附近随机试探，寻找更优匹配；搜索半径r开始为每一层图像的尺寸，然后以1/2的收敛速度减少半径，直到r＝1；

(3)在每一层块匹配结束后，进行前后一致性检测：将前后项匹配结果进行一致性比较，获取带有初始遮挡的匹配结果；

(4)通过基于变形误差的遮挡检测算法，得到遮挡检测信息；

(5)前后一致性检测结束后，将匹配结果超像素分割并聚类，进行双边滤波，获取带有边缘信息以及初始遮挡信息的匹配结果；

(6)输入遮挡检测结果，进行遮挡信息判断：中心像素点的邻域像素与遮挡信息进行同或运算，相邻像素判断为遮挡点个数过半数后，中心像素点为遮挡点，否则为非遮挡点；通过优化前后一致性遮挡检测结果，得到该层金字塔最终带有准确遮挡信息的匹配结果f(s^l)，公式如下：

式中：N_o为被判断遮挡点个数，N为相邻像素点总数，s^l为中心像素点；

(7)上一层得到的匹配结果f(s^l)作为下一层块匹配的初始化：

进行迭代运算，在第k层得到匹配结果为最终匹配结果M；

2)由匹配得到准确的稀疏匹配结果，需要经过鲁棒插值算法获取稠密光流；

(1)超像素分割参考帧图像I₁得到K个超像素块s_k；

(2)将分割后的图像抽象成一个无向图G＝(V,E)。由边缘算法BCDN得到的运动边缘作为代价图，计算相邻超像素之间的测地线距离

(3)基于超像素集合{s_k}和匹配结果M，生成超像素匹配；具体方式为，对超像素块s_k内所有有效地匹配点取中值；然后经过最近邻插值得到稠密光流；

3)由鲁棒插值算法得到稠密光流后，经过全局能量泛函变分优化稠密光流：

上式表示求解光流场w＝(u,v,1)^T的全局能量泛函，M(u,v)表示数据项，

表示平滑项，其中▽₂表示空间梯度算子，平滑项权重系数

经过全局能量泛函变分优化得到最终光流。

本发明通过金字塔遮挡块匹配模型克服了光流计算方法中在大位移运动和遮挡处光流计算准确性的问题，具有更高的准确性和更好的鲁棒性，有效地提高了光流估计的计算精度，改善了光流方法在复杂场景的适用性。在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。

附图说明

图1a是MPI-Sintel的cave_2图像序列连续两帧图像中的第一帧图像；

图1b是MPI-Sintel的cave_2图像序列连续两帧图像中的第二帧图像；

图2是本发明中金字塔遮挡检测块匹配模型图；

图3是本发明中单层遮挡检测优化块匹配模型图；

图4是本发明中鲁棒插值算法及局部融合算法模型图；

图5是本发明中鲁棒插值算法及局部融合算法模型图；

图6是本发明计算所得的MPI-Sintel的cave_2图像序列光流图。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。参见图1a至图6，金字塔遮挡检测块匹配的鲁棒插值光流估计方法，使用MPI-Sintel的bandage_2图像序列光流计算实验进行说明：

1)输入MPI-Sintel的cave_2图像序列连续两帧图像中的第一帧图像(见图1a)和MPI-Sintel的cave_2图像序列连续两帧图像中的第二帧图像(见图1b)。

2)如图2所示，对输入的bandage_2图像序列进行金字塔下采样分层，采样系数为0.5，分层数为6层；并进行遮挡检测优化。

3)如图3所示，在每一层金字塔中构建种子块{s^l}，并定义在l层的种子块{s^l}的位置p{s^l}为最底层金字塔的对应缩小版本，关系如下：

p{s^l}＝η{s^l-1},l≥1 (1)

(1)创建好图像金字塔和种子块后，在每一层金字塔进行块匹配步骤，在每一层金字塔进行块匹配：I.初始化：每一个种子块分配一个随机匹配。II.邻域传播：比较匹配块的相似度，选取最大相似度的匹配块。III.随机搜索：在当前最优匹配附近随机试探，寻找更优匹配。搜索半径r开始为每一层图像的尺寸，然后以1/2的收敛速度减少半径，直到r＝1在每层匹配结果结束后，进行前后一致性检测，获取带有初始遮挡的匹配结果。

(2)在每层获得带有边缘信息以及初始遮挡信息的匹配结果后，输入遮挡检测结果，进行遮挡信息判断。中心像素点的邻域像素与遮挡信息进行同或运算，相邻像素判断为遮挡点个数过半数后，中心像素点为遮挡点，否则为非遮挡点：

N_o为被判断遮挡点个数，N为相邻像素点总数，s^l为中心像素点。优化前后一致性遮挡检测结果，得到该层金字塔最终带有准确遮挡信息的匹配结果。

(3)如图4所示，上一层得到的匹配结果f(s^l)作为下一层块匹配的初始化：

4)如图5所示，得到的匹配结果经过鲁棒插值以及变分全局优化得到最终光流。

(1)超像素分割参考帧图像I₁得到K个超像素块s_k。

(2)将分割后的图像抽象成一个无向图G＝(V,E)。由边缘算法BCDN得到的运动边缘作为代价图，计算相邻超像素之间的测地线距离

(3)基于超像素集合{sk}和匹配结果M，生成超像素匹配。具体方式为，对超像素块sk内所有有效地匹配点取中值。然后经过最近邻插值得到稠密光流。

(4)由鲁棒插值算法得到稠密光流后，经过全局能量泛函变分优化稠密光流：

上式表示求解光流场w＝(u,v,1)^T的全局能量泛函，M(u,v)表示数据项，

表示平滑项，其中

表示空间梯度算子，平滑项权重系数

经过全局能量泛函变分优化得到最终光流，如图6所示。

根据图6中光流计算结果可以看出，本方法通过金字塔遮挡块匹配模型克服了光流计算方法中在大位移运动和遮挡处光流计算准确性的问题，在大位移运动和遮挡图像序列具有更高的准确性和更好的鲁棒性。克服了传统光流估计在大位移运动和遮挡图像序列中的准确性和鲁棒性问题，有效地提高了光流估计的计算精度和适用性。

Claims (1)

1.一种基于金字塔遮挡检测块匹配的鲁棒插值光流计算方法，其步骤如下：

1)首先进行金字塔遮挡检测块匹配得到稀疏的鲁棒运动场：

(1)对连续两帧图像通过下采样因子构成k层图像金字塔，在每一层金字塔中构建种子块{s^l}；

(2)创建好图像金字塔和种子块后，在每一层金字塔进行块匹配，步骤如下：

I.初始化：每一个种子块分配一个随机匹配；

II.邻域传播：比较匹配块的相似度，选取最大相似度的匹配块；

III.随机搜索：在当前最优匹配附近随机试探，寻找更优匹配；搜索半径r开始为每一层图像的尺寸，然后以1/2的收敛速度减少半径，直到r＝1；

(3)在每一层块匹配结束后，进行前后一致性检测：将前后项匹配结果进行一致性比较，获取带有初始遮挡的匹配结果；

(4)通过基于变形误差的遮挡检测算法，得到遮挡检测信息；

(5)前后一致性检测结束后，将匹配结果超像素分割并聚类，进行双边滤波，获取带有边缘信息以及初始遮挡信息的匹配结果；

(6)输入遮挡检测结果，进行遮挡信息判断：中心像素点的邻域像素与遮挡信息进行同或运算，相邻像素判断为遮挡点个数过半数后，中心像素点为遮挡点，否则为非遮挡点；通过优化前后一致性遮挡检测结果，得到该层金字塔最终带有准确遮挡信息的匹配结果f(s^l)，公式如下：

式中：N_o为被判断遮挡点个数，N为相邻像素点总数，s^l为中心像素点；

(7)上一层得到的匹配结果f(s^l)作为下一层块匹配的初始化：

进行迭代运算，在第k层得到匹配结果为最终匹配结果M；

2)由匹配得到准确的稀疏匹配结果，需要经过鲁棒插值算法获取稠密光流；

(1)超像素分割参考帧图像I₁得到K个超像素块s_k；

(2)将分割后的图像抽象成一个无向图G＝(V,E)， 由边缘算法BCDN得到的运动边缘作为代价图，计算相邻超像素之间的测地线距离

(3)基于超像素集合{s_k}和匹配结果M，生成超像素匹配；具体方式为，对超像素块s_k内所有有效地匹配点取中值；然后经过最近邻插值得到稠密光流；

3)由鲁棒插值算法得到稠密光流后，经过全局能量泛函变分优化稠密光流：

上式表示求解光流场w＝(u,v,1)^T的全局能量泛函，M(u,v)表示数据项，

表示平滑项，其中

表示空间梯度算子，平滑项权重系数

经过全局能量泛函变分优化得到最终光流。

Images