CN110349186B - 基于深度匹配的大位移运动光流计算方法 - Google Patents

Abstract

本发明公开了一种基于深度匹配的大位移运动光流计算方法，首先使用DeepMatch匹配算法获取连续两帧图像间大量的匹配像素点，然后将匹配像素点分配到对应的图像网格，获得连续两帧图像之间的图像网格匹配关系；再使用结构森林快速边缘检测算法获取图像边缘信息，根据边缘保护距离，使用仿射变换方程，对参考帧进行由稀疏到稠密的插值，获得初始稠密对应场；将稠密对应场作为初始值带入能量泛函求最优解，输出光流计算结果。本发明显著提高了光流计算精度并有效保护了运动边缘，克服了像素点匹配关系不准确、匹配像素点数量过少等问题，对于非刚性大位移场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。

Description

基于深度匹配的大位移运动光流计算方法

技术领域

本发明涉及图像匹配优化技术，特别涉及一种基于深度匹配的大位移运动光流计算方法。

背景技术

光流计算是研究利用图像序列中像素强度信息的时域变化和相关性来确定各像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。光流场不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息,所以光流场在不同的领域中具有重要作用，如执行各种任务的机器人视觉系统、资源勘探、气象云图分析和预报、军事勘察中的自动分析系统、车辆无人驾驶等。

近年来，随着光流计算方法的不断发展，针对简单场景的图像序列大位移光流计算技术取得了显著的成果。目前基于刚性描述子的像素点匹配定位模型被广泛采用，能够对刚性大位移运动有效定位提高光流的计算精度。但是该类方法在局部形变、大位移运动、运动模糊、弱纹理等场景中，易导致像素点匹配关系不准确、匹配像素点数量过少等问题仍未妥善解决。

发明内容

本发明的目的是提供一种基于深度匹配的大位移光流计算方法，准确地对图像大位移运动进行有效定位，并计算得到准确性更高，具有边缘保护效果的光流结果。

为了解决上述技术问题，本发明采取以下技术方案。基于深度匹配的大位移运动光流计算方法，其步骤如下：

1)输入图像序列连续两帧图像，使用DeepMatch匹配算法获取连续两帧图像的匹配像素点集M1；

2)使用网格近似法，将连续两帧图像分别划分为n×n的非重叠图像网格，然后根据像素点坐标，将匹配到的像素点分配到对应的图像网格；

3)遍历第一帧图像内匹配像素点数大于0的图像网格，统计该图像网格在第二帧图像网格内的像素点数量，并将像素点数量最多的图像网格标记为潜在的匹配图像网格，获得连续两帧图像之间的图像网格匹配关系；

4)评估图像网格匹配的准确性，建立如下阈值函数：

式中，N表示划分的非重叠图像网格数量，i表示第一帧图像中的第i个图像网格，j表示与第一帧图像第i个图像网格对应第二帧图像中的图像网格，T表示匹配正确的图像网格，F表示匹配错误的图像网格，

表示潜在的匹配图像网格{i,j}的匹配置信度，

表示与第一帧图像中第i个图像网格相邻的第k个网格和第二帧图像中第j个网格相邻的第k个网格内互相匹配的像素点个数，τ_i表示第一帧图像中第i个图像网格与第二帧图像中对应的图像网格的匹配置信度阈值；

5)遍历所有匹配像素点，并检查其所分配的图像网格是否为匹配正确的图像网格；当匹配像素点位于正确匹配的图像网格时，则为正确的匹配像素点；反之则是错误的匹配像素点，并剔除；

6)为消除可能存在的误划分像素点，将匹配像素点分别在x和y方向上移动半个像素，并循环执行步骤3)～步骤5)三次，标记在任意方向与所分配图像网格保持匹配一致性的像素点为正确匹配像素点，获得新的匹配像素点集M2；

7)对第一帧图像使用结构森林快速边缘检测算法，获得含有图像边缘信息的代价图C；根据代价图C计算第一帧图像像素点间的边缘保护距离，公式如下：

式中，D_G(p,q)为像素p与像素q的边缘保护距离，ρ_p,q为像素p与像素q之间所有可能的路径，C(p_s)表示通过像素p_s的代价；

8)根据边缘保护距离，将第一帧图像中所有像素点分配到其最近的匹配像素点，得到像素分配图L；

式中，L(p₁)为第一帧图像中像素点p₁的像素分配结果。D_G(p₁,p_m)为像素点p₁与匹配像素点p_m间的边缘保护距离；

9)遍历匹配像素点集M2中的所有匹配像素点，使用迪杰斯特算法查找匹配像素点的K个最近匹配像素点，建立超定方程组，计算局部权重仿射变换参数：

式中，A_P和t_p为第一帧图像像素点p₁的仿射变换参数，p_m为像素p₁的K个最近匹配像素点之一，p'_m为p_m在下一帧图像中对应的匹配像素点，k_D(p_m,p₁)为高斯核函数；

10)遍历参考帧所有像素点，根据像素分配图L,使用仿射变换方程，对参考帧进行由稀疏到稠密的插值，获得初始稠密对应场；

式中，p₁为第一帧图像中任意像素点，

为像素点p₁的最近匹配像素点的仿射变换参数；

11)将初始稠密对应场带入以下能量泛函求最优解：

式中，w＝(u,v)为计算光流，Ψ为惩罚函数，j₀为符合亮度守恒假设的运动张量分量，γ为梯度守恒权重，j_xy为符合梯度守恒的运动张量分量，

为平滑项局部平滑权重；

12)输出光流计算结果。

本发明通过特征匹配与图像网格一致性检测，对场景中大位移区域进行有效定位，结合了一种具有边缘保护效果的插值方法，显著提高了光流计算精度并有效保护了运动边缘，克服了像素点匹配关系不准确、匹配像素点数量过少等问题，对于非刚性大位移场景和复杂边缘图像序列具有更高的计算精度和更好的适用性，在航天、军事、工业、商业和医学等领域具有广泛的应用前景。

附图说明

图1a是temple_3图像序列连续两帧图像中的第一帧图像；

图1b是temple_3图像序列连续两帧图像中的第二帧图像；

图2是本发明中对temple_3图像序列连续两帧图像使用DeepMatch匹配算法获得的图像序列匹配结果图(其中：圆点代表匹配像素点位置，成匹配关系的像素点用线连接)；

图3是本发明中图像序列匹配像素点单元分配示意图(其中：十字形符号代表匹配点位置)；

图4是本发明中通过结构森林快速边缘检测算法获取的代价图；

图5是本发明中像素分配示意图(其中：十字形符号代表匹配点位置)；

图6是本发明计算所获得的temple_3图像序列光流图。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。参见图1a至图6，一种基于深度匹配的大位移运动光流计算方法，使用temple_3序列图像进行实验说明：

1)输入图1a和图1b是temple_3图像序列连续两帧图像；其中：图1a是第一帧图像，图1b是第二帧图像；

2)如图2所示，为了对连续两帧图像中大位移运动区域进行有效定位，使用DeepMatch匹配算法获取temple_3图像序列连续两帧图像之间的匹配像素点集M1；

3)如图3所示，使用网格近似法，将连续两帧图像分别划分为n×n的非重叠图像网格，然后根据像素点坐标，将匹配到的像素点分配到对应的图像网格；

4)遍历第一帧图像内匹配像素点数大于0的图像网格，统计该图像网格在第二帧图像网格内的像素点数量，并将像素点数量最多的图像网格标记为潜在的匹配图像网格，获得连续两帧图像之间的图像网格匹配关系；

5)如式(1)所示，建立阈值函数评估图像网格匹配的准确性；

式(1)中，N表示划分的非重叠图像网格数量，i表示第一帧图像中的第i个图像网格，j表示与第一帧图像第i个图像网格对应第二帧图像中的图像网格，T表示匹配正确的图像网格，F表示匹配错误的图像网格，

表示潜在的匹配图像网格{i,j}的匹配置信度，

表示与第一帧图像中第i个图像网格相邻的第k个网格和与第二帧图像中第j个网格相邻的第k个网格内互相匹配的像素点个数，τ_i表示第一帧图像中第i个图像网格与第二帧图像中对应的图像网格的匹配置信度阈值；

6)遍历所有匹配像素点，并检查其所分配的图像网格是否为匹配正确的图像网格；当匹配像素点位于正确匹配的图像网格时，则为正确的匹配像素点；反之则是错误的匹配像素点，并剔除；

7)由于在匹配像素点分配到图像网格的过程中可能存在某些匹配像素点位于不同图像网格间的边缘，导致这些像素点可能被误划分到错误的图像网格。为消除可能存在的误划分像素点，将匹配像素点分别在x和y方向上移动半个像素，并循环执行步骤3)～步骤5)三次，标记在任一方向与所分配图像网格保持匹配一致性的像素点为正确匹配像素点，获得新的匹配像素点集M2；

8)如图4所示，对第一帧图像使用结构森林快速边缘检测算法，获得含有图像边缘信息的代价图C。根据代价图C计算第一帧图像像素点间的边缘保护距离公式如下：

式(2)中，D_G(p,q)为像素p与像素q的边缘保护距离，ρ_p,q为像素p与像素q之间所有可能的路径，C(p_s)表示通过像素p_s的代价；

9)如图5所示，根据边缘保护距离，将第一帧图像中所有像素点分配到其最近的匹配像素点，得到像素分配图L；

式(3)中L(p₁)为第一帧图像中像素点p₁的像素分配结果。D_G(p₁,p_m)为像素点p₁与匹配像素点p_m间的边缘保护距离；

10)遍历匹配像素点集M2中的所有匹配像素点，使用迪杰斯特算法查找匹配像素点的K个最近匹配像素点，建立超定方程组计算局部权重仿射变换参数：

k_D(p_m,p₁)(A_P1p_m+t_p1-p'_m)＝0 (4)

式(4)中，A_P和t_p为第一帧图像像素点p₁的仿射变换参数，p_m为像素p₁的K个最近匹配像素点之一，p'_m为p_m在下一帧图像中对应的匹配像素点，k_D(p_m,p₁)为高斯核函数；

11)遍历参考帧所有像素点，根据像素分配图L,使用式(5)所示的仿射变换方程，对参考帧进行由稀疏到稠密的插值，获得初始稠密对应场；

式(5)中，p₁为第一帧图像中任意像素点，

为像素点p₁的最近匹配像素点的仿射变换参数；

12)为了提升计算精度，将初始稠密对应场带入以下能量泛函求最优解：

式(11)中w＝(u,v)为计算光流，Ψ为惩罚函数，j₀为符合亮度守恒假设的运动张量分量，γ为梯度守恒权重，j_xy为符合梯度守恒的运动张量分量，

为平滑项局部平滑权重；

13)基于亮度守恒假设与梯度守恒假设，式(6)能量泛函最小化，输出光流计算结果，如图6所示。本发明方法对于大位移运动场景和弱纹理图像序列具有更高的计算精度和更好的适用性，在航天、军事、工业、商业和医学等领域具有广泛的应用前景。

Claims (1)

1.基于深度匹配的大位移运动光流计算方法，其特征在于，其步骤如下：

1)输入图像序列连续两帧图像，使用DeepMatch匹配算法获取连续两帧图像的匹配像素点集M1；

2)使用网格近似法，将连续两帧图像分别划分为n×n的非重叠图像网格，然后根据像素点坐标，将匹配到的像素点分配到对应的图像网格；

3)遍历第一帧图像内匹配像素点数大于0的图像网格，统计该图像网格在第二帧图像网格内的像素点数量，并将像素点数量最多的图像网格标记为潜在的匹配图像网格，获得连续两帧图像之间的图像网格匹配关系；

4)评估图像网格匹配的准确性，建立如下阈值函数：

式中，N表示划分的非重叠图像网格数量，i表示第一帧图像中的第i个图像网格，j表示与第一帧图像第i个图像网格对应第二帧图像中的图像网格，T表示匹配正确的图像网格，F表示匹配错误的图像网格，

表示潜在的匹配图像网格{i,j}的匹配置信度，

表示与第一帧图像中第i个图像网格相邻的第k个网格和第二帧图像中第j个网格相邻的第k个网格内互相匹配的像素点个数，t_i表示第一帧图像中第i个图像网格与第二帧图像中对应的图像网格的匹配置信度阈值；

5)遍历所有匹配像素点，并检查其所分配的图像网格是否为匹配正确的图像网格；当匹配像素点位于正确匹配的图像网格时，则为正确的匹配像素点；反之则是错误的匹配像素点，并剔除；

6)为消除可能存在的误划分像素点，将匹配像素点分别在x和y方向上移动半个像素，并循环执行步骤3)～步骤5)三次，标记在任意方向与所分配图像网格保持匹配一致性的像素点为正确匹配像素点，获得新的匹配像素点集M2；

7)对第一帧图像使用结构森林快速边缘检测算法，获得含有图像边缘信息的代价图C；根据代价图C计算第一帧图像像素点间的边缘保护距离，公式如下：

式中，D_G(p,q)为像素p与像素q的边缘保护距离，ρ_p,q为像素p与像素q之间所有可能的路径，C(p_s)表示通过像素p_s的代价,Γ表示像素p和q之间的任意一条路径；

8)根据边缘保护距离，将第一帧图像中所有像素点分配到其最近的匹配像素点，得到像素分配图L；

式中，L(p₁)为第一帧图像中像素点p₁的像素分配结果，D_G(p₁,p_m)为像素点p₁与匹配像素点p_m间的边缘保护距离；

9)遍历匹配像素点集M2中的所有匹配像素点，使用迪杰斯特算法查找匹配像素点的K个最近匹配像素点，建立超定方程组，计算局部权重仿射变换参数：

式中，A_P和t_p为第一帧图像像素点p₁的仿射变换参数，p_m为像素p₁的K个最近匹配像素点之一，p'_m为p_m在下一帧图像中对应的匹配像素点，k_D(p_m,p₁)为高斯核函数；

10)遍历参考帧所有像素点，根据像素分配图L,使用仿射变换方程，对参考帧进行由稀疏到稠密的插值，获得初始稠密对应场；

式中，p₁为第一帧图像中任意像素点，

为像素点p₁的最近匹配像素点的仿射变换参数；

11)将初始稠密对应场带入以下能量泛函求最优解：

式中，w＝(u,v)为计算光流,初始稠密对应场

为w＝(u,v)的初始值，Ψ为惩罚函数，j₀为符合亮度守恒假设的运动张量分量，γ为梯度守恒权重，j_xy为符合梯度守恒的运动张量分量，

为平滑项局部平滑权重；

12)输出光流计算结果。

Images