CN109509217B - 一种运动结构相似性的低秩序列影像匹配点粗差检测方法 - Google Patents

Abstract

本发明提供了一种运动结构相似性的低秩序列影像匹配点粗差检测方法，包括对初始匹配点计算序列影像间匹配点运动结构相似度矩阵；进行低秩和稀疏分解建模。采用运动结构的几何一致性条件，实现了稳健的匹配点(稀疏或密集)粗差检测，成果既可应用到常规的灰度匹配中，也可以应用于特征跟踪匹配中，并支持多视匹配结果的粗差检测。本发明的方法以运动结构相似性为正确匹配约束条件，构建序列影像匹配点的低秩和稀疏优化模型，完成错误匹配点的检测。本发明方法的处理过程没有近似，并且可在多视影像特征点匹配之后或匹配点跟踪过程中使用，可有效提高正确匹配率。

Description

一种运动结构相似性的低秩序列影像匹配点粗差检测方法

技术领域

本发明涉及影像匹配的技术领域，尤其涉及一种运动结构相似性的低秩序列影像匹配点粗差检测方法。

背景技术

运动结构相似性的低秩序列影像匹配点粗差检测方法，能自动检测出视频或序列影像中的错误匹配点，可应用于地面、航空、航天视频序列影像的匹配、目标跟踪等领域中，作为双视或多视错误匹配点的检测方法。

目前基于序列影像的匹配方法主要有基于像方的灰度相关和光流跟踪法、但受光照、尺度变化、深度不连续、运动物体边界变化以及重复纹理等影响，序列影像间往往不满足灰度不变性和亮度守恒性，因此影像匹配后仍存在大量的错误匹配点。相应的，基于几何约束的匹配点粗差检测方法被陆续提出，具体可分为全局法和局部法两大类。

基于几何约束的全局法，认为序列影像间满足全局几何一致性，如对极几何、投影几何等，通过在像方和物方构建全局几何一致性模型实现匹配点的粗差检测。在此基础上，Torr P H S等人提出了采用MLESAC随机一致性采样方法估计影像间对极几何检测匹配点粗差的方法，(参考：Torr P H S,Zisserman A.MLESAC:A New Robust Estimator withApplication to Estimating Image Geometry[J].Computer Vision&ImageUnderstanding,2000,78(1):138-156.)。Hartley R等人提出了采用Ransac随机一致性采样方法估计影像间对极几何或投影几何(单应性矩阵)检测匹配点粗差的方法，(参考：Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].2nded.Cambridge:Cambridge University Press,2003.)，但存在低内点率、场景中存在多个几何模型变换(不满足全局几何一致性假设)时，该方法往往无法精确求解几何模型造成粗差检测失败或仅保留显著场景的正确匹配点。

Herve Jegou等人提出了弱几何一致性WCG方法，它利用所有特征点计算出的尺度和角度值(由SIFT特征点计算)的统计分布来去除错误匹配对(参考：Jegou H,Douze M,Schmid C.Hamming Embedding and Weak Geometric Consistency for Large ScaleImage Search[C]//European Conference on Computer Vision.Springer-Verlag,2008:304-317.)。该方法较好的应用于图像的检索中，但往往针对显著性场景，对于多目标场景，无法利用一种目标的统计特征来约束多目标的匹配点，实验结果往往仅保留显著场景的匹配点。类似的方法还有张正鹏等人提出了一种基于多约束条件的特征匹配点粗差检测方法，利用匹配点间光流幅度和方向直方图统计结果，融合极线、尺度和天空点约束条件实现全景影像匹配点的粗差检测(张正鹏,江万寿,张靖.车载立方体全景影像匹配点的粗差检测方法[J].武汉大学学报(信息科学版),2014,39(10):1208-1213.)。该方法的粗差检测考虑了多个特征约束可以较好的实现街景较复杂场景的粗差检测，但往往需要多个约束条件的合并使用才能达到较好的检测结果。

另外在摄影测量领域，进行多视匹配过程中，经常采用前交后交法来去除匹配连接点的粗差，即根据外参前方交会得到物方点，再由后方交会投影回像方，以所有像点残差的三倍中误差作为评判标准来确定粗差(参考：王密,杨博,李德仁,等.资源三号全国无控制整体区域网平差关键技术及应用[J].武汉大学学报(信息科学版),2017,42(4):427-433.)，但该方法需要已知外参，或依赖于高精度的外参估计。

基于几何约束的局部法，认为序列影像间满足局部几何一致性，如局部结构关系不变性等，通过在像方和物方构建局部几何一致性模型实现匹配点的粗差检测。在此基础上，杜春鹏等人提出了一种基于位置关联和拓扑关系一致性约束的粗差检测方法，认为左右片匹配点的位置可以用遥感影像附带的RPC参数(POS)进行求解，将匹配结果约束在一个窗口内，并且利用匹配点的邻接关系不变性进一步检测粗差(参考：杜春鹏,李景山.一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法[J].测绘通报,2017(10):115-119.)。但该方法需要依赖RPC参数，且邻接关系约束是通过直线匹配完成的，因此受直线匹配精度影响，既增加了算法的复杂性，也给结果带来了一定的不确定性。

另一类方法是在物方建立局部几何约束条件完成像方匹配点的粗差检测。主要思路是将像方多视匹配结果，根据相机外参投影到物方，并建立局部范围内物方面元满足一定的光滑曲面特征模型，认为不满足局部曲面特征物点对应的像点为粗差点(参考：李智强.资源卫星影像匹配粗差筛除算法设计与实现[J].测绘科学,2017,42(6):202-206.)。但该类方法虽然增加了物方对像方匹配点的几何约束，但往往需要依赖高精度的位姿数据通过前方交会求得物方点。

综上，全局法和局部法都各有优劣，全局法的优点是模型统一简单，在目标单一场景，且较高内点率条件下，可以获得较好的粗差检测效果，缺点是模型求解耗时，不适用于复杂场景低内点率的情况。相反局部法可以兼容场景的复杂性可顾及多模型的几何变换，粗差检测效率较高，缺点是不易表达局部特征以及作用域范围。

发明内容

针对上述技术问题，本发明的目的在于提供一种运动结构相似性的低秩序列影像匹配点粗差检测方法，采用运动结构的几何一致性条件，实现了稳健的匹配点(稀疏或密集)粗差检测，成果既可应用到常规的灰度匹配中，也可以应用于特征跟踪匹配中，并支持多视匹配结果的粗差检测。

为实现上述目的，本发明提供了一种运动结构相似性的低秩序列影像匹配点粗差检测方法，包括如下步骤：

S1：将序列影像的n视m个初始匹配点按横纵坐标xy组成一个m×2n的坐标矩阵X，记第i个初始匹配点构成坐标矩阵的一个行向量为：(X_i1,X_i2,…,X_in)＝(x_i1,y_i1,x_i2,y_i2,…,x_in,y_in)；

S2：对步骤S1所得结果X计算序列影像间匹配点运动结构相似度矩阵D；

S3：对步骤S2所得结果D进行低秩和稀疏分解建模，得到优化模型f(A,E)，其中D＝A+E，A为满足运动结构相似性的低秩矩阵，E为错误匹配点的稀疏矩阵；

S4：对步骤S3所得结果f(A,E)，表达为增广拉格朗日函数L(A,E,Y,μ)，其中Y为拉格朗日乘子，μ为模型的惩罚参数，采用ALM方法进行低秩和稀疏分解，得到低秩矩阵A和稀疏矩阵E；

S5：对步骤S4所得结果E计算其列向量的奇异值得到奇异值向量ζ和其均值mean(ζ)；

S6：对步骤S5所得结果ζ计算其标准差σζ；

S7：对步骤S5所得结果ζ和步骤S6所得结果σζ，判断某列向量奇异值ζ_i与均值mean(ζ)之差是否大于k倍奇异值向量标准差σζ，即ζi-mean(ζ)>kσ_ζ，如果是，则该列向量对应的匹配点为错误匹配点，如果否，则该列对应的匹配点为正确匹配点。

可选的，所述步骤2中的运动结构相似度矩阵D中，其r行c列表达式为：

其中，<Φ^r,Φ^c>＝tr(Φ^r(Φ^c)^T)，Φ^r＝(X_r1-X_r2,X_r2-X_r3,…,X_rn-1X_rn)，表示第r个匹配点对应的n视匹配点序列间的运动矢量；Φ^c＝(X_c1-X_c2,X_c2-X_c3,…,X_cn-1X_cn)，表示第c个匹配点对应的n视匹配点序列间的运动矢量，tr(·)为取迹操作，d_D(r,c)为每两对匹配点运动矢量间的Tanimoto相似性度量，exp(.)为取以自然常数e为底的指数函数，σ为标准差。

优选的，所述步骤S3中低秩和稀疏优化模型f(A,E)的表达式为：

其中，||A||_*为矩阵A的秩，λ为正则化参数，等于

m为初始匹配点数。

进一步的，所述步骤S4中的增广拉格朗日函数L(A,E,Y,μ)表达式为：

其中，||·||_F是Frobenius范式。

对L(A,E,Y,μ)采用ALM方法进行低秩和稀疏分解，得到低秩矩阵A，其第t+1次迭代表达式为：

其中，

svd表示奇异值分解操作，Θ₍·₎(·)表示软阈值操作。

对L(A,E,Y,μ)采用ALM法进行低秩和稀疏分解，得到稀疏矩阵E，其第t+1次迭代表达式为：

其中，Ω₍·₎(·)表示软阈值操作。

在模型求解过程中，更新Y的第t+1次迭代，表达式为：

Y_t+1＝Y_t+μ_t(D-A_t+1-E_t+1) (6)

更新μ的第t+1次迭代，表达式为：

μ_t+1＝ρμ_t (7)

其中，ρ表达为大于1的步长。

由上，本发明的运动结构相似性的低秩序列影像匹配点粗差检测方法，能够对序列影像的初始匹配点(稀疏或密集)进行稳健的粗差检测，由于结合了运动结构相似性的几何一致性约束条件，利用低秩和稀疏理论进行模型的表达，因此可实现稳健的粗差检测。本发明的方法以运动结构相似性为正确匹配约束条件，构建序列影像匹配点的低秩和稀疏优化模型，完成错误匹配点的检测，本发明方法的处理过程没有近似，并且可在多视影像特征点匹配之后或匹配点跟踪过程中使用，可有效提高正确匹配率。

附图说明

图1是本发明的运动结构相似性的低秩序列影像匹配点粗差检测方法的流程图；

图2是本发明与经典方法的粗差检测结果图(Benchmark数据)；

图3是本发明与真实数据的粗差检测结果图(KITTI数据)；

图4a是本发明与经典方法的实验数据一对比折线图，纵坐标为评价指标计算的精度值，横坐标为评价指标；

图4b是本发明与经典方法的实验数据二对比折线图，纵坐标为评价指标计算的精度值，横坐标为评价指标。

具体实施方式

下面参见图1～图4对本发明所述运动结构相似性的低秩序列影像匹配点粗差检测方法进行详细说明。

如图1所示，为了对匹配点进行粗差检测，本发明一种运动结构相似性的低秩序列影像匹配点粗差检测方法，包括步骤如下：

步骤S1：将序列影像的n视m个初始匹配点按横纵坐标xy组成一个m×2n的坐标矩阵X，记第i个初始匹配点构成坐标矩阵的一个行向量为：(X_i1,X_i2,…,X_in)＝(x_i1,y_i1,x_i2,y_i2,…,x_in,y_in)；

步骤S2：对步骤S1所得结果X计算序列影像间匹配点运动结构相似度矩阵D，其r行c列表达式为：

其中，<Φ^r,Φ^c>＝tr(Φ^r(Φ^c)^T)，Φ^r＝(X_r1-X_r2,X_r2-X_r3,…,X_rn-1X_rn)，表示第r个匹配点对应的n视匹配点序列间的运动矢量；Φc＝(X_c1-X_c2,X_c2-X_c3,…,X_cn-1X_cn)，表示第c个匹配点对应的n视匹配点序列间的运动矢量，tr(·)为取迹操作，d_D(r,c)为每两对匹配点运动矢量间的Tanimoto相似性度量，exp(.)为取以自然常数e为底的指数函数，σ为标准差。

步骤S3：对步骤S2所得结果D进行低秩和稀疏分解建模，并利用步骤S4所得结果P约束D的局部相似性，得到优化模型f(A,E)，其中D＝A+E，A为满足运动结构相似性的低秩矩阵，E为错误匹配点的稀疏矩阵。

其中，||A||_*为矩阵A的秩，λ为正则化参数，等于

m为初始匹配点数。

步骤S4：对步骤S3所得结果f(A,E)，表达为增广拉格朗日函数L(A,E,Y,μ)，表达式为：

其中，Y为拉格朗日乘子，μ为模型的惩罚参数，||·||_F是Frobenius范式。

对L(A,E,Y,μ)采用ALM方法进行低秩和稀疏分解，得到低秩矩阵A，其第t+1次迭代表达式为：

其中，

svd表示奇异值分解操作，Θ₍·₎(·)表示软阈值操作。

对L(A,E,Y,μ)采用ALM法进行低秩和稀疏分解，得到稀疏矩阵E，其第t+1次迭代表达式为：

其中，Ω₍·₎(·)表示软阈值操作。

在模型求解过程中，更新Y的第t+1次迭代，表达式为：

Y_t+1＝Y_t+μ_t(D-A_t+1-E_t+1) (6)

更新μ的第t+1次迭代，表达式为：

μ_t+1＝ρμ_t (7)

其中，ρ表达为大于1的步长。

步骤S5：对步骤S4所得结果E计算其列向量的奇异值得到奇异值向量ζ和其均值mean(ζ)；

步骤S6：对步骤S5所得结果ζ计算其标准差σζ；

步骤S7：对步骤S5所得结果ζ和步骤S6所得结果σζ，判断某列向量奇异值ζ_i与均值mean(ζ)之差是否大于k倍奇异值向量标准差σζ，即ζi-mean(ζ)>kσ_ζ，如果是，则该列向量对应的匹配点为错误匹配点，如果否，则该列对应的匹配点为正确匹配点。

下面通过实施示例进一步对本发明方法进行说明。

数据集：采用Benchmark数据集的castle数据和KITTI数据集的01数据。

评价指标：计算准确率、召回率、精确率和F-measure四个评价指标。

实施步骤：

a)采用SIFT/光流目标跟踪算法对序列影像进行初始匹配。

b)使用本发明与经典方法MLESAC分别完成初始匹配点的粗差检测。其中，本发明方法在Benchmark数据实验中的参数为：k＝1，σ＝0.2，ρ＝1.5，在KITTI数据实验中的参数为：k＝1，σ＝0.5，ρ＝1.5；MLESAC方法的参数为：迭代次数为1024次，Sampson距离阈值为2个像素，由于受极几何模型求解精度的影响，匹配点的粗差检测结果是变化的，因此采用算法运行十次中的粗差检测点数最少和最多的结果进行比较。

针对Benchmark数据，匹配点粗差检测结果如图2所示，与真实数据比较(见图2(b))，可以发现本发明所述方法可较好的将场景中的正确和错误匹配点区分开，由于所选数据具有极高纹理重复性特征和场景中地物尺度变化特征，证明本发明方法可以较好的处理高纹理重复性和尺度变化的静态场景匹配问题。而MLESAC方法受极几何模型求解精度的影响，粗差检测结果十分不稳定，如图2(c)和图2(d)所示。

针对KITTI数据，匹配点粗差检测结果如图3所示，与真实数据比较(见图3(b))，可以发现本发明所述方法可较好的将场景中的正确和错误匹配点区分开，由于所选数据具有极高纹理重复性特征、场景中地物尺度变化特征和多目标特征，证明本发明方法可以较好的处理高纹理重复性、尺度变化和多目标的动态场景匹配问题。

c)对所有方法处理后的匹配结果，计算准确率、召回率、精确率和F-measure四个评价指标。方案示例的比较结果如图4a及图4b所示，可以发现本发明所述方法在各项指标中均表现优异，尤其在动态场景中，能够较好的检测出场景中多目标的匹配粗差，同时本发明所述方法在多视的匹配粗差检测中表现依然优异。

本发明的运动结构相似性的低秩序列影像匹配点粗差检测方法，能够对序列影像的初始匹配点(稀疏或密集)进行稳健的粗差检测，由于结合了运动结构相似性的几何一致性约束条件，利用低秩和稀疏理论进行模型的表达，因此可实现稳健的粗差检测。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种运动结构相似性的低秩序列影像匹配点粗差检测方法，其特征在于，包括如下步骤：

S1：将序列影像的n视m个初始匹配点按横纵坐标xy组成一个m×2n的坐标矩阵X，记第i个初始匹配点构成坐标矩阵的一个行向量为：(X_i1,X_i2,…,X_in)＝(x_i1,y_i1,x_i2,y_i2,…,x_in,y_in)；

S2：对步骤S1所得结果X计算序列影像间匹配点运动结构相似度矩阵D；

S3：对步骤S2所得结果D进行低秩和稀疏分解建模，得到优化模型f(A,E)，其中D＝A+E，A为满足运动结构相似性的低秩矩阵，E为错误匹配点的稀疏矩阵；

S4：对步骤S3所得结果f(A,E)，表达为增广拉格朗日函数L(A,E,Y,μ)，其中Y为拉格朗日乘子，μ为模型的惩罚参数，采用ALM方法进行低秩和稀疏分解，得到低秩矩阵A和稀疏矩阵E；

S5：对步骤S4所得结果E计算其列向量的奇异值得到奇异值向量ζ和其均值mean(ζ)；

S6：对步骤S5所得结果ζ计算其标准差σζ；

S7：对步骤S5所得结果ζ和步骤S6所得结果σζ，判断某列向量奇异值ζ_i与均值mean(ζ)之差是否大于k倍奇异值向量标准差σζ，即ζi-mean(ζ)>kσ_ζ，如果是，则该列向量对应的匹配点为错误匹配点，如果否，则该列对应的匹配点为正确匹配点；

所述步骤S2中的运动结构相似度矩阵D，其r行c列表达式为：

其中，<Φ^r,Φ^c>＝tr(Φ^r(Φ^c)^T)，Φ^r＝(X_r1-X_r2,X_r2-X_r3,...,X_rn-1X_rn)，表示第r个匹配点对应的n视匹配点序列间的运动矢量；

表示第c个匹配点对应的n视匹配点序列间的运动矢量，tr(·)为取迹操作，d_D(r,c)为每两对匹配点运动矢量间的Tanimoto相似性度量，exp(.)为取以自然常数e为底的指数函数，σ为标准差；

所述步骤S3中低秩和稀疏优化模型f(A,E)的表达式为：

其中，||A||_*为矩阵A的秩，λ为正则化参数，等于

m为初始匹配点数。

2.根据权利要求1所述的运动结构相似性的低秩序列影像匹配点粗差检测方法，其特征在于，所述步骤S4中的增广拉格朗日函数L(A,E,Y,μ)表达式为：

其中，||·||_F是Frobenius范式；

对L(A,E,Y,μ)采用ALM方法进行低秩和稀疏分解，得到低秩矩阵A，其第t+1次迭代表达式为：

其中，

svd表示奇异值分解操作，Θ_(·)(·)表示软阈值操作；

对L(A,E,Y,μ)采用ALM法进行低秩和稀疏分解，得到稀疏矩阵E，其第t+1次迭代表达式为：

其中，Ω_(·)(·)表示软阈值操作；

在模型求解过程中，更新Y的第t+1次迭代，表达式为：

Y_t+1＝Y_t+μ_t(D-A_t+1-E_t+1)

更新μ的第t+1次迭代，表达式为：

μ_t+1＝ρμ_t

其中，ρ表达为大于1的步长。

Images