CN112001432B

CN112001432B - 基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法

Info

Publication number: CN112001432B
Application number: CN202010806097.0A
Authority: CN
Inventors: 杨长才; 代栾媛; 刘翼章; 魏丽芳; 陈日清
Original assignee: Fujian Agriculture and Forestry University
Current assignee: Fujian Agriculture and Forestry University
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2022-07-08
Anticipated expiration: 2040-08-12
Also published as: CN112001432A

Abstract

本发明涉及一种基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法。该方法根据贝叶斯原理，建立匹配图像A与B之间的引导匹配策略模型、建立图像A与B中所在邻域内向量长度比及其夹角之间的软指派表达式并依据邻域拓扑加权一致性进行平滑性判断以及根据两幅图像中所选择的向量的长度比和其夹角以及多尺度K邻域的方法构造寻求最小代价的数学模型。本发明的图像匹配方法在精度、召回和F值这三个指标方面表现较好，因此本发明图像匹配方法具有良好的应用前景，可应用于三维重建和快速地实现无人机遥感图像的拼接等领域中。

Description

基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法

技术领域

本发明涉及图像匹配领域，具体的说，本发明涉及一种基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法。

背景技术

过去的很长一段时间中，特征匹配已经发展为实现图像匹配最主要的形式。由于，其旨在对来自两幅图像中具有相同或相似属性的显著且稳定的特征结构进行识别并配对，是计算机视觉、模式识别以及图像处理领域一个基础而关键的问题。但是，特征匹配本质上是一个复杂组合优化问题，具有极高的计算复杂度，同时噪声、离群点以及复杂场景变换的影响造成现有的特征匹配方法存在多方面的不足，从而严重制约了其实际应用能力。因此，研究一种准确、鲁棒且高效的局部保持特征匹配算法对实现智能视觉有着极为重要的理论研究意义和实际应用价值

在过去的几十年里许多学者提出了许多不同的方法。根据最近的工作，特征匹配方法可分为四大类，即采样方法、非参数插值方法、图匹配方法和基于学习的方法。但是，它们匹配的结果都有可以进一步的提高的地方。例如：采样方法采用了一种假设-验证的程序来获得一个全部都是内点的最小的集合。然而，要获得都是内点的最小子集，当初始匹配的集合中外点的比例很高的时候，迭代次数必须是指数级的增长。此外，一个预定义的参数模型在处理经过复杂非刚性变换的图像对时效率较低。还有些学者提出了一些非参数插值方法。这些方法通常都有一些先验假设，如利用正确匹配的几何一致性来学习一对对应函数或插值一个运动场，满足这些函数或者运动场中的匹配是平滑的。相比使用采样的方法，这些方法可以处理非刚性转换，而它们通常具有立方级的复杂度，这在很大程度上限制了它们在实时任务中的应用。基于学习的方法是解决特征匹配问题的另一种方法。对于特征检测和描述，尽管使用深度学习架构的人获得的结果已经验证了比手工制作的结果好，但是假设集仍然包含大量错误匹配。因此，一种误匹配剔除方法仍然是十分有必要的。最近，一些学者提出了几种基于一致性约束和局部邻域一致性的方法，如基于一致性的决策边界，基于网格的运动统计(GMS)和局部保持匹配(LPM)取得了很好的效果。在LPM中，它是基于这样直观的观察：当图像对发生复杂的变形时，对应的特征点之间的绝对距离可能会发生很大的变化。但是在特征点的局部邻域内，由于物理限制，局部邻域结构和拓扑结构通常保持良好。LPM的优点是简单的形式使其能在几毫秒内完成数千个错误匹配的剔除。然而，LPM的主要缺点是其现有的邻域拓扑的一致性不能很好地区分内点和外点，而且很容易对外点产生过度的惩罚。此外，当初始匹配的外点比例高的时候，它的邻域结构的构建将不再可靠的。

发明内容

本发明的目的在于提供一种基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法，该方法在精度、召回和F值这三个指标方面表现较好，本发明图像匹配方法具有良好的应用前景，可应用于三维重建和快速地实现无人机遥感图像的拼接等领域中。

为实现上述目的，本发明的技术方案是：一种基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法，包括以下步骤：

步骤S1、根据贝叶斯原理，建立匹配图像A与B之间的引导匹配策略模型；

步骤S2、建立图像A与B中所在邻域内向量长度比及其夹角之间的软指派表达式并依据邻域拓扑加权一致性进行平滑性判断；

步骤S3、根据两幅图像中所选择的向量的长度比和其夹角以及多尺度K邻域构造寻求最小代价的数学模型并求解，得到匹配结果。

在本发明一实施例中，所述步骤S1具体实现如下：

S11、假定图像中的点集

S12、基于输入图像中提取的N对点集

构建邻域

S13、建立位于邻域

和

内的共有的匹配个数与每个邻域内总的匹配个数，计算方法如下：

γ_i＝Θ_i/K

其中，Θ_i为邻域

和

内的共有匹配数目，

表示x_i的邻域，

表示y_i的邻域，并且x_i和y_i分别表示两幅图像特征点的空间位置，参数K是由每个特征点的邻域信息组成的最近邻的个数；

S14、通过公式S₀＝{i|γ_i＞α}，当γ_i＞α时，判定此点为内点，反之则为外点，由此可以得到一个具有较高比率内点的图像匹配的特征点子集S₀，参数α确定特征点子集S₀查全率权衡。

在本发明一实施例中，所述步骤S2具体实现如下：

S21、建立图像A与B中所在邻域内向量长度比及其夹角之间的软指派表达式如下：

其中，

描述向量v_i和

的长度比，

描述向量v_i和

的夹角，v_i和

分别是假定匹配(x_i,y_i)和它的n_i邻近假定匹配的平均位移向量，ξ是用于向量v_i和

之间的长度比和角度进行权衡的权重，

是假定匹配(x_i,y_i)的内噪声尺度；

S22、为了适用于不同尺度的图像匹配，使用一个带有预计算阈值τ的距离度量：

其中，

R_t和θ_t分别是向量v_i和

的长度比以及角度的阈值，特别地，当R_i和θ_i的值分别小于各自的阈值R_t和θ_t时，认为v_i和

对邻域拓扑具有高度的一致性。

在本发明一实施例中，所述步骤S3具体实现如下：

S31、根据两幅图像中所选择的向量的长度比和其夹角以及多尺度K邻域构造寻求最小代价的数学模型：

经化简可得：

其中

p_i∈{0,1}用来指示在假定点集S中第i对对应关系(x_i,y_i)是否正确，p_i＝1表示第i对对应关系正确并且根据集合I_j构建邻域

考虑到K的最优值随着数据的变化而变化，因此设计一种多尺度邻域构造策略

对于

和

分别表示在欧氏距离下点x_i、y_i最近的K_m邻域；根据集合I_j构建邻域

S32、初始化j＝0，把具有较高比率内点的图像匹配的特征点子集S₀赋值给集合I_j；

S33、通过公式

计算

表明第i个假定匹配(x_i,y_i)满足局部保持性和拓扑结构性质的几何一致性的程度；

S34、令j＝j+1；

S35、通过公式

i＝1,...,N与公式I^*＝{i|p_i＝1,i＝1,...,N}计算I_j；

其中，参数λ用于确定从初始匹配中得到的假定匹配是否正确，是一个阈值；

重复步骤S33-S35，直到j≥MaxIter，其中MaxIter＝3；把I_j赋值给I^*；输出新的具有高比例内点集合I^*，其可以使基于该高比例内点子集的邻域结构更加可靠，从而得到的更好的匹配结果。

在本发明一实施例中，该方法应用于三维重建领域、快速地实现无人机遥感图像的拼接领域。

相较于现有技术，本发明具有以下有益效果：本发明方法相比于现有技术在精度、召回和F值这三个指标方面表现较好，本发明图像匹配方法具有良好的应用前景，可应用于三维重建和快速地实现无人机遥感图像的拼接等领域中。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的求解最小代价的数学模型的示意图。

图3局部邻域拓扑结构图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于先进邻域拓扑一致性的鲁棒特征匹配的图像匹配方法，包括以下步骤：

以下为本发明的具体实现过程。

参照附图1、2，本发明主要由3个步骤组成：根据贝叶斯原理，建立匹配图像A与B之间的引导匹配策略模型、建立图像A与B中所在邻域内向量长度比及其夹角之间的软指派表达式并依据邻域拓扑加权一致性进行平滑性判断以及根据两幅图像中所选择的向量的长度比和其夹角构造寻求最小代价的数学模型所述的寻求最小代价的数学模型。

步骤1，根据贝叶斯原理，建立匹配图像A与B之间的引导匹配策略模型,包括以下步骤：

步骤1.1，初始化图像A与B中的参数和变量；

假定图像中的点集

参数K,α,λ,τ,ζ和MaxIter。其中参数K是由每个特征点的邻域信息组成的最近邻的个数；参数α确定了特征点子集S₀查全率权衡；参数λ是判断一致性的阈值；参数τ用于确定假定的匹配在邻域平均匹配的基础下是否具有较高的邻域拓扑一致性和邻域平均匹配；

步骤1.2，基于输入图像中提取的N对假定匹配集合

构建邻域

步骤1.3，建立位于邻域

和

内的共有的匹配(向量)个数与每个邻域内总的匹配(向量)个数，计算方法如下：

γ_i＝Θ_i/K

其中，Θ_i为邻域

和

内的共有匹配数目，

表示x_i的邻域，

表示y_i的邻域，并且x_i和y_i分别表示两幅图像特征点的空间位置(如图3(a)、(b))，其中参数K是由每个特征点的邻域信息组成的最近邻的个数。由此易知γ_i∈[0,1]。

步骤1.4，通过预定义的阈值α来区分内点与外点。很显然，一个内点会带来一个高的γ_i值，反之亦然。通过公式S₀＝{i|γ_i＞α}，即当γ_i＞α时，判定此点为内点，反之则为外点，由此可以得到一个具有较高比率内点的图像匹配的子集S₀。

步骤2，建立图像A与B中所在邻域内向量长度比及其夹角之间的软指派表达式并依据邻域拓扑加权一致性进行平滑性判断具体如下：

其中，

描述向量v_i和

的长度比。

描述向量v_i和

的夹角。v_i和

分别是它们假定匹配(x_i,y_i)和它的n_i邻近假定匹配的平均位移向量。ξ是用于向量v_i和

之间的长度比和角度进行权衡的权重。

是假设匹配(x_i,y_i)的内噪声尺度。

步骤2.1，为了适用于不同尺度的图像匹配，使用了一个带有预计算阈值τ的距离度量。

其中，

R_t和θ_t分别是向量v_i和

的长度比以及角度的阈值。特别地，当R_i和θ_i的值分别小于各自的阈值R_t和θ_t时，认为v_i和

对邻域拓扑具有高度的一致性。在实验中，经验地设定阈值

步骤3，根据两幅图像中所选择的向量的长度比和其夹角以及多尺度K邻域构造寻求最小代价的数学模型并求解，具体步骤如下：

步骤3.1，初始值：j＝0；把具有较高比率内点的图像匹配的子集S₀赋值给集合I_j；

步骤3.2，根据集合I_j构建邻域

在上述距离的基础上，考虑到K的最优值随着数据的变化而变化，因此设计了一种多尺度邻域构造策略

例如说

和

表示在欧氏距离下点x_i最近的K_m邻域。

步骤3.3，通过公式

计算

表明第i个假定匹配(x_i,y_i)满足满足局部保持性和拓扑结构性质的几何一致性的程度。

步骤3.4，令j＝j+1；

步骤3.5，通过公式

i＝1,...,N与公式I^*＝{i|p_i＝1,i＝1,...,N}计算I_j；

其中，参数λ用于确定从初始匹配中得到的假定匹配是否正确，也是一个阈值。

重复步骤3.2-3.5]直到j≥MaxIter，其中MaxIter＝3；

把I_j赋值给I^*；

输出：新的具有高比例内点集合I^*，其可以使基于该高比例内点子集的邻域结构更加可靠，从而得到的更好的匹配结果。

实施例中，通常在步骤2.1把K值设为10，在步骤3.2时，K＝[12,10,8]并且α＝0.5，λ＝0.8，τ＝1.84，ξ＝0.4，MaxIter＝3。

选取RANSAC、ICF、GS、VFC以及本发明的ANTC方法对VGG、Strecha和RS三个不同的数据集进行配准得到的准确率(AP)、召回率(AR)以及F值(AF)。其对比结果为，RANSAC方法具有低的准确率。对于数据集VGG而言，ICF算法具有高的准确率，但是对于另外的两个数据集准确率比较低。并且ICF算法对于三个数据集的召回率和F值都很低。GS算法具有较高的准确率但是召回率和F值较低。VFC算法准确率低但是召回率高。可以看到本发明的ANTC(一种通过先进的邻域拓扑一致性进行鲁棒特征匹配的图像匹配方法)方法在准确率和召回率之间去得了最好的平衡。

表1各方法效果对比表

如表1所示，将本发明的方法在不同的数据集上进行实验，实验的结果显示，本发明可以在召回率与准确性之间取得了很好的平衡。结合实际可知，本发明可以在三维重建和快速地实现无人机遥感图像的拼接等领域进行广泛的应用。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。