CN112784898B - 基于局部相对运动一致性聚类的特征点匹配方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供一种基于局部相对运动一致性聚类的特征点匹配方法，包括：步骤100，给定两个匹配对象的初始对应点集，构建K近邻结构图，得到的K近邻结构图；步骤200，将点的局部相对运动速度分为相对运动线速度和相对运动角速度，定义两个点集的相对运动一致性；步骤300，对两个点集的相对运动线速度和相对运动角速度，进行相对运动一致性聚类；步骤400，基于相对运动速度一致性，构造特征匹配模型，并进行特征匹配。本发明能够提高匹配算法的精确性和效率，算法的鲁棒性强。

Description

基于局部相对运动一致性聚类的特征点匹配方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于局部相对运动一致性聚类的特征点匹配方法。

背景技术

特征匹配是图像处理领域的关键技术，可用于图像配准、目标识别、目标跟踪、图像检索等。目前，基于特征点匹配技术大致分为基于概率的特征匹配、基于变换模型的特征匹配、基于图匹配的特征匹配及基于局部结构一致性的特征匹配。

基于概率的特征匹配以经典的随机抽样一致算法(RANSAC)为代表，该算法从一组含有格外点的点集中估计变换模型，为不确定的算法，在一定的概率下得出一个合理的结果，后来出现很多改进的RANSAC算法，如Marginalizing Sample Consensus(MLESAC),Progressive Sample Consensus(PROSAC)，Graph-Cut RANSAC(GC-RANSAC)等，这些算法在一定程度上提高了匹配的精度和效率，但不能处理格外点较多时的点集匹配。

基于变换模型的特征匹配有最近点迭代算法(ICP),thin-plate spline robustpoint matching(TPSRPM)，Coherent Point Drift(CPD)，这些匹配算法对初始点集要求较高，当干扰点较多时，匹配效果欠佳。

基于图匹配的特征匹配将特征匹配转换为二次分派问题，此类算法有Spectralmatching(SM),SM With affine constraint(SMAC)和Graph Shift，factorized graphmatching(FGM)，然而二次分派问题是NP难问题，适合点集小的匹配，不能处理大点集的匹配问题。

基于局部结构一致性的特征匹配算法有LLT，当局部干扰点的结构相同时(该现象为伪同构问题)，该算法不能去除这些点，另外反复估算变换模型导致算法的效率降低。基于K近邻的局部临近结构的点匹配算法有GTM，WGTM，RSOC，这些算法采用局部结构约束，旨在提高特征点匹配的精度，算法的效率不高。在此基础之上，又出现了基于几何约束的特征匹配算法LPM，LMR和RFM-SCAN；LMR算法基于局部近邻结构的一致性，采用机器学习的方法，将特征匹配看做两类分类问题。RFM-SCAN将特征匹配转换为空间聚类问题，此方法不需要计算变换矩阵，鲁棒性强。然后，这些算法在处理重复模式和单一特征的图像时，由于物理条件的约束，图像中特征点局部区域内，实际匹配的点的相对运动是一致的，不匹配的格外点的局部相对运动是无规则的；由于格外点的局部结构相似，很难去除伪同构的格外点，影响匹配的精度。

发明内容

本发明主要解决现有技术的处理方法由于格外点的局部结构相似，很难去除伪同构的格外点，影响匹配的精度等技术问题，提出一种基于局部相对运动一致性聚类的特征点匹配方法，首先定义了一个新颖的局部结构一致性评估方法，然后通过基于密度的聚类算法DBSCAN进行聚类，采用两步匹配过程得到准确的匹配结果。

本发明提供了一种基于局部相对运动一致性聚类的特征点匹配方法，包括：

步骤100，给定两个匹配对象的初始对应点集构建K近邻结构图/>得到的K近邻结构图；

步骤200，将点的局部相对运动速度分为相对运动线速度和相对运动角速度，定义两个点集的相对运动一致性，包括步骤201至204：

步骤201，定义相对运动线速度，根据相对运动向量，利用以下公式得到初始匹配点的相对运动线性速度：

其中，p_i,p_j表示初始匹配点，q_i,q_j表示初始匹配点的对应点，v_ij表示点p_i至p_j构成的相对运动向量，u_ij表示点q_i至q_j构成的相对运动向量，η_ij表示初始匹配点的相对运动线性速度；

步骤202，对相对线性速度取对数，得到以下相对运动线性速度一致性描述公式：

步骤203，获得两个向量v_ij和u_ij的角速度为：

φ_ij＝θ(v_ij)-θ(u_ij) (3)

其中，θ(v_ij)表示v_ij向量的倾斜角，θ(u_ij)表示u_ij向量的倾斜角，表示两个向量v_ij和u_ij的角速度；

步骤204，根据如下公式进行相对运动向量的角速度一致性描述：

其中，r_ij表示一致性描述后得到的角速度，取值范围为[-π,π]；

步骤300，对两个点集的相对运动线速度和相对运动角速度，进行相对运动一致性聚类：

采用基于密度的聚类算法进行聚类，得到最大的聚类C_max＝{c_ij}，c_ij＝(s_ij,r_ij)，最大聚类点集的运动应该是一致的，距离最大聚类中心越近，能够匹配的概率越大；最大聚类的平均运动一致性和/>作为最大聚类中心，定义如下：

其中，S_max＝{s_ij|c_ij∈C_max}，R_max＝{r_ij|c_ij∈C_max}；

由于有些匹配点的相对运动线速度一致性和相对运动角速度一致性与高密度点不在同一连续的区域，确定一个半径区域，在此范围是相对运动一致性的点，定义相对速度一致性点集合：其中，/>τ是半径，在此半径范围之内的点被认为能够匹配的点，/>是样本c_ij到到聚类中心的欧式距离；

步骤400，基于相对运动速度一致性，构造特征匹配模型，并进行特征匹配，包括步骤401至步骤403：

步骤401，给定从两幅图像得到的初始匹配点集I表示匹配过程中的真正匹配的点集，点集匹配可转换为：

I^*＝argminf(I,S) (6)

其中代价函数f为：

τ表示距离聚类中心半径的阈值，λ表示相对运动一致性目标函数的的阈值；

步骤402，结合相对运动一致性和K近邻结构，c_i定义如下：

其中，

I^*＝{i|ω_i＝1,i＝1,...,N} (10)

其中，ω_i表示对应点(p_i,q_i)是否匹配，取值为0或者1，0表示不匹配，1表示匹配；

步骤403，采用两阶段匹配策略，进行点集匹配，包括以下过程：

输入：初始对应点集参数K,λ,τ；

输出：匹配点集I^*；

第一阶段匹配：对于点集S，根据p_i和q_i的K近邻结构图并利用公式(8)得到代价函数值/>利用公式(9)和(10)，确定匹配点集I₀；

第二阶段匹配：对于点集I₀，根据p_i和q_i的K近邻结构图并利用公式(8)计算代价函数值/>利用公式(9)和(10)确定匹配点集I^*。

本发明提供的一种基于局部相对运动一致性聚类的特征点匹配方法，通过定义特征点及其K紧邻局部运动一致性，并采用聚类算法，得到局部运动一致的点对集，实现干扰点多且伪同构的点集准确匹配，提高匹配算法的精确性和效率，算法的鲁棒性强。

附图说明

图1是本发明提供的基于局部相对运动一致性聚类的特征点匹配方法的实现流程图；

图2(a)-(b)是K近邻结构图；

图3是相对运动向量；

图4是相对运动向量夹角。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1为本发明实施例提供的基于局部相对运动一致性聚类的特征点匹配方法的实现流程图。如图1所示，本发明实施例提供的基于局部相对运动一致性聚类的特征点匹配方法，包括：

步骤100，给定两个匹配对象的初始对应点集构建K近邻结构图/>得到的K近邻结构图。

图2给出了p_i和q_i的邻接结构图。如图2(a)表示了p_i的邻接结构图，如图2(b)表示了q_i的邻接结构图。

步骤200，将点的局部相对运动速度分为相对运动线速度和相对运动角速度，定义两个点集的相对运动一致性。

步骤201，定义相对运动线速度，根据相对运动向量，利用以下公式得到初始匹配点的相对运动线性速度：

如图3所示，p_i,p_j表示初始匹配点，q_i,q_j表示初始匹配点的对应点，v_ij表示点p_i至p_j构成的相对运动向量，u_ij表示点q_i至q_j构成的相对运动向量，η_ij表示初始匹配点及其对应点的相对运动线性速度。

步骤201是为了评估两个点集的局部相对运动一致性，将点的局部相对运动速度分为相对运动线速度和相对运动角速度，首先根据相对运动向量，得到初始匹配点的相对运动线性速度。

步骤202，对相对运动线性速度取对数，得到以下相对运动线性速度一致性描述公式：

步骤203，获得两个向量v_ij和u_ij的角速度为：

φ_ij＝θ(v_ij)-θ(u_ij) (3)

其中，θ(v_ij)表示v_ij向量的倾斜角，θ(u_ij)表示u_ij向量的倾斜角，表示两个向量v_ij和u_ij的角速度，如图4所示。

步骤204，根据如下公式进行相对运动向量的角速度一致性描述：

r_ij表示一致性描述后得到的角速度，取值范围为[-π,π]。

步骤300，对两个点集的相对运动线速度和相对运动角速度，进行相对运动一致性聚类。

采用DBSCAN(Density-Based Spatial Clustering of Applications withNoise，基于密度的聚类算法)聚类算法将密度最高的点归为最大的聚类C_max＝{c_ij}，最大聚类的点集速度c_ij＝(s_ij,r_ij)应该是一致的，距离最大聚类中心越近，能够匹配的概率越大。最大聚类的平均运动一致性和/>作为最大聚类中心，定义如下：

其中，S_max＝{s_ij|c_ij∈C_max}，R_max＝{r_ij|c_ij∈C_max}。

由于图像视觉变化、局部扭曲或者重复模式比较多，有些匹配点的相对运动线速度一致性和相对运动角速度一致性与高密度点不在同一连续的区域，因此，确定一个半径区域，在此范围的被认为是相对运动一致性的点。即是能够匹配的点，定义为相对速度一致性点集合

其中/>τ是半径，在此半径范围之内的点被认为能够匹配的点，/>是样本c_ij到到聚类中心的欧式距离。

步骤400，基于相对运动速度一致性，构建特征匹配模型，并进行特征匹配。

步骤401，给定从两幅图像得到的初始匹配点集I表示匹配过程中的真正匹配的点集，点集匹配可转换为：

I^*＝argminf(I,S) (6)

其中代价函数f为：

τ表示距离聚类中心半径的阈值，λ表示相对运动一致性目标函数的的阈值。

步骤402，结合相对运动一致性和K近邻结构，c_i定义如下：

其中，

I^*＝{i|ω_i＝1,i＝1,...,N} (10)

其中，ω_i表示对应点(p_i,q_i)是否匹配，取值为0或者1，0表示不匹配，1表示匹配。

步骤403，采用两阶段匹配策略，进行点集匹配，具体描述如下：

输入：初始对应点集参数K,λ,τ.

输出：匹配点集I^*

第一阶段匹配：对于点集S，根据p_i和q_i的K近邻结构图并利用公式(8)得到代价函数值/>利用公式(9)和(10)，确定匹配点集I₀；

第二阶段匹配：对于点集I₀，根据p_i和q_i的K近邻结构图并利用公式(8)计算代价函数值/>利用公式(9)和(10)确定匹配点集I^*。

本实施例提供的基于局部相对运动一致性聚类的特征点匹配方法，首先定义了相对运动角速度和相对运动线速度，由DBSCAN聚类算法得到相对运动角速度和相对运动线速度的最大聚类，并定义相对运动一致性评价函数，构造特征点匹配模型和两阶段匹配策略，得到准确的匹配结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (1)

1.一种基于局部相对运动一致性聚类的特征点匹配方法，其特征在于，包括：

步骤100，给定两个匹配对象的初始对应点集构建K近邻结构图得到的K近邻结构图；

步骤200，将点的局部相对运动速度分为相对运动线速度和相对运动角速度，定义两个点集的相对运动一致性，包括步骤201至204：

步骤201，定义相对运动线速度，根据相对运动向量，利用以下公式得到初始匹配点的相对运动线性速度：

其中，p_i,p_j表示初始匹配点，q_i,q_j表示初始匹配点的对应点，v_ij表示点p_i至p_j构成的相对运动向量，u_ij表示点q_i至q_j构成的相对运动向量，η_ij表示初始匹配点的相对运动线性速度；

步骤202，对相对线性速度取对数，得到以下相对运动线性速度一致性描述公式：

步骤203，获得两个向量v_ij和u_ij的角速度为：

φ_ij＝θ(v_ij)-θ(u_ij) (3)

其中，θ(v_ij)表示v_ij向量的倾斜角，θ(u_ij)表示u_ij向量的倾斜角，表示两个向量v_ij和u_ij的角速度；

步骤204，根据如下公式进行相对运动向量的角速度一致性描述：

其中，r_ij表示一致性描述后得到的角速度，取值范围为[-π,π]；

步骤300，对两个点集的相对运动线速度和相对运动角速度，进行相对运动一致性聚类：

采用基于密度的聚类算法进行聚类，得到最大的聚类C_max＝{c_ij}，c_ij＝(s_ij,r_ij)，最大聚类点集的运动应该是一致的，距离最大聚类中心越近，能够匹配的概率越大；最大聚类的平均运动一致性和/>作为最大聚类中心，定义如下：

其中，S_max＝{s_ij|c_ij∈C_max}，R_max＝{r_ij|c_ij∈C_max}；

由于有些匹配点的相对运动线速度一致性和相对运动角速度一致性与高密度点不在同一连续的区域，确定一个半径区域，在此范围是相对运动一致性的点，定义相对速度一致性点集合：其中，/>τ是半径，在此半径范围之内的点被认为能够匹配的点，/>是样本c_ij到到聚类中心的欧式距离；

步骤400，基于相对运动速度一致性，构造特征匹配模型，并进行特征匹配，包括步骤401至步骤403：

步骤401，给定从两幅图像得到的初始匹配点集I表示匹配过程中的真正匹配的点集，点集匹配可转换为：

I^*＝arg minf(I,S) (6)

其中代价函数f为：

τ表示距离聚类中心半径的阈值，λ表示相对运动一致性目标函数的的阈值；

步骤402，结合相对运动一致性和K近邻结构，c_i定义如下：

其中，

I^*＝{i|ω_i＝1,i＝1,...,N} (10)

其中，ω_i表示对应点(p_i,q_i)是否匹配，取值为0或者1，0表示不匹配，1表示匹配；

步骤403，采用两阶段匹配策略，进行点集匹配，包括以下过程：

输入：初始对应点集参数K,λ,τ；

输出：匹配点集I*；

第一阶段匹配：对于点集S，根据p_i和q_i的K近邻结构图并利用公式(8)得到代价函数值/>利用公式(9)和(10)，确定匹配点集I₀；

第二阶段匹配：对于点集I₀，根据p_i和q_i的K近邻结构图并利用公式(8)计算代价函数值/>利用公式(9)和(10)确定匹配点集I^*。