CN111144338A - 一种基于特征点拓扑结构的特征匹配算法 - Google Patents

Abstract

本发明公开了一种基于特征点拓扑结构的特征匹配算法，首先通过特征点描述子向量余弦相似度计算出双向最优匹配点对，再通过计算双向最优匹配点对的拓扑结构来剔除错误匹配的点对，然后使用剩下的匹配点对计算单应矩阵，再将注册图像中所有特征点进行映射，剔除映射后坐标不匹配的点对，得到最终匹配点对，根据每次匹配的点对数进行打分，并保留相应的匹配得分；比较所有匹配得分，保留最大的匹配得分作为此注册图像与输入图像的匹配得分，匹配结束。本发明能够计算出更加精准稳定的单应矩阵，从而在匹配点对时效果更好，可确保对一对图像进行多次匹配时得到的匹配结果相同，避免出现原本可以匹配的图像在某次匹配中判断为图像不匹配的情况。

Description

一种基于特征点拓扑结构的特征匹配算法

技术领域

本发明涉及一种安全栓装置，具体是一种基于特征点拓扑结构的特征匹配算法，属于安全栓装置技术领域。

背景技术

目前，在指纹识别领域，普遍的存在一个问题，特征点匹配准确率低。在一副指纹图像中可能会有多个局部区域很相似，导致指纹特征点的描述子向量就会非常相似，在特征匹配阶段就变的困难。在遇到包括含有噪声、畸变等质量低的指纹图像时，效果会更差，匹配精度更低。

业界现有的特征点匹配方案主要是从描述子向量的汉明距离计算匹配的，记待匹配的两幅图像分别为注册图像和输入图像。具体方案如下：

记fpctX₁,fpctX₂,...,fpctX_n为注册图像提取的n个特征点；

记iptY₁,iptY₂,...,iptY_m为输入图像提取的m个特征点；

(1)计算输入图像中每个特征点iptY_q描述子向量与注册图像中所有特征点fpctX描述子向量的汉明距离，取出最小距离mindis的一对点(iptY_q,fpctX_p)，1≤p≤n,1≤q≤m和次小距离secdis的一对点(iptY_q,fpctX_t)，1≤t≤n,1≤q≤m。若mindis<threshold*secdis，则认为距离最小点对(iptY_q,fpctX_p)是一对匹配点。最终，得到匹配点对集合kpsList。

(2)通过RANSAC(Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)方法对匹配点对集合kpsList中的错误匹配点对进行剔除。通过随机选点迭代计算单应矩阵，剔除不满足该单应矩阵变换关系的点对，直到找到一个最佳单应矩阵。

(3)通过单应矩阵将注册图像提取的所有特征点坐标映射到输入图像坐标系下，计算在局部区域内余弦相似度cosine最大且点对欧式距离和特征点主方向偏差在给定阈值范围内的点对，记为一对匹配点对。最终得到所有的匹配点对。

在实际操作过程中，上述方法存在如下问题：

(1)由于指纹图像局部区域相似性较大且图片会有畸变，往往存在很多假匹配点对比真匹配点对的汉明距离更小，因此通过描述子向量汉明距离的方式计算匹配点对的准确率较低。

(2)RANSAC方法是一种随机抽样，每次的选点的结果不一致。首先迭代次数无法控制，其次因为是随机选择，每次选取计算单应矩阵的点可能不同，从而导致每次匹配结果可能不同。对相同的一对图像进行匹配，多次实验可能得到不同的匹配结果，甚至原本可以匹配的图像在某次匹配中判断为图像不匹配。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于特征点拓扑结构的特征匹配算法，能够计算出更加精准稳定的单应矩阵，从而在匹配点对时效果更好。

为了实现上述目的，本发明采用如下技术方案：一种基于特征点拓扑结构的特征匹配算法，记待匹配的两幅图像分别为注册图像和输入图像，fpctX₁，fpctX₂，...，fpctX_n为注册图像提取的n个特征点；iptY₁，iptY₂，...，iptY_m为输入图像提取的m个特征点；整个特征匹配算法包括如下步骤：

S1、计算全局单向最优点对：计算注册图像中的每个特征点描述子向量与输入图像中所有特征点描述子向量的余弦相似度cosine，并记录余弦相似度cosine值最大的一对点(fpctX_p,iptY_q)，1≤p≤n,1≤q≤m为单向最优点对，最终得到注册图像指向输入图像的全局单向最优点对List1，记点对个数Count1；同理，计算输入图像指向注册图像的全局单向最优点对List2，记点对个数Count2；

S2、计算全局双向最优点对：基于以上得到的两个全局单向最优点对List1、List2计算全局双向最优点对List3，记点对个数为Count3；

S3、计算邻接矩阵：基于全局双向最优点对List3，计算所有双向最优点对中任意两对双向最优点对之间是否连通，创建Count3*Count3矩阵作为全局双向最优点对的邻接矩阵，若某两对双向最优点对之间连通，则邻接矩阵中对应的元素值记为1，否则记为0；

S4、计算连通域：计算邻接矩阵中的连通子图，记为连通域；在一个图中，会存在一个或多个连通子图，即会得到一个或多个连通域；

S5、计算单应矩阵：取一个尚未被计算过的连通域，并使用所取连通域里的点对坐标，通过最小二乘法迭代计算点对坐标的变换矩阵，得到单应矩阵；

S6、特征点匹配：通过步骤S5得到的单应矩阵将注册图像提取的所有特征点坐标映射到输入图像坐标系下，计算在局部区域内余弦相似度cosine最大且点对欧式距离和特征点主方向偏差在给定阈值范围内的点对，记为一对匹配点对；最终，得到所有的匹配点对；

S7、计算匹配得分并保留：根据每次匹配的点对数进行打分，并保留相应的匹配得分；判断是否存在连通域尚未计算，若无，则直接进入下一步，否则跳转至步骤S5；

S8、计算所有得分中最大的分数：比较所有匹配得分，保留最大的匹配得分作为此注册图像与输入图像的匹配得分，匹配结束。

所述步骤S2中双向最优点对是指若全局单向最优点对List1中存在点对(fpctX_i,iptY_j)，且全局单向最优点对List2存在点对(iptY_j,fpctX_i)，则把点对(fpctX_i,iptY_j)记录为一对双向最优点对，其中，1≤i≤n,1≤j≤m；全局双向最优点对List3是指所有双向最优点对的集合。

所述步骤S3中任意两对双向最优点对之间是否连通的基准如下：

记两对双向最优点对分别为(fpctX_a,iptY_b)与(fpctX_c,iptY_d)，其中，1≤a≤n,1≤b≤m，1≤c≤n,1≤d≤m；

1)计算fpctX_a，fpctX_c两点之间的欧氏距离，记为d1；iptY_b，iptY_d两点之间的欧氏距离，记为d2；Δd＝|d1-d2|；给定阈值D，若Δd≤D，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

2)记fpctX_a，iptY_b两特征点的主方向分别为o_a，o_b，记ori1＝o_a-o_b；fpctX_c，iptY_d两特征点的主方向分别为o_c，o_d，记ori2＝o_c-o_d，其中，o_a，o_b，o_c，o_d的值域为[0,2π]；Δori＝|ori1-ori2|；给定阈值O，若Δori≤O，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

3)将fpctX_a，fpctX_c两点连线与水平向右方向夹角记为α1，记dori1＝α1-o_a；iptY_b，iptY_d两点连线与水平向右方向夹角记为α2，记dori2＝α2-o_b；Δdori＝|dori1-dori2|；给定阈值R，若Δdori≤R，则断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)连通，否则断定不连通。

与现有的技术相比，本发明首先通过特征点描述子向量余弦相似度计算出双向最优匹配点对，再通过计算双向最优匹配点对的拓扑结构来剔除错误匹配的点对，然后使用剩下的匹配点对计算单应矩阵，再将注册图像中所有特征点进行映射，剔除映射后坐标不匹配的点对，得到最终匹配点对。本发明能够计算出更加精准稳定的单应矩阵，从而在匹配点对时效果更好，可确保对一对图像进行多次匹配时得到的匹配结果相同，避免出现原本可以匹配的图像在某次匹配中判断为图像不匹配的情况。

附图说明

图1为本发明的流程示意图；

图2为计算注册图像和输入图像中两个特征点连通示意图。

具体实施方式

下面结合附图对本发明实施中的技术方案进行清楚，完整的描述，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明实施例提供的一种基于特征点拓扑结构的特征匹配算法，记待匹配的两幅图像分别为注册图像和输入图像，fpctX₁，fpctX₂，...，fpctX_n为注册图像提取的n个特征点；iptY₁，iptY₂，...，iptY_m为输入图像提取的m个特征点；整个特征匹配算法包括如下步骤：

S1、计算全局单向最优点对：计算注册图像中的每个特征点描述子向量与输入图像中所有特征点描述子向量的余弦相似度cosine，并记录余弦相似度cosine值最大的一对点(fpctX_p,iptY_q)，1≤p≤n,1≤q≤m为单向最优点对，最终得到注册图像指向输入图像的全局单向最优点对List1，记点对个数Count1；同理，计算输入图像指向注册图像的全局单向最优点对List2，记点对个数Count2；其中，全局单向最优点对List1是指所有注册图像指向输入图像的单向最优点对集合，Count1＝n；全局单向最优点对List2是指所有输入图像指向注册图像的单向最优点对集合，Count2＝m；

S2、计算全局双向最优点对：基于以上得到的两个全局单向最优点对List1、List2计算全局双向最优点对List3，记点对个数为Count3；其中，双向最优点对是指若全局单向最优点对List1中存在点对(fpctX_i,iptY_j)，且全局单向最优点对List2存在点对(iptY_j,fpctX_i)，则把点对(fpctX_i,iptY_j)记录为一对双向最优点对，其中，1≤i≤n,1≤j≤m；全局双向最优点对List3是指所有双向最优点对的集合；

S3、计算邻接矩阵：基于全局双向最优点对List3，计算所有双向最优点对中任意两对双向最优点对之间是否连通，任意两对双向最优点对之间是否连通的基准如下：

记两对双向最优点对分别为(fpctX_a,iptY_b)与(fpctX_c,iptY_d)，其中，1≤a≤n,1≤b≤m，1≤c≤n,1≤d≤m；

1)计算fpctX_a，fpctX_c两点之间的欧氏距离，记为d1；iptY_b，iptY_d两点之间的欧氏距离，记为d2；Δd＝|d1-d2|；给定阈值D，若Δd≤D，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

2)记fpctX_a，iptY_b两特征点的主方向分别为o_a，o_b，记ori1＝o_a-o_b；fpctX_c，iptY_d两特征点的主方向分别为o_c，o_d，记ori2＝o_c-o_d，其中，o_a，o_b，o_c，o_d的值域为[0,2π]；Δori＝|ori1-ori2|；给定阈值O，若Δori≤O，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

3)将fpctX_a，fpctX_c两点连线与水平向右方向夹角记为α1，记dori1＝α1-o_a；iptY_b，iptY_d两点连线与水平向右方向夹角记为α2，记dori2＝α2-o_b；Δdori＝|dori1-dori2|；给定阈值R，若Δdori≤R，则断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)连通，否则断定不连通；

创建Count3*Count3矩阵作为全局双向最优点对的邻接矩阵，若某两对双向最优点对之间连通，则邻接矩阵中对应的元素值记为1，否则记为0；

S4、计算连通域：计算邻接矩阵中的连通子图，记为连通域；在一个图中，会存在一个或多个连通子图，即会得到一个或多个连通域；

S5、计算单应矩阵：取一个尚未被计算过的连通域(尚未被计算过的连通域是指尚未被用于计算过单应矩阵的连通域)，并使用所取连通域里的点对坐标，通过最小二乘法迭代计算点对坐标的变换矩阵，得到单应矩阵；

S6、特征点匹配：通过步骤S5得到的单应矩阵将注册图像提取的所有特征点坐标映射到输入图像坐标系下，计算在局部区域内余弦相似度cosine最大且点对欧式距离和特征点主方向偏差在给定定阈值范围内的点对，记为一对匹配点对；最终，得到所有的匹配点对；其中，点对欧式距离和特征点主方向偏差在给定阈值范围内是指映射到输入图像后的注册图像与输入图像在给定的定阈值范围内重合；

S7、计算匹配得分并保留：根据每次匹配的点对数进行打分，并保留相应的匹配得分；判断是否存在连通域尚未计算，若无，则直接进入下一步，否则跳转至步骤S5；

S8、计算所有得分中最大的分数：比较所有匹配得分，保留最大的匹配得分作为此注册图像与输入图像的匹配得分，匹配结束。

综上所述，本发明首先通过特征点描述子向量余弦相似度计算出双向最优匹配点对，再通过计算双向最优匹配点对的拓扑结构来剔除错误匹配的点对，然后使用剩下的匹配点对计算单应矩阵，再将注册图像中所有特征点进行映射，剔除映射后坐标不匹配的点对，得到最终匹配点对。本发明能够计算出更加精准稳定的单应矩阵，从而在匹配点对时效果更好，可确保对一对图像进行多次匹配时得到的匹配结果相同，避免出现原本可以匹配的图像在某次匹配中判断为图像不匹配的情况。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于特征点拓扑结构的特征匹配算法，记待匹配的两幅图像分别为注册图像和输入图像，fpctX₁，fpctX₂，...，fpctX_n为注册图像提取的n个特征点；iptY₁，iptY₂，...，iptY_m为输入图像提取的m个特征点；其特征在于，整个特征匹配算法包括如下步骤：

S1、计算全局单向最优点对：计算注册图像中的每个特征点描述子向量与输入图像中所有特征点描述子向量的余弦相似度cosine，并记录余弦相似度cosine值最大的一对点(fpctX_p,iptY_q)，1≤p≤n,1≤q≤m为单向最优点对，最终得到注册图像指向输入图像的全局单向最优点对List1，记点对个数Count1；同理，计算输入图像指向注册图像的全局单向最优点对List2，记点对个数Count2；

S2、计算全局双向最优点对：基于以上得到的两个全局单向最优点对List1、List2计算全局双向最优点对List3，记点对个数为Count3；

S3、计算邻接矩阵：基于全局双向最优点对List3，计算所有双向最优点对中任意两对双向最优点对之间是否连通，创建Count3*Count3矩阵作为全局双向最优点对的邻接矩阵，若某两对双向最优点对之间连通，则邻接矩阵中对应的元素值记为1，否则记为0；

S4、计算连通域：计算邻接矩阵中的连通子图，记为连通域；在一个图中，会存在一个或多个连通子图，即会得到一个或多个连通域；

S5、计算单应矩阵：取一个尚未被计算过的连通域，并使用所取连通域里的点对坐标，通过最小二乘法迭代计算点对坐标的变换矩阵，得到单应矩阵；

S6、特征点匹配：通过步骤S5得到的单应矩阵将注册图像提取的所有特征点坐标映射到输入图像坐标系下，计算在局部区域内余弦相似度cosine最大且点对欧式距离和特征点主方向偏差在给定阈值范围内的点对，记为一对匹配点对；最终，得到所有的匹配点对；

S7、计算匹配得分并保留：根据每次匹配的点对数进行打分，并保留相应的匹配得分；判断是否存在连通域尚未计算，若无，则直接进入下一步，否则跳转至步骤S5；

S8、计算所有得分中最大的分数：比较所有匹配得分，保留最大的匹配得分作为此注册图像与输入图像的匹配得分，匹配结束。

2.根据权利要求1所述的一种基于特征点拓扑结构的特征匹配算法，其特征在于，所述步骤S2中双向最优点对是指若全局单向最优点对List1中存在点对(fpctX_i,iptY_j)，且全局单向最优点对List2存在点对(iptY_j,fpctX_i)，则把点对(fpctX_i,iptY_j)记录为一对双向最优点对，其中，1≤i≤n,1≤j≤m；全局双向最优点对List3是指所有双向最优点对的集合。

3.根据权利要求1所述的一种基于特征点拓扑结构的特征匹配算法，其特征在于，所述步骤S3中任意两对双向最优点对之间是否连通的基准如下：

记两对双向最优点对分别为(fpctX_a,iptY_b)与(fpctX_c,iptY_d)，其中，1≤a≤n,1≤b≤m，1≤c≤n,1≤d≤m；

1)计算fpctX_a，fpctX_c两点之间的欧氏距离，记为d1；iptY_b，iptY_d两点之间的欧氏距离，记为d2；Δd＝|d1-d2|；给定阈值D，若Δd≤D，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

2)记fpctX_a，iptY_b两特征点的主方向分别为o_a，o_b，记ori1＝o_a-o_b；fpctX_c，iptY_d两特征点的主方向分别为o_c，o_d，记ori2＝o_c-o_d，其中，o_a，o_b，o_c，o_d的值域为[0,2π]；Δori＝|ori1-ori2|；给定阈值O，若Δori≤O，则继续下一步；否则直接断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)不连通；

3)将fpctX_a，fpctX_c两点连线与水平向右方向夹角记为α1，记dori1＝α1-o_a；iptY_b，iptY_d两点连线与水平向右方向夹角记为α2，记dori2＝α2-o_b；Δdori＝|dori1-dori2|；给定阈值R，若Δdori≤R，则断定(fpctX_a,iptY_b)与(fpctX_c,iptY_d)连通，否则断定不连通。

Images