CN112861965B - 基于多特征交叉一致性模型的图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于多特征交叉一致性模型的图像匹配方法，属于计算机视觉技术领域，获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配方法获得每种局部特征的初始特征匹配排列矩阵；通过多种特征匹配排列矩阵集成策略建立跨特征的匹配关系矩阵，并融合特征内匹配关系矩阵与特征间匹配关系矩阵为多特征交叉匹配块矩阵；为多特征交叉匹配块矩阵引入闭环约束，使得谱分解方法适用于本发明；基于谱分解方法并结合一种快速的特征值分解方法来对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果。本发明能够做到特征匹配结果精度与召回率的综合性能上的提升，而无需增加太大的计算代价。

Description

基于多特征交叉一致性模型的图像匹配方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种结合多种不同的图像局部特征描述符进行图像匹配方法，并能够获得更好的图像特征匹配结果。

背景技术

图像特征匹配是计算机视觉领域一个基础但重要的工作。诸如图像检索、全景图拼接、宽基线立体声、三维重建等工作都依赖于寻找一组好的图像特征匹配关系，因此一直以来备受相关领域学者的关注。一般来说，图像特征匹配流程包括以下步骤：1)特征检测，目的是在图像上通过一定的规则检测出一系列的具有较好区分度以及独特性的兴趣点(interest point)；2)特征描述，特征描述是在检测出的兴趣点的基础上，对其一定邻域内进行描述得到特征描述符(descriptor)，通常一个描述符是一个D维向量，它能够很好的体现出兴趣点的独特性；3)特征匹配，一对匹配点通常其描述符在欧氏空间中有着最近的距离，因此可以基于两组特征描述符在描述符空间中通过寻找另一组描述符的最近邻作为匹配点。在上述步骤中，特征描述符的性能对于特征匹配的结果起着重要的作用。

传统的特征描述符主要是手工设计的，其中的代表性工作至今仍广泛地应用于实际场景中。随着深度学习的快速发展，许多基于学习的特征描述符在很多数据集上有了较传统手工描述符更优秀的表现。现有的不论是手工描述符还是学习得到的描述符，虽然在公开数据集上的总体评价指标比较相似，但不同的特征描述符针对同一特征点的匹配效果却存在显著差异。例如，某种特征描述符可以给一个特定的特征点找到正确匹配，但另一种特征描述符却可能在相同的任务上失败。这一现象说明不同的特征描述符之间存在差异性，也存在信息互补优势。然而，目前大多数的特征匹配工作仅使用某一种特定的特征描述符，这并未很好的考虑到不同特征之间存在的互补性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多特征交叉一致性模型的图像匹配方法，结合使用多种特征描述符来对同一对图像对进行图像特征匹配。

为实现上述目的，本发明提供了一种基于多特征交叉一致性模型的图像匹配方法，包括：

(1)获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配获得每种特征描述符的初始特征匹配关系矩阵；

(2)基于每种特征描述符的初始特征匹配关系矩阵建立跨特征的匹配关系矩阵，并融合特征描述符内的匹配关系矩阵与特征描述符间的匹配关系矩阵得到多特征交叉匹配块矩阵，其中，多特征交叉匹配块矩阵满足对称性；

(3)引入一个虚拟的总集，并假设所有能匹配上的特征点都属于该虚拟总集，并为多特征交叉匹配块矩阵引入闭环约束，以使得该多特征交叉匹配块矩阵能够通过谱分解方法优化；

(4)基于谱分解方法并结合快速特征值分解对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果。

在一些可选的实施方案中，步骤(1)包括：

(1.1)对包含目标场景的图像对进行特征检测，获取图像对中的第一图像的m个特征点组成第一组特征点，获取图像对中第二图像的n个特征点组成第二组特征点；

(1.2)使用N种不同的局部特征描述符算法获得第一组特征点中各特征点的特征描述符，使用该N种不同的局部特征描述符算法获得第二组特征点中各特征点的特征描述符；

(1.3)对于每种特征描述符下的两组描述符，获取每种特征描述符的初始特征匹配关系矩阵P_kk∈{0,1}^m×n，k＝1,...,N，其中，N表示使用到的特征描述符种类数量，P_kk表示一个大小为m×n的二维矩阵，其内部每个位置的值[P_kk]_ij为0或1，1表示第一图像中的特征点i与第二图像中的特征点j是一对匹配对，0则表示第一图像中的特征点i与第二图像中的特征点j不是一对匹配对，并且P_kk满足P_kk1_m≤1_n和

表示一个特征点在另一幅图最多存在一个匹配点，i＝1,2,..,m,j＝1,2,…,n。

在一些可选的实施方案中，步骤(2)包括：

(2.1)根据图像对下的N个初始特征匹配关系矩阵P_kk，k＝1,...,N，以特征描述符为单位来分块构建多特征交叉匹配块矩阵：

其中，Z满足Z＝Z^T；

(2.2)对于其中的子块Z_pq∈R^(m+n)×(m+n)，p,q＝1,2,..,N，当p＝q时，其表示仅使用特征描述符p时的两幅图像间匹配关系矩阵块：

其中，A_pp∈R^m×m和B_pp∈R^n×n是对角元素由1和0组成的类对角矩阵，A_pp∈R^m×m表示使用特征描述符p时第一图像与第一图像的匹配关系矩阵，B_pp∈R^n×n表示使用特征描述符p时第二图像与第二图像的匹配关系矩阵，P_pp表示特征描述符p的初始特征匹配关系矩阵；

(2.3)对于子块Z_pq∈R^(m+n)×(m+n)，当p≠q时，其表示特征描述符p和q之间两幅图像的匹配关系矩阵块：

类对角矩阵A_pq∈R^m×m表示使用特征描述符p时第一图像与使用特征描述符q时第一图像的匹配关系矩阵，类对角矩阵B_pq∈R^n×n表示使用特征描述符p时第二图像与使用特征描述符q时第二图像的匹配关系矩阵，P_pq∈R^m×n表示使用特征描述符p时第一图像与使用特征描述符q时第二图像的匹配关系矩阵。

在一些可选的实施方案中，步骤(3)包括：

(3.1)假设存在一个大小为w的虚拟总集S，图像对内所有可匹配特征点都存在于该虚拟总集中，对于特征描述符p，有：

表示特征描述符p下的两幅图像与S的匹配关系矩阵，

表示特征描述符p下的第一图像与S的匹配关系矩阵，

表示特征描述符p下的第二图像与S的匹配关系矩阵；

(3.2)对于Z中的子块Z_pq，存在约束

进而Z中也存在类似的闭环约束Z＝XX^T，其中，X∈R^(m+n)N×w是所有特征描述符下的两幅图像与总集S的匹配关系矩阵，按顺序排列，对包含噪声的Z，即

的优化通过求解

s.t.Z＝XX^T进行，并放松对X的二元约束{0,1}到连续域[0,1]，从而能够通过谱方法得到优化后的Z，即用Z⁺表示。

在一些可选的实施方案中，步骤(4)包括：

(4.1)给定包含噪声的多特征交叉匹配块矩阵

通过特征值分解方法对

进行分解得到松弛的图像到虚拟总集的匹配关系矩阵

(4.2)从

取出相应的

和

来构建松弛的

块矩阵，进一步对松弛矩阵

二值化处理还原出排列矩阵

最终的多特征交叉匹配块矩阵为：

与Z有着相同的结构，，其中，

p＝1,...,N，q＝1,...,N；

(4.3)从Z⁺中取出对应的子块

p＝q，最终的匹配结果由所有N个子块

p＝q的并集得到。

在一些可选的实施方案中，步骤(4.1)包括：

由

对多特征交叉匹配块矩阵

进行随机奇异值分解，由

求得

通过取特征分解的前w个特征值和特征向量能在保证得到的

与

近似相等的情况下使得匹配结果得到优化，其中，w≤min(m,n)。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供了一种结合多种特征描述符进行图像特征匹配的方法，该方法利用各个特征下的匹配关系矩阵来互相优化并得出一个更优的特征匹配结果。

(2)通过为多特征交叉匹配块矩阵引入了闭环约束，使得本发明可通过谱分解方法进行优化，并且得到的匹配结果能在实际数据中实现精度或召回率的较明显提升从而获得一个综合性能的提升。

(3)在本发明方法中，因为要进行一个较大矩阵的特征值分解，比起传统的特征值分解方法，本发明应用了一种快速的奇异值分解方法，该方法能够克服传统特征值分解方法速度慢的缺点。通过该方法，本发明在面对较大矩阵时的分解效率提高了10倍以上，而不损失太多的匹配精度，这使得本发明的方法更具有实用性。

附图说明

图1是本发明实施例提供的一种基于多特征交叉一致性模型的图像匹配方法的流程示意图；

图2是本发明实施例提供的另一种基于多特征交叉一致性模型的图像匹配方法的流程示意图；

图3是本发明实施例提供的一种各个特征单独匹配结果可视化与本发明的匹配结果可视化对比示意图；

图4是本发明实施例提供的一种使用普通的特征值分解方法与快速特征值分解方法基于图3的图像对，在分解多特征交叉匹配块矩阵时所需的时间对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明实例中，“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定的顺序或先后次序。

本发明提供了一种结合多种局部图像特征描述符的图像匹配方法，该方法与使用单一特征描述符的方法不同，通过集成同一图像对下不同特征的初始特征匹配关系矩阵，并引入闭环约束，从而使得谱分解方法适用于本发明的优化过程，从而获得了一个更优的匹配结果。本发明通过将不同特征描述符相结合并获得了更好的图像特征匹配效果。与使用的各类特征描述符单独进行图像特征匹配的结果相比，本发明的匹配结果能够做到精度与召回率的综合性能上的提升，且无需增加太大的计算代价。

如图1及图2所示是本发明实施例提供的一种基于多特征交叉一致性模型的图像匹配方法的流程示意图，在图1所示的方法中包括以下步骤：

S1：获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配获得每种特征描述符的初始特征匹配关系矩阵；

在本发明实施例中，步骤S1可以通过以下方式实现：

S1.1：对包含目标场景的图像对进行特征检测，获取图像对中的第一图像的m个特征点组成第一组特征点，获取图像对中第二图像的n个特征点组成第二组特征点；

其中，可以使用不同的特征检测算法获得特征点，比如基于传统方法的SIFT检测子、Surf检测子、Harris角点等，也可以是基于深度学习的检测子，如SuperPoint。

S1.2：使用N种不同的局部特征描述符算法获得第一组特征点中各特征点的特征描述符，使用该N种不同的局部特征描述符算法获得第二组特征点中各特征点的特征描述符；

其中，可以使用SIFT、RootSIFT、Surf、Brief、ORB、FREAK等传统的手工局部描述符，也可使用HardNet、HesAffNet、DSP-SIFT、DeepDesc、L2Net、TFeat等基于深度学习的描述符。

S1.3：对于每种特征描述符下的两组描述符，获取每种特征描述符的初始特征匹配关系矩阵P_kk∈{0,1}^m×n，k＝1,...,N，其中，N表示使用到的特征描述符种类数量，P_kk表示一个大小为m×n的二维矩阵，其内部每个位置的值[P_kk]_ij为0或1，1表示第一图像中的特征点i与第二图像中的特征点j是一对匹配对，0则表示第一图像中的特征点i与第二图像中的特征点j不是一对匹配对，并且P_kk满足P_kk1_m≤1_n和

表示一个特征点在另一幅图最多存在一个匹配点，i＝1,2,..,m,j＝1,2,…,n。

其中，在步骤S1.3中可以通过但不限于在欧氏空间中寻找特征最近邻点或比例测试(ratio test)等方法获取初始特征匹配关系矩阵。

S2：基于每种特征描述符的初始特征匹配关系矩阵建立跨特征的匹配关系矩阵，并融合特征描述符内的匹配关系矩阵与特征描述符间的匹配关系矩阵得到多特征交叉匹配块矩阵，其中，多特征交叉匹配块矩阵与图像对特征点数量以及特征种类相关，且满足对称性；

在本发明实施例中，步骤S2可以通过以下方式实现：

S2.1：根据图像对下的N个初始特征匹配关系矩阵P_kk，k＝1,...,N，以特征为单位来分块构建多特征交叉匹配块矩阵，将多特征交叉匹配块矩阵Z表示为：

其中，Z满足Z＝Z^T，Z中每个子块Z_pq∈R^(m+n)×(m+n)，p,q＝1,2,..,N表示特征p与特征q之间两幅图像的匹配关系，可进一步表示为：

其中，类对角矩阵A_pq∈R^m×m为特征描述符p表示的第一图像与特征描述符q表示的第一图像之间的匹配关系矩阵，类对角矩阵B_pq∈R^n×n为特征描述符p表示的第二图像与特征描述符q表示的第二图像之间的匹配关系矩阵；以及P_pq∈R^m×n为特征描述符p表示的第一图像与特征描述符q表示的第二图像之间的匹配关系矩阵。Z的构造过程以子块为单位；

S2.2：当p＝q时，子块Z_pq表示使用特征描述符p时的两幅图像间的匹配关系矩阵块，因此第一图像到第二图像的匹配关系矩阵P_pq等同于P_pp，为特征p的两幅图像间的初始特征匹配关系矩阵，A_pq∈R^m×m和B_pq∈R^n×n是对角元素由表示对应点匹配的1和表示对应点不构成匹配的0组成的类对角矩阵，类对角矩阵A_pq∈R^m×m为特征描述符p下第一图像到自身的匹配关系矩阵，类对角矩阵B_pq∈R^n×n为特征描述符p下第二图像到自身的匹配关系矩阵，通过如下公式得到：

其中，

表示矩阵的哈达玛积；

S2.3：当p≠q时，子块Z_pq为特征p与特征q之间两幅图像的跨特征匹配关系矩阵块，因此P_pq需要通过：

计算得到，为两种特征共同的匹配关系。而类对角矩阵A_pq∈R^m×m为特征描述符p下第一图像与特征描述符q下第一图像的匹配关系矩阵，类对角矩阵B_pq∈R^n×n为特征描述符p下第二图像与特征描述符q下第二图像的匹配关系矩阵，通过：

计算得到；

S2.4：所有子块Z_pq计算完毕后即得到了多特征交叉匹配块矩阵Z，可知Z满足对称性：Z＝Z^T。

S3：引入一个虚拟的总集，并假设所有能匹配上的特征点都属于该虚拟总集，并为多特征交叉匹配块矩阵引入闭环约束，以使得该多特征交叉匹配块矩阵能够通过谱分解方法优化；

在本发明实施例中，步骤S3可以通过以下方式实现：

S3.1：假设存在一个大小为w的虚拟总集S，所有可匹配点都属于该虚拟总集，并用：

表示每种特征描述符下的图像到总集的匹配关系，因此X中的每一个子块可进一步表示为：

其中，

表示特征描述符p下第一图像到S的匹配关系矩阵，

表示特征描述符p下第二图像到S的匹配关系矩阵，其中总集的大小w的选择至关重要，在一定范围内随着w的增大，匹配结果的精度会逐渐下降，但召回率会逐渐上升，运算时间也会逐渐增加，而超出一定界限后，仅有运算时间会增大；

S3.2：对于Z中的每一个子块Z_pq，可以通过X_p和X_q近似表示成：

其中，

表示特征描述符q下第一图像到S的匹配关系矩阵，

表示特征描述符q下第二图像到S的匹配关系矩阵。

因此多特征交叉匹配块矩阵Z中存在闭环约束Z＝XX^T。通常，观察到的匹配关系是包含噪声(如错误匹配)的，记为

那么求解不含噪声的准确匹配关系Z可以通过下面的优化问题得到：

其中X的二元约束{0,1}被松弛到连续域[0,1]，从而使得谱分解方法适用于本发明的优化步骤。

S4：基于谱分解方法并结合快速特征值分解对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果。

在本发明实施例中，对包含噪声的多特征交叉匹配块矩阵Z～采用谱分解并结合快速随机特征值分解方法进行优化，通过分解得到松弛的

并分块求解松弛的

进一步对

进行二值化可得到优化后的匹配矩阵

最终的匹配结果由Z⁺中对应的块

p＝1,...,N的并集给出。

在本发明实施例中，步骤S4可以通过以下方式实现：

S4.1：对包含噪声的多特征交叉匹配块矩阵

进行特征值分解，

传统的特征值分解方法在面对较大矩阵时速度很慢，因此本发明实施例中使用到的是一种快速随机奇异值分解方法，

通过：

可以求得

Σ为对角矩阵，U为标准正交矩阵。通过取特征分解的前w个特征值和特征向量能在保证

与

近似相等的情况下使得匹配结果得到优化，此处的w≤min(m,n)即设定的虚拟总集的大小；

其中，

S4.2：基于该松弛的

中的每个子块

和

通过：

求解松弛的匹配矩阵

并进一步二值化处理得到匹配排列矩阵

得到最终的多特征交叉匹配块矩阵：

其中，

p＝1,...,N，q＝1,...,N

S4.3：基于优化的最终多特征交叉匹配块矩阵Z⁺，可以得到最终的匹配结果由Z⁺中对应子块

p＝q的并集给出。

作为一个可选的实施例，在公开图像对数据集Hpatches上给出了对本发明方法的测试。如图3，使用了包括SIFT在内的7种特征对Hpatches上一对图像进行了特征匹配，图3中特征1到特征7分别展示了7种特征单独做特征匹配的可视化结果，最后一幅图是结合这7种特征的本发明的多特征交叉一致性的图像匹配方法得到的结果的可视化。

表1是图3对应的具体数字对比结果，主要从匹配的精度，召回率以及两者的综合F1-score三个方面进行了对比。

表1

图4给出了该图像对下本发明使用普通的特征值分解方法和快速随机特征值分解方法在矩阵分解时间性能上的对比，因为量级相差较大所以显示了对数值，注意该对图像对的m＝1631，n＝1739，结合7种特征下的Z∈R^23590×23590。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多特征交叉一致性模型的图像匹配方法，其特征在于，包括：

(1)获取基于同一图像对的两组特征点下的多种不同局部特征描述符，并通过特征匹配获得每种特征描述符的初始特征匹配关系矩阵；

(2)基于每种特征描述符的初始特征匹配关系矩阵建立跨特征的匹配关系矩阵，并融合特征描述符内的匹配关系矩阵与特征描述符间的匹配关系矩阵得到多特征交叉匹配块矩阵，其中，多特征交叉匹配块矩阵满足对称性；

(3)引入一个虚拟的总集，并假设所有能匹配上的特征点都属于该虚拟总集，并为多特征交叉匹配块矩阵引入闭环约束，以使得该多特征交叉匹配块矩阵能够通过谱分解方法优化；

(4)基于谱分解方法并结合快速特征值分解对多特征交叉匹配块矩阵进行优化重构，进而得到最终的图像特征匹配结果；

步骤(1)包括：

(1.1)对包含目标场景的图像对进行特征检测，获取图像对中的第一图像的m个特征点组成第一组特征点，获取图像对中第二图像的n个特征点组成第二组特征点；

(1.2)使用N种不同的局部特征描述符算法分别获得第一组特征点中各特征点的特征描述符，使用该N种不同的局部特征描述符算法分别获得第二组特征点中各特征点的特征描述符；

(1.3)对于每种特征描述符下的两组描述符，获取每种特征描述符的初始特征匹配关系矩阵P_kk∈{0,1}^m×n，k＝1,...,N，其中，N表示使用到的特征描述符种类数量，P_kk表示一个大小为m×n的二维矩阵，其内部每个位置的值[P_kk]_ij为0或1，1表示第一图像中的特征点i与第二图像中的特征点j是一对匹配对，0则表示第一图像中的特征点i与第二图像中的特征点j不是一对匹配对，并且P_kk满足P_kk1_m≤1_n和

表示一个特征点在另一幅图最多存在一个匹配点，i＝1,2,..,m,j＝1,2,…,n；

步骤(2)包括：

(2.1)根据图像对下的N个初始特征匹配关系矩阵P_kk，k＝1,...,N，以特征描述符为单位来分块构建多特征交叉匹配块矩阵：

其中，Z满足Z＝Z^T；

(2.2)对于其中的子块Z_pq∈R^(m+n)×(m+n)，p,q＝1,2,..,N，当p＝q时，其表示仅使用特征描述符p时的两幅图像间匹配关系矩阵块，有：

其中，A_pp∈R^m×m和B_pp∈R^n×n是对角元素由1和0组成的类对角矩阵，A_pp∈R^m×m表示使用特征描述符p时第一图像与第一图像的匹配关系矩阵，B_pp∈R^n×n表示使用特征描述符p时第二图像与第二图像的匹配关系矩阵，P_pp表示特征描述符p的初始特征匹配关系矩阵；

(2.3)对于子块Z_pq∈R^(m+n)×(m+n)，当p≠q时，其表示特征描述符p和q之间两幅图像的匹配关系矩阵块，有：

类对角矩阵A_pq∈R^m×m表示使用特征描述符p时第一图像与使用特征描述符q时第一图像的匹配关系矩阵，类对角矩阵B_pq∈R^n×n表示使用特征描述符p时第二图像与使用特征描述符q时第二图像的匹配关系矩阵，P_pq∈R^n×n表示使用特征描述符p时第一图像与使用特征描述符q时第二图像的匹配关系矩阵；

步骤(3)包括：

(3.1)假设存在一个大小为w的虚拟总集S，图像对内所有可匹配特征点都存在于该虚拟总集中，对于特征描述符p，有：

表示特征描述符p下的两幅图像与S的匹配关系矩阵，

表示特征描述符p下的第一图像与S的匹配关系矩阵，

表示特征描述符p下的第二图像与S的匹配关系矩阵；

(3.2)对于Z中的子块Z_pq，存在约束

进而Z中也存在类似的闭环约束Z＝XX^T，其中，X∈R^(m+n)N×w是所有特征描述符下的两幅图像与总集S的匹配关系矩阵，按顺序排列，对包含噪声的Z，即

的优化通过求解

s.t.Z＝XX^T进行，并放松对X的二元约束{0,1}到连续域[0,1]，从而能够通过谱方法得到优化后的Z，即Z⁺。

2.根据权利要求1所述的图像匹配方法，其特征在于，步骤(4)包括：

(4.1)给定包含噪声的多特征交叉匹配块矩阵

通过特征值分解方法对

进行分解得到松弛的图像到虚拟总集的匹配关系矩阵

(4.2)从

取出相应的

和

来构建松弛的

块矩阵，进一步对松弛矩阵

二值化处理还原出排列矩阵

最终的多特征交叉匹配块矩阵为：

与Z有着相同的结构，其中，

(4.3)从Z⁺中取出对应的子块

最终的匹配结果由所有N个子块

的并集得到。

3.根据权利要求2所述的图像匹配方法，其特征在于，步骤(4.1)包括：

由

对多特征交叉匹配块矩阵

进行随机奇异值分解，由

求得

通过取特征分解的前w个特征值和特征向量能在保证得到的

与

近似相等的情况下使得匹配结果得到优化，其中，w≤min(m,n)。

Images