CN110728296B - 一种加速特征点匹配的两步随机抽样一致性方法及系统 - Google Patents

Abstract

本发明提出了一种加速特征点匹配的两步随机抽样一致性(RANSAC)方法，适用于不同视点的相机在旋转角度变化小的情形下拍摄的图像间的特征点匹配问题。首先分别检测两幅图像的特征点，用特征描述子的距离作为度量建立两幅图像的特征点之间的初步匹配；然后，以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证特征点的初步匹配，筛选出正确性最好的一个匹配特征点的集合；最后，在该匹配点集上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证第一步建立的特征点的初步匹配，从而筛选得到最终的匹配点。本发明还提出了一种加速特征点匹配的两步随机抽样一致性系统。

Description

一种加速特征点匹配的两步随机抽样一致性方法及系统

技术领域

本发明属于计算机图形学和图像处理技术领域，涉及数学和计算机科学，可应用于基于图像的三维重建、图像拼接、图像配准和识别、医学图像处理等方面。

背景技术

在众多高效且稳定的特征点检测方法出现之后[1-4]，特征点匹配成为了图像处理的一个关键步骤，无论是图像拼接、三维重建还是图像识别，匹配点的正确性将直接影响算法的性能和最终的结果。因此在建立初始的Brute-Force匹配[5]之后，如何验证特征点匹配的正确性成为了一个重要的问题。常用的方法有随机抽样一致性(RANSAC)算法[6]和最小中值法(LMedS)[7]。出于效率的考虑，RANSAC算法通常设有迭代上限N，这使得该算法在极端情况，例如图像之间的重叠部分很小，野值比列非常大的情况下，极有可能找不到最好的模型导致匹配失败。如果放开迭代上限的约束，在大数据集中将会非常消耗时间，导致算法性能的下降。LMedS也是通过迭代变换模型来得到最优解，这个方法也可以容忍一定的噪声干扰，但在极端情况下，面临着RANSAC算法同样的问题。因此，研究人员相继提出了许多改进算法。2003年Chum等人提出了局部最优RANSAC方法--LO-RANSAC算法[8]，在传统方法的迭代过程中对当前最优解再做一步优化，一种优化方法是在返回结果的内点中再进行采样估计模型，设置固定的迭代次数，选取最优解，另一种方法是设置优化参数，把返回的内点中阈值小于等于该优化参数的数据作为最终优化结果。2005年Chum等人又提出的PROSAC算法[9]，在初始匹配集上建立对应关系的相似性函数，根据相似性对初始匹配集进行排序，从相似性高的数据点集合中进行随机采样。还有一些方法采用了特征点之间的几何一致性检查以提高内点比例，从而改进RANSAC算法性能。2009年Torsten Sattler等人提出了SCRAMSAC算法[10]，利用空间一致性检查对初始匹配点对进行筛选，以提高内点比例，从而加快估计的收敛速度。2019年Mehran Fotouhi等人提出了SC-RANSAC算法[11]，先用描述符距离最近与次近的比值作为筛选条件，选择比值最小的7组匹配点作为基准点，然后用基准点对初始匹配集中的每一组点进行空间一致性检查。

发明内容

本发明提出了一种加速特征点匹配的两步RANSAC方法：首先用3参数的仿射变换模型快速找到一个正确率高的匹配点集；然后在该匹配点集上用全参数单应变换模型验证初步匹配点集，筛选出最好的正确匹配点集。

本发明提出了一种加速特征点匹配的两步RANSAC方法，包括以下步骤：

步骤A：分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

步骤B：以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证步骤A生成的初步匹配。随机构造多个仿射变换模型，模型个数有概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合。验证通过的集合包含的匹配点数量最多的模型称为最优模型。输出最优模型验证通过的匹配特征点集；

步骤C：在步骤B筛选出的匹配点的集合上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集。

本发明步骤B中，用参数少的仿射变换模型快速找到一个匹配正确率高的匹配点集，包括：

1)仿射变换模型：

其中s,t_x和t_y是待定参数；

2)方法

输入：初始匹配点集M＝{(p,q)|p和q分别是两幅输入图像的特征点}，每次迭代的误差阈值ε，总的迭代次数N，置信度α；输出：正确率高的匹配点集S；

步骤B1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤B2：从匹配点集M中随机选择两组匹配点对，计算仿射变换的参数，生成一个模型F，用F验证M中的所有点对，如果(p,q)∈M，且|Fp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤B3：如果|T|>|S|，S＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果N'<N，那么N＝N'；清空临时匹配点集

步骤B4：如果i<N，返回步骤B2；否则输出验证过的匹配点集S。

本发明步骤C中，在一个匹配正确率高的匹配点集上生成全参数单应变换模型，验证初步匹配点集，筛选出正确的匹配点对，包括：

输入：初始匹配点集M和正确率高的匹配点集S，误差阈值ε，总的迭代次数n，置信度α；输出：最终的匹配点集R；

步骤C1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤C2：从S中随机选择4组匹配点对生成对应的单应变换模型H；用H验证M中的所有点对，如果(p,q)∈M，且|Hp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤C3：如果|T|>|R|，R＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果n'<n，那么n＝n'；清空临时匹配点集

步骤C4：如果i<n，返回步骤C2；否则输出最终的匹配点集R。

基于以上方法，本发明还提出了一种加速特征点匹配的两步随机抽样一致性系统，包括：

特征点检测模块，其用于分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

特征点匹配的仿射变换验证模块，其用于以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证生成的初步匹配；随机构造多个仿射变换模型，模型个数由概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合；验证通过的集合包含的匹配点数量最多的模型称为最优模型；输出最优模型验证通过的匹配特征点集；

特征点匹配的单应变换验证模块，其用于在筛选出的匹配点的集合上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集。

本发明提出的加速特征点匹配的两步RANSAC方法技术效果：特征点匹配是计算机图形学、计算机视觉和图像处理等领域十分重要的基础性工作，其性能直接影响着后续工作，如structure from motion、机器人运动中的即时定位与地图构建(simultaneouslocalization and mapping)、图像配准和拼接等工作的质量，甚至决定着成败。本发明的两步RANSAC方法中第一步用3参数的仿射变换模型验证初始匹配点，即使内点比例过低，由于生成一个模型只要两组对应点对，得到正确模型的迭代次数远远少于经典的RANSAC算法，表1给出了两种方法在α＝0.99，初始对应正确率分别是20％、15％、10％和5％极端情形下的迭代次数。第二步的全参数单应变换模型验证时，由于匹配点子集S的正确率很高，所以所用迭代次数较少。

表1 RANSAC算法和本发明方法的采样次数(α＝0.99)

表2给出了RANSAC、SC-RANSAC和本发明的两步RANSAC方法在公开图库上的测试结果，由于公开图库大部分重叠面积大，内点比例高，本发明的两步RANSAC方法和普通RANSAC方法的表现差不多。

表2 RANSAC、SC-RANSAC和本发明方法在公开图库上的结果对比

表3给出了三种方法在自行拍摄的50组壁画图像的实验结果，这些图片的重叠区域与整幅图像的比例在10％～30％。在自行拍摄的图库中，RANSAC方法只有少部分图能得到正确结果，因此平均结果远不如本发明的方法，而SC-RANSAC能够应对内点比例极小的情况，但得到的匹配点数量不如本发明的方法。图1直观地展示了三种方法的匹配结果，输入的两幅图像具有较大的缩放变换，RANSAC方法只找到了少量匹配点，其中有肉眼可观察到的错误匹配，SC-RANSAC方法没能给出正确匹配点集，而本发明能得到正确的匹配点集，而且数量众多。

表3 RANSAC、SC-RANSAC和本发明方法在自行拍摄的壁画图像的结果对比

方法	RANSAC匹配点数/误差	SC-RANSAC匹配点数/误差	本发明方法匹配点数/误差
				平均值	1473/7.1623	3254/1.1914	4414/1.2606

参考文献

[1]Harris C G,Stephens M.A combined corner and edge detector[C]//Alvey vision conference.1988,15(50):10-5244.

[2]Lowe D G.Object recognition from local scale-invariant features[C]//iccv.1999,99(2):1150-1157.

[3]Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[C]//European conference on computer vision.Springer,Berlin,Heidelberg,2006:404-417.

[4]Rublee E,Rabaud V,Konolige K,et al.ORB:An efficient alternative toSIFT or SURF[C]//ICCV.2011,11(1):2.

[5]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[6]Fischler M A,Bolles R C.Random sample consensus:a paradigm formodel fitting with applications to image analysis and automated cartography[J].Communications of theACM,1981,24(6):381-395.

[7]Rousseeuw R J.Least median of squares regression[J].J.AmericanStat.Assoc.1984,79.

[8]Chum O,Matas J,Kittler J.Locally optimizedRANSAC[C]//Joint PatternRecognition Symposium.Springer,Berlin,Heidelberg,2003:236-243.

[9]Chum O,Matas J.Matching with PROSAC-progressive sample consensus[C]//2005IEEE Computer Society Conference on Computer Vision and PatternRecognition(CVPR'05).IEEE,2005,1:220-226.

[10]Sattler T,Leibe B,Kobbelt L.SCRAMSAC:Improving RANSAC'sefficiency with a spatial consistency filter[C]//2009IEEE 12th InternationalConference on Computer Vision.IEEE,2009:2090-2097.

[11]Fotouhi M,Hekmatian H,Kashani-Nezhad M A,et al.SC-RANSAC:spatialconsistency on RANSAC[J].Multimedia Tools and Applications,2019,78(7):9429-9461.

附图说明

图1a、1b、1c、1d为RANSAC、SC-RANSAC和本发明在有较大缩放变换的图像上的测试结果。

图2a、2b、2c、2d为RANSAC、SC-RANSAC和本发明在自行拍摄的图像上的测试结果。

图3a、3b、3c为本发明实施例1的示意图。

图4a、4b、4c为本发明实施例2的示意图。

图5为本发明加速特征点匹配的两步随机抽样一致性系统流程图。

具体实施方式

结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明提出了一种加速特征点匹配的两步RANSAC方法，包括以下步骤：

步骤A：分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

步骤B：以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证步骤A生成的初步匹配。随机构造多个仿射变换模型，模型个数有概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合。验证通过的集合包含的匹配点数量最多的模型称为最优模型。输出最优模型验证通过的匹配特征点集；

步骤C：在步骤B筛选出的匹配点的集合上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集。

本发明步骤B中，用参数少的仿射变换模型快速找到一个匹配正确率高的匹配点集，包括：

1)仿射变换模型：

其中s,t_x和t_y是待定参数；

2)方法

输入：初始匹配点集M＝{(p,q)|p和q分别是两幅输入图像的特征点}，每次迭代的误差阈值ε，总的迭代次数N，置信度α；输出：正确率高的匹配点集S；

步骤B1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤B2：从匹配点集M中随机选择两组匹配点对，计算仿射变换的参数，生成一个模型F，用F验证M中的所有点对，如果(p,q)∈M，且|Fp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤B3：如果|T|>|S|，S＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果N'<N，那么N＝N'；清空临时匹配点集

步骤B4：如果i<N，返回步骤B2；否则输出验证过的匹配点集S。

本发明步骤C中，在一个匹配正确率高的匹配点集上生成全参数单应变换模型，验证初步匹配点集，筛选出正确的匹配点对，包括：

输入：初始匹配点集M和正确率高的匹配点集S，误差阈值ε，总的迭代次数n，置信度α；输出：最终的匹配点集R；

步骤C1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤C2：从S中随机选择4组匹配点对生成对应的单应变换模型H；用H验证M中的所有点对，如果(p,q)∈M，且|Hp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤C3：如果|T|>|R|，R＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果n'<n，那么n＝n'；清空临时匹配点集

步骤C4：如果i<n，返回步骤C2；否则输出最终的匹配点集R。

基于以上方法，本发明还提出了一种加速特征点匹配的两步随机抽样一致性系统，包括：

特征点检测模块，其用于分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

特征点匹配的仿射变换验证模块，其用于以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证生成的初步匹配；随机构造多个仿射变换模型，模型个数由概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合；验证通过的集合包含的匹配点数量最多的模型称为最优模型；输出最优模型验证通过的匹配特征点集；

特征点匹配的单应变换验证模块，其用于在筛选出的匹配点的集合上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集。

本发明的方法及系统适用于不同视点的相机在旋转角度变化小的情形下拍摄的图像间的特征点匹配问题，很好地解决了内点比例极低的情况下的匹配问题。

不妨设相机的一个视点V₁为坐标原点，另一个视点V₂的坐标

两个相机的焦距分别是f₁和f₂，空间上一点

在视点V₁和V₂的成像点分别为

和

根据投影成像原理，相机在V₁的投影变换为(I,0)。由于旋转角度变化很小，在V₂的投影变换为(I,C)，因此有p＝K₁(I,0)P和p'＝K₂(I,C)P，其中K₁和K₂是两个相机的内参矩阵。我们把坐标代入后计算得到：

由此建立和p'和p的变换关系是

从公式(1)易知，当场景中点的Z坐标，即离相机的深度变化不大时，我们可以用3参数的反射变换建立空间上同一个点的两成像点之间的对应关系。不管场景多么复杂，一般在一个点附近的点深度变化不会大，因此用3参数的仿射变换模型快速找到一个正确率高的匹配点集是正确的。假设仿射变换模型

第一步RANSAC算法步骤如下：

输入：初始匹配点集M＝{(p,q)|p和q分别是两幅输入图像的特征点}，每次迭代的误差阈值ε，总的迭代次数N，置信度α。输出：正确率高的匹配点集S。

Step1：初始化

临时匹配点集

迭代次数计数变量i＝0；

Step2：从匹配点集M中随机选择两组匹配点对，计算仿射变换的参数，生成一个模型F。用F验证M中的所有点对，如果(p,q)∈M，且|Fp-q|<ε，那么T＝T∪{(p,q)}。累加计数变量i++；

Step3：如果|T|>|S|，S＝T。根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果N'<N，那么N＝N'。清空临时匹配点集

Step4：如果i<N，返回Step2；否则输出验证过的匹配点集S。

在获得最优的匹配点子集S后，我们进行第二步RANSAC算法，应用全参数单应变换模型验证初步匹配点集，筛选出最终的正确匹配点对，步骤如下：

输入：初始匹配点集M和正确率高的匹配点集S，误差阈值ε，总的迭代次数n，置信度α。输出：最终的匹配点集R。

Step1：初始化

临时匹配点集

迭代次数计数变量i＝0；

Step2：从S中随机选择4组匹配点对生成对应的单应变换模型H。用H验证M中的所有点对，如果(p,q)∈M，且|Hp-q|<ε，那么T＝T∪{(p,q)}。累加计数变量i++；

Step3：如果|T|>|R|，R＝T。根据T估算M中的匹配正确率γ＝|T|/|M|，用公式(2)估算新的迭代次数n'，如果n'<n，那么n＝n'。清空临时匹配点集

Step4：如果i<n，返回Step2；否则输出最终的匹配点集R。

实施例1

本实施例中的两幅图像是新疆某洞窟壁画的高分辨率照片，用于拼接工作的对准。本实施例中第一步RANSAC方法中用到的参数设置如下：误差阈值ε＝20，α＝0.99；第二步RANSAC方法中用到的参数：误差阈值ε＝3，α＝0.99。图3a是两幅输入图片，图3b是本发明的第一步RANSAC方法的结果，图3c是本发明的第二步RANSAC方法的结果，也即最终的匹配点集。

实施例2

本实施例中的两幅图像是新疆某洞窟的壁画缺失部分的照片，纹理较少，匹配困难。本实施例中第一步RANSAC方法中用到的参数设置如下：误差阈值ε＝20，α＝0.99；第二步RANSAC方法中用到的参数：误差阈值ε＝3，α＝0.99。图4a是两幅输入图片，图4b是本发明的第一步RANSAC方法的结果，图4c是本发明的第二步RANSAC方法的结果，也即最终的匹配点集。

两个实施例的源图的重叠部分占整个图像的比例均在15％左右，纹理少，它们用经典的RANSAC算法在默认2000次迭代的情况下得到的匹配点数量分别是13和12对，而且对应的正确性差。第二个实施例用近期的SC-RANSAC方法得到匹配点数量是177对，而本发明的方法在迭代上限为500次的前提下得到的匹配点数量分别是1031和1501对，显著增加了匹配点数量，对应的正确性也高。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (2)

1.一种加速特征点匹配的两步随机抽样一致性方法，其特征在于，包括以下步骤：

步骤A：分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

步骤B：以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证步骤A生成的初步匹配；随机构造多个仿射变换模型，模型个数由概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合；如果一个模型验证通过的集合包含的匹配点数量最多，那么称这个模型为最优模型；输出最优模型验证通过的匹配特征点集；其中，

用参数少的仿射变换模型快速找到一个匹配正确率高的匹配点集，包括：

1)仿射变换模型：

其中s,t_x和t_y是待定参数；

2)方法

输入：初始匹配点集M＝{(p,q)|p和q分别是两幅输入图像的特征点}，每次迭代的误差阈值ε，总的迭代次数N，置信度α；输出：正确率高的匹配点集S；

步骤B1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤B2：从匹配点集M中随机选择两组匹配点对，计算仿射变换的参数，生成一个模型F，用F验证M中的所有点对，如果(p,q)∈M，且|Fp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤B3：如果|T|>|S|，S＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果N'<N，那么N＝N'；清空临时匹配点集

步骤B4：如果i<N，返回步骤B2；否则输出验证过的匹配点集S；

步骤C：在步骤B筛选出的匹配点集上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集；其中，

在一个匹配正确率高的匹配点集上生成全参数单应变换模型，验证初步匹配点集，筛选出正确的匹配点对，包括：

输入：初始匹配点集M和正确率高的匹配点集S，误差阈值ε，总的迭代次数n，置信度α；输出：最终的匹配点集R；

步骤C1：初始化

临时匹配点集

迭代次数计数变量i＝0；

步骤C2：从S中随机选择4组匹配点对生成对应的单应变换模型H；用H验证M中的所有点对，如果(p,q)∈M，且|Hp-q|<ε，那么T＝T∪{(p,q)}；累加计数变量i++；

步骤C3：如果|T|>|R|，R＝T；根据T估算M中的匹配正确率γ＝|T|/|M|，由此估算新的迭代次数

如果n'<n，那么n＝n'；清空临时匹配点集

步骤C4：如果i<n，返回步骤C2；否则输出最终的匹配点集R。

2.一种加速特征点匹配的两步随机抽样一致性系统，其特征在于，采用如权利要求1所述的加速特征点匹配的两步随机抽样一致性方法，所述系统包括：

特征点检测模块，其用于分别检测两幅输入图像的特征点，用特征描述子的距离作为度量建立不同图像的特征点之间的初步匹配；

特征点匹配的仿射变换验证模块，其用于以只含缩放和平移参数的仿射变换为模型，应用RANSAC算法验证初步匹配；随机构造多个仿射变换模型，模型个数由概率方法确定，每个模型把初步匹配划分为验证通过和不通过两个集合；验证通过的集合包含的匹配点数量最多的模型称为最优模型；输出最优模型验证通过的匹配特征点集；

特征点匹配的单应变换验证模块，其用于在筛选出的匹配点的集合上生成全参数单应变换模型，用RANSAC算法计算一个最优单应变换，验证步骤A生成的初步匹配，选出正确性高的最终匹配点集。

Images