CN110443295A - 改进的图像匹配与误匹配剔除算法 - Google Patents

Abstract

本发明公开了一种改进的图像匹配与误匹配剔除算法，本算法采用FAST算法通过灰度值的差异从图像中提取特征点；利用图像块的二阶矩通过图像块的质心位置及几何中心给定特征点方向；对围绕特征点的像素点进行灰度值比较，采用BRIEF算法创建特征点的描述符；对描述符采用多探针局部敏感散列LSH算法匹配特征点的特征向量，得到特征向量的初始匹配对；依次使用GMS算法、余弦相似度算法和RANSAC算法剔除初始匹配对中的误匹配，得到精准的图像匹配结果。本算法通过改进的ORB算法特征点提取与匹配，结合GMS算法得到效果更好的粗略匹配集合，然后与RANSAC算法结合，达到剔除误匹配，保留正确匹配集合的目的，提高图像匹配的准确率以及算法的运算速度。

Description

改进的图像匹配与误匹配剔除算法

技术领域

本发明涉及一种改进的图像匹配与误匹配剔除算法。

背景技术

定位与实时建图是机器人导航和控制研究领域的两个基本问题，机器人研究领域的同步定位与地图构建SLAM技术是同时解决这两大问题的关键技术之一。目前，SLAM技术是机器人、自动驾驶、增强现实等领域的关键技术之一，是智能移动平台感知周围环境变化的基础技术。由于图像或视频能够提供丰富的环境信息，所以大部分SLAM技术研究集中在视觉算法(VSALM)中。在VSLAM中，图像匹配是SLAM的核心，关系到后续的定位与建图，同时，在图像拼接、目标跟踪、人脸识别、三维重建等领域有着广泛应用。

当前，图像匹配的方法有很多种，其中应用最广的有SIFT、SURF以及ORB算法等。其中，具有划时代意义的是由Lowe在1999年提出的尺度不变特征变换SIFT算法，并且在2004年得到补充与完善。该算法运用很广，在目标识别、图像拼接、三维重建等领域发挥巨大的作用。SIFT算法所检测到的特征是局部特征，这些特征具有尺度和旋转不变性，这些特征对亮度及噪声都具有很强的鲁棒性，并且在低概率的不匹配情况下也能正确的识别出来，具有很强的可区分性。同时，SIFT算法分为四个步骤来提取特征向量：(1)尺度空间极值检测；(2)特征点定位；(3)方向角度的确定；(4)特征点描述符。为之后提出的提取图像特征方法提供重要的借鉴价值。Bay等人于2006年提出并且在2008年得到完善的加速鲁棒特征SURF算法是一种具有鲁棒性的局部特征检测算法，SURF算法的灵感来自于SIFT算法，该算法一方面在保证正确性的前提下适当的进行了简化和近似，同时多次运用积分图图像的概念，来加快运算速率，该算法除了具有重复性高的检测和可区分性好的特征向量特点外，还具有很强的鲁棒性以及更高的运算速率，综合性能要优于SIFT算法。FAST(Features fromaccelerated segment test)算法是一种角点检测算法，它可用于特征点的提取，是由Rosten等人于2006年提出，并在2009年进行了完善，该方法最突出的特点就是计算效率高，如果应用机器学习的方法，该算法还能取得更好的效果。BRIEF(Binary RobustIndependent Elementary Features)算法是Calonder等人于2010年提出，该算法是基于二值位字符串的描述符形式，但描述符的创建更简单、更有效，它是一种更快的特征点描述符的创建和匹配方法。在视觉SLAM技术中应用频繁的ORB(Oriented FAST and RotatedBRIEF)算法是由Rublee等人于2011年提出的，该算法由FAST算法和BRIEF算法合并而成，这两种算法的显著特点就是快，但是不具备旋转不变性，所以ORB算法在FAST算法检测特征点后依据强度质心(Intensity Centroid)这个概念给FAST检测到的特征点赋予方向角度，并且在BRIEF算法中创建的描述符旋转到该方向角度。ORB算法除了完全保留两个算法的快速特点外，还实现了旋转不变性。针对ORB算法误匹配率过高等一系列问题，JiaWang Bian等人于2017年提出GMS(Grid-based Motion Statistics for Fast,Ultra-robust FeatureCorrespondence)算法，通过引入平滑约束的概念，来区分正确匹配对和错误匹配对，其将运动平滑性封装在一个区域内，在区域内有一定数量匹配，从而统计正确匹配概率，通过ORB算法创建描述符，在暴力匹配的基础上，剔除错误的匹配，具有高鲁棒性匹配效果。

上述各算法中，SIFT算法提取的描述子效果最好，SURF算法次之，但是这两种算法的计算量太大，远远达不到视觉SLAM技术的实时性要求，而ORB算法运算速度很快，但是在准确度方面差强人意。

发明内容

本发明所要解决的技术问题是提供一种改进的图像匹配与误匹配剔除算法，本算法通过改进的ORB算法特征点提取与匹配，结合GMS算法得到效果更好的粗略匹配集合，然后与带有方向约束的RANSAC算法结合，来达到剔除误匹配，保留正确匹配集合的目的，提高图像匹配的准确率以及算法的运算速度。

为解决上述技术问题，本发明改进的图像匹配与误匹配剔除算法包括如下步骤：

步骤一、采用ORB算法中的FAST算法从图像中提取特征点，检测图像中具有明显灰度值变化的像素点，假设像素点p的像素值为Ip，设定一个阈值A，A＝20％Ip，以像素点p为中心，选取半径为3个像素点的圆上的16个像素点，假设选取的圆上有连续的N个像素点的亮度大于Ip+A或者小于Ip-A，则设定像素点p为特征点；

步骤二、利用图像块的二阶矩给定特征点方向，获得图像块的质心位置，利用质心位置通过连接图像块的几何中心和质心确定每个特征点方向；

步骤三、采用BRIEF算法创建特征点的描述符，选择围绕特征点的128对像素点，并将它们的灰度值进行比较，组成128维二进制描述符；

步骤四、对128维二进制描述符采用多探针局部敏感散列LSH算法匹配特征点的特征向量，得到特征向量的初始匹配对；

步骤五、使用GMS算法消除初始匹配对中的误匹配，GMS算法将图像的运动平滑性封装在一个区域内，如特征点运动是平滑的，则相邻像素点与特征点一起移动，正确匹配周围具有支持匹配的特征点，错误匹配周围无支持匹配的特征点，从而筛选掉错误匹配；

步骤六、在使用GMS算法消除初始误匹配之后，仍然存在一些误匹配对，采用余弦相似度算法计算匹配对两个矢量之间的角度余弦值来估算两个矢量的相似度，设定相似度范围为-1到1，1表示匹配的两个向量方向完全相同，设定相似度大于0.8的向量匹配是正确匹配，予以保留，小于0.8的匹配为错误匹配并剔除；

步骤七、调用RANSAC算法函数，利用单应性矩阵对使用GMS算法和余弦相似度算法消除初始匹配对中误匹配后的初始匹配对再次进行误匹配剔除，得到精准的图像匹配结果。

进一步，所述步骤四中多探针局部敏感散列LSH算法将对比图像中128维二进制描述符的所有特征向量都映射到一组散列桶中，将目标图像中128维二进制描述符中的类似特征向量采用相同的散列函数映射到相同散列桶或相邻散列桶中作为查询向量，检查相同散列桶或相邻散列桶，得到特征向量的初始匹配对。

进一步，所述步骤五中设定正确匹配周围具有支持匹配的特征点的阈值τ近似为：

其中，α＝6是经验值，n_i是单个网格单元中所呈现的特征点数的平均值，二值化Sij将匹配对分为真集和假集{T，F},Sij为匹配对周围支持该匹配对的得分，将大于阈值τ的放入真集T中，是正确的匹配对，小于阈值τ的放入假集F中，是错误的匹配对，其数学表达式为：

其中，cell-pair表示单个网格匹配的集合。

进一步，所述步骤六中余弦相似度公式为：

其中，Sim_cos为相似度值，θ为匹配对两个矢量的夹角，(x_p,x_q)为给定匹配对的坐标。

由于本发明改进的图像匹配与误匹配剔除算法采用了上述技术方案，即本算法采用FAST算法通过灰度值的差异从图像中提取特征点；利用图像块的二阶矩通过图像块的质心位置及几何中心给定特征点方向；对围绕特征点的像素点进行灰度值比较，采用BRIEF算法创建特征点的描述符；对描述符采用多探针局部敏感散列LSH算法匹配特征点的特征向量，得到特征向量的初始匹配对；依次使用GMS算法、余弦相似度算法和RANSAC算法剔除初始匹配对中的误匹配，得到精准的图像匹配结果。本算法通过改进的ORB算法特征点提取与匹配，结合GMS算法得到效果更好的粗略匹配集合，然后与带有方向约束的RANSAC算法结合，来达到剔除误匹配，保留正确匹配集合的目的，提高图像匹配的准确率以及算法的运算速度。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本发明改进的图像匹配与误匹配剔除算法框图；

图2为本算法中特征点提取示意图；

图3为本算法中多探针局部敏感散列LSH算法的搜索机制示意图。

具体实施方式

实施例如图1所示，本发明改进的图像匹配与误匹配剔除算法包括如下步骤：

步骤一、如图2所示，采用ORB算法中的FAST算法从图像中提取特征点，检测图像中具有明显灰度值变化的像素点，假设像素点p的像素值为Ip，设定一个阈值A，A＝20％Ip，以像素点p为中心，选取半径为3个像素点的圆上的16个像素点p1至p16，假设选取的圆上有连续的N个像素点的亮度大于Ip+A或者小于Ip-A，则设定像素点p为特征点；图2中一个单元格表示一个像素点；

步骤二、利用图像块的二阶矩给定特征点方向，获得图像块的质心位置，利用质心位置通过连接图像块的几何中心和质心确定每个特征点方向；

步骤三、采用BRIEF算法创建特征点的描述符，选择围绕特征点的128对像素点，并将它们的灰度值进行比较，组成128维二进制描述符；

步骤四、对128维二进制描述符采用多探针局部敏感散列LSH算法匹配特征点的特征向量，得到特征向量的初始匹配对；

步骤五、使用GMS算法消除初始匹配对中的误匹配，GMS算法将图像的运动平滑性封装在一个区域内，如特征点运动是平滑的，则相邻像素点与特征点一起移动，正确匹配周围具有支持匹配的特征点，错误匹配周围无支持匹配的特征点，从而筛选掉错误匹配；相邻像素点与特征点一起移动时，默认正确匹配周围会有许多该区域的匹配对，该匹配对被认为是支持匹配的特征点，而错误匹配周围没有该区域的匹配对，则认为周围无支持的匹配对。

步骤六、在使用GMS算法消除初始误匹配之后，仍然存在一些误匹配对，采用余弦相似度算法计算匹配对两个矢量之间的角度余弦值来估算两个矢量的相似度，设定相似度范围为-1到1，1表示匹配的两个向量方向完全相同，设定相似度大于0.8的向量匹配是正确匹配，予以保留，小于0.8的匹配为错误匹配并剔除；

步骤七、调用RANSAC算法函数，利用单应性矩阵对使用GMS算法和余弦相似度算法消除初始匹配对中误匹配后的初始匹配对再次进行误匹配剔除，得到精准的图像匹配结果。

优选的，所述步骤四中多探针局部敏感散列LSH算法将对比图像中128维二进制描述符的所有特征向量都映射到一组散列桶中，将目标图像中128维二进制描述符中的类似特征向量采用相同的散列函数映射到相同散列桶或相邻散列桶中作为查询向量，检查相同散列桶或相邻散列桶，得到特征向量的初始匹配对。

优选的，所述步骤五中设定正确匹配周围具有支持匹配的特征点的阈值τ近似为：

其中，α＝6是经验值，n_i是单个网格单元中所呈现的特征点数的平均值，二值化Sij将匹配对分为真集和假集{T，F},Sij为匹配对周围支持该匹配对的得分，将大于阈值τ的放入真集T中，是正确的匹配对，小于阈值τ的放入假集F中，是错误的匹配对，其数学表达式为：

其中，cell-pair表示单个网格匹配的集合，由于匹配时单个特征点的匹配变成一个网格与另一个网格的匹配，因此cell-pair代表目标图像网格区域i与对比图像网格区域j的正确匹配与错误匹配的集合。

优选的，所述步骤六中余弦相似度公式为：

其中，Sim_cos为相似度值，θ为匹配对两个矢量的夹角，(x_p,x_q)为给定匹配对的坐标。

在图像匹配技术中，尽管基于汉明距离的暴力匹配简单快速，但其误匹配率过高，极大地影响了随后的剔除误匹配算法。为了克服这一不足，本算法采用多探针LSH方法取代了传统的暴力匹配，以提供正确匹配对，同时仍保持高时间效率。

基本的LSH算法基于大量哈希表的查询，具体来说，对比图像M₁中的所有特征向量都映射到一组散列桶中，目标图像M₂中的特征向量通过相同的散列函数映射到散列桶中作为查询向量。基本的LSH算法是全局搜索算法，在确保其搜索准确性时需花费大量查询时间。不难看出，目标图像M₂中的类似特征向量也可以映射到相同散列桶或相邻散列桶。即如果目标图像M₂中的查询点向量的哈希桶未被映射到涉及该查询点的哈希桶中，则该查询点向量应包括在附近的哈希桶中。在算法采用的多探针LSH算法克服全局搜索的缺点，其核心思想是使用特定的探测序列来检测可能包含最近邻居的多个散列桶。也就是说，其只需要检查相邻的散列桶，而不需要检查所有的散列表，从而大大缩短查询时间，提高匹配效率。

图3显示了多探针LSH算法的搜索机制，其中H_bi(x₂)是特征向量的i查询的哈希桶x₂，H_Bi是对应的子哈希表，通过对比图像M₁以及扰动向量Δ1，Δ2，...获得检测序列。由于每个向量都映射到一组唯一的哈希桶，因此不会重复检测哈希桶。由于使用了扰动向量，可以同时搜索来自H_Bi的更多哈希桶，这些哈希桶可能接近查询对象x₂的桶，并且可以包含最近的邻居。

通过多探针LSH算法得到初始匹配对存在许多的误匹配，为了进一步优化匹配结果，进一步使用GMS算法来消除误匹配。GMS算法就是将运动平滑性封装在一个区域内，在区域内有一定数量匹配，统计正确匹配概率的一种简单方法。其从不同视角拍摄的同一物体的图像，如果运动是平滑的，相邻的像素点就会与特征点一起移动，这样，正确的匹配周围会有支持匹配的特征点，错误匹配周围没有支持匹配的特征点或者很少，设定低于一定的阈值，就能筛选掉错误的匹配。

使用GMS算法消除初始误匹配之后，仍然存在一些误匹配对，本算法利用余弦相似度算法，通过计算两个矢量之间角度的余弦值来估算两个矢量的相似性，相似度值越小，匹配对越相似。

经余弦相似度算法后，本算法直接调用RANSAC算法函数，利用单应性矩阵再次进行误匹配剔除，使本算法的准确性大大提高。

图像匹配不仅需要匹配精度，而且还需要更快的速度来实现VSLAM系统的实时性能。通过SIFT，SURF，ORB的运行时间和传统的GMS算法验证本算法的优越性。采用本算法计算Mikolajczyk标准图像集中视角变换、光照强度和尺度变化下的匹配精度和运行时间，并且与其他算法进行比较，分别得到表1、表2、表3和表4，表1、表2、表3分别是在视角变换，光照强度和尺度变化下各算法的匹配精度，表4是各算法的匹配时间。

表1、视角变换下的正确匹配概率

表2、光照变换下的正确匹配概率

算法名称	特征点总对数	正确匹配点对数	正确匹配概率％
				SIFT	200	173	86.50
SURF	200	158	79.00
				ORB	200	157	78.50
GMS	161	144	89.44
				本算法	99	89	89.89

表3、尺度变换下的正确匹配概率

算法名称	特征点总对数	正确匹配点对数	正确匹配概率％
				SIFT	200	155	77.50
SURF	200	139	69.50
				ORB	200	147	73.50
GMS	172	142	82.56
				本算法	117	109	93.16

表4、各算法的匹配时间

通过上述对比可见，本算法比传统算法匹配精度提高5个百分点，同时运行时间基本达到实时性要求，满足SLAM技术对于图像匹配的需求。

Claims (4)

1.一种改进的图像匹配与误匹配剔除算法，其特征在于本算法包括如下步骤：

步骤一、采用ORB算法中的FAST算法从图像中提取特征点，检测图像中具有明显灰度值变化的像素点，假设像素点p的像素值为Ip，设定一个阈值A，A＝20％Ip，以像素点p为中心，选取半径为3个像素点的圆上的16个像素点，假设选取的圆上有连续的N个像素点的亮度大于Ip+A或者小于Ip-A，则设定像素点p为特征点；

步骤二、利用图像块的二阶矩给定特征点方向，获得图像块的质心位置，利用质心位置通过连接图像块的几何中心和质心确定每个特征点方向；

步骤三、采用BRIEF算法创建特征点的描述符，选择围绕特征点的128对像素点，并将它们的灰度值进行比较，组成128维二进制描述符；

步骤四、对128维二进制描述符采用多探针局部敏感散列LSH算法匹配特征点的特征向量，得到特征向量的初始匹配对；

步骤五、使用GMS算法消除初始匹配对中的误匹配，GMS算法将图像的运动平滑性封装在一个区域内，如特征点运动是平滑的，则相邻像素点与特征点一起移动，正确匹配周围具有支持匹配的特征点，错误匹配周围无支持匹配的特征点，从而筛选掉错误匹配；

步骤六、在使用GMS算法消除初始误匹配之后，仍然存在一些误匹配对，采用余弦相似度算法计算匹配对两个矢量之间的角度余弦值来估算两个矢量的相似度，设定相似度范围为-1到1，1表示匹配的两个向量方向完全相同，设定相似度大于0.8的向量匹配是正确匹配，予以保留，小于0.8的匹配为错误匹配并剔除；

步骤七、调用RANSAC算法函数，利用单应性矩阵对使用GMS算法和余弦相似度算法消除初始匹配对中误匹配后的初始匹配对再次进行误匹配剔除，得到精准的图像匹配结果。

2.根据权利要求1所述的改进的图像匹配与误匹配剔除算法，其特征在于：所述步骤四中多探针局部敏感散列LSH算法将对比图像中128维二进制描述符的所有特征向量都映射到一组散列桶中，将目标图像中128维二进制描述符中的类似特征向量采用相同的散列函数映射到相同散列桶或相邻散列桶中作为查询向量，检查相同散列桶或相邻散列桶，得到特征向量的初始匹配对。

3.根据权利要求1所述的改进的图像匹配与误匹配剔除算法，其特征在于：所述步骤五中设定正确匹配周围具有支持匹配的特征点的阈值τ近似为：

其中，α＝6是经验值，n_i是单个网格单元中所呈现的特征点数的平均值，二值化Sij将匹配对分为真集和假集{T，F},Sij为匹配对周围支持该匹配对的得分，将大于阈值τ的放入真集T中，是正确的匹配对，小于阈值τ的放入假集F中，是错误的匹配对，其数学表达式为：

其中，cell-pair表示单个网格匹配的集合。

4.根据权利要求1所述的改进的图像匹配与误匹配剔除算法，其特征在于：所述步骤六中余弦相似度公式为：

其中，Sim_cos为相似度值，θ为匹配对两个矢量的夹角，(x_p,x_q)为给定匹配对的坐标。