CN116630662A - 一种应用于视觉slam的特征点误匹配剔除方法 - Google Patents

Abstract

本发明涉及一种应用于视觉SLAM的特征点误匹配剔除方法，属于计算机视觉技术领域。包括将摄像头采集的图像进行ORB特征点提取，将当前帧的特征点与关键帧特征点进行特征点匹配，计算匹配特征点对的欧式距离，使用boxplot方法对欧式距离进行外点粗略剔除，将粗略剔除后的特征点对欧式距离进行直方图统计，将直方图进行数据处理，根据直方图处理结果剔除质量不好的匹配点对。有益效果是剔除了特征点匹配的误匹配，提高了SLAM系统的鲁棒性，提高了后续建图与定位的准确性，且减小了计算量和存储空间，提高了系统的效率。

Description

一种应用于视觉SLAM的特征点误匹配剔除方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种应用于视觉SLAM的特征点误匹配剔除方法。

背景技术

SLAM(Simultaneous Localization and Mapping，即同时定位与地图构建)是一种在未知环境中使用单个或多个相机进行定位和地图构建的技术。按使用传感器类别SLAM可分为视觉SLAM和激光SLAM，目前视觉SLAM技术已经在自动驾驶、机器人导航、虚拟现实等领域得到广泛应用，可以帮助实现自主导航和地图构建等功能，提高生产和生活效率，具有广阔的应用前景。

目前主流的视觉SLAM特征点匹配算法包括特征点描述子匹配法、直接法、深度学习法，其中特征点描述子匹配法通过计算特征点周围区域的特征描述子，将每个特征点表示成一个向量，然后通过计算向量之间的距离或相似度，来进行匹配；直接法与传统的基于特征点的方式不同，直接法不需要进行特征提取和匹配，直接使用像素灰度信息进行匹配；基于深度学习的端到端匹配网络可以直接从图像对中学习匹配函数，实现端到端的特征点匹配。这种方法的优点在于可以避免手工设计的特征描述子的局限性，同时可以通过大量的数据训练网络来提高匹配的准确性和鲁棒性。

虽然特征点匹配算法在许多情况下表现良好，但特征点匹配算法对光照变化、物体遮挡和相机或物体运动模糊等情况非常敏感，这些因素可能导致特征点提取和匹配的不准确性，而且特征点匹配算法在处理动态物体时由于动态物体的特征点可能会发生变化，可能导致匹配失败，为此如果直接将匹配的特征点用于后续处理可能会对系统引入噪声。

发明内容

本发明提供一种应用于视觉SLAM的特征点误匹配剔除方法，以解决目前特征点匹配存在误匹配的问题，通过对匹配的特征点进行误匹配剔除，提升了视觉SLAM系统的鲁棒性与精度。

本发明采取的技术方案是，包括下列步骤：

(1)、将摄像头采集的图像进行ORB特征点提取；

(2)、将当前帧的特征点与关键帧特征点进行特征点匹配；

(3)、计算匹配特征点对的欧式距离；

(4)、使用boxplot方法对欧式距离进行外点粗略剔除；

(5)、将所有的特征点对欧式距离进行直方图统计；

(6)、将直方图进行数据处理；

(7)、根据直方图统计结果将误匹配的点对解除匹配关系。

本发明所述步骤(1)将摄像头采集的图像进行ORB特征点提取，具体包括：

将采集的RGB图像转化成灰度图；采用8层金字塔总共提取1000个特征点，其中第i层金字塔提取个数为：

其中s为缩放因子，取利用FAST算法提取每层金字塔的特征点，

利用灰度质心法计算每个特征点的方向向量，计算每个特征点的brief描述子，其中brief描述子的模板方向向量与特征点的方向向量保持一致。

本发明所述步骤(2)将当前帧的特征点与关键帧特征点进行特征点匹配，具体包括：

基于ORB-SLAM2算法框架完成相机初始化，完成局部地图点创建，选取当前帧像素点与关键帧像素点比较brief描述子相似性，为了加速提取，只考虑与当前帧像素点半径为20的像素区域选取相似性最高的关键帧像素点作为匹配点对，循环遍历所有的像素点使其找到与之相匹配的关键帧像素点。

本发明所述步骤(3)计算匹配特征点对的欧式距离，具体包括：

定义已经完成特征匹配的点集P＝{p₁,p₂,...,p_n}，Q＝{q₁,q₂,...,q_n}，其中P点集为当前帧的特征点点集，Q点集为关键帧的特征点点集，n为特征点的索引，点集元素p_n和q_n为匹配的特征点，特征点对的欧式距离集合记为Dis＝{dis₁,dis₂,...,dis_n}，公式为Dis＝||P-Q||²，即分别计算每一对特征点对的欧式距离得到匹配对的欧式距离集合Dis。

本发明所述步骤(4)使用boxplot方法对欧式距离进行外点粗略剔除，具体包括：

将集合Dis数据按照从小到大顺序排列，记数据的下四分位数位为Q₁，中位数为Q₂，上四分位数为Q₃，四分位距为IQR，其中IQR＝Q₃-Q₁，取数据上限为Q₃+1.5IQR，数据下限为Q₁-1.5IQR，即将集合Dis中不在Q₁-1.5IQR～Q₃+1.5IQR内的数据作为外点进行剔除，记Dis剔除数据后为Dis₁，并把点集P、点集Q中相应的数据剔除，记点集P剔除后的点集为P₁，点集Q剔除后的点集为Q₁。

本发明所述步骤(5)将所有的特征点对欧式距离进行直方图统计，具体包括：

取直方图最小值为0像素，最大值为max像素，组距为k像素，可知共有组数据，将所有的点对欧氏距离放入直方图中，若其欧氏距离大于max，则将其放入最后一组，具体地，首先判断当前匹配点对的欧式距离d是否大于max，若大于则放入/>组，否则放入第/>组，结果取向下取整。

本发明所述步骤(6)将对直方图进行数据处理，具体包括：

首先对直方图的频数进行统计，记每一组的频数为其中M_h表示第h组的频数，并对直方图进行归一化处理，直方图归一化公式记为：/>其中X_h表示第h组的归一化数值，M_a表示第a组归一化数值，M_h表示第h组归一化数值，并取直方图频率最高的组记为M_ε，且由于将所有欧式距离大于max的点对都放在最后一组，且最后一组距离太大，所以直接将最后一组视为外点，因此此时/>采用交叉取数的策略，即先取M_ε再取M_ε-1，再取M_ε+1，直到取到的所有直方图数据频率之和大于70％，认为剩余的数据为错误匹配，并将所取组中的欧氏距离索引进行记录，记为集合N。

本发明所述步骤(7)利用直方图数据处理结果对特征点对进行剔除，具体包括：

遍历查询欧式距离集合，若Dis₁元素不在N集合内，则对该匹配点对视为外点，并进行解除匹配关系，具体地，删除集合P₁和集合Q₁中相应元素，记点集P₁剔除后的点集为P₂，点集Q₁剔除后的点集为Q₂。

本发明的有益效果是：利用boxplot方法和直方图对匹配的特征点对进行进一步的筛查，并剔除掉其中的误匹配，将摄像头采集的图像进行ORB特征点提取；将当前帧的特征点与关键帧特征点进行特征点匹配；计算匹配特征点对的欧式距离；使用boxplot方法对欧式距离进行外点粗略剔除；将所有的特征点对欧式距离进行直方图统计，计算直方图中最高得分并以直方图的最高得分为基准，将该基准附近的匹配点对认为是正确的匹配点对，与基准距离较远的点对视为误匹配，将误匹配的点对解除匹配关系。本发明剔除了特征点匹配的误匹配，提高了SLAM系统的鲁棒性，提高了后续建图与定位的准确性，且减小了计算量和存储空间，提高了系统的效率。

附图说明

图1是本发明的流程图；

图2是本发明实例中三维坐标系下未使用本发明原始算法的轨迹与真值轨迹的对比图；

图3是本发明实例中三维坐标系下使用本发明后的轨迹与真值轨迹的对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅出示了与本发明相关的部分而非全部结构。

如图1所示，本发明的一种应用于视觉SLAM的特征点误匹配剔除方法流程图，具体步骤如下：

S1、将摄像头采集的图像进行ORB特征点提取；

S2、将当前帧的特征点与关键帧特征点进行特征点匹配；

S3、计算匹配特征点对的欧式距离；

S4、使用boxplot方法对欧式距离进行外点粗略剔除

S5、将所有的特征点对欧式距离进行直方图统计；

S6、将直方图进行数据处理；

S7、根据直方图统计结果将误匹配的点对解除匹配关系；

在本实施例中，所述步骤S1中，具体如下：

将采集的RGB图像转化成灰度图；

采用8层金字塔总共提取1000个特征点，其中第i层金字塔提取：个，其中s为缩放因子，取/>

利用FAST算法提取每层金字塔的特征点；

利用灰度质心法计算每个特征点的方向向量；

计算每个特征点的brief描述子，并将brief描述子的模板方向向量与特征点的方向向量保持一致。

具体实施过程中，利用FAST算法提取完特征点后，再利用四叉树搜索方式，搜索出每一层应该提取的特征点数，利用灰度质心法计算方向向量时，设计半径为12的圆计算圆内灰度像素值的重心，中心与重心的连线作为该特征点的方向向量，计算brief描述子时，采用16*16矩形区域为模板，按照固定的序列在模板内随机取点，本实例序列为符合高斯分布的随机点序列。

在本实施例中，所述步骤S1中，由于只是单独提取出单幅图像的ORB特征点，所以所述步骤S2中，利用当前帧的特征点与关键帧特征点进行特征点匹配，具体如下：

基于ORB-SLAM2框架完成相机初始化，完成局部地图点创建；

选取当前帧像素点与关键帧像素点比较brief描述子相似性，为了加速提取，只考虑与当前帧像素点半径为20的像素区域选取相似性最高的关键帧像素点作为匹配点对；

循环遍历所有的像素点使其找到与之相匹配的关键帧像素点。

具体实施过程中，当前帧像素点与关键帧像素点比较brief描述子时，为了提高区分度，记录相似度最佳距离与次佳距离，只有最佳距离<次佳距离*0.9才会考虑是否为匹配点对。

在本实施例中，所述步骤S1中，由于缺乏对匹配点对的筛查与剔除，所以所述步骤S3中，计算匹配特征点对的欧式距离，具体如下：

定义已经完成特征匹配的点集P＝{p₁,p₂,...,p_n}，Q＝{q₁,q₂,...,q_n}，其中P点集为当前帧的特征点点集，Q点集为关键帧的特征点点集，n为特征点的索引，点集元素p_n和q_n为匹配的特征点，特征点对的欧式距离集合记为Dis＝{dis₁,dis₂,...,dis_n}，公式为Dis＝||P-Q||²，分别计算每一对特征点对的欧式距离得到匹配对的欧式距离集合Dis。

在本实施例中，所述步骤S4中，使用boxplot方法对欧式距离进行外点粗略剔除，具体如下：

将集合Dis数据按照从小到大顺序排列，记数据的下四分位数位为Q₁，中位数为Q₂，上四分位数为Q₃，四分位距为IQR，其中IQR＝Q₃-Q₁，取数据上限为Q₃+1.5IQR，数据下限为Q₁-1.5IQR，即将集合Dis中不在Q₁-1.5IQR～Q₃+1.5IQR内的数据作为外点进行剔除，记Dis剔除数据后为Dis₁，并把点集P、点集Q中相应的数据剔除，记点集P剔除后的点集为P₁，点集Q剔除后的点集为Q₁。

在本实施例中，所述步骤S5中，将所有的特征点对欧式距离进行直方图统计，具体如下：

设计直方图最小值为0像素，最大值为max像素，组距为k像素，可知共有组数据，将所有的点对欧氏距离放入直方图中，若其欧氏距离大于max，则将其放入最后一组，具体地，首先判断当前匹配点对的欧式距离d是否大于max，若大于则放入/>组，否则放入第组，结果取向下取整。

本实例中选取最大值max＝150,组距k＝10，组数为10组。

在本实施例中，所述步骤S6中，将对直方图进行数据处理，具体如下：

对直方图的频数进行统计，记每一组的频数为其中M_h表示第h组的频数，对直方图进行归一化处理，直方图归一化公式记为：

其中X_h表示第h组的归一化数值，M_a表示第a组归一化数值，M_h表示第h组归一化数值，取直方图频率最高的组记为M_ε,且由于将所有欧式距离大于max的点对都放在最后一组，且最后一组距离太大，所以直接将最后一组视为外点，因此此时/>采用交叉取数的策略，即先取M_ε再取M_ε-1,再取M_ε+1,直到取到的所有直方图数据频率之和大于70％，认为剩余的数据为错误匹配，并将所取组中的欧氏距离索引进行记录，记为集合N。

在本实施例中，所述步骤S7中，利用直方图数据处理结果对特征点对进行剔除，具体如下：

遍历查询欧式距离集合，若Dis₁元素不在N集合内，则对该匹配点对视为外点，并进行解除匹配关系，具体地，删除集合P₁和集合Q₁中相应元素，记点集P₁剔除后的点集为P₂，点集Q₁剔除后的点集为Q₂。

为了更好的体现本发明的效果，实例中使用原始ORB-SLAM2算法与新增本方法的改进版ORB-SLAM2在Ubuntu20.04系统进行测试，测试硬件系统为CPU为12th GenIntelCore^TMi9-12900KF×24，需要配置的第三方库为Pangolin，OpenCV，Eigen3，分别测量绝对位姿误差(APE)和相对位姿误差(RPE)来评估SLAM系统误差。

APE是衡量SLAM系统绝对姿态误差的指标，通常使用欧式距离或者姿态差等来计算。在SLAM中，APE通常表示为地图中所有已知位置点与其对应的真实位置点之间的距离误差的平均值。APE越小，说明SLAM系统的绝对定位精度越高。

RPE是衡量SLAM系统相对姿态误差的指标，通常使用差距向量、角度差等来计算。在SLAM中，RPE通常表示为相邻时刻的位姿估计值与真实位姿之间的误差。RPE越小，说明SLAM系统的相对定位精度越高。

测试的具体数据如表1所示，由数据可知本发明使用一种应用于视觉SLAM的特征点误匹配剔除方法能够提升SLAM系统的鲁棒性与精度。

表1APE误差对比实验表

表2RPE误差对比实验表

图2为本发明实例中三维坐标系下未使用本发明原始算法的轨迹与真值轨迹的对比图；图3为本发明实例中三维坐标系下使用本发明后的轨迹与真值轨迹的对比图。

其中虚线为位姿真值，实线为算法计算的实际位姿。由图可直观的看出本发明使用一种应用于视觉SLAM的特征点误匹配剔除方法能够提升SLAM系统中对位姿的估计，提升了系统的鲁棒性与精度。

Claims (8)

1.一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，包括下列步骤：

(1)、将摄像头采集的图像进行ORB特征点提取；

(2)、将当前帧的特征点与关键帧特征点进行特征点匹配；

(3)、计算匹配特征点对的欧式距离；

(4)、使用boxplot方法对欧式距离进行外点粗略剔除；

(5)、将所有的特征点对欧式距离进行直方图统计；

(6)、将直方图进行数据处理；

(7)、根据直方图统计结果将误匹配的点对解除匹配关系。

2.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(1)将摄像头采集的图像进行ORB特征点提取，具体包括：

将采集的RGB图像转化成灰度图；采用8层金字塔总共提取1000个特征点，其中第i层金字塔提取个数为：

其中s为缩放因子，取利用FAST算法提取每层金字塔的特征点，

利用灰度质心法计算每个特征点的方向向量，计算每个特征点的brief描述子，其中brief描述子的模板方向向量与特征点的方向向量保持一致。

3.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(2)将当前帧的特征点与关键帧特征点进行特征点匹配，具体包括：

基于ORB-SLAM2算法框架完成相机初始化，完成局部地图点创建，选取当前帧像素点与关键帧像素点比较brief描述子相似性，为了加速提取，只考虑与当前帧像素点半径为20的像素区域选取相似性最高的关键帧像素点作为匹配点对，循环遍历所有的像素点使其找到与之相匹配的关键帧像素点。

4.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(3)计算匹配特征点对的欧式距离，具体包括：

定义已经完成特征匹配的点集P＝{p₁,p₂,...,p_n}，Q＝{q₁,q₂,...,q_n}，其中P点集为当前帧的特征点点集，Q点集为关键帧的特征点点集，n为特征点的索引，点集元素p_n和q_n为匹配的特征点，特征点对的欧式距离集合记为Dis＝{dis₁,dis₂,...,dis_n}，公式为Dis＝||P-Q||²，即分别计算每一对特征点对的欧式距离得到匹配对的欧式距离集合Dis。

5.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(4)使用boxplot方法对欧式距离进行外点粗略剔除，具体包括：

将集合Dis数据按照从小到大顺序排列，记数据的下四分位数位为Q₁，中位数为Q₂，上四分位数为Q₃，四分位距为IQR，其中IQR＝Q₃-Q₁，取数据上限为Q₃+1.5IQR，数据下限为Q₁-1.5IQR，即将集合Dis中不在Q₁-1.5IQR～Q₃+1.5IQR内的数据作为外点进行剔除，记Dis剔除数据后为Dis₁，并把点集P、点集Q中相应的数据剔除，记点集P剔除后的点集为P₁，点集Q剔除后的点集为Q₁。

6.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(5)将所有的特征点对欧式距离进行直方图统计，具体包括：

取直方图最小值为0像素，最大值为max像素，组距为k像素，可知共有组数据，将所有的点对欧氏距离放入直方图中，若其欧氏距离大于max，则将其放入最后一组，具体地，首先判断当前匹配点对的欧式距离d是否大于max，若大于则放入/>组，否则放入第/>组，结果取向下取整。

7.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(6)将对直方图进行数据处理，具体包括：

首先对直方图的频数进行统计，记每一组的频数为其中M_h表示第h组的频数，并对直方图进行归一化处理，直方图归一化公式记为：/>其中X_h表示第h组的归一化数值，M_a表示第a组归一化数值，M_h表示第h组归一化数值，并取直方图频率最高的组记为M_ε，且由于将所有欧式距离大于max的点对都放在最后一组，且最后一组距离太大，所以直接将最后一组视为外点，因此此时/>采用交叉取数的策略，即先取M_ε再取M_ε-1，再取M_ε+1，直到取到的所有直方图数据频率之和大于70％，认为剩余的数据为错误匹配，并将所取组中的欧氏距离索引进行记录，记为集合N。

8.根据权利要求1所述的一种应用于视觉SLAM的特征点误匹配剔除方法，其特征在于，所述步骤(7)利用直方图数据处理结果对特征点对进行剔除，具体包括：

遍历查询欧式距离集合，若Dis₁元素不在N集合内，则对该匹配点对视为外点，并进行解除匹配关系，具体地，删除集合P₁和集合Q₁中相应元素，记点集P₁剔除后的点集为P₂，点集Q₁剔除后的点集为Q₂。