CN112562000A - 基于特征点检测和误匹配筛选的机器人视觉定位方法 - Google Patents

Abstract

本发明提供了一种基于特征点检测和误匹配筛选的机器人视觉定位方法，包括以下步骤：A：构建高斯图像金字塔；B：对的每一层图像分别以四边形模型进行FAST特征点检测；C：对提取的特征点基于邻域像素值构建BRIEF描述子；D：基于BRIEF描述子进行暴力匹配；E：对误匹配的特征点进行筛选，基于筛选结果将匹配的特征点对应到原始参考图像和待匹配图像本发明的优点在于：通过四边形模式进行特征点检测，提高检测速度，通过构建高斯图像金字塔，消除FAST特征点不具备尺度性的缺陷，基于暴力匹配，确保特征点能够相互匹配，然后再对误匹配的特征点进行筛选，保留正确的匹配结果，从而方便进行位姿解算。

Description

基于特征点检测和误匹配筛选的机器人视觉定位方法

技术领域

本发明涉及图像检测技术领域，尤其涉及一种基于特征点检测和误匹配筛选的机器人视觉定位方法。

背景技术

在计算机视觉的图像检测领域，图像特征提取与匹配是机器人视觉定位中的重要环节，机器人视觉定位常常应用在同步定位与建图(Simultaneous Localization andMapping，SLAM)，指移动载体搭载特定的传感器，例如深度相机、激光雷达、惯性测量单元，在未知的环境中，载体从某一点出发，在运动过程中，通过传感器重复采集到的图像和深度信息，估计自身的运动轨迹，同时增量式的构建周围环境的地图信息。SLAM系统包括视觉里程计、后端优化、回环检测、建图四个环节。视觉里程计是最重要的环节之一，包括特征提取与匹配，机器人位姿估计，SLAM系统根据特征提取与匹配的结果采用三角测量、PNP或ICP的方法估计机器人的位姿，实现机器人的自我定位以及自我轨迹的跟踪。良好的视觉里程计还能够为后续环节提供优质的数据，后端优化和回环检测根据视觉里程计提供的数据对机器人局部位姿和轨迹进行优化。SLAM系统生成的运动轨迹和各种形式的地图为移动机器人定位、导航、避障、以及人机交互提供了技术支持，尤其在不能接收GPS信号的地方和室内小场景，拥有更加广泛的应用前景。因此，提高图像特征提取与匹配的精度具有重要的理论意义和实际应用价值。

随着对设备小型化和便携化的要求越来越高，未来希望视觉定位技术能够应用在嵌入式设备或移动设备上，因此不能占用大量的运算资源，对系统实时性有较高的要求，两帧图像之间的特征匹配结果对定位的精度有较大的影响，并且特征提取与匹配只是视觉定位中的一部分，其数据的优劣对后续的结果也会产生较大的影响，提高特征提取与匹配的速度和精度依然是目前需要优化的重要问题。

公开号为CN104596519A的发明专利申请提供了一种基于RANSAC算法的视觉定位方法，该技术通过SURF算法计算出待定位用户上传的图像的特征点以及特征点描述信息；在数据库中选择一张具有匹配点数最多的图片，将得到图像的特征点描述信息与图片的特征点描述信息进行SURF匹配，将进行匹配的每对图像与图片定义为一对匹配图像，则每对匹配图像在进行匹配后会得到一组匹配点；通过匹配质量的RANSAC算法，将每对匹配图像的匹配点中的错误匹配点剔除后，确定出含有正确匹配点的数量最多的4对匹配图像；根据得到的4对匹配图像，通过对极几何算法计算出用户的位置坐标，完成室内定位。然而该方案的图像特征提取采用计算量大的SURF特征点，影响算法计算速度，而RANSAC算法平等对待所有的匹配点对，从整个集合中均匀的抽取随机样本；RANSAC算法构建模型的数据具有随机性，不确定性。

发明内容

本发明所要解决的技术问题在于提供一种能够提高机器人定位速度和精度的机器人视觉定位方法。

本发明是通过以下技术方案解决上述技术问题的：一种基于特征点检测和误匹配筛选的机器人视觉定位方法，包括以下步骤：

步骤A：分别对参考图像和待匹配图像构建高斯图像金字塔；

步骤B：对参考图像和待匹配图像的高斯图像金字塔中的每一层图像分别以四边形模型进行FAST特征点检测；

步骤C：对提取的特征点基于邻域像素值构建BRIEF描述子；

步骤D：基于BRIEF描述子对参考图像和待匹配图像的高斯图像金字塔中的所有特征点进行暴力匹配；

步骤E：对误匹配的特征点进行筛选，基于筛选结果将匹配的特征点对应到原始参考图像和待匹配图像。

本发明通过四边形模式进行特征点检测，提高检测速度，通过构建高斯金字塔，解决FAST特征点不具有尺度性的缺陷，通过暴力匹配获得初始匹配结果，并基于误匹配筛选保证匹配精度，从而方便的进行位姿解算，提高定位精度和速度。

优选的，步骤A所述的构建高斯金字塔的方法为：以原始图像作为金字塔底层图像，对原始图像通过高斯滤波进行降噪，然后对像素值逐级缩放，得到六层高斯图像金字塔；高斯图像金字塔中，相邻层图像的像素值缩放比例为1.3。

优选的，步骤B中所述的FAST特征点检测的方法为：

以待测像素点为中心，间隔一个像素点构建方形区域，去除处于方形区域四角的像素点，对方形区域四边剩下的12个像素点从1开始顺次编号，如果有连续9个像素点满足|I_P-I_N|＞T，则该待测像素点为特征点，其中，I_P为待测像素点的灰度值，I_N为方形区域中第N个像素点的灰度值，T为灰度阈值，遍历图像得到所有特征点。

优选的，在FAST特征点检测前，还包括对待测像素点进行预操作的步骤，所述预操作的方法为：在方形区域上等间隔的选取4个像素点进行检测，如果有至少三个像素点满足|I_P-I_N|＞T，则对该待检测点执行FAST特征点检测，如果少于三个像素点满足|I_P-I_N|＞T，则对下一个待检测点进行预操作。

优选的，步骤C所述的使用BRIEF描述子描述特征点的方法为：以特征点为中心，取S×S的邻域窗口，在邻域窗口内满足高斯分布

的像素点中随机选取两个像素点i和j，则

获取128对像素点的BRIEF描述子数值，得到该特征点的128维向量。

优选的，计算BRIEF描述子之前，对图像进行高斯滤波降噪，所述高斯滤波的方差为2，S＝9，即邻域窗口尺寸为9×9。

优选的，步骤D所述的暴力匹配方法为：

设置汉明距离的阈值，对参考图像中的其中一个特征点，计算与待匹配图像中的所有未匹配特征点的汉明距离，在汉明距离小于阈值的未匹配特征点中，取汉明距离最小的未匹配特征点与参考图像的特征点进行匹配，依次对参考图像中的所有特征点进行暴力匹配，直到匹配完成参考图像或待匹配图像中的所有特征点。

优选的，步骤D中利用PROSAC算法筛选误匹配的特征点，包括以下步骤：

步骤i：输入最大迭代次数I_m、内点阈值ε和内点个数阈值T，参考图像的特征点集合{u_j,j∈[1,N]}，迭代次数I＝1，内点个数t＝0；

步骤ii：计算参考图像所有特征点的评价函数Q，按评价函数Q降序排列集合{u_j}中的所有特征点得到集合{ζ_κ|κ∈[1，N]}；

步骤iii：每四个特征点分为一组，取第一组特征点计算单应矩阵H，令κ＝5；

步骤iv：基于单应矩阵H计算集合{ζ_κ}中的第κ个特征点ζ_κ对应的匹配特征点的估计位置及与匹配特征点的误差e_κ，如果e_κ＜ε，则特征点ζ_κ为内点，t＝t+1，否则为外点；

步骤v：如果t＜T，则跳转vi，否则转至vii；

步骤vi：如果κ＜N，则κ＝κ+1，I＝I+1，转至在步骤iv，否则结束计算；

步骤vii：如果I≤I_m，则以t个内点更新单应矩阵H并输出，否则结束计算。

优选的，所述评价函数的计算方法为：

即

其中，h_j1，h_j2分别为参考图像上的特征点u_j与匹配图像上的所有特征点的最小汉明距离和次小汉明距离，评价函数数值越大，该特征点的匹配效果越好。

优选的，步骤iii中通过特征点计算单应矩阵H的方法为：

定义参考图像上的两个特征点u_i和u_j在待匹配图像上对应的匹配特征点分别为p_i和p_j；P为某个平面上的一点，假设该平面满足：

n^TP+d＝0

其中，n^T为平面法向量，d为P点距平面的距离，则

根据针孔相机模型，两个匹配像素点p_i和p_j的像素位置为：

s_ip_i＝KP

s_jp_j＝K(RP+t)

其中，K为相机内参矩阵，R，t为两个坐标系的相机运动，s为点P在Z轴的坐标；

在使用齐次坐标表示像素点时，一个向量将等于它自身乘上任意的非零整数，s_ip_i和p_i成投影关系，他们在齐次坐标的意义下是相等的，这种相等关系为尺度意义下相等：

则

令单应矩阵

得到

单应矩阵H为一个3*3的矩阵，根据匹配特征点p_i和p_j计算H，得到

令h₉＝1，得到

整理后得到

h₁w₁+h₂v₁+h₃-h₇w₁w₂-h₈v₁w₂＝w₂

h₄w₁+h₅v₁+h₆-h₇w₁v₂-h₈v₁v₂＝v₂

由此可知，一组特征点和匹配特征点能够构造两项约束，自由度为8的单应矩阵，需要通过4对特征点和匹配特征点进行计算，即

得到单应矩阵

则匹配特征点的估计位置的计算方法为：

优选的，步骤iv中匹配特征点的误差计算方法为：

e_κ＝d(p_κ,p′_κ)

d(p_κ,p′_κ)表示匹配特征点p_κ与估计匹配特征点p′_κ的汉明距离。

本发明提供的基于特征点检测和误匹配筛选的机器人视觉定位方法的优点在于：通过四边形模式进行特征点检测，提高检测速度，通过构建高斯图像金字塔，消除FAST特征点不具备尺度性的缺陷，基于暴力匹配，确保特征点能够相互匹配，然后通过PROSAC算法对误匹配的特征点进行筛选，保留正确的匹配结果，从而方便进行位姿解算。

附图说明

图1为本发明的实施例提供的基于特征点检测和误匹配筛选的机器人视觉定位方法的流程图；

图2为本发明的实施例提供的基于特征点检测和误匹配筛选的机器人视觉定位方法的四边形模式特征点检测示意图；

图3为本发明的实施例提供的基于特征点检测和误匹配筛选的机器人视觉定位方法进行暴力匹配得到的匹配结果；

图4为本发明的实施例提供的基于特征点检测和误匹配筛选的机器人视觉定位方法进行误操作筛选后的匹配结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供了一种基于特征点检测和误匹配筛选的机器人视觉定位方法，包括以下步骤：

步骤A：分别对参考图像和待匹配图像构建高斯图像金字塔；

构建高斯金字塔的方法为：以原始图像作为金字塔底层图像，对原始图像通过高斯滤波进行降噪，然后对像素值逐级缩放，得到六层高斯图像金字塔；在高斯图像金字塔中，相邻层的像素值缩放比例的1.3。

通过构建不同分辨率下的图像进行特征匹配，解决单一像素点无法识别的问题，解决fast特征点检测不具备尺度性的缺陷。

步骤B：对参考图像和待匹配图像的高斯图像金字塔中的每一层图像分别以四边形模型进行FAST特征点检测，具体方法为：

参考图2，以待测像素点为中心，间隔一个像素点构建方形区域，去除处于方形区域四角的像素点，对方形区域四边剩下的12个像素点从1开始顺次编号，如果有连续9个像素点满足|I_P-I_N|＞T，则该待测像素点为特征点，其中，I_P为待测像素点的灰度值，I_N为第方形区域中第N个像素点的灰度值，T为灰度阈值，遍历图像得到所有特征点。对于图像边角的像素点，由于其无法构造出这样的方形区域，因此认为不满足特征点条件。

本实施例通过间隔构建方形区域，在保持单次检测点总数基本不变的情况下，显著扩大检测范围，提高算法运行速度。

优选的，在FAST特征点检测前，还包括对待测像素点进行预操作的步骤，所述预操作的方法为：在方形区域上等间隔的选取4个像素点进行检测，如果有至少三个像素点满足|I_P-I_N|＞T，则对该待检测点执行FAST特征点检测，如果少于三个像素点满足|I_P-I_N|＞T，则对下一个待检测点进行预操作。如图2所示，本实施例中以待检测像素点同一行和同一列的四个像素点进行预操作，通过预操作，能够进一步降低算法运算量，提高处理速度。

步骤C：对提取的特征点周围图像区域采用BRIEF描述子进行描述，具体方法为：

以特征点为中心，取S×S的邻域窗口，在邻域窗口内满足高斯分布

的像素点中随机选取两个像素点i和j，则

获取128对像素点的BRIEF描述子数值，得到该特征点的128维向量。

计算BRIEF描述子之前，对图像进行高斯滤波降噪，所述高斯滤波的方差为2，S＝9，即邻域窗口尺寸为9×9。

步骤D：基于BRIEF描述子对参考图像和待匹配图像进行暴力匹配；

所述的暴力匹配方法为：

设置汉明距离的阈值，对参考图像中的其中一个特征点，计算与待匹配图像中的所有未匹配特征点的汉明距离，在汉明距离小于阈值的未匹配特征点中，取汉明距离最小的未匹配特征点与参考图像的特征点进行匹配，直到匹配完成参考图像或待匹配图像中的所有特征点。

步骤E：对误匹配的特征点进行筛选，基于筛选结果将匹配的特征点对应到原始参考图像和待匹配图像。

本实施例利用PROSAC算法筛选误匹配的特征点，包括以下步骤：

步骤i：输入最大迭代次数I_m、内点阈值ε和内点个数阈值T，参考图像的特征点集合{u_j,j∈[1,N]}，迭代次数I＝1，内点个数t＝0；

步骤ii：计算参考图像所有特征点的评价函数Q，按评价函数Q降序排列集合{u_j}中的所有特征点得到集合{ζ_κ|κ∈[1，N]}；

所述评价函数的计算方法为：

即

其中，h_j1，h_j2分别为参考图像上的特征点u_j与匹配图像上的所有特征点的最小汉明距离和次小汉明距离，评价函数数值越大，该特征点的匹配效果越好；

步骤iii：每四个特征点分为一组，取第一组特征点计算单应矩阵H，令κ＝5；

计算单应矩阵H的方法为：

定义参考图像上的两个特征点u_i和u_j在待匹配图像上对应的匹配特征点分别为p_i和p_j；P为某个平面上的一点，假设该平面满足：

n^TP+d＝0

其中，n^T为平面法向量，d为相机中心距平面的距离，则

根据针孔相机模型，两个匹配像素点p_i和p_j的像素位置为：

s_ip_i＝KP

s_jp_j＝K(RP+t)

其中，K为相机内参矩阵，R，t为两个坐标系的相机运动，s为点P在Z轴的坐标；

在使用齐次坐标表示像素点时，一个向量将等于它自身乘上任意的非零整数，s_ip_i和p_i成投影关系，他们在齐次坐标的意义下是相等的，这种相等关系为尺度意义下相等：

则

令单应矩阵

得到

单应矩阵H为一个3*3的矩阵，根据匹配特征点p_i和p_j计算H，得到

其中，w为像素点在x轴上的坐标，v为像素点在y轴上的坐标；

令h₉＝1，得到

整理后得到

h₁w₁+h₂v₁+h₃-h₇w₁w₂-h₈v₁w₂＝w₂

h₄w₁+h₅v₁+h₆-h₇w₁v₂-h₈v₁v₂＝v₂

由此可知，一组特征点和匹配特征点能够构造两项约束，自由度为8的单应矩阵，需要通过4对特征点和匹配特征点进行计算，即

得到单应矩阵

步骤iv：基于单应矩阵H计算集合{ζ_κ}中的第κ个特征点ζ_κ对应的匹配特征点的估计位置及与匹配特征点的误差e_κ，如果e_κ＜ε，则特征点ζ_κ为内点，t＝t+1，否则为外点；

匹配特征点的估计位置的计算方法为：

误差计算方法为：

e_κ＝d(p_κ,p′_κ)

d(p_κ,p′_κ)表示匹配特征点p_κ与估计匹配特征点p′_κ的汉明距离；

步骤v：如果t＜T，则跳转vi，否则转至vii；步骤vi：如果κ＜N，则κ＝κ+1，I＝I+1，转至在步骤iv，否则结束计算；

步骤vii：如果I≤I_m，则以t个内点更新单应矩阵H并输出，否则结束计算。

如果遍历所有特征点无法得到T个符合要求的内点，则说明两张图像匹配效果非常差，匹配失败，同样，如果最终得到T个内点时，已经超过了迭代次数阈值，即认为最终选出的内点的评价函数已经很差了，也认为匹配失败，即定位失败，无法基于当前的参考图像对待匹配图像进行匹配定位。

筛选后的特征点可能分布在高斯图像的不同层上，将其映射到原始图像上得到匹配后的图像，经过匹配点筛选前后的比较参考图3和图4，误匹配筛选后，错误匹配的特征点被删除，以筛选后的匹配关系计算位姿变化，计算位姿变化的方法为现有技术，本领域技术人员根据场景选择合适的方法即可，如单目相机可选用三角测量法，立体相机或RGB-D相机使用PNP或者ICP的方法计算。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：包括以下步骤：

步骤A：分别对参考图像和待匹配图像构建高斯图像金字塔；

步骤B：对参考图像和待匹配图像的高斯图像金字塔中的每一层图像分别以四边形模型进行FAST特征点检测；

步骤C：对提取的特征点基于邻域像素值构建BRIEF描述子；

步骤D：基于BRIEF描述子对参考图像和待匹配图像的高斯图像金字塔中的所有特征点进行暴力匹配；

步骤E：对误匹配的特征点进行筛选，基于筛选结果将匹配的特征点对应到原始参考图像和待匹配图像。

2.根据权利要求1所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤A所述的构建高斯金字塔的方法为：以原始图像作为金字塔底层图像，对原始图像通过高斯滤波进行降噪，然后对像素值逐级缩放，得到六层高斯图像金字塔；高斯图像金字塔中，相邻层图像的像素值缩放比例为1.3。

3.根据权利要求2所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤B中所述的FAST特征点检测的方法为：

以待测像素点为中心，间隔一个像素点构建方形区域，去除处于方形区域四角的像素点，对方形区域四边剩下的12个像素点从1开始顺次编号，如果有连续9个像素点满足|I_P-I_N|＞T，则该待测像素点为特征点，其中，I_P为待测像素点的灰度值，I_N为方形区域中第N个像素点的灰度值，T为灰度阈值，遍历图像得到所有特征点。

4.根据权利要求3所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：在FAST特征点检测前，还包括对待测像素点进行预操作的步骤，所述预操作的方法为：在方形区域上等间隔的选取4个像素点进行检测，如果有至少三个像素点满足|I_P-I_N|＞T，则对该待检测点执行FAST特征点检测，如果少于三个像素点满足|I_P-I_N|＞T，则对下一个待检测点进行预操作。

5.根据权利要求3所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤C所述的使用BRIEF描述子描述特征点的方法为：以特征点为中心，取S×S的邻域窗口，在邻域窗口内满足高斯分布

的像素点中随机选取两个像素点i和j，则

获取128对像素点的BRIEF描述子数值，得到该特征点的128维向量；

计算BRIEF描述子之前，对图像进行高斯滤波降噪，所述高斯滤波的方差为2，S＝9，即邻域窗口尺寸为9×9。

6.根据权利要求5所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤D所述的暴力匹配方法为：

设置汉明距离的阈值，对参考图像中的其中一个特征点，计算与待匹配图像中的所有未匹配特征点的汉明距离，在汉明距离小于阈值的未匹配特征点中，取汉明距离最小的未匹配特征点与参考图像的特征点进行匹配，依次对参考图像中的所有特征点进行暴力匹配，直到匹配完成参考图像或待匹配图像中的所有特征点。

7.根据权利要求6所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤D中利用PROSAC算法筛选误匹配的特征点，包括以下步骤：

步骤i：输入最大迭代次数I_m、内点阈值ε和内点个数阈值T，参考图像的特征点集合{u_j,j∈[1,N]}，迭代次数I＝1，内点个数t＝0；

步骤ii：计算参考图像所有特征点的评价函数Q，按评价函数Q降序排列集合{u_j}中的所有特征点得到集合{ζ_κ|κ∈[1，N]}；

步骤iii：每四个特征点分为一组，取第一组特征点计算单应矩阵H，令κ＝5；

步骤iv：基于单应矩阵H计算集合{ζ_κ}中的第κ个特征点ζ_κ对应的匹配特征点的估计位置及与匹配特征点的误差e_κ，如果e_κ＜ε，则特征点ζ_κ为内点，t＝t+1，否则为外点；

步骤v：如果t＜T，则跳转vi，否则转至vii；

步骤vi：如果κ＜N，则κ＝κ+1，I＝I+1，转至在步骤iv，否则结束计算；

步骤vii：如果I≤I_m，则以t个内点更新单应矩阵H并输出，否则结束计算。

8.根据权利要求7所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：所述评价函数的计算方法为：

即

其中，h_j1，h_j2分别为参考图像上的特征点u_j与匹配图像上的所有特征点的最小汉明距离和次小汉明距离，评价函数数值越大，该特征点的匹配效果越好。

9.根据权利要求7所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤iii中通过特征点计算单应矩阵H的方法为：

定义参考图像上的两个特征点u_i和u_j在待匹配图像上对应的匹配特征点分别为p_i和p_j；P为某个平面上的一点，假设该平面满足：

n^TP+d＝0

其中，n^T为平面法向量，d为P点距平面的距离，则

根据针孔相机模型，两个匹配像素点p_i和p_j的像素位置为：

s_ip_i＝KP

s_jp_j＝K(RP+t)

其中，K为相机内参矩阵，R，t为两个坐标系的相机运动，s为点P在Z轴的坐标；

在使用齐次坐标表示像素点时，一个向量将等于它自身乘上任意的非零整数，s_ip_i和p_i成投影关系，他们在齐次坐标的意义下是相等的，这种相等关系为尺度意义下相等：

则

令单应矩阵

得到

单应矩阵H为一个3*3的矩阵，根据匹配特征点p_i和p_j计算H，得到

令h₉＝1，得到

整理后得到

h₁w₁+h₂v₁+h₃-h₇w₁w₂-h₈v₁w₂＝w₂

h₄w₁+h₅v₁+h₆-h₇w₁v₂-h₈v₁v₂＝v₂

由此可知，一组特征点和匹配特征点能够构造两项约束，自由度为8的单应矩阵，需要通过4对特征点和匹配特征点进行计算，即

得到单应矩阵

则匹配特征点的估计位置的计算方法为：

10.根据权利要求9所述的一种基于特征点检测和误匹配筛选的机器人视觉定位方法，其特征在于：步骤iv中匹配特征点的误差计算方法为：

e_κ＝d(p_κ,p′_κ)

d(p_κ,p′_κ)表示匹配特征点p_κ与估计匹配特征点p′_κ的汉明距离。

Images