CN115393432A - 消除静态特征误匹配的机器人定位方法、存储介质及设备 - Google Patents

消除静态特征误匹配的机器人定位方法、存储介质及设备 Download PDF

Info

Publication number
CN115393432A
CN115393432A CN202210964992.4A CN202210964992A CN115393432A CN 115393432 A CN115393432 A CN 115393432A CN 202210964992 A CN202210964992 A CN 202210964992A CN 115393432 A CN115393432 A CN 115393432A
Authority
CN
China
Prior art keywords
matching
feature
plane
point
mismatching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210964992.4A
Other languages
English (en)
Other versions
CN115393432B (zh
Inventor
陈孟元
陈何宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Anhui Ruixiang Industry Co Ltd
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202210964992.4A priority Critical patent/CN115393432B/zh
Publication of CN115393432A publication Critical patent/CN115393432A/zh
Application granted granted Critical
Publication of CN115393432B publication Critical patent/CN115393432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了消除静态特征误匹配的机器人定位方法、存储介质及设备,机器人定位方法以图像帧为输入,识别分割得到静态平面;静态平面区域中提取点面特征并进行点面特征匹配,采用双重特征约束的误匹配剔除策略;面特征的匹配首先构建出局部坐标系下相邻2帧中平面的匹配关系,利用基于平面几何约束的面特征误匹配算法去除匹配候选中的错误匹配,得到正确的面特征匹配关系以及点特征所属平面信息;根据点特征所属平面信息剔除非对应平面内的点特征匹配,再根据点特征位置剔除对应平面内的点特征误匹配。本发明保证特征匹配的正确率,提高机器人定位精度,从而构建更准确的轨迹图,并在动态场景中依然具有较高鲁棒性。

Description

消除静态特征误匹配的机器人定位方法、存储介质及设备
技术领域
本发明属于同步定位与地图创建(Simultaneous Location And Mapping,SLAM)技术领域,具体涉及消除静态特征误匹配的机器人定位方法、存储介质及设备。
背景技术
移动机器人同步定位与地图构建(Simultaneous Localization And Mapping,SLAM)主要研究移动机器人如何在复杂多变的环境中准确地估计自身位姿并构建当前场景地图。然而传统视觉惯性SLAM方法都假设相机处于静态场景,能够在大规模环境中实现了高精度的定位与构图,但实际场景中运动物体的存在不可避免,对SLAM系统位姿估计精度与地图构建准确性产生影响。剔除动态物体后,视觉前端提取出足够数量的静态特征仍需消除错误匹配影响,在相应的点、面特征匹配的过程中,图像纹理的相似、噪声的影响及阈值的选择不当等可能导致误匹配现象发生。平面特征的匹配错误会导致非对应平面间产生误匹配的点,而误匹配点的存在将会在一定程度上干扰识别结果,降低识别正确率,且误匹配点会在不同场景中有不同程度的影响,必须尽可能将其消除。综上所述传统视觉惯性SLAM方法在动态场景下存在难以准确剔除动态物体以及特征匹配精度低的问题,对SLAM系统定位精度的影响较大,系统位姿估计与地图构建的准确性也受到影响。
发明内容
本发明的目的是提供消除静态特征误匹配的机器人定位方法,用于解决现有技术中由于动态场景下难以在剔除动态物体后,使得移动机器人的位姿估计精度较低,且无法兼顾可靠性和鲁棒性的技术问题。
所述的消除静态特征误匹配的机器人定位方法,以图像帧为输入,识别输出场景中所有静态平面的分割图和空间中每个平面的三维参数,从而在场景中建立分段静态平面;静态平面区域中提取点面特征并进行点面特征匹配,采用双重特征约束的误匹配剔除策略;面特征的匹配首先构建出局部坐标系下相邻2帧中平面的匹配关系,使用基于平面物理参数的匹配方法来直接匹配不同坐标系下的平面,寻找出匹配候选,随后利用基于平面几何约束的面特征误匹配算法去除匹配候选中的错误匹配,得到正确的面特征匹配关系以及点特征所属平面信息;根据点特征所属平面信息剔除非对应平面内的点特征匹配,再根据点特征位置剔除对应平面内的点特征误匹配。
优选的,所述机器人定位方法具体包括:
步骤S1、根据机器人所自带的相机采集环境信息,分割静态平面区域,该区域通过实例分割网络生成;
步骤S2,提取静态平面区域的点面特征进行面特征匹配,剔除面特征误匹配;
步骤S3,记录正确面特征匹配对中所属点特征信息,剔除非对应平面的点特征匹配;
步骤S4,将对应平面的点特征匹配进行平面内误匹配剔除以实现二次筛选,剔除剩余点特征错误匹配。
优选的,所述步骤S2中,平面特征的匹配先分别计算两平面特征的向量夹角之间的欧式距离和两平面特征的重心之间的欧式距离,以此表示相似度,对不同相似度进行打分求和得到匹配分数,设定分数阈值得到面特征匹配候选;相邻图像帧中任意两相同匹配平面间的法向量应当近似相等,在最终匹配结果中的任意两组匹配平面必须满足此条件,即满足夹角相似度约束;将是否满足该约束转化为有向无环图问题解决,从而剔除不满足夹角相似度约束的面特征误匹配。
优选的,所述无环图问题即假设在m组平面特征匹配候选中,包含n(n≤m)组正确的匹配特征,则:
(1)有向无环图中的节点是由特征匹配候选组成,根据得到的匹配分数将匹配候选中分数最高特征匹配候选作为起始节点,分数最低特征匹配候选作为终止节点,并规定有向图中边的方向由起始节点指向终止节点;
(2)完成有向图的构造后,判断节点间是否存在由匹配分数高节点指向匹配分数低节点的边。若两组匹配平面不满足夹角相似约束,将边赋值为0,即这两个节点间的边不存在,否则判断节点间存在边。最终得到n组具有边的节点,其所代表的匹配候选即为正确的面特征匹配。
优选的,在步骤S3中,记录对应平面内的点特征匹配对信息
Figure BDA0003793290010000021
Figure BDA0003793290010000022
pi相对于ZA的位置与pj相对于ZB的位置相似,则最终保留的点特征匹配对应满足下式所示:
Figure BDA0003793290010000031
其中,ZA、ZB分别为相邻帧中对应的平面,pi和pj是图像中不同平面ZA和ZB中的点特征,pj是pi对应的匹配点,pi在图像中的坐标为(ui,vi),平面ZA的重心坐标为(uZA,vZA);将不满足上述表达式的点特征错误匹配剔除,得到正确的面匹配。
优选的,在步骤S4中,定义相机初始位置状态为ck-1,则另外两张图像帧分别相对于ck-1的状态为ck、ck+1,ck相对于ck-1的旋转矩阵和平移矩阵为Rk、tk,得到相机的ck姿态矩阵为Qk=M[Rk|tk],其中M为相机的内参;将任意匹配对(pk-1,pk,pk+1)齐次变换再归一化处理得到
Figure BDA0003793290010000032
使用RANSAC算法计算得到在三张连续帧中的共同特征点并计算点特征对于平面的相对位置阈值,当共同特征点的相对位置数值大于相对位置阈值H则剔除此匹配,H的算式如下式所示:
Figure BDA0003793290010000033
其中,pk-1、pk、pk+1为连续帧中ck-1、ck、ck+1对应匹配特征点,
Figure BDA0003793290010000034
Figure BDA0003793290010000035
的反对称矩阵,
Figure BDA0003793290010000036
Figure BDA0003793290010000037
的i列元素,r4、u4为旋转矩阵Rk、Rk+1的第4列矩阵,Rk+1为ck+1相对于ck的旋转矩阵,ri、ui为旋转矩阵Rk、Rk+1第i列元素,
Figure BDA0003793290010000038
为ri、ui的转置矩阵,
Figure BDA0003793290010000039
为pk-1的第i维坐标。
优选的,机器人定位方法还包括:获取准确视觉特征关联信息后,根据图像间的关联信息利用SFM估计滑动窗口内所有帧的相对位姿,SFM求解的结果与IMU预积分的值进行对齐,完成VINS系统的初始化;
当所有的惯性量被估计出来,相机位姿和三维特征点被重新缩放为度量单位,世界坐标系重新对齐使得Z轴处于重力方向;对于场景中其他的平面,同样计算它们各自的平面单应矩阵并对其分解。由此前端处理的图像帧中获取的特征以及特征关联信息,利用视觉与IMU时间戳对齐获取相邻图像帧之间的IMU测量数据,求解当前状态下所有视觉和惯性量,将这些估计值送入滑动窗口以进行后端非线性优化。
优选的,所述后端非线性优化模块是通过最小化视觉点面特征的重投影误差、IMU测量残差和滑动窗口边缘化先验约束的方式来联合优化相机位姿;优化函数如下式所示,
Figure BDA0003793290010000041
其中,lij表示窗口内两个连续帧i和j之间的所有IMU测量值,κ代表帧的集合,
Figure BDA0003793290010000042
是IMU预积分误差,i帧中所有观察到的点特征的集合表示为ci,l表示集合中的点特征,所有观察到的面特征的集合表示为P,p表示集合中的面特征,rp是边缘化先验误差,
Figure BDA0003793290010000043
是重投影误差,
Figure BDA0003793290010000044
是IMU预积分噪声项的协方差,
Figure BDA0003793290010000045
Figure BDA0003793290010000046
是视觉观测的噪声协方差,ρ(g)是抑制离群点的鲁棒核函数,
Figure BDA0003793290010000047
为对应图像位置真实测量值,
Figure BDA0003793290010000048
为对应图像位置期望测量值,
Figure BDA0003793290010000049
为对应平面法向量的转置矩阵,
Figure BDA00037932900100000410
为平面法向量的逆矩阵,
Figure BDA00037932900100000411
为图像帧中特征点坐标,Rji和tji表示将点从ti坐标系转换到tj下的旋转和平移,B表示自身坐标系与IMU坐标系重合,C表示相机坐标系,TBC表示相机坐标系到自身坐标系的旋转和平移。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的消除静态特征误匹配的机器人定位方法的步骤。
本发明还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的消除静态特征误匹配的机器人定位方法的步骤。
本发明具有以下优点:本发明在剔除动态物体后,采用双重特征约束的误匹配剔除策略,对点特征和面特征的误匹配均进行了剔除,利用这些平面的简单几何形状进行运动估计,提高算法鲁棒性。双重特征误匹配剔除的方法首先使用基于平面物理参数的匹配方法来直接匹配不同坐标系下的平面,寻找出匹配候选,随后利用基于平面几何约束的面特征误匹配算法去除匹配候选中的错误匹配。根据点特征所属平面信息剔除非对应平面内的点特征匹配,再根据点特征位置剔除对应平面内的点特征误匹配,点面特征共同使用参与机器人位姿估计,进一步保证特征匹配的正确率。由此能够获取准确的视觉特征关联信息,完成系统初始化后,进行滑动窗口优化时位置漂移误差较小,进而估计出更精确的相机位姿,提高机器人定位精度,从而构建更准确的轨迹图,并在动态场景中依然具有较高鲁棒性。
附图说明
图1为本发明基于消除静态特征误匹配的机器人定位方法的流程示意图。
图2为本发明基于消除静态特征误匹配的机器人定位方法的流程图。
图3为本发明平面分割对比图。
图4为本发明面特征匹配对比图。
图5为本发明双重特征误匹配剔除对比图。
图6为本发明滑动窗口位置漂移误差图。
图7为本发明在OpenLORIS-Scene数据集不同序列下运行得到的轨迹图。
图8为真实实验环境场景和对应的平面布局图。
图9为移动机器人真实场景运行轨迹图。
具体实施方式
下面对照附图,通过对实施例的描述,对本发明具体实施方式作进一步详细的说明,以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。
实施例一:
如图1-9所示,本发明提供了消除静态特征误匹配的机器人定位方法,该方法中,以图像帧为输入,识别输出场景中所有静态平面的分割图和空间中每个平面的三维参数,从而在场景中建立分段静态平面。静态平面区域中提取点面特征并进行点面特征匹配,采用双重特征约束的误匹配剔除策略。面特征的匹配首先构建出局部坐标系下相邻2帧中平面的匹配关系,使用基于平面物理参数的匹配方法来直接匹配不同坐标系下的平面,寻找出匹配候选,随后利用基于平面几何约束的面特征误匹配算法去除匹配候选中的错误匹配,得到正确的面特征匹配关系以及点特征所属平面信息。根据点特征所属平面信息剔除非对应平面内的点特征匹配,再根据点特征位置剔除对应平面内的点特征误匹配。
本机器人定位方法具体包括。
步骤S1、根据机器人所自带的RGB-D相机采集环境信息,分割静态平面区域,该区域通过实例分割网络生成。
步骤S2,提取静态平面区域的点面特征进行面特征匹配,剔除面特征误匹配。
平面特征的匹配通过比较两平面特征的法向量夹角、重心这些特征之间的欧式距离来实现。具体来说,先分别计算两平面特征的向量夹角之间的欧式距离和两平面特征的重心之间的欧式距离,以此表示相似度,对不同相似度进行打分求和得到匹配分数,设定分数阈值得到面特征匹配候选。相邻图像帧中任意两相同匹配平面间的法向量应当近似相等,在最终匹配结果中的任意两组匹配平面必须满足此条件,即满足夹角相似度约束。因此本方案将是否满足该约束转化为有向无环图问题,即假设在m组平面特征匹配候选中,包含n(n≤m)组正确的匹配特征,则:
(1)有向无环图中的节点是由特征匹配候选组成,根据得到的匹配分数将匹配候选中分数最高特征匹配候选作为起始节点,分数最低特征匹配候选作为终止节点,并规定有向图中边的方向由起始节点指向终止节点。
(2)完成有向图的构造后,判断节点间是否存在由匹配分数高节点指向匹配分数低节点的边。若两组匹配平面不满足夹角相似约束,将边赋值为0,即这两个节点间的边不存在,否则判断节点间存在边。最终得到n组具有边的节点,其所代表的匹配候选即为正确的面特征匹配。
这样,该步骤能高效准确地将面特征误匹配进行剔除,避免面特征匹配错误,并为之后平面上的点特征匹配错误的剔除做准备。
步骤S3,记录正确面特征匹配对中所属点特征信息,剔除非对应平面的点特征匹配。
记录对应平面(即正确的面特征匹配中的两个平面)内的点特征匹配对信息
Figure BDA0003793290010000061
Figure BDA0003793290010000062
pi相对于ZA的位置与pj相对于ZB的位置相似,则最终保留的点特征匹配对应满足下式所示:
Figure BDA0003793290010000071
其中,ZA、ZB分别为相邻帧中对应的平面,pi和pj是图像中不同平面ZA和ZB中的点特征,pj是pi对应的匹配点,pi在图像中的坐标为(ui,vi),平面ZA的重心坐标为(uZA,vZA)。
将不满足上述表达式的点特征错误匹配剔除,即可得到正确的面匹配,可以进一步筛选对应平面上点特征匹配。
步骤S4,将对应平面的点特征匹配进行平面内误匹配剔除以实现二次筛选,剔除剩余点特征错误匹配。
定义相机初始位置状态为ck-1,则另外两张图像帧分别相对于ck-1的状态为ck、ck+1,ck相对于ck-1的旋转矩阵和平移矩阵为Rk、tk,得到相机的ck姿态矩阵为Qk=M[Rk|tk],其中M为相机的内参。将任意匹配对(pk-1,pk,pk+1)齐次变换再归一化处理得到
Figure BDA0003793290010000072
使用RANSAC算法计算得到在三张连续帧中的共同特征点并计算点特征对于平面的相对位置阈值,当共同特征点的相对位置数值大于相对位置阈值H则剔除此匹配,H的算式如下式所示。
Figure BDA0003793290010000073
其中,pk-1、pk、pk+1为连续帧中ck-1、ck、ck+1对应匹配特征点,
Figure BDA0003793290010000074
Figure BDA0003793290010000075
的反对称矩阵,
Figure BDA0003793290010000076
Figure BDA0003793290010000077
的i列元素,r4、u4为旋转矩阵Rk、Rk+1的第4列矩阵,Rk+1为ck+1相对于ck的旋转矩阵,ri、ui为旋转矩阵Rk、Rk+1第i列元素,
Figure BDA0003793290010000078
为ri、ui的转置矩阵,
Figure BDA0003793290010000079
为pk-1的第i维坐标。
通过上述算法,本方法筛选出静态平面区域并采用双重特征误匹配剔除策略(面特征误匹配剔除和点特征误匹配剔除),使得本方法能获取准确视觉特征关联信息。根据图像间的关联信息利用SFM(Structure from Motion)估计滑动窗口内所有帧的相对位姿,SFM求解的结果与IMUfInertial Measurement Unit)预积分的值进行对齐,完成VINS(Visual-Inertial Navigation System)系统的初始化。
当所有的惯性量被估计出来,相机位姿和三维特征点被重新缩放为度量单位,世界坐标系重新对齐使得Z轴处于重力方向。对于场景中其他的平面,同样计算它们各自的平面单应矩阵并对其分解。由此前端处理的图像帧中获取的特征以及特征关联信息,利用视觉与IMU时间戳对齐获取相邻图像帧之间的IMU测量数据,求解当前状态下所有视觉和惯性量,将这些估计值送入滑动窗口以进行后端非线性优化。
后端非线性优化模块是通过最小化视觉点面特征的重投影误差、IMU测量残差和滑动窗口边缘化先验约束的方式来联合优化相机位姿。优化函数如下式所示。
Figure BDA0003793290010000081
其中,lij表示窗口内两个连续帧i和j之间的所有IMU测量值,κ代表帧的集合,
Figure BDA0003793290010000082
是IMU预积分误差,i帧中所有观察到的点特征的集合表示为ci,l表示集合中的点特征,所有观察到的面特征的集合表示为P,p表示集合中的面特征,rp是边缘化先验误差,
Figure BDA0003793290010000083
是重投影误差,
Figure BDA0003793290010000084
是IMU预积分噪声项的协方差,
Figure BDA0003793290010000085
Figure BDA0003793290010000086
是视觉观测的噪声协方差,ρ(g)是抑制离群点的鲁棒核函数,
Figure BDA0003793290010000087
为对应图像位置真实测量值,
Figure BDA0003793290010000088
为对应图像位置期望测量值,
Figure BDA0003793290010000089
为对应平面法向量的转置矩阵,
Figure BDA00037932900100000810
为平面法向量的逆矩阵,
Figure BDA00037932900100000811
为图像帧中特征点坐标,Rji和tji表示将点从ti坐标系转换到tj下的旋转和平移,B表示自身坐标系与IMU坐标系重合,C表示相机坐标系,TBC表示相机坐标系到自身坐标系的旋转和平移。
这样本方法基于优化结果完成视觉惯性融合,相比传统视觉惯性SLAM方法在动态场景下在剔除动态物体后能基于点面特征均精确匹配,获取准确视觉特征关联信息,进而保证系统位姿估计与地图构建的准确性较高,本定位方法也因此具有较高的定位精度,可靠性和鲁棒性均较好。
说明书附图中,图3-图9的含义具体如下。
图3为本方法在公开数据集OpenLORIS-Scene中静态平面分割效果图,本方法选取数据集中存在动态物的场景来验证本方法的效果。由图可知,本方法将独立平面整合为单个大平面,因此本方法可将静态平面区域完整分割。
图4为本方法在公开OpenLORIS-Scene数据集中对面特征匹配效果进行对比。图中黑色虚线为真实轨迹,浅灰色实线为改进前轨迹,深灰色实线为本方法,可以看出本方法计算得到的轨迹更加接近真实轨迹,这是因为本方法加入基于平面几何约束的判断条件,能够在所有匹配候选中筛选保留正确匹配对,从而构建更准确的轨迹图。
图5为本方法选取公开OpenLORIS-Scene数据集验证双重特征误匹配效果。本方法通过根据点特征所属平面信息及对应平面匹配候选点相对位置剔除其中错误匹配候选点,因此,本方法能精准判断并剔除错误匹配候选。
图6为本方法在公开数据集OpenLORIS-Scene中滑动窗口优化位置漂移误差图。本方法剔除动态物获得静态平面区域并采用双重特征误匹配剔除的算法,能够获取准确的视觉特征关联信息,完成系统初始化后,进行滑动窗口优化时位置漂移误差较小。
图7为本方法算在公开数据集OpenLORIS-Scene不同序列下的轨迹运行图。本方法剔除动态物获得静态平面区域,提取形态平面特征,采用基于平面约束剔除非对应平面信息特征误匹配并再次剔除对应平面特征误匹配进一步筛选特征匹配,估计出更精确的相机位姿。由图可知本方法在动态场景中依然具有较高鲁棒性。
下面将用实验对本实施例的方法进行说明:选取真实实验环境如图8(a)所示,大小为7.8m×7.2m。图8(b)为真实场景平面布局,其中,A到B为机器人运动路线,E-F段和C-D段为行人往返运动路线。
图9所示为本方法真实场景运行轨迹图。由图9可知,在动态场景中本方法构建平面损失函数剔除动态物并检测场景中的静态平面区域,利用基于几何关系的双重特征匹配策略在静态平面区域提取高质量特征,提高特征匹配精度。因此本方法在动态场景中具有较高鲁棒性。
实施例二:
与本发明实施例一对应,本发明实施例二提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时依照实施例一的方法实现以下步骤。
步骤S1、根据机器人所自带的RGB-D相机采集环境信息,分割静态平面区域,该区域通过实例分割网络生成。
步骤S2,提取静态平面区域的点面特征进行面特征匹配,剔除面特征误匹配。
步骤S3,记录正确面特征匹配对中所属点特征信息,剔除非对应平面的点特征匹配。
步骤S4,将对应平面的点特征匹配进行平面内误匹配剔除以实现二次筛选,剔除剩余点特征错误匹配。
按上述方法获取准确视觉特征关联信息,处理的图像帧中获取的特征以及特征关联信息,利用视觉与IMU时间戳对齐获取相邻图像帧之间的IMU测量数据,求解当前状态下所有视觉和惯性量,将这些估计值送入滑动窗口以进行后端非线性优化。基于优化结果完成视觉惯性融合,最终实现机器人的定位和轨迹生成。
上述存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一,在此不再做详细说明。
实施例三:
与本发明实施例一对应,本发明实施例三提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时依照实施例一的方法实现以下步骤。
步骤S1、根据机器人所自带的RGB-D相机采集环境信息,分割静态平面区域,该区域通过实例分割网络生成。
步骤S2,提取静态平面区域的点面特征进行面特征匹配,剔除面特征误匹配。
步骤S3,记录正确面特征匹配对中所属点特征信息,剔除非对应平面的点特征匹配。
步骤S4,将对应平面的点特征匹配进行平面内误匹配剔除以实现二次筛选,剔除剩余点特征错误匹配。
按上述方法获取准确视觉特征关联信息,处理的图像帧中获取的特征以及特征关联信息,利用视觉与IMU时间戳对齐获取相邻图像帧之间的IMU测量数据,求解当前状态下所有视觉和惯性量,将这些估计值送入滑动窗口以进行后端非线性优化。基于优化结果完成视觉惯性融合,最终实现机器人的定位和轨迹生成。
上述关于处理器上运行的程序执行后实现步骤的具体限定可以参见实施例一,在此不再做详细说明。
需要说明的是,本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进,或未经改进将本发明构思和技术方案直接应用于其它场合的,均在本发明保护范围之内。

Claims (10)

1.消除静态特征误匹配的机器人定位方法,其特征在于:以图像帧为输入,识别输出场景中所有静态平面的分割图和空间中每个平面的三维参数,从而在场景中分割建立分段静态平面;静态平面区域中提取点面特征并进行点面特征匹配,采用双重特征约束的误匹配剔除策略;面特征的匹配首先构建出局部坐标系下相邻2帧中平面的匹配关系,使用基于平面物理参数的匹配方法来直接匹配不同坐标系下的平面,寻找出匹配候选,随后利用基于平面几何约束的面特征误匹配算法去除匹配候选中的错误匹配,得到正确的面特征匹配关系以及点特征所属平面信息;根据点特征所属平面信息剔除非对应平面内的点特征匹配,再根据点特征位置剔除对应平面内的点特征误匹配。
2.根据权利要求1所述的消除静态特征误匹配的机器人定位方法,其特征在于:具体包括:
步骤S1、根据机器人所自带的相机采集环境信息,分割静态平面区域,该区域通过实例分割网络生成;
步骤S2,提取静态平面区域的点面特征进行面特征匹配,剔除面特征误匹配;
步骤S3,记录正确面特征匹配对中所属点特征信息,剔除非对应平面的点特征匹配;
步骤S4,将对应平面的点特征匹配进行平面内误匹配剔除以实现二次筛选,剔除剩余点特征错误匹配。
3.根据权利要求2所述的消除静态特征误匹配的机器人定位方法,其特征在于:所述步骤S2中,平面特征的匹配先分别计算两平面特征的向量夹角之间的欧式距离和两平面特征的重心之间的欧式距离,以此表示相似度,对不同相似度进行打分求和得到匹配分数,设定分数阈值得到面特征匹配候选;相邻图像帧中任意两相同匹配平面间的法向量应当近似相等,在最终匹配结果中的任意两组匹配平面必须满足此条件,即满足夹角相似度约束;将是否满足该约束转化为有向无环图问题解决,从而剔除不满足夹角相似度约束的面特征误匹配。
4.根据权利要求3所述的消除静态特征误匹配的机器人定位方法,其特征在于:所述无环图问题即假设在m组平面特征匹配候选中,包含n(n≤m)组正确的匹配特征,则:
(1)有向无环图中的节点是由特征匹配候选组成,根据得到的匹配分数将匹配候选中分数最高特征匹配候选作为起始节点,分数最低特征匹配候选作为终止节点,并规定有向图中边的方向由起始节点指向终止节点;
(2)完成有向图的构造后,判断节点间是否存在由匹配分数高节点指向匹配分数低节点的边。若两组匹配平面不满足夹角相似约束,将边赋值为0,即这两个节点间的边不存在,否则判断节点间存在边。最终得到n组具有边的节点,其所代表的匹配候选即为正确的面特征匹配。
5.根据权利要求4所述的消除静态特征误匹配的机器人定位方法,其特征在于:在步骤S3中,记录对应平面内的点特征匹配对信息
Figure FDA0003793290000000021
Figure FDA0003793290000000022
pi相对于ZA的位置与pj相对于ZB的位置相似,则最终保留的点特征匹配对应满足下式所示:
Figure FDA0003793290000000023
其中,ZA、ZB分别为相邻帧中对应的平面,pi和pj是图像中不同平面ZA和ZB中的点特征,pj是pi对应的匹配点,pi在图像中的坐标为(ui,vi),平面ZA的重心坐标为(uZA,vZA);将不满足上述表达式的点特征错误匹配剔除,得到正确的面匹配。
6.根据权利要求5所述的消除静态特征误匹配的机器人定位方法,其特征在于:在步骤S4中,定义相机初始位置状态为ck-1,则另外两张图像帧分别相对于ck-1的状态为ck、ck+1,ck相对于ck-1的旋转矩阵和平移矩阵为Rk、tk,得到相机的ck姿态矩阵为Qk=M[Rk|tk],其中M为相机的内参;将任意匹配对(pk-1,pk,pk+1)齐次变换再归一化处理得到
Figure FDA0003793290000000024
使用RANSAC算法计算得到在三张连续帧中的共同特征点并计算点特征对于平面的相对位置阈值,当共同特征点的相对位置数值大于相对位置阈值H则剔除此匹配,H的算式如下式所示:
Figure FDA0003793290000000025
其中,pk-1、pk、pk+1为连续帧中ck-1、ck、ck+1对应匹配特征点,
Figure FDA0003793290000000026
Figure FDA0003793290000000027
的反对称矩阵,
Figure FDA0003793290000000028
Figure FDA0003793290000000029
的i列元素,r4、u4为旋转矩阵Rk、Rk+1的第4列矩阵,Rk+1为ck+1相对于ck的旋转矩阵,ri、ui为旋转矩阵Rk、Rk+1第i列元素,
Figure FDA0003793290000000031
为ri、ui的转置矩阵,
Figure FDA0003793290000000032
为pk-1的第i维坐标。
7.根据权利要求6所述的消除静态特征误匹配的机器人定位方法,其特征在于:还包括:获取准确视觉特征关联信息后,根据图像间的关联信息利用SFM估计滑动窗口内所有帧的相对位姿,SFM求解的结果与IMU预积分的值进行对齐,完成VINS系统的初始化;
当所有的惯性量被估计出来,相机位姿和三维特征点被重新缩放为度量单位,世界坐标系重新对齐使得Z轴处于重力方向;对于场景中其他的平面,同样计算它们各自的平面单应矩阵并对其分解。由此前端处理的图像帧中获取的特征以及特征关联信息,利用视觉与IMU时间戳对齐获取相邻图像帧之间的IMU测量数据,求解当前状态下所有视觉和惯性量,将这些估计值送入滑动窗口以进行后端非线性优化。
8.根据权利要求7所述的消除静态特征误匹配的机器人定位方法,其特征在于:所述后端非线性优化模块是通过最小化视觉点面特征的重投影误差、IMU测量残差和滑动窗口边缘化先验约束的方式来联合优化相机位姿;优化函数如下式所示,
Figure FDA0003793290000000033
其中,lij表示窗口内两个连续帧i和j之间的所有IMU测量值,κ代表帧的集合,
Figure FDA0003793290000000034
是IMU预积分误差,i帧中所有观察到的点特征的集合表示为ci,l表示集合中的点特征,所有观察到的面特征的集合表示为P,p表示集合中的面特征,rp是边缘化先验误差,
Figure FDA0003793290000000035
是重投影误差,
Figure FDA0003793290000000036
是IMU预积分噪声项的协方差,
Figure FDA0003793290000000037
Figure FDA0003793290000000038
是视觉观测的噪声协方差,ρ(g)是抑制离群点的鲁棒核函数,
Figure FDA0003793290000000039
为对应图像位置真实测量值,
Figure FDA00037932900000000310
为对应图像位置期望测量值,
Figure FDA00037932900000000311
为对应平面法向量的转置矩阵,
Figure FDA0003793290000000041
为平面法向量的逆矩阵,
Figure FDA0003793290000000042
为图像帧中特征点坐标,Rji和tji表示将点从ti坐标系转换到tj下的旋转和平移,B表示自身坐标系与IMU坐标系重合,C表示相机坐标系,TBC表示相机坐标系到自身坐标系的旋转和平移。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的消除静态特征误匹配的机器人定位方法的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述的消除静态特征误匹配的机器人定位方法的步骤。
CN202210964992.4A 2022-08-11 2022-08-11 消除静态特征误匹配的机器人定位方法、存储介质及设备 Active CN115393432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964992.4A CN115393432B (zh) 2022-08-11 2022-08-11 消除静态特征误匹配的机器人定位方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964992.4A CN115393432B (zh) 2022-08-11 2022-08-11 消除静态特征误匹配的机器人定位方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN115393432A true CN115393432A (zh) 2022-11-25
CN115393432B CN115393432B (zh) 2023-04-28

Family

ID=84118478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964992.4A Active CN115393432B (zh) 2022-08-11 2022-08-11 消除静态特征误匹配的机器人定位方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN115393432B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
US20200349730A1 (en) * 2018-04-26 2020-11-05 Tencent Technology (Shenzhen) Company Limited Simultaneous localization and mapping method, computer device, and storage medium
CN112562000A (zh) * 2020-12-23 2021-03-26 安徽大学 基于特征点检测和误匹配筛选的机器人视觉定位方法
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN113112565A (zh) * 2021-04-08 2021-07-13 安徽工程大学 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备
CN113345020A (zh) * 2021-06-22 2021-09-03 西南科技大学 一种动态场景下的即时定位方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590827A (zh) * 2017-09-15 2018-01-16 重庆邮电大学 一种基于Kinect的室内移动机器人视觉SLAM方法
US20200349730A1 (en) * 2018-04-26 2020-11-05 Tencent Technology (Shenzhen) Company Limited Simultaneous localization and mapping method, computer device, and storage medium
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN112562000A (zh) * 2020-12-23 2021-03-26 安徽大学 基于特征点检测和误匹配筛选的机器人视觉定位方法
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
CN113112565A (zh) * 2021-04-08 2021-07-13 安徽工程大学 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备
CN113345020A (zh) * 2021-06-22 2021-09-03 西南科技大学 一种动态场景下的即时定位方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGCHUNFAN ET AL: "Dynamic objects elimination in SLAM based on image fusion", 《PATTERN RECOGNITION LETTERS》 *
曹天扬 等: "结合图像内容匹配的机器人视觉导航定位与全局地图构建系统", 《光学精密工程》 *

Also Published As

Publication number Publication date
CN115393432B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110335319B (zh) 一种语义驱动的相机定位与地图重建方法和系统
CN110108258B (zh) 一种单目视觉里程计定位方法
CN110322511B (zh) 一种基于物体和平面特征的语义slam方法和系统
Del Bue et al. Non-rigid metric shape and motion recovery from uncalibrated images using priors
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
Zhou et al. Robust plane-based structure from motion
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
US20200226392A1 (en) Computer vision-based thin object detection
CN112734837B (zh) 图像匹配的方法及装置、电子设备及车辆
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
CN110751722B (zh) 同时定位建图方法及装置
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
Aravkin et al. Student's t robust bundle adjustment algorithm
Mittal et al. Generalized projection based m-estimator: Theory and applications
CN116894876A (zh) 基于实时图像的6-dof的定位方法
Zhuang et al. Amos-SLAM: An Anti-Dynamics Two-stage SLAM Approach
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
CN115393432B (zh) 消除静态特征误匹配的机器人定位方法、存储介质及设备
CN110059651B (zh) 一种相机实时跟踪注册方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230315

Address after: 241000 Anhui Engineering University, Beijing Middle Road, Jiujiang District, Wuhu City, Anhui Province

Applicant after: ANHUI POLYTECHNIC University

Applicant after: ANHUI RUIXIANG INDUSTRY Co.,Ltd.

Address before: 241000 Anhui Engineering University, Beijing Middle Road, Jiujiang District, Wuhu City, Anhui Province

Applicant before: ANHUI POLYTECHNIC University

GR01 Patent grant
GR01 Patent grant