CN114526739A - 移动机器人室内重定位方法、计算机装置及产品 - Google Patents

移动机器人室内重定位方法、计算机装置及产品 Download PDF

Info

Publication number
CN114526739A
CN114526739A CN202210085351.1A CN202210085351A CN114526739A CN 114526739 A CN114526739 A CN 114526739A CN 202210085351 A CN202210085351 A CN 202210085351A CN 114526739 A CN114526739 A CN 114526739A
Authority
CN
China
Prior art keywords
topological
node
feature
edge
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210085351.1A
Other languages
English (en)
Other versions
CN114526739B (zh
Inventor
余伶俐
许泽中
赵于前
周开军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210085351.1A priority Critical patent/CN114526739B/zh
Publication of CN114526739A publication Critical patent/CN114526739A/zh
Application granted granted Critical
Publication of CN114526739B publication Critical patent/CN114526739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/383Indoor data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种移动机器人室内重定位方法、计算机装置及产品,基于几何特征匹配的位姿变换关系求解进行建图定位,并对关键帧点云和关键帧位姿进行存储;对关键帧点云进行几何特征与拓扑语义特征提取,并基于建图时保留的关键帧位姿进行地图拼接,得到几何‑拓扑语义特征地图;获取移动机器人当前位置感知点云数据并构建拓扑语义地图,与全局几何‑拓扑语义地图基于三角拓扑结构进行相似度分析进行特征匹配,并完成重定位过程的位姿粗估计;基于已知匹配关系的几何特征求解非线性最优化问题来完成移动机器人的位姿精估计。本发明解决了室内场景中无卫星信号,移动机器人在地图任意位置启动的位姿获取问题。

Description

移动机器人室内重定位方法、计算机装置及产品
技术领域
本发明涉及机器人定位技术领域,特别是一种移动机器人室内重定位方法、计算机装置及产品。
背景技术
移动机器人和AGV的自主导航作业在社会生产生活中发挥着重要作用,广泛地应用于工业、农业、服务业中的各种场景。
室外定位可以通过组合导航提供的定位信息解决,移动机器人室内重定位是移动机器人室内导航的重点与难点,由于室内场景无法接受卫星信号,所以需要人工标定参照物或者采用主动式定位。虽然基于WLAN、蓝牙、UWB或二维码等参照信息的室内定位方法已经能够保证良好的定位效果,但是此类方法需要对设置的参照信息进行位置标定,如果室内场景较大,所需的工作量也是巨大的,而且移动机器人在导航过程中有可能出现无法观测参考信息的情况,导致重定位无法完成。主动式定位方案中,基于视觉和激光雷达的重定位方案相对成熟,但是基于视觉的重定位受环境光线影响较大,而且精度低于基于激光雷达的定位方案。基于激光雷达点云特征匹配的重定位方法精度高,而且不受环境光的影响可靠性高,是一种可靠的重定位定位解决方案,所以选用激光雷达作为移动机器人室内重定位依赖的主动式传感器,通过移动机器人当前获取的点云数据与先验地图进行匹配来实现重定位。
现有的基于点云数据的的重定位方法本质上是一种基于局部地图与先验全局地图的匹配定位方法。
根据地图的表征形式不同,主要有基于代价栅格地图的重定位和基于3维点云地图的重定位。通过让移动机器人在无准确定位信息的条件下进行环境探索构建局部代价栅格地图或点云地图,并通过局部地图与建立的先验全局地图进行匹配,来获取移动机器人在室内地图中的位置,从而完成重定位。但由于代价栅格地图只包含二维环境信息,所以基于代价栅格地图的匹配重定位在环境特征较少或单一的情况下成功率较低;三维点云地图虽然包含了更多的环境特征,但是点云数据的处理量也随之变大,需要消耗更多的计算资源,而且常用的匹配算法,如ICP、NDT等在全局地图规模较大时无法达到一个好的匹配效果。同时,无论是基于代价栅格地图的重定位方法还是基于三维点云地图的重定位方法,都要求移动机器人在没有全局定位信息的情况下进行一定范围内的环境探索,通过构建移动机器人当前所处位置周边的局部地图来实现全局配准与重定位,移动机器人在缺少定位信息条件下进行探索存在着较大的未知性与风险性,而且有效地图的构建效率无法得到保证。本发明在多线激光雷达点云数据中提取拓扑语义特征和几何特征,并与先验的语义-几何特征地图进行一个二阶段的匹配,能够实现移动机器人在无需自由探索的条件下完成室内场景的快速重定位。
现有技术还通过传感器获取环境中特征的距离值来构建环境边界信息,并结合粒子滤波来进行重定位,此类方法虽然在某些环境中也能实现全局重定位,但是该方法在特征相似的环境中重定位的失误率较大,而且对于动态物体较为密集的环境,其稳定性也会受到影响。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种移动机器人室内重定位方法、计算机装置及产品,即便是相似环境也能通过某个细微的几何特征的不同来构建不同的拓扑结构实现准确的匹配和重定位,对有动态障碍物的环境有较强的鲁棒性。
为解决上述技术问题,本发明所采用的技术方案是:一种移动机器人室内重定位方法,包括以下步骤:
S1、移动机器人位姿丢失或重启后,对室内工作场景建图时保存的关键帧点云与关键帧位姿进行基于多维特征描述子相似度分析的几何特征、拓扑语义特征提取,并构建全局几何-拓扑语义特征地图;
S2、根据移动机器人位姿丢失位置感知的点云数据构建局部拓扑语义地图,将局部拓扑语义地图与全局几何-拓扑语义特征地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构,完成拓扑语义特征的匹配;
S3、对多对已知匹配关系的三角拓扑结构进行多组位姿估计,通过一个置信度评分机制对筛选出的三角拓扑结构对进行评分,选出评分最高的三角拓扑结构对用于位姿估计,通过求解一个已知点的匹配关系的非线性优化问题,使移动机器人在任意位置启动时在无需随机游走建图匹配的条件下,获取当前位置到全局坐标系的位姿粗变换。
本发明通过构建先验全局几何-拓扑语义地图与局部拓扑语义地图匹配进行重定位,无需对工作场景进行复杂的标定工作,可操作性更强性强。
本发明通过与先验全局几何-拓扑语义地图匹配进行重定位,无需在室内大规模地安置信号收发设备或标志物,在大规模环境下实施更加便捷、低成本。通过两阶段特征分割并构建拓扑语义地图,降低了环境信息表达的数据量级,使重定位过程更加轻量化、更迅速,根据拓扑语义地图中的三角拓扑结构的相似度分析来实现节点的匹配,通过很好地利用特征之间的相对位置关系,实现了无需初始阶段随机游走的重定位,而且根据特征之间相对关系的不变性,克服了环境噪声点的干扰,并且对于环境特征相似、单一的场景仍然能通过特征相对关系的分析察觉出环境特征的细微变化并完成重定位。最后通过已知匹配关系的几何特征的位姿估计,补偿了单纯依赖于拓扑语义特征进行位姿估计带来的误差,提高了重定位的精度。
为了进一步提高定位准确性,本发明还包括:
S4、根据已知匹配关系的几何特征,构建目标函数解算移动机器人到全局坐标系的位姿精变换,实现移动机器人丢失位姿后的室内重定位。
步骤S1的具体实现过程包括:
1)控制搭载多线激光雷达的移动机器人以小于第一设定阈值的速度对室内工作场景进行遍历采集点云数据,进行实时建图定位,当移动机器人当前位置相较上一个关键帧保存位置的位移大于第二设定阈值时,保存当前的关键帧点云、关键帧位姿;
2)对保存的关键帧点云进行基于多维特征描述子相似度分析的两阶段特征分割,得到边缘特征、平面特征以及点云簇特征,并将分割出的特征等效为一个拓扑节点;
3)将关键帧点云中基于局部点云平滑度计算提取的几何特征点云与步骤2)得到的关键帧拓扑节点图进行融合,得到包含几何信息和拓扑语义信息的关键帧,基于关键帧位姿对关键帧进行拼接,得到全局几何-拓扑语义地图MG
本发明通过一个两阶段特征分割,获取独立的边缘、平面以及点云簇特征,并将其等效为拓扑节点的表达形式,减少了数据处理的量级,给特征赋予了语义标签,能够使移动机器人在不需要随机游走的条件下在大规模室内场景丢失位姿后完成快速的粗定位。同时在地图中添加原有的几何特征信息,保证移动机器人能根据几何特征完成最后重定位的位姿精估计,进一步提高了重定位的精度。
步骤2)中,对保存的关键帧点云进行基于多维特征描述子相似度分析的两阶段特征分割的具体实现过程包括:
A)对关键帧点云P,提取出边缘特征Fe、平面特征Fp以及点云簇序列Cluster;
B)对Fe和Fp中的每个点构建多维特征向量,将所述多维特征向量作为描述子,构建边缘特征描述子Ve{ve1,ve2,ve3}和平面特征描述子Vp{vp1,vp2,vp3};其中,ve1包含边缘特征点的空间位置信息,即三维坐标(x,y,z),ve2包含边缘特征点所在直线的参数拟合信息(Ae,Be,Ce,De),边缘特征点所在直线参数方程为:
Aex+Bey+Cez+De=0;
ve3包含边缘特征点所在直线在水平地面投影点信息(xpj,ypj);vp1包含平面特征点局部平面的法向信息
Figure BDA0003487563040000041
vp2包含平面特征点所在平面在水平地面投影直线的参数信息(Ap,Bp,Cp,Dp),投影直线参数方程为:
Apx+Bpy+Cpz+Dp=0;
ve3包含平面特征点所在平面在水平地面投影线段的中点二维坐标(xlpm,ylpm);
C)对Fe中的点基于ve1进行欧式聚类,对得到的每一个聚类依次基于ve2和ve3进行欧式聚类,最终得到a个聚类分割,即精分割后的独立边缘特征序列E={e1,e2,...,ea};对Fp中的点首先基于vp1进行欧式聚类,对得到的每一个聚类依次基于vp2和vp3进行欧式聚类,得到b个聚类,即独立平面特征序列W={w1,w2,...,wb},其中a为精分割后独立边缘特征的数量,b为精分割后的独立平面特征的数量;
D)对E={e1,e2,...,ea}中每一个精分割后的独立边缘特征,选取独立边缘特征在水平地面的投影点作为表征边缘特征的拓扑节点,对包含n个边缘特征点的独立边缘特征PIe{{x1,y1,z1},{x2,y2,z2},...,{xn,yn,zn}},其对应的拓扑节点为
Figure BDA0003487563040000042
对W={w1,w2,...,wb}中每一个精分割后的独立平面特征,提取平面上包含所有平面特征点的最小矩形,投影到水平面上,将得到的有限线段的中点作为表征平面特征的拓扑节点;
对包含m个平面特征点的独立平面特征PIp{{x1,y1,z1},{x2,y2,z2},...,{xm,ym,zm}},将所有平面特征点投影到水平面,找到投影直线的边界点edge1(x1,y1)和edge2(x2,y2),对应的拓扑节点为
Figure BDA0003487563040000051
取点云簇特征序列中每一个特征元素的质心在水平地面的投影作为表征当前簇点云的拓扑节点,对包含k个边缘特征点的独立边缘特征PIc{{x1,y1,z1},{x2,y2,z2},...,{xk,yk,zk}},对应的拓扑节点为:
Figure BDA0003487563040000052
E)对每一个独立的边缘、平面、点云簇聚类都采用拓扑节点坐标计算方法(即上述步骤C)~D)的过程)进行计算,最终得到全局拓扑语义地图MG
本发明通过构建针对边缘、平面特征的特征描述子,并对每个特征点的描述子进行聚类分析,在原有的几何、平面特征的基础上将其进一步地分割成独立的特征表达,并分割后的特征等效为拓扑节点,在保证信息丰富度的情况下,降低了环境特征描述的数据量。
步骤S2中,将局部拓扑语义地图与全局几何-拓扑语义特征地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构的具体实现过程包括:
a)从全局几何-拓扑语义特征地图MG{Sge,Sgp,Sgc}和局部拓扑语义地图ML{Sle,Slp,Slc}中提取相似的拓扑边,其中,设MG和ML中的拓扑边的长度差值小于第三阈值,则认为MG和ML相似;Sge为全局拓扑语义地图中由边缘特征构成的拓扑节点,Sgp为全局拓扑语义地图中由平面特征构成的拓扑节点,Sgc为全局拓扑语义地图中由点云簇特征构成的拓扑节点,Sle为局部拓扑语义地图中由边缘特征构成的拓扑节点;Slp为局部拓扑语义地图中由平面特征构成的拓扑节点,Slc为局部拓扑语义地图中由点云簇特征构成的拓扑节点;
b)对cge中的拓扑节点按照该节点与地图中心连线与地图坐标系x轴所成夹角大小进行排序;对Sle中的拓扑节点按照该节点与激光雷达坐标系原点连线与激光雷达坐标系x轴所成夹角大小进行排序;
c)计算排序后相邻节点对应的拓扑边的长度,合并MG和ML中的拓扑边集合,重新按照拓扑边的长度进行排序,将每条拓扑边长度与相邻的拓扑边长度做差,若拓扑边长度差值小于第四阈值,且两条拓扑边分别属于MG和ML,则认为找到两条相似的拓扑边,进而构建4个待验证的三角拓扑结构;
d)对平面特征拓扑节点和点云簇拓扑节点,进行步骤b)和步骤c)的操作,得到对应特征类下的三角拓扑结构。
本发明采用对拓扑节点进行先排序后构建拓扑边,然后对拓扑边进行相似度分析来筛选相似的拓扑边构建三角拓扑结构,通过先排序大大缩小了相似度分析时的搜索范围,节约了时间成本,通过先进行相似度分析后构建拓扑三角,提高了所构建拓扑三角结构对成功匹配的概率,能够使算法快速收敛。
在相似的拓扑边中选取拓扑节点进行三角拓扑结对构建并完成拓扑语义特征的匹配的具体实现过程包括:
I)构建三角特征结构描述子Vtri{vtri1,vtri2},其中vtri1{len1,len2,len3}包含三角特征结构的边长信息,其中len1,len2,len3为三角特征结构的三边边长,
Figure BDA0003487563040000061
包含三角特征结构的方向信息,
Figure BDA0003487563040000062
为三角特征结构的三边的方向向量;
II)根据三角特征描述子对全局-几何拓扑语义地图与局部拓扑语义地图中的三角拓扑结构进行相似性分析,若排列组合得到的9个边长差中存在3个以上边长差小于第五阈值,排列组合得到的9个夹角中存在3个以上夹角小于第六阈值,则认为两个三角拓扑结构相似,匹配成功;
III)设存在一对匹配成功的三角拓扑结构Tri_g(tria,trib,tric),Tri_l(trid,trie,trif),其中Tri_g是全局拓扑语义地图中的三角拓扑结构,Tri_l是移动机器人位姿丢失位置的局部拓扑语义地图中的三角拓扑结构;若边长满足匹配关系:
Figure BDA0003487563040000063
则通过
Figure BDA0003487563040000064
得到拓扑节点tria对应拓扑节点trie,拓扑节点trib对应拓扑节点trif,拓扑节点c对应拓扑节点trid
IV)基于步骤I)~III)得到三类匹配的拓扑节点对,包括边缘拓扑节点对Me、平面拓扑节点对Mp以及点云簇拓扑节点对Mc,其中Me={{ge_node1,le_node1},{ge_node2,le_node2},…,{ge_nodex,le_nodex}},Mp={{gp_node1,lp_node1},{gp_node2,lp_node2},…,{gp_nodey,lp_nodey}},Mc={{gc_node1,lc_node1},{gc_node2,lc_node2},…,{gc_nodez,lc_nodez}},x、y、z分别是匹配成功的边缘、平面、点云簇拓扑节点数量。
本发明通过构建三角特征结构描述子,能够快速、准确地分析所构建的三角拓扑结构是否匹配成功,并进一步地获取拓扑节点之间的一一对应关系,基于所得到了拓扑节点的一一映射关系,为优化求解位姿变换关系的过程添加了更强的约束,求解的位姿变换精度更高。
步骤S3的具体实现过程包括:
根据匹配的三角拓扑结构得到匹配好的拓扑节点对:
Figure BDA0003487563040000071
其中p1,p2,p3为全局几何-拓扑语义特征地图中某个拓扑三角结构中的拓扑节点,p′1,p′2,p′3为局部拓扑语义特征地图中某个拓扑三角结构中的拓扑节点;
构建最小二乘问题,最小二乘问题表示为:
Figure BDA0003487563040000072
n=3,R、t为使目标函数J取极小值时的旋转矩阵和平移向量;
计算上述最小二乘问题,得到u组位姿变换关系Tsets={T1,T2,…,Tu},其中T1,T2,…,Tu由求解的每一组旋转矩阵和平移向量组成。;
对求得的u组位姿变换关系Tsets={T1,T2,…,Tu}进行基于变量(x,y,yaw)的欧式聚类,其中x为位姿变换中x方向上的平移量,y为位姿变换中y方向上的平移量,yaw为绕z轴的旋转角度,得到u’个聚类类别;
对每个聚类类别进行置信度计算,其中聚类体积系数设为kv,聚类质量系数设为kq
置信度分数最高的聚类包含q个匹配三角拓扑结构,基于三角拓扑结构推理得到q’对匹配拓扑节点,对所述q’对匹配拓扑节点中的边缘特征拓扑节点,进行一个已知点的匹配关系的非线性优化问题求解,将匹配的平面特征拓扑节点和点云簇拓扑节点作为位姿约束,得到重定位所需的粗变换Tvague={Rvague,tvague},其中Rvague为重定位粗定位位姿变换中的旋转矩阵,tvague为重定位粗定位位姿变换中的平移向量。
本发明通过一个对求解位姿变换关系的置信度评分机制,去除了可能存在的错误匹配的三角拓扑结构,提高了位姿估计的精度和鲁棒性。
步骤S4的具体实现过程包括:
根据置信度高的q’对匹配的拓扑节点,索引对应的q’对匹配的特征点云,设q’对匹配的特征点云中包含ne对匹配的边缘特征点云:
Figure BDA0003487563040000081
对第i对匹配的边缘特征点云{egi,eli}中eli的边缘特征点edgea,在egi中找到其最邻近的两个点edgeb、edgec,计算edgea到直线edgebedgec的距离d∈;
设q’对匹配的特征点云中包含np对匹配的平面特征点云:
Figure BDA0003487563040000082
对第r对匹配的平面特征点云{pgr,plr}中plr的边缘特征点planara,在pgr中找到其最邻近的三个点planarb、planarc、planard,计算planara到planarb、planarc、planard所在平面的距离dH;
构建最小二乘问题,求使目标函数达到极小的R’,
Figure BDA0003487563040000083
其中
Figure BDA0003487563040000084
m1为eli中平面特征点数量;
Figure BDA0003487563040000085
其中m2为plr中平面特征点数量;
基于g2o库计算非线性优化问题,得到重定位过程所需的精确位姿变换Tacc={Racc,tacc},其中Racc=R’Rvague,tacc=R’tvague+t’。
在完成重定位的位姿粗估计后,在有良好初值条件的情况下,基于已知匹配关系的几何特征进行重定位过程的精确估计,能够很好地补偿基于拓扑语义特征匹配位姿估计的误差,获得移动机器人精确位姿信息。
本发明还提供了一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序;所述处理器执行所述计算机程序,以实现本发明方法的步骤。
本发明还提供了一种计算机程序产品,包括计算机程序/指令;该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
与现有技术相比,本发明所具有的有益效果为:
1)基于蓝牙、WIFI、二维码或UWB的重定位方法需要事先对传感器进行标定工作,工作复杂且标定结果对重定位效果影响很大,本发明通过构建先验全局几何-拓扑语义地图与局部拓扑语义地图匹配进行重定位,无需对工作场景进行复杂的标定工作,可操作性更强性强。而且对于大型场景,基于蓝牙、WIFI或UWB的重定位方法需要布置大量的传感器,使用成本更高,而基于激光雷达的匹配定位方法成本不受场景大小的限制;
2)基于2D栅格地图的重定位的方法需要移动机器人在无定位信息的条件下进行随机游走进行局部地图的构建才能完成重定位,而某些工作场景中随机游走具有一定的风险性,且耗时较长。本方法通过对当前位置拓扑语义地图与全局拓扑语义地图中的三角拓扑结构进行相似度分析,找到拓扑节点的对应关系并进行位姿估计,实现无需随机游走的快速重定位。
3)基于3D激光SLAM或视觉SLAM的重定位方法在大范围工作场景中进行建图匹配由于数据稠密,所以对算力要求较高,而且需要通过分割全局地图进行分块匹配定位,耗时较长。本方法通过将工作场景中的几何特征和点云簇特征分割并表征为二维拓扑节点的形式,大大降低了运算量,并通过拓扑节点之间相对关系的利用弥补了普通拓扑地图包含特征较少的弊端。
4)在基于几何特征的重定位精估计过程中,通过拓扑节点之间的匹配关系能够获取原有几何特征之间的一一对应关系,相较LOAM系列基于最近点进行的匹配与位姿估计的方法,本方法的匹配与位姿估计所构建的目标函数可理解性更强,且避免了噪声点对匹配的干扰。
5)本发明方法构建包含拓扑节点相对位置关系的拓扑结构作为特征,即便是相似环境也能通过某个细微的几何特征的不同来构建不同的拓扑结构来实现准确的匹配和重定位,并行对有动态障碍物的环境有较强的鲁棒性。
附图说明
图1为重定位方法总框图;
图2为全局几何-拓扑语义地图构建示意图;
图3为三角拓扑结构构建与匹配示意图;
图4为基于已知匹配关系的两阶段位姿估计示意图;
图5为地下停车场全局点云地图;
图6为地下停车场几何地图(边缘、平面特征地图);
图7为地下停车场拓扑节点地图;
图8为局部拓扑语义地图中的三角拓扑结构示意图;
图9(a)和图9(b)为多线激光雷达的坐标系示意图;图9(a)激光雷达侧视图;图9(b)激光雷达俯视图;
图10为全局匹配重定位示意图(其中灰色为全局拓扑节点,白色为待匹配的局部拓扑节点);
图11为基于ICP的全局匹配定位示意图((白色点云为重定位后的点云);
图12为基于NDT的全局匹配定位示意图(白色点云为重定位后的点云);
图13为基于本发明方法的全局重定位结果示意图(白色点云为重定位后的点云);
图14(a)和图14(b)为减少局部拓扑节点特征数量的全局重定位结果图,图14(a)为4个局部拓扑节点特征数量的全局重定位结果,图14(b)为10个局部拓扑节点特征数量的全局重定位结果;
图15为不同局部地图拓扑节点数量对应的全局重定位误差(其中圆点虚线、长实线、点划线、长虚线分别为局部地图包含5、10、15、20个拓扑节点的实验结果);
图16为不同局部地图拓噪声点数量对应的全局重定位误差(其中圆点虚线、长虚线、长实线、点划线分别为局部地图包含30、20、10、5个噪声点的实验结果)。
具体实施方式
如图1所示,本发明实施例包括以下步骤:
步骤1、移动机器人位姿丢失或重启后,需要在任意位置基于多线激光雷达感知的环境信息对位姿进行重新估计,首先对室内工作场景建图时保存的关键帧点云与关键帧位姿进行基于多维特征描述子相似度分析的几何特征、拓扑语义特征提取,并构建全局几何-拓扑语义特征地图;
步骤2、根据移动机器人位姿丢失位置感知点云数据构建局部拓扑语义地图,与全局拓扑语义地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构,进而完成拓扑语义特征的匹配;
步骤3、对求解得到多对已知匹配关系的三角拓扑结构进行多组位姿估计,通过一种对位姿估计结果的评分机制获取置信度高的三角拓扑结构对,通过求解一个已知点的匹配关系的非线性优化问题,使移动机器人在任意位置启动时能在无需随机游走建图匹配的条件下,获取一个当前位置到全局坐标系的位姿粗变换。
步骤4、根据已知匹配关系的几何特征,构建几何约束性更准确的目标函数来解算移动机器人到全局坐标系的位姿精变换,本方法通过一个两阶段的位姿估计实现了移动机器人丢失位姿后的室内重定位。
全局重定位的总框架如图1所示。
各步骤具体实现过程如下:
步骤1、对室内工作场景建图时保存的关键帧点云与关键帧位姿进行基于多维特征描述子相似度分析的几何特征、拓扑语义特征提取,并构建全局几何-拓扑语义特征地图,全局几何-拓扑语义特征地图的构建流程如图2所示;
步骤1.1、对室内工作场景进行实时定位建图,并保存关键帧点云与关键帧位姿;
步骤1.1.1、控制搭载多线激光雷达的移动机器人遍历室内工作场景,行进过程中基于LeGO-LOAM进行实时定位建图;
步骤1.1.2、当移动机器人位移距离大于设置的第一阈值时保存当前帧点云作为关键帧点云,并记录由LeGO-LOAM建图定位系统提供的位姿作为关键帧位姿;
步骤1.2、对保存的关键帧点云进行几何特征和拓扑语义特征提取;
步骤1.2.1、对关键帧点云P,先基于LeGO-LOAM中的图像投影与特征提取模块初步提取出边缘特征Fe、平面特征Fp以及点云簇序列
Cluster={cluster1,cluster2,...,clusterm};
其中m为分割出来的独立点云簇数量;
步骤1.2.2、对Fe和Fp中的每个点构建多维特征向量作为描述子,构建边缘特征描述子:
Ve{ve1,ve2,ve3};
边缘特征描述子包含3个维度的特征信息,ve1包含点的该边缘特征点的空间位置信息,即三维坐标(x,y,z),ve2包含该边缘特征点所在直线的参数拟合信息(Ae,Be,Ce,De),边缘特征点所在直线参数方程为:
Aex+Bey+Cez+De=0;
ve3包含该边缘特征点所在直线在水平地面投影点信息(xpj,ypj)。
构建平面特征描述子
Vp{vp1,vp2,vp3};
平面特征描述子包含3个维度的特征信息,vp1包含该平面特征点局部平面的法向信息
Figure BDA0003487563040000123
vp2包含该平面特征点所在平面在水平地面投影直线的参数信息(Ap,Bp,Cp,Dp),投影直线参数方程为:
Apx+Bpy+Cpz+Dp=0;
ve3包含该平面特征点所在平面在水平地面投影线段的中点二维坐标(xlpm,ylpm)。
步骤1.2.3、对Fe和Fp中的每个点的特征描述子,利用欧式聚类算法进行聚类操作,对Fe中的点首先基于ve1进行欧式聚类,对得到的每一个聚类依次基于ve2和ve3进行欧式聚类,最终得到a个聚类分割,即精分割后的独立边缘特征序列E={e1,e2,...,ea};
对Fp中的点首先基于vp1进行欧式聚类,对得到的每一个聚类依次基于vp2和vp3进行欧式聚类,得到b个聚类,即独立平面特征序列W={w1,w2,...,wb},其中a为精分割后独立边缘特征的数量,b为精分割后的独立平面特征的数量。
步骤1.2.4、选取独立边缘特征在水平地面的投影点作为表征边缘特征的拓扑节点,对包含n个边缘特征点的独立边缘特征PIe{{x1,y1,z1},{x2,y2,z2},...,{xn,yn,zn}},其对应的拓扑节点为:
Figure BDA0003487563040000121
对W={w1,w2,...,wb}中每一个精分割后的独立平面特征,提取平面上包含所有平面特征点的最小矩形,投影到水平面上,将得到的有限线段的中点作为表征平面特征的拓扑节点。对包含m个平面特征点的独立平面特征PIp{{x1,y1,z1},{x2,y2,z2},...,{xm,ym,zm}},将所有平面特征点投影到水平面,找到投影直线的边界点edge1(x1,y1)和edge2(x2,y2),其对应的拓扑节点为:
Figure BDA0003487563040000122
选取点云簇特征序列中每一个特征元素的质心在水平地面的投影作为表征该簇点云的拓扑节点,对包含k个边缘特征点的独立边缘特征PIc{{x1,y1,z1},{x2,y2,z2},...,{xk,yk,zk}},其对应的拓扑节点为
Figure BDA0003487563040000131
对每一个独立的边缘、平面、点云簇聚类都采样上述的拓扑节点坐标计算方法进行计算,最终得到全局拓扑语义地图MG
步骤2、基于移动机器人当前位置感知点云数据构建局部拓扑语义地图,与全局拓扑语义地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构,进而完成拓扑语义特征的匹配,三角拓扑结构构建与匹配流程如图3所示;
步骤2.1、在移动机器人位姿丢失,或重启后无法获取当前位姿时,读取当前移动机器人所处位置激光雷达扫描到的点云数据,根据步骤S1中的拓扑语义节点提取方法进行拓扑语义地图构建,得到局部拓扑语义地图ML,此局部拓扑语义地图包含位姿丢失位置的环境特征信息,与全局拓扑语义地图共同作为重定位过程的输入;
步骤2.2、对全局拓扑语义地图MG和局部拓扑语义地图ML的每一类拓扑节点进行三角拓扑结构构建,根据移动机器人位姿丢失位置局部拓扑语义地图中拓扑节点的分布构建包含节点间相对位置关系的三角拓扑结构;
步骤2.2.1、从全局几何-拓扑语义特征地图MG{Sge,Sgp,Sgc}和局部拓扑语义地图ML{Sle,Slp,Slc}中提取相似的拓扑边,其中,设MG和ML中的拓扑边的长度差值小于第三阈值,则认为MG和ML相似;Sge为全局拓扑语义地图中由边缘特征构成的拓扑节点,Sgp为全局拓扑语义地图中由平面特征构成的拓扑节点,Sgc为全局拓扑语义地图中由点云簇特征构成的拓扑节点,Sle为局部拓扑语义地图中由边缘特征构成的拓扑节点;Slp为局部拓扑语义地图中由平面特征构成的拓扑节点,为局部拓扑语义地图中由点云簇特征构成的拓扑节点;
步骤2.2.2、对Sge中的拓扑节点按照该节点与地图中心连线与地图坐标系x轴所成夹角大小进行排序,对Sle中的拓扑节点按照该节点与激光雷达坐标系原点连线与激光雷达坐标系x轴所成夹角大小进行排序;
步骤2.2.3、计算排序后相邻节点对应的拓扑边的长度。将MG和ML中的拓扑边重新按照拓扑边的长度进行排序,每条拓扑边与相邻的拓扑边做长度差,拓扑边长度差值小于第四阈值,且两条拓扑边分别属于MG和ML,则认为找到两条相似的拓扑边,进而构建4个待验证的三角拓扑结构;
步骤2.2.4、同理,对平面特征拓扑节点和点云簇拓扑节点按照步骤2.2.2、步骤2.2.3进行处理,得到该特征类下的三角拓扑结构;
步骤2.3、对MG和ML中筛选出来的初始相似置信度高的三角拓扑结构进行相似度分析,如果相似度评分高于第三阈值则认为这两个三角拓扑结构匹配成功,并据此进一步得到位姿丢失位置的拓扑节点与全局拓扑节点之间的对应关系的具体实现过程包括:
步骤2.3.1、构建三角特征结构描述子Vtri{vtri1,vtri2},其中vtri1{len1,len2,len3}包含三角特征结构的边长信息,其中len1,len2,len3为三角特征结构的三边边长,
Figure BDA0003487563040000141
包含三角特征结构的方向信息,
Figure BDA0003487563040000142
为三角特征结构的三边的方向向量;
步骤2.3.2、根据三角特征描述子对全局-几何拓扑语义地图与局部拓扑语义地图中的三角拓扑结构进行相似性分析,若排列组合得到的9个边长差中存在3个以上边长差小于第五阈值,排列组合得到的9个夹角中存在3个以上夹角小于第六阈值,则认为两个三角拓扑结构相似,匹配成功。
步骤2.3.3、根据匹配成功的三角拓扑结构对,进一步分析得到具体的拓扑节点匹配关系。假设存在一对匹配成功的三角拓扑结构Tri_g(tria,trib,tric),Tri_l(trid,trie,trif),其中Tri_g是全局拓扑语义地图中的三角拓扑结构,Tri_l是移动机器人位姿丢失位置的局部拓扑语义地图中的三角拓扑结构。
如果边长满足匹配关系:
Figure BDA0003487563040000143
则通过
Figure BDA0003487563040000144
得到拓扑节点tria对应拓扑节点trie,拓扑节点trib对应拓扑节点trif,拓扑节点c对应拓扑节点trid
步骤2.3.4、基于步骤2.3.1、步骤2.3.2、步骤2.3.3所述方法得到三类匹配的拓扑节点对,包括边缘拓扑节点对Me、平面拓扑节点对Mp以及点云簇拓扑节点对Mc,其中Me={{ge_node1,le_node1},{ge_node2,le_node2},…,{ge_nodex,le_nodex}},Mp={{gp_node1,lp_node1},{gp_node2,lp_node2},…,{gp_nodey,lp_nodey}},Mc={{gc_node1,lc_node1},{gc_node2,lc_node2},…,{gc_nodez,lc_nodez}},x、y、z分别是匹配成功的边缘、平面、点云簇拓扑节点数量。
步骤3、基于求解的多对已知匹配关系的三角拓扑结构进行多组位姿估计,通过一种对位姿估计结果的评分机制获取置信度高的三角拓扑结构对,求解一个已知点的匹配关系的非线性优化问题得到移动机器人在当前位置到全局坐标系的位姿粗变换。最后基于一个已知匹配关系的几何特征,构建几何约束性更准确的目标函数来解算移动机器人到全局坐标系的位姿精变换,通过一个两阶段的位姿估计实现了无需自由探索的移动机器人室内静态重定位,基于已知匹配关系的两阶段位姿估流程如图4所示;
步骤3.1、求解每一对匹配成功的三角拓扑结构对应的位姿变换关系;
步骤3.1.1、基于步骤2得到u对匹配成功的三角拓扑结构,每一对三角拓扑结构中包括3对匹配成功的拓扑节点对
Figure BDA0003487563040000151
其中p1,p2,p3为全局几何-拓扑语义特征地图中某个拓扑三角结构中的拓扑节点,p′1,p′2,p′3为局部拓扑语义特征地图中某个拓扑三角结构中的拓扑节点;
步骤3.1.2、找一个欧式变换R,t使得:
Figure BDA0003487563040000153
其中node_num在这里取1,2,3。定义第node_num对点的误差项:
enode_num=pnode_num-(Rp′node_num+t);
步骤3.1.3、构建最小二乘问题,使求误差平方和达到极小的R,t:
Figure BDA0003487563040000152
其中R、t为使目标函数J取极小值时的旋转矩阵和平移向量;
步骤3.1.3、对u对匹配三角拓扑结构求解最小二乘问题,得到u组位姿变换关系Tsets={T1,T2,…,Tu},其中T1,T2,…,Tu由求解的每一组旋转矩阵和平移向量组成。,每一组变换关系都表征着当前位置到全局地图位姿粗变换的一种可能,为了避免由噪声节点产生的干扰,需要对重定位的有效位姿粗变换关系进行筛选;
步骤3.2、对u对位姿变换关系进行投票,选出置信度高的q对三角拓扑结构;
步骤3.2.1、基于有效假设:筛选出的成功匹配的三角拓扑结构对的有效数量远远大于(至少是大于)误匹配三角拓扑结构数量;
步骤3.2.2、对求得u组位姿变换关系Tsets={T1,T2,…,Tu}进行基于变量(x,y,yaw)的欧式聚类,得到u’个聚类类别;
步骤3.2.3、对每个聚类类别进行置信度计算,其中聚类体积系数设为kv,聚类质量系数设为kq
聚类质量系数kq与聚类元素的离散程度相关,聚类元素的离散程度越高,聚类质量越差。聚类元素的离散程度相关变量e1为平移变量的方差,聚类元素的离散程度相关变量e2为旋转变量的方差。聚类质量系数
Figure BDA0003487563040000161
聚类可信度计算方法为:
Q=kq×kv×n;
按照上述计算方法对每个聚类进行置信度计算,选取置信度分数最高的聚类元素作为重定位粗变换的计算依据。
步骤3.2.4、置信度分数最高的聚类包含q个匹配三角拓扑结构,基于匹配的三角拓扑结构推理得到q’对匹配拓扑节点,对这q’对匹配的拓扑节点中的边缘特征拓扑节点,求解一个已知点的匹配关系的非线性优化问题,得到位姿估计,将匹配的平面特征拓扑节点和点云簇拓扑节点作为位姿约束,得到重定位所需的粗变换Tvague={Rvague,tvague},通过这个位姿粗变换,能让任意位置发生位姿丢失的移动机器人获取一个在全局地图中相对准确的位姿估计;
步骤3.3、根据3.2求得的重定位粗变换Tvague对局部几何特征地图进行坐标变换,然后对粗变换后的局部几何特征地图与全局几何特征地图进行基于已知几何特征匹配关系的非线性优化问题求解,得到的重定位所需的精变换Tacc={Racc,tacc};
步骤3.3.1、根据步骤S2中最终得到置信度高的q’对匹配的拓扑节点,索引对应的
q’对匹配的特征点云,假设q’对匹配的特征点云中包含ne对匹配的边缘特征点云:
{{eg1,el1},{eg2,el2},...,{egi,eli},...,{egne,elne}};
其中egi表示第i对匹配的边缘特征点云中属于全局先验地图中的边缘特征,eli表示第i对匹配的边缘特征点云中属于当前位置局部地图中的边缘特征。
假设q’对匹配的特征点云中包含np对匹配的平面特征点云:
Figure BDA0003487563040000171
其中pgr表示第r对匹配的平面特征点云中属于全局先验地图中的平面特征,plr表示第r对匹配的平面特征点云中属于当前位置局部地图中的平面特征。
步骤3.3.2、对第i对匹配的边缘特征点云{egi,eli}中eli的边缘特征点edgea,在egi中找到其最邻近的两个点edgeb、edgec,计算edgea到直线edgebedgec的距离d∈
Figure BDA0003487563040000172
其中
Figure BDA0003487563040000173
为edgea、edgeb、edgec点的坐标。
对第r对匹配的平面特征点云{pgr,plr}中plr的边缘特征点planara,在pgr中找到其最邻近的三个点planarb、planarc、planard,计算planara到planarb、planarc、planard所在平面的距离dH
Figure BDA0003487563040000174
其中
Figure BDA0003487563040000175
为planara、planarb、planarc、planard点的坐标。
步骤3.3.3、构造目标函数求解重定位所需的精确位姿变换Tacc={Racc,tacc}。
基于边缘特征匹配关系的目标函数φ1
Figure BDA0003487563040000176
m1为eli中平面特征点数量;
基于平面特征匹配关系的目标函数φ2
Figure BDA0003487563040000177
其中m2为plr中平面特征点数量;
构造总目标函数
φ=φ12
构建最小二乘问题,使求目标函数达到极小的R’,t’:
Figure BDA0003487563040000181
基于g2o库求解非线性优化问题,得到使目标函数取极小的R、t,即重定位过程所需的精确位姿变换Tacc={Racc,tacc},,其中Racc=R’Rvague,tacc=R’tvague+t’。
至此,重定位所需的二阶位姿变换Tvague={Rvague,tvague}以及Tacc={Racc,tacc}求解完成,通过这个二阶的位姿变换关系可以实现移动机器人在室内任意丢失相对地图坐标系的位姿时,重新获取自身在地图坐标系中的位置,而无需让机器人重新回到建图原点,避免了传统位姿估计方法对于初始位姿固定的局限性。
在仿真环境中生成一个100m*100m范围内包含100个拓扑节点的全局拓扑地图,并在全局拓扑地图截取5、10、15、20个不等的拓扑节点,并进行10组数值不同的平移旋转操作,作为待匹配的局部拓扑地图,即得到全局地图中10个不同位置的局部拓扑语义地图进行全局重定位测试。
以截取15个拓扑节点进行10组数值不同的平移旋转操作,作为待匹配的局部拓扑地图为例,如图10所示,其中灰色点云为全局拓扑地图,白色部分为待重定位的局部拓扑地图。
ICP、NDT针对稀疏、初值条件差的拓扑节点图完全无法进行配准,如图11、图12所示,图11为基于ICP的重定位结果,图12为基于NDT的重定位结果,可以看到配准解算的位姿变换无法将局部拓扑地图正确地转换到全局坐标系,而本发明方法可以很好地完成配准,如图13所示,且重定位误差能控制在10cm以内。
减少局部地图拓扑特征数量的全局重定位测试,将原来的15个拓扑节点,减少到10个和4个进行测试,包含4个局部地图拓扑特征的全局重定位结果如图14(a)所示,包含10个局部地图拓扑特征的全局重定位结果如图14(b)所示,可以看出即便局部拓扑特征数量很少的情况,本发明也能完成全局重定位。
选取最具代表性的一组测试,即局部地图拓扑节点数量最少,选取4个局部地图拓扑节点,噪声点最多的一组,选取30个噪声点。记录10组重定位测试位置真值位姿、重定位粗配准后的位姿以及重定位误差在表1中,可以发现利用本发明方法,重定位能够顺利完成,且误差控制在10cm以内。
表1仿真环境中拓扑地图基于三角拓扑结构相似度分析进行匹配与重定位结果
测试序号 真值位姿(m,m) 重定位位姿(m,m) 误差(m)
1 (12.36,23.67) (12.32,23.62) 0.064
2 (53.54,81.98) (53.53,82) 0.022
3 (23.19,74.23) (23.17,74.23) 0.02
4 (38.89,90.77) (38.85,90.79) 0.045
5 (47.90,49.12) (47.91,49.13) 0.014
6 (28.87,82.45) (28.85,82.47) 0.028
7 (8.98,67.32) (8.98,67.3) 0.02
8 (34.55,88.31) (34.56,88.29) 0.021
9 (90.91,8.93) (90.88,8.91) 0.037
10 (77.13,7.53) (77.11,7.50) 0.036

Claims (10)

1.一种移动机器人室内重定位方法,其特征在于,包括以下步骤:
S1、移动机器人位姿丢失或重启后,对室内工作场景建图时保存的关键帧点云与关键帧位姿进行基于多维特征描述子相似度分析的几何特征、拓扑语义特征提取,并构建全局几何-拓扑语义特征地图;
S2、根据移动机器人位姿丢失位置感知的点云数据构建局部拓扑语义地图,将局部拓扑语义地图与全局几何-拓扑语义特征地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构,完成拓扑语义特征的匹配;
S3、对多对已知匹配关系的三角拓扑结构进行多组位姿估计,对匹配的三角拓扑结构对进行评分,选出评分最高的三角拓扑结构对用于位姿估计,通过求解已知节点匹配关系的非线性优化问题,获取当前位置到全局坐标系的位姿粗变换。
2.根据权利要求1所述的移动机器人室内重定位方法,其特征在于,还包括:
S4、根据已知匹配关系的几何特征,构建目标函数解算移动机器人到全局坐标系的位姿精变换,实现移动机器人丢失位姿后的室内重定位。
3.根据权利要求1所述的移动机器人室内重定位方法,其特征在于,步骤S1的具体实现过程包括:
1)控制搭载多线激光雷达的移动机器人以小于第一设定阈值的速度对室内工作场景进行遍历采集点云数据,进行实时建图定位,当移动机器人当前位置相较上一个关键帧保存位置的位移大于第二设定阈值时,保存当前的关键帧点云、关键帧位姿;
2)对保存的关键帧点云进行基于多维特征描述子相似度分析的两阶段特征分割,得到边缘特征、平面特征以及点云簇特征,并将分割出的特征等效为一个拓扑节点;
3)将关键帧点云中基于局部点云平滑度计算提取的几何特征点云与步骤2)得到的关键帧拓扑节点图进行融合,得到包含几何信息和拓扑语义信息的关键帧,基于关键帧位姿对关键帧进行拼接,得到全局几何-拓扑语义地图MG
4.根据权利要求3所述的移动机器人室内重定位方法,其特征在于,步骤2)中,对保存的关键帧点云进行基于多维特征描述子相似度分析的两阶段特征分割的具体实现过程包括:
A)对关键帧点云P,提取出边缘特征Fe、平面特征Fp以及点云簇序列Cluster;
B)对Fe和Fp中的每个点构建多维特征向量,将所述多维特征向量作为描述子,构建边缘特征描述子Ve{ve1,ve2,ve3}和平面特征描述子Vp{vp1,vp2,vp3};其中,ve1包含边缘特征点的空间位置信息,即三维坐标(x,y,z),ve2包含边缘特征点所在直线的参数拟合信息(Ae,Be,Ce,De),边缘特征点所在直线参数方程为:
Aex+Bey+Cez+De=0;
ve3包含边缘特征点所在直线在水平地面投影点信息(xpj,ypj);vp1包含平面特征点局部平面的法向信息
Figure FDA0003487563030000021
vp2包含平面特征点所在平面在水平地面投影直线的参数信息(Ap,Bp,Cp,Dp),投影直线参数方程为:
Apx+Bpy+Cpz+Dp=0;
ve3包含平面特征点所在平面在水平地面投影线段的中点二维坐标(xlpm,ylpm);
C)对Fe中的点基于ve1进行欧式聚类,对得到的每一个聚类依次基于ve2和ve3进行欧式聚类,最终得到a个聚类分割,即精分割后的独立边缘特征序列E={e1,e2,...,ea};对Fp中的点首先基于vp1进行欧式聚类,对得到的每一个聚类依次基于vp2和vp3进行欧式聚类,得到b个聚类,即独立平面特征序列W={w1,w2,...,wb},其中a为精分割后独立边缘特征的数量,b为精分割后的独立平面特征的数量;
D)对E={e1,e2,...,ea}中每一个精分割后的独立边缘特征,选取独立边缘特征在水平地面的投影点作为表征边缘特征的拓扑节点,对包含n个边缘特征点的独立边缘特征PIe{{x1,y1,z1},{x2,y2,z2},...,{xn,yn,zn}},其对应的拓扑节点为
Figure FDA0003487563030000031
对W={w1,w2,...,wb}中每一个精分割后的独立平面特征,提取平面上包含所有平面特征点的最小矩形,投影到水平面上,将得到的有限线段的中点作为表征平面特征的拓扑节点;
对包含m个平面特征点的独立平面特征PIp{{x1,y1,z1},{x2,y2,z2},...,{xm,ym,zm}},将所有平面特征点投影到水平面,找到投影直线的边界点edge1(x1,y1)和edge2(x2,y2),对应的拓扑节点为
Figure FDA0003487563030000032
取点云簇特征序列中每一个特征元素的质心在水平地面的投影作为表征当前簇点云的拓扑节点,对包含k个边缘特征点的独立边缘特征PIc{{x1,y1,z1},{x2,y2,z2},...,{xk,yk,zk}},对应的拓扑节点为:
Figure FDA0003487563030000033
对每一个独立的边缘、平面、点云簇聚类都采用拓扑节点坐标计算方法进行计算,最终得到全局拓扑语义地图MG
5.根据权利要求1所述的移动机器人室内重定位方法,其特征在于,步骤S2中,将局部拓扑语义地图与全局几何-拓扑语义特征地图进行基于三角拓扑结构的相似度分析,根据相似度分析结果得到匹配的三角拓扑结构的具体实现过程包括:
a)从全局几何-拓扑语义特征地图MG{Sge,Sgp,Sgc}和局部拓扑语义地图ML{Sle,Slp,Slc}中提取相似的拓扑边,其中,设MG和ML中的拓扑边的长度差值小于第三阈值,则认为MG和ML相似;Sge为全局拓扑语义地图中由边缘特征构成的拓扑节点,Sgp为全局拓扑语义地图中由平面特征构成的拓扑节点,Sgc为全局拓扑语义地图中由点云簇特征构成的拓扑节点,Sle为局部拓扑语义地图中由边缘特征构成的拓扑节点;Slp为局部拓扑语义地图中由平面特征构成的拓扑节点,Slc为局部拓扑语义地图中由点云簇特征构成的拓扑节点;
b)对Sge中的拓扑节点按照该节点与地图中心连线与地图坐标系x轴所成夹角大小进行排序;
对Sle中的拓扑节点按照该节点与激光雷达坐标系原点连线与激光雷达坐标系x轴所成夹角大小进行排序;
c)计算排序后相邻节点对应的拓扑边的长度,合并MG和ML中的拓扑边集合,重新按照拓扑边的长度进行排序,将每条拓扑边长度与相邻的拓扑边长度做差,若拓扑边长度差值小于第四阈值,且两条拓扑边分别属于MG和ML,则认为找到两条相似的拓扑边,进而构建4个待验证的三角拓扑结构;
d)对平面特征拓扑节点和点云簇拓扑节点,进行步骤b)和步骤c)的操作,得到对应特征类下的三角拓扑结构。
6.根据权利要求5所述的移动机器人室内重定位方法,其特征在于,在相似的拓扑边中选取拓扑节点进行三角拓扑结对构建并完成拓扑语义特征的匹配的具体实现过程包括:
I)构建三角特征结构描述子Vtri{vtri1,vtri2},其中vtri1{len1,len2,len3}包含三角特征结构的边长信息,其中len1,len2,len3为三角特征结构的三边边长,
Figure FDA0003487563030000041
包含三角特征结构的方向信息,
Figure FDA0003487563030000042
为三角特征结构的三边的方向向量;
II)根据三角特征描述子对全局-几何拓扑语义地图与局部拓扑语义地图中的三角拓扑结构进行相似性分析,若排列组合得到的9个边长差中存在3个以上边长差小于第五阈值,排列组合得到的9个夹角中存在3个以上夹角小于第六阈值,则认为两个三角拓扑结构相似,匹配成功;
III)设存在一对匹配成功的三角拓扑结构Tri_g(tria,trib,tric),Tri_l(trid,trie,trif),其中Tri_g是全局拓扑语义地图中的三角拓扑结构,Tri_l是移动机器人位姿丢失位置的局部拓扑语义地图中的三角拓扑结构;若边长满足匹配关系:
Figure FDA0003487563030000043
则通过
Figure FDA0003487563030000051
得到拓扑节点tria对应拓扑节点trie,拓扑节点trib对应拓扑节点trif,拓扑节点c对应拓扑节点trid
IV)基于步骤I)~III)得到三类匹配的拓扑节点对,包括边缘拓扑节点对Me、平面拓扑节点对Mp以及点云簇拓扑节点对Mc,其中Me={{ge_node1,le_node1},{ge_node2,le_node2},...,{ge_nodex,le_nodex}},Mp={{gp_node1,lp_node1},{gp_node2,lp_node2},...,{gp_nodey,lp_nodey}},Mc={{gc_node1,lc_node1},{gc_node2,lc_node2},...,{gc_nodez,lc_nodez}},x、y、z分别是匹配成功的边缘、平面、点云簇拓扑节点数量。
7.根据权利要求2所述的移动机器人室内重定位方法,其特征在于,步骤S3的具体实现过程包括:
i)根据匹配的三角拓扑结构得到匹配好的拓扑节点对:
Figure FDA0003487563030000052
其中p1,p2,p3为全局几何-拓扑语义特征地图中某个拓扑三角结构中的拓扑节点,p′1,p′2,p′3为局部拓扑语义特征地图中某个拓扑三角结构中的拓扑节点;
构建最小二乘问题,最小二乘问题表示为:
Figure FDA0003487563030000053
n=3,R、t为使目标函数J取极小值时的旋转矩阵和平移向量,进而得到位姿变换关系T={R,t};
计算上述最小二乘问题,得到u组位姿变换关系Tsets={T1,T2,...,Tu},其中T1,T2,...,Tu分别由计算的对应组旋转矩阵和平移向量组成;
ii)对求得的u组位姿变换关系Tsets={T1,T2,...,Tu}进行基于变量(x,y,yaw)的欧式聚类,其中x为位姿变换中x方向上的平移量,y为位姿变换中y方向上的平移量,yaw为绕z轴的旋转角度,得到u′个聚类类别;
iii)对每个聚类类别进行置信度计算,其中聚类体积系数设为kv,聚类质量系数设为kq
iv)置信度分数最高的聚类包含q个匹配三角拓扑结构,基于三角拓扑结构推理得到q′对匹配拓扑节点,对所述q′对匹配拓扑节点中的边缘特征拓扑节点,求解已知节点匹配关系的非线性优化问题,将匹配的平面特征拓扑节点和点云簇拓扑节点作为位姿约束,得到重定位所需的粗变换Tvague={Rvague,tvague},其中Rvague为重定位粗定位位姿变换中的旋转矩阵,tvague为重定位粗定位位姿变换中的平移向量。
8.根据权利要求7所述的移动机器人室内重定位方法,其特征在于,步骤S4的具体实现过程包括:
根据置信度高的q′对匹配的拓扑节点,索引对应的q′对匹配的特征点云,设q′对匹配的特征点云中包含ne对匹配的边缘特征点云:
Figure FDA0003487563030000061
对第i对匹配的边缘特征点云{egi,eli}中eli的边缘特征点edgea,在egi中找到其最邻近的两个点edgeb、edgec,计算edgea到直线edgebedgec的距离d∈;
设q′对匹配的特征点云中包含np对匹配的平面特征点云:
Figure FDA0003487563030000062
对第r对匹配的平面特征点云{pgr,plr}中plr的边缘特征点planara,在pgi中找到其最邻近的三个点planarb、planarc、planard,计算planara到planarb、planarc、planard所在平面的距离dH;
构建最小二乘问题,求使目标函数达到极小的R′,t′:
Figure FDA0003487563030000063
其中
Figure FDA0003487563030000064
m1为eli中平面特征点数量;
Figure FDA0003487563030000065
其中m2为plr中平面特征点数量;
基于g2o库计算非线性优化问题,得到重定位过程所需的精确位姿变换Tacc={Racc,tacc},其中Racc=R′Rvague,tacc=R′tvague+t′。
9.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序;其特征在于,所述处理器执行所述计算机程序,以实现权利要求1~8之一所述方法的步骤。
10.一种计算机程序产品,包括计算机程序/指令;其特征在于,该计算机程序/指令被处理器执行时实现权利要求1~8之一所述方法的步骤。
CN202210085351.1A 2022-01-25 2022-01-25 移动机器人室内重定位方法、计算机装置及产品 Active CN114526739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085351.1A CN114526739B (zh) 2022-01-25 2022-01-25 移动机器人室内重定位方法、计算机装置及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085351.1A CN114526739B (zh) 2022-01-25 2022-01-25 移动机器人室内重定位方法、计算机装置及产品

Publications (2)

Publication Number Publication Date
CN114526739A true CN114526739A (zh) 2022-05-24
CN114526739B CN114526739B (zh) 2024-05-07

Family

ID=81622165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085351.1A Active CN114526739B (zh) 2022-01-25 2022-01-25 移动机器人室内重定位方法、计算机装置及产品

Country Status (1)

Country Link
CN (1) CN114526739B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187667A (zh) * 2022-09-08 2022-10-14 中国科学院合肥物质科学研究院 一种基于认知理解的大场景精准定位方法及系统
CN115446834A (zh) * 2022-09-01 2022-12-09 西南交通大学 一种基于占据栅格配准的车底巡检机器人单轴重定位方法
CN115619900A (zh) * 2022-12-16 2023-01-17 中国科学技术大学 基于距离地图和概率路图的点云地图拓扑结构提取方法
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN117213500A (zh) * 2023-11-08 2023-12-12 北京理工大学前沿技术研究院 基于动态点云与拓扑路网的机器人全局定位方法及系统
CN117537803A (zh) * 2024-01-10 2024-02-09 常熟理工学院 机器人巡检语义-拓扑地图构建方法、系统、设备及介质
CN117824667A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN117899487A (zh) * 2024-03-15 2024-04-19 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备、存储介质及程序产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008138002A1 (en) * 2007-05-08 2008-11-13 Laser-Scan, Inc. Three-dimensional topology building method and system
JP2011030168A (ja) * 2009-07-26 2011-02-10 Hiroki Nishino コンピュータ入力画像中のマーカ認識において幾何的情報および画像の特徴点およびパターン・マッチング手法とトポロジー情報を併用するマーカ認識手法
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
WO2020109516A1 (de) * 2018-11-30 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Systeme und verfahren für map matching
CN111415417A (zh) * 2020-04-14 2020-07-14 大连理工江苏研究院有限公司 一种集成稀疏点云的移动机器人拓扑经验地图构建方法
CN111998846A (zh) * 2020-07-24 2020-11-27 中山大学 基于环境几何与拓扑特征的无人系统快速重定位方法
KR20210036317A (ko) * 2020-06-04 2021-04-02 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 모바일 에지 컴퓨팅 기반의 시각적 위치 확정 방법 및 장치
US11002859B1 (en) * 2020-02-27 2021-05-11 Tsinghua University Intelligent vehicle positioning method based on feature point calibration
WO2021097618A1 (zh) * 2019-11-18 2021-05-27 深圳市大疆创新科技有限公司 点云分割方法、系统及计算机存储介质
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113780451A (zh) * 2021-09-16 2021-12-10 中南大学 时空大数据的时态数据内蕴模式聚类分析方法
CN116522548A (zh) * 2023-02-24 2023-08-01 中国人民解放军国防科技大学 一种基于三角拓扑结构的空地无人系统多目标关联方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008138002A1 (en) * 2007-05-08 2008-11-13 Laser-Scan, Inc. Three-dimensional topology building method and system
JP2011030168A (ja) * 2009-07-26 2011-02-10 Hiroki Nishino コンピュータ入力画像中のマーカ認識において幾何的情報および画像の特徴点およびパターン・マッチング手法とトポロジー情報を併用するマーカ認識手法
CN103268729A (zh) * 2013-05-22 2013-08-28 北京工业大学 基于混合特征的移动机器人级联式地图创建方法
US20180161986A1 (en) * 2016-12-12 2018-06-14 The Charles Stark Draper Laboratory, Inc. System and method for semantic simultaneous localization and mapping of static and dynamic objects
WO2019062291A1 (zh) * 2017-09-29 2019-04-04 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
WO2020109516A1 (de) * 2018-11-30 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Systeme und verfahren für map matching
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
WO2021097618A1 (zh) * 2019-11-18 2021-05-27 深圳市大疆创新科技有限公司 点云分割方法、系统及计算机存储介质
US11002859B1 (en) * 2020-02-27 2021-05-11 Tsinghua University Intelligent vehicle positioning method based on feature point calibration
CN111415417A (zh) * 2020-04-14 2020-07-14 大连理工江苏研究院有限公司 一种集成稀疏点云的移动机器人拓扑经验地图构建方法
KR20210036317A (ko) * 2020-06-04 2021-04-02 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 모바일 에지 컴퓨팅 기반의 시각적 위치 확정 방법 및 장치
CN111998846A (zh) * 2020-07-24 2020-11-27 中山大学 基于环境几何与拓扑特征的无人系统快速重定位方法
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113780451A (zh) * 2021-09-16 2021-12-10 中南大学 时空大数据的时态数据内蕴模式聚类分析方法
CN116522548A (zh) * 2023-02-24 2023-08-01 中国人民解放军国防科技大学 一种基于三角拓扑结构的空地无人系统多目标关联方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘助龙, 方先知, 廖苗等: "基于SURF算法的JPEG地质资料复制移动篡改检测", 中国有色金属学报, vol. 23, no. 9, 31 December 2013 (2013-12-31), pages 2712 - 2720 *
庄严, 徐晓东, 王伟: "移动机器人几何-拓扑混合地图的构建及自定位研究", 控制与决策, no. 07, 30 July 2005 (2005-07-30), pages 815 - 818 *
张勇;耿国华;: "基于拓扑关系和几何特征的图像匹配方法", 北京师范大学学报(自然科学版), no. 02, 15 April 2018 (2018-04-15), pages 198 - 202 *
邹雄;肖长诗;文元桥;元海文;: "基于特征点法和直接法VSLAM的研究", 计算机应用研究, no. 05, 31 December 2020 (2020-12-31), pages 1281 - 1291 *
钱其姝;胡以华;赵楠翔;李敏乐;邵福才;: "基于激光点云全局特征匹配处理的目标跟踪算法", 激光与光电子学进展, no. 06, 31 December 2020 (2020-12-31), pages 157 - 164 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115446834B (zh) * 2022-09-01 2024-05-28 西南交通大学 一种基于占据栅格配准的车底巡检机器人单轴重定位方法
CN115446834A (zh) * 2022-09-01 2022-12-09 西南交通大学 一种基于占据栅格配准的车底巡检机器人单轴重定位方法
CN115187667B (zh) * 2022-09-08 2022-12-20 中国科学院合肥物质科学研究院 一种基于认知理解的大场景精准定位方法及系统
CN115187667A (zh) * 2022-09-08 2022-10-14 中国科学院合肥物质科学研究院 一种基于认知理解的大场景精准定位方法及系统
CN115619900A (zh) * 2022-12-16 2023-01-17 中国科学技术大学 基于距离地图和概率路图的点云地图拓扑结构提取方法
CN115619900B (zh) * 2022-12-16 2023-03-10 中国科学技术大学 基于距离地图和概率路图的点云地图拓扑结构提取方法
CN115655262A (zh) * 2022-12-26 2023-01-31 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN117213500A (zh) * 2023-11-08 2023-12-12 北京理工大学前沿技术研究院 基于动态点云与拓扑路网的机器人全局定位方法及系统
CN117213500B (zh) * 2023-11-08 2024-02-13 北京理工大学前沿技术研究院 基于动态点云与拓扑路网的机器人全局定位方法及系统
CN117537803B (zh) * 2024-01-10 2024-04-02 常熟理工学院 机器人巡检语义-拓扑地图构建方法、系统、设备及介质
CN117537803A (zh) * 2024-01-10 2024-02-09 常熟理工学院 机器人巡检语义-拓扑地图构建方法、系统、设备及介质
CN117824667A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN117824667B (zh) * 2024-03-06 2024-05-10 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN117899487A (zh) * 2024-03-15 2024-04-19 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备、存储介质及程序产品
CN117899487B (zh) * 2024-03-15 2024-05-31 腾讯科技(深圳)有限公司 一种数据处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN114526739B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN114526739B (zh) 移动机器人室内重定位方法、计算机装置及产品
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
Pirker et al. CD SLAM-continuous localization and mapping in a dynamic world
Yu et al. Robust robot pose estimation for challenging scenes with an RGB-D camera
Ardeshir et al. Geo-semantic segmentation
Qin et al. Semantic loop closure detection based on graph matching in multi-objects scenes
CN111145228A (zh) 基于局部轮廓点与形状特征融合的异源图像配准方法
CN111915517B (zh) 适用于室内光照不利环境下rgb-d相机全局定位方法
Wei et al. Automatic coarse registration of point clouds using plane contour shape descriptor and topological graph voting
CN114088081B (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
CN113269094A (zh) 基于特征提取算法和关键帧的激光slam系统及方法
CN113192174A (zh) 建图方法、装置及计算机存储介质
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
Zhu et al. A review of 6d object pose estimation
Zhu et al. Indoor multi-robot cooperative mapping based on geometric features
Zhang et al. Structure-aware SLAM with planes and lines in man-made environment
Yan et al. Sparse semantic map building and relocalization for UGV using 3D point clouds in outdoor environments
CN109508674B (zh) 基于区域划分的机载下视异构图像匹配方法
Lu et al. A lightweight real-time 3D LiDAR SLAM for autonomous vehicles in large-scale urban environment
Wang et al. Multidimensional particle swarm optimization-based unsupervised planar segmentation algorithm of unorganized point clouds
Zhou et al. Place recognition and navigation of outdoor mobile robots based on random Forest learning with a 3D LiDAR
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
JP6761388B2 (ja) 推定装置及びプログラム
Gu et al. A spatial alignment method for UAV LiDAR strip adjustment in nonurban scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant