CN112925322A - 一种长期场景下无人车的自主定位方法 - Google Patents
一种长期场景下无人车的自主定位方法 Download PDFInfo
- Publication number
- CN112925322A CN112925322A CN202110103067.8A CN202110103067A CN112925322A CN 112925322 A CN112925322 A CN 112925322A CN 202110103067 A CN202110103067 A CN 202110103067A CN 112925322 A CN112925322 A CN 112925322A
- Authority
- CN
- China
- Prior art keywords
- semantic
- clustering
- map
- global
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007774 longterm Effects 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003068 static effect Effects 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000008859 change Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 6
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种长期场景下无人车的自主定位方法,包括以下步骤:S1:语义聚类提取;S2:语义聚类地图创建;S3:长期重定位;S4:长期定位。本发明取得的有益效果:本方法面向城市长期变化的环境,创建了与真实场景尺度一致的语义聚类地图,同时设计语义聚类的匹配算法,完成无人车在城市环境中的可靠长期重定位;直接从三维点云中提取环境中的鲁棒静态物体,对环境变化不敏感;语义聚类提取和语义聚类地图构建过程会剔除识别的动态物体,不受动态物体的影响;使用实时重定位位姿来校正里程计漂移,定位不需要维护高精度点云地图;语义聚类地图轻量化,计算速度较快。
Description
技术领域
本发明涉及机器人定位的技术领域,具体涉及一种长期场景下无人车的自主定位方法。
背景技术
SLAM技术,中文译作“同时定位与地图构建”,它能够在未知环境中为无人车提供位置和地图信息,就像人的感知系统一样,解决无人车定位问题最常见的方式就是利用SLAM技术预先创建好地图,然后无人车在运动过程中利用自身携带的传感器,比如相机、雷达在环境中的观测数据和先验地图进行匹配,解算出当前无人车的在地图中的位置,这种基于先验地图进行无人车定位的主要缺点就是当再次进入已经建立地图的环境中时,由于环境变化导致当前无人车上自身传感器所观测到的环境和先验地图产生不一致,导致定位的失败,也称之为地图过期,在城市环境下,环境的变化有以下四种情况:(1)动态物体的运动导致建立地图中包含运动物体的拖影;(2)短期静态物体的位置改变,比如地图创建过程中道路两旁有大量停泊的车辆,但是下次再来到同样的地点时,停泊的车已经开走;(3)长期静态物体的外观改变,比如树叶随着季节的改变而生长掉落;(4)每一天的不同时段,光照,天气的变化,前三点会对以三维激光雷达为主的传感器创建地图的一致性造成影响,以上四点都会对以相机为主的传感器创建地图的一致性造成影响,所以依赖这种先构建地图,后定位的方式大多应用在运行时间短,并且工作区域满足环境静态假设的条件,然而到了无人车这种长期定位场景,这种方式可能就不再适用,因为由于真实环境的变化,预先创建的地图可能在定位期间已经过期,甚至进行地图创建期间就已经过期。
现有技术CN108896050A公开了一种基于激光传感器的移动机器人长期定位系统及方法,该发明提供了一种基于激光传感器的移动机器人长期定位系统及方法,系统包括:长期系统模块,通过历史数据和当前观测数据建立地图栅格的动态因子,区分动态障碍物和半动态障碍物在地图更新中的影响;地图更新模块,通过激光传感器的观测信息与地图环境特征建立匹配度,结合地图信息定位能力衡量地图不同位置处观测信息可信度来建立地图更新机制,将其作为动态栅格地图更新的触发条件,并采用动态栅格模型进行状态更新;定位模块,对未更新到地图中的动态障碍物采用动态定位能力衡量动态因素对定位影响,通过修正粒子建议分布函数降低动态障碍物对定位干扰,虽然该方法在动态环境下通过长期信息和观测信息实时更新先验地图,保证长期作业下的定位精度,但是长期定位问题包括两个方面,一是长期重定位:无人车重新进入到当前环境完成定位初始化的过程;而是长期定位:重定位完成之后,无人车在环境中持续定位的过程;该发明并没有解决长期重定位的问题,而且该发明的定位是建立在持续更新地图的基础上,不仅计算量大,还存在错误更新的隐患。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种长期场景下无人车的自主定位方法,其包括S1:语义聚类提取;S2:语义聚类地图创建;S3:长期重定位;S4:长期定位;该长期场景下无人车的自主定位方法具有对环境变化不敏感、不受动态物体的影响、定位不需要维护高精度点云地图及计算速度快的优点。
为实现上述发明目的,本发明采取的技术方案如下:
一种长期场景下无人车的自主定位方法,包括以下步骤:
S1:语义聚类提取:通过深度学习技术获取语义点云的语义标签,同时将语义点云进行分割聚类,通过聚类筛选得到环境中鲁棒静态物体的语义聚类;
S2:语义聚类地图创建:利用激光里程计输出的六自由度位姿,将鲁棒静态物体的语义聚类注册到全局语义聚类地图中;
S3:长期重定位:当无人车重新进入已建立全局语义聚类地图的环境中时,将无人车获取的局部语义聚类地图和全局语义聚类地图进行匹配;
S4:长期定位:局部语义聚类地图与全局语义聚类地图持续地进行匹配,校正激光里程计的漂移。
作为优选,鲁棒静态物体包括树干和杆子。
作为优选,步骤S1包括:
S1.1:激光雷达扫描获得当前环境的激光点云,采用RangeNet++网络用于获取激光点云的语义,得到语义点云,并将语义点云通过语义标签进行分类;
S1.2:采用基于深度图的语义分割算法获取树干和杆子的语义聚类。
作为优选,在步骤S2包括:
S2.1:检测当前位置的鲁棒静态物体在同一位置被观测的次数,若当前位置的鲁棒静态物体在同一位置被观测的次数超过设定值时,进入S2.2;
S2.2:若全局语义聚类地图中不存在当前位置的鲁棒静态物体的语义聚类时,进入S2.3,:若全局语义聚类地图中已存在当前位置的鲁棒静态物体的语义聚类时,进入S2.4;
S2.3:将当前位置的鲁棒静态物体的语义聚类加入到全局语义聚类地图中;
S2.4:检测全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数,若全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数超过设定值时,进入S2.5,否则进入S2.6;
S2.5:当前位置的鲁棒静态物体的语义聚类仅增加被观测的次数,而不将当前位置的鲁棒静态物体合并在全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中;
S2.6:将当前位置的鲁棒静态物体的语义聚类合并到全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中。
作为优选,步骤S2还包括步骤S2.1:
将全局语义聚类地图中语义聚类的中心点投影到X-Y平面上,形成二维的全局语义聚类地图。
作为优选,步骤S3包括:
S3.1:语义聚类匹配:以当前语义聚类为中心,半径为R的领域范围内的语义聚类为当前语义聚类的邻居语义聚类,计算当前语义聚类与邻居语义聚类的位置关系和角度关系来描述几何关系,判断在局部语义聚类地图与全局语义聚类地图的当前语义聚类是否匹配,获得粗糙的匹配对;
S3.2:几何一致性验证:任取两对语义聚类匹配对ci,cj,若局部语义聚类地图与全局语义聚类地图中的聚类质心之间的欧式距离之差小于设定的阔值,则ci,cj满足几何一致性,在语义聚类匹配对找到所有满足几何一致性的匹配对,获得精确的匹配对;
S3.3:重定位位姿计算:利用精准的匹配对进行重定位位姿的计算。
作为优选,步骤S3.1包括:
S3.1.1:将局部语义聚类地图及全局语义聚类地图分别定义为局部语义聚类地图及全局语义聚类地图中的语义聚类分别定义为假设局部语义聚类地图及全局语义聚类地图分别包含ns、nt个语义聚类,则局部语义聚类地图及全局语义聚类地图分别记为:
将局部语义聚类地图中的任意一个语义聚类与全局语义聚类地图中的任意一个语义聚类进行匹配,在局部语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作在全局语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作假设的邻居语义聚类个数分别为ks、kt个,则的邻居语义聚类分别记为:
S3.1.2:与中的每一个语义聚类构成一条边,这些边构成一个集合,称为局部聚类边集合,记作与中的每一个语义聚类构成一条边,这些边构成一个集合,称为全局聚类边集合,记作则局部聚类边集合及全局聚类边集合分别记为:
S3.1.3:在中任意取一条边在中找到n条与的长度之差小于设定值的候选边,定义为在的n条侯选边,计算与每一条侯选边之间的距离,定位为任意一个侯选边对,该侯选边对的距离记做候选边对的距离定义为两个边的子边集合中成功匹配子边对的距离的均值,定义在中除了之外的其他边称为的子边集合在中除了之外的其他边称为的子边集合则分别记为:
描述中的任意一条子边为一个1×2的向量,分别是该子边子边的长度和该子边与构成的逆时针夹角子边记作描述中的任何一条子边为一个1×2的向量,分别是该子边的长度和该子边与构成的逆时针夹角子边记作两条子边向量的距离记作
其中,Nse表示最小的子边成功匹配的对数;
作为优选,在步骤S3.2中,把每一个语义聚类匹配对ci当成图的顶点,把任意两个不同语义聚类匹配对(ci,cj)之间的连线当成图的边,将成对的几何一致性关系构建成一个无向图G=(V,E),其中顶点V={ci}是匹配对ci的集合,边E={eij}是连接所有一致的匹配对(ci,cj),识别最大几何一致性集合。
作为优选,步骤S3.3包括:
S3.3.1:提取语义聚类匹配对的三维中心点对,使用RANSAC算法进行异常匹配的滤除;
S3.3.2:将滤除后剩余的语义聚类匹配对对应的三维中心点分别提取到局部聚类地图中心点云Ps和全局聚类地图中心点云Pt,利用三维中心点点云使用迭代最近点算法计算出局部聚类地图到全局聚类地图的粗坐标变换矩阵表达为:
其中,k表示语义聚类配配对的个数,完成长期重定位。
作为优选,步骤S4中,定位定义{W}为世界坐标系,{L}为激光雷达坐标系,当无人车在语义聚类地图中长期重定位成功之后需要持续进行长期重定位线程,系统将稳定输出一个全局定位结果,记k时刻全局定位结果为激光里程计自k时刻到下一个全局位姿计算出来之前的k+n时刻输出的连续n帧间位姿记为:
这期间三维激光雷达的全局位姿估计公式为:
从而利用长期重定位的实时定位结果纠正激光里程计的漂移。
相对于现有技术,本发明取得了有益的技术效果:
本方法面向城市长期变化的环境,创建了与真实场景尺度一致的语义聚类地图,同时设计语义聚类的匹配算法,完成无人车在城市环境中的可靠长期重定位;直接从三维点云中提取环境中的鲁棒静态物体,对环境变化不敏感;语义聚类提取和语义聚类地图构建过程会剔除识别的动态物体,不受动态物体的影响;使用实时重定位位姿来校正里程计漂移,定位不需要维护高精度点云地图;语义聚类地图轻量化,计算速度较快。
附图说明
图1是本发明实施例系统框架的示意图;
图2是本发明实施例RangeNet++输出语义点云效果的示意图;
图3是本发明实施例语义点云经语义分割并筛选后的语义聚类示意图;
图4是本发明实施例构建的地图对比传统方法构建的地图的示意图;
图5是本发明实施例构建的全局语义聚类地图的示意图;
图6是本发明实施例将图5简化为二维的全局语义聚类地图的示意图;
图7是本发明实施例语义聚类匹配原理的示意图;
图8是本发明实施例几何一致性原理的示意图;、
图9是本发明实施例长期重定位的示意图;
图10是本发明实施例长期定位原理的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例对本发明进行进一步详细说明,但本发明要求保护的范围并不局限于下述具体实施例。
参考图1-10,本实施例公开了一种长期场景下无人车的自主定位方法,包括以下步骤:
S1:语义聚类提取:通过深度学习技术获取语义点云的语义标签,同时将语义点云进行分割聚类,通过聚类筛选得到环境中鲁棒静态物体的语义聚类;
S2:语义聚类地图创建:利用激光里程计输出的六自由度位姿,将鲁棒静态物体的语义聚类注册到全局语义聚类地图中;
S3:长期重定位:当无人车重新进入已建立全局语义聚类地图的环境中时,将无人车获取的局部语义聚类地图和全局语义聚类地图进行匹配;
S4:长期定位:局部语义聚类地图与全局语义聚类地图持续地进行匹配,校正激光里程计的漂移。
鲁棒静态物体包括树干和杆子,杆状物体作为路灯、交通标志、柱子、树干一部分出现,它们在城市地区无处不在,在季节和天气变化下长期稳定不变,由于它们的几何形状也很明确,杆状物体非常适合作为地标,从而实现准确可靠的长期重定位,本实施例中,使用树干和杆子作为鲁棒静态物体,来构建能够在长期场景下用于无人车重定位和定位的语义聚类地图。
步骤S1包括:
S1.1:激光雷达扫描获得当前环境的激光点云,采用RangeNet++网络用于获取激光点云的语义,得到语义点云,并将语义点云通过语义标签进行分类;
S1.2:采用基于深度图的语义分割算法获取树干和杆子的语义聚类。
语义分割过于依赖大量的标注数据,即语义标签,费时费力,此外,泛化能力差,换一个传感器或者换一个场景都需要重新标注或训练,本实施例的自主定位方法不依赖完美语义分割,只需要少量的标注数据即可进行语义分割,只需要标注地面和杆状物体,杆状物体包括路灯、树干和杆子,使用少量的标注数据训练后,RangeNet++输出语义点云效果如图2所述,由于语义分割是不完美的,采用语义分割算法获取树干和杆子的语义聚类时需要增加一个杆状物体的几何条件:高度方向要大于0.5m;直径要小于0.6m,来筛选出树干和杆子的语义聚类,如图3所述,深色的表示当前帧语义点云经过语义分割并筛选后提取的树干和杆子的语义聚类。
在步骤S2包括:
S2.1:检测当前位置的鲁棒静态物体在同一位置被观测的次数,若当前位置的鲁棒静态物体在同一位置被观测的次数超过设定值时,进入S2.2;
S2.2:若全局语义聚类地图中不存在当前位置的鲁棒静态物体的语义聚类时,进入S2.3,:若全局语义聚类地图中已存在当前位置的鲁棒静态物体的语义聚类时,进入S2.4;
S2.3:将当前位置的鲁棒静态物体的语义聚类加入到全局语义聚类地图中;
S2.4:检测全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数,若全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数超过设定值时,进入S2.5,否则进入S2.6;
S2.5:当前位置的鲁棒静态物体的语义聚类仅增加被观测的次数,而不将当前位置的鲁棒静态物体合并在全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中;
S2.6:将当前位置的鲁棒静态物体的语义聚类合并到全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中。
本实施例的自主定位方法构建的全局聚类地图解决了传统方法的两个问题:一是解决了语义分割将部分移动的人分成杆子的问题;二是解决了注册语义聚类的位姿不准确导致全局语义聚类地图一致性差的问题,如图4所述,左图为传统方法构建的全局语义聚类地图,右图为本实施例构建的全局语义聚类地图,从图中可以看出,传统方法构建的全局语义聚类地图中的杆状物体粗大,与实际不符本实施例构建的全局语义聚类地图中杆状物体瘦长,符合实际情况,最终构建的全局语义聚类地图如图5所述。
步骤S2还包括步骤S2.1:
将全局语义聚类地图中语义聚类的中心点投影到X-Y平面上,形成二维的全局语义聚类地图,从而将三维的全局语义聚类地图进行简化,如图6所述,每个点表示一个语义聚类的二维中心点,便于后续的计算,从而提高计算速度。
当无人车重新进入当前已建立全局语义聚类地图的环境中时,进行定位初始化工作,本实施例的重定位是让无人车先任意行走一段路程,在行走的过程中建立局部语义聚类地图,然后将当前的局部语义聚类地图和全局语义聚类地图中的语义聚类进行匹配,最终用这些匹配的语义聚类计算出当前局部语义聚类地图与全局语义聚类地图的位姿变换,从而完成重定位。
步骤S3包括:
S3.1:语义聚类匹配:以当前语义聚类为中心,半径为R的领域范围内的语义聚类为当前语义聚类的邻居语义聚类,计算当前语义聚类与邻居语义聚类的位置关系和角度关系来描述几何关系,判断在局部语义聚类地图与全局语义聚类地图的当前语义聚类是否匹配,获得粗糙的匹配对,考虑到采用的语义聚类为树干和杆子,这两类物体在X-Y平面上的几何位置分布可区分性比较大,在Z方向上基本没有区分性,而且为了减小匹配的计算量,语义聚类与邻居语义聚类的几何关系都是基于X-Y平面进行计算;
S3.2:几何一致性验证:任取两对语义聚类匹配对ci,cj,若这两对语义聚类匹配对在局部语义聚类地图与全局语义聚类地图中聚类质心之间的欧式距离之差小于设定的阔值,聚类质心指的是匹配对的语义聚类的质心,则ci,cj满足几何一致性,在语义聚类匹配对找到所有满足几何一致性的匹配对,获得精确的匹配对,满足几何一致性的语义聚类匹配对ci,cj在局部语义聚类地图及全局语义聚类地图上应当是几乎重合的,为了方便显示,不至于重叠起来密密麻麻,图8中将局部语义聚类地图进行了平移,如图8所述,满足几何一致性表示为:
|ds(ci,cj)-dt(ci,cj)|≤∈
其中,ds(ci,cj)表示在局部语义聚类地图中两对匹配对的语义聚类的质心的欧式距离,dt(ci,cj)表示在全局语义聚类地图中两对匹配对的语义聚类的质心的欧式距离,∈表示满足几何一致性的最大允许欧氏距离差,本实施例中,∈设定为0.4m;
S3.3:重定位位姿计算:利用精准的匹配对进行重定位位姿的计算。
步骤S3.1包括:
S3.1.1:将局部语义聚类地图及全局语义聚类地图分别定义为局部语义聚类地图及全局语义聚类地图中的语义聚类分别定义为假设局部语义聚类地图及全局语义聚类地图分别包含ns、nt个语义聚类,则局部语义聚类地图及全局语义聚类地图分别记为:
将局部语义聚类地图中的任意一个语义聚类与全局语义聚类地图中的任意一个语义聚类进行匹配,在局部语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作在全局语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作假设的邻居语义聚类个数分别为ks、kt个,则的邻居语义聚类分别记为:
S3.1.2:与中的每一个语义聚类构成一条边,这些边构成一个集合,称为局部聚类边集合,记作与中的每一个语义聚类构成一条边,这些边构成一个集合,称为全局聚类边集合,记作则局部聚类边集合及全局聚类边集合分别记为:
语义聚类匹配的核心思想是:他们的语义标签应当是相同的,而且它们应当有足够多的边可以成功匹配,设置最小匹配边对数Ne为5,依据这个核心思想,语义聚类的匹配问题就转化为语义聚类与其邻居构成的边集合中边的匹配,若可以在及中能够找到不少于Ne对匹配边,那么和是成功匹配的,否则不匹配。
S3.1.3:在中任意取一条边在中找到n条与的长度之差小于设定值的候选边,图7右图中的粗虚线表示的侯选边,定义为在的n条侯选边,n是一个常数,设定为5,n设定数值越大,候选边对越多,计算量越大,n设定数值越小,候选边对越少,但候选边对容易错误匹配,计算与每一条侯选边之间的距离,定位为任意一个侯选边对,该侯选边对的距离记做候选边对的距离定义为两个边的子边集合中成功匹配子边对的距离的均值,所以如果想要计算候选边对的距离,应当在两个子边集合中先进行子边的匹配,找到所有的子边匹配对,然后计算子边匹配对的距离,最后计算候选边对的距离,定义在中除了之外的其他边称为的子边集合在中除了之外的其他边称为的子边集合则分别记为:
如图7中细实线表示子边,描述中的任意一条子边为一个1×2的向量,分别是该子边子边的长度和该子边与构成的逆时针夹角子边记作描述中的任何一条子边为一个1×2的向量,分别是该子边的长度和该子边与构成的逆时针夹角子边记作两条子边向量的距离记作
仅仅使用语义聚类匹配算法得到的语义聚类匹配对并不是完全准确的,称之为粗糙匹配对,本实施例中,使用几何一致性方法来剔除错误的匹配对,最后得出精确的匹配对,为了在所有的语义聚类匹配对中找到符合几何一致性条件的所有精确的匹配对,首先将其建模成一个图模型,然后使用图模型中最大团问题思路进行求解,最大团问题指的是在一个图中找到一个子团,这个子团中任意两个顶点都是存在边连接的,那个符合这个条件的最大子团就成为最大团,在步骤S3.2中,把每一对语义聚类匹配对ci当成图的顶点,把任意两个不同语义聚类匹配对(ci,cj)之间的连线当成图的边,将成对的几何一致性关系构建成一个无向图G=(V,E),其中顶点V={ci}是匹配对ci的集合,边E={eij}是连接所有一致的匹配对(ci,cj),识别最大几何一致性集合,识别最大几何一致性集合相当于找到最大团,这是因为最大几何一致性集合里面的任意两对匹配对都会满足几何一致性条件,也即使符合图模型中的最大团概念,因而,这个最大几何一致性集合对应的图就是最大团。
通过几何一致性验证算法,剔除了错误的匹配对,获得了精确的语义聚类匹配对,接下来利用这些语义聚类匹配对进行重定位位姿的计算。
步骤S3.3包括:
S3.3.1:提取语义聚类匹配对的三维中心点对,使用RANSAC算法进行异常匹配的滤除;
S3.3.2:将滤除后剩余的语义聚类匹配对对应的三维中心点分别提取到局部语义聚类地图中心点云Ps和全局语义聚类地图中心点云Pt,利用三维中心点点云使用迭代最近点(ICP)算法计算出局部聚类地图到全局聚类地图的粗坐标变换矩阵表达为:
其中,k表示语义聚类配配对的个数,完成长期重定位,如图9所述,完成长期重定位后,语义聚类匹配对在局部语义聚类地图及全局语义聚类地图应当是几乎重合的,为了方便显示,不至于重叠起来秘密麻麻,图9中将全局语义聚类地图向下进行了平移,图9中连线的代表是成功的语义聚类匹配对。
长期定位原理图如图10所述,利用长期重定位稳定输出的5Hz全局定位结果,来实时校正激光里程计长时间工作的累计漂移,由于激光里程计在短时间(0.5s)内的位姿估计是准确的,只要长期重定位的定位精度足够好,就能够利用两者结合的方式对无人车进行持续的长期定位。
步骤S4中,定位定义{W}为世界坐标系,{L}为激光雷达坐标系,为了能够纠正激光里程计长时间运行的漂移,当无人车在语义聚类地图中长期重定位成功之后需要持续进行长期重定位线程,系统将稳定输出一个5Hz全局定位结果,记k时刻全局定位结果为激光里程计自k时刻到下一个全局位姿计算出来之前的k+n时刻输出的连续n帧间位姿记为:
这期间三维激光雷达的全局位姿估计公式为:
从而利用长期重定位的实时定位结果纠正激光里程计的漂移。
本方法面向城市长期变化的环境,创建了与真实场景尺度一致的语义聚类地图,同时设计语义聚类的匹配算法,完成无人车在城市环境中的可靠长期重定位;直接从三维点云中提取环境中的鲁棒静态物体,对环境变化不敏感;语义聚类提取和语义聚类地图构建过程会剔除识别的动态物体,不受动态物体的影响;使用实时重定位位姿来校正里程计漂移,定位不需要维护高精度点云地图;语义聚类地图轻量化,计算速度较快。
根据上述说明书的揭示和教导,本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本发明并不局限于上面揭示和描述的具体实施方式,对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对发明构成任何限制。
Claims (10)
1.一种长期场景下无人车的自主定位方法,其特征在于,包括以下步骤:
S1:语义聚类提取:通过深度学习技术获取语义点云的语义标签,同时将语义点云进行分割聚类,通过聚类筛选得到环境中鲁棒静态物体的语义聚类;
S2:语义聚类地图创建:利用激光里程计输出的六自由度位姿,将鲁棒静态物体的语义聚类注册到全局语义聚类地图中;
S3:长期重定位:当无人车重新进入已建立全局语义聚类地图的环境中时,将无人车获取的局部语义聚类地图和全局语义聚类地图进行匹配;
S4:长期定位:局部语义聚类地图与全局语义聚类地图持续地进行匹配,校正激光里程计的漂移。
2.根据权利要求1所述的自主定位方法,其特征在于,鲁棒静态物体包括树干和杆子。
3.根据权利要求2所述的自主定位方法,其特征在于,步骤S1包括:
S1.1:激光雷达扫描获得当前环境的激光点云,采用RangeNet++网络用于获取激光点云的语义,得到语义点云,并将语义点云通过语义标签进行分类;
S1.2:采用基于深度图的语义分割算法获取树干和杆子的语义聚类。
4.根据权利要求1所述的自主定位方法,其特征在于,在步骤S2包括:
S2.1:检测当前位置的鲁棒静态物体在同一位置被观测的次数,若当前位置的鲁棒静态物体在同一位置被观测的次数超过设定值时,进入S2.2;
S2.2:若全局语义聚类地图中不存在当前位置的鲁棒静态物体的语义聚类时,进入S2.3,:若全局语义聚类地图中已存在当前位置的鲁棒静态物体的语义聚类时,进入S2.4;
S2.3:将当前位置的鲁棒静态物体的语义聚类加入到全局语义聚类地图中;
S2.4:检测全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数,若全局语义聚类地图中当前位置的鲁棒静态物体的语义聚类被注册的次数超过设定值时,进入S2.5,否则进入S2.6;
S2.5:当前位置的鲁棒静态物体的语义聚类仅增加被观测的次数,而不将当前位置的鲁棒静态物体合并在全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中;
S2.6:将当前位置的鲁棒静态物体的语义聚类合并到全局语义聚类地图已存在当前位置的鲁棒静态物体的语义聚类中。
5.根据权利要求4所述的自主定位方法,其特征在于,步骤S2还包括步骤S2.1:
将全局语义聚类地图中语义聚类的中心点投影到X-Y平面上,形成二维的全局语义聚类地图。
6.根据权利要求5所述的自主定位方法,其特征在于,步骤S3包括:
S3.1:语义聚类匹配:以当前语义聚类为中心,半径为R的领域范围内的语义聚类为当前语义聚类的邻居语义聚类,计算当前语义聚类与邻居语义聚类的位置关系和角度关系来描述几何关系,判断在局部语义聚类地图与全局语义聚类地图的当前语义聚类是否匹配,获得粗糙的匹配对;
S3.2:几何一致性验证:任取两对语义聚类匹配对ci,cj,若局部语义聚类地图与全局语义聚类地图中的聚类质心之间的欧式距离之差小于设定的阔值,则ci,cj满足几何一致性,在语义聚类匹配对找到所有满足几何一致性的匹配对,获得精确的匹配对;
S3.3:重定位位姿计算:利用精准的匹配对进行重定位位姿的计算。
7.根据权利要求6所述的自主定位方法,其特征在于,步骤S3.1包括:
S3.1.1:将局部语义聚类地图及全局语义聚类地图分别定义为局部语义聚类地图及全局语义聚类地图中的语义聚类分别定义为假设局部语义聚类地图及全局语义聚类地图分别包含ns、nt个语义聚类,则局部语义聚类地图及全局语义聚类地图分别记为:
将局部语义聚类地图中的任意一个语义聚类与全局语义聚类地图中的任意一个语义聚类进行匹配,在局部语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作在全局语义聚类地图中,以为中心,R为搜索半径,搜索除以外的所有语义聚类,称为的邻居语义聚类,记作假设的邻居语义聚类个数分别为ks、kt个,则的邻居语义聚类分别记为:
S3.1.2:与中的每一个语义聚类构成一条边,这些边构成一个集合,称为局部聚类边集合,记作与中的每一个语义聚类构成一条边,这些边构成一个集合,称为全局聚类边集合,记作则局部聚类边集合及全局聚类边集合分别记为:
S3.1.3:在中任意取一条边在中找到n条与的长度之差小于设定值的候选边,定义为在的n条侯选边,计算与每一条侯选边之间的距离,定位为任意一个侯选边对,该侯选边对的距离记做候选边对的距离定义为两个边的子边集合中成功匹配子边对的距离的均值,定义在中除了之外的其他边称为的子边集合在中除了之外的其他边称为的子边集合则分别记为:
描述中的任意一条子边为一个1×2的向量,分别是该子边子边的长度和该子边与构成的逆时针夹角子边记作描述中的任何一条子边为一个1×2的向量,分别是该子边的长度和该子边与构成的逆时针夹角子边记作两条子边向量的距离记作
其中,Nse表示最小的子边成功匹配的对数;
8.根据权利要求6所述的自主定位方法,其特征在于,在步骤S3.2中,把每一个语义聚类匹配对ci当成图的顶点,把任意两个不同语义聚类匹配对(ci,cj)之间的连线当成图的边,将成对的几何一致性关系构建成一个无向图G=(V,E),其中顶点V={ci}是匹配对ci的集合,边E={eij}是连接所有一致的匹配对(ci,cj),识别最大几何一致性集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103067.8A CN112925322B (zh) | 2021-01-26 | 2021-01-26 | 一种长期场景下无人车的自主定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103067.8A CN112925322B (zh) | 2021-01-26 | 2021-01-26 | 一种长期场景下无人车的自主定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112925322A true CN112925322A (zh) | 2021-06-08 |
CN112925322B CN112925322B (zh) | 2023-01-13 |
Family
ID=76166228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110103067.8A Active CN112925322B (zh) | 2021-01-26 | 2021-01-26 | 一种长期场景下无人车的自主定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925322B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116295354A (zh) * | 2023-03-24 | 2023-06-23 | 之江实验室 | 一种无人车主动全局定位方法和系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109895100A (zh) * | 2019-03-29 | 2019-06-18 | 深兰科技(上海)有限公司 | 一种导航地图的生成方法、装置及机器人 |
CN110084272A (zh) * | 2019-03-26 | 2019-08-02 | 哈尔滨工业大学(深圳) | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 |
CN110147095A (zh) * | 2019-03-15 | 2019-08-20 | 广东工业大学 | 基于路标信息与多传感器数据融合的机器人重定位方法 |
CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
CN111798475A (zh) * | 2020-05-29 | 2020-10-20 | 浙江工业大学 | 一种基于点云深度学习的室内环境3d语义地图构建方法 |
CN111814683A (zh) * | 2020-07-09 | 2020-10-23 | 北京航空航天大学 | 一种基于语义先验和深度学习特征的鲁棒视觉slam方法 |
CN111929699A (zh) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统 |
CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
-
2021
- 2021-01-26 CN CN202110103067.8A patent/CN112925322B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147095A (zh) * | 2019-03-15 | 2019-08-20 | 广东工业大学 | 基于路标信息与多传感器数据融合的机器人重定位方法 |
CN110084272A (zh) * | 2019-03-26 | 2019-08-02 | 哈尔滨工业大学(深圳) | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 |
CN109895100A (zh) * | 2019-03-29 | 2019-06-18 | 深兰科技(上海)有限公司 | 一种导航地图的生成方法、装置及机器人 |
CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
CN111798475A (zh) * | 2020-05-29 | 2020-10-20 | 浙江工业大学 | 一种基于点云深度学习的室内环境3d语义地图构建方法 |
CN111814683A (zh) * | 2020-07-09 | 2020-10-23 | 北京航空航天大学 | 一种基于语义先验和深度学习特征的鲁棒视觉slam方法 |
CN111929699A (zh) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统 |
CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
Non-Patent Citations (2)
Title |
---|
ZHICHEN PAN ETAL: "ClusterMap Building and Relocalization in Urban", 《SENSORS》, 30 September 2019 (2019-09-30), pages 1 - 22 * |
潘志琛: "城市环境中的聚类地图创建与无人车重定位方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》, no. 2, 15 February 2020 (2020-02-15), pages 035 - 368 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116295354A (zh) * | 2023-03-24 | 2023-06-23 | 之江实验室 | 一种无人车主动全局定位方法和系统 |
CN116295354B (zh) * | 2023-03-24 | 2023-09-29 | 之江实验室 | 一种无人车主动全局定位方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112925322B (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
CN110084272B (zh) | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 | |
Yang et al. | Computing multiple aggregation levels and contextual features for road facilities recognition using mobile laser scanning data | |
CN108802785B (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
CN109345574B (zh) | 基于语义点云配准的激光雷达三维建图方法 | |
CN108171131B (zh) | 基于改进MeanShift的Lidar点云数据道路标识线提取方法 | |
JP2019527832A (ja) | 正確な位置特定およびマッピングのためのシステムおよび方法 | |
CN109584302B (zh) | 相机位姿优化方法、装置、电子设备和计算机可读介质 | |
CN109631855A (zh) | 基于orb-slam的高精度车辆定位方法 | |
KR20220053513A (ko) | 이미지 데이터 자동 라벨링 방법 및 장치 | |
CN111080659A (zh) | 一种基于视觉信息的环境语义感知方法 | |
CN109270544A (zh) | 基于杆状物识别的移动机器人自定位系统 | |
CN111060924B (zh) | 一种slam与目标跟踪方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
CN108428254A (zh) | 三维地图的构建方法及装置 | |
CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
Liu et al. | Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
WO2023060632A1 (zh) | 基于点云数据的街景地物多维度提取方法和系统 | |
CN116597122A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
CN112925322B (zh) | 一种长期场景下无人车的自主定位方法 | |
CN114509065A (zh) | 地图构建方法、系统、车辆终端、服务器端及存储介质 | |
Liao et al. | Se-calib: Semantic edges based lidar-camera boresight online calibration in urban scenes | |
CN113487631A (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 | |
CN117053779A (zh) | 一种基于冗余关键帧去除的紧耦合激光slam方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |