CN115597585A - 一种机器人定位方法、装置、设备及存储介质 - Google Patents
一种机器人定位方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115597585A CN115597585A CN202211616723.5A CN202211616723A CN115597585A CN 115597585 A CN115597585 A CN 115597585A CN 202211616723 A CN202211616723 A CN 202211616723A CN 115597585 A CN115597585 A CN 115597585A
- Authority
- CN
- China
- Prior art keywords
- sensor
- data
- sensor data
- historical
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003255 drug test Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种机器人定位方法、装置、设备及存储介质,涉及计算机技术领域,包括:获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对其进行融合得到融合后传感器数据;将融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配;利用特征匹配结果确定目标机器人的当前位姿,并利用语义特征地图中的语义信息对当前位姿进行位姿矫正。本申请通过融合多种传感器并在已知地图中添加语义信息来矫正机器人位姿,解决了单一传感器在特征相似且稀少的环境中定位易丢失及错误匹配的问题,提高了定位的稳定性,消除了定位中的累积误差,在无特征场景中仍能保证足够的定位精度,提高定位的精确性。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种机器人定位方法、装置、设备及存储介质。
背景技术
目前,室内机器人定位的主流方案是利用摄像头或激光雷达作为主要传感器,然后使用SLAM(Simultaneous Localization and Mapping,同步定位与建图)算法预先建立目标环境的特征地图,在保存特征地图后,机器人提取周围环境中的特征点,并与已知的特征地图进行特征匹配,从而确定出机器人在已知地图中的位置。
然而,在一些特殊场景中,如新药试验环境场景中,由于存在大量相似的房间和长直走廊,墙面无纹理且极度相似,可用的特征点很少,因此,只使用激光雷达或者摄像头进行定位极易发生定位丢失及错匹配的情况;另外,由于环境中可用特征较少,机器人行驶在此类低特征环境下易发生定位退化,导致机器人进行特征匹配时,无法提供足够的信息用以矫正机器人的当前定位,长期运行后会出现较大的累积误差,使机器人无法精确的到达目标地点。
因此,如何在环境相似且无明显特征的场景下实现机器人的精准定位是本领域技术人员目前需要解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种机器人定位方法、装置、设备及存储介质,能够提高定位的稳定性,消除定位中的累积误差,在无特征场景中仍能保证足够的定位精度,提高定位的精确性。其具体方案如下:
第一方面,本申请公开了一种机器人定位方法,包括:
获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据;
将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果;
利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
可选的,所述获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,包括:
获取当前行驶在特征相似场景中的目标机器人检测到的激光雷达传感器数据、摄像头传感器数据、底盘里程计传感器数据、以及惯性测量单元传感器数据。
可选的,所述对多个所述传感器数据进行融合,得到融合后传感器数据,包括:
分别对所述激光雷达传感器数据和所述摄像头传感器数据中的特征点数量进行统计,得到激光雷达特征点数量和摄像头特征点数量;
判断所述激光雷达特征点数量是否小于第一阈值和所述摄像头特征点数量是否小于第二阈值;
若所述激光雷达特征点数量小于所述第一阈值和/或所述摄像头特征点数量小于所述第二阈值,则判定所述目标机器人中的激光雷达传感器和/或摄像头传感器发生了退化,并对未退化传感器的数据、所述底盘里程计传感器数据和所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
可选的,所述对多个所述传感器数据进行融合,得到融合后传感器数据,包括:
若所述激光雷达特征点数量不小于所述第一阈值且所述摄像头特征点数量不小于所述第二阈值,则判定所述激光雷达传感器和所述摄像头传感器未发生退化,并对所述激光雷达传感器数据、所述摄像头传感器数据、所述底盘里程计传感器数据、以及所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
可选的,所述获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据之前,还包括:
获取行驶在所述特征相似场景中的所述目标机器人通过所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的多个历史传感器数据;
对多个所述历史传感器数据进行融合,得到历史融合后数据,并利用所述历史融合后数据对所述目标机器人进行定位,以得到所述特征相似场景对应的目标特征地图;
获取所述历史传感器数据中所述摄像头传感器检测到的历史摄像头数据,并利用所述历史摄像头数据对所述特征相似场景中的特征物体进行目标检测,得到目标检测结果;
将所述目标检测结果中的特征物体添加到所述目标特征地图中,形成所述语义特征地图。
可选的,所述对多个所述历史传感器数据进行融合,得到历史融合后数据,包括:
获取所述历史传感器数据中所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的历史数据,得到激光雷达历史数据、摄像头历史数据、底盘里程计历史数据和惯性测量单元历史数据;
将所述激光雷达历史数据和所述摄像头历史数据进行帧间特征匹配,得到所述目标机器人的相对运动位置;
在所述相对运动位置的基础上融合所述底盘里程计历史数据和所述惯性测量单元历史数据,得到历史融合后数据。
可选的,所述利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,包括:
利用所述摄像头传感器对所述特征相似场景进行目标检测,若检测到与所述语义特征地图中的语义信息相同的物体,则利用所述物体的位姿对所述当前位姿进行位姿矫正。
第二方面,本申请公开了一种机器人定位装置,包括:
传感器数据获取模块,用于获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据;
传感器数据融合模块,用于对多个所述传感器数据进行融合,得到融合后传感器数据;
特征匹配模块,用于将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果;
当前位姿确定模块,用于利用所述特征匹配结果确定所述目标机器人的当前位姿;
位姿矫正模块,用于利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
第三方面,本申请公开了一种电子设备,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现前述的机器人定位方法。
第四方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述的机器人定位方法。
可见,本申请先获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据,然后将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果,再利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。本申请通过融合多种传感器并在已知地图中添加语义信息来矫正机器人位姿,解决了单一传感器在特征相似且稀少的环境中定位易丢失及错误匹配的问题,提高了定位的稳定性,消除了定位中的累积误差,在无特征场景中仍能保证足够的定位精度,提高定位的精确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种机器人定位方法流程图;
图2为本申请公开的一种机器人定位装置结构示意图;
图3为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种机器人定位方法,参见图1所示,该方法包括:
步骤S11:获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据。
本实施例中,预先在目标机器人上安装多个传感器,当需要对行驶在特征相似场景中的所述目标机器人进行定位时,先通过安装的多个传感器对所述目标机器人的当前行驶状态和周围的物体进行检测,得到相应的多个传感器数据,然后对上述传感器数据进行融合,得到融合后传感器数据。其中,多个所述传感器包括但不限于激光雷达传感器、摄像头传感器、底盘里程计传感器以及惯性测量单元(IMU,Inertial Measurement Unit)传感器等。进一步的,在对多个传感器数据进行融合之前,还可以利用预设的特征识别退化检测算法对多个传感器进行退化检测,然后将检测出的退化传感器对应的传感器数据删除,再对未发生退化的传感器数据进行融合,这样一来,能够降低错误测量对定位的影响,提高定位的精确性。
在一种具体的实施方式中,所述获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,具体可以包括:获取当前行驶在特征相似场景中的目标机器人检测到的激光雷达传感器数据、摄像头传感器数据、底盘里程计传感器数据、以及惯性测量单元传感器数据。也即,预先在目标机器人上安装了激光雷达传感器、摄像头传感器、底盘里程计传感器和惯性测量单元传感器,当目标机器人行驶在特征相似场景中时,会通过自身安装的所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器和所述惯性测量单元传感器检测到相应的激光雷达传感器数据、摄像头传感器数据、底盘里程计传感器数据以及惯性测量单元传感器数据。在具体的传感器检测过程中,所述激光雷达传感器可以采用激光雷达匹配算法进行特征识别得到相应的雷达特征点,所述摄像头传感器可以采用视觉匹配算法进行特征识别得到相应的视觉特征点;所述底盘里程计传感器用于记录所述目标机器人的当前时速和里程;所述惯性测量单元传感器用来测量物体在特征相似的三维空间场景中的角速度和加速度。
本实施例中,所述对多个所述传感器数据进行融合,得到融合后传感器数据,具体可以包括:分别对所述激光雷达传感器数据和所述摄像头传感器数据中的特征点数量进行统计,得到激光雷达特征点数量和摄像头特征点数量;判断所述激光雷达特征点数量是否小于第一阈值和所述摄像头特征点数量是否小于第二阈值;若所述激光雷达特征点数量小于所述第一阈值和/或所述摄像头特征点数量小于所述第二阈值,则判定所述目标机器人中的激光雷达传感器和/或摄像头传感器发生了退化,并对未退化传感器的数据、所述底盘里程计传感器数据和所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。需要指出的是,在对目标机器人上的多个传感器检测到的传感器数据进行融合之前,需要先对各个传感器的性能进行退化检测,在一种具体的实施方式中,先分别对目标机器人上安装的激光雷达传感器数据和摄像头传感器数据中的特征点数量进行统计,得到相应的激光雷达特征点数量和摄像头特征点数量,接着判断上述激光雷达特征点数量是否小于第一阈值,并判断上述摄像头特征点数量是否小于第二阈值,如果上述激光雷达特征点数量小于上述第一阈值和/或上述摄像头特征点数量小于所述第二阈值,则判定所述目标机器人中的激光雷达传感器和/或摄像头传感器发生了退化,并对未退化的传感器、底盘里程计传感器数据和惯性测量单元传感器数据进行融合得到融合后传感器数据。其中,所述未退化的传感器指的是激光雷达特征点数量大于或等于上述第一阈值和摄像头特征点数量大于或等于上述第二阈值的传感器;如果上述激光雷达特征点数量小于上述第一阈值,并且上述摄像头特征点数量小于上述第二阈值,则认为光雷达传感器和摄像头传感器均发生了退化,此时将抛弃退化传感器的数据,使用未退化的其他传感器的数据,即底盘里程计传感器数据和惯性测量单元传感器数据进行融合,进而得到融合后传感器数据。需要指出的是,当只使用底盘里程计传感器数据和惯性测量单元传感器数据来估测机器人的当前位置时,仅能保证短距离的正常行驶,在驶离白墙或特征相似等无特征区域后,仍然可以对多个传感器检测到的数据进行融合。通过上述多种传感器之间的相互补偿,能够保证在大部分特征相似场景中对目标机器人进行稳定定位。
在另一种具体测实施例中,所述对多个所述传感器数据进行融合,得到融合后传感器数据,具体可以包括:若所述激光雷达特征点数量不小于所述第一阈值且所述摄像头特征点数量不小于所述第二阈值,则判定所述激光雷达传感器和所述摄像头传感器未发生退化,并对所述激光雷达传感器数据、所述摄像头传感器数据、所述底盘里程计传感器数据、以及所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。也即,经过阈值检测后确定出目标机器人中安装的多个传感器均未发生退化,此时可以对目标机器人中的所有传感器检测到的数据进行融合。
步骤S12:将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果。
本实施例中,对多个所述传感器数据进行融合,得到融合后传感器数据之后,进一步的,将上述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到相应的特征匹配结果。其中,所述语义特征地图中包含三类信息,分别为视觉特征点,雷达特征点以及语义信息。上述三类信息坐标系相同,分别用于视觉匹配定位,激光雷达匹配定位以及定位矫正。
在一种具体的实施方式中,所述语义特征地图的创建过程具体可以包括:获取行驶在所述特征相似场景中的所述目标机器人通过所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的多个历史传感器数据;对多个所述历史传感器数据进行融合,得到历史融合后数据,并利用所述历史融合后数据对所述目标机器人进行定位,以得到所述特征相似场景对应的目标特征地图;获取所述历史传感器数据中所述摄像头传感器检测到的历史摄像头数据,并利用所述历史摄像头数据对所述特征相似场景中的特征物体进行目标检测,得到目标检测结果;将所述目标检测结果中的特征物体添加到所述目标特征地图中,形成所述语义特征地图。也即,先对行驶在特征相似场景中目标机器人中的激光雷达传感器、摄像头传感器、底盘里程计传感器以及惯性测量单元传感器检测到的数据进行获取,得到相应的多个历史传感器数据,然后对多个上述历史传感器数据进行融合得到历史融合后数据,再利用上述历史融合后数据对上述目标机器人进行定位,从而得到特征相似场景对应的目标特征地图,进一步的,对上述历史传感器数据中的所述摄像头传感器检测到的历史摄像头数据进行获取,然后利用上述历史摄像头数据对所述特征相似场景中的特征物体进行目标检测,也即调用摄像头数据进行目标检测,具体的目标检测算法可根据实际情况进行选取,进而得到相应的目标检测结果,最后将上述目标检测结果中的特征物体添加到上述目标特征地图中,形成相应的语义特征地图。本实施例中,可以通过目标传感器中安装的激光雷达传感器、摄像头传感器、底盘里程计传感器以及惯性测量单元传感器对特征相似场景进行定位建图,具体的,先分别通过激光雷达传感器和摄像头传感器进行特征识别,然后进行帧间特征匹配,得到目标机器人的相对运动,然后融合底盘里程计传感器数据以及惯性测量单元传感器数据,得到目标机器人的准确定位结果,再将激光雷达传感器和摄像头传感器检测到的雷达特征点和视觉特征点写入特征地图,进一步的,调用摄像头传感器数据进行目标检测,将识别到的门牌号、安全出口标识等特征性较强的物体加入到上述特征地图中形成语义特征地图,当目标机器人在整个特征相似场景中行走一遍后即可获得特征相似场景的完整语义特征地图。
具体的,所述对多个所述历史传感器数据进行融合,得到历史融合后数据,可以包括:获取所述历史传感器数据中所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的历史数据,得到激光雷达历史数据、摄像头历史数据、底盘里程计历史数据和惯性测量单元历史数据;将所述激光雷达历史数据和所述摄像头历史数据进行帧间特征匹配,得到所述目标机器人的相对运动位置;在所述相对运动位置的基础上融合所述底盘里程计历史数据和所述惯性测量单元历史数据,得到历史融合后数据。本实施例中,可以先对目标传感器中安装的激光雷达传感器、摄像头传感器、底盘里程计传感器以及惯性测量单元传感器采集得到的历史数据进行获取,进而得到激光雷达历史数据、摄像头历史数据、底盘里程计历史数据和惯性测量单元历史数据,接着将上述激光雷达历史数据和上述摄像头历史数据进行帧间特征匹配,得到所述目标机器人的相对运动位置,再在上述相对运动位置的基础上融合底盘里程计历史数据和惯性测量单元历史数据得到历史融合后数据,此时得到的所述历史融合后数据可以对所述目标机器人进行准确的定位。
步骤S13:利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
本实施例中,将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配得到特征匹配结果之后,可以利用上述特征匹配结果确定出上述目标机器人的当前位姿,然后利用上述语义特征地图中余下记录的语义信息对上述当前位姿进行位姿矫正,从而消除上述目标机器人在定位中的累积误差。
具体的,所述利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,可以包括:利用所述摄像头传感器对所述特征相似场景进行目标检测,若检测到与所述语义特征地图中的语义信息相同的物体,则利用所述物体的位姿对所述当前位姿进行位姿矫正。可以理解的是,目标机器人在进行特征匹配定位的同时,也可以利用目标检测算法对特征相似场景中的物体进行目标检测,当检测到和语义特征地图中相同的语义信息时,使用该具有相同语义信息的物体位姿校准当前目标机器人位姿,从而消除定位累积误差,提高定位精确度。本实施例通过使用多种传感器数据作为定位输入源,解决了单一传感器在特征相似且稀少的环境定位易丢失以及错误匹配的问题,提高了定位的稳定性。在激光雷达传感器及摄像头传感器都未检测到足够特征时,使用场景语义信息对机器人定位进行矫正,能够消除定位中的累积误差,在无特征场景仍可保证足够的定位精度,从而提高定位的精确性。
由上可见,本申请实施例预先建立语义特征地图,然后利用语义特征地图对机器人进行定位,在环境不发生大变动的前提下,只需要进行一次建图,即可在建立的语义特征地图中进行精确定位。通过采用多传感器融合的方式在特征相似场景中进行稳定、准确的建图、定位,并使用目标检测进行场景语义识别,再使用语义信息对机器人位姿进行矫正,从而消除了定位累积误差,提高了定位精度;另外,通过多种传感器融合建图定位,能够使机器人在特征相似场景稳定运行,降低定位错匹配的可能性,通过筛除已退化传感器的数据,降低了错误测量对定位的影响,提高了定位的精确性。
可见,本申请实施例先获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据,然后将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果,再利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。本申请实施例通过融合多种传感器并在已知地图中添加语义信息来矫正机器人位姿,解决了单一传感器在特征相似且稀少的环境中定位易丢失及错误匹配的问题,提高了定位的稳定性,消除了定位中的累积误差,在无特征场景中仍能保证足够的定位精度,提高定位的精确性。
相应的,本申请实施例还公开了一种机器人定位装置,参见图2所示,该装置包括:
传感器数据获取模块11,用于获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据;
传感器数据融合模块12,用于对多个所述传感器数据进行融合,得到融合后传感器数据;
特征匹配模块13,用于将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果;
当前位姿确定模块14,用于利用所述特征匹配结果确定所述目标机器人的当前位姿;
位姿矫正模块15,用于利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
其中,关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本申请实施例中,先获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据,然后将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果,再利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。本申请实施例通过融合多种传感器并在已知地图中添加语义信息来矫正机器人位姿,解决了单一传感器在特征相似且稀少的环境中定位易丢失及错误匹配的问题,提高了定位的稳定性,消除了定位中的累积误差,在无特征场景中仍能保证足够的定位精度,提高定位的精确性。
在一些具体实施例中,所述传感器数据获取模块11,具体可以包括:
传感器数据获取单元,用于获取当前行驶在特征相似场景中的目标机器人检测到的激光雷达传感器数据、摄像头传感器数据、底盘里程计传感器数据、以及惯性测量单元传感器数据。
在一些具体实施例中,所述传感器数据融合模块12,具体可以包括:
统计单元,用于分别对所述激光雷达传感器数据和所述摄像头传感器数据中的特征点数量进行统计,得到激光雷达特征点数量和摄像头特征点数量;
判断单元,用于判断所述激光雷达特征点数量是否小于第一阈值和所述摄像头特征点数量是否小于第二阈值;
退化判定单元,用于如果所述激光雷达特征点数量小于所述第一阈值和/或所述摄像头特征点数量小于所述第二阈值,则判定所述目标机器人中的激光雷达传感器和/或摄像头传感器发生了退化;
第一数据融合单元,用于对未退化传感器的数据、所述底盘里程计传感器数据和所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
在一些具体实施例中,所述传感器数据融合模块12,具体可以包括:
未发生退化判定单元,用于如果所述激光雷达特征点数量不小于所述第一阈值且所述摄像头特征点数量不小于所述第二阈值,则判定所述激光雷达传感器和所述摄像头传感器未发生退化;
第二数据融合单元,用于对所述激光雷达传感器数据、所述摄像头传感器数据、所述底盘里程计传感器数据、以及所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
在一些具体实施例中,所述传感器数据获取模块11之前,还可以包括:
第一历史传感器数据获取单元,用于获取行驶在所述特征相似场景中的所述目标机器人通过所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的多个历史传感器数据;
历史传感器数据融合单元,用于对多个所述历史传感器数据进行融合,得到历史融合后数据;
定位单元,用于利用所述历史融合后数据对所述目标机器人进行定位,以得到所述特征相似场景对应的目标特征地图;
历史摄像头数据获取单元,用于获取所述历史传感器数据中所述摄像头传感器检测到的历史摄像头数据;
目标检测单元,用于利用所述历史摄像头数据对所述特征相似场景中的特征物体进行目标检测,得到目标检测结果;
添加单元,用于将所述目标检测结果中的特征物体添加到所述目标特征地图中,形成所述语义特征地图。
在一些具体实施例中,所述第一历史传感器数据获取单元,具体可以包括:
第二历史传感器数据获取单元,用于获取所述历史传感器数据中所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的历史数据,得到激光雷达历史数据、摄像头历史数据、底盘里程计历史数据和惯性测量单元历史数据;
帧间特征匹配单元,用于将所述激光雷达历史数据和所述摄像头历史数据进行帧间特征匹配,得到所述目标机器人的相对运动位置;
历史数据融合单元,用于在所述相对运动位置的基础上融合所述底盘里程计历史数据和所述惯性测量单元历史数据,得到历史融合后数据。
在一些具体实施例中,所述位姿矫正模块15,具体可以包括:
位姿矫正单元,用于利用所述摄像头传感器对所述特征相似场景进行目标检测,若检测到与所述语义特征地图中的语义信息相同的物体,则利用所述物体的位姿对所述当前位姿进行位姿矫正。
进一步的,本申请实施例还公开了一种电子设备,图3是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图3为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的机器人定位方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的机器人定位方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的机器人定位方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种机器人定位方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种机器人定位方法,其特征在于,包括:
获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,并对多个所述传感器数据进行融合,得到融合后传感器数据;
将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果;
利用所述特征匹配结果确定所述目标机器人的当前位姿,并利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
2.根据权利要求1所述的机器人定位方法,其特征在于,所述获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据,包括:
获取当前行驶在特征相似场景中的目标机器人检测到的激光雷达传感器数据、摄像头传感器数据、底盘里程计传感器数据、以及惯性测量单元传感器数据。
3.根据权利要求2所述的机器人定位方法,其特征在于,所述对多个所述传感器数据进行融合,得到融合后传感器数据,包括:
分别对所述激光雷达传感器数据和所述摄像头传感器数据中的特征点数量进行统计,得到激光雷达特征点数量和摄像头特征点数量;
判断所述激光雷达特征点数量是否小于第一阈值和所述摄像头特征点数量是否小于第二阈值;
若所述激光雷达特征点数量小于所述第一阈值和/或所述摄像头特征点数量小于所述第二阈值,则判定所述目标机器人中的激光雷达传感器和/或摄像头传感器发生了退化,并对未退化传感器的数据、所述底盘里程计传感器数据和所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
4.根据权利要求3所述的机器人定位方法,其特征在于,所述对多个所述传感器数据进行融合,得到融合后传感器数据,包括:
若所述激光雷达特征点数量不小于所述第一阈值且所述摄像头特征点数量不小于所述第二阈值,则判定所述激光雷达传感器和所述摄像头传感器未发生退化,并对所述激光雷达传感器数据、所述摄像头传感器数据、所述底盘里程计传感器数据、以及所述惯性测量单元传感器数据进行融合,得到融合后传感器数据。
5.根据权利要求4所述的机器人定位方法,其特征在于,所述获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据之前,还包括:
获取行驶在所述特征相似场景中的所述目标机器人通过所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的多个历史传感器数据;
对多个所述历史传感器数据进行融合,得到历史融合后数据,并利用所述历史融合后数据对所述目标机器人进行定位,以得到所述特征相似场景对应的目标特征地图;
获取所述历史传感器数据中所述摄像头传感器检测到的历史摄像头数据,并利用所述历史摄像头数据对所述特征相似场景中的特征物体进行目标检测,得到目标检测结果;
将所述目标检测结果中的特征物体添加到所述目标特征地图中,形成所述语义特征地图。
6.根据权利要求5所述的机器人定位方法,其特征在于,所述对多个所述历史传感器数据进行融合,得到历史融合后数据,包括:
获取所述历史传感器数据中所述激光雷达传感器、所述摄像头传感器、所述底盘里程计传感器、以及所述惯性测量单元传感器检测到的历史数据,得到激光雷达历史数据、摄像头历史数据、底盘里程计历史数据和惯性测量单元历史数据;
将所述激光雷达历史数据和所述摄像头历史数据进行帧间特征匹配,得到所述目标机器人的相对运动位置;
在所述相对运动位置的基础上融合所述底盘里程计历史数据和所述惯性测量单元历史数据,得到历史融合后数据。
7.根据权利要求2至6任一项所述的机器人定位方法,其特征在于,所述利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,包括:
利用所述摄像头传感器对所述特征相似场景进行目标检测,若检测到与所述语义特征地图中的语义信息相同的物体,则利用所述物体的位姿对所述当前位姿进行位姿矫正。
8.一种机器人定位装置,其特征在于,包括:
传感器数据获取模块,用于获取当前行驶在特征相似场景中的目标机器人检测到的多个传感器数据;
传感器数据融合模块,用于对多个所述传感器数据进行融合,得到融合后传感器数据;
特征匹配模块,用于将所述融合后传感器数据与预先基于多传感器融合方式创建的语义特征地图进行特征匹配,得到特征匹配结果;
当前位姿确定模块,用于利用所述特征匹配结果确定所述目标机器人的当前位姿;
位姿矫正模块,用于利用所述语义特征地图中的语义信息对所述当前位姿进行位姿矫正,以消除所述目标机器人在定位中的累积误差。
9.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的机器人定位方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的机器人定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211616723.5A CN115597585A (zh) | 2022-12-16 | 2022-12-16 | 一种机器人定位方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211616723.5A CN115597585A (zh) | 2022-12-16 | 2022-12-16 | 一种机器人定位方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115597585A true CN115597585A (zh) | 2023-01-13 |
Family
ID=84853981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211616723.5A Pending CN115597585A (zh) | 2022-12-16 | 2022-12-16 | 一种机器人定位方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115597585A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117073690A (zh) * | 2023-10-17 | 2023-11-17 | 山东大学 | 一种基于多地图策略的导航方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201813018D0 (en) * | 2018-08-10 | 2018-09-26 | Jaguar Land Rover Ltd | Sensor degradation |
CN112179353A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市银星智能科技股份有限公司 | 自移动机器人的定位方法、装置、机器人及可读存储介质 |
WO2022069399A1 (de) * | 2020-09-30 | 2022-04-07 | Robert Bosch Gmbh | Verfahren zur bestimmung eines sensor-degradations-status |
CN114964212A (zh) * | 2022-06-02 | 2022-08-30 | 广东工业大学 | 面向未知空间探索的多机协同融合定位与建图方法 |
CN115468567A (zh) * | 2022-09-28 | 2022-12-13 | 中国人民解放军陆军装甲兵学院 | 一种面向越野环境的激光视觉融合slam方法 |
-
2022
- 2022-12-16 CN CN202211616723.5A patent/CN115597585A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201813018D0 (en) * | 2018-08-10 | 2018-09-26 | Jaguar Land Rover Ltd | Sensor degradation |
CN112179353A (zh) * | 2020-09-30 | 2021-01-05 | 深圳市银星智能科技股份有限公司 | 自移动机器人的定位方法、装置、机器人及可读存储介质 |
WO2022069399A1 (de) * | 2020-09-30 | 2022-04-07 | Robert Bosch Gmbh | Verfahren zur bestimmung eines sensor-degradations-status |
CN114964212A (zh) * | 2022-06-02 | 2022-08-30 | 广东工业大学 | 面向未知空间探索的多机协同融合定位与建图方法 |
CN115468567A (zh) * | 2022-09-28 | 2022-12-13 | 中国人民解放军陆军装甲兵学院 | 一种面向越野环境的激光视觉融合slam方法 |
Non-Patent Citations (3)
Title |
---|
刘明芹;张晓光;徐桂云;李宗周;: "单机器人SLAM技术的发展及相关主流技术综述" * |
刘雅彬;陈万米;: "融合激光与视觉信息的自主移动机器人的SLAM研究" * |
李瑞峰;赵立军;靳新辉;: "基于粒子滤波器的室内移动机器人自定位" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117073690A (zh) * | 2023-10-17 | 2023-11-17 | 山东大学 | 一种基于多地图策略的导航方法及系统 |
CN117073690B (zh) * | 2023-10-17 | 2024-03-15 | 山东大学 | 一种基于多地图策略的导航方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113899363B (zh) | 车辆的定位方法、装置及自动驾驶车辆 | |
CN107845114B (zh) | 地图的构建方法、装置及电子设备 | |
CN111784835B (zh) | 制图方法、装置、电子设备及可读存储介质 | |
CN108303720A (zh) | 一种车辆定位方法、装置及终端设备 | |
WO2020189079A1 (ja) | 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置 | |
CN109143162A (zh) | 车辆姿态计算方法及装置 | |
US11067694B2 (en) | Locating method and device, storage medium, and electronic device | |
CN115597585A (zh) | 一种机器人定位方法、装置、设备及存储介质 | |
CN115200572B (zh) | 三维点云地图构建方法、装置、电子设备及存储介质 | |
CN111127584A (zh) | 建立视觉地图的方法和装置、电子设备和存储介质 | |
CN111856499A (zh) | 基于激光雷达的地图构建方法和装置 | |
CN114371703A (zh) | 一种无人车轨迹预测方法及装置 | |
CN111721305B (zh) | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 | |
US20190285418A1 (en) | Method and device for the robust localization of a vehicle | |
CN110109165B (zh) | 行驶轨迹中异常点的检测方法及装置 | |
WO2022116831A1 (zh) | 定位方法、装置、电子设备及可读存储介质 | |
Dai | Research on robot positioning and navigation algorithm based on SLAM | |
CN113671454A (zh) | 一种车载雷达的位置参数标定方法、装置及存储介质 | |
CN116958452A (zh) | 三维重建方法和系统 | |
CN112945266B (zh) | 激光导航机器人及其机器人的里程计校准方法 | |
CN116534059A (zh) | 自适应感知路径决策方法、装置、计算机设备及存储介质 | |
CN116501813A (zh) | 建图方法、装置、设备及介质 | |
CN115900697A (zh) | 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆 | |
CN110244710B (zh) | 自动寻迹方法、装置、存储介质及电子设备 | |
CN110909668B (zh) | 目标检测方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230113 |
|
RJ01 | Rejection of invention patent application after publication |