CN115493596A

CN115493596A - 一种移动机器人语义地图构建与导航方法

Info

Publication number: CN115493596A
Application number: CN202211271359.3A
Authority: CN
Inventors: 刘振宇; 朱青松; 刘达新; 谭建荣
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2022-10-17
Filing date: 2022-10-17
Publication date: 2022-12-20

Abstract

本发明公开了一种移动机器人语义地图构建与导航方法。本发明包括以下步骤：首先构建二维占据栅格地图，通过部署在机器人上的激光雷达、惯性测量单元和RGBD相机采集环境信息，完成室内环境的地图构建；接着对房间门牌号通过深度学习进行目标检测并进行坐标转换；再基于二维占据栅格地图和房间门牌号位置信息，进行房间语义分割，形成二维栅格语义地图；最后基于二维占据栅格地图与语义地图，完成起始点和目标点语义解析，进行基于关键点的A*全局路径规划，将机器人导航至目标点。本发明构建了室内环境下的房间语义地图，为机器人导航和人机交互提供了丰富的语义信息，基于关键点的A*路径规划有效避免了机器人距离障碍物过近的问题。

Description

一种移动机器人语义地图构建与导航方法

技术领域

本发明属于机器人技术领域的一种移动机器人的地图构建方法，具体涉及了一种移动机器人语义地图构建与导航方法。

背景技术

随着机器人技术的蓬勃发展，服务机器人正逐步走进人们的生活，在酒店、办公楼、商场、学校等人机共融环境中，提高和改善人们的生活质量。特别在新冠疫情强调减少接触、保持距离的要求下，机器人替代人工执行配送、交接等任务越来越重要。

随着机器人技术的发展，对机器人理解环境和人机交互方面提出了更高的要求。语义地图是一种对环境的增强表示，它同时包含几何信息和高层次的定性特征。现代机器人通过计算自身在度量地图中的位姿来实现所处环境中的导航，大多数语义建图方法采取在度量语义地图上添加语义信息的方式。语义地图包含了高层次的特征，这些特征建模了人类关于地点、物体、形状甚至所有这些对象之间关联的概念，而度量地图则保留了机器人应该了解的所有几何特征，以实现在周围环境中的安全导航。在楼宇服务机器人的应用中，房间作为环境语义至关重要，因此基于占据栅格地图的房间语义分割成为服务机器人语义地图的重要环节。

房间分割方法主要包括基于形态学、距离变换、维诺图、谱聚类的方法，但是单纯地依赖二维栅格地图进行图像分析与处理，难以达到很高的准确率，无法有效地利用机器人本身的多传感器数据。传统A*路径规划算法规划出的路径距离障碍物过近，特别是在机器人经过房间门的时候距离一侧门框过近，使得机器人安全性降低。

发明内容

为了解决背景技术中存在的问题和缺陷，本发明的目的在于提供一种移动机器人建图与导航方法，包括基于房间的语义地图的构建和基于关键点的导航方法。

本发明的技术方案如下：

步骤1：部署在移动机器人上的激光雷达、惯性测量单元和RGBD相机分别采集室内环境信息，分别获得环境点云信息、里程计信息和环境图像，根据环境点云信息和里程计信息进行室内环境地图的构建，获得二维占据栅格地图；

步骤2：将环境图像中包含门牌号的图像均输入到门牌号识别神经网络进行门牌号的识别，获得对应的房间门牌号，再将各个房间门牌号进行坐标转换后，获得各个房间门牌号的位置信息；

步骤3：根据各个房间门牌号和对应的位置信息对二维占据栅格地图进行房间语义分割，获得基于房间的二维占据栅格语义地图；

步骤4：根据起始点和目标点以及基于房间的二维占据栅格语义地图，对机器人进行基于关键点的全局路径规划，获得规划路径，机器人根据规划路径从起始点导航至目标点。

所述门牌号识别神经网络为利用楼宇房间门牌号数据集对YOLOv3网络进行训练获得的训练好的YOLOv3网络。

所述步骤3具体为：

3.1)对二维占据栅格地图进行二值化处理，获得二值化地图，根据各个房间门牌号和对应的位置信息确定对应房间的门框区域图像，利用最小距离法对各个房间的门框区域图像分别进行房间门框检测，获得各个房间的左右门框位置，再根据各个房间的左右门框位置分别确定各个房间对应的门内外关键点；

3.2)根据各个房间的左右门框位置，确定二维占据栅格地图中各个房间与走廊的分割线；

3.3)根据各个房间门牌号和对应的位置信息以及门内外关键点，利用连通区域检测方法对包含各个房间与走廊的分割线的二维占据栅格地图进行房间分割，获得各个房间的语义地图以及走廊地图，从而获得基于房间的二维占据栅格语义地图。

所述步骤4具体为：

首先根据基于房间的二维占据栅格语义地图对起始点和目标点进行语义解析后，获得各个路径关键点，然后根据各个路径关键点在基于房间的二维占据栅格语义地图上进行基于关键点的全局路径规划，获得规划路径，最后机器人根据规划路径从起始点导航至目标点。

所述步骤4中，各个路径关键点包括起始点、目标点、起始点对应房间的门内外关键点以及目标点对应房间的门内外关键点。

所述步骤4中，利用A*全局路径规划方法对机器人进行基于关键点的全局路径规划。

本发明的有益效果是：

(1)采用深度学习的方法，实时识别房间门牌号，能够有效地获取各个房间门牌号的信息，生成房间位置信息以及房间门牌号信息。

(2)基于二维占据栅格地图与房间位置和门牌号信息，对图像进行房间分割，得到基于房间门信息的房间语义地图，为后续的导航提供丰富的语义信息。

(3)基于关键点的A*全局路径规划，能够有效避免机器人导航过程中距离障碍物过近，高效地进行室内楼宇办公环境下的导航任务。

附图说明

图1为本发明的整体流程示意图。

图2为本发明的建图流程示意图。

图3为本发明的房间分割流程示意图。

图4为本发明的基于关键点的路径规划流程示意图。

图5为本发明的基于关键点的路径规划结果示意图。

具体实施方式

下面结合本发明的优选实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明包括以下步骤：

步骤1：基于房间的二维占据栅格语义地图的流程示意图如图2所示，部署在移动机器人上的激光雷达、惯性测量单元IMU和RGBD相机分别采集室内环境信息，分别获得环境点云信息、里程计信息和环境图像，其中，RGBD相机采用PrimeSense Carmine 1.09ShortRange体感深度相机。采用张正有标定法进行相机内参标定，得到相机的内参和畸变参数，从而得到像素坐标系到相机坐标系的转化矩阵；采用眼在手外的方法进行外参标定，得到相机坐标系到机器人坐标系的转化矩阵，包括旋转矩阵R和平移矩阵T。在建图的过程中，在每个房间门口处打开视觉识别系统，对房间门牌号进行识别，同时实时分析识别后的结果在像素坐标系下的归一化坐标(u,v,1)，通过相机内参标定后的结果将此坐标转化为相机坐标系下的坐标(x_c,y_c,z_c)，然后根据相机外参标定结果将坐标转化为机器人标系下的坐标(x_w,y_w,z_w)，进而转化为地图坐标系下的坐标(x_m,y_m,0)，并记录为YAML文件。根据环境点云信息和里程计信息，利用基于2D激光雷达的Gmapping算法进行室内环境地图的构建，获得二维占据栅格地图；

步骤2：将RGBD相机采集的环境图像中包含门牌号的图像均输入到门牌号识别神经网络进行门牌号的识别，获得对应的房间门牌号，再将各个房间门牌号进行坐标转换后，即将像素坐标系下的门牌号位置坐标转化为机器人坐标系下的坐标，获得各个房间门牌号的位置信息；

门牌号识别神经网络为利用楼宇房间门牌号数据集对YOLOv3网络进行训练获得的训练好的YOLOv3网络。楼宇房间门牌号数据集为预先采集和预处理后的包含门牌号的图像和对应门牌号标签组成。

步骤3：房间语义分割的流程示意图如图3所示，根据各个房间门牌号和对应的位置信息对二维占据栅格地图进行房间语义分割，获得基于房间的二维占据栅格语义地图；

步骤3具体为：

3.1)对二维占据栅格地图进行二值化处理，获得二值化地图，白色代表可通行区域，黑色代表障碍物(不可通行区域)。根据各个房间门牌号和对应的位置信息确定对应房间的门框区域图像，具体实施中将二维占据栅格地图中门牌号位置±1.25m矩形区域的图像作为对应房间的门框区域图像，利用最小距离法对各个房间的门框区域图像分别进行房间门框检测，获得各个房间的左右门框位置，再根据各个房间的左右门框位置分别确定各个房间对应的门内外关键点，具体实施中将二维占据栅格地图中每个房间左右门框位置的连线(即顶部门框所在位置)的中垂线上距离当前连线0.4m处的两个位置记为门内关键点door_in和门外关键点door_out；

3.2)根据各个房间的左右门框位置，确定二维占据栅格地图中各个房间与走廊的分割线；具体地，将二维占据栅格地图中所有左右门框点进行连线后获得各个房间与走廊的分割线，用于分隔房间与走廊。

3.3)根据各个房间门牌号和对应的位置信息以及门内外关键点，利用连通区域检测方法对包含各个房间与走廊的分割线的二维占据栅格地图进行房间分割，获得各个房间的语义地图以及走廊地图，还对各个房间的语义地图以及走廊地图采取不同的灰度值，包括但不限于使用pgm格式文件进行保存。基于房间的二维占据栅格语义地图的语义信息采用YAML文件记录并保存，基于房间的二维占据栅格语义地图的语义信息包括各个房间的房间名信息、房间位置信息、门内外关键点位置信息。从而获得基于房间的二维占据栅格语义地图。

步骤4：基于关键点的全局路径规划的流程示意图如图4所示，根据起始点和目标点以及基于房间的二维占据栅格语义地图，对机器人进行基于关键点的全局路径规划，获得规划路径，机器人根据规划路径从起始点导航至目标点。

步骤4具体为：

步骤4中，各个路径关键点包括起始点、目标点、起始点对应房间的门内外关键点以及目标点对应房间的门内外关键点。

步骤4中，利用A*全局路径规划方法对机器人进行基于关键点的全局路径规划。

具体的，在进行路径规划之前读取保存的二维占据栅格语义地图，根据机器人的实时位置检测，判断机器人所处房间或者不在房间，同时根据目标点信息判断目标点所处位置。若机器人实时位置在某房间内，在进行A*全局路径规划时，依次将该房间door_in、door_out关键点插入路径；若目标点在某房间内，依次将该房间door_out、door_in关键点插入路径。规划后的路径实例如图5所示。

Claims

1.一种移动机器人语义地图构建与导航方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种移动机器人语义地图构建与导航方法，其特征在于，所述门牌号识别神经网络为利用楼宇房间门牌号数据集对YOLOv3网络进行训练获得的训练好的YOLOv3网络。

3.根据权利要求1所述的一种移动机器人语义地图构建与导航方法，其特征在于，所述步骤3具体为：

4.根据权利要求1所述的一种移动机器人语义地图构建与导航方法，其特征在于，所述步骤4具体为：

5.根据权利要求4所述的一种移动机器人语义地图构建与导航方法，其特征在于，所述步骤4中，各个路径关键点包括起始点、目标点、起始点对应房间的门内外关键点以及目标点对应房间的门内外关键点。

6.根据权利要求1所述的一种移动机器人语义地图构建与导航方法，其特征在于，所述步骤4中，利用A*全局路径规划方法对机器人进行基于关键点的全局路径规划。