CN114332399A - 一种便于自主移动机器人高效导航的地貌地图构建方法 - Google Patents

Abstract

本发明涉及一种便于自主移动机器人高效导航的地貌地图构建方法，包括地貌分割网络：使用深度可分离卷积和金字塔池化模块搭建高精度轻量级的语义分割网络；对可通行地貌的细致划分：根据不同地貌的物理几何性质，对可通行地貌进行更为详细的划分和标注，针对性地构建地貌数据集用于模型的训练；地貌地图的构建：根据传感器获取的原始图像与栅格地图间的几何转换关系，构建地貌图像与占据栅格地图的映射关系，创建地貌栅格地图。本发明使用语义分割网络对移动机器人工作环境中的地貌进行更为细致的划分，并通过像素点扫描、坐标转换和栅格映射，创建含有丰富信息的地貌栅格地图，以用于提高移动机器人的导航效率。

Description

一种便于自主移动机器人高效导航的地貌地图构建方法

技术领域

本发明涉及一种便于自主移动机器人高效导航的地貌地图构建方法，属于机器人感知与建图技术领域。

背景技术

可通行区域的识别对移动机器人的导航和路径规划至关重要，目前大部分地貌识别算法只进行可通行区域和不可通行区域的划分。然而，越来越多的移动机器人工作于非结构化或者半结构化的环境中，其中包含多种可通行地貌，且各种可通行地貌间存在很大的差异，例如：水泥地、草地、泥地、石子地等。当机器人穿越不同的可通行地貌时，其安全性、通行时间以及能量消耗是不同的。

人类在通过不同地貌时，会根据自己的目标选择通行消耗最低的路线。移动机器人可以模拟人类的通行策略，根据不同的任务需求合理规划通行路线，例如直线穿越高能源消耗地貌来缩短通行时间；绕过积水等高风险地貌以确保机器人的自身安全；牺牲通行时间，选择易通行地貌来降低能量消耗。针对非结构化的工作地貌，构建包含有丰富地貌信息和通行代价的地貌地图，可以帮助移动机器人在保障自身安全的前提下实现导航效率的最大化。

发明内容

本发明的目的是针对传统地貌识别算法难以提供具体化的可通行地貌信息、传统导航算法忽视地貌代价(传统导航算法未将不同地貌含有的不同通行代价纳入路径规划的计算中)导致路径规划不准确不合理从而引起移动机器人高消耗或高风险通行的问题，提出了一种便于自主移动机器人高效导航的地貌地图构建方法。具体是使用语义分割网络对移动机器人工作环境中的地貌进行更为细致的划分，并通过像素点扫描和坐标转换，建立占据栅格地图与地貌语义信息间的映射关系，构建包含详细地貌信息的地貌栅格地图。

为实现上述目的，本发明的技术方案是：

一种便于自主移动机器人高效导航的地貌地图构建方法，包括以下步骤：

步骤一：使用深度可分离卷积搭建地貌分割网络的编码路径，使用PspNet的金字塔池化模块组成解码路径，搭建高精度轻量级的地貌分割网络。

步骤二：使用移动机器人的车载摄像头采集充足数量的地貌图像，经过人工筛选和数据标注后构建复杂地貌数据集，数据集中的地貌信息被划分为水泥地、草地、泥地、林地、石子地、水、沟等多种地貌类型。

步骤三：将复杂地貌数据集输入构建的地貌分割网络，对参数w_p进行训练，生成地貌分割模型。

步骤四：采用Gmapping算法融合移动机器人的激光雷达、里程计等传感器数据，构建移动机器人工作环境下的占据栅格地图。

步骤五：使用移动机器人搭载的深度相机采集当前所处地貌环境的原始图像A和深度图像D，将得到的原始图像A输入地貌分割模型，生成局部环境的地貌分割图像B。

步骤六：对每帧地貌分割图像B进行像素点扫描和坐标转换。具体过程是：

S1：将地貌分割图像B转换为地貌灰度图像C。

S2：建立地貌类型与灰度值的匹配列表G，G＝{(水泥地：g₁)，(草地：g₂)，(泥地：g₃)，(林地：g₄)，(石子地：g₅)，(水：g₆)，(沟：g₇)}，其中g_k表示灰度值，k∈(1,7)。

S3：像素点扫描。根据原始图像A的分辨率与栅格地图分辨率的比值，将地貌灰度图像C划分成若干个尺寸为p×p的地貌块。统计第(i,j)个地貌块内所有像素点的灰度分布情况：

P_ij＝{(g₁:n₁),(g₂:n₂),(g₃:n₃),(g₄:n₄),(g₅:n₅),(g₆:n₆),(g₇:n₇)} (1)

其中，n_k表示各个灰度值对应的像素点个数，k∈(1,7)。计算P_ij中像素点个数的最大值n_max：

n_max＝max(n_k),k∈(1,7) (2)

根据P_ij查找n_max对应的灰度值g_max：

其中，(g_max,n_max)∈P_ij。再根据G查找到g_max对应的地貌类型terrain_ij：

其中(terrain_ij,g_max)∈G。将求得的terrain_ij作为当前(i,j)地貌块的整体地貌。

将当前(i,j)地貌块中心点的像素坐标(u,v)作为地貌块的整体像素坐标。

S4：对像素坐标(u,v)进行二维像素坐标系到三维相机坐标系的转换：

其中，(u,v,1)^T为地貌像素点坐标(u,v)的齐次坐标，(X_c,Y_c,Z_c)^T为地貌像素点(u,v)在相机坐标系中的三维坐标，l为地貌像素点(u,v)在深度图像D中对应的距离信息。f_x和f_y分别为深度相机在x和y方向上的焦距，c_x和c_y表示深度相机光轴在像素坐标系中的偏移量。

S5：将地貌像素点的坐标(X_c,Y_c,Z_c)^T从相机坐标系转换到机器人坐标系：

其中，(X_r,Y_r,Z_r)^T为地貌像素点在机器人坐标系中的三维坐标，旋转矩阵R和平移矩阵T分别表示相机坐标系与机器人坐标系之间的旋转与平移关系，是根据深度相机与机器人的几何位置关系人为设定的；

S6：根据机器人的自适应蒙特卡罗定位，计算出地貌像素点的坐标(X_r,Y_r,Z_r)^T在占据栅格地图中的二维世界坐标(X_w,Y_w)；

步骤七：根据地貌像素点含有的地貌语义信息，对占据栅格地图中指定的栅格(X_w,Y_w)进行地貌映射；

步骤八：控制移动机器人在工作环境中运动，重复步骤五～步骤七(步骤六的S2无需再进行)，直至移动机器人完成对地图中所有栅格的地貌映射，最终建立含有地貌语义信息的地貌栅格地图。

所述步骤二中采用移动机器人的第一视角，实地采集真实工作环境中的地貌图像。经过筛选后使用Labelme软件进行数据集的人工标注，且在数据标注过程中，对地貌进行了细致的划分，图像中的地貌内容被标记为水泥地、草地、泥地、林地、石子地、水和沟7种地貌类型。

所述步骤七通过向占据栅格地图中加入地貌语义信息，建立地貌语义图像与占据栅格地图的映射关系，实现了地貌栅格地图的可视化。

与现有技术相比，本发明的有益效果在于：

本发明使用深度可分离卷积构建地貌分割网络的编码路径，可以减少网络的参数量，提高网络的地貌分割速度，更适用于车载计算资源有限的移动机器人。使用金字塔池化模块作为解码路径的核心单元，增强了网络对局部上下文信息和全局信息的提取能力，保证了网络的分割精度。使用神经网络对移动机器人的工作环境进行细致的地貌分割，识别不同的可行区域，标记它们的通行代价，为移动机器人的建图提供了丰富的地貌语义信息。将地貌语义信息与占据栅格地图进行坐标映射，构建地貌栅格地图，为移动机器人的导航提供更为详细的环境信息，可提高机器人导航的准确性和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明便于自主移动机器人高效导航的地貌地图构建方法的机器人结构框图；

图2为本发明便于自主移动机器人高效导航的地貌地图构建方法的基于占据栅格的地貌地图构建流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施方案采用Scout Mini机器人、Jetson AGX Xavier小型工作站、RPLiDARA3激光雷达和RealSense D435深度相机搭建实验平台，如图1所示。一种便于自主移动机器人高效导航的地貌地图构建方法，包括以下具体实施步骤：

步骤一：使用深度可分离卷积搭建地貌分割网络的编码路径，使用PspNet的金字塔池化模块组成解码路径，搭建高精度轻量级的地貌分割网络。

步骤二：使用移动机器人的车载摄像头采集充足数量的地貌图像，经过人工筛选和数据标注后构建复杂地貌数据集，数据集中的地貌信息被划分为水泥地、草地、泥地、林地、石子地、水、沟等多种地貌类型。

步骤三：将复杂地貌数据集输入构建的地貌分割网络，对参数w_p进行训练，生成地貌分割模型。

步骤四：采用Gmapping算法融合移动机器人的激光雷达、里程计等传感器数据，构建移动机器人工作环境下的占据栅格地图。

步骤五：使用移动机器人搭载的深度相机采集当前所处地貌环境的原始图像A和深度图像D，将得到的原始图像A调整尺寸至288×288并输入地貌分割模型，生成局部环境的地貌分割图像B，其尺寸为320×240。

步骤六：对每帧地貌分割图像B进行像素点扫描和坐标转换。具体过程是：

S1：将地貌分割图像B转换为地貌灰度图像C。

S2：建立地貌类型与灰度值的匹配列表G，G＝{(水泥地：70)，(草地：150)，(泥地：200)，(林地：120)，(石子地：188)，(水：30)，(沟：190)}。

S3：像素点扫描。根据原始图像A的分辨率与栅格地图分辨率的比值，将地貌灰度图像C划分成16×12个大小为20×20的地貌块。统计第(i,j)个地貌块内所有像素点的灰度分布情况：

P_ij＝{(70:n₁),(150:n₂),(200:n₃),(120:n₄),(188:n₅),(30:n₆),(190:n₇)} (1)

其中，i∈(1,16)，j∈(1,12)，n_k表示各个灰度值对应的像素点个数，k∈(1,7)。

计算P_ij中像素点个数的最大值n_max：

n_max＝max(n_k),k∈(1,7) (2)

根据P_ij查找n_max对应的灰度值g_max：

其中，(g_max,n_max)∈P_ij。再根据G查找到g_max对应的地貌类型terrain_ij：

其中(terrain_ij,g_max)∈G。将求得的terrain_ij作为当前(i,j)地貌块的整体地貌。

将当前(i,j)地貌块中心点的像素坐标(u,v)作为地貌块的整体像素坐标。

S4：对像素坐标(u,v)进行二维像素坐标系到三维相机坐标系的转换：

其中，(u,v,1)^T为地貌像素点坐标(u,v)的齐次坐标，(X_c,Y_c,Z_c)^T为地貌像素点(u,v)在相机坐标系中的三维坐标，l为地貌像素点(u,v)在深度图像D中对应的距离信息。f_x和f_y分别为深度相机在x和y方向上的焦距，c_x和c_y表示深度相机光轴在像素坐标系中的偏移量，它们组成相机的内参矩阵I，可以通过相机标定得到：

S5：将地貌像素点的坐标(X_c,Y_c,Z_c)^T从相机坐标系转换到机器人坐标系：

其中，(X_r,Y_r,Z_r)^T为地貌像素点在机器人坐标系中的三维坐标，旋转矩阵R和平移矩阵T分别表示相机坐标系与机器人坐标系之间的旋转与平移关系，是根据深度相机与机器人的几何位置关系人为设定的。

S6：根据机器人的自适应蒙特卡罗定位，计算出地貌像素点的坐标(X_r,Y_r,Z_r)^T在占据栅格地图中的二维世界坐标(X_w,Y_w)。

步骤七：根据地貌像素点含有的地貌语义信息，对占据栅格地图中指定的栅格(X_w,Y_w)进行地貌映射。

步骤八：控制移动机器人在工作环境中运动，重复步骤五～步骤七(步骤六的S2无需再进行)，直至移动机器人完成对地图中所有栅格的地貌映射，最终建立含有地貌语义信息的地貌栅格地图。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (5)

1.一种便于自主移动机器人高效导航的地貌地图构建方法，其特征在于：包括以下步骤：

步骤一、使用深度可分离卷积搭建地貌分割网络的编码路径，使用PspNet的金字塔池化模块组成解码路径，搭建高精度轻量级的地貌分割网络；

步骤二、使用移动机器人的车载摄像头采集足够数量的地貌图像，经筛选和数据标注后构建复杂地貌数据集；

步骤三、将复杂地貌数据集输入构建的地貌分割网络，对参数w_p进行训练，生成地貌分割模型；

步骤四、采用Gmapping算法融合移动机器人的激光雷达、里程计传感器数据，构建移动机器人工作环境下的占据栅格地图；

步骤五、使用移动机器人搭载的深度相机采集当前所处地貌环境的原始图像A和深度图像D，将得到的原始图像A输入地貌分割模型，生成局部环境的地貌分割图像B；

步骤六、对每帧地貌分割图像B进行像素点扫描和坐标转换；

步骤七、根据地貌像素点含有的地貌语义信息，对占据栅格地图中指定的栅格(X_w,Y_w)进行地貌映射；

步骤八：控制移动机器人在工作环境中运动，重复步骤五～步骤七，直至移动机器人完成对地图中所有栅格的地貌映射，建立含有地貌语义信息的地貌栅格地图。

2.根据权利要求1所述的一种便于自主移动机器人高效导航的地貌地图构建方法，其特征在于：所述步骤二中数据集中的地貌信息包括水泥地、草地、泥地、林地、石子地、水、沟。

3.根据权利要求1或2所述的一种便于自主移动机器人高效导航的地貌地图构建方法，其特征在于：所述步骤二中采用移动机器人的第一视角实地采集真实工作环境中的地貌图像。

4.根据权利要求2所述的一种便于自主移动机器人高效导航的地貌地图构建方法，其特征在于：所述步骤六具体包括以下步骤：

S1：将地貌分割图像B转换为地貌灰度图像C；

S2：建立地貌类型与灰度值的匹配列表G，G＝{(水泥地：g₁)，(草地：g₂)，(泥地：g₃)，(林地：g₄)，(石子地：g₅)，(水：g₆)，(沟：g₇)}，其中g_k表示灰度值，k∈(1,7)；

S3：像素点扫描，根据原始图像A的分辨率与栅格地图分辨率的比值，将地貌灰度图像C划分成若干个尺寸为p×p的地貌块，统计第(i,j)个地貌块内所有像素点的灰度分布情况：

P_ij＝{(g₁:n₁),(g₂:n₂),(g₃:n₃),(g₄:n₄),(g₅:n₅),(g₆:n₆),(g₇:n₇)} (1)

其中，n_k表示各个灰度值对应的像素点个数，k∈(1,7)，计算P_ij中像素点个数的最大值n_max：

n_max＝max(n_k),k∈(1,7) (2)

根据P_ij查找n_max对应的灰度值g_max：

其中，(g_max,n_max)∈P_ij，根据G查找到g_max对应的地貌类型terrain_ij：

其中(terrain_ij,g_max)∈G，将求得的terrain_ij作为当前(i,j)地貌块的整体地貌，将当前(i,j)地貌块中心点的像素坐标(u,v)作为地貌块的整体像素坐标；

S4：对像素坐标(u,v)进行二维像素坐标系到三维相机坐标系的转换：

其中，(u,v,1)^T为地貌像素点坐标(u,v)的齐次坐标，(X_c,Y_c,Z_c)^T为地貌像素点(u,v)在相机坐标系中的三维坐标，l为地貌像素点(u,v)在深度图像D中对应的距离信息，f_x和f_y分别为深度相机在x和y方向上的焦距，c_x和c_y表示深度相机光轴在像素坐标系中的偏移量；

S5：将地貌像素点的坐标(X_c,Y_c,Z_c)^T从相机坐标系转换到机器人坐标系：

其中，(X_r,Y_r,Z_r)^T为地貌像素点在机器人坐标系中的三维坐标，旋转矩阵R和平移矩阵T分别表示相机坐标系与机器人坐标系之间的旋转与平移关系；

S6：根据机器人的自适应蒙特卡罗定位，计算出地貌像素点的坐标(X_r,Y_r,Z_r)^T在占据栅格地图中的二维世界坐标(X_w,Y_w)。

5.根据权利要求1所述的一种便于自主移动机器人高效导航的地貌地图构建方法，其特征在于：所述步骤七通过向占据栅格地图中加入地貌语义信息，建立地貌语义图像与占据栅格地图的映射关系。

Images