CN112698653A - 基于深度学习的机器人自主导航控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的机器人自主导航控制方法及系统，方法步骤如下：设定机器人在环境地图中的起点和终点，计算机器人可行驶的最优路径；在行驶的过程中使用定位算法确定此时机器人所处的位置，到达终点时则停止移动，否则继续导航；使用相机获取机器人前方的环境信息图像，并输入至训练好的卷积神经网络模型，判断前方是否有环境地图未知的障碍物影响到机器人正常移动，如果没有，则按照最优路线继续导航，如果有，则使用网络模型生成对应的控制指令，使得机器人躲避未知障碍物，同时重新规划最优路线以及确定此时的位置，判断是否到达终点。该系统基于深度学习技术，在全局路径规划的路线上可以躲避各种障碍物，适用性强。

Description

基于深度学习的机器人自主导航控制方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于深度学习的机器人自主导航控制方法及系统。

背景技术

随着人工智能技术的快速发展，深度学习在图像识别、语音识别、无人驾驶等领域得到了广泛的应用。同样，机器人技术也在向着智能化的方向发展，自主导航是机器人的关键技术之一，机器人具备智能分析环境的能力，并像人一样做出各种决策来躲避障碍物，是其智能化的体现。

目前常用的机器人自主导航控制系统主要包括：

1)基于全局路径规划和动态窗口局部避障的自主导航控制系统

该系统使用激光雷达扫描机器人周围的障碍物信息，然而一般使用的激光雷达都是二维扫描的，收集的障碍物信息有限，不能躲避与激光雷达高度不一致的障碍物或者不规则的障碍物。

2)基于深度学习的方法

已有学者研究基于深度学习的机器人移动，通过相机获取图像，生成控制指令，包括直行、向左、向右，然后该方法并不能在环境中到达指定的目标位置。

发明内容

本发明的目的在于提供一种基于深度学习的机器人自主导航控制方法及系统，机器人按照全局路径规划的最优路径行驶，同时使用相机获取机器人前方环境图像并输入至卷积神经网络模型中，当遇到环境地图未知的障碍物时，网络模型的识别结果发布控制指令躲避障碍物，直至机器人到达目标位置。

实现本发明目的的技术方案为：一种基于深度学习的机器人自主导航控制方法，包括：

步骤1，通过数据采集系统收集机器人前方的环境图像，用于训练卷积神经网络模型；

步骤2，基于图像处理技术对机器人所处环境的已知二维平面地图进行处理，使其可以应用于机器人操作系统中，并进行机器人定位和路径规划；

步骤3，设定机器人在环境地图中的起始位置和目标位置，使用全局路径规划算法计算可行驶的最优路径；

步骤4，使用定位算法计算机器人此时所处的位置，并判定是否到达终点，如果是，则停止移动，否则继续移动；

步骤5，机器人自主导航的过程中，使用相机实时获取机器人前方环境图像，并使用训练好的网络模型识别图像，生成控制指令，躲避环境地图未知的障碍物；

步骤6，如果机器人前方存在未知障碍物影响到机器人的正常行驶，则网络模型生成相应的控制指令来躲避障碍物，同时重新计算最优路径；

步骤7，如果机器人前方不存在未知障碍物影响到机器人的正常行驶，则机器人按照之前的最优路径继续移动；

步骤8，重复步骤4至步骤7。

与现有技术相比，本发明的显著优点为：(1)设计了数据采集系统，方便了数据采集与标注，减少了时间成本；(2)使用图像处理技术对环境的已知二维平面图像进行处理，不需要控制机器人在环境中重新建图；(3)使用深度学习技术识别前方是否存在障碍物影响机器人移动，相比传统特征提取方法，该方法能够自动提取特征且效果好；(4)本发明把基于深度学习的局部避障与全局路径规划结合在一起，提高了系统的避障能力，同时提高了系统的工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对本发明实施例所用的附图做简要的说明介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于图像处理构建环境地图的流程图。

图2为本发明实施例提供的数据采集系统界面图。

图3为本发明实施例提供的卷积神经网络模型结构图。

图4为本发明实施例提供的基于深度学习的机器人自主导航控制系统的工作流程图。

图5为本发明实施例提供的基于深度学习的机器人自主导航控制系统的总体结构图。

具体实施方式

本发明提出一种基于深度学习方法的机器人自主导航控制方法及系统，不仅具备在全局路径规划的最优路径上行驶，同时可以躲避局部未知的各种障碍物。

如图1所示，基于深度学习方法的机器人自主导航控制方法，包括如下步骤：

步骤1：通过数据采集系统收集机器人前方的环境图像，用于训练卷积神经网络模型；

步骤2：基于图像处理技术对机器人所处环境的已知二维平面地图进行处理，使其可以应用于机器人操作系统中，并进行机器人定位和路径规划；

步骤3：设定机器人在环境地图中的起始位置和目标位置，使用全局路径规划算法计算可行驶的最优路径；

步骤4：在机器人移动的过程中，同时使用定位算法计算机器人此时所处的位置，并判定是否到达终点，如果是，则停止移动，结束导航，否则继续移动；

步骤5：机器人自主导航的过程中，使用相机实时获取机器人前方环境图像，并使用训练好的网络模型识别图像，生成控制指令，躲避环境地图未知的障碍物；

步骤6：如果机器人前方存在未知障碍物影响到机器人的正常行驶，则网络模型生成相应的控制指令来躲避障碍物，同时重新计算最优路径；

步骤7：如果机器人前方不存在未知障碍物影响到机器人的正常行驶，则机器人按照之前的最优路径继续移动；

步骤8：重复步骤4至步骤7。

进一步的，所述数据采集系统可实时显示相机图像，同时具备控制按钮，控制按钮可控制机器人移动以及保存图像至不同的类别路径。

进一步的，由于深度学习具备强大图像识别效果，所述的数据采集系统采集的图像是单通道的图像，大小为224*224，根据需要也可以收集深度图像用于训练网络模型。

进一步的，所述的卷积神经网络模型为七层，其中四层卷积层参数分别为5*5*32，3*3*32，3*3*64和3*3*64，来提取图像的特征图；三层全连接层参数分别为7*7*64，1024和3，将特征图转化为一维向量，进而通过概率计算进行分类。为了增强网络模型的泛化能力，在网络模型的卷积层之间加入了1*1的卷积层，在全连接层使用了Dropout。

进一步的，所述的网络模型输入为相机采集的图像，输出有三个类别，包括nav、left、right，其中nav指机器人前方没有障碍物影响机器人移动，不需要发布控制指令，left指机器人右前方存在障碍物影响机器人移动，需要发布控制机器人向左前方行驶的指令，right指机器人左前方存在障碍物影响机器人移动，需要发布控制机器人向右前方行驶的指令。

进一步的，所述的图像处理技术主要包括滤波处理、边缘检测、阈值处理等，可以把环境平面地图处理成栅格表示的地图图像，黑色代表该位置有障碍物，白色代表该位置没有障碍物。

进一步的，所述的全局路径规划算法是改进的A*算法，对传统A*算法代价函数所包含的起点至当前点代价和当前点至目标点代价，分别价赋予权重，通过改变权重参数可以获得效果更好的路线。

进一步的，所述的定位算法是自适应蒙特卡洛定位算法，使用粒子模拟机器人的移动，可以有效得到机器人的位置。

上述控制方法主要基于机器人操作系统(ROS)，并在其基础上进行系统部署。

本发明还提供一种基于深度学习的机器人自主导航控制系统，包括：

定位模块，使用激光雷达获取机器人周围的环境信息，并使用自适应蒙特卡洛定位算法确定机器人此时在环境地图中的位置；

路径规划模块，使用改进代价函数的A*算法获取最优路径，通过更改代价函数中起点至当前点的代价和当前点至目标点的代价的比例，来获取效果更好的最优路径；

基于深度学习躲避局部障碍物模块，使用相机获取机器人前方图像，并输入至训练好的网络模型，输出对应的类别，包括nav、left、right，同时发布相应的机器人控制指令，来躲避前方不确定环境下的障碍物。

系统各模块的具体实现方法与上述控制方法相同。

下面结合附图对本发明的原理和特征进行详细描述，但所描述的视实例仅用于对本发明的理解，而不是限定本发明的范围。

实施例

如图1所示，基于图像处理技术构建环境地图的流程图如下：

步骤1，通过相机获取机器人工作环境的平面地图，并以灰度模式读入环境的二维平面地图；

步骤2，对环境地图的图像进行滤波处理，如高斯滤波，可以减少图像的噪声；

步骤3，对过滤噪声后的图像进行边缘检测，提取关键的图像特征；

步骤4，对边缘检测后的图像进行阈值处理，使得结果图像类似于栅格地图，黑色代表存在障碍物，白色代表不存在障碍物，便于机器人定位与路径规划；

如图2所示，数据采集系统界面如下：

步骤5，使用方框显示机器人前方的环境图像，右侧按钮open和按钮close用于打开和关闭前方环境图像的显示，同时使用下方四个按钮控制机器人，同时采集数据图像；

其中按钮nav收集机器人前方不存在影响机器人移动的障碍物的图像，按钮left和按钮right收集机器人右前方和左前方存在影响机器人移动的障碍物的图像，同时发布控制机器人向左前方和右前方移动的指令，按钮stop用于紧急情况下机器人的制动；

如图3所示，卷积神经网络模型的结构图如下：

网络模型的输入为机器人前方的环境图像，输出为对应类别，包括nav、left、right；

步骤6，使用收集的数据构建数据集，左右翻转、随机裁剪等方法可以增加数据的数量，提高网络模型的泛化能力；

步骤7，使用数据集对网络模型进行训练，得到可用的网络模型；

如图4所示，基于深度学习的机器人自主导航控制系统工作流程图如下：

步骤8，在机器人操作系统(ROS)中使用基于图像处理技术得到的环境地图，进行机器人定位和路径规划等；

步骤9，在环境地图中设定机器人的起始位置和目标位置，并使用全局路径规划算法进行路径规划，获得最优路径；

步骤10，在机器人移动的同时，使用定位算法确定机器人此时所处的位置，判断机器人是否到达目标位置，如果是，则停止导航；

步骤11，如果机器人没有到达目标位置，则使用相机实时获取机器人前方环境图像，并输入至训练好的网络模型，进行分类识别；

步骤12，如果网络模型识别的结果为nav，则机器人前方不存在障碍物影响机器人的移动，此时网络模型不对机器人发布控制指令，机器人仍然按照之前的最优路径进行自主导航；

步骤13，如果网络模型识别的结果为left或者right，则机器人前方右前方或者左前方存在障碍物影响机器人的移动，此时网络模型需要对机器人发布控制指令，使得小车向左前方或者右前方移动，来躲避障碍物，同时使用全局路径规划算法重新规划最优路径；

步骤14，重复步骤10至步骤13。

如图5所示，基于深度学习的机器人自主导航控制系统总体结构图如下：

控制系统主要包括三部分控制流：定位部分、路径规划部分、基于深度学习躲避局部障碍物部分；

定位部分主要使用激光雷达获取机器人周围的环境信息，并使用自适应蒙特卡洛定位算法确定机器人此时在环境地图中的位置；

路径规划部分使用改进代价函数的A*算法获取最优路径，通过更改代价函数中起点至当前点的代价和当前点至目标点的代价的比例，来获取效果更好的最优路径；

基于深度学习躲避局部障碍物部分主要使用相机获取机器人前方图像，并输入至训练好的网络模型，输出对应的类别，包括nav、left、right，同时发布相应的机器人控制指令，来躲避前方不确定环境下的障碍物；

由三部分控制流共同控制机器人，使得机器人具备智能的自主导航能力。

以上所述仅作为本发明的具体实例，但不用以限制本发明，任何在本发明的精神和原则之内，所做的任何修改、等同替换，改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的机器人自主导航控制方法，其特征在于，包括：

步骤1，通过数据采集系统收集机器人前方的环境图像，用于训练卷积神经网络模型；

步骤2，基于图像处理技术对机器人所处环境的已知二维平面地图进行处理，使其可以应用于机器人操作系统中，并进行机器人定位和路径规划；

步骤3，设定机器人在环境地图中的起始位置和目标位置，使用全局路径规划算法计算可行驶的最优路径；

步骤4，使用定位算法计算机器人此时所处的位置，并判定是否到达终点，如果是，则停止移动，否则继续移动；

步骤5，机器人自主导航的过程中，使用相机实时获取机器人前方环境图像，并使用训练好的网络模型识别图像，生成控制指令，躲避环境地图未知的障碍物；

步骤6，如果机器人前方存在未知障碍物影响到机器人的正常行驶，则网络模型生成相应的控制指令来躲避障碍物，同时重新计算最优路径；

步骤7，如果机器人前方不存在未知障碍物影响到机器人的正常行驶，则机器人按照之前的最优路径继续移动；

步骤8，重复步骤4至步骤7。

2.根据权利要求1所述的方法，其特征在于，所述数据采集系统可实时显示相机图像，同时具备控制按钮，控制按钮可控制机器人移动以及保存图像至不同的类别路径。

3.根据权利要求1所述的方法，其特征在于，所述数据采集系统采集的图像是单通道的图像，大小为224*224。

4.根据权利要求1所述的方法，其特征在于，所述的卷积神经网络模型为七层，其中四层卷积层参数分别为5*5*32，3*3*32，3*3*64和3*3*64，用于提取图像的特征图；三层全连接层参数分别为7*7*64，1024和3，用于将特征图转化为一维向量，进而通过概率计算进行分类；在网络模型的卷积层之间加入1*1的卷积层，在全连接层使用Dropout。

5.根据权利要求1所述的方法，其特征在于，所述的网络模型输入为相机采集的图像，输出有三个类别，包括nav、left、right，其中nav指机器人前方没有障碍物影响机器人移动，不需要发布控制指令，left指机器人右前方存在障碍物影响机器人移动，需要发布控制机器人向左前方行驶的指令，right指机器人左前方存在障碍物影响机器人移动，需要发布控制机器人向右前方行驶的指令。

6.根据权利要求1所述的方法，其特征在于，所述的图像处理技术包括滤波处理、边缘检测、阈值处理，将环境平面地图处理成栅格表示的地图图像，黑色代表该位置有障碍物，白色代表该位置没有障碍物。

7.根据权利要求1所述的方法，其特征在于，所述的全局路径规划算法为改进的A*算法，对A*算法代价函数所包含的起点至当前点代价和当前点至目标点代价，分别价赋予权重，通过改变权重参数获得效果更好的路线。

8.根据权利要求1所述的方法，其特征在于，所述的定位算法为自适应蒙特卡洛定位算法，使用粒子模拟机器人的移动，得到机器人的位置。

9.根据权利要求1所述的方法，其特征在于，所述控制方法基于机器人操作系统，并在其基础上进行系统部署。

10.一种基于权利要求1-9任意一项所述方法的机器人自主导航控制系统，其特征在于，包括：

定位模块，使用激光雷达获取机器人周围的环境信息，并使用自适应蒙特卡洛定位算法确定机器人此时在环境地图中的位置；

路径规划模块，使用改进代价函数的A*算法获取最优路径，通过更改代价函数中起点至当前点的代价和当前点至目标点的代价的比例，来获取效果更好的最优路径；

基于深度学习躲避局部障碍物模块，使用相机获取机器人前方图像，并输入至训练好的网络模型，输出对应的类别，包括nav、left、right，同时发布相应的机器人控制指令，来躲避前方不确定环境下的障碍物。

Images