CN112800925B - 一种基于深度学习的轮式机器人避障路径规划方法 - Google Patents

一种基于深度学习的轮式机器人避障路径规划方法 Download PDF

Info

Publication number
CN112800925B
CN112800925B CN202110091161.6A CN202110091161A CN112800925B CN 112800925 B CN112800925 B CN 112800925B CN 202110091161 A CN202110091161 A CN 202110091161A CN 112800925 B CN112800925 B CN 112800925B
Authority
CN
China
Prior art keywords
image
robot
area
obstacle avoidance
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110091161.6A
Other languages
English (en)
Other versions
CN112800925A (zh
Inventor
陈逸东
魏武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110091161.6A priority Critical patent/CN112800925B/zh
Publication of CN112800925A publication Critical patent/CN112800925A/zh
Application granted granted Critical
Publication of CN112800925B publication Critical patent/CN112800925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的轮式机器人避障路径规划方法，包括以下步骤：(1)采集图像数据集；通过搭载在机器人车身的视觉传感器不断采集场景数据，形成图像数据集；(2)像素级标注图像数据集的可行使区域；(3)使用经开源数据集预训练后的语义分割网络，对带有标注的图像数据集进行训练，得到最佳模型参数；(4)轮式机器人采集一段新的视频流，输入训练好的网络模型，得到可行使区域的检测结果。本发明能在人员密集的场景下精确的完成对手势的识别和对机器人的控制。本发明能在仅使用视觉的方式实现了轮式机器人的避障路径规划，减少了对高成本传感器的依赖，且利用深度学习的优势，提高了可通达路径检测的准确性。

Description

一种基于深度学习的轮式机器人避障路径规划方法
技术领域
本发明涉及计算机视觉，深度学习，属于机器人导航的技术领域，具体涉及一种基于深度学习的轮式机器人避障路径规划方法。
背景技术
轮式机器人因具有比人力更灵活、可靠且易于安装维护等优点，近年来在工厂中被大量应用于自主快速运输，达到节约制造成本的目的。避障技术作为其中的关键一环，发展引起了业界的高度重视。传统的轮式机器人的避障手段主要有超声波传感器避障、红外传感器避障和激光雷达避障等，其应用的技术多属于光辐射和电磁波射频源。其中目前效果最好的是通过激光雷达，但由于其太过昂贵，短时间内制作成本无法降低，因此极大限制了轮式机器人在自主导航上的发展。但随着深度学习研究的发展，使得对可通达地图的检测也越来越准确(基于图像语义分割的车辆可行驶区域识别方法研究[D].华南理工大学,2019.)，这使得通过深度学习来建立机器人避障路径规划有了可能。
发明内容
本发明的目的是在节省成本且保证可靠的前提下，提供了一种基于深度学习的轮式机器人避障路径规划方法，使用视觉传感器实时采集图像数据，并接入可行驶区域检测网络进行可行驶区域识别，进而完成避障路径的规划。
本发明至少通过如下技术方案之一实现。
一种基于深度学习的轮式机器人避障路径规划方法，所述方法包括以下步骤：
S1、通过搭载在机器人车身的视觉传感器不断采集场景数据，形成图像数据集，设每一张图像分别率均为w*h，w是图像宽度，h是图像高度；
S2、像素级标注图像数据集的可行使区域；
S3、使用经开源数据集预训练后的语义分割网络，对带有标注的图像数据集进行训练，得到最佳模型参数；
S4、轮式机器人采集一段新的视频流，输入训练好的网络模型，得到可行使区域的检测结果；
S5、控制轮式机器人行进，若遇到障碍物，机器人将按照步骤S4中得到的可行驶区域进行避障绕行，若障碍物位于死角位置，机器人将停止在原地。
优选的，所述场景数据包括行人匀速前进、行人横向移动、纸箱固定障碍物、球类固定障碍物和不明动态物体闯入的情况，数据集大小为1000张。
优选的，所述可行使区域采用一个封闭的凸多边形包络，凸多边形边界标注方式如下：图像坐标系中，边界直线每个像素的x坐标只有一个y坐标与其对应，外加边界直线垂直x轴的情况；凸多边形边界从图像左下角开始沿顺时针标注，终点也为图像左下角点，从而形成一个封闭的凸多边形，凸多边形所包围的区域即为可行使区域，该区域内包含机器人能够行驶过的物体和区域，不包含机器人无法跨越的障碍物。
优选的，步骤S3所述开源数据集为Cityscape中的粗糙分割数据集，将其中五个类别的像素作为可通达区域，其余为障碍物，数据集大小为20,000张。
优选的，所述语义分割网络包括编码网络和解码网络，所述编码网络包括四层编码模块，所述解码网络包括三层解码模块，每个编码模块的输出与特征图尺寸相对应的解码模块的输出相连接，每层解码模块都共享对应编码模块学习的图像特征。
优选的，所述编码网络采用基于DeepLab v3的语义分割框架，利用ASPP(AtrousSpatial Pyramid Pooling)进行特征融合与加强，最后一个编码模块的输出使用卷积转置模块(Transposed Convolution)进行上采样完成解码，解码的最终结果即为与原输入图像相同尺寸的特征图。
优选的，所述ASPP中采用插孔卷积结构，在不降低特征分辨率的情况下增加感受野大小，ASPP同时采用多个尺度的卷积操作和池化操作。
优选的，所述解码模块采用转置卷积方式进行上采样。
优选的，解码模块包括两个1×1卷积层和一个3×3的转置卷积层，卷积转置层的上采样系数为2，特征图每经过一个解码模块，图像扩大一倍。
优选的，步骤S4所述的检测结果是一个凸多边形区域，该区域即为该场景的可通达地图；
所述避障绕行是指根据步骤S4中所获得的可通达地图，以左侧优先原则进行绕行；
所述死角位置是指，该障碍物位于可通达地图凸多边形的边角位置，左右两侧都无可通达区域。
与现有的技术相比，本发明的有益效果为：
1.仅使用视觉的方式实现了轮式机器人的避障路径规划，减少了对高成本传感器的依赖。
2.利用深度学习的优势，提高了可通达路径检测的准确性。
附图说明
图1为本实施例一种基于深度学习的轮式机器人避障路径规划方法流程图；
图2为本实施例的凸多边形标注示意图。
具体实施方式
下面结合附图对本发明进一步说明。应指出，以下说明给出了详细的实施方式和具体操作过程，旨在对本申请进行详细说明，但本发明的保护范围不限于此实施方式。
如图1所示，一种基于深度学习的轮式机器人避障路径规划方法，包括如下步骤：
步骤S1.采集避障场景数据集；通过搭载在轮式机器人车身的视觉传感器不断采集场景数据，形成图像数据集，设每一张图像分别率均为w*h，w是图像宽度，h是图像高度。
数据集场景包括行人匀速前进、行人横向移动、纸箱固定障碍物、球类固定障碍物和不明动态物体闯入的情况，数据集大小为1000张。
步骤S2.像素级标注图像数据集的可行使区域；
可行驶区域采用一个封闭的凸多边形包络，凸多边形边界标注方式如下，图像坐标系中，边界直线每个像素的x坐标只有一个y坐标与其对应，外加边界直线垂直x轴的情况，如图2所示；凸多边形边界从图像左下角开始沿顺时针标注，终点也为图像左下角点，从而形成一个封闭的凸多边形，凸多边形所包围的区域即为可行使区域，该区域内包含轮式机器人能够行驶过的物体和区域，不包含机器人无法跨越的障碍物。
步骤S3.使用经开源数据集预训练后的语义分割网络，对带有标注的图像数据集进行训练，得到最佳模型参数；
开源数据集为Cityscape中的粗糙分割数据集，将其中五个类别(地表、路、人行道、停车场、轨道)的像素作为可通达区域，其余为障碍物，数据集大小为20,000张。
语义分割网络包括编码网络和解码网络，编码网络包括4层编码模块，解码网络包括3层解码模块，每个编码模块的输出与特征图尺寸相对应的解码模块的输出相连接，每层解码模块都共享对应编码模块学习的图像特征。
编码网络采用基于DeepLab v3的语义分割框架，利用ASPP(Atrous SpatialPyramid Pooling)进行特征融合与加强，最后一个编码模块的输出使用卷积转置模块(Transposed Convolution)进行上采样完成解码，解码的最终结果即为与原输入图像相同尺寸的特征图。
所述ASPP中采用插孔卷积结构，在不降低特征分辨率的情况下增加感受野大小，既保留了局部低层次信息，又能最大可能地提取全局结构信息。ASPP同时采用多个尺度的卷积操作和池化操作，进一步提升信息融合效果。
解码模块采用转置卷积方式进行上采样，解码模块包括两个1×1卷积层和一个3×3的转置卷积层，卷积转置层的上采样系数为2，特征图每经过一个解码模块，图像扩大一倍。
步骤S4.轮式机器人采集一段新的视频流，输入训练好的网络模型，得到可通达区域的检测结果。该结果是一个凸多边形区域，该区域即为该场景的可通达地图。控制轮式机器人行进过程中，若遇到障碍物，机器人将按照步骤S4中得到的可行驶区域，以左侧优先原则进行绕行，即如果障碍物两侧都为可通达区域，机器人将选择左侧的路径；若障碍物位于死角位置，机器人将停止在原地。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：所述方法包括以下步骤：
S1 、通过搭载在机器人车身的视觉传感器不断采集场景数据，形成图像数据集，设每一张图像分别率均为w*h，w是图像宽度，h是图像高度；
S2、像素级标注图像数据集的可行使区域；所述可行使区域采用一个封闭的凸多边形包络，凸多边形边界标注方式如下：图像坐标系中，边界直线每个像素的x坐标只有一个y坐标与其对应，外加边界直线垂直x轴的情况；凸多边形边界从图像左下角开始沿顺时针标注，终点也为图像左下角点，从而形成一个封闭的凸多边形，凸多边形所包围的区域即为可行使区域，该区域内包含机器人能够行驶过的物体和区域，不包含机器人无法跨越的障碍物；
S3、使用经开源数据集预训练后的语义分割网络，对带有标注的图像数据集进行训练，得到最佳模型参数；所述语义分割网络包括编码网络和解码网络，所述编码网络包括四层编码模块，所述解码网络包括三层解码模块，每个编码模块的输出与特征图尺寸相对应的解码模块的输出相连接，每层解码模块都共享对应编码模块学习的图像特征；
解码模块包括两个1×1卷积层和一个3×3的转置卷积层，卷积转置层的上采样系数为2，特征图每经过一个解码模块，图像扩大一倍；
所述编码网络采用基于 DeepLab v3 的语义分割框架，利用 ASPP进行特征融合与加强，最后一个编码模块的输出使用卷积转置模块进行上采样完成解码，解码的最终结果即为与原输入图像相同尺寸的特征图；
S4、轮式机器人采集一段新的视频流，输入训练好的网络模型，得到可行驶区域的检测结果；
S5、控制轮式机器人行进，若遇到障碍物，机器人将按照步骤S4中得到的可行驶区域进行避障绕行，若障碍物位于死角位置，机器人将停止在原地。
2.根据权利要求1所述的一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：所述场景数据包括行人匀速前进、行人横向移动、纸箱固定障碍物、球类固定障碍物和不明动态物体闯入的情况，数据集大小为1000张。
3.根据权利要求2所述的一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：步骤S3所述开源数据集为Cityscape 中的粗糙分割数据集，将其中五个类别的像素作为可通达区域，其余为障碍物，数据集大小为 20,000 张。
4.根据权利要求3所述的一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：所述ASPP 中采用插孔卷积结构，在不降低特征分辨率的情况下增加感受野大小，ASPP 同时采用多个尺度的卷积操作和池化操作。
5.根据权利要求4所述的一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：所述解码模块采用转置卷积方式进行上采样。
6.根据权利要求5所述的一种基于深度学习的轮式机器人避障路径规划方法，其特征在于：步骤S4所述的检测结果是一个凸多边形区域，该区域即为该场景的可通达地图；
所述避障绕行是指根据步骤S4中所获得的可通达地图，以左侧优先原则进行绕行；
所述死角位置是指该障碍物位于可通达地图凸多边形的边角位置，左右两侧都无可通达区域。
CN202110091161.6A 2021-01-22 2021-01-22 一种基于深度学习的轮式机器人避障路径规划方法 Active CN112800925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110091161.6A CN112800925B (zh) 2021-01-22 2021-01-22 一种基于深度学习的轮式机器人避障路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110091161.6A CN112800925B (zh) 2021-01-22 2021-01-22 一种基于深度学习的轮式机器人避障路径规划方法

Publications (2)

Publication Number Publication Date
CN112800925A CN112800925A (zh) 2021-05-14
CN112800925B true CN112800925B (zh) 2023-07-18

Family

ID=75811279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110091161.6A Active CN112800925B (zh) 2021-01-22 2021-01-22 一种基于深度学习的轮式机器人避障路径规划方法

Country Status (1)

Country Link
CN (1) CN112800925B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147794A (zh) * 2019-05-21 2019-08-20 东北大学 一种基于深度学习的无人车室外场景实时分割方法
CN111461048A (zh) * 2020-04-12 2020-07-28 华南理工大学 基于视觉的停车场可行驶区域检测与局部地图构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671542A1 (en) * 2018-12-18 2020-06-24 Visteon Global Technologies, Inc. Method for multilane detection using a convolutional neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147794A (zh) * 2019-05-21 2019-08-20 东北大学 一种基于深度学习的无人车室外场景实时分割方法
CN111461048A (zh) * 2020-04-12 2020-07-28 华南理工大学 基于视觉的停车场可行驶区域检测与局部地图构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的大区域遥感影像路网提取方法;王俊强;李建胜;;工程勘察(12);第48-53页 *
基于激光SLAM和深度学习的语义地图构建;何松;孙静;郭乐江;陈梁;;计算机技术与发展(09);第94-100页 *

Also Published As

Publication number Publication date
CN112800925A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Han et al. Research on road environmental sense method of intelligent vehicle based on tracking check
CN112041633B (zh) 使用蒙片进行数据分割的系统和方法
US10921817B1 (en) Point cloud filtering with semantic segmentation
US10810445B1 (en) Pipeline with point cloud filtering
CN108216229B (zh) 交通工具、道路线检测和驾驶控制方法及装置
US20190145765A1 (en) Three Dimensional Object Detection
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
KR102539942B1 (ko) 궤적 계획 모델을 훈련하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112752950A (zh) 修改与地图数据相关联的地图元素
CN111461048B (zh) 基于视觉的停车场可行驶区域检测与局部地图构建方法
Deepika et al. Obstacle classification and detection for vision based navigation for autonomous driving
CN110599497A (zh) 一种基于深度神经网络的可行驶区域分割方法
CN114397877A (zh) 一种智能汽车自动驾驶系统
Ding et al. A lane detection method based on semantic segmentation
Johari et al. Comparison of autonomy and study of deep learning tools for object detection in autonomous self driving vehicles
Wang et al. Autonomous Driving System Driven by Artificial Intelligence Perception Fusion
Dong et al. A vision-based method for improving the safety of self-driving
CN114970790A (zh) 交通标识及其制作方法、车辆位姿估计方法
CN112800925B (zh) 一种基于深度学习的轮式机器人避障路径规划方法
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及系统
CN113378647A (zh) 基于三维点云的实时轨道障碍物检测方法
Berrio et al. Fusing lidar and semantic image information in octree maps
US20240125899A1 (en) Semantic segmentation of aggregated sensor data
Holder et al. Learning to drive: End-to-end off-road path prediction
Zakaria et al. Gradient-based edge effects on lane marking detection using a deep learning-based approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant