CN112859873A - 一种基于语义激光的移动机器人多级避障系统及方法 - Google Patents
一种基于语义激光的移动机器人多级避障系统及方法 Download PDFInfo
- Publication number
- CN112859873A CN112859873A CN202110098476.3A CN202110098476A CN112859873A CN 112859873 A CN112859873 A CN 112859873A CN 202110098476 A CN202110098476 A CN 202110098476A CN 112859873 A CN112859873 A CN 112859873A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- laser
- semantic
- robot body
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 30
- 230000004888 barrier function Effects 0.000 claims description 43
- 230000003068 static effect Effects 0.000 claims description 24
- 230000008878 coupling Effects 0.000 claims description 13
- 238000010168 coupling process Methods 0.000 claims description 13
- 238000005859 coupling reaction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
本发明涉及一种基于语义激光的移动机器人多级避障系统及方法，将激光雷达、工业摄像头、超声波传感器的数据进行紧耦合获得语义激光，使得激光点云带有姿态信息、障碍物类型、动作范围等信息，根据障碍物与机器人本体的距离将激光雷达的扫描范围划分为三层，判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生相应的避障动作。改变了传统避障信息的单一性，使移动机器人具备了在未知动态环境中障碍物特征认知的能力，提高了整个避障系统的灵活性。
Description
技术领域
本发明涉及移动机器人智能避障领域，具体为一种基于语义激光的移动机器人多级避障系统及方法。
背景技术
移动机器人是集机械基体、驱动系统、控制系统、传感器检测系统、作业执行系统于一体的高集成度设备，在传感器技术迅速发展的前提下逐步走向智能化、成熟化，现已广泛应用于工业、物流、服务、医疗等领域。在不同的工作场景中，移动机器人为保障环境安全和自身安全需完成实时避障工作，其中障碍物大体被分为静态障碍物和动态障碍物，静态障碍物包括场景中存在的货架、墙壁、桌椅等，动态障碍物包括人、大范围空间作业的设备、电梯等。移动机器人需要在完成建图和定位工作后，识别出障碍物的类型特性，并针对性的规定障碍物位置信息，移动机器人基于获得的尺寸地图信息利用全局路径规划和局部路径规划算法实现实时避障与自主导航。
移动机器人传统避障多为超声波、视觉、激光雷达、红外传感器避障，超声波、激光雷达传感器是根据声波、激光脉冲从发生器到被测目标之间的往返时间计算出障碍物的距离信息，视觉、红外传感器多采用三角测距原理计算出障碍物的距离信息。
移动机器人采用上述单一传感器或多传感器融合传统避障方式在静态场景下自主导航性能较为出色，但当工作场景复杂程度较高时，传统方式无法识别出障碍物种类特性，当传感器采样频率较低时，移动机器人估计障碍物位姿与实际障碍物位姿产生较大偏差，极易引发安全问题，同时当移动机器人处于导航状态时，无法根据障碍物特性信息做出相应避障调整，致使作业效率降低、安全性下降。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于语义激光的移动机器人多级避障系统和方法，其能够将多种不同类型的传感器紧耦合，改变了传统避障信息的单一性，使移动机器人具备了在未知动态环境中障碍物特征认知的能力，提高了整个避障系统的灵活性。
本发明的第一个方面提供一种基于语义激光的移动机器人多级避障方法，包括以下步骤：
依据机器人本体上的激光雷达和工业摄像头获取的信息，通过深度学习和坐标转换获取障碍物的特征信息；
根据障碍物与机器人本体的距离将激光雷达的扫描范围划分为三层，距机器人本体最近的一层为危险范围，最远的一层为安全范围，剩余部分为减速范围；
判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生相应的避障动作。
当机器人本体处于建图状态，若障碍物存在于最外面两层扫描范围时，语义激光判断障碍物类型，否则进入导航状态；若障碍物存在于最内层扫描范围或触发固定阈值的超声波传感器时，机器人本体停止动作并发出警报。
当机器人本体处于导航状态且语义激光判断障碍物为静态，障碍物存在于最外面一层扫描范围时，机器人本体正常移动且发出警报；当障碍物存在于中间一层扫描范围时，机器人本体根据障碍物位姿减速并发出警报；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，移动机器人停止动作，通过DWA算法重新规划路径。
当机器人本体处于导航状态且语义激光范围内判断存在动态障碍物，同时障碍物处于最外面两层扫描范围时，判断其动态特性为固定范围动作，将动作范围内的动作全部模拟为静态障碍物，再次进入静态障碍物运动规划过程中完成判断；若判断障碍物的动态特性为随机范围动作，通过捕获多帧语义激光判断该物体的运动特性；
若该障碍物处于远离机器人本体的状态，则机器人本体正常动作，若该障碍物为静止状态，则返回静态障碍物运动规划中判断；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，机器人本体停止动作，通过DWA算法重新规划路径。
本发明的第二个方面提供一种基于语义激光的移动机器人多级避障系统，包括机器人本体上安装的多传感器融合特征信息提取模块、障碍物类型识别模块、耦合信息处理模块和移动机器人运动规划模块；
多传感器融合特征信息提取模块利用激光雷达和工业摄像头提取雷达点云信息和图像信息，障碍物类型识别模块利用深度学习获得障碍物的特征信息，耦合信息处理模块通过坐标转换获得语义激光，使得激光雷达识别障碍物的特征信息；
移动机器人运动规划模块根据障碍物与机器人本体的距离将激光雷达的扫描范围划分为三层，判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生相应的避障动作。
所述的多传感器融合特征信息提取模块包括激光雷达、工业摄像头、超声波传感器，激光雷达与单目工业摄像头同向安装，超声波传感器安装在激光雷达扫描范围内，且距离激光雷达一定距离。
激光雷达扫描其安装位置固定角度范围的障碍物信息，返回基于自身坐标系的障碍物角度信息和距离点云坐标信息，工业摄像头返回视野内存在的特征图像，超声波传感器根据基于TOF原理实时返回障碍物的距离值来确定激光雷达和工业摄像头的盲区安全信息。
所述的障碍物类型识别模块，将机器人本体所在场景中的特征物体视觉信息整理成该场景下的数据集，利用深度学习中的卷积神经网络YOLO V5算法对该数据集进行训练处理得到算法权值，根据识别出的不同障碍物制作特征语义数据结构，数据结构中包含障碍物的类型、动态特性和可能的动作范围。
所述的耦合信息处理模块，将激光雷达返回的点云信息根据DBSCAN算法完成聚类操作，将工业摄像头的图像坐标系转化到激光雷达扫描坐标系下，完成激光点云与图像信息的位置匹配紧耦合，将工业摄像头进行障碍物识别的目标检测框内激光点云与障碍物类型识别模块中的特征语义数据结构融合，使得激光点云附带图像语义信息与障碍物位姿信息，获得具备特征信息的语义激光。
所述的移动机器人运动规划模块，将激光雷达的扇形扫描范围根据障碍物与机器人本体的距离划分为三层，距机器人本体最近的一层为危险范围，最远的一层为安全范围，剩余部分为减速范围。
所述移动机器人运动规划模块根据机器人本体的建图和导航状态以及障碍物信息发出不同的避障动作指令。
以上一个或多个技术方案存在以下有益效果：
1、将激光雷达、工业摄像头、超声波传感器的数据进行紧耦合，通过深度学习算法赋予雷达点云图像特征信息获得语义激光，使得激光点云不仅带有姿态信息，同时具备障碍物类型、动作范围等信息，改变了传统避障信息的单一性，使移动机器人具备了在未知动态环境中障碍物特征认知的能力，大大提高了整个避障系统的灵活性。
2、将激光点云扫描范围划分为三级避障，不同类型障碍物、不同等级避障范围在移动机器人建图和导航时具备不一样的避障动作，使得移动机器人避障动作更加安全可靠、过程更加平滑，解决了机器人执行作业时的惯性问题。
3、具备区分静态和动态物体的能力，并且根据其运动特性执行不同的避障动作，在保证安全的前提下提高移动机器人作业的效率，使得移动机器人在不同工作场景具备自适应调整的能力。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明一个或多个实施例提供的基于语义激光的移动机器人多级避障系统组成图；
图2是本发明一个或多个实施例提供的AGV多传感器安装布局示意图；
图3是本发明一个或多个实施例提供的AGV多传感器融合避障范围示意图；
图4是本发明一个或多个实施例提供的大厅场景中语义激光示意图；
图5是本发明一个或多个实施例提供的移动机器人多级避障范围划分示意图；
图6是本发明一个或多个实施例提供的基于语义激光的移动机器人多级避障方法总体流程图；
图7是本发明一个或多个实施例提供的基于语义激光的移动机器人建图状态多级避障方法子流程图；
图8是本发明一个或多个实施例提供的基于语义激光的移动机器人导航状态多级避障方法子流程图；
图9是本发明一个或多个实施例提供的基于语义激光的移动机器人导航状态静态障碍物多级避障方法子流程图；
图10是本发明一个或多个实施例提供的基于语义激光的移动机器人导航状态动态障碍物多级避障方法子流程图；
图中：1、2D激光雷达；2、工业摄像头；3、超声传感器。
具体实施方式
以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
正如背景技术中所描述的，传统的机器人避障方式中，超声波、激光雷达传感器是根据声波、激光脉冲从发生器到被测目标之间的往返时间计算出障碍物的距离信息，而视觉、红外传感器多采用三角测距原理计算出障碍物的距离信息。采用上述单一传感器或多传感器融合传统避障方式在静态场景下自主导航性能较为出色，但当工作场景复杂程度较高时，此类传统方式无法识别出障碍物种类特性，当传感器采样频率较低时，移动机器人估计障碍物位姿与实际障碍物位姿产生较大偏差，极易引发安全问题，同时当移动机器人处于导航状态时，无法根据障碍物特性信息做出相应避障调整，致使作业效率降低、安全性下降。
实施例一：
如图1所示，一种基于语义激光的移动机器人多级避障系统，该系统包括多传感器融合特征信息提取模块、障碍物类型识别模块、耦合信息处理模块和移动机器人运动规划模块。
如图2-3所示，将本实施例与自主导引小车(AGV)结合展开阐述，在AGV中本实施例的多传感器融合特征信息提取模块包括两个2D激光雷达、4个单目工业摄像头、4个超声波传感器，图2为整个模块内组成要素的安装位置示意。
其中，2D激光雷达高频扫描其雷达所在安装位置为圆心270°范围内的障碍物信息，返回基于自身坐标系的障碍物角度、距离点云坐标，障碍物最大表示距离为5m。
单目工业摄像头返回其所在安装位置为圆心90°视野内存在的特征图像，为充分获得语义激光信息，两个单目工业摄像头采用60°对底安装，为简化后续模块的信息处理，将2D激光雷达与单目工业摄像头同向安装。
超声波传感器将安装在距离激光雷达扫描平面20cm的位置，根据基于TOF原理实时返回障碍物的距离值来确定上述传感器的盲区安全信息，用做软机械式安全防护装置。
如图3所示为整个AGV多传感器融合避障范围示意图，其中细点画线代表2D激光雷达1的测距范围，双细点画线代表工业摄像头2的测距范围，细实线代表超声传感器3的测距范围。
对于AGV障碍物类型识别模块，首先搜集工业场景内的货架、设备等、工人的图片，然后用Labellmg完成数据集的标注工作，获得AGV工作场景内数据集，在工作站中pytorch环境下利用深度学习中的卷积神经网络YOLO V5算法对该数据集进行训练处理得到前向传播卷积层的权值，将带有权值的前向传播函数移植到AGV工控机中，同时根据场景内不同障碍物制作特征语义数据结构，如表1所示，该结构中包含障碍物的类型、动态特性、可能的动作范围。
表1：指定工作场景内特征语义数据结构
表1中：
(1)类型分类数值是根据场景内训练数据集中障碍物种类的特定编号，每个编号数值代表着一类障碍物且不重复。
(2)运动可能性数值是根据认知理解赋予动态障碍物处于运动状态的可能性数值，数值越大障碍物运动可能性程度越大，且需根据AGV工作场景的不同提前制定约束，数值为非零值。
(3)固有动作范围指的是像电梯、旋转设备在固定区域内作业的范围大小，随机动作范围指的是像人等高动态无法规定运动范围的类型。
对于AGV的耦合信息处理模块是在工控机中运行的一种方法，首先将2D激光雷达、2个工业单目摄像头进行联合标定，确定传感器的内部参数，然后将2D激光雷达返回的点云信息根据DBSCAN算法完成聚类操作来增加障碍物信息的可读性、正确性，接着将单目工业摄像头的图像坐标系转化到2D激光雷达扫描坐标系下，完成激光点云与图像信息的位置匹配紧耦合，将工业摄像头进行障碍物识别的目标检测框内激光点云与障碍物类型识别模块中的特征语义数据结构融合，使得激光点云附带图像语义信息与障碍物位姿信息，获得具备更多特征信息的语义激光。
如图4所示为AGV在大厅环境下的扫描图，其中环境内有数据集中训练的行人、花坛、墙的数据信息，对于图中这一帧激光点云，圆框内表示的行人，方框内表示的是花坛。
AGV运动规划模块的运动规划方法是将激光雷达的扇形扫描范围根据与AGV的距离划分为三层，如图5所示，将激光雷达扫描范围分成了安全范围、减速范围、危险范围，对应的数据报文值为0、1、2，即当下位机解算出can通讯传来的值为0时，此刻安全范围存在障碍物，其他值方式相同。
实施例二:
一种基于语义激光的移动机器人多级避障方法，同样将本实施例与自主导引小车(AGV)结合展开阐述，如图6所示，是AGV 4模块协同工作进行多级避障的总流程图，图7、8、9、10则是其的子流程，总流程包括以下步骤：
依据机器人本体上的激光雷达和工业摄像头获取的信息，耦合后使得机器人本体识别障碍物的特征信息；
将激光雷达的扇形扫描范围根据障碍物与机器人本体的距离划分为三层，距机器人本体最近的一层为危险范围，最远的一层为安全范围，剩余部分为减速范围；
判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生不同的避障动作。
如图7所示，当AGV处于建图状态时，若障碍物存在于最外面两层扫描范围时，语义激光判断障碍物类型为墙、花坛、货架、立柱等静态障碍物，AGV正常移动，否则进入导航状态，若障碍物存在于最内层扫描范围或触发固定阈值的超声波传感器时，AGV停止动作并发出警报声，提醒控制人员及时调整AGV的位姿继续建图工作。
如图8、9所示，当AGV处于导航状态且语义激光判断障碍物为静态时，如工厂环境中的墙、立柱等，障碍物存在于最外面一层扫描范围时，AGV正常移动且发出警报；当障碍物存在于中间一层扫描范围时，AGV会根据障碍物的位姿做出相应的减速并发出警报；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，AGV停止动作，通过DWA算法重新规划路径。
如图10所示，当AGV处于导航状态且语义激光范围内判断存在动态障碍物且处于最外面两层扫描范围时，判断其动态特性为固定范围动作，如电梯、门等，则将动作范围内的动作全部模拟为静态障碍物，再次进入静态障碍物运动规划中完成判断，若判断其动态特性为具有随机范围动作，如人，通过捕获多帧语义激光判断该物体的运动特性；若该物体处于远离AGV状态，则不减速，若该物体为静止状态，则返回静态障碍物运动规划中判断；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，AGV停止动作，通过DWA算法重新规划路径。
将激光雷达、工业摄像头、超声波传感器的数据进行紧耦合，通过深度学习算法赋予雷达点云图像特征信息获得语义激光，使得激光点云不仅带有姿态信息，同时具备障碍物类型、动作范围等信息，改变了传统避障信息的单一性，使移动机器人具备了在未知动态环境中障碍物特征认知的能力，大大提高了整个避障系统的灵活性。
将激光点云扫描范围划分为三级避障，不同类型障碍物、不同等级避障范围在移动机器人建图和导航时具备不一样的避障动作，使得移动机器人避障动作更加安全可靠、过程更加平滑，解决了机器人执行作业时的惯性问题。
使移动机器人具备区分静态和动态物体的能力，并且根据物体的运动特性执行不同的避障动作，在保证安全的前提下提高移动机器人作业的效率，使得移动机器人在不同工作场景具备自适应调整的能力。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于语义激光的移动机器人多级避障方法，其特征在于：包括以下步骤：
依据机器人本体上的激光雷达和工业摄像头获取的信息，通过深度学习和坐标转换获取障碍物的特征信息；
根据障碍物与机器人本体的距离将激光雷达的扫描范围划分为三层，距机器人本体最近的一层为危险范围，最远的一层为安全范围，剩余部分为减速范围；
判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生相应的避障动作。
2.如权利要求1所述的一种基于语义激光的移动机器人多级避障方法，其特征在于：当机器人本体处于建图状态，依据障碍物特征信息，产生相应的避障动作，具体为：
当机器人本体处于建图状态，若障碍物存在于最外面两层扫描范围时，语义激光判断障碍物类型，否则进入导航状态；若障碍物存在于最内层扫描范围或触发固定阈值的超声波传感器时，机器人本体停止动作并发出警报。
3.如权利要求1所述的一种基于语义激光的移动机器人多级避障方法，其特征在于：当机器人本体处于导航状态，依据障碍物特征信息，产生相应的避障动作，具体为：
当机器人本体处于导航状态且语义激光判断障碍物为静态，障碍物存在于最外面一层扫描范围时，机器人本体正常移动且发出警报；当障碍物存在于中间一层扫描范围时，机器人本体根据障碍物位姿减速并发出警报；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，移动机器人停止动作，通过DWA算法重新规划路径。
4.如权利要求1所述的一种基于语义激光的移动机器人多级避障方法，其特征在于：当机器人本体处于导航状态，依据障碍物特征信息，产生相应的避障动作，还包括：
当机器人本体处于导航状态且语义激光范围内判断存在动态障碍物，同时障碍物处于最外面两层扫描范围时，判断其动态特性为固定范围动作，将动作范围内的动作全部模拟为静态障碍物，再次进入静态障碍物运动规划过程中完成判断；若判断障碍物的动态特性为随机范围动作，通过捕获多帧语义激光判断该物体的运动特性；
若该障碍物处于远离机器人本体的状态，则机器人本体正常动作，若该障碍物为静止状态，则返回静态障碍物运动规划中判断；当障碍物存在于最内一层或触发固定阈值的超声波传感器时，机器人本体停止动作，通过DWA算法重新规划路径。
5.一种基于权利要求1所述方法的系统，其特征在于：包括机器人本体上安装的多传感器融合特征信息提取模块、障碍物类型识别模块、耦合信息处理模块和移动机器人运动规划模块；
多传感器融合特征信息提取模块利用激光雷达和工业摄像头提取雷达点云信息和图像信息，障碍物类型识别模块利用深度学习获得障碍物的特征信息，耦合信息处理模块通过坐标转换获得语义激光，使得激光雷达识别障碍物的特征信息；
移动机器人运动规划模块根据障碍物与机器人本体的距离将激光雷达的扫描范围划分为三层，判断机器人本体是否处于建图状态，依据障碍物特征信息在机器人本体建图状态和导航状态时产生相应的避障动作。
6.如权利要求5所述的一种基于语义激光的移动机器人多级避障系统，其特征在于：所述多传感器融合特征信息提取模块包括激光雷达、工业摄像头、超声波传感器，激光雷达与单目工业摄像头同向安装，超声波传感器安装在激光雷达扫描范围内，且距离激光雷达一定距离。
7.如权利要求5所述的一种基于语义激光的移动机器人多级避障系统，其特征在于：所述激光雷达扫描其安装位置固定角度范围的障碍物信息，返回基于自身坐标系的障碍物角度信息和距离点云坐标信息，工业摄像头返回视野内存在的特征图像，超声波传感器实时返回障碍物的距离值确定激光雷达和工业摄像头的盲区安全信息。
8.如权利要求5所述的一种基于语义激光的移动机器人多级避障系统，其特征在于：所述障碍物类型识别模块，将机器人本体所在场景中的特征物体视觉信息整理成该场景下的数据集，利用深度学习对数据集进行训练处理得到算法权值，根据识别出的不同障碍物制作特征语义数据结构，数据结构中包含障碍物的类型、动态特性和可能的动作范围。
9.如权利要求5所述的一种基于语义激光的移动机器人多级避障系统，其特征在于：所述耦合信息处理模块，将激光雷达返回的点云信息聚类，将工业摄像头的图像坐标系转化到激光雷达扫描坐标系下，完成激光点云与图像信息的位置匹配紧耦合，将工业摄像头进行障碍物识别的目标检测框内激光点云与障碍物类型识别模块中的特征语义数据结构融合，使得激光点云附带图像语义信息与障碍物位姿信息，获得具备特征信息的语义激光。
10.如权利要求5所述的一种基于语义激光的移动机器人多级避障系统，其特征在于：所述移动机器人运动规划模块，将激光雷达的扇形扫描范围根据障碍物与机器人本体的距离划分为三层，距机器人本体最近的一层为危险范围，最远的一层为安全范围，剩余部分为减速范围。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098476.3A CN112859873B (zh) | 2021-01-25 | 2021-01-25 | 一种基于语义激光的移动机器人多级避障系统及方法 |
| AU2021266203A AU2021266203B2 (en) | 2021-01-25 | 2021-11-09 | Semantic laser-based multilevel obstacle avoidance system and method for mobile robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110098476.3A CN112859873B (zh) | 2021-01-25 | 2021-01-25 | 一种基于语义激光的移动机器人多级避障系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112859873A true CN112859873A (zh) | 2021-05-28 |
| CN112859873B CN112859873B (zh) | 2022-11-25 |
Family
ID=76008770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110098476.3A Active CN112859873B (zh) | 2021-01-25 | 2021-01-25 | 一种基于语义激光的移动机器人多级避障系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112859873B (zh) |
| AU (1) | AU2021266203B2 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113589829A (zh) * | 2021-09-29 | 2021-11-02 | 江苏天策机器人科技有限公司 | 一种移动机器人的多传感器区域避障方法 |
| CN114397638A (zh) * | 2022-01-22 | 2022-04-26 | 深圳市神州云海智能科技有限公司 | 一种激光雷达数据中动态数据的过滤方法及系统 |
| CN114571450A (zh) * | 2022-02-23 | 2022-06-03 | 达闼机器人股份有限公司 | 机器人控制方法、装置及存储介质 |
| CN114815821A (zh) * | 2022-04-19 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于多线激光雷达的室内自适应全景避障方法及系统 |
| CN114994634A (zh) * | 2022-05-18 | 2022-09-02 | 盐城中科高通量计算研究院有限公司 | 一种巡逻车激光雷达探坑算法 |
| CN115185285A (zh) * | 2022-09-06 | 2022-10-14 | 深圳市信诚创新技术有限公司 | 吸尘机器人的自动避障方法、装置、设备及存储介质 |
| CN116466723A (zh) * | 2023-04-26 | 2023-07-21 | 曲阜师范大学 | 一种消杀机器人避障方法、系统和设备 |
| CN117697760A (zh) * | 2024-01-03 | 2024-03-15 | 佛山科学技术学院 | 一种机器人安全运动控制方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110054689A1 (en) * | 2009-09-03 | 2011-03-03 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| CN106774334A (zh) * | 2016-12-30 | 2017-05-31 | 云南昆船智能装备有限公司 | 一种多激光扫描器的激光导引agv导航定位方法及装置 |
| CN107966989A (zh) * | 2017-12-25 | 2018-04-27 | 北京工业大学 | 一种机器人自主导航系统 |
| CN108710376A (zh) * | 2018-06-15 | 2018-10-26 | 哈尔滨工业大学 | 基于多传感器融合的slam与避障的移动底盘 |
| CN108803588A (zh) * | 2017-04-28 | 2018-11-13 | 深圳乐动机器人有限公司 | 机器人的控制系统 |
| CN110147106A (zh) * | 2019-05-29 | 2019-08-20 | 福建（泉州）哈工大工程技术研究院 | 具激光和视觉融合避障系统的智能移动服务机器人 |
| CN110673614A (zh) * | 2019-10-25 | 2020-01-10 | 湖南工程学院 | 基于云服务器的小型机器人组的建图系统及建图方法 |
| CN110833357A (zh) * | 2018-08-15 | 2020-02-25 | 格力电器（武汉）有限公司 | 障碍物识别方法及装置 |
| CN110874102A (zh) * | 2020-01-16 | 2020-03-10 | 天津联汇智造科技有限公司 | 一种移动机器人虚拟安全防护区域保护系统以及方法 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及系统 |
| CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
| CN111880525A (zh) * | 2020-06-15 | 2020-11-03 | 北京旷视机器人技术有限公司 | 机器人避障方法、装置、电子设备及可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108663681B (zh) * | 2018-05-16 | 2021-01-19 | 华南理工大学 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
-
2021
- 2021-01-25 CN CN202110098476.3A patent/CN112859873B/zh active Active
- 2021-11-09 AU AU2021266203A patent/AU2021266203B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110054689A1 (en) * | 2009-09-03 | 2011-03-03 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| CN106774334A (zh) * | 2016-12-30 | 2017-05-31 | 云南昆船智能装备有限公司 | 一种多激光扫描器的激光导引agv导航定位方法及装置 |
| CN108803588A (zh) * | 2017-04-28 | 2018-11-13 | 深圳乐动机器人有限公司 | 机器人的控制系统 |
| CN107966989A (zh) * | 2017-12-25 | 2018-04-27 | 北京工业大学 | 一种机器人自主导航系统 |
| CN108710376A (zh) * | 2018-06-15 | 2018-10-26 | 哈尔滨工业大学 | 基于多传感器融合的slam与避障的移动底盘 |
| CN110833357A (zh) * | 2018-08-15 | 2020-02-25 | 格力电器（武汉）有限公司 | 障碍物识别方法及装置 |
| CN110147106A (zh) * | 2019-05-29 | 2019-08-20 | 福建（泉州）哈工大工程技术研究院 | 具激光和视觉融合避障系统的智能移动服务机器人 |
| CN110673614A (zh) * | 2019-10-25 | 2020-01-10 | 湖南工程学院 | 基于云服务器的小型机器人组的建图系统及建图方法 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及系统 |
| CN110874102A (zh) * | 2020-01-16 | 2020-03-10 | 天津联汇智造科技有限公司 | 一种移动机器人虚拟安全防护区域保护系统以及方法 |
| CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
| CN111880525A (zh) * | 2020-06-15 | 2020-11-03 | 北京旷视机器人技术有限公司 | 机器人避障方法、装置、电子设备及可读存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113589829A (zh) * | 2021-09-29 | 2021-11-02 | 江苏天策机器人科技有限公司 | 一种移动机器人的多传感器区域避障方法 |
| CN114397638A (zh) * | 2022-01-22 | 2022-04-26 | 深圳市神州云海智能科技有限公司 | 一种激光雷达数据中动态数据的过滤方法及系统 |
| CN114571450A (zh) * | 2022-02-23 | 2022-06-03 | 达闼机器人股份有限公司 | 机器人控制方法、装置及存储介质 |
| CN114815821A (zh) * | 2022-04-19 | 2022-07-29 | 山东亚历山大智能科技有限公司 | 基于多线激光雷达的室内自适应全景避障方法及系统 |
| CN114815821B (zh) * | 2022-04-19 | 2022-12-09 | 山东亚历山大智能科技有限公司 | 基于多线激光雷达的室内自适应全景避障方法及系统 |
| CN114994634A (zh) * | 2022-05-18 | 2022-09-02 | 盐城中科高通量计算研究院有限公司 | 一种巡逻车激光雷达探坑算法 |
| CN115185285A (zh) * | 2022-09-06 | 2022-10-14 | 深圳市信诚创新技术有限公司 | 吸尘机器人的自动避障方法、装置、设备及存储介质 |
| CN116466723A (zh) * | 2023-04-26 | 2023-07-21 | 曲阜师范大学 | 一种消杀机器人避障方法、系统和设备 |
| CN117697760A (zh) * | 2024-01-03 | 2024-03-15 | 佛山科学技术学院 | 一种机器人安全运动控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2021266203B2 (en) | 2023-01-19 |
| CN112859873B (zh) | 2022-11-25 |
| AU2021266203A1 (en) | 2022-08-11 |
| AU2021266203A9 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112859873B (zh) | 一种基于语义激光的移动机器人多级避障系统及方法 | |
| Sato et al. | Multilayer lidar-based pedestrian tracking in urban environments | |
| CN110147106A (zh) | 具激光和视觉融合避障系统的智能移动服务机器人 | |
| CN111693050B (zh) | 基于建筑信息模型的室内中大型机器人导航方法 | |
| CN208953962U (zh) | 一种机器人感知系统及机器人 | |
| AU2011352997A1 (en) | Mobile human interface robot | |
| CN111949032A (zh) | 一种基于强化学习的3d避障导航系统及方法 | |
| An et al. | Development of mobile robot SLAM based on ROS | |
| Yuan et al. | An automated 3D scanning algorithm using depth cameras for door detection | |
| Kenk et al. | Human-aware Robot Navigation in Logistics Warehouses. | |
| EP3842885A1 (en) | Autonomous movement device, control method and storage medium | |
| Zeng et al. | Mobile robot exploration based on rapidly-exploring random trees and dynamic window approach | |
| CN111026121A (zh) | 智能清扫车多层次立体避障控制方法及装置 | |
| Wei et al. | Building a local floor map by use of ultrasonic and omni-directional vision sensors | |
| Gu et al. | Range sensor overview and blind-zone reduction of autonomous vehicle shuttles | |
| Li et al. | Mobile robot map building based on laser ranging and kinect | |
| Kim et al. | Improvement of Door Recognition Algorithm using Lidar and RGB-D camera for Mobile Manipulator | |
| CN114661051A (zh) | 一种基于rgb-d的前置避障系统 | |
| Ghidary et al. | Localization and approaching to the human by mobile home robot | |
| Yu et al. | Indoor Localization Based on Fusion of AprilTag and Adaptive Monte Carlo | |
| CN111352128B (zh) | 一种基于融合点云的多传感器融合感知方法与系统 | |
| CN112947426A (zh) | 基于多传感融合的清洁机器人运动控制系统及方法 | |
| AU2015202200A1 (en) | Mobile human interface robot | |
| Abadi et al. | Side sonar vision applied to Omni-directional images to navigate mobile robots | |
| Canh et al. | Multisensor data fusion for reliable obstacle avoidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |