CN112000099A - 动态环境下协作机器人柔性路径规划方法 - Google Patents
动态环境下协作机器人柔性路径规划方法 Download PDFInfo
- Publication number
- CN112000099A CN112000099A CN202010866965.4A CN202010866965A CN112000099A CN 112000099 A CN112000099 A CN 112000099A CN 202010866965 A CN202010866965 A CN 202010866965A CN 112000099 A CN112000099 A CN 112000099A
- Authority
- CN
- China
- Prior art keywords
- robot
- environment
- path
- algorithm
- safety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000004888 barrier function Effects 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 5
- 238000013138 pruning Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Abstract
本发明属于机器人技术领域，提供了一种动态环境下协作机器人柔性路径规划方法，使机器人在障碍物动态变化环境下既能保证安全性，又具有主观能动性。本发明根据实际环境的特点，设计的动态路径规划系统适用于室内人机协作工厂。搭建语义分割模型并采用标注好的真实室内环境图片进行训练，然后将结果与边缘检测相结合，获得的模型结果精度较高，能够准确的将环境模型与实际环境匹配，保证路径规划的安全性。使用目标选择概率调整RRT*算法的搜索速度，通过剪枝操作使得到的路径更简洁并提高了效率。将真实的环境模拟为人造引力场，并利用斥力作用引导机器人快速躲避障碍物，该方法能在100毫秒内获得修正的路径，保证了机器人前进途中的安全。
Description
技术领域
本发明属于机器人技术领域，尤其涉及高随机性动态环境中协作机器人的路径规划问题。
背景技术
随着工业机器人的迅猛发展，人机协作已逐渐成为现代工业机器人的主要工作模式。
传统的人与机器的工作模式中，为了保证人类工作者的安全，将机器人隔离开来，二者各自完成工作。但是这种模式下，机器人能完成的工作种类有限，且适应性、灵活性差，并未给人类工作者带来实质上的帮助。在新一代人与机器的工作模式中，人与机器协同工作，互相帮助，可以实现安全的人机交互，具有高效生产、高灵活性、高可靠性等优点。由于机器人并不能完全代替人，在很多工作上还是需要人来支配，所以人和机器共同协作才是未来的趋势，并且利用协作机器人能够进一步缩短产品的周期，提高生产效率。人机协作机器人将开启人和机器协同工作的新时代。
人机协作系统中机器人与人的交互即机器人的移动给机器人技术带来了新的挑战，因为机器人和人类工作者在系统中直接相互作用。人与机器人之间成功合作的先决条件是保证人类的安全。同时，确保机器人与人类以最佳性能协作也是重要的，即机器人运动应该既安全又高效。在定义明确且具有确定性的环境中，现有技术可以实现安全性并且保证效率，比如让机器人沿着固定轨道到达固定位置。然而，与人类工作者的互动给系统带来了很多不确定性。此外，机载计算能力受到限制，以限制机器人在实时交互期间能够考虑的可能的情况。这些都是开发协同机器人面临的主要挑战。
动态环境中的运动规划是一项具有挑战性的任务。在工业系统的人机协作工厂中，机器人运动规划的两大挑战是安全和效率。为了保证机器人运动过程中的安全，不仅要确保机器人无碰撞，还必须设置安全距离，即机器人在移动过程中能够与环境中的其他事物、或者人保持一定的距离。此外，有些障碍物并不是静止的，例如其他移动机器人与人类工作者。因此，必须排除与移动事物碰撞的危险，在机器人沿着规划好的路径前进时需要时刻关注周围环境，注意下一步是否仍然安全。检测到碰撞即停止的控制方式使机器人丧失主观能动性，导致机器人的暂停工作，降低了工作效率。因此，检测到碰撞之后必须及时做出反应，适当地改变路径，而不是停止前进或随意改变方向。
因此，在计算能力有限且环境动态不确定的情况下控制协同机器人的行为，以便在保证安全的同时最大化任务效率是必要的，是人机协作系统的成功开发面临的首要挑战。研究机器人柔性路径规划方法，使机器人在动态环境中不但能保持自身的主观能动性，又能够保证安全性和高效性到达目的地是必要的。
发明内容
本发明主要解决人机协作机器人在动态环境中的运动规划问题，提出融合快速搜索随机树与人工势场的路径搜索算法，构建了机器人柔性路径规划策略与方法，使机器人在障碍物动态变化环境下既能保证安全性，又具有主观能动性，本发明实现了障碍物动态变化环境中，不改变机器人运动速度前提下，100毫秒级安全避障。
本发明的技术方案如下：
动态环境下协作机器人柔性路径规划方法，步骤如下：
(1)将真实环境转化为环境几何模型用于路径规划：障碍物和安全区域分别抽象为与实际物体匹配的几何形状，并且位置坐标与实际环境匹配，机器人抽象为质点；环境几何模型由基于视觉的语义分割与边缘检测相结合的安全区域识别算法来获得，语义分割模型由神经网络搭建，采用室内图像训练集进行训练，将捕捉到的视频帧RGB图像转化为灰度图像表示的几何模型；图像中障碍物用像素值为0表示，坐标与像素位置对应，安全区域则用像素值255表示；再采用边缘检测技术，对捕捉到的视频帧RGB图像进行边缘识别来更好区分障碍物和安全区域；
(2)将真实环境转化为环境模型后，使用改进的快速搜索随机树(Rapidly-exploring Random Tree，RRT*)与人工势场融合算法，以安全和高效为目的进行路径搜索；RRT*算法先进行随机搜索来得到初始路径，通过设置算法的目标选择概率改进RRT*算法高随机性导致效率下降的问题，同时对当前算法得到路径进行剪枝操作，解决RRT*算法对搜索次数要求较高的问题；如果障碍物不是运动的，则直接由RRT*算法得到路径；如果存在运动的障碍物，沿路径运动时可能会离障碍物过近，通过将当前环境模拟为人造引力场来实现前进过程中机器人快速躲避前方距离过近的障碍物，利用一定范围内障碍物对机器人产生的斥力作用引导机器人进行躲避，迅速得到修正后的路径段，然后机器人改变方向前进的同时使用改进的RRT*算法进行剩余路径的搜索；该改进的RRT*与人工势场融合算法保证机器人前进过程中的安全，并且能使机器人具有主观能动性，在不改变前进速度的情况下及时的躲避障碍物，具有较强的鲁棒性，适用于人机协作工厂这种障碍物移动随机性较强的环境。
本发明的有益效果：
(1)本发明根据实际环境的特点，设计了一整套动态路径规划系统，适用于室内人机协作工厂。
(2)搭建语义分割模型并采用标注好的真实室内环境图片进行训练，然后将结果与边缘检测相结合，获得的模型结果精度较高，能够准确的将环境模型与实际环境匹配，保证路径规划的安全性。
(3)使用目标选择概率调整RRT*算法的搜索速度，通过剪枝操作使得到的路径更简洁并提高了效率。
(4)将真实的环境模拟为人造引力场，并利用斥力作用引导机器人快速躲避障碍物，该方法能在100毫秒内获得修正的路径，保证了机器人前进途中的安全。
附图说明
图1为机器人前进流程图。
图2为路径规划系统框图。
图3为基于视觉的环境模型抽象方法示意图。
图4语义分割模型网络结构图，图中，
图5为数据集展示。
图6为语义分割与边缘检测结果对比图。
图7为剪枝操作示意图。
图8为人造引力场进行路径修正示意图。
图9为动态仿真实验中改进RRT*与人工势场混合算法进行修正过程的截图。
图10为仿真实验模拟当前室内环境。
图11为新增单个障碍物的修正效果图。
图12为新增多个障碍物的修正效果图。
具体实施方式
下面结合附图对本发明的具体实施做进一步详述：
如图1所示为机器人前进的流程图，首先初始化任务的起点和终点，然后实时的通过摄像设备观测当前环境，并使用环境模型抽象算法将捕捉到的环境视频帧转化为环境模型。然后在得到的环境模型中进行路径规划得到初始路径，机器人沿着初始路径前进，并在前进途中根据环境的变化实时监测是否有与障碍物发生碰撞的危险。一旦检测到有障碍物距离过近，即刻使用避障策略进行路径修正，直到机器人安全到达目的地。
如图2所示为路径规划的系统框图。该系统的输入即为周围环境，输出为机器人路径。首先使用基于视觉的图像语义分割与边缘检测相结合的方法如图3所示，以安全和高效为目的，进行实时的安全区域识别和障碍物检测，得到由灰度图像表示的几何模型。图4为构建语义分割模型采用的网络结构，使用七层卷积层以及三层池化层进行特征提取，相应的使用7层反卷积层和三层上采样层获得与原图尺寸相同的灰度图像。图5为截取的部分训练集图像，一共有400张图像用来训练，尺寸为240*160。然后在该环境模型中使用改进的RRT*与人工势场混合算法在动态环境中以安全和高效为目的进行实时的路径修正。
为了进一步验证本发明算法的性能和效果，下面通过使用python进行仿真实验对本发明做进一步说明：
假设当前的室内环境情况如附图10所示。该环境模型的尺寸为100*100，设置机器人起点为(5,5)，目标点坐标为(95,95)，蓝色障碍物的位置和移动速度均未知。假设机器人在该环境中匀速前进，速度为8个单位长度每秒。设置机器人前进时与障碍物的安全距离为4。
首先在该环境中使用改进RRT*算法得到初始路径，然后新增障碍物遮挡路径，即在机器人沿路径前进过程中将发生碰撞，使机器人沿路径前进并在检测到潜在碰撞时使用改进的RRT*与人工势场混合算法进行路径修正，结果如图11所示，该修正过程花费的时间不足0.1秒。为探究更复杂情况下的修正效果，将新增障碍物数量增加到3个，使机器人此时不得不较大的改变方向，如图12所示，此时改进的RRT*与人工势场混合算法依旧可以在0.1s内及时修正路径并成功获得剩余路径，验证了算法的有效性，且能够保证安全性。
此外，设计动态仿真实验来体现算法的效果。假设使用RRT*算法得到初始路径的时间点为0，如图9所示，当t＝0时，得到前进路径，且该路径的任意位置都与任意障碍物保持安全距离然后机器人沿着该路径前进，如果在前进过程中障碍物状态不变，或者障碍物一直都与机器人保持安全距离，那么路径将无需改变，机器人可以顺利到达终点。而当障碍物与机器人距离过近时，将使用改进的RRT*与人工势场混合算法对路径进行修正，图9中，t＝6.3秒时，进行了第一次路径修正，并成功获得剩余路径。当t＝7.8秒和t＝8.9秒时，又分别进行了一次修正，即再次检测到了障碍物距离过近。因此可以得出结论，该算法可以有效应对随机移动的障碍物造成的多次阻碍，可以及时的进行路径修正而无需降低机器人的速度，可以保证机器人的工作效率，具有鲁棒性，适用于人机协作工厂这种障碍物随机性较强，且对安全性和高效性要求较高的场景中。
Claims (1)
1.一种动态环境下协作机器人柔性路径规划方法，其特征在于，步骤如下：
(1)将真实环境转化为环境几何模型用于路径规划：障碍物和安全区域分别抽象为与实际物体匹配的几何形状，并且位置坐标与实际环境匹配，机器人抽象为质点；环境几何模型由基于视觉的语义分割与边缘检测相结合的安全区域识别算法来获得，语义分割模型由神经网络搭建，采用室内图像训练集进行训练，将捕捉到的视频帧RGB图像转化为灰度图像表示的几何模型；图像中障碍物用像素值为0表示，坐标与像素位置对应，安全区域则用像素值255表示；再采用边缘检测技术，对捕捉到的视频帧RGB图像进行边缘识别来更好区分障碍物和安全区域；
(2)将真实环境转化为环境模型后，使用改进的快速搜索随机树与人工势场融合算法，以安全和高效为目的进行路径搜索；RRT*算法先进行随机搜索来得到初始路径，通过设置算法的目标选择概率改进RRT*算法高随机性导致效率下降的问题，同时对当前算法得到路径进行剪枝操作，解决RRT*算法对搜索次数要求较高的问题；如果障碍物不是运动的，则直接由RRT*算法得到路径；如果存在运动的障碍物，沿路径运动时可能会离障碍物过近，通过将当前环境模拟为人造引力场来实现前进过程中机器人快速躲避前方距离过近的障碍物，利用一定范围内障碍物对机器人产生的斥力作用引导机器人进行躲避，迅速得到修正后的路径段，然后机器人改变方向前进的同时使用改进的RRT*算法进行剩余路径的搜索；该改进的RRT*与人工势场融合算法保证机器人前进过程中的安全，并且能使机器人具有主观能动性，在不改变前进速度的情况下及时的躲避障碍物，具有较强的鲁棒性，适用于人机协作工厂这种障碍物移动随机性较强的环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866965.4A CN112000099A (zh) | 2020-08-26 | 2020-08-26 | 动态环境下协作机器人柔性路径规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866965.4A CN112000099A (zh) | 2020-08-26 | 2020-08-26 | 动态环境下协作机器人柔性路径规划方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112000099A true CN112000099A (zh) | 2020-11-27 |
Family
ID=73471883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010866965.4A Pending CN112000099A (zh) | 2020-08-26 | 2020-08-26 | 动态环境下协作机器人柔性路径规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112000099A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113268065A (zh) * | 2021-07-19 | 2021-08-17 | 山东华力机电有限公司 | 基于人工智能的agv自适应转弯避障方法、装置及设备 |
| CN113341984A (zh) * | 2021-06-15 | 2021-09-03 | 桂林电子科技大学 | 基于改进rrt算法的机器人路径规划方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9995589B2 (en) * | 2016-02-24 | 2018-06-12 | Honda Motor Co., Ltd. | Path plan generating apparatus for mobile body |
| CN108229504A (zh) * | 2018-01-29 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像解析方法及装置 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110570427A (zh) * | 2019-07-19 | 2019-12-13 | 武汉珈和科技有限公司 | 一种融合边缘检测的遥感影像语义分割方法及装置 |
| CN111462149A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于视觉显著性的实例人体解析方法 |
-
2020
- 2020-08-26 CN CN202010866965.4A patent/CN112000099A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9995589B2 (en) * | 2016-02-24 | 2018-06-12 | Honda Motor Co., Ltd. | Path plan generating apparatus for mobile body |
| CN108229504A (zh) * | 2018-01-29 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像解析方法及装置 |
| CN109800736A (zh) * | 2019-02-01 | 2019-05-24 | 东北大学 | 一种基于遥感影像和深度学习的道路提取方法 |
| CN110570427A (zh) * | 2019-07-19 | 2019-12-13 | 武汉珈和科技有限公司 | 一种融合边缘检测的遥感影像语义分割方法及装置 |
| CN111462149A (zh) * | 2020-03-05 | 2020-07-28 | 中国地质大学（武汉） | 一种基于视觉显著性的实例人体解析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘晓东: ""室内轮式机器人避障算法的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 动态环境下协作机器人柔性路径规划方法: ""结合边缘检测的语义分割算法"", 《计算机工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113341984A (zh) * | 2021-06-15 | 2021-09-03 | 桂林电子科技大学 | 基于改进rrt算法的机器人路径规划方法和装置 |
| CN113268065A (zh) * | 2021-07-19 | 2021-08-17 | 山东华力机电有限公司 | 基于人工智能的agv自适应转弯避障方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hundt et al. | “good robot!”: Efficient reinforcement learning for multi-step visual tasks with sim to real transfer | |
| Lacevic et al. | Safety assessment and control of robotic manipulators using danger field | |
| CN107891425B (zh) | 智能双臂安全协作人机共融型机器人系统的控制方法 | |
| Raheja et al. | Real-time robotic hand control using hand gestures | |
| Yuan et al. | Multisensor-based navigation and control of a mobile service robot | |
| CN112000099A (zh) | 动态环境下协作机器人柔性路径规划方法 | |
| CN105945947A (zh) | 基于手势控制的机器人写字系统及其控制方法 | |
| Kästner et al. | A 3d-deep-learning-based augmented reality calibration method for robotic environments using depth sensor data | |
| Bersan et al. | Semantic map augmentation for robot navigation: A learning approach based on visual and depth data | |
| Hata et al. | AI-based safety analysis for collaborative mobile robots | |
| Cheng et al. | Human-robot interaction method combining human pose estimation and motion intention recognition | |
| Gulde et al. | RoPose: CNN-based 2D pose estimation of industrial robots | |
| Li et al. | Hybrid trajectory replanning-based dynamic obstacle avoidance for physical human-robot interaction | |
| Zhang et al. | Enabling collaborative assembly between humans and robots using a digital twin system | |
| Teke et al. | Real-time and robust collaborative robot motion control with Microsoft Kinect® v2 | |
| Nasti et al. | Obstacle avoidance during robot navigation in dynamic environment using fuzzy controller | |
| CN112757274B (zh) | 一种面向人机协同操作的动力学融合行为安全算法及系统 | |
| Ardizzone et al. | Pose classification using support vector machines | |
| Kornuta et al. | Behavior-based control system of a robot actively recognizing hand postures | |
| Yoshida et al. | “Give me the purple ball”-he said to HRP-2 N. 14 | |
| Jayasurya et al. | Gesture controlled AI-robot using Kinect | |
| Lu et al. | System of robot learning from multi-modal demonstration and natural language instruction | |
| Ye et al. | Design of Industrial Robot Teaching System Based on Machine Vision | |
| Cintas et al. | Robust behavior and perception using hierarchical state machines: A pallet manipulation experiment | |
| Van Eden et al. | An overview of robot vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |