CN117213501A - 一种基于分布式模型预测的机器人避障规划方法 - Google Patents
一种基于分布式模型预测的机器人避障规划方法 Download PDFInfo
- Publication number
- CN117213501A CN117213501A CN202311484411.8A CN202311484411A CN117213501A CN 117213501 A CN117213501 A CN 117213501A CN 202311484411 A CN202311484411 A CN 202311484411A CN 117213501 A CN117213501 A CN 117213501A
- Authority
- CN
- China
- Prior art keywords
- robot
- state
- obstacle avoidance
- point
- cost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000009471 action Effects 0.000 claims abstract description 8
- 230000008901 benefit Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于分布式模型预测的机器人避障规划方法，包括如下步骤：S1，在笛卡尔坐标系中建立以机器人所获得的状态信息为目标位置的相对自身的极坐标位置模型；S2，采用分布式模型对机器人目标位置与包含障碍物的工作空间进行建模，得到机器人动作空间模型；S3，基于极坐标位置模型，采用马尔可夫决策过程来预测机器人在动作空间模型中的下一状态，得到下一状态值；S4，采用代价函数将下一状态值进行搜索迭代，输出机器人执行的运动点，形成机器人避障运动路径。本发明解决了现有机器人在复杂环境的避障问题，降低了计算量，且所采用的分布式预测模型收敛速度更好，可重复性更高。因此，适宜推广应用。
Description
技术领域
本发明属于机器人控制技术领域，具体地说，是涉及一种基于分布式模型预测的机器人避障规划方法。
背景技术
当前随着人工智能领域的研究和应用不断推广和深入，使得移动机器人在制造业中得到广泛应用。移动机器人移动时必须具备避障路径规划能力，按所规划的最短路径执行操作。移动机器人移动时避障的路径规划求解方法，一直是学术界与工程应用界的研究热点。
目前，移动机器人移动时避障的路径规划求解方法有很多，如基于行为方法、遗传算法、蚁群算法、神经网络、可视图法等方法。但是，上述移动机器人移动时避障的路径规划求解方法存在耗时较长，无法为移动机器人及时提供有效的规划路径结果，降低机器人执行端避障的路径规划方法的时效性。
发明内容
本发明的目的在于提供一种基于分布式模型预测的机器人避障规划方法，主要解决现有机器人避障模型在环境复杂的情况下调整效果不佳，不适用于动态环境的问题。
为实现上述目的，本发明采用的技术方案如下：
一种基于分布式模型预测的机器人避障规划方法，包括如下步骤：
S1，在笛卡尔坐标系中建立以机器人所获得的状态信息为目标位置的相对自身的极坐标位置模型；
S2，采用分布式模型对机器人目标位置与包含障碍物的工作空间进行建模，得到机器人动作空间模型；
S3，基于极坐标位置模型，采用马尔可夫决策过程来预测机器人在动作空间模型中的下一状态，得到下一状态值；
S4，采用代价函数将下一状态值进行搜索迭代，输出机器人执行的运动点，形成机器人避障运动路径。
进一步地，在所述步骤S1中，极坐标位置模型的表达式为：
式中，和 />分别是机器人和目标位置的坐标，/>和/>分别为机器人的速度矢量和从机器人指向目标位置的矢量。
进一步地，在所述步骤S2中，机器人动作空间模型为：
式中，，/>，/>为常数矩阵，/>为机器人的状态，为机器人的位置，/>为机器人的速度；/>为移动障碍物状态，/>为固定障碍物状态，N为机器人个数，/>为单位矩阵。
进一步地，在所述步骤S3的马尔可夫决策过程中，机器人的避障任务对应于一元组，其中，E表示机器人所处环境；S表示环境状态，F表示动作状态，P表示状态转移概率，R表示奖励，T表示工作时间；/>表示初始状态分布，/>（0,1）表示折扣因子；将/>定义为未来奖惩的总和，则有：
定义Q函数，表示在从状态/>采取行动时在策略/>下的预期回报，即：
式中，， />；
其中，对于所有策略，如果一个策略的预期收益大于或等于其他策略的收益，则为最优策略；即
；
其中，最优策略符合贝尔曼方程，则得到下一时刻的Q值，即用Q表示机器人下一时刻的状态值表示为：
。
进一步地，在步骤S4中，所述代价函数表示从出发点开始，将每个点上的代价列入评估对象，代价最小的点当做下一个运动到的点，通过计算周围点的代价并比较得出代价最优点，当机器人到达目标位置时，搜索迭代停止；其表达式为：
式中，表示机器人从起点到当前位置的累计代价值，/>为当前位置到目标位置的剩余代价；已知终点的/>值为0，且在理想情况下 />等于当前点到终点的实际距离，在有障碍的情况下/>大于到终点的实际距离，代价函数持续进行搜索迭代，把每一步的最小代价点列人执行的运动点，最后输出最优路径；其中，每一步的代价值计算表达式为：
式中，和/>分别是机器人和目标位置的坐标。
与现有技术相比，本发明具有以下有益效果：
本发明的机器人避障规划方法中，采用分布式模型构建机器人的动作空间模型，并将马尔可夫决策应用在机器人的规划策略中，并利用代价函数实现了动态避障导航，解决了现有机器人在复杂环境的避障问题，降低了计算量，且所采用的分布式预测模型收敛速度更好，可重复性更高。
附图说明
图1为本发明-实施例中不同算法的路径规划图。
图2为本发明-实施例中不同算法的路径规划中路线高度均方差迭代图。
图3为本发明-实施例中不同算法的路径规划中路线转弯次数迭代图。
图4为本发明-实施例中不同算法的路径规划中路线长度迭代图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
本发明公开的一种基于分布式模型预测的机器人避障规划方法，为了便于描述移动机器人的运动，必须建立一个通用的坐标系统。即首先在笛卡尔坐标系中建立以机器人所获得的状态信息为目标位置的相对自身的极坐标位置模型。其表达式为：
式中，和/>分别是机器人和目标位置的坐标，/>和/>分别为机器人的速度矢量和从机器人指向目标位置的矢量。
在机器人路径规划中，机器人的动作空间内不仅存在固定障碍物，同时还存在移动障碍物，因此，在本实施例中采用分布式模型对机器人目标位置与包含障碍物的工作空间进行建模，得到机器人动作空间模型。
式中，，/>，/>为常数矩阵，/>为机器人的状态，为机器人的位置，/>为机器人的速度；/>为移动障碍物状态，/>为固定障碍物状态，N为机器人个数，/>为单位矩阵。
为各个机器人寻找一条最优无碰撞路径问题可以简化为马尔可夫决策过程。本实施例中，基于极坐标位置模型，采用马尔可夫决策过程来预测机器人在动作空间模型中的下一状态，得到下一状态值。在本实施例中，机器人的避障任务对应于一元组，其中，E表示机器人所处环境；S表示环境状态，F表示动作状态，P表示状态转移概率，R表示奖励，T表示工作时间；/>表示初始状态分布，/>（0,1）表示折扣因子；将/>定义为未来奖惩的总和，则有：
定义Q函数，表示在从状态/>采取行动时在策略/>下的预期回报，即：
式中，，/>；
其中，对于所有策略，如果一个策略的预期收益大于或等于其他策略的收益，则为最优策略；即
；
其中，最优策略符合贝尔曼方程，则得到下一时刻的Q值，即用Q表示机器人下一时刻的状态值表示为：
。
最后，采用代价函数将下一状态值进行搜索迭代。所述代价函数表示从出发点开始，将每个点上的代价列入评估对象，代价最小的点当做下一个运动到的点，通过计算周围点的代价并比较得出代价最优点，当机器人到达目标位置时，搜索迭代停止。从而输出机器人执行的运动点，形成机器人避障运动路径。
在本实施例中，代价函数的表达式为：
式中，表示机器人从起点到当前位置的累计代价值，/>为当前位置到目标位置的剩余代价；已知终点的/>值为0，且在理想情况下/>等于当前点到终点的实际距离，在有障碍的情况下通常/>要大于到终点的实际距离，代价函数持续进行搜索迭代，把每一步的最小代价点列人执行的运动点，最后输出最优路径；其中，每一步的代价值计算表达式为：
式中，和/>分别是机器人和目标位置的坐标。
本实施例使用Turtlebot3作为虚拟试验机器人，其硬件环境主要由一个Kobuki移动基地和支架组成。该机器人装载有一个激光雷达扫描仪，探测距离为4m，激光雷达采样率为128Hz，采样范围为180°。将本实施例方法与背景技术中传统方法中采用的行为方法、遗传算法、蚁群算法进行模拟比较得到如图1~图4的实验对比图。通过实验模拟对比可知，本发明方法的避障路径规划增大了机器人避障移动过程中直行的机率，并有效减少了路径的转弯次数，保障了路径的平滑性，得到了一条平滑度较高的路径。本方法能较快且较稳定地收敛于最优解，程序运行时间也表现最好。总体来看，在复杂的多对角障碍环境中，本方法具有明显的优势。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。
Claims (5)
1.一种基于分布式模型预测的机器人避障规划方法，其特征在于，包括如下步骤：
S1，在笛卡尔坐标系中建立以机器人所获得的状态信息为目标位置的相对自身的极坐标位置模型；
S2，采用分布式模型对机器人目标位置与包含障碍物的工作空间进行建模，得到机器人动作空间模型；
S3，基于极坐标位置模型，采用马尔可夫决策过程来预测机器人在动作空间模型中的下一状态，得到下一状态值；
S4，采用代价函数将下一状态值进行搜索迭代，输出机器人执行的运动点，形成机器人避障运动路径。
2.根据权利要求1所述的一种基于分布式模型预测的机器人避障规划方法，其特征在于，在所述步骤S1中，极坐标位置模型的表达式为：
式中，和/>分别是机器人和目标位置的坐标，/>和/>分别为机器人的速度矢量和从机器人指向目标位置的矢量。
3.根据权利要求2所述的一种基于分布式模型预测的机器人避障规划方法，其特征在于，在所述步骤S2中，机器人动作空间模型为：
式中，，/>，/>为常数矩阵，/>为机器人的状态，/>为机器人的位置，/>为机器人的速度；/>为移动障碍物状态，/>为固定障碍物状态，N为机器人个数，/>为单位矩阵。
4.根据权利要求3所述的一种基于分布式模型预测的机器人避障规划方法，其特征在于，在所述步骤S3的马尔可夫决策过程中，机器人的避障任务对应于一元组，其中，E表示机器人所处环境；S表示环境状态，F表示动作状态，P表示状态转移概率，R表示奖励，T表示工作时间；/>表示初始状态分布，/>（0,1）表示折扣因子；将/>定义为未来奖惩的总和，则有：
定义Q函数，表示在从状态/>采取行动时在策略/>下的预期回报，即：
式中，，/>；
其中，对于所有策略，如果一个策略的预期收益大于或等于其他策略的收益，则为最优策略；即
；
其中，最优策略符合贝尔曼方程，则得到下一时刻的Q值，即用Q表示机器人下一时刻的状态值表示为：
。
5.根据权利要求4所述的一种基于分布式模型预测的机器人避障规划方法，其特征在于，在步骤S4中，所述代价函数表示从出发点开始，将每个点上的代价列入评估对象，代价最小的点当做下一个运动到的点，通过计算周围点的代价并比较得出代价最优点，当机器人到达目标位置时，搜索迭代停止；其表达式为：
式中，表示机器人从起点到当前位置的累计代价值，/>为当前位置到目标位置的剩余代价；已知终点的/>值为0，且在理想情况下/>等于当前点到终点的实际距离，在有障碍的情况下/>大于到终点的实际距离，代价函数持续进行搜索迭代，把每一步的最小代价点列人执行的运动点，最后输出最优路径；其中，每一步的代价值计算表达式为：
式中，和/>分别是机器人和目标位置的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484411.8A CN117213501B (zh) | 2023-11-09 | 2023-11-09 | 一种基于分布式模型预测的机器人避障规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484411.8A CN117213501B (zh) | 2023-11-09 | 2023-11-09 | 一种基于分布式模型预测的机器人避障规划方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117213501A true CN117213501A (zh) | 2023-12-12 |
| CN117213501B CN117213501B (zh) | 2024-02-02 |
Family
ID=89037513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311484411.8A Active CN117213501B (zh) | 2023-11-09 | 2023-11-09 | 一种基于分布式模型预测的机器人避障规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117213501B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040162638A1 (en) * | 2002-08-21 | 2004-08-19 | Neal Solomon | System, method and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system |
| US20150348409A1 (en) * | 2014-06-03 | 2015-12-03 | Q-Free Asa | Toll Object Detection in a GNSS System Using Particle Filter |
| CN109711557A (zh) * | 2018-12-28 | 2019-05-03 | 西安航空学院 | 一种行车轨迹预测方法、系统、计算机设备及存储介质 |
| US20200372410A1 (en) * | 2019-05-23 | 2020-11-26 | Uber Technologies, Inc. | Model based reinforcement learning based on generalized hidden parameter markov decision processes |
| CN113654569A (zh) * | 2021-08-16 | 2021-11-16 | 江铃汽车股份有限公司 | 一种路径规划方法、系统及存储介质 |
| CN114489059A (zh) * | 2022-01-13 | 2022-05-13 | 沈阳建筑大学 | 基于d3qn-per移动机器人路径规划方法 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
| CN114789941A (zh) * | 2022-05-27 | 2022-07-26 | 成都工业职业技术学院 | 一种基于模糊控制及神经网络的智能绕线控制方法及装置 |
| CN114859911A (zh) * | 2022-04-28 | 2022-08-05 | 云南红岭云科技股份有限公司 | 一种基于drl的四足机器人路径规划方法 |
| CN115408813A (zh) * | 2022-07-15 | 2022-11-29 | 清华大学 | 基于深度强化学习的涂装轨迹智能规划方法 |
| CN115593839A (zh) * | 2022-12-15 | 2023-01-13 | 成都工业职业技术学院（Cn） | 一种物料搬运机器人及其控制方法 |
| CN116339316A (zh) * | 2023-02-13 | 2023-06-27 | 中国科学院沈阳自动化研究所 | 一种基于深度强化学习的深海采矿机器人路径规划方法 |
-
2023
- 2023-11-09 CN CN202311484411.8A patent/CN117213501B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040162638A1 (en) * | 2002-08-21 | 2004-08-19 | Neal Solomon | System, method and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system |
| US20150348409A1 (en) * | 2014-06-03 | 2015-12-03 | Q-Free Asa | Toll Object Detection in a GNSS System Using Particle Filter |
| CN109711557A (zh) * | 2018-12-28 | 2019-05-03 | 西安航空学院 | 一种行车轨迹预测方法、系统、计算机设备及存储介质 |
| US20200372410A1 (en) * | 2019-05-23 | 2020-11-26 | Uber Technologies, Inc. | Model based reinforcement learning based on generalized hidden parameter markov decision processes |
| CN113654569A (zh) * | 2021-08-16 | 2021-11-16 | 江铃汽车股份有限公司 | 一种路径规划方法、系统及存储介质 |
| CN114489059A (zh) * | 2022-01-13 | 2022-05-13 | 沈阳建筑大学 | 基于d3qn-per移动机器人路径规划方法 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
| CN114859911A (zh) * | 2022-04-28 | 2022-08-05 | 云南红岭云科技股份有限公司 | 一种基于drl的四足机器人路径规划方法 |
| CN114789941A (zh) * | 2022-05-27 | 2022-07-26 | 成都工业职业技术学院 | 一种基于模糊控制及神经网络的智能绕线控制方法及装置 |
| CN115408813A (zh) * | 2022-07-15 | 2022-11-29 | 清华大学 | 基于深度强化学习的涂装轨迹智能规划方法 |
| CN115593839A (zh) * | 2022-12-15 | 2023-01-13 | 成都工业职业技术学院（Cn） | 一种物料搬运机器人及其控制方法 |
| CN116339316A (zh) * | 2023-02-13 | 2023-06-27 | 中国科学院沈阳自动化研究所 | 一种基于深度强化学习的深海采矿机器人路径规划方法 |
Non-Patent Citations (13)
| Title |
|---|
| CHANYEOL YOO 等: "Provably-Correct Stochastic Motion Planning with Safety Constraints", 2013 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION(ICRA) * |
| DING, Y 等: "Risk-Sensitive Markov Decision Processes of USV Trajectory Planning with Time-Limited Budget", SENSORS * |
| FRANCESCO TROTTI 等: "An online path planner based on POMDP for UAVs", 2023 EUROPEAN CONTROL CONFERENCE(ECC) * |
| R.SELVAKUMAR 等: "Time-Distributed Non-Convex Optimized Support Vector Machine for Vehicular Tracking Systems", IEEE CANADIAN JOURNAL OF ELECTRICAL AND COMPUTER ENGINEERING * |
| SCOTT A. SMOLKA 等: "Multi-Agent Spatial Predictive Control with Application to Drone Flocking", 2023 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION(ICRA) * |
| SIVADAS, M 等: "Robot Navigation in an Uncertain Environment using Dynamic programming via Markov decision process", 2018 INTERNATIONAL CONFERENCE ON CONTROL, POWER, COMMUNICATION AND COMPUTING TECHNOLOGIES (ICCPCCT) * |
| 余倩 等: "一种基于实时预测算法的船舶姿态控制器设计", 舰船科学技术 * |
| 张成思: "基于进化计算和深度强化学习的避障导航方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑 * |
| 李昊: "激光导航AGV在特征地图中的全局定位方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑 * |
| 邓旭;赵连军;郇静;: "基于隐马尔可夫模型路径规划方法", 智能计算机与应用, no. 06 * |
| 郑琪: "输电线路电场信息在巡线无人机避障中应用的研究", 中国优秀硕士学位论文全文数据库 工程科技II辑 * |
| 钟世杰 等: "基于UWB的实验室跟随机器人系统设计", 电子制作 * |
| 陈龙 等: "室内机器人自主导航的实现", 电脑知识与技术 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117213501B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | AGV path planning based on improved A-star algorithm | |
| Shen et al. | Deep reinforcement learning for flocking motion of multi-UAV systems: Learn from a digital twin | |
| CN111546347B (zh) | 一种适用于动态环境下的机械臂路径规划方法 | |
| CN109782779B (zh) | 基于种群超启发式算法的洋流环境下auv路径规划方法 | |
| CN110989352A (zh) | 一种基于蒙特卡洛树搜索算法的群体机器人协同搜索方法 | |
| CN113589809B (zh) | 可避障的挖掘机工作装置作业轨迹规划方法及装置 | |
| Li et al. | Generating optimal path by level set approach for a mobile robot moving in static/dynamic environments | |
| Yang et al. | Mobile robot path planning based on enhanced dynamic window approach and improved A∗ algorithm | |
| CN114485673B (zh) | 基于深度强化学习的服务机器人人群感知导航方法及系统 | |
| Peddi et al. | A data-driven framework for proactive intention-aware motion planning of a robot in a human environment | |
| Rasheed et al. | Static and dynamic path planning algorithms design for a wheeled mobile robot based on a hybrid technique | |
| Gan et al. | Dp-a*: For path planing of ugv and contactless delivery | |
| CN117213501B (zh) | 一种基于分布式模型预测的机器人避障规划方法 | |
| Wang et al. | APPA-3D: an autonomous 3D path planning algorithm for UAVs in unknown complex environments | |
| Zhang et al. | [Retracted] Reinforcement Learning‐Based Continuous Action Space Path Planning Method for Mobile Robots | |
| CN116872212A (zh) | 一种基于A-Star算法和改进人工势场法的双机械臂避障规划方法 | |
| CN111045428A (zh) | 避障方法、移动机器人及计算机可读存储介质 | |
| Dang | Autonomous mobile robot path planning based on enhanced A* algorithm integrating with time elastic band | |
| Zhou et al. | Deep reinforcement learning with long-time memory capability for robot mapless navigation | |
| KR20230075497A (ko) | 파레토 프론트 최적화를 사용한 제약된 강화 학습 신경망 시스템 | |
| Afzali et al. | A Modified Convergence DDPG Algorithm for Robotic Manipulation | |
| Wei et al. | Memory-based soft actor–critic with prioritized experience replay for autonomous navigation | |
| CN113341975A (zh) | 基于变目标函数萤火虫优化路径的机器人移动方法 | |
| Jia et al. | Autonomous mobile robot global path planning: A prior information-based particle swarm optimization approach | |
| Zhang et al. | Path planning technology of unmanned vehicle based on improved deep reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |