CN110908384A - 一种分布式多机器人协同过未知随机迷宫的编队导航方法 - Google Patents
一种分布式多机器人协同过未知随机迷宫的编队导航方法 Download PDFInfo
- Publication number
- CN110908384A CN110908384A CN201911236860.4A CN201911236860A CN110908384A CN 110908384 A CN110908384 A CN 110908384A CN 201911236860 A CN201911236860 A CN 201911236860A CN 110908384 A CN110908384 A CN 110908384A
- Authority
- CN
- China
- Prior art keywords
- robot
- features
- value
- inputting
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 101150064138 MAP1 gene Proteins 0.000 claims 1
- 101150077939 mapA gene Proteins 0.000 claims 1
- 210000003717 douglas' pouch Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100323308 Dictyostelium discoideum nxnA gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种分布式多机器人协同过未知随机迷宫的编队导航方法,包括以下步骤:步骤一:获取观察数据;步骤二:用特征提取层从输入的观察数据中提取特征;步骤三:将特征输入群体规划模块,获得估计的机器人群体运动方向;步骤四:将特征提取层输出的特征和群体规划模块输出的运动方向输入运动控制模块,获得当前机器人的运动方向。通过在神经网络中引入记忆模块,使得神经网络具备解决复杂情况的能力,如重复进入死胡同;神经网络利用输入的局部观察来估计整个机器人群的平均位置的移动方向而不是单个机器人的移动方向,保证方法的非中心化属性,降低运算量,提高鲁棒性。
Description
技术领域
本发明涉及机器人导航领域,更具体地,涉及一种分布式多机器人协同过未知随机迷宫的编队导航方法。
背景技术
多机器人编队导航在搜索、救援等领域中有广泛的应用,现有的实现多机器人协同导航的技术可以分为两类,一类是基于规则的方法,如领航者跟随者法、人工势场法等方法,这些基于规则的方法要在一个初始时未知的环境中实现导航,需要先通过传感器的数据建立环境地图,然后在此基础上进行导航规划,而实时建图的计算量较大,从而难以保持实时性,使机器人更容易发生碰撞。
另一类方法是基于学习的方法,通过构造一个端到端的神经网络,既输入为机器人的传感器数据而输出为机器人的运动控制信号。使用这类方法可以不用显式地建立环境地图,从而提高计算速度。但该方法大部分都是只能应用于单机器人的情况下的,而多机器人的情况下应用基于学习的方法则主要集中在研究避碰这一方面,而对于在复杂环境中进行导航则没有特别地进行设计,往往都设计成不具有记忆能力,所以当遇到初始时环境未知的情况时,就无法解决一些需要带有记忆能力的网络才能解决的情况,如遇到死胡同,遇到死胡同时由于初始时地图未知的原因,机器人必须先进入探索后才会了解,但网络没有记忆能力时,机器人会在离开死胡同后直接遗忘,从而可能重新返回死胡同而无法完成导航。该类型的方法还会遇到两个问题,一个是多个机器人生成的导航路径可能不一致,从而可能导致机器人间由于生成的路径不一致发生碰撞而导航失败;而另一个是若通信距离有限则有时机器人之间会因为距离过大而失联,从而使得输入大小发生变化,而神经网络由于结构固定而难以处理这种情况。
发明内容
本发明为克服上述现有技术中基于规则的方法计算量大和基于学习的方法无法处理复杂环境的问题,提供一种分布式多机器人协同过未知随机迷宫的编队导航方法,用神经网络搭建非中心化控制器降低运算量,同时在神经网络的设计中引入记忆模块,使神经网络具备解决复杂情况的能力。
为解决上述技术问题,本发明采用的技术方案是:提供一种分布式多机器人协同过未知随机迷宫的编队导航方法,通过神经网络搭建控制器,所述控制器的导航方法包括以下步骤:
步骤二:用特征提取层从输入的观察数据中提取特征,即不同的全连接层神经网络分别从不同类型的观察数据中提取特征其中fl为从局部观测提取到的特征,fm为从其它机器人的状态中提取到的特征,得到的特征作为特征提取层的输出;
步骤三:将特征输入群体规划模块,获得估计的机器人群体运动方向;所述群体规划模块主要由三个部分组成:可扩展特征合并层、记忆模块和值迭代网络;
具体的步骤为:
S3.1:将特征提取层得到的不定大小的特征输入可扩展特征合并层,将其合并为同样大小的特征;
S3.3:将记忆空间输入值迭代网络获得导航路径,值迭代网络构建大小为n×n的值地图v,值地图上的一个值代表着当机器人群的平均位置在该值对应的子区域内的得分,值的取值范围为[0,vmax],得分在终点区域中心对应的值上恒定取最大,而其它的值则通过迭代获得。
步骤四:将特征提取层输出的特征和群体规划模块输出的运动方向输入运动控制模块,获得当前机器人的运动方向。
优选的,在所述步骤S3.1中,采用注意力机制合并特征,具体步骤为:
S3.1.1将各个特征分别输入全连接层得到关键值和查询值;
S3.1.2对每个查询值分别与所有的关键值求内积,得到一组权重;
S3.1.3利用每组权重对特征进行加权求和,得到特征数量个查询结果;
S3.1.4将此结果输入全连接层得到特征数量个权重值;
S3.1.5利用权重值对所有特征进行加权求和,得到合并后的特征。
其中每次求取的权重值要进行一次softmax计算以保证所有的权重值之和为1。
优选的,所述步骤S3.2的记忆模块的更新步骤如下:
优选的,在所述步骤S3.3中,具体的计算步骤如下:
S3.3.5:回到步骤S3.3.2,重复l次;
优选的,在所述步骤一中,设定机器人的通信距离rc大于测距器的测量半径rl;通过机器人的通信系统,机器人i得到的观察数据为oe为终点区域中心的位置,和为在世界坐标系下的机器人i的位置和朝向,为机器人坐标系下输入和输出。
优选的,在所述步骤四中,具体的计算步骤如下:
S4.1:将群体规划模块的输出量输入至全连接层中,处理为与其它特征同样大小的特征;
S4.2:使用与所述步骤S3.1相同的可扩展特征合并层将所述步骤S4.1的特征与来自步骤二的特征合并;
优选的,对所述神经网络进行训练,并定义损失函数为:
Li=Lppo+Lplan
其中,Lppo表示PPO算法的损失函数;Lplan表示为提高群体规划模块的收敛速度设计的损失函数;dpi表示机器人i的群体规划模块输出的机器人群二维移动方向;表示为机器人群移动目标子区域的中心;表示为机器人群的平均位置。
优选的,对于机器人i使用的奖励函数如下:
其中,Rsi表示机器人群平均位置到达终点区域会给一个正奖励;Rfi表示机器人i发生碰撞时会给一个惩罚;Rci表示当机器人i与某个机器人间的距离超过了通信距离时会给一个惩罚。
与现有技术相比,本发明的有益效果是:通过在神经网络中引入记忆模块,使得神经网络具备解决复杂情况的能力,如重复进入死胡同;神经网络利用输入的局部观察来估计整个机器人群的平均位置的移动方向而不是单个机器人的移动方向,保证方法的非中心化属性,降低运算量;通过可扩展特征合并层,将输入大小不定的观察数据生成同样的特征,解决输入量大小变化的情况;将机器人的路径规划和移动控制分别用两个子网络实现,并且用损失函数配合实现每个机器人只依靠自己的局部观察来预测整个机器人群的路径规划,从而保证每个机器人生成的导航路径相似。
附图说明
图1是本发明的一种分布式多机器人协同过未知随机迷宫的编队导航方法的流程图;
图2是本发明的一种分布式多机器人协同过未知随机迷宫的编队导航方法的控制器框图;
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明,不能理解为对本专利的限制。
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体描述:
实施例1
如图1-2所示为一种分布式多机器人协同过未知随机迷宫的编队导航方法的实施例,通过神经网络搭建控制器,控制器的导航方法包括以下步骤:
步骤二:用特征提取层从输入的观察数据中提取特征,即不同的全连接层神经网络分别从不同类型的观察数据中提取特征其中fl为从局部观测提取到的特征,fm为从其它机器人的状态中提取到的特征,得到的特征作为特征提取层的输出;
步骤三:将特征输入群体规划模块,获得估计的机器人群体运动方向;所述群体规划模块主要由三个部分组成:可扩展特征合并层、记忆模块和值迭代网络;
具体的步骤为:
S3.1:将特征提取层得到的不定大小的特征输入可扩展特征合并层,将其合并为同样大小的特征;采用注意力机制合并特征,具体步骤为:
S3.1.1将各个特征分别输入全连接层得到关键值和查询值;
S3.1.2对每个查询值分别与所有的关键值求内积,得到一组权重;
S3.1.3利用每组权重对特征进行加权求和,得到特征数量个查询结果;
S3.1.4将此结果输入全连接层得到特征数量个权重值;
S3.1.5利用权重值对所有特征进行加权求和,得到合并后的特征。
其中每次求取的权重值要进行一次softmax计算以保证所有的权重值之和为1。
S3.3:将记忆空间输入值迭代网络获得导航路径,值迭代网络构建大小为n×n的值地图值地图上的一个值代表着当机器人群的平均位置在该值对应的子区域内的得分,值的取值范围为[0,vmax],得分在终点区域中心对应的值上恒定取最大,而其它的值则通过迭代获得。具体的计算步骤如下:
S3.3.5:回到步骤S3.3.2,重复l次;
步骤四:将特征提取层输出的特征和群体规划模块输出的运动方向输入运动控制模块,获得当前机器人的运动方向。具体的计算步骤如下:
S4.1:将群体规划模块的输出量输入至全连接层中,处理为与其它特征同样大小的特征;
S4.2:使用与所述步骤S3.1相同的可扩展特征合并层将所述步骤S4.1的特征与来自步骤二的特征合并;
本实施例的有益效果:通过在神经网络中引入记忆模块,使得神经网络具备解决复杂情况的能力,如重复进入死胡同;神经网络利用输入的局部观察来估计整个机器人群的平均位置的移动方向而不是单个机器人的移动方向,保证方法的非中心化属性,降低运算量;通过可扩展特征合并层,将输入大小不定的观察数据生成同样的特征,解决输入量大小变化的情况。
实施例2
本实施例在实施例1的基础上,对实施例1中的神经网络进行训练,并定义损失函数为:
Li=Lppo+Lplan
其中,Lppo表示PPO算法的损失函数;Lplan表示为提高群体规划模块的收敛速度设计的损失函数;dpi表示机器人i的群体规划模块输出的机器人群二维移动方向;表示为机器人群移动目标子区域的中心;表示为机器人群的平均位置。
优选的,对于机器人i使用的奖励函数如下:
其中,Rsi表示机器人群平均位置到达终点区域会给一个正奖励;Rfi表示机器人i发生碰撞时会给一个惩罚;Rci表示当机器人i与某个机器人间的距离超过了通信距离时会给一个惩罚。
本实施例的有益效果:将机器人的路径规划和移动控制分别用两个子网络实现,并且用损失函数配合实现每个机器人只依靠自己的局部观察来预测整个机器人群的路径规划,从而保证每个机器人生成的导航路径相似。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种分布式多机器人协同过未知随机迷宫的编队导航方法,其特征在于,包括以下步骤:
步骤二:用特征提取层从输入的观察数据中提取特征,即不同的全连接层神经网络分别从不同类型的观察数据中提取特征其中fl为从局部观测提取到的特征,fm为从其它机器人的状态中提取到的特征,得到的特征作为特征提取模块的输出;
步骤三:将特征输入群体规划模块,获得估计的机器人群体运动方向;所述群体规划模块主要由三个部分组成:可扩展特征合并层、记忆模块和值迭代网络;
具体的步骤为:
S3.1:将特征提取层得到的不定大小的特征输入可扩展特征合并层,将其合并为同样大小的特征;
S3.3:将记忆空间输入值迭代网络获得导航路径,值迭代网络构建大小为n×n的值地图值地图上的一个值代表着当机器人群的平均位置在该值对应的子区域内的得分,值的取值范围为[0,vmax],得分在终点区域中心对应的值上恒定取最大,而其它的值则通过迭代获得。
步骤四:将特征提取层输出的特征和群体规划模块输出的运动方向输入运动控制模块,获得当前机器人的运动方向。
2.根据权利要求1所述的一种分布式多机器人协同过未知随机迷宫的编队导航方法,其特征在于,在所述步骤S3.1中,采用注意力机制合并特征,具体步骤为:
S3.1.1将各个特征分别输入全连接层得到关键值和查询值;
S3.1.2对每个查询值分别与所有的关键值求内积,得到一组权重;
S3.1.3利用每组权重对特征进行加权求和,得到特征数量个查询结果;
S3.1.4将此结果输入全连接层得到特征数量个权重值;
S3.1.5利用权重值对所有特征进行加权求和,得到合并后的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911236860.4A CN110908384B (zh) | 2019-12-05 | 2019-12-05 | 一种分布式多机器人协同过未知随机迷宫的编队导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911236860.4A CN110908384B (zh) | 2019-12-05 | 2019-12-05 | 一种分布式多机器人协同过未知随机迷宫的编队导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110908384A true CN110908384A (zh) | 2020-03-24 |
CN110908384B CN110908384B (zh) | 2022-09-23 |
Family
ID=69822986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911236860.4A Active CN110908384B (zh) | 2019-12-05 | 2019-12-05 | 一种分布式多机器人协同过未知随机迷宫的编队导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110908384B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112304314A (zh) * | 2020-08-27 | 2021-02-02 | 中国科学技术大学 | 一种分布式多机器人的导航方法 |
CN112711261A (zh) * | 2020-12-30 | 2021-04-27 | 浙江大学 | 一种基于局部视野的多智能体编队规划方法 |
CN113091749A (zh) * | 2021-04-12 | 2021-07-09 | 上海大学 | 仿人机器人在复杂未知迷宫环境的行走导航和重定位方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106940562A (zh) * | 2017-03-09 | 2017-07-11 | 华南理工大学 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
CN106950969A (zh) * | 2017-04-28 | 2017-07-14 | 深圳市唯特视科技有限公司 | 一种基于无地图运动规划器的移动机器人连续控制方法 |
CN107272705A (zh) * | 2017-07-31 | 2017-10-20 | 中南大学 | 一种智能环境下机器人路径的多神经网络控制规划方法 |
CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
CN110147101A (zh) * | 2019-05-13 | 2019-08-20 | 中山大学 | 一种基于深度强化学习的端到端分布式多机器人编队导航方法 |
CN110162035A (zh) * | 2019-03-21 | 2019-08-23 | 中山大学 | 一种集群机器人在有障碍物场景中的协同运动方法 |
-
2019
- 2019-12-05 CN CN201911236860.4A patent/CN110908384B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106940562A (zh) * | 2017-03-09 | 2017-07-11 | 华南理工大学 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
CN106950969A (zh) * | 2017-04-28 | 2017-07-14 | 深圳市唯特视科技有限公司 | 一种基于无地图运动规划器的移动机器人连续控制方法 |
CN107272705A (zh) * | 2017-07-31 | 2017-10-20 | 中南大学 | 一种智能环境下机器人路径的多神经网络控制规划方法 |
CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
CN110162035A (zh) * | 2019-03-21 | 2019-08-23 | 中山大学 | 一种集群机器人在有障碍物场景中的协同运动方法 |
CN110147101A (zh) * | 2019-05-13 | 2019-08-20 | 中山大学 | 一种基于深度强化学习的端到端分布式多机器人编队导航方法 |
Non-Patent Citations (1)
Title |
---|
成慧等: "《基于视觉的无人机地面目标自主跟踪系统》", 《人工智能》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112304314A (zh) * | 2020-08-27 | 2021-02-02 | 中国科学技术大学 | 一种分布式多机器人的导航方法 |
CN112711261A (zh) * | 2020-12-30 | 2021-04-27 | 浙江大学 | 一种基于局部视野的多智能体编队规划方法 |
CN113091749A (zh) * | 2021-04-12 | 2021-07-09 | 上海大学 | 仿人机器人在复杂未知迷宫环境的行走导航和重定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110908384B (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yao et al. | Path planning method with improved artificial potential field—a reinforcement learning perspective | |
CN110908384B (zh) | 一种分布式多机器人协同过未知随机迷宫的编队导航方法 | |
Wen et al. | Formation control with obstacle avoidance of second-order multi-agent systems under directed communication topology | |
Fan et al. | Crowdmove: Autonomous mapless navigation in crowded scenarios | |
CN110162035B (zh) | 一种集群机器人在有障碍物场景中的协同运动方法 | |
CN110147101A (zh) | 一种基于深度强化学习的端到端分布式多机器人编队导航方法 | |
CN113313947A (zh) | 短期交通预测图卷积网络的路况评估方法 | |
CN111260660B (zh) | 一种基于元学习的3d点云语义分割迁移方法 | |
JP2024519299A (ja) | 未知環境におけるロボットナビゲーションのための方法およびシステム | |
Ivanov et al. | Software advances using n-agents wireless communication integration for optimization of surrounding recognition and robotic group dead reckoning | |
Sariff et al. | Comparative study of genetic algorithm and ant colony optimization algorithm performances for robot path planning in global static environments of different complexities | |
CN114371711A (zh) | 一种机器人编队避障路径规划方法 | |
Ebert et al. | A hybrid PSO algorithm for multi-robot target search and decision awareness | |
Chen et al. | When shall i be empathetic? the utility of empathetic parameter estimation in multi-agent interactions | |
Tsai et al. | Cooperative localization using fuzzy DDEIF and broad learning system for uncertain heterogeneous omnidirectional multi-robots | |
Dracopoulos | Robot path planning for maze navigation | |
Li et al. | Vision-based obstacle avoidance algorithm for mobile robot | |
Cortes et al. | Analysis and design tools for distributed motion coordination | |
CN115752473A (zh) | 分布式多机器人导航方法、系统、存储介质及设备 | |
Lima et al. | Formal analysis in a cellular automata ant model using swarm intelligence in robotics foraging task | |
Kabir et al. | On the ergodicity of an autonomous robot for efficient environment explorations | |
CN114859940A (zh) | 机器人移动控制方法、装置、设备以及存储介质 | |
Costa et al. | Comparative study of neural networks techniques in the context of cooperative observations | |
Valencia-Jiménez et al. | Holonic multi-agent systems to integrate independent multi-sensor platforms in complex surveillance | |
Han et al. | Three‐dimensional obstacle avoidance for UAV based on reinforcement learning and RealSense |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |