CN111309035A - 多机器人协同移动与动态避障方法、装置、设备及介质 - Google Patents

多机器人协同移动与动态避障方法、装置、设备及介质 Download PDF

Info

Publication number
CN111309035A
CN111309035A CN202010404961.4A CN202010404961A CN111309035A CN 111309035 A CN111309035 A CN 111309035A CN 202010404961 A CN202010404961 A CN 202010404961A CN 111309035 A CN111309035 A CN 111309035A
Authority
CN
China
Prior art keywords
real
robot body
time
robot
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010404961.4A
Other languages
English (en)
Other versions
CN111309035B (zh
Inventor
嵇望
丁大为
江志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xiaoyuan Robot Co ltd
Original Assignee
Zhejiang Utry Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Utry Information Technology Co ltd filed Critical Zhejiang Utry Information Technology Co ltd
Priority to CN202010404961.4A priority Critical patent/CN111309035B/zh
Publication of CN111309035A publication Critical patent/CN111309035A/zh
Application granted granted Critical
Publication of CN111309035B publication Critical patent/CN111309035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种多机器人协同移动与动态避障方法，涉及机器人控制技术领域，能解决多机器人在动态环境下的避障问题。该方法包括以下步骤：获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，实时计算机器人本体的实时状态；采集实时点云数据，对所述点云数据进行预处理，检测所述预处理后的点云数据中的若干智能体；分别计算所述若干智能体的实时状态；将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。本发明还公开了一种多机器人协同移动与动态避障装置、电子设备和计算机存储介质。

Description

多机器人协同移动与动态避障方法、装置、设备及介质
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种多机器人协同移动与动态避障方法、装置、设备及介质。
背景技术
近年来，受益于深度学习和传感器感知技术的发展以及ROS等机器人操作系统的不断完善，大量的机器人产品得以走向市场。在移动类机器人中，轮式机器人较为普遍，对轮式机器人而言，完善的动态路径规划与避障方法是其正常作业的前提，但同时也是优化轮式机器人性能面临的核心难题。
常见的传统动态避障方法，如DWA、TEB局部路径规划算法应用在移动类机器人上时，并没有考虑周围物体的动态运动，且通过代价函数的方法寻找最优解，容易使规划路径陷入局部最优，导致机器人反复震荡。
但在日常应用场景中，机器人的工作环境往往是复杂动态的，如机场候机楼、车站候车厅等应用场景中，机器人在按规划路径运动时，既要动态避开行人，还要考虑附近多机器人移动过程中的相互影响，在此我们将移动的行人和物体统称为智能体。那么如何解决多机器人在协同移动过程时，动态避开其他智能体是提高机器人性能的关键。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种多机器人协同移动与动态避障方法，通过强化学习对机器人环境进行建模，根据机器人本体在环境中的状态和周围其他智能体的联合状态，获得最优的动作序列，使得机器人在执行相应动作时，能动态避开其他智能体，安全无碰的移动。
本发明的目的之一采用以下技术方案实现：
多机器人协同移动与动态避障方法，包括以下步骤：
获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态；
采集实时点云数据，对所述点云数据进行预处理；
检测所述预处理后的点云数据中的若干智能体；
分别计算所述若干智能体的实时状态；
将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
进一步地，通过3D激光雷达采集所述点云数据，对所述点云数据进行预处理，包括：删除地面及与所述机器人本体的直线距离大于5m的点云数据。
进一步地，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态，具体包括：
获取机器人本体在所述三维点云地图中的定位坐标；
获取所述机器人本体位姿中的目标点坐标、机器人本体到所述目标点坐标的偏角、机器人本体的移动速度以及机器人本体半径；
根据所述定位坐标和所述目标点坐标，计算机器人本体到目标点坐标的距离，得到机器人本体的实时状态集合，如下所示：
Figure 449757DEST_PATH_IMAGE001
；
其中，dg为机器人本体到目标点坐标的距离，
Figure 441984DEST_PATH_IMAGE002
为机器人本体到目标电坐标的偏角，
Figure 934145DEST_PATH_IMAGE003
为机器人本体的移动速度，r为机器人本体半径。
进一步地，分别计算所述若干智能体的实时状态，包括：
分别获取每个智能体在三维点云地图中的实时定位坐标和半径；
分别根据每个智能体在三维点云地图中实时定位坐标，计算得到每个智能体在预设时段的实时位移；
分别通过对每个智能体的实时位移进行时间微分，计算得到每个智能体的移动速度；
生成所述若干智能体的实时状态，如下所示：
Figure 988820DEST_PATH_IMAGE004
；其中，
Figure 122998DEST_PATH_IMAGE005
，
Figure 235311DEST_PATH_IMAGE006
为智能体在三维点云地图中的定 位坐标，
Figure 416150DEST_PATH_IMAGE007
、
Figure 879492DEST_PATH_IMAGE008
为智能体的移动速度，
Figure 427148DEST_PATH_IMAGE009
为智能体距机器人本体的距离，
Figure 518601DEST_PATH_IMAGE010
为智能体 与机器人本体的半径之和。
进一步地，预先构建所述目标卷积神经网络，包括以下步骤：
构建输入层，所述输入层包括两个GRU网络；
构建全连接层，设置所述全连接层的每层神经元个数为384，设置所述全连接层的激活函数为Relu，其表达式为：f(x)=max（0，x）；
构建输出层，所述输出层包括两个输出单元和softmax层；
将所述输出层与所述连接层拼接，将所述全连接层与所述输出层拼接，形成所述目标卷积神经网络。
进一步地，预先构建所述目标卷积神经网络，还包括：
训练所述目标卷积神经网络的网络参数，具体包括以下步骤：
获取测试样本，将所述测试样本生成状态-值集合，形成测试集；
将所述测试集输入所述目标卷积神经网络的输入层，获取所述输出层的输出结果，计算所述输出结果的最小化二次回归误差，通过反向传播所述最小化二次回归误差更新所述目标卷积神经网络的网络参数。
进一步地，将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，包括：
根据每个智能体距机器人本体的距离，降序排列每个智能体的实时状态，将每个智能体的实时状态依次输入所述目标卷积神经网络的输入层，通过所述输入层输出每个智能体的隐状态；
拼接所述隐状态与所述机器人本体的实时状态，形成输入向量；
将所述输入向量输入所述目标卷积神经网络的全连接层进行计算；
将所述全连接层的输出向量与所述输出层的输出结果进行全连接，并通过softmax层处理所述输出结果后，输出实时动作响应。
本发明的目的之二在于提供一种多机器人协同移动与动态避障装置，旨在实现动态环境下的实时任务分配和路径规划，提高多机器人调度过程中的通讯效率，从而提升客户体验。
本发明的目的之二采用以下技术方案实现：
多机器人协同移动与动态避障装置，其包括：
本体状态采集模块，用于获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态；
点云数据处理模块，用于采集实时点云数据，对所述点云数据进行预处理，并检测所述预处理后的点云数据中的若干智能体；
智能体状态计算模块，用于分别计算所述若干智能体的实时状态；
响应动作生成模块，用于将所述若干智能体的实时状态依次输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的多机器人协同移动与动态避障方法。
本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多机器人协同移动与动态避障方法。
相比现有技术，本发明的有益效果在于：
本发明基于预先构建的目标卷积神经网络和预先构建的环境地图，实时获取机器人的环境状态作为输入信息，通过该目标卷积神经网络输出响应动作，使得机器人能根据响应动作移动，实现动态避障。
附图说明
图1是本发明多机器人协同移动与动态避障方法的流程原理图；
图2是实施例2中的多机器人协同移动与动态避障装置的结构框图；
图3是实施例3的电子设备的结构框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例1
本实施例提供了一种多机器人协同移动与动态避障方法，首先预先对机器人本体所处的环境进行3D建模，按照智能体距机器人本体的远近，将机器人本体周围的智能体（包括其他机器人和行人）的实时状态依次输入训练好的目标卷积神经网络，以输出机器人本体的实时响应动作，使得机器人本体执行实时响应动作，安全无碰的移动直到达到目标点。
根据上述原理，对多机器人协同移动与动态避障方法进行介绍，如图1所示，多机器人协同移动与动态避障方法，具体包括以下步骤：
获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态；
采集实时点云数据，对所述点云数据进行预处理；
检测预处理后的所述点云数据，得到所述点云数据中的若干智能体；
分别计算所述若干智能体的实时状态；
将所述若干智能体的实时状态依次输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作，直到到达目标点坐标。
在本实施例中，机器人本体位姿包括初始位姿和目的地位姿；所述初始位姿包括机器人本体的初始坐标、初始坐标距离目标点坐标的距离、初始坐标到目标点坐标的偏角以及机器人本体的移动速度，所述目的地位姿包括目标点坐标以及最终姿态。
在本实施例中，上述预先构建的三维点云地图为通过机器人本体内置的3D激光雷达扫描周围环境信息，并采用google公司提供的cartographer软件根据扫描到的周围环境信息进行构建，通过该三维点云地图对机器人本体和智能体进行定位，得到定位坐标。
在本发明的其他实施例中，也可采用SLAM（即时定位与地图创建）来完成机器人本体所在空间的建模，得到三维环境地图（同三维点云地图），具体建模方法为本领域公知常识，在此不再赘述。
通过机器人本体内置的3D激光雷达采集机器人本体周围的点云数据，对所述点云数据进行预处理，即删除地面的点云数据以及删除与机器人本体距离大于5m的点云数据。
通过所述3D激光雷达实现采集实时点云数据，实现动态获取机器人本体周围的智能体，具有扫描范围广、精度高的优点，使得采集数据更精确。
本实施例采用SqueezeSeg网络检测预处理后的点云数据中的智能体，所述智能体包括行人和其他机器人，所述智能体为一个或多个。
当然，在其他实施例中，也可以采用其他算法实现三维物体的分割或检测，例如欧几里得聚类算法。
优选地，根据预先构建的三维点云地图和所述机器人本体的位姿，计算机器人本体的实时状态，具体包括：
实时获取机器人本体在所述三维点云地图中的定位坐标；当机器人在初始点时，该坐标可以通过机器人本体位姿中确定，具体根据机器人初始位姿确定。
获取所述机器人本体位姿中的目标点坐标、机器人本体到所述目标点坐标的偏角、机器人本体的移动速度；
根据机器人本体在所述三维点云地图中的定位坐标和所述目标点定位，计算机器人本体到目标点坐标的距离，从而根据上述信息生成机器人本体的状态集合，如下所示：
Figure 493510DEST_PATH_IMAGE001
；
其中，其中，dg为机器人本体到目标点坐标的距离，
Figure 788356DEST_PATH_IMAGE002
为机器人本体到目标点坐标的 偏角，
Figure 264337DEST_PATH_IMAGE003
为机器人本体的移动速度，r为机器人本体半径。
优选地，分别计算所述若干智能体的实时状态，包括：
分别获取每个智能体在三维点云地图中的实时定位坐标和半径；
分别根据每个智能体在三维点云地图中实时坐标，计算得到每个智能体在预设时段的实时位移；
通过对每个智能体的实时位移进行时间微分，计算得到每个智能体的移动速度；
此时，可生成智能体本体的自身状态集合，如下所示：
Figure 85663DEST_PATH_IMAGE011
；
其中，
Figure 762632DEST_PATH_IMAGE005
、
Figure 43309DEST_PATH_IMAGE006
为所述智能体在环境地图中的位置，
Figure 198347DEST_PATH_IMAGE012
、
Figure 405337DEST_PATH_IMAGE008
为所述智能体速度，
Figure 846683DEST_PATH_IMAGE013
为 智能体半径；
根据所述机器人本体的实时状态，分别计算每个智能体距所述机器人本体的距离以及每个智能体与所述机器人本体的半径之和；
生成每个智能体的实时状态，如下所示：
Figure 240755DEST_PATH_IMAGE004
；其中，
Figure 74850DEST_PATH_IMAGE005
，
Figure 870768DEST_PATH_IMAGE006
为智能体在三维点云地图中的定位 坐标，
Figure 889539DEST_PATH_IMAGE012
、
Figure 895541DEST_PATH_IMAGE008
为智能体的移动速度，
Figure 392382DEST_PATH_IMAGE009
为智能体距机器人本体的距离，
Figure 407918DEST_PATH_IMAGE010
为智能体与 所述机器人本体的半径之和。
需要注意的是，
Figure 597591DEST_PATH_IMAGE005
，
Figure 966256DEST_PATH_IMAGE006
为智能体在三维点云地图中的定位坐标，具体为X坐标和Y 坐标；所述
Figure 391421DEST_PATH_IMAGE012
、
Figure 896352DEST_PATH_IMAGE008
表示智能体的移动速度，具体为移动速度在X坐标和Y坐标的分量。
因为通过SqueezeSeg网络检测所述点云数据，会得到一个或多个智能体，因此需要分别计算所述智能体的实时状态，得到每个智能体的实时状态集合。
在本实施例中，对求解智能体的移动速度的过程进行说明：假定获取到在T时刻和T-1时刻的实时定位坐标，可以计算T-1时刻到T时刻这个时段的实时位移，根据实时位移进行时间微分，即实时位移/T-(T-1)=移动速度。上述预设时段可根据实际情况设置，在本实施例中预设时段取值为1min。
优选地，所述预先构建的目标卷积神经网络的构建和网络参数训练过程如下：
构建输入层，所述输入层包括两个基于循环神经网络RNN的GRU网络；
构建全连接层，所述全连接层的每层神经元个数设置为384，设置所述全连接层的激活函数为Relu，其表达式为：f(x)=max（0，x）；
构建输出层，所述输出层包括两个输出单元和softmax层；
将所述输入层与所述全连接层拼接，将所述全连接层与所述输出层拼接，形成所述目标卷积神经网络。
通过循环神经网络（RNN）的GRU网络构建输入层，使得在对机器人本体周围的智能体的隐状态进行表征时，智能体数量不会对训练过程进行限制，能保证训练速度。在本实施例中，该两个GRU网络的隐藏层数目为64，所述两个GRU网络分别用于输入智能体中的行人和智能体中的其他机器人，通过两个GRU网络输出智能体的隐状态。
构建目标卷积神经网络的全连接层，该全连接层包括依次构建的3个全连接层，设置全连接层的每层神经元为个数为384，且使用偏置（bias），设置该全连接层的激活函数为Relu，其表达式为：f(x)=max（0，x）；
构建目标卷积网络的输出层，构建输出层的两个输出单元和softmax层；这两个输出单元分别用于输出状态-值和动作集合，这两个输出单元与所述全连接层连接，所述输入层与所述全连接层连接，从而完成目标卷积神经网络的构建。
因此，本实施例构建的目标卷积神经网络由循环神经网络和全连接网络构成。
对上述构建的卷积神经网络进行网络参数训练：本实施例通过强化学习构造测试样本，该强化学习是一种基于学习环境状态到动作映射的机器学习方法，为本技术领域的公知常识，在此不对其原理和处理过程进行赘述。具体基于强化学习，采用ORCA（optimalreciprocal collision avoidance）生成1000条移动轨迹集作为训练样本，该移动轨迹集包括50000对状态-值。每条轨迹训练生成一个状态-值集合，状态-值集合如下所示：
Figure 256926DEST_PATH_IMAGE014
；
其中，
Figure 988252DEST_PATH_IMAGE015
，tg为到达目标点坐标所花费的时间，γ为衰减系数，该衰减系数 的取值为0.95，Sjn为智能体和机器人本体的联合状态，即上述
Figure 826895DEST_PATH_IMAGE001
和
Figure 576546DEST_PATH_IMAGE011
；
上述状态-值集合形成测试集：即将状态-值集合处理成[状态，值，动作]集合作为测试集，其中状态为机器人本体和智能体状态集合，值为该状态对应的值，动作为该状态对应的动作。
在本发明的其他实施例中，也可人工采集轨迹集作为测试样本。
将所述测试集输入上述目标卷积神经网络的输入层，获取输出层的输出结果，即状态-值和动作；
计算两个输出结果的最小化二次回归误差，计算公式如下：
Figure 108021DEST_PATH_IMAGE016
，
Figure 451278DEST_PATH_IMAGE017
；
其中，fv为状态-值的回归误差， fπ表示动作集合的回归误差，下标t表示t时刻，
Figure 467513DEST_PATH_IMAGE018
为 t时刻输出的响应动作；函数V表示状态-值函数，即
Figure 212615DEST_PATH_IMAGE019
表示输入t时刻的联合状态Sjn得 到的值；
Figure 914992DEST_PATH_IMAGE020
表示集合，
Figure DEST_PATH_IMAGE021
表示t时刻的联合状态下的响应动作集合， 表示t 时刻的联合状态集合；β为10-4。
反向传播上述最小化二次回归误差以更新网络参数，具体计算公式如下：
Figure 807862DEST_PATH_IMAGE024
；
其中，
Figure DEST_PATH_IMAGE025
表示目标神经网络的权重，即网络参数；k与上述t的含义相同，均是训练样本 的下标，在本实施例中k和t表示时刻。
冻结上述更新后的网络参数，完成所述目标神经网络的训练，通过训练后的目标神经网络能用于机器人动态避障，通过该目标卷积网络模型动态输出机器人的实时响应动作，使得机器人执行实时响应动作移动到目标点。
优选地，将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，得到输出结果，包括：
根据每个智能体距机器人本体的距离，降序排列每个智能体的实时状态，将每个智能体的实时状态依次输入所述目标卷积神经网络的输入层，通过所述输入层输出每个智能体的隐状态；
拼接所述隐状态与所述机器人本体的实时状态，形成输入向量；
将所述输入向量输入所述目标卷积神经网络的全连接层进行计算；
将所述全连接层的输出向量与所述输出层的输出结果进行全连接，并通过softmax层处理所述输出结果后，输出实时动作响应。
在本实施例中，对目标卷积神经网络处理智能体实时状态并输出响应动作的具体处理过程进行说明：
通过SqueezeSeg网络检测出所述点云数据中的一个或多个智能体，分别计算所述智能体的实时状态，得到每个智能体的实时状态集合。
计算所述智能体的实时状态，得到所述智能体的实时状态集合So，如下所示：
通过上述处理步骤，得到机器人本体的实时状态集合sh，如下所示：
Figure 598094DEST_PATH_IMAGE001
；
以及智能体的实时状态So，如下所示：
Figure 197703DEST_PATH_IMAGE011
；
其中，
Figure 195615DEST_PATH_IMAGE005
、
Figure 513464DEST_PATH_IMAGE006
为所述智能体在环境地图中的位置，
Figure 232021DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
为所述智能体速度，
Figure 797388DEST_PATH_IMAGE013
为 智能体半径；
根据机器人本体的实时状态集合sh和智能体的实时状态So，得到机器人本体的实时状 态集合
Figure 841567DEST_PATH_IMAGE028
，如下所示：
Figure 505767DEST_PATH_IMAGE004
Figure 293594DEST_PATH_IMAGE001
；
其中，dg为机器人本体到目标点的距离，
Figure 867795DEST_PATH_IMAGE002
为机器人本体到目标点的偏角，
Figure 692663DEST_PATH_IMAGE003
为机 器人本体的参考速度，r为机器人半径。
根据每个智能体距机器人本体的距离，按照距离远近，降序排列每个智能体状态 集合，并根据所述排列结果，将智能体的状态集合依次输入目标卷积神经网络，此时输入的 智能体的状态集合（这里输入的智能体集合跟上面计算得到智能体集合是不同的）
Figure 719524DEST_PATH_IMAGE028
为：
Figure 170097DEST_PATH_IMAGE004
；
其中，其中，
Figure 598805DEST_PATH_IMAGE005
，
Figure 719207DEST_PATH_IMAGE006
为智能体在三维点云地图中的定位坐标，
Figure 872846DEST_PATH_IMAGE026
、
Figure 2476DEST_PATH_IMAGE027
为智能体的移 动速度，
Figure 20111DEST_PATH_IMAGE009
为智能体距机器人本体的距离，
Figure 967207DEST_PATH_IMAGE010
为智能体与所述机器人本体的半径之和。
将上述状态集合
Figure 703082DEST_PATH_IMAGE028
输入目标卷积神经网络的输入层，即将行人的状态集合和其他 机器人的状态集合分别输入两个GRU网络，通过这两个GRU网络输出智能体隐状态，并将该 智能体隐状态及机器人本体的状态sh拼接，形成一个19维的输入向量，该输入向量包括机 器人本体及智能体的所有信息，将所述输入向量输入全连接层。
然后将全连接层的输出结果转换为一维向量；
通过输出层的两个输出单元分别输出状态-值V(s)和动作集合，这两个输出单元分别与全连接层输出的一维向量全连接，此时状态-值V(s)为1维，动作集合为11*1张量，通过输出层的softmax层对动作集合进行softmax处理，将动作集合转换为概率值，根据概率值确定最佳的移动策略，即得到目标卷积神经网络输出的响应动作，使得机器人可根据该响应动作移动。
其中，上述动作集合为
Figure DEST_PATH_IMAGE029
，该动作集合的取值空间为：
Figure 715031DEST_PATH_IMAGE030
，共11维。
实施例2
本实施例对应实施例1的多机器人协同移动与动态避障方法，公开了一种多机器人协同移动与动态避障的装置，为上述实施例1的虚拟装置结构，请参照图2所示，包括：
本体状态采集模块210，用于获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，实时计算机器人本体的实时状态；
点云数据处理模块220，用于采集实时点云数据，对所述点云数据进行预处理，并检测所述预处理后的点云数据中的若干智能体；
智能体状态计算模块230，用于分别计算所述若干智能体的实时状态；
响应动作生成模块240，用于将所述若干智能体的实时状态依次输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
实施例3
图3为本发明实施例3提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；电子设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的多机器人协同移动与动态避障方法对应的程序指令/模块（例如，多机器人协同移动与动态避障装置中的本体状态采集模块210、点云数据处理模块220、智能体状态计算模块230和响应动作生成模块240）。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的多机器人协同移动与动态避障方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的本体位姿等。输出装置340可为显示屏等显示设备。
实施例4
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行多机器人协同移动与动态避障方法，该方法包括：
获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，实时计算机器人本体的实时状态；
采集实时点云数据，对所述点云数据进行预处理；
检测所述预处理后的点云数据中的若干智能体；
分别计算所述若干智能体的实时状态；
将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的多机器人协同移动与动态避障方法中的相关操作。
通过以上关于实施方式的描述，所属邻域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（RandomAccess Memory， RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台电子设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述多机器人协同移动与动态避障装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
对本邻域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种多机器人协同移动与动态避障方法，其特征在于，包括以下步骤：
获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态；
采集实时点云数据，对所述点云数据进行预处理；
检测所述预处理后的点云数据中的若干智能体；
分别计算所述若干智能体的实时状态；
将所述若干智能体的实时状态信息依次输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
2.如权利要求1所述的多机器人协同移动与动态避障方法，其特征在于，通过3D激光雷达采集所述点云数据，对所述点云数据进行预处理，包括：删除地面及与所述机器人本体的直线距离大于5m的点云数据。
3.如权利要求1所述的多机器人协同移动与动态避障方法，其特征在于，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态，具体包括：
获取机器人本体在所述三维点云地图中的定位坐标和机器人本体半径；
获取所述机器人本体位姿中的目标点坐标、机器人本体到所述目标点坐标的偏角、机器人本体的移动速度；
根据所述定位坐标和所述目标点坐标，计算机器人本体到目标点坐标的距离；
生成机器人本体的实时状态集合，如下所示：
Figure 368876DEST_PATH_IMAGE001
；
其中，dg为机器人本体到目标点坐标的距离，
Figure 98935DEST_PATH_IMAGE002
为机器人本体到目标点坐标的偏角，
Figure 784125DEST_PATH_IMAGE003
为机器人本体的移动速度，r为机器人本体半径。
4.如权利要求3所述的多机器人协同移动与动态避障方法，其特征在于，
分别计算所述若干智能体的实时状态，包括：
分别获取每个智能体在三维点云地图中的实时定位坐标和半径；
分别根据每个智能体在三维点云地图中实时坐标，计算得到每个智能体在预设时段的实时位移；
通过对每个智能体的实时位移进行时间微分，计算得到每个智能体的移动速度；
根据所述机器人本体的实时状态，分别计算每个智能体距所述机器人本体的距离以及每个智能体与所述机器人本体的半径之和；
生成每个智能体的实时状态，如下所示：
Figure 43068DEST_PATH_IMAGE004
；其中，
Figure 328556DEST_PATH_IMAGE005
，
Figure 331147DEST_PATH_IMAGE006
为智能体在三维点云地图中的定位 坐标，
Figure DEST_PATH_IMAGE007
、
Figure 651270DEST_PATH_IMAGE008
为智能体的移动速度，
Figure DEST_PATH_IMAGE009
为智能体距机器人本体的距离，
Figure 127119DEST_PATH_IMAGE010
为智能体与 所述机器人本体的半径之和。
5.如权利要求1所述的多机器人协同移动与动态避障方法，其特征在于，预先构建所述目标卷积神经网络，包括以下步骤：
构建输入层，所述输入层包括两个GRU网络；
构建全连接层，所述全连接层的每层神经元个数设置为384，设置所述全连接层的激活函数为Relu，其表达式为：f(x)=max（0，x）；
构建输出层，所述输出层包括两个输出单元和softmax层；
将所述输入层与所述全连接层拼接，将所述全连接层与所述输出层拼接，形成所述目标卷积神经网络。
6.如权利要求5所述的多机器人协同移动与动态避障方法，其特征在于，
预先构建所述目标卷积神经网络，还包括：
训练所述目标卷积网络的网络参数，具体包括以下步骤：
获取测试样本，将所述测试样本生成状态-值集合，形成测试集；
将所述测试集输入所述目标卷积神经网络的输入层，获取所述输出层的输出结果，计算所述输出结果的最小化二次回归误差，通过反向传播所述最小化二次回归误差更新所述目标卷积神经网络的网络参数。
7.如权利要求6所述的多机器人协同移动与动态避障方法，其特征在于，将所述若干智能体的实时状态输入预先构建的目标卷积神经网络，包括：
根据每个智能体距机器人本体的距离，降序排列每个智能体的状态，将所述每个智能体的实时状态依次输入所述目标卷积神经网络的输入层，通过所述输入层输出所述每个智能体的隐状态；
拼接所述隐状态与所述机器人本体的实时状态，形成输入向量；
将所述输入向量输入所述目标卷积神经网络的全连接层进行计算；
将所述全连接层的输出向量与所述输出层的输出结果进行全连接，并通过softmax层处理所述输出结果后，输出实时动作响应。
8.一种多机器人协同移动与动态避障装置，其特征在于，包括：
本体状态采集模块，用于获取机器人本体位姿，根据预先构建的三维点云地图和所述机器人本体位姿，计算机器人本体的实时状态；
点云数据处理模块，用于采集实时点云数据，对所述点云数据进行预处理，并检测所述预处理后的点云数据中的若干智能体；
智能体状态计算模块，用于分别计算所述若干智能体的实时状态；
响应动作生成模块，用于将所述若干智能体的实时状态依次输入预先构建的目标卷积神经网络，执行所述目标卷积神经网络输出的实时响应动作。
9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的多机器人协同移动与动态避障方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的多机器人协同移动与动态避障方法。
CN202010404961.4A 2020-05-14 2020-05-14 多机器人协同移动与动态避障方法、装置、设备及介质 Active CN111309035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010404961.4A CN111309035B (zh) 2020-05-14 2020-05-14 多机器人协同移动与动态避障方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010404961.4A CN111309035B (zh) 2020-05-14 2020-05-14 多机器人协同移动与动态避障方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111309035A true CN111309035A (zh) 2020-06-19
CN111309035B CN111309035B (zh) 2022-03-04

Family

ID=71150214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010404961.4A Active CN111309035B (zh) 2020-05-14 2020-05-14 多机器人协同移动与动态避障方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111309035B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741424A (zh) * 2021-08-04 2021-12-03 深圳市普渡科技有限公司 机器人协同避障系统、方法、机器人及存储介质
WO2022007179A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 一种多agv运动规划方法、装置和系统
CN113960995A (zh) * 2020-07-20 2022-01-21 炬星科技（深圳）有限公司 一种避障规划方法、系统及设备
CN114545776A (zh) * 2022-03-02 2022-05-27 盛景智能科技(嘉兴)有限公司 多智能体控制方法及装置
CN115437364A (zh) * 2021-11-16 2022-12-06 华东理工大学 一种多机器人路径规划方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792530A (zh) * 2015-04-15 2015-07-22 北京航空航天大学 一种基于SDA和Softmax回归的深度学习滚动轴承故障诊断方法
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106774335A (zh) * 2017-01-03 2017-05-31 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
CN108121347A (zh) * 2017-12-29 2018-06-05 北京三快在线科技有限公司 用于控制设备运动的方法、装置及电子设备
CN108399435A (zh) * 2018-03-21 2018-08-14 南京邮电大学 一种基于动静特征的视频分类方法
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN108629295A (zh) * 2018-04-17 2018-10-09 华中科技大学 转角地标识别模型训练方法、转角地标识别方法及装置
CN109949264A (zh) * 2017-12-20 2019-06-28 深圳先进技术研究院 一种图像质量评价方法、设备及存储设备
CN109976340A (zh) * 2019-03-19 2019-07-05 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN110147757A (zh) * 2019-05-17 2019-08-20 国网山东省电力公司菏泽供电公司 基于卷积神经网络的输电通道工程车辆辨识方法及系统
CN110471444A (zh) * 2019-08-19 2019-11-19 西安微电子技术研究所 基于自主学习的无人机智能避障方法
CN110632931A (zh) * 2019-10-09 2019-12-31 哈尔滨工程大学 动态环境下基于深度强化学习的移动机器人避碰规划方法
CN110956662A (zh) * 2019-11-29 2020-04-03 北京邮电大学 载体避障方法、装置及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104792530A (zh) * 2015-04-15 2015-07-22 北京航空航天大学 一种基于SDA和Softmax回归的深度学习滚动轴承故障诊断方法
CN106503663A (zh) * 2016-11-01 2017-03-15 江苏大学 一种基于深度学习的信号灯时长检测方法
CN106774335A (zh) * 2017-01-03 2017-05-31 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN109949264A (zh) * 2017-12-20 2019-06-28 深圳先进技术研究院 一种图像质量评价方法、设备及存储设备
CN108121347A (zh) * 2017-12-29 2018-06-05 北京三快在线科技有限公司 用于控制设备运动的方法、装置及电子设备
CN108399435A (zh) * 2018-03-21 2018-08-14 南京邮电大学 一种基于动静特征的视频分类方法
CN108629295A (zh) * 2018-04-17 2018-10-09 华中科技大学 转角地标识别模型训练方法、转角地标识别方法及装置
CN109976340A (zh) * 2019-03-19 2019-07-05 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN110147757A (zh) * 2019-05-17 2019-08-20 国网山东省电力公司菏泽供电公司 基于卷积神经网络的输电通道工程车辆辨识方法及系统
CN110471444A (zh) * 2019-08-19 2019-11-19 西安微电子技术研究所 基于自主学习的无人机智能避障方法
CN110632931A (zh) * 2019-10-09 2019-12-31 哈尔滨工程大学 动态环境下基于深度强化学习的移动机器人避碰规划方法
CN110956662A (zh) * 2019-11-29 2020-04-03 北京邮电大学 载体避障方法、装置及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022007179A1 (zh) * 2020-07-10 2022-01-13 歌尔股份有限公司 一种多agv运动规划方法、装置和系统
US12045061B2 (en) 2020-07-10 2024-07-23 Goertek Inc. Multi-AGV motion planning method, device and system
CN113960995A (zh) * 2020-07-20 2022-01-21 炬星科技（深圳）有限公司 一种避障规划方法、系统及设备
CN113741424A (zh) * 2021-08-04 2021-12-03 深圳市普渡科技有限公司 机器人协同避障系统、方法、机器人及存储介质
CN115437364A (zh) * 2021-11-16 2022-12-06 华东理工大学 一种多机器人路径规划方法
CN114545776A (zh) * 2022-03-02 2022-05-27 盛景智能科技(嘉兴)有限公司 多智能体控制方法及装置
CN114545776B (zh) * 2022-03-02 2024-12-17 盛景智能科技(嘉兴)有限公司 多智能体控制方法及装置

Also Published As

Publication number Publication date
CN111309035B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN111309035B (zh) 多机器人协同移动与动态避障方法、装置、设备及介质
CN114384920B (zh) 一种基于局部栅格地图实时构建的动态避障方法
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
CN114603564A (zh) 机械臂导航避障方法、系统、计算机设备及存储介质
CN112666939A (zh) 一种基于深度强化学习的机器人路径规划算法
CN108838991A (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN102915039A (zh) 一种仿动物空间认知的多机器人联合目标搜寻方法
CN115454096B (zh) 一种基于课程强化学习的机器人策略训练系统及训练方法
Luo et al. A multi-scale map method based on bioinspired neural network algorithm for robot path planning
CN115293227A (zh) 一种模型训练方法及相关设备
CN118809597A (zh) 双臂移动机器人的轨迹规划方法、装置、机器人及介质
CN119043331A (zh) 基于图深度强化学习的多机器人协同导航方法及系统
Chen et al. Deep reinforcement learning-based robot exploration for constructing map of unknown environment
CN114326826B (zh) 多无人机队形变换方法及系统
Yevsieiev et al. Route constructing for a mobile robot based on the D-star algorithm
Prados et al. Learning and generalization of task-parameterized skills through few human demonstrations
CN113741461B (zh) 一种面向受限通信的复杂场景下多机器人避障方法
Gu et al. D3-TD3: Deep Dense Dueling Architectures in TD3 Algorithm for Robot Path Planning Based on 3D Point Cloud
CN118990489A (zh) 一种基于深度强化学习的双机械臂协作搬运系统
Fang et al. Quadrotor navigation in dynamic environments with deep reinforcement learning
Shengjun et al. Improved artificial bee colony algorithm based optimal navigation path for mobile robot
Toan et al. Environment exploration for mapless navigation based on deep reinforcement learning
CN114859940A (zh) 机器人移动控制方法、装置、设备以及存储介质
Queißer et al. Incremental bootstrapping of parameterized motor skills
He et al. Imitation learning study for robotic peg-in-hole assembly

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220401

Address after: 310051 4f, Yuanyuan building, No. 528, Liye Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: ZHEJIANG XIAOYUAN ROBOT Co.,Ltd.

Address before: 23 / F, World Trade Center, 857 Xincheng Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Patentee before: ZHEJIANG UTRY INFORMATION TECHNOLOGY Co.,Ltd.

PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20250423

Granted publication date: 20220304