CN112434464B - 基于maddpg算法的船舶多机械臂弧焊协同焊接方法 - Google Patents

基于maddpg算法的船舶多机械臂弧焊协同焊接方法 Download PDF

Info

Publication number
CN112434464B
CN112434464B CN202011240612.XA CN202011240612A CN112434464B CN 112434464 B CN112434464 B CN 112434464B CN 202011240612 A CN202011240612 A CN 202011240612A CN 112434464 B CN112434464 B CN 112434464B
Authority
CN
China
Prior art keywords
welding
value
action
state
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011240612.XA
Other languages
English (en)
Other versions
CN112434464A (zh
Inventor
花磊
孙宏伟
李启明
沈言
张明盛
陈卫彬
曹荣祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Shipbuilding Digital Information Technology Co ltd
716th Research Institute of CSIC
Jiangsu Jari Technology Group Co Ltd
Original Assignee
716th Research Institute of CSIC
Jiangsu Jari Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 716th Research Institute of CSIC, Jiangsu Jari Technology Group Co Ltd filed Critical 716th Research Institute of CSIC
Priority to CN202011240612.XA priority Critical patent/CN112434464B/zh
Publication of CN112434464A publication Critical patent/CN112434464A/zh
Application granted granted Critical
Publication of CN112434464B publication Critical patent/CN112434464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

本发明属于焊接控制领域，具体为一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法。包括如下步骤：a)搭建强化学习环境；b)确定机械臂的动作空间和状态空间信息，并初始化状态值；c)由状态值、动作值及协同焊接、避碰的不同任务，设定奖励函数；d)根据当前自身状态值通过演员网络选择当前的动作，并将该动作与a中环境交互得出奖励值及新的状态值；e)将动作和状态输入评判家网络得到该状态和动作下的价值函数；f)由e中得到的价值函数及c中的奖励函数构成损失函数反向传播更新演员网络和评判家网络中的权值，重复d‑f的训练过程直至权重变化满足期望要求。本方法不依赖系统的模型，适应于障碍环境中的复杂弧焊任务。

Description

基于MADDPG算法的船舶多机械臂弧焊协同焊接方法
技术领域
本发明属于焊接控制领域，具体涉及一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法。
背景技术
随着工业及计算机等技术的发展，焊接工业自动化在船舶领域内被广泛应用。焊接任务对于多机器人的协同作业来说，避免与其它焊接机器人发生干涉是一个比较重要的问题。因此研究多台焊接机器人的路径规划问题对减少焊接工作时间、提高焊接生产效率有着重要的意义。
目前，在多机器人协作系统研究领域，进行了很多科学有效的研究，并且取得了较丰硕的成果。张铁等在文献(张铁,应灿,翟敬梅，“基于运动链末端耦合与解耦的机器人协同焊接算法”，华南理工大学学报(自然科学版),2013,41(11):56-66.)提出了一种基于运动链末端耦合与解耦思想的、具普适性的机器人工作站协同焊接算法。该算法以负责夹持焊件的运动链为主运动链，使焊缝离散点依次更替并调整到最佳焊接位姿，其他运动链末端跟踪当前焊缝离散点。翟敬梅等在文献(翟敬梅,应灿,张铁,徐晓，“双机器人协同焊接的轨迹优化”，焊接学报,2015,36(01):91-95.)提出一种双机器人协同焊接轨迹优化方法，该方法以最佳焊位、焊接速度恒定、无碰撞以及一定焊枪工作位姿为约束条件，确定双机器人初始焊接点可行域，基于焊接平稳性思想，获取最优初始焊接点和其对应的最优焊接轨迹。Ryu等在文献(Ryu L,Kim T,Oh M,“Workspace analysis to generate a collision-freetorch path for a ship welding robot”，Journal of marine science andtechnology,2009,14(3):345-358.)提出了一种确定最佳初始位置与生成火炬路径的方法。借助目标函数，通过调整割炬姿势，可操纵程度和每个关节角度范围的约束以避免碰撞。此法可通过改变目标函数来使造船期间每个区块的焊接工作自动执行，而无需考虑机器人的形状。
上述方法往往都需要具体的系统模型，而强化学习旨在让智能体探索并学习某特定的未知环境，通过奖励函数设置及值函数更新等方法来引导智能体针对特定状态学会决策并做出相应的最优动作，从而获得最大的奖励。
发明内容
本发明的目的在于提供一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法，该方法简单可靠，适应于障碍环境中的复杂弧焊任务。
实现本发明目的的技术解决方案为：一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法，适应于障碍环境中的复杂弧焊任务，该方法包括如下步骤：
步骤(a)：搭建船舶弧焊协同焊接的强化学习环境；
步骤(b)：确定机械臂在不同协同焊接任务下强化学习过程中的动作空间u 和状态空间s信息，并随机初始化机械臂的状态值；
步骤(c)：由步骤(b)中的状态值及协同焊接、避碰的不同任务，设定强化学习过程中引导机械臂学习的奖励函数；
步骤(d)：根据当前自身状态值通过演员网络选择当前的动作，并将该动作与步骤(a)的强化学习环境交互得出奖励值及新的状态值；
步骤(e)：将动作和状态输入评判家网络得到该状态和动作下的价值函数；
步骤(f)：由步骤(e)中得到的价值函数及步骤(c)中的奖励函数构成损失函数反向传播更新演员网络和评判家网络中的权值，重复步骤(d)到步骤(f) 的训练过程直至权重变化满足期望要求。
进一步的，所述步骤(a)具体包括如下步骤：
步骤(a1)：模拟刻画基于python软件中的仿真焊接环境的舱室空间；
步骤(a2)：模拟加入焊缝，障碍物及机械臂后的仿真焊接环境。
进一步的，所述步骤(b)包括两种情况，具体为：
第一种情况(b1)：一条焊缝仅由一个机械臂焊接的情况下，机械臂的动作空间u、状态空间s以及各个焊缝的焊接情况和位置信息，并初始化机械臂的状态值；
第二种情况(b2)一条焊缝可以同时被多个机械臂焊接的情况下，机器人的动作空间u、状态空间s以及各个焊缝的焊接情况和位置信息。
进一步的，所述步骤(c)包括两种情况，具体为：
第一种情况(c1)：设计一条焊缝仅由一个机械臂焊接的情况下焊接焊缝所需的焊接奖励函数、受力惩罚函数以及避障函数的奖励函数；
第二种情况(c2)：设计一条焊缝可以同时被多个机械臂焊接的情况下焊接焊缝所需的焊接奖励函数、受力惩罚函数以及避障函数的奖励函数。
进一步的，所述步骤(d)具体包括如下步骤：
步骤(d1)：设计一个输入为机械臂状态值，输出为动作值的演员神经网络；
步骤(d2)：将(b1)中的状态值输入到步骤(d1)中的演员神经网络得到每个机械臂动作值；
步骤(d3)：由步骤(d2)中得到的每个机械臂动作值，此时对选择的动作值加入噪声得到最终的动作值；再根据此动作与步骤(a2)中的环境进行交互得出机械臂新的状态值以及奖励值。
进一步的，所述步骤(e)具体包括如下步骤：
步骤(e1)：设计一个以动作值，状态值以及奖励值为输入，动作价值函数为输出的评论家神经网络；
步骤(e2)：将(b1)中的状态值，步骤(d3)中的动作值，新的状态值以及奖励值输入到步骤(e1)中的评论家神经网络，得出每个机械臂的动作价值函数。
进一步的，所述步骤(f)具体包括如下步骤：
步骤(f1)：由步骤(e2)中得到的机械臂的动作价值函数及步骤(d3)中得到的奖励值分别构造演员网络和评论家网络的损失函数；
步骤(f2)：根据反向传播算法计算更新神经网络权重并重复训练过程本发明与现有技术相比，其显著优点在于：
本方法简单有效，由于强化学习是端到端的过程，且仅由智能体与环境之间交互及奖励函数的激励来完成，因此不依赖系统的模型，适应于障碍环境中的复杂弧焊任务。
附图说明
图1为本发明的焊缝强化学习环境初始化结果，其中(a)为未焊接时，(b) 为焊接时。
图2为本发明的演员神经网络的结构。
图3为本发明的评论家神经网络的结构。
图4为本发明基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法设计流程图。
以上的图中：其中A指向的圆代表机械臂；O指向的圆表示障碍物；UW指向的线段表示未焊接的焊缝；W指向的线段表示焊缝已焊接部分；FC表示神经网络中的全连接层；ReLU表示激励函数中的线性整流函数；tanh表示激励函数中的双曲正切函数；q(s,a)表示该状态值动作值下的动作价值函数。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明是一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法，特别适应于障碍环境中的复杂弧焊任务。首先，考虑机械臂在一个600×600 的连续空间内进行协同焊接学习，并对该环境在python软件中进行建模。随后模拟加入多个机械臂，障碍物以及多条焊缝后的环境，并同样在python软件中进行建模。
这里借助摄像头来确定机械臂，障碍物以及焊缝的位置，并确定焊缝被焊接的情况，再借助传感器得到各机械臂的速度(即机械臂的状态空间s)，这里焊缝我们假设用直线型的，而障碍物用圆形的。
对于机械臂的动作空间u，这里包括x和y方向上的力fx,fy(都存在正负，都为0时则为静止，且都存在一个上限)。机械臂通过受力得到加速度，结合自身速度在仿真环境中运动，若达到该环境边缘时，则使当前速度反向(避免跑出边界)。
对机械臂在学习环境中的奖励值的设置可以正确的引导其学习过程。首先，在该方法中，每个机械臂都有一个单独的奖励值。由于目标是最短时间内完成焊接任务，我们考虑在奖励值中加入一个对时间t的一个惩罚，而焊接一条焊缝的奖励值设为100。在机械臂运动过程会发生机械臂与障碍物或其他机械臂的碰撞，此时我们设置一个碰撞的惩罚，如若两者距离过小，则会得到一个-100的奖励，且使此次焊接结束。同时，若考虑机械臂能量的消耗，可加入一个对机械臂受力的惩罚函数。最后，结合四个函数，予以不同的权重得出最终的奖励函数。
在对机械臂学习过程的状态空间、动作空间及奖励函数做了上述规定后，便可以利用MADDPG算法训练机械臂在环境中的学习过程。
首先，对机械臂在强化学习环境的状态值进行初始化。然后设计一个输入为机械臂状态值，输出为动作值的演员神经网络，将初始化的状态值输入该神经网络得出动作值，此时加入些许噪声得到最终的动作值，再将该动作以及状态值输入到强化学习环境中得出下一时刻的状态值及该状态动作下的奖励值。再设计一个以动作值，状态值以及奖励值为输入，动作价值函数为输出的评论家神经网络，将动作值，状态值以及奖励值输入该网络得出动作价值函数。得到的动作价值函数结合奖励值再分别构造演员神经网络与评论家神经网络的损失函数，利用反向传播的计算更新神经网络的权重，再更新的神经网络不断进行以上步骤的重复及训练过程，最终可以得到一个近似收敛到最优值的结果。由此，便完成了基于 MADDPG强化学习算法的船舶多机械臂弧焊协同焊接的训练学习过程。
图4是本发明的设计流程图，由步骤P1-P6构成，各步骤叙述如下：
1)步骤P1
本发明是一种基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接方法，因此需要先模拟刻画基于python软件中的仿真焊接环境的舱室空间，再模拟加入焊缝，障碍物及机械臂后的仿真焊接环境，具体实施步骤如下：
第一步：由于本方法采用MADDPG的强化学习方法，动作空间和状态空间将为连续的，所以先使用python软件建立一个600×600的空白连续空间，而后的模拟学习过程将都会在此空间内进行。并设置机械臂在此环境中的速度上限，以及若机械臂达到该环境边缘时，则使当前速度反向(避免跑出边界)
第二步：将焊缝，障碍物及机械臂加入到第一步中建立的空间中，并通过其中的reset函数初始化焊缝，障碍物及机械臂的位置，再通过gym库中的render 函数可视化，结果如图1。并设置机械臂在此环境中的速度上限，以及若机械臂达到该环境边缘时，则使当前速度反向(避免跑出边界)。并在此环境中写入机械臂通过受力得到加速度，以及结合自身速度编写在仿真环境中运动的规则。依照该规则编写出step函数，即输入状态和动作得出下一时刻状态和该动作状态下的奖励值。
2)步骤P2
建立完强化学习环境后，想要在环境中模拟机械臂学习过程，需要先根据不同的焊接任务确认构建强化学习所需的状态空间s、动作空间u以及焊缝的状态信息，根据任务的不同具体分为以下两种：
一.一条焊缝仅由一个机械臂焊接的情况下：
状态空间s：第i个机器人在空间内的坐标(xi,yi)，并假设这里机器人为简单的圆形，半径为Di，速度vix,viy(初始为0)以及焊接是否结束的状态endstate (若所有弧焊都已被焊接则完成，这里也可在发生碰撞时使该episode结束)。其中训练以episode的形式进行的，即一个episode结束时，则通过编写reset函数使机器人状态值回到初始状态。
动作空间u：在该空间内，每个机器人受到x，y方向下的两个力fx,fy(都存在正负，都为0时则为静止，且都存在一个上限)。
障碍物的信息：我们假设这里的障碍物也为简单的圆形，第k个障碍物在空间内的坐标(xk,yk)，半径为Dk。
焊缝的状态：第j个弧焊的起点位置(xjs,yjs)，终止位置(xje,yje)以及其状态 sj，sj等于0表示已焊上，等于1表示未被焊上，若已被焊上则不再称为焊缝。由于一条焊缝仅有一个机械臂焊接，则我们假设每个机器人的焊接能力是相同的，即焊完一个焊缝需要时间th，且只要有机器人到达焊缝起点即表示焊缝已被焊接，因为到达焊缝起点则表示接下来的th内的动作与状态都将被确定，假设此时的 fx,fy都为0，机械臂沿焊缝运动)。
二.一条焊缝可以同时被多个机械臂焊接的情况下：
此情况下机器人的状态空间、动作空间以及障碍物的信息同场景一中所述一样，而焊缝的状态将有所变化。
焊缝的状态：第j个弧焊的起点位置(xjs,yjs)和终止位置(xje,yje)，由于此时需考虑不同机械臂焊接同一条焊缝的情况，焊缝的焊接状态sj将不再是简单的 0-1分布，而是一个连续的分布。这里我们仍假设每个机器人的焊接能力是相同的，即焊完一个焊缝需要时间th。则sj如下：
Figure BDA0002768250080000061
其中tij表示机器人i在第j个焊缝工作的时间，初始都为0，只有到达焊缝的起始位置是开始计算。若sj为0时，则表述焊接第j个焊缝完毕。
3)步骤P3
步骤P3根据由P1中的信息以及不同协同焊接任务的要求设计强化学习的价值函数。根据不同的任务具体设计如下：
一.一条焊缝仅由一个机械臂焊接的情况下：
针对每个机器人的价值我们分为以下几块：
(1)对输入的力的惩罚(力的大小与需要的能量有关，能量则与机器人消耗的电量相关)：
Figure BDA0002768250080000071
(2)机器人所处位置是否为弧焊(机械臂的位置是否与焊缝的起点位置相同，且焊缝未被焊接)的奖励：
Figure BDA0002768250080000072
(3)对时间t的惩罚(目的是焊接的越快越好)：
rit＝-t
(4)对碰撞的惩罚(即进行避碰)：
Figure BDA0002768250080000073
其中pi,pk分别为机械臂和障碍物的中心位置坐标，而Di,Dk则表示为它们的半径；pm表示除自身以外的其他机械臂的中心位置坐标，而Dm则表示它们的半径。若碰撞到障碍物或其他机械臂，不止要受到惩罚还会使该episode提前结束。最终的价值函数如下：
r＝k1rif+k2rih+k3rit+k4ric
这里的k1,k2,k3,k4表示每个价值的权重，取值取决于目标的侧重性，比如若侧重时间最短，则k3取较大值，若侧重能耗小，则k1取较大值。
二.一条焊缝可以同时被多个机械臂焊接的情况下：
由于在该场景下需考虑一条焊缝可以同时被多个机械臂焊接的问题，焊缝焊接状态与第一种情况不同，则在焊接奖励函数部分将有所变化，如下式：
Figure BDA0002768250080000081
其中设mij表示第i个机器人是否在焊接第j个焊缝，若是则为1，否则为0。此价值表示为焊接了一个时间步长所得到的价值，若sjh为0时，则焊接第j个焊缝完毕，mij全置为0。其他三个部分的价值将无需变化，与场景一中相同。
4)步骤P4
步骤P4根据当前自身状态值(初次为P1中reset函数得到的初始化状态值，而后为P4通过step函数得到的下一步的状态值)通过演员网络选择当前的动作, 并将该动作与P1中环境交互得出奖励值及新的状态值。设计按下列步骤实现：
第一步：设计如图2所示的演员神经网络，该网络由三层全连接层构成，且每层后面都连接一个激励函数，每一层全连接层后的数字代表输出的为几维向量，即最后将输出动作值，ReLU激励函数的作用是简化梯度下降以及反向传播过程，使收敛速度更快。而最后一层全连接层后接tanh激励函数是为了将action的值控制在[-1，1]之间，因为在环境中将所受的力限制在此区间内。且在此算法中每个机械臂都需有一个演员神经网络，每个机械臂只用到自身的信息，即称为分布式的演员结构。
第二步：将机械臂的状态值输入到第一步设计的演员神经网络，得出各机械臂的动作值。
第三步：对得到的动作值加入适当噪声，作用如同Epsilon-Greedy算法(在当前观测下机械臂有ε的概率选择所有当前动作，同时也有1-ε的概率选择其余的任意非当前时刻的动作。)可以探索更广的空间。然后将该动作值与状态值带入P1环境中的step函数得出下一时刻的状态及该动作状态下的奖励值。
5)步骤P5
步骤P5将所有机器人的状态信息以及P4中所有机器人的当前动作输入评论家网络得到该动作状态下的动作价值函数。设计按下列步骤实现：
第一步：设计如图3所示的评论家网络，该网络先对all states输入一层全连接层进行预处理，然后将得到的结果与all actions拼接，再通过三层全连接网络，逐层递进，最后将维度置为1，得出动作价值函数。其中最后一层全连接层未接 ReLU激励函数，因为此动作价值函数需有复数(表示该动作产生了负反馈)。同样的，每个机械臂也存在一个评论家神经网络，由于用到所有机械臂的信息，即称为集中式的评论家结构。
第二步：将所有机械臂状态值和P4中得到的所有机械臂的动作值输入到第一步中设计的评论家神经网络得到该状态动作下的动作价值函数。
6)步骤P6
步骤P6由P5中得到的动作价值函数及P4中的奖励值构成损失函数反向传播更新演员网络和评判家网络中的权值。具体实现步骤如下：
第一步：分别构建演员网络和评判家网络的损失函数。这里为了使网络的更新稳定，这里对演员和评论家网络都加入了相应的目标网络，目标网络即结构相同，但是更新方式不同。且由更新方式不同可分为hard update(每过指定的epsiode， target网络参数更新成与相应网络相同的参数，其他时候不更新)和soft update 如下：
Figure BDA0002768250080000091
即每步都更新，但更新更加缓慢。其中θQ,θQ',θμ,θμ'分别表示评论家网络，评论家目标网络，演员网络，演员目标网络的权值，τ表示更新速率的一个参数。我们首先通过目标演员网络及评论家网络得到现实的动作价值函数：
Figure BDA0002768250080000092
其中ri表示第i个机械臂的奖励值，
Figure BDA0002768250080000093
表示通过目标演员网络得到的动作值带入到评论家网络得到的动作价值函数，x'表示下一时刻的所有机械臂的状态总和，a'1,...,a'N表示通过目标演员网络得到的机械臂动作值，oj表示该机械臂的观测值，μj表示智能体选择动作值采用的策略，对应于上述网络参数θ。然后利用该现实的动作价值函数得到TD-error作为评论家网络的loss函数：(上式中还有参数没有中文含义)
Figure BDA0002768250080000101
其中S为在经验池中选中的样本数，这里的Q则为目标的Q值，而更新演员网络用的梯度如下：
Figure BDA0002768250080000102
第二步：根据反向传播算法，通过对第一步的损失函数进行梯度下降来更新演员和评论家神经网络的权重，相应的目标网络用soft update方法进行更新。将更新权重后的神经网络不断进行以上步骤的重复及训练过程，最终便可以得到一个近似收敛到最优值的结果。由此，便完成了基于MADDPG强化学习算法的船舶多机械臂弧焊协同焊接的训练学习过程。

Claims (1)

1.一种基于MADDPG算法的船舶多机械臂弧焊协同焊接方法，其特征在于，适应于障碍环境中的复杂弧焊任务，该方法包括如下步骤：
步骤（a）：搭建船舶弧焊协同焊接的强化学习环境；
步骤（a1）：模拟刻画基于python软件中的仿真焊接环境的舱室空间；
步骤（a2）：模拟加入焊缝，障碍物及机械臂后的仿真焊接环境；
步骤（b）：确定机械臂在不同协同焊接任务下强化学习过程中的动作空间u和状态空间s信息，并随机初始化机械臂的状态值；
在环境中模拟机械臂学习过程，根据不同的焊接任务确认构建强化学习所需的状态空间s、动作空间u以及焊缝的状态信息，根据任务的不同具体分为以下两种：
第一种情况（b1）：一条焊缝仅由一个机械臂焊接的情况下，机械臂的动作空间u、状态空间s以及各个焊缝的焊接情况和位置信息，并初始化机械臂的状态值；
第二种情况（b2）一条焊缝可以同时被多个机械臂焊接的情况下，机器人的动作空间u、状态空间s以及各个焊缝的焊接情况和位置信息；
步骤（c）：由步骤（b）中的状态值及协同焊接、避碰的不同任务，设定强化学习过程中引导机械臂学习的奖励函数；
步骤（c）包括两种情况，具体为：
第一种情况（c1）：设计一条焊缝仅由一个机械臂焊接的情况下焊接焊缝所需的焊接奖励函数、受力惩罚函数以及避障函数的奖励函数；
第二种情况（c2）：设计一条焊缝可以同时被多个机械臂焊接的情况下焊接焊缝所需的焊接奖励函数、受力惩罚函数以及避障函数的奖励函数；
步骤（d）：根据当前自身状态值通过演员网络选择当前的动作，并将该动作与步骤（a）的强化学习环境交互得出奖励值及新的状态值；
步骤（d1）：设计一个输入为机械臂状态值，输出为动作值的演员神经网络；
步骤（d2）：将（b1）中的状态值输入到步骤（d1）中的演员神经网络得到每个机械臂动作值；
步骤（d3）：由步骤（d2）中得到的每个机械臂动作值，此时对选择的动作值加入噪声得到最终的动作值；再根据此动作与步骤（a2）中的环境进行交互得出机械臂新的状态值以及奖励值；
步骤（e）：将动作和状态输入评判家网络得到该状态和动作下的价值函数；
步骤（e1）：设计一个以动作值，状态值以及奖励值为输入，动作价值函数为输出的评论家神经网络；
步骤（e2）：将（b1）中的状态值，步骤（d3）中的动作值，新的状态值以及奖励值输入到步骤（e1）中的评论家神经网络，得出每个机械臂的动作价值函数；
步骤（f）：由步骤（e）中得到的价值函数及步骤（c）中的奖励函数构成损失函数反向传播更新演员网络和评判家网络中的权值，重复步骤（d）到步骤（f）的训练过程直至权重变化满足期望要求；
步骤（f1）：由步骤（e2）中得到的机械臂的动作价值函数及步骤（d3）中得到的奖励值分别构造演员网络和评论家网络的损失函数；
步骤（f2）：根据反向传播算法计算更新神经网络权重并重复训练过程。
CN202011240612.XA 2020-11-09 2020-11-09 基于maddpg算法的船舶多机械臂弧焊协同焊接方法 Active CN112434464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240612.XA CN112434464B (zh) 2020-11-09 2020-11-09 基于maddpg算法的船舶多机械臂弧焊协同焊接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240612.XA CN112434464B (zh) 2020-11-09 2020-11-09 基于maddpg算法的船舶多机械臂弧焊协同焊接方法

Publications (2)

Publication Number Publication Date
CN112434464A CN112434464A (zh) 2021-03-02
CN112434464B true CN112434464B (zh) 2021-09-10

Family

ID=74701145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240612.XA Active CN112434464B (zh) 2020-11-09 2020-11-09 基于maddpg算法的船舶多机械臂弧焊协同焊接方法

Country Status (1)

Country Link
CN (1) CN112434464B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966816A (zh) * 2021-03-31 2021-06-15 东南大学 一种编队包围的多智能体强化学习方法
CN115107948B (zh) * 2022-06-24 2023-08-25 大连海事大学 一种高效强化学习自主船舶避碰方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102619A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器学习装置、工业机械单元、制造系统及机器学习方法
CN108052004A (zh) * 2017-12-06 2018-05-18 湖北工业大学 基于深度增强学习的工业机械臂自动控制方法
CN109948642A (zh) * 2019-01-18 2019-06-28 中山大学 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
CN110390845A (zh) * 2018-04-18 2019-10-29 北京京东尚科信息技术有限公司 虚拟环境下机器人训练方法及装置、存储介质及计算机系统
CN111881772A (zh) * 2020-07-06 2020-11-03 上海交通大学 基于深度强化学习的多机械臂协同装配方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295174B2 (en) * 2018-11-05 2022-04-05 Royal Bank Of Canada Opponent modeling with asynchronous methods in deep RL

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102619A (zh) * 2016-02-19 2017-08-29 发那科株式会社 机器学习装置、工业机械单元、制造系统及机器学习方法
CN108052004A (zh) * 2017-12-06 2018-05-18 湖北工业大学 基于深度增强学习的工业机械臂自动控制方法
CN110390845A (zh) * 2018-04-18 2019-10-29 北京京东尚科信息技术有限公司 虚拟环境下机器人训练方法及装置、存储介质及计算机系统
CN109948642A (zh) * 2019-01-18 2019-06-28 中山大学 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
CN111881772A (zh) * 2020-07-06 2020-11-03 上海交通大学 基于深度强化学习的多机械臂协同装配方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》;Ryan Lowe等;《https://arxiv.org/pdf/1706.02275.pdf》;20200314;第1-16页 *
《深度|OpenAI提出强化学习新方法：让智能体学习合作、竞争与交流》;机器之心编译;《https://www.sohu.com/a/147687356_465975》;20170610;第1-6页 *

Also Published As

Publication number Publication date
CN112434464A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Zhang et al. Deep interactive reinforcement learning for path following of autonomous underwater vehicle
CN113900445A (zh) 基于多智能体强化学习的无人机协同控制训练方法及系统
CN112434464B (zh) 基于maddpg算法的船舶多机械臂弧焊协同焊接方法
CN112427843B (zh) 基于qmix强化学习算法的船舶多机械臂焊点协同焊接方法
CN111168684B (zh) 一种空间大型结构在轨装配序列规划方法
Machmudah et al. Polynomial joint angle arm robot motion planning in complex geometrical obstacles
Larsen et al. Path planning of cooperating industrial robots using evolutionary algorithms
Zhu et al. Deep reinforcement learning for real-time assembly planning in robot-based prefabricated construction
Kelasidi et al. Multi-objective optimization for efficient motion of underwater snake robots
CN113485323A (zh) 一种级联多移动机器人灵活编队方法
Chen et al. Maddpg algorithm for coordinated welding of multiple robots
Kurdi et al. Proposed system of artificial Neural Network for positioning and navigation of UAV-UGV
CN117606490B (zh) 一种水下自主航行器协同搜索路径规划方法
Sun et al. A Fuzzy-Based Bio-Inspired Neural Network Approach for Target Search by Multiple Autonomous Underwater Vehicles in Underwater Environments.
Mousa et al. Path planning for a 6 DoF robotic arm based on whale optimization algorithm and genetic algorithm
Vesentini et al. Velocity obstacle-based trajectory planner for anthropomorphic arms
Raiesdana A hybrid method for industrial robot navigation
CN116796843A (zh) 一种基于pso-m3ddpg的无人机多对多追逃博弈方法
Wang et al. Integrated reinforcement and imitation learning for tower crane lift path planning
Wang et al. Path planning optimization for teaching and playback welding robot
CN115542921A (zh) 多机器人的自主路径规划方法
Chen et al. Mitigating Imminent Collision for Multi-robot Navigation: A TTC-force Reward Shaping Approach
Liao et al. Qmix algorithm for coordinated welding of multiple robots
Petrenko et al. Machine Learning Algorithm for Anthropomorphic Manipulator Control System
Guan Self-inspection method of unmanned aerial vehicles in power plants using deep q-network reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee after: The 716th Research Institute of China Shipbuilding Corp.

Patentee after: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

Address before: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee before: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp.

Patentee before: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20221012

Address after: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee after: The 716th Research Institute of China Shipbuilding Corp.

Patentee after: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

Patentee after: CSIC Information Technology Co.,Ltd.

Address before: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee before: The 716th Research Institute of China Shipbuilding Corp.

Patentee before: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee after: The 716th Research Institute of China Shipbuilding Corp.

Patentee after: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

Patentee after: China Shipbuilding Digital Information Technology Co.,Ltd.

Address before: 222061 No.18, Shenghu Road, Lianyungang City, Jiangsu Province

Patentee before: The 716th Research Institute of China Shipbuilding Corp.

Patentee before: JIANGSU JARI TECHNOLOGY GROUP Co.,Ltd.

Patentee before: CSIC Information Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder