CN117162086A - 一种用于机械臂目标寻找的训练方法、方法及训练系统 - Google Patents
一种用于机械臂目标寻找的训练方法、方法及训练系统 Download PDFInfo
- Publication number
- CN117162086A CN117162086A CN202310981030.4A CN202310981030A CN117162086A CN 117162086 A CN117162086 A CN 117162086A CN 202310981030 A CN202310981030 A CN 202310981030A CN 117162086 A CN117162086 A CN 117162086A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- network
- value
- training
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明属于机械臂设计技术领域，提供了一种用于机械臂目标寻找的训练方法、方法及训练系统。所述优化方法包括：基于机械臂与预设目标间的重复交互构建训练样本并存储于经验池内直至达到所述经验池的最大存储容量；基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。所述方法基于所述优化方法获取的最优的随机策略网络及价值网络进行。所述系统基于所述优化方法搭建。本发明实现了机械臂的智能化目标寻找，具有泛化能力强的优势。
Description
技术领域
本发明涉及机械臂设计技术领域，具体涉及一种用于机械臂目标寻找的训练方法、方法及训练系统。
背景技术
机械臂是一种在工业领域被普遍使用的操作设备，承担着搬运、装配等任务；在实现工业自动化生产方面具有重要意义。
对于机械臂而言，其工作过程依次分为两个阶段，第一阶段为基于路径规划的目标寻找，第二阶段为基于确定目标后的目标抓取。由此可见，目标寻找是最终是否可顺利实现目标抓取的前提。现有技术中，由于在大多数工业场景下，由于机械臂执行的任务较为简单，比如进行单一种类固定目标的抓取；同时在进行目标抓取的场景下也仅有1～2个少数的机械臂执行任务。因此在传统的机械臂目标寻找中，多采用RRT算法(即快速扩展随机数算法)进行机械臂的路径规划。
受RRT算法的固定路径规划限制，训练完成的机械臂仅能在设定好的轨迹中移动，并执行与训练场景一致的重复任务。但随着自动化工业进程的发展，同一场景下的机械臂数目逐渐增加，机械臂执行的任务也逐渐复杂化；即机械臂的应用场景逐渐具有更多的未知化因素。因此需要机械臂在路径规划中具有更强的探索能力，以使机械臂总能在包含未知因素的新任务中顺利实现目标寻找。
发明内容
本发明目的在于提供一种用于机械臂目标寻找的训练方法、方法及训练系统以改善现有的机械臂目标寻找方法存在的泛化能力低的技术问题。
为达成上述目的，本发明提出如下技术方案：
第一方面，本技术方案提供了一种用于机械臂目标寻找的训练方法，包括：
获取当前时刻机械臂与预设目标间的相对位置；
输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度；
基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项；
重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量；
基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
进一步的，所述距离惩罚项包括所述机械臂的末端至所述预设目标间的欧式距离；所述时间惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度时的消耗时长；所述动作惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度后其与自身起点间的相对位置。
进一步的，所述基于所述经验池内的训练样本对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值，包括：
计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率；
基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
进一步的，包括：
基于对随机策略网络进行更新；
其中，E表示期望；fφ(εt；st)表示动作at；πφ为策略函数，表示在状态st选择动作at的概率；Qθ为状态动作值函数，表示在状态st选择动作at的得分数。
第二方面，本技术方案提供了一种用于机械臂目标寻找的方法，包括：
基于所述最优的随机策略网络及价值网络构建机械臂最优模型；
基于所述机械臂最优模型进行目标寻找。
进一步的，包括：
获取待寻找目标的形状以确认抓取位置及抓取角度；
基于所述抓取位置及所述抓取角度对所述机械臂最优模型进行更新；
基于Coppeliasim平台对更新后的机械臂最优模型的目标寻找过程进行模拟以确认所述目标寻找不会导致所述目标发生位移或损伤。
第三方面，本技术方案提供了一种用于机械臂目标寻找的训练系统，包括：
第一获取模块，用于获取当前时刻机械臂与预设目标间的相对位置；
第二获取模块，用于输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度；
第三获取模块，用于基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项；
经验构建模块，用于重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量；
网络优化模块，用于基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
进一步的，所述网络优化模块包括：
计算单元，用于计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率；
抽样单元，用于基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
第四方面，本技术方案提供了一种电子设备，包括至少一个处理器，所述处理器与存储器耦合，所述存储器内存储有计算机程序，所述计算机程序被配置为被所述处理器运行时执行所述的方法。
第五方面，本技术方案提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于执行所述的方法。
有益效果：
由以上技术方案可知，本发明的技术方案提供了一种新的机械臂目标查找方法以改善现有基于传统RRT算法时存在的泛化能力低的技术缺陷。
由于传统的RRT算法仅能实现目标查找时的固定路径规划。具体的，RRT算法的逻辑为：首先，获取一个初始点作为根节点，然后进行随机采样增加叶子节点以生成一随机扩展数；最终当随机树中的叶子节点包含目标点时通过回溯即可找到初始点至目标点的路径。由此可见，RRT算法基于对目标寻找场景进行逐步采样，并进行回溯统计进行。
因此发明人首先考虑采用一种具有自主交互能力的算法以避免对固定环境(或场景)进行采样，进而避免整个目标寻找过程陷入固定路径内。因此引入了强化学习算法作为整个机械臂目标寻找的框架。具体的，将所述强化学习算法与机械臂目标场景进行了深度结合，以机械臂进行预设目标寻找构建了环境，以机械臂与预设目标间的相对位置构建了智能体的状态，以机械臂的关节运动构建了智能体的动作。其次，由于奖励函数决定了机械臂最终是否可快速准确的进行目标寻找，因此同时考虑了机械臂运行中的各因素，同时基于距离惩罚项、时间惩罚项及动作惩罚项构建了奖励函数。其中，距离惩罚项决定了机械臂是否在进行正向的目标寻找，时间惩罚项则决定了机械臂目标寻找时的效率，动作惩罚项则决定了机械臂目标寻找的自消耗。再者，为了使训练后的机械臂具有更强的探索能力以更好的适用于各类未知环境，采用了随机策略网络，此时，在策略网络和价值网络的优化中将引入每一时刻相应的最优的各关节的转动量及转动速度的熵最大作为第二约束，使每一次迭代中各可执行动作的概率分散化；从而使机械臂学习到更多的经验以满足不同场景的需求。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本实施例所述的用于机械臂目标寻找的训练方法的流程图；
图2为基于经验池进行网络更新的流程图；
图3为本实施例所述的用于机械臂目标寻找的方法的流程图；
图4为进行机械臂最优模型更新的流程图；
图5为另一种进行机械臂最优模型更新的流程图；
图6为本实施例所述的用于机械臂目标寻找的训练系统的组成框图；
图7为本实施例所述的电子设备的组成结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
现有技术中，受RRT算法的固定路径规划限制，训练完成的机械臂仅能在设定好的轨迹中移动，并仅能执行与训练场景一致的重复任务。但随着自动化工业进程的发展，同一场景下的机械臂数目逐渐增加，机械臂执行的任务也逐渐复杂化；即机械臂的应用场景逐渐具有更多的未知化因素。因此本实施例旨在提供一种用于机械臂目标寻找的训练方法以改善现有技术中存在的上述技术缺陷。
下面结合附图所示，对本实施例中提出的一种用于机械臂目标寻找的训练方法作具体介绍。
如图1所示，所述训练方法包括：
步骤S102、获取当前时刻机械臂与预设目标间的相对位置。
本实施例中，所述机械臂可以是一个也可以是多个；在类型上，可以是基于摩擦原理的机械臂、基于真空吸附原理的机械臂等。所述预设目标可以是固定位置的目标或位置可变的目标，所述固定位置的目标可以是已知位置的目标或未知位置的目标。
步骤S104、输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度。
本实施例中，所述机械臂具体为七轴机械臂，即包括七个关节；进而所述每组各关节的转动量及转动速度数据中又包括与七个关节相应的七组子数据。
本实施例中引入随机策略网络的目的在于提高机械臂的探索能力，使可执行的每组各关节的转动量及转动速度的概率分散，避免机械臂总是选择一组最优值。从而使机械臂在后续训练中可学习到更多的经验。
步骤S106、基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项。
本实施例中，同时基于距离惩罚项、时间惩罚项及动作惩罚项构建了奖励函数。其中，距离惩罚项决定了机械臂是否在进行正向的目标寻找，时间惩罚项则决定了机械臂目标寻找时的效率，动作惩罚项则决定了机械臂目标寻找的自消耗。进而在智能体的训练中同时考虑了机械臂训练中的各种关键因素以提高最终训练得到的机械臂智能体进行目标寻找时的合理性。
作为一种具体的实施方式，所述距离惩罚项包括所述机械臂的末端至所述预设目标间的欧式距离。所述时间惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度时的消耗时长。所述动作惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度后其与自身起点间的相对位置。
步骤S108、重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量。
本步骤中引入了经验池以打破样本之间的关联性，一方面以提高样本的利用率，通过有限个数的样本达到较好的训练效果；另一方面也提高了网络的效率。
作为一种优选的实施方式，由于经验池的最大存储容量有限，因此为了使器内的训练样本包含更多的经验，设置其内的训练样本经对原始训练样本间隔抽取后存储。
步骤S110、基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
本实施例中，由于采用了随机策略网络，因此对应的，除了以奖励值最大作为第一约束外，还引入了每一时刻相应的最优的各关节的转动量及转动速度的熵最大作为第二约束。
在基于经验池内的训练样本进行网络更新时，作为一种具体的实施方式，如图2所示包括：
步骤S110.2、计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率。
在具体实施时，引入TD-error衡量训练样本的价值。具体的，令每个训练样本的优先值为其中，i为训练样本，pi＝|δt+ε|，其中，δt为TD-error，ε为一无穷小。
步骤S110.4、基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
具体的，以每个训练样本的优先值作为叶子节点构建二叉树，并以各训练样本的优先值的和作为树根的值。在抽样时，先基于树根的值及预设区间数进行分区，然后在各区间内进行随机选择并向下搜索即可。
作为一种具体的实施方式，基于如下方式进行随机策略网络及价值网络的更新：
随机策略网络更新的目标函数为：
其中，E表示期望；fφ(εt；st)表示动作at；πφ为策略函数，表示在状态st选择动作at的概率；Qθ为状态动作值函数，表示在状态st选择动作at的得分数。
策略目标函数的梯度为：
参数φ的更新为：
其中，λπ是学习率。
价值网络共两个，一个为V值函数网络，用于评估状态的价值，表示在这个状态下一直到最终状态得到的总的奖励的期望；一个为Q值函数网络，用于评估动作的价值，表示选择这个动作一直到最终动作得到的总的奖励的期望。
其中，V值函数更新的目标函数为：
其中，Vψ是状态值函数，用于评价该状态的得分数；Qθ是状态动作值函数，用于评价该状态下，选择这个动作的分数；πφ是策略函数，表示在状态st选择动作at的概率。
V值函数的梯度为：
参数ψ的更新为：
Q值函数更新的目标函数为：
其中，
Q值函数的梯度为：
参数θ的更新为：
由上述可见，本实施例所述的训练方法引入了强化学习作为框架，并基于机械臂进行预设目标寻找构建了环境，以机械臂与预设目标间的相对位置构建了智能体的状态，以机械臂的关节运动构建了智能体的动作。从而实现了机械臂与环境间的交互优化。并在具体的优化中，考虑提升机械臂的探索能力，引入了随机策略网络，并以每一时刻相应的最优的各关节的转动量及转动速度的熵最大作为约束。同时考虑到机械臂目标寻找的合理性，同时引入了距离惩罚项、时间惩罚项及动作惩罚项构建了奖励函数。从而经过迭代训练得到了与机械臂智能体相应的最优的随机策略网络及价值网络。以便于进行后续的机械臂在各类已知环境及未知环境中的目标寻找能力。
基于此，本实施例还提供了一种用于机械臂目标寻找的方法，所述方法基于所述训练方法进行。
下面结合附图所示，对本实施例公开的一种用于机械臂目标寻找的方法作具体介绍。
如图3所示，所述方法包括：
步骤S202、基于所述最优化的随机策略网络及价值网络构建机械臂最优模型。
步骤S204、基于所述机械臂最优模型进行目标寻找。
此时基于步骤S202～步骤S204即可实现机械臂对未知环境中的目标寻找。
考虑到目标自身因素对机械臂目标寻找中的细微差别，如当目标为球形时，抓取位置则多为与放置面平行的过直径的球形表面；且应从未与放置面接触的一侧抓取，以避免在目标寻找中机械臂撞到目标或放置面。如目标为平面结构时，则多以靠近机械臂的平面进行吸附式抓取；且应从靠近机械臂一侧进行抓取，以避免从侧面接近目标时发生撞击。因此作为一种具体的实施方式，如图4，还包括：
步骤S206、获取待寻找目标的形状以确认抓取位置及抓取角度。
本实施例中，确认抓取位置及抓取角度的目的在于避免在靠近目标时机械臂与目标，或机械臂与目标放置物间的撞击。
步骤S208、基于所述抓取位置及所述抓取角度对所述机械臂最优模型进行更新。
本实施例中对所述机械臂最优模型的更新方法同理于步骤S102～步骤S110所述的方法。
优选的，在获取更新后的机械臂最优模型后还继续进行如下步骤以满足实际应用中机械臂路径规划后目标查找的需求。
步骤S210、基于Coppeliasim平台对所述更新的机械臂最优模型的目标寻找过程进行模拟以确认所述目标寻找不会导致所述目标发生位移或损伤。
作为另一种具体实施方式，为了避免机械臂在不同场景下陷入模式化运行，如图5所示，还包括：
步骤S206’、获取机械臂在不同场景下进行目标寻找时的轨迹路径。
步骤S208’、对各轨迹路径进行汇总分析以判断各轨迹路径的重复率高于预设值时，对所述机械臂最优模型进行更新或检测机械臂内对应的硬件芯片。
由上述可见，本实施例所述方法有效实现了机械臂在未知环境内的目标寻找，并考虑到目标的差异性对机械臂智能体进行了进一步优化，采用模拟平台对机械臂目标寻找过程进行演练以提高所述方法在实际应用效果。
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读存储介质)，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
基于此，本实施例还提供了一种用于机械臂目标寻找的训练系统。如图6所示，所述训练系统包括：
第一获取模块，用于获取当前时刻机械臂与预设目标间的相对位置。
第二获取模块，用于输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度。
第三获取模块，用于基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项。
经验构建模块，用于重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量。
网络优化模块，用于基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
由于所述训练系统用于执行所述训练方法的步骤，因此此前已经介绍的不再赘述。
例如，所述网络优化模块包括：
计算单元，用于计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率。
抽样单元，用于基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
本实施例还提供了一种电子设备。如图7所示，其包括至少一个处理器，所述处理器与存储器耦合，所述存储器内存储有计算机程序，所述计算机程序被配置为被所述处理器运行时执行上述的方法。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于执行所述的方法。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。
Claims (10)
1.一种用于机械臂目标寻找的训练方法，其特征在于，包括：
获取当前时刻机械臂与预设目标间的相对位置；
输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度；
基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项；
重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量；
基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
2.根据权利要求1所述的用于机械臂目标寻找的训练方法，其特征在于，所述距离惩罚项包括所述机械臂的末端至所述预设目标间的欧式距离；所述时间惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度时的消耗时长；所述动作惩罚项包括所述机械臂执行所述当前时刻最优的各关节的转动量及转动速度后其与自身起点间的相对位置。
3.根据权利要求1所述的用于机械臂目标寻找的训练方法，其特征在于，所述基于所述经验池内的训练样本对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值，包括：
计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率；
基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
4.根据权利要求1所述的用于机械臂目标寻找的训练方法，其特征在于，包括：
基于对随机策略网络进行更新；
其中，E表示期望；fφ(εt；st)表示动作at；πφ为策略函数，表示在状态st选择动作at的概率；Qθ为状态动作值函数，表示在状态st选择动作at的得分数。
5.一种用于机械臂目标寻找的方法，其特征在于，包括：
基于权利要求1-4任一项得到的所述最优的随机策略网络及价值网络构建机械臂最优模型；
基于所述机械臂最优模型进行目标寻找。
6.根据权利要求5所述的用于机械臂目标寻找的方法，其特征在于，包括：
获取待寻找目标的形状以确认抓取位置及抓取角度；
基于所述抓取位置及所述抓取角度对所述机械臂最优模型进行更新；
基于Coppeliasim平台对更新后的机械臂最优模型的目标寻找过程进行模拟以确认所述目标寻找不会导致所述目标发生位移或损伤。
7.一种用于机械臂目标寻找的训练系统，其特征在于，包括：
第一获取模块，用于获取当前时刻机械臂与预设目标间的相对位置；
第二获取模块，用于输入所述相对位置至随机策略网络以获取所述机械臂当前时刻可执行的若干组各关节的转动量及转动速度，并基于价值网络对它们分别进行评价以筛选出最优的各关节的转动量及转动速度；
第三获取模块，用于基于所述当前时刻最优的各关节的转动量及转动速度的执行获取所述当前时刻的奖励值；其中，所述奖励值通过奖励函数获取，所述奖励函数包括第一奖励项及第二奖励项，所述第一奖励项包括距离惩罚项及时间惩罚项，所述第二奖励项包括动作惩罚项；
经验构建模块，用于重复上述过程以构建若干训练样本并存储于经验池内直至达到所述经验池的最大存储容量；
网络优化模块，用于基于所述经验池内的训练样本，并以所述奖励值最大，以及每一时刻相应的最优的各关节的转动量及转动速度的熵最大为约束对所述随机策略网络及所述价值网络进行迭代更新直至到达预设的迭代阈值；进而获得最优的随机策略网络及价值网络。
8.根据权利要求7所述的用于机械臂目标寻找的训练系统，其特征在于，所述网络优化模块包括：
计算单元，用于计算所述经验池内每一所述训练样本的优先值；其中，所述优先值为所述训练样本被抽中的概率；
抽样单元，用于基于sum-tree数据处理方法自所述经验池内抽样以进行所述随机策略网络及所述价值网络的迭代更新。
9.一种电子设备，其特征在于，包括至少一个处理器，所述处理器与存储器耦合，所述存储器内存储有计算机程序，所述计算机程序被配置为被所述处理器运行时执行所述权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于执行所述权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981030.4A CN117162086B (zh) | 2023-08-07 | 一种用于机械臂目标寻找的训练方法、方法及训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310981030.4A CN117162086B (zh) | 2023-08-07 | 一种用于机械臂目标寻找的训练方法、方法及训练系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117162086A true CN117162086A (zh) | 2023-12-05 |
| CN117162086B CN117162086B (zh) | 2024-07-05 |
Family
ID=
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111515961A (zh) * | 2020-06-02 | 2020-08-11 | 南京大学 | 一种适用于移动机械臂的强化学习奖励方法 |
| US20210103255A1 (en) * | 2019-10-04 | 2021-04-08 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Policy Optimization using Quasi-Newton Trust Region Method |
| CN113392971A (zh) * | 2021-06-11 | 2021-09-14 | 武汉大学 | 策略网络训练方法、装置、设备及可读存储介质 |
| EP3916652A1 (en) * | 2020-05-28 | 2021-12-01 | Bayerische Motoren Werke Aktiengesellschaft | A method and neural network trained by reinforcement learning to determine a constraint optimal route using a masking function |
| CN114603564A (zh) * | 2022-04-28 | 2022-06-10 | 中国电力科学研究院有限公司 | 机械臂导航避障方法、系统、计算机设备及存储介质 |
| US20220317695A1 (en) * | 2020-07-10 | 2022-10-06 | Goertek Inc. | Multi-agv motion planning method, device and system |
| CN115257745A (zh) * | 2022-07-21 | 2022-11-01 | 同济大学 | 一种基于规则融合强化学习的自动驾驶换道决策控制方法 |
| CN116339616A (zh) * | 2021-12-22 | 2023-06-27 | 卡西欧计算机株式会社 | 电子设备、存储动作控制方法以及记录介质 |
| CN116494247A (zh) * | 2023-06-14 | 2023-07-28 | 西安电子科技大学广州研究院 | 基于深度确定性策略梯度的机械臂路径规划方法及系统 |
| CN116533249A (zh) * | 2023-06-05 | 2023-08-04 | 贵州大学 | 基于深度强化学习的机械臂控制方法 |
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210103255A1 (en) * | 2019-10-04 | 2021-04-08 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Policy Optimization using Quasi-Newton Trust Region Method |
| EP3916652A1 (en) * | 2020-05-28 | 2021-12-01 | Bayerische Motoren Werke Aktiengesellschaft | A method and neural network trained by reinforcement learning to determine a constraint optimal route using a masking function |
| CN111515961A (zh) * | 2020-06-02 | 2020-08-11 | 南京大学 | 一种适用于移动机械臂的强化学习奖励方法 |
| US20220317695A1 (en) * | 2020-07-10 | 2022-10-06 | Goertek Inc. | Multi-agv motion planning method, device and system |
| CN113392971A (zh) * | 2021-06-11 | 2021-09-14 | 武汉大学 | 策略网络训练方法、装置、设备及可读存储介质 |
| CN116339616A (zh) * | 2021-12-22 | 2023-06-27 | 卡西欧计算机株式会社 | 电子设备、存储动作控制方法以及记录介质 |
| CN114603564A (zh) * | 2022-04-28 | 2022-06-10 | 中国电力科学研究院有限公司 | 机械臂导航避障方法、系统、计算机设备及存储介质 |
| CN115257745A (zh) * | 2022-07-21 | 2022-11-01 | 同济大学 | 一种基于规则融合强化学习的自动驾驶换道决策控制方法 |
| CN116533249A (zh) * | 2023-06-05 | 2023-08-04 | 贵州大学 | 基于深度强化学习的机械臂控制方法 |
| CN116494247A (zh) * | 2023-06-14 | 2023-07-28 | 西安电子科技大学广州研究院 | 基于深度确定性策略梯度的机械臂路径规划方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| XUEYING LV: "Direct Trajectory Planning Method Based on IEPSO and Fuzzy Rewards and Punishment Theory for Multi-Degree-of Freedom Manipulators", 《IEEE ACCESS ( VOLUME: 7) 》, 10 February 2019 (2019-02-10) * |
| 刘鹏: "基于LS-SVM目标识别的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2007 (2007-01-15) * |
| 李曼: "多种决策机制下一类多智能体系统协同控制问题研究", 《中国博士学位论文全文数据库 信息科技辑》, 15 March 2023 (2023-03-15) * |
| 林俊强: "基于DPPO的移动采摘机器人避障路径规划及仿真", 《系统仿真学报》, 22 September 2022 (2022-09-22) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135562B (zh) | 基于特征空间变化的蒸馏学习方法、系统、装置 | |
| CN112528275A (zh) | 基于元路径学习与子图采样的apt网络攻击检测方法 | |
| CN114386694A (zh) | 基于对比学习的药物分子性质预测方法、装置及设备 | |
| CN113276852B (zh) | 一种基于最大熵强化学习框架的无人驾驶车道保持方法 | |
| CN110889507A (zh) | 一种量子程序转有向无环图的方法、装置、存储介质及电子装置 | |
| Bansal et al. | Holist: An environment for machine learning of higher-order theorem proving (extended version) | |
| CN114161419B (zh) | 一种情景记忆引导的机器人操作技能高效学习方法 | |
| CN112613608A (zh) | 一种强化学习方法及相关装置 | |
| CN116713999B (zh) | 一种多机械臂多目标寻找的训练方法及训练装置 | |
| CN117162086B (zh) | 一种用于机械臂目标寻找的训练方法、方法及训练系统 | |
| CN116673968B (zh) | 基于强化学习的机械臂轨迹规划要素选择方法及系统 | |
| Laversanne-Finot et al. | Intrinsically motivated exploration of learned goal spaces | |
| CN112131089B (zh) | 软件缺陷预测的方法、分类器、计算机设备及存储介质 | |
| CN113503885A (zh) | 一种基于采样优化ddpg算法的机器人路径导航方法及系统 | |
| CN117162086A (zh) | 一种用于机械臂目标寻找的训练方法、方法及训练系统 | |
| CN112468984A (zh) | 一种电力无线专网基站选址方法及相关设备 | |
| KR102215824B1 (ko) | 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치 | |
| Waris et al. | Evolving deep neural networks with cultural algorithms for real-time industrial applications | |
| CN116841762A (zh) | 一种图神经网络训练中的定长式边点结合采样机制 | |
| CN113837049B (zh) | 基于卷积神经网络和遗传算法的智能路面清洁方法 | |
| CN109901189A (zh) | 利用递归神经网络的三维点云跟踪装置及方法 | |
| CN113361702A (zh) | 卷积神经网络剪枝、推理方法、设备以及计算机可读介质 | |
| Mendez et al. | Embodied lifelong learning for task and motion planning | |
| Ba et al. | Monte Carlo Tree Search with variable simulation periods for continuously running tasks | |
| CN117648585B (zh) | 基于任务相似度的智能决策模型泛化方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |