CN110154024A - 一种基于长短期记忆神经网络增量模型的装配控制方法 - Google Patents

Abstract

本发明提出一种基于长短期记忆神经网络增量模型的控制方法，属于信息物理系统智能控制技术领域。该方法通过建模软件对装配线上的待装配产品装配机器人和装配任务实体建立虚拟模型，并基于动力学原理对装配机器人运动位姿进行精准的控制，通过虚拟装配规划可行的装配方案，实现虚实模型之间实时的精准映射，使实际的装配满足虚拟装配的误差要求，以维护虚拟模型与设备实体在运动过程中的时空一致性。本发明可提高虚拟装配结果的准确性，确保实际装配顺利完成。

Description

一种基于长短期记忆神经网络增量模型的装配控制方法

技术领域

本发明属于信息物理系统智能控制技术领域，特别提出一种基于长短期记忆神经网络 增量模型的装配控制方法。

背景技术

六自由度工业机械手是可以在机械手运动范围内三个方向自由移动和转动且有六个 运动自由度的机器人。因为可以完成重复度高的机械工作，用户界面友好，操作简易，支 持编程与外部驱动，控制灵活，该类机器人在装配方面的应用与日俱增。装配线上六自由 度工业机械手可以通过敏捷多样的传感器获知其控制参数，进而让装配工作速度稳定，定 位准确且可预测。

传统的虚拟装配主要通过虚拟样机技术建立可模拟实际物理样机行为的虚拟模型，并 对待装配任务及相关工艺进行预装配仿真，用于检测待装配任务的可行性并评估装配工艺 的性能，通过虚拟装配检测的任务再投入实际的装配产线。这种先仿真再装配的模式缺乏 对虚拟装配过程合理有效的量化评价标准，且实际装配与虚拟装配之间不可避免的误差甚 至导致实际装配并不可行。

信息物理系统提供了一种新的虚拟装配模式，该系统集成了物理实体，相关虚拟装配 模型。通过建模软件对装配线上的待装配产品和设备(包括装配机器人，固定基座，控制 手柄等)实体建立虚拟模型并基于动力学原理对其运动位姿进行精准的控制，可以通过虚 拟装配规划可行的装配方案，并通过虚实模型之间实时的精准映射使实际的装配满足虚拟 装配的误差要求。虚拟模型通过精准而灵活的控制算法对实际生产线进行装配控制，同时 接收实际产线的反馈信息对相关虚拟模型及控制算法进行调整。通过虚实装配环境的实时 精准映射可以减小虚实装配之间的误差，进而使得实际装配顺利进行智能装配云平台系统 采用了数字双胞胎的思路，将计算过程与物理过程融合以维护虚拟模型与设备实体在运动 过程中的时空一致性。智能装配虚实融合系统集成智能控制算法对装配线上的六关节机械 臂位姿进行精确匹配与控制，提高未知装配任务执行的灵活度，降低六关节机械臂在运功 过程中位姿参数控制的绝对不精确性是必要的，而现有六关节机器人固有的相对定位误差 较低也使得这项工作是可行的。基于动力学原理的白盒模型应用仅限于离线地控制六自由 度机械臂的运动控制。将六自由度关节型机器人用于装配，并实现虚实装配过程中的精准 控制，可以根据利用基于动力学原理的白盒模型在线仿真控制虚拟模型和物理实体的运动， 但是时延、物理实体运动惰性等仍然会导致虚拟模型和物理实体之间运动状态误差的存在。 利用传统的牛顿迭代等优化方法需要在虚实环境之间多次传输，难以精确表示实体控制信 息与虚拟模型的位姿信息映射函数并减少时延导致的误差；另一类方法利用基于多层感知 机神经网络的黑盒模型对物理实体和虚拟模型的运动进行控制，只考虑六关节机器人的控 制变量对输出位姿的函数关系，忽略了机械臂在运动过程中轨迹点之间的时序连续性，也 即历史位姿输出对当前位姿输出的影响，且应用只限于离线机械臂的控制变量与其末端输 出位姿之间的函数关系进行拟合，因而控制模型精度有限，往往不能满足虚实模型实时映 射的需要。

发明内容

本发明的目的是克服现有的基于动力学原理白盒模型在线仿真控制虚拟模型和物理 实体的运动时延大、精度低与基于多层感知机神经网络的黑盒模型对物理实体和虚拟模型 的运动进行控制精度低的不足，提出一种基于长短期记忆神经网络增量模型的装配控制方 法。本发明可实现信息物理系统中六关节机器人的虚实模型精确且实时地同步运动，提高 虚拟装配结果的准确性，确保实际装配顺利完成。

本发明提出一种基于长短期记忆神经网络增量模型的装配控制方法，其特征在于，包 括以下步骤：

1)训练阶段；

1-1)选定训练待装配产品，对装配机器人、训练待装配产品以及训练装配任务分别 进行建模，得到装配机器人、训练待装配产品及训练装配任务分别对应的虚拟模型；

1-2)基于步骤1-1)的装配机器人、训练待装配产品及训练装配任务的虚拟模型，规 划装配机器人对训练待装配产品执行训练装配任务的装配路径，得到装配机器人虚拟模型 在执行训练装配任务的虚拟路径点p'₀……p'_n及每个虚拟路径点对应的装配机器人虚拟模型 的控制输入θ₀……θ_n，其中，θ_i为第i个虚拟路径点p′_i对应的装配机器人虚拟模型各关节转 角组成的向量，p'₀表示虚拟路径的起点，同时也是装配机器人的实际起点p₀；p'_n表示虚 拟路径的目标点；

1-3)构建基于长短期记忆神经网络增量模型并进行训练，得到机器人虚实映射逆运动 学初始模型；具体步骤如下：

1-3-1)构建基于长短期记忆神经网络增量模型，其中，模型的输入为装配机器人第i 个实际路径点位置p_i；模型的输出是第i个虚拟路径点p′_i对应的装配机器人虚拟模型的关 节转角向量的预测值

1-3-2)令初始时刻，装配机器人虚拟模型的控制输入为θ₀，装配机器人虚拟模型到 达虚拟路径起点p'₀，同时装配机器人处于实际路径的起点p₀，分别采集此时的(p₀，θ₀)作为 实际路径点p₀对应的训练样本；

1-3-3)令i＝1；

1-3-4)在第i-1个虚拟路径点p′_i-1，将控制输入θ_i同时发送给装配机器人虚拟模型和 装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p′_i，装配机器人 的实际输入为θ′_i，实际到达p_i，得到实际路径点p_i对应的训练样本(p_i,θ_i)；

1-3-5)令i＝i+1,然后重新返回步骤1-3-4)，直至装配机器人虚拟模型按照步骤1-2) 规划的路径点持续进行运动至p'_n，此时装配机器人运动至训练装配任务的目标点p_n,得到 每个实际路径点对应的训练样本组成训练样本集{(p₀，θ₀)……(p_n，θ_n)}；

1-3-6)利用训练样本集{(p₀，θ₀)……(p_n，θ_n)}训练步骤1-3-1)建立的基于长短期记忆 神经网络增量模型，直至模型收敛，得到机器人虚实映射逆运动学初始模型；

2)装配阶段；

2-1)选取实际装配产品及对应的实际装配任务(实际装配产品无特殊要求，满足这 机器人的负载重要求即可，实际装配产品可与训练装配产品不同，，本实施例中实际装配 产品具体为仪器舱及其中的配件，实际装配任务为将配件放入仪器舱，实际装配任务中装 配工作空间在装配机器人的工作半径以内即可)；

2-2)建立步骤2-1)选取的实际装配产品和实际装配任务分别对应的虚拟模型，装配 机器人虚拟模型为步骤1-1)建立的装配机器人虚拟模型；

2-3)基于装配机器人、实际装配产品和实际装配任务的虚拟模型，重复步骤1-2)，得到装配机器人虚拟模型执行实际装配任务对应的虚拟路径系列点(p'_a0，……，p'_am)，其中下 标a表示实际装配任务，p′_ai表示装配机器人虚拟模型执行实际装配任务a对应的第i-1个 路径点；

2-4)将步骤1-3-4)得到的初始模型作为当前模型；

2-5)将步骤2-3)得到的路径规划结果(p'_a0，……，p'_am)输入当前模型，得到装配机器人 虚拟模型在各个虚拟路径点对应的控制输入(θ_a0，……，θ_am)；

2-6)令装配机器人虚拟模型的控制输入为θ_a0，装配机器人虚拟模型到达p'_a0，同时装 配机器人处于实际装配任务的实际路径起点p_a0，p_a0与p'_a0为同一个点；

2-7)令i＝1；

2-8)在第i-1个虚拟路径点p′_ai-1，将控制输入θ_ai同时发送给虚拟模型和装配机器人， 虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p'_ai，装配机器人的实际输入为 θ'_ai，实际到达p_ai；

2-9)比较p'_ai与p_ai之间的误差并进行判定：若误差小于设定的误差阈值，则不更新当前 模型，令i＝i+1，然后重新返步骤回2-8)；若误差大于设定的误差阈值，则利用增量学习 对(p_ai，θ_ai)进行学习，更新优化当前模型，直到p'_ai与p_ai之间的误差小于误差阈值，然后令i＝i+1，重新返回2-8)；

2-10)当i＝m时,装配机器人到达实际装配任务的目标点p_am，装配控制结束。

本发明的特点及有益效果：

本发明可以拟合非动力学因素的影响，同步地控制装配线上的产品和相关设备及其虚 拟模型，可以适应灵活的装配任务的同时，降低实际的装配线和其虚拟模型的误差，且二 者之间的实时映射真正的实现了信息物理的虚实融合，通过增量学习对模型适时调整，进 一步提高实际的装配线和其虚拟模型映射的精确性。。

本发明方法是一种实时性高，精度高的信息物理系统智能控制方法，可以应用于工业 领域复杂产品的装配产线及其相关设备。该方法提高了以往在线仿真与离线装配分离对仿 真任务复杂性的限制，可以适应更多样更灵活的装配任务。

具体实施方式

本发明提出一种基于长短期记忆神经网络增量模型的装配控制方法，下面结合具体实 施例进一步详细说明如下。

本发明提出一种基于长短期记忆神经网络增量模型的装配控制方法，该方法通过建模 软件对装配线上的待装配产品装配机器人和装配任务实体建立虚拟模型，并基于动力学原 理对装配机器人运动位姿进行精准的控制，通过虚拟装配规划可行的装配方案，进而通过 该方法实现虚实模型之间实时的精准映射，使实际的装配满足虚拟装配的误差要求，以维 护虚拟模型与设备实体在运动过程中的时空一致性。

本发明提出一种基于长短期记忆神经网络增量模型的装配控制方法，包括以下步骤：

1)训练阶段；

1-1)选定训练待装配产品(无特殊要求，本实施例中为仪器舱及其中的配件)，利用 现有的V-rep建模软件对装配机器人(本实例中为UR10六关节机器人)、训练待装配产品以及训练装配任务(本实例中将配件装入仪器舱)分别进行建模，得到装配机器人、训练 待装配产品及训练装配任务分别对应的虚拟模型；1-2)基于步骤1-1)的装配机器人、训 练待装配产品及训练装配任务的虚拟模型，利用V-rep建模软件自带的规划路径插件规划 装配机器人对训练待装配产品执行训练装配任务的装配路径，其中装配机器人训练装配任 务的实际起点为已知，得到装配机器人虚拟模型在执行训练装配任务过程中一系列的虚拟路径点位置p'₀……p'_n及每个虚拟路径点对应的装配机器人虚拟模型的控制输入θ₀……θ_n，其 中，θ_i为第i个虚拟路径点p′_i对应的装配机器人虚拟模型各关节转角组成的向量，各关节 转角范围为-360°～360°，p'₀表示虚拟路径的起点，同时也是装配机器人的实际起点p₀；p'_n表示虚拟路径的目标点。根据经验，n需要满足不小于训练样本输入维度的10倍，本实施 例为n为50000。

1-3)构建基于长短期记忆神经网络增量模型并进行训练，得到机器人虚实映射逆运动 学初始模型；具体步骤如下：

1-3-1)构建基于长短期记忆神经网络增量模型；

本发明所述模型利用Akandeh A,Salem F M等人2017年论文“Simplified LongShort-term Memory Recurrent Neural Networks:part III”中的神经网络模型。

其中，模型的输入为装配机器人第i个实际路径点p_i；

模型的输出是第i个虚拟路径点p′_i对应的装配机器人虚拟模型的关节转角向量的预测 值

1-3-2)令初始时刻，装配机器人虚拟模型的控制输入为θ₀，装配机器人虚拟模型到 达虚拟路径起点p'₀，同时装配机器人处于实际路径的起点p₀，分别采集此时的(p₀，θ₀)作为 实际路径点p₀对应的训练样本，记为一个训练样本数据；

1-3-3)令i＝1；

1-3-4)在第i-1个虚拟路径点p′_i-1，将控制输入θ_i同时发送给装配机器人虚拟模型和 装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p′_i，装配机器人 的实际输入为θ′_i(θ′_i可能不同于θ_i是由于机器人的运动粘滞性和传输时延等产生偏差)，实 际到达p_i；得到实际路径点p_i对应的训练样本(p_i,θ_i)；

1-3-5)令i＝i+1,然后重新返回步骤1-3-4)，直至装配机器人虚拟模型按照步骤1-2) 规划的路径点持续进行运动至p'_n，此时装配机器人运动至训练装配任务的目标点p_n,得到 每个实际路径点对应的训练样本组成训练样本集{(p₀，θ₀)……(p_n，θ_n)}。

1-3-6)利用训练样本集{(p₀，θ₀)……(p_n，θ_n)}训练步骤1-3-1)建立的基于长短期记忆 神经网络增量模型，直至模型收敛(本实施例中收敛条件为))，此时认为模型 输出的装配机器人虚拟模型的关节转角向量的预测值即为实际值，得到机器人虚实映射逆 运动学初始模型；

2)装配阶段；

2-1)选取实际装配产品及对应的实际装配任务；

2-2)利用现有的V-rep建模软件，建立步骤2-1)选取的实际装配产品和实际装配任 务分别对应的虚拟模型，装配机器人虚拟模型为步骤1-1)建立的装配机器人虚拟模型；

2-3)基于装配机器人、实际装配产品和实际装配任务的虚拟模型，重复步骤1-2)，得到装配机器人虚拟模型执行实际装配任务对应的虚拟路径系列点(p'_a0，……，p'_am)，其中下 标a表示实际装配任务，p′_ai表示装配机器人虚拟模型执行实际装配任务a对应的第i-1个 路径点；

2-4)将步骤1-3-4)得到的初始模型作为当前模型；

2-5)将步骤2-3)得到的路径规划结果(p'_a0，……，p'_am)作为期望装配机器人依次到达的 实际路径点输入当前模型，得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入 (θ_a0，……，θ_am)；

2-6)令装配机器人虚拟模型的控制输入为θ_a0，装配机器人虚拟模型到达p'_a0，同时装 配机器人处于实际装配任务的实际路径起点p_a0，p_a0与p'_a0为同一个点；

2-7)令i＝1；

2-8)在第i-1个虚拟路径点p′_ai-1，将控制输入θ_ai同时发送给虚拟模型和装配机器人， 虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p'_ai，装配机器人的实际输入为 θ'_ai，实际到达p_ai。

2-9)比较虚拟路径点p'_ai与实际路径点p_ai之间的误差并进行判定：若误差小于设定的误 差阈值(根据本实例仪器舱的装配任务，误差阈值为0.1mm)，则不更新当前模型，令i＝i+1， 然后重新返步骤回2-8)；若该误差大于设定的误差阈值，则利用增量学习对误差超出阈值 的(p_ai，θ_ai)进行学习，更新优化当前模型，直到p'_ai与实际路径点p_ai之间的误差小于误 差阈值，然后令i＝i+1，重新返回2-8)。

2-10)当i＝m时,装配机器人到达实际装配任务的目标点p_am，装配控制结束，完成所 规划的装配任务。

本发明提出一种基于上述方法的面向智能装配生产线的虚实映射系统，包括云端服务 器和与云端服务器连接的n条装配生产线(n≥1)，其中，所述每条装配线包括若干个相 互独立的装配机器人，所述云端服务器包括通信模块、建模模块、仿真及矫正模块，所述建模模块连接仿真及矫正模块，仿真及矫正模块连接通信模块，通信模块分别连接每个装配机器人。

所述建模模块用于对待装配产品、装配任务和执行装配任务的装配机器人分别进行建 模，得到待装配产品、装配任务及装配机器人分别对应的虚拟模型并发送给仿真及矫正模 块；

所述仿真及矫正模块用于利用从建模模块接收到的虚拟模型，规划装配机器人虚拟模 型执行装配任务的虚拟路径点并作为作为期望装配机器人依次到达的实际路径点，计算得 到装配机器人虚拟模型在各个虚拟路径点对应的控制输入然后发送给通信模块，同时接收 从通信模块发送的装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实 际路径点信息，根据虚拟路径点与实际路径点的误差对该虚拟路径点对应的装配机器人虚 拟模型的控制输入进行矫正；

所述通信模块用于将从仿真及矫正模块接收到的每个虚拟路径点对应的装配机器人 虚拟模型的控制输入发送给执行该装配任务的装配机器人，并从该装配机器人接收装配机 器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息然后再发送 给仿真及矫正模块。

所述装配机器人接收从通信模块发送的每个虚拟路径点对应的装配机器人虚拟模型 的控制输入，进行相应运动后到达实际路径点，并将该实际路径点信息发送给通信模块。

Claims (1)

1.一种基于长短期记忆神经网络增量模型的装配控制方法，其特征在于，包括以下步骤：

1)训练阶段；

1-1)选定训练待装配产品，对装配机器人、训练待装配产品以及训练装配任务分别进行建模，得到装配机器人、训练待装配产品及训练装配任务分别对应的虚拟模型；

1-2)基于步骤1-1)的装配机器人、训练待装配产品及训练装配任务的虚拟模型，规划装配机器人对训练待装配产品执行训练装配任务的装配路径，得到装配机器人虚拟模型在执行训练装配任务的虚拟路径点p'₀……p'_n及每个虚拟路径点对应的装配机器人虚拟模型的控制输入θ₀……θ_n，其中，θ_i为第i个虚拟路径点p′_i对应的装配机器人虚拟模型各关节转角组成的向量，p'₀表示虚拟路径的起点，同时也是装配机器人的实际起点p₀；p'_n表示虚拟路径的目标点；

1-3)构建基于长短期记忆神经网络增量模型并进行训练，得到机器人虚实映射逆运动学初始模型；具体步骤如下：

1-3-1)构建基于长短期记忆神经网络增量模型，其中，模型的输入为装配机器人第i个实际路径点位置p_i；模型的输出是第i个虚拟路径点p′_i对应的装配机器人虚拟模型的关节转角向量的预测值

1-3-2)令初始时刻，装配机器人虚拟模型的控制输入为θ₀，装配机器人虚拟模型到达虚拟路径起点p'₀，同时装配机器人处于实际路径的起点p₀，分别采集此时的(p₀，θ₀)作为实际路径点p₀对应的训练样本；

1-3-3)令i＝1；

1-3-4)在第i-1个虚拟路径点p′_i-1，将控制输入θ_i同时发送给装配机器人虚拟模型和装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p′_i，装配机器人的实际输入为θ′_i，实际到达p_i，得到实际路径点p_i对应的训练样本(p_i,θ_i)；

1-3-5)令i＝i+1,然后重新返回步骤1-3-4)，直至装配机器人虚拟模型按照步骤1-2)规划的路径点持续进行运动至p'_n，此时装配机器人运动至训练装配任务的目标点p_n,得到每个实际路径点对应的训练样本组成训练样本集{(p₀，θ₀)……(p_n，θ_n)}；

1-3-6)利用训练样本集{(p₀，θ₀)……(p_n，θ_n)}训练步骤1-3-1)建立的基于长短期记忆神经网络增量模型，直至模型收敛，得到机器人虚实映射逆运动学初始模型；

2)装配阶段；

2-1)选取实际装配产品及对应的实际装配任务(实际装配产品无特殊要求，满足这机器人的负载重要求即可，实际装配产品可与训练装配产品不同，，本实施例中实际装配产品具体为仪器舱及其中的配件，实际装配任务为将配件放入仪器舱，实际装配任务中装配工作空间在装配机器人的工作半径以内即可)；

2-2)建立步骤2-1)选取的实际装配产品和实际装配任务分别对应的虚拟模型，装配机器人虚拟模型为步骤1-1)建立的装配机器人虚拟模型；

2-3)基于装配机器人、实际装配产品和实际装配任务的虚拟模型，重复步骤1-2)，得到装配机器人虚拟模型执行实际装配任务对应的虚拟路径系列点(p'_a0，……，p'_am)，其中下标a表示实际装配任务，p′_ai表示装配机器人虚拟模型执行实际装配任务a对应的第i-1个路径点；

2-4)将步骤1-3-4)得到的初始模型作为当前模型；

2-5)将步骤2-3)得到的路径规划结果(p'_a0，……，p'_am)输入当前模型，得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入(θ_a0，……，θ_am)；

2-6)令装配机器人虚拟模型的控制输入为θ_a0，装配机器人虚拟模型到达p'_a0，同时装配机器人处于实际装配任务的实际路径起点p_a0，p_a0与p'_a0为同一个点；

2-7)令i＝1；

2-8)在第i-1个虚拟路径点p′_ai-1，将控制输入θ_ai同时发送给虚拟模型和装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p'_ai，装配机器人的实际输入为θ'_ai，实际到达p_ai；

2-9)比较p'_ai与p_ai之间的误差并进行判定：若误差小于设定的误差阈值，则不更新当前模型，令i＝i+1，然后重新返步骤回2-8)；若误差大于设定的误差阈值，则利用增量学习对(p_ai，θ_ai)进行学习，更新优化当前模型，直到p'_ai与p_ai之间的误差小于误差阈值，然后令i＝i+1，重新返回2-8)；

2-10)当i＝m时,装配机器人到达实际装配任务的目标点p_am，装配控制结束。