CN110253577A - 基于机器人操作技能获得的弱刚度零部件装配系统及方法 - Google Patents

Abstract

本公开提供了一种基于机器人操作技能获得的弱刚度零部件装配系统及装配方法。其中，弱刚度零部件装配机器人系统包括视觉图像采集部，其被配置为采集当前装配图像；末端力检测部，其被配置为采集装配对象相互作用时的接触力/力矩；控制部，其被配置为：接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部；装配动作执行部，其被配置响应决策指令并执行相应装配动作。

Description

基于机器人操作技能获得的弱刚度零部件装配系统及方法

技术领域

本公开属于工业机器人柔性操作能力领域，尤其涉及一种基于机器人操作技能获得的弱刚度零部件装配系统及方法4。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在3C、家电等消费类行业中常见的弱刚度零部件(如复合材料部件、柔性电路板、塑料外壳等)具有易变形、弯折、损坏等特性。发明人发现，现有的工业机器人装配方法主要面向刚性部件，且装配工艺相对固定，在弱刚度零部件装配过程中，存在因相互接触导致装配状态不可预测、工艺参数耦合难以建模等问题，难以适应弱刚度装配作业的需求，无法保证装配质量和装配效率。

发明内容

为了解决上述问题，本公开的第一个方面提供一种基于机器人操作技能获得的弱刚度零部件装配系统，其可通过学习掌握操作技能可以主动适应环境的变化，解决一系列装配过程中的不确定问题，提升弱刚度零部件装配的成功率。

为了实现上述目的，本公开采用如下技术方案：

一种基于机器人操作技能获得的弱刚度零部件装配系统，包括：

视觉图像采集部，其被配置为采集当前装配图像；

末端力检测部，其被配置为采集装配对象相互作用时的接触力/力矩；

控制部，其被配置为：

接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；

从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；

根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部；

装配动作执行部，其被配置响应决策指令并执行相应装配动作。

为了解决上述问题，本公开的第二个方面提供一种基于操作技能获得的弱机器人装配的方法，其通过学习掌握操作技能可以主动适应环境的变化，解决一系列装配过程中的不确定问题，提升弱刚度零部件装配的成功率。

为了实现上述目的，本公开采用如下技术方案：

一种基于机器人操作技能获得的弱刚度零部件装配系统的装配方法，该方法在控制部内完成，包括：

接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；

从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；

根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部，由装配动作执行部响应决策指令并执行相应装配动作。

本公开的有益效果是：

本公开的弱刚度零部件装配机器人系统将当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合，从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部，由装配动作执行部响应决策指令并执行相应装配动作，通过学习掌握操作技能能够主动适应环境的变化，解决了一系列装配过程中的不确定问题，有效解决了弱刚度零部件装配成功率低、大量占用人工等问题，提升了弱刚度零部件装配的成功率。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例提供的一种基于机器人操作技能获得的弱刚度零部件装配系统结构示意图。

图2是本公开实施例提供的操作技能学习网络框架图

图3是本公开实施例提供的卷积层网络结构图。

图4是本公开实施例提供的操作技能学习网络训练流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

为了解决本公开背景技术中提及到的现有的工业机器人装配方法主要面向刚性部件，且装配工艺相对固定，在弱刚度零部件装配过程中，存在因相互接触导致装配状态不可预测、工艺参数耦合难以建模等问题，难以适应弱刚度装配作业的需求，无法保证装配质量和装配效率的问题，本公开提供了一种基于机器人操作技能获得的弱刚度零部件装配系统。

本公开的一种基于机器人操作技能获得的弱刚度零部件装配系统，其包括视觉图像采集部、末端力检测部和控制部。

其中，视觉图像采集部，其被配置为采集当前装配图像；

末端力检测部，其被配置为采集装配对象相互作用时的接触力/力矩；

控制部，其被配置为：

接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；

从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；

根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部；

装配动作执行部，其被配置响应决策指令并执行相应装配动作。

下面以视觉图像采集部为深度相机，末端力检测部为六维力传感器，装配动作执行部为六轴机械臂来详细说明弱刚度零部件装配机器人系统的结构及工作原理。

可以理解的，在其他的实施例中，视觉图像采集部、末端力检测部和装配动作执行部均可采用现有的其他结构来实现，本领域技术人员可以根据具体工况自行设置，在此不作详述。

如图1所示，本实施例的弱刚度零部件装配机器人系统借助深度相机采集装配目标信息，采用六维力传感器获得装配对象相互作用时的接触力，装配动作的执行机构主要通过六轴机械臂的运动学来实现。

机器人操作技能获得的方法框架如图2所示，首先从装配环境中采集装配图像和接触力/力矩描述当前的装配状态，然后将装配图像信息和接触力/力矩信息融合，并进行特征提取，作为技能学习网络的输入，根据评价系统的反馈值进行学习，输出机械臂末端位姿或者关节角度，对机械臂进行动作调整，调整后作用于装配环境，依次循环。

具体步骤如下：

步骤1、利用深度相机采集当前的装配图像，六维力传感器采集接触力/力矩；

步骤2、将装配图像和接触力/力矩进行信息融合，得到装配状态特征矩阵S；其中，步骤2的具体过程为：

步骤2-1、利用深度相机采集当前的装配图像，利用深度卷积网络提取图像特征，获得装配图像特征矩阵I；

步骤2-2、利用六维力传感器采集接触力/力矩信息，采用高斯滤波进行预处理，获得接触力/力矩矩阵F；

步骤2-3、将预处理后的装配图像矩阵I与接触力/力矩矩阵F采用最大-最小函数归一化后组成装配状态特征矩阵，并转换为方阵S，比如84×84的方阵。

步骤3、将装配状态特征矩阵S输入到操作技能学习网络；

具体地，构建的机器人操作技能网络结构如图3所示，包含4个卷积网络和2个全连接层，其中2个全连接层构成竞争架构。

将装配状态特征矩阵作为卷积层网络的输入，卷积核函数可采用高斯核函数或其他现有的核函数来实现，图3中的数字表示卷积核尺寸(8×8，4×4,3×3,7×7)、步长(4×4，2×2，1×1,1×1)以及输出维度(20×20×32,9×9×64,7×7×64,1×1×512)；

将卷积网络的输出层分解为动作优势函数V(s；θ,β)和状态价值函数A(s,a；θ,α)，其张量维度分别是256×1，其中，θ是卷积层参数，β和α是分解的两个全连接层网络的参数。

步骤4、根据预设回报评价函数中装配力、装配位移以及装配状态图像匹配的结果，输出机械臂的位置/关节角度；

预设回报评价函数也就是装配成功评价稀疏奖励函数设置为：

其中，f_z为z轴受力，f₀为阻尼阈值，l为装配深度，z₀为初始位置距装配目标表面的距离，z表示z轴上的位移距离，n表示图像匹配的结果，等于1表示匹配成功，等于0表示匹配失败；

其中，T时间段内的累积回报为是折扣因子，s_t表示t时刻的装配状态，a_t表示t时刻的机械臂动作，i表示时刻，其为大于或等于1的正数；

训练建立好的操作技能学习网络模型，训练流程如图4所示：

(1)初始化主网络和目标网络的网络参数，包括训练幕数Episodes、折扣率γ，学习率σ等，两个网络的结构完全相同；

(2)建立数据缓存区D，存放在线处理得到的转移样本四元组数据e_t＝(s_t,a_t,r_t,s′_t)，每个时间步t将转移样本存放至D＝{e₁,e₂…e_t},作为经验池；其中s_t表示当前装配状态即装配状态特征矩阵S，机械臂动作a_t，这里离散化机械臂的动作为4个，分别代表机械臂绕x，y轴旋转的动作，组成动作空间矩阵A_t＝{a₁,a₂,a₃,a₄}，每执行完一个动作a_t，返回回报值r和新的状态s_t′；

(3)从经验池中采用mini-batch方式随机采样作为当前网络的训练样本四元组{s_i,a_i,r_i,s′_i}，大小为32；

(4)将采样样本中下一状态特征矩阵作为主网络和目标网络的输入向量，通过学习分别输出Q值对应的机械臂动作列表，其中主网络输出动作是

Q函数值最大时对应的动作a值；依赖贝尔曼方程， 表示主网络的参数；

(5)利用动作a_main对应的索引值对目标网络输出的机械臂动作列表进行选择，得到目标网络对应的机械臂动作a_target，从而生成目标网络Q_target，表示目标网络的参数，s_t+1和r_t+1分别表示下一个时刻的装配状态和回报值；

目标网络值设为：

其中，表示主网络的输出动作值；

(6)将采样样本中当前装配状态特征矩阵输入到主网络中，输出对应的机械臂动作，生成当前预测网络值：

其中，表示t时刻状态值网络的最大值。

(7)机器人操作技能学习网络的目标损失函数loss：

Loss＝E[(Target-y_t)²]

(8)采用Adam优化器优化损失函数，得到网络最优权值。

测试训练好的网络模型的过程为：

(a)随机设定初始装配状态；

(b)获得当前经过融合处理后的装配状态特征矩阵S；

(c)输入到已训练好的技能学习网络模型，输出机械臂动作值；

(d)若装配成功则结束，若装配不成功，返回(b)，继续根据当前装配状态进行机械臂动作调整。

保存测试通过的操作技能学习网络模型。

步骤5、采用关节控制/位置控制的方式进行机械臂的动作调整；

步骤6、判断装配是否完成，未完成返回步骤4，完成则装配结束。

具体地，判断装配是否完成的过程为：

建立装配成功状态的图像模板库；

利用深度相机采集装配最终状态的图像，通过加权平均值法灰度化、算术平均法二值化进行预处理后，采用相关系数法与模板库进行匹配；

若装配状态与模板匹配成功，则设置参数n＝1,否则n＝0。

本实施例结合视觉图像的模板匹配信息，与力、位移信息融合共同判断装配是否成功，更加准确。

本实施例的弱刚度零部件装配机器人系统将当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合，从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部，由装配动作执行部响应决策指令并执行相应装配动作，通过学习掌握操作技能能够主动适应环境的变化，解决了一系列装配过程中的不确定问题，有效解决了弱刚度零部件装配成功率低、大量占用人工等问题，提升了弱刚度零部件装配的成功率。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，包括：

视觉图像采集部，其被配置为采集当前装配图像；

末端力检测部，其被配置为采集装配对象相互作用时的接触力/力矩；

控制部，其被配置为：

接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；

从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；

根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部；

装配动作执行部，其被配置响应决策指令并执行相应装配动作。

2.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，当前装配图像及装配对象相互作用时的接触力/力矩进行信息融合之前还包括：

对装配图像进行深度卷积网络特征提取处理。

3.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，当前装配图像及装配对象相互作用时的接触力/力矩进行信息融合之前还包括：

对装配对象相互作用时的接触力/力矩进行滤波预处理。

4.如权利要求3所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，采用高斯滤波对装配对象相互作用时的接触力/力矩进行滤波预处理。

5.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，根据预设回报评价函数的反馈值来训练操作技能学习网络之后，还包括测试训练好的操作技能学习网络，其过程为：

随机设定初始装配状态；

获取当前经过融合处理后的装配状态特征；

输入到已训练好的操作技能学习网络中，输出决策指令至装配动作执行部；

根据装配动作执行部执行的相应装配动作后图像来判断装配是否成功，若是，则结束，否则继续获取当前经过融合处理后的装配状态特征，根据当前装配状态进行调整决策指令。

6.如权利要求5所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，根据装配动作执行部执行的相应装配动作后图像来判断装配是否成功的过程为：

建立装配成功状态的图像模板库；

获取装配最终状态的图像，采用相关系数法与模板库进行匹配；

若装配状态与模板匹配成功，则设置参数n＝1,否则n＝0。

7.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，在所述控制部中，操作技能网络结构包含4个卷积网络和2个全连接层，其中2个全连接层构成竞争架构。

8.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，所述视觉图像采集部为深度相机。

9.如权利要求1所述的一种基于机器人操作技能获得的弱刚度零部件装配系统，其特征在于，所述末端力检测部为六维力传感器，装配动作执行部为六轴机械臂。

10.一种如权利要求1-9中任一项所述的基于机器人操作技能获得的弱刚度零部件装配系统的装配方法，其特征在于，该方法在控制部内完成，包括：

接收当前装配图像及装配对象相互作用时的接触力/力矩并进行信息融合；

从融合信息中提取装配状态特征，并作为操作技能学习网络的输入；

根据预设回报评价函数的反馈值来训练操作技能学习网络，输出决策指令至装配动作执行部，由装配动作执行部响应决策指令并执行相应装配动作。