CN110225100A - 一种面向智能装配生产线的虚实映射系统 - Google Patents

Abstract

本发明提出一种面向智能装配生产线的虚实映射系统，属于复杂产品装配的数字化和信息化技术领域。该系统包括云端服务器和与云端服务器连接的多条装配生产线，其中，每条装配线包括若干个相互独立的装配机器人，云端服务器包括通信模块、建模模块、仿真及矫正模块，所述建模模块连接仿真及矫正模块，仿真及矫正模块连接通信模块，通信模块分别连接每个装配机器人；本发明实现了装配机器人与云端服务器的实时交互，不仅可以将装配机器人实际装配结果反馈给云端服务器，也可以将云端服务器根据实际装配进行调整后的仿真结果实时发送给装配机器人并指导其完成装配任务，实时性协同性好。

Description

一种面向智能装配生产线的虚实映射系统

技术领域

本发明属于复杂产品装配的数字化和信息化技术领域，尤其涉及一种面向智能装配生产线的虚实映射系统。

背景技术

产品装配是产品生命周期中的一个重要环节，产品的可装配性直接影响着开发成本和开发时间。据统计，现代装配制造任务中，产品装配的工作量占到产品制造总任务量的20％～70％，均值为45％，装配时间占到产品生产制造总工时的40％～60％。同时产品装配占用的手工劳动量大、费用高，因此提升装配生产率所带来的经济效益远比简单地降低零件生产成本所带来的经济效益显著。尤其是大型复杂产品，如航天器、飞机、船舶、兵器等，其产品装配质量将直接影响产品的整体性能。因此产品装配流程仿真及矫正方法在整个装配环节有着至关重要的作用，也将直接影响产品装配的质量。

目前已有的装配系统由各自独立的装配机器人和计算机组成，其中，计算机中包括一个仿真模块，所述仿真模块采用离线方式对装配过程进行仿真，仿真完成后，将仿真结果(仿真路径信息)输入至装配机器人并进行实际装配的测试；如果测试不成功则需要结合现场实际情况对装配路径信息做出修改，并拷贝回计算机重新仿真，最终重复离线仿真、现场测试这个过程直到满足装配需求。这种方式的实时性非常差，装配机器人和计算机之间不能实现实时沟通，且将仿真结果输入机器人以及将产线实际测试结果输入回计算机均由人工手动输入，当装配产品非常复杂时输入数据就已经消耗了很大的时间和精力。

由此可见，在产品装配过程中，装配过程仿真占据了很大比重，仿真情况与产线实际情况的交互成为了提高装配效率的关键，也是当前面向智能装配生产线研究的一大重点。从现阶段的专利公开以及文献资料显示，已有学者研究了基于信息物理融合的三维装配工艺设计系统及运行方法，在装配工艺设计三维可视化、快速生成无纸化三维装配工艺文件以及基于WEB的装配现场示教的基础上,增加考虑了装配工艺的现场应用，实现了在产品现场实际装配任务出现异常情况的时候进行及时反馈，并做了简单的过程在线优化调整。上述研究尽管开展了大量的装配工艺设计技术方面的研究和探索性的应用，但是这些方法的实质是对产品与设备进行离线建模，利用虚拟样机对产品和设备在装配过程中的运动进行模拟，以预判装配任务的可行性与效率，这种方法对灵活度有限，精度不高。

发明内容

本发明的目的是为针对上述现有装配工艺中存在的智能化低、实时性差等问题，提出一种面向智能装配生产线的虚实映射系统。本发明实现了装配机器人与云端服务器的实时交互，不仅可以将装配机器人实际装配结果反馈给云端服务器，也可以将云端服务器根据实际装配进行调整后的仿真结果实时发送给装配机器人并指导其完成装配任务，实时性协同性好。

本发明提出一种面向智能装配生产线的虚实映射系统，其特征在于，包括云端服务器和与云端服务器连接的n条装配生产线，其中，所述每条装配线包括若干个相互独立的装配机器人，所述云端服务器包括通信模块、建模模块、仿真及矫正模块，所述建模模块连接仿真及矫正模块，仿真及矫正模块连接通信模块，通信模块分别连接每个装配机器人；

所述建模模块用于对待装配产品、装配任务和执行装配任务的装配机器人分别进行建模，得到待装配产品、装配任务及装配机器人分别对应的虚拟模型并发送给仿真及矫正模块；

所述仿真及矫正模块用于利用从建模模块接收到的虚拟模型，规划装配机器人虚拟模型执行装配任务的虚拟路径点并作为期望装配机器人依次到达的实际路径点，计算得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入然后发送给通信模块，同时接收从通信模块发送的装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息，根据虚拟路径点与实际路径点的误差对该虚拟路径点对应的装配机器人虚拟模型的控制输入进行矫正；

所述通信模块用于将从仿真及矫正模块接收到的每个虚拟路径点对应的装配机器人虚拟模型的控制输入发送给执行该装配任务的装配机器人，并从该装配机器人接收装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息然后再发送给仿真及矫正模块；

所述装配机器人接收从通信模块发送的每个虚拟路径点对应的装配机器人虚拟模型的控制输入，进行相应运动后到达实际路径点，并将该实际路径点信息发送给通信模块。

本发明的特点及有益效果在于：

本发明可根据生产线的实际情况实现云端服务器同时与多台装配机器人的交互，不仅可以将装配机器人实际装配结果实时发送给云端服务器，也可以将云端服务器根据实际装配进行调整后的仿真结果实时发送给装配机器人并指导其完成装配任务，反馈及时，控制精准，实时性协同性好，节约人力成本。本发明系统可应用于智能装配领域，比如航天器中的空气舵和仪器舱的装配，具有很高的实际应用价值。

附图说明

图1是本发明的系统结构示意图。

具体实施方式

本发明提出一种面向智能装配生产线的虚实映射系统，下面结合附图及具体实施例进一步详细说明如下。

本发明提出一种面向智能装配生产线的虚实映射系统，包括云端服务器和与云端服务器连接的n条装配生产线(n≥1)，其中，所述每条装配线包括若干个相互独立的装配机器人，所述云端服务器包括通信模块、建模模块、仿真及矫正模块，所述建模模块连接仿真及矫正模块，仿真及矫正模块连接通信模块，通信模块分别连接每个装配机器人。

所述建模模块用于对待装配产品、装配任务和执行装配任务的装配机器人分别进行建模，得到待装配产品、装配任务及装配机器人分别对应的虚拟模型并发送给仿真及矫正模块；

所述仿真及矫正模块用于利用从建模模块接收到的虚拟模型，规划装配机器人虚拟模型执行装配任务的虚拟路径点并作为期望装配机器人依次到达的实际路径点，计算得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入然后发送给通信模块，同时接收从通信模块发送的装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息，根据虚拟路径点与实际路径点的误差对该虚拟路径点对应的装配机器人虚拟模型的控制输入进行矫正；

所述通信模块用于将从仿真及矫正模块接收到的每个虚拟路径点对应的装配机器人虚拟模型的控制输入发送给执行该装配任务的装配机器人，并从该装配机器人接收装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息然后再发送给仿真及矫正模块。

所述装配机器人接收从通信模块发送的每个虚拟路径点对应的装配机器人虚拟模型的控制输入，进行相应运动后到达实际路径点，并将该实际路径点信息发送给通信模块。

本发明中所述装配机器人可使用常规装配机器人，本实例中使用的是Universal的UR10机器人。

其中，所述通信模块实现方法如下：

1)装配开始前，通信模块首先选取作为连接目标的装配机器人并确认该连接目标的IP地址和端口号，进而根据这两项信息确认该装配机器人是否正在被占用:如果该连接目标被占用，则通信模块发出异常信息，通信模块选择新的连接目标或者等待该连接目标占用结束再重新进行确认；如果该连接目标没被占用，则通信模块向连接目标发送连接请求，本发明中装配生产线上处于未被占用的装配机器人均一直处于监听状态，连接目标确认连接请求后，通信模块与作为连接目标的装配机器人建立连接关系，进入步骤2)；

2)装配开始后，通信模块实时确认与作为连接目标的装配机器人的连接关系：如果通信模块与装配机器人没有连接，则通信模块发出异常信息并重新连接；如果通信模块与装配机器人已经连接，则通信模块将从仿真模块接收到的当前时刻可行路径规划结果作为控制指令发送给装配机器人，其中通信模块将控制指令转化成装配机器人可以理解的控制脚本并发送，在这个过程中装配机器人一直处于监听状态，每次收到来自通信模块的控制指令都是直接解析并执行，之后又回到监听状态。

3)同时，装配机器人一直以固定频率(60Hz～65Hz)向通信模块发送执行当前时刻可行路径规划结果得到的装配信息数据包，每个有效数据包均有1060字节，通信模块对接收的数据包进行判定：如果得到1060字节的数据包，则认为是有效数据包，可以直接解析并将解析出来的数据发送给仿真及矫正模块，1060字节包括表示数据包长度的4字节及表示位姿数据、机械臂角度数据、TCP压力数据等数据的1056字节(132个变量，每个变量8字节)；如果得到的数据包不足1060字节则认为是无效数据包，直接丢弃。每个时刻，当步骤2)中的控制指令全部发送完成并被机器人执行完毕后，仿真及矫正模块对接收到的装配信息进行分析：如果误差过大，则根据矫正模块的修正信息重新进行装配，即重复步骤1)至步骤3)。

本发明提出一种面向智能装配生产线的虚实映射系统，工作原理如下：

1)训练阶段；

1-1)选定训练待装配产品(无特殊要求，本实施例中为仪器舱及其中的配件)，在建模模块利用现有的V-rep建模软件对装配机器人(本实例中为UR10六关节机器人)、训练待装配产品以及训练装配任务(本实例中将配件装入仪器舱)分别进行建模，得到装配机器人、训练待装配产品及训练装配任务分别对应的虚拟模型并发送给仿真及矫正模块；

1-2)在仿真及校正模块，基于步骤1-1)的装配机器人、训练待装配产品及训练装配任务的虚拟模型，利用V-rep建模软件自带的规划路径插件规划装配机器人对训练待装配产品执行训练装配任务的装配路径，其中装配机器人训练装配任务的实际起点为已知，得到装配机器人虚拟模型在执行训练装配任务过程中一系列的虚拟路径点位置p'₀……p'_n及每个虚拟路径点对应的装配机器人虚拟模型的控制输入θ₀……θ_n，其中，θ_i为第i个虚拟路径点p′_i对应的装配机器人虚拟模型各关节转角组成的向量，各关节转角范围为-360°～360°，p'₀表示虚拟路径的起点，同时也是装配机器人的实际起点p₀；p'_n表示虚拟路径的目标点。根据经验，n需要满足不小于训练样本输入维度的10倍，本实施例为n为50000。

1-3)构建基于长短期记忆神经网络增量模型并进行训练，得到机器人虚实映射逆运动学初始模型；具体步骤如下：

1-3-1)构建基于长短期记忆神经网络增量模型；

本发明所述模型利用Akandeh A,Salem F M等人2017年论文“Simplified LongShort-term Memory Recurrent Neural Networks:part III”中的神经网络模型。

其中，模型的输入为装配机器人第i个实际路径点p_i；

模型的输出是第i个虚拟路径点p′_i对应的装配机器人虚拟模型的关节转角向量的预测值θ_i ^e。

1-3-2)令初始时刻，装配机器人虚拟模型的控制输入为θ₀，装配机器人虚拟模型到达虚拟路径起点p'₀，同时装配机器人处于实际路径的起点p₀，分别采集此时的(p₀，θ₀)作为实际路径点p₀对应的训练样本，记为一个训练样本数据；

1-3-3)令i＝1；

1-3-4)在第i-1个虚拟路径点p′_i-1，将控制输入θ_i同时发送给装配机器人虚拟模型和装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p′_i，装配机器人的实际输入为θ_i′(θ′_i可能不同于θ_i是由于机器人的运动粘滞性和传输时延等产生偏差)，实际到达p_i；得到实际路径点p_i对应的训练样本(p_i,θ_i)；

1-3-5)令i＝i+1,然后重新返回步骤1-3-4)，直至装配机器人虚拟模型按照步骤1-2)规划的路径点持续进行运动至p'_n，此时装配机器人运动至训练装配任务的目标点p_n,得到每个实际路径点对应的训练样本组成训练样本集{(p₀，θ₀)……(p_n，θ_n)}。

1-3-6)利用训练样本集{(p₀，θ₀)……(p_n，θ_n)}训练步骤1-3-1)建立的基于长短期记忆神经网络增量模型，直至模型收敛(本实施例中收敛条件为)|θ_i-θ_i ^e|＜0.1°)，此时认为模型输出的装配机器人虚拟模型的关节转角向量的预测值即为实际值，得到机器人虚实映射逆运动学初始模型；

2)装配阶段；

2-1)选取实际装配产品及对应的实际装配任务；

2-2)在建模模块，利用现有的V-rep建模软件，建立步骤2-1)选取的实际装配产品和实际装配任务分别对应的虚拟模型，装配机器人虚拟模型为步骤1-1)建立的装配机器人虚拟模型，并发送给仿真及矫正模块；

2-3)在仿真及矫正模块，基于装配机器人、实际装配产品和实际装配任务的虚拟模型，重复步骤1-2)，得到装配机器人虚拟模型执行实际装配任务对应的虚拟路径系列点(p'_a0，……，p'_am)，其中下标a表示实际装配任务，p′_ai表示装配机器人虚拟模型执行实际装配任务a对应的第i-1个路径点；

2-4)将步骤1-3-4)得到的初始模型作为当前模型；

2-5)将步骤2-3)得到的路径规划结果(p'_a0，……，p'_am)作为期望装配机器人依次到达的实际路径点输入当前模型，得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入(θ_a0，……，θ_am)；

2-6)令装配机器人虚拟模型的控制输入为θ_a0，装配机器人虚拟模型到达p'_a0，同时装配机器人处于实际装配任务的实际路径起点p_a0，p_a0与p'_a0为同一个点；

2-7)令i＝1；

2-8)在第i-1个虚拟路径点P′_ai-1，将控制输入θ_ai同时发送给虚拟模型和装配机器人，虚拟模型和装配机器人分别进行相应的运动，虚拟模型到达p'_ai，装配机器人的实际输入为θ'_ai，实际到达p_ai。

2-9)比较虚拟路径点p'_ai与实际路径点p_ai之间的误差并进行判定：若误差小于设定的误差阈值(根据本实例仪器舱的装配任务，误差阈值为0.1mm)，则不更新当前模型，令i＝i+1，然后重新返步骤回2-8)；若该误差大于设定的误差阈值，则利用增量学习对误差超出阈值的(p_ai，θ_ai)进行学习，更新优化当前模型，直到p'_ai与实际路径点p_ai之间的误差小于误差阈值，然后令i＝i+1，重新返回2-8)。

2-10)当i＝m时,装配机器人到达实际装配任务的目标点p_am，装配控制结束，完成所规划的装配任务。

Claims (1)

1.一种面向智能装配生产线的虚实映射系统，其特征在于，包括云端服务器和与云端服务器连接的n条装配生产线，其中，所述每条装配线包括若干个相互独立的装配机器人，所述云端服务器包括通信模块、建模模块、仿真及矫正模块，所述建模模块连接仿真及矫正模块，仿真及矫正模块连接通信模块，通信模块分别连接每个装配机器人；

所述建模模块用于对待装配产品、装配任务和执行装配任务的装配机器人分别进行建模，得到待装配产品、装配任务及装配机器人分别对应的虚拟模型并发送给仿真及矫正模块；

所述仿真及矫正模块用于利用从建模模块接收到的虚拟模型，规划装配机器人虚拟模型执行装配任务的虚拟路径点并作为期望装配机器人依次到达的实际路径点，计算得到装配机器人虚拟模型在各个虚拟路径点对应的控制输入然后发送给通信模块，同时接收从通信模块发送的装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息，根据虚拟路径点与实际路径点的误差对该虚拟路径点对应的装配机器人虚拟模型的控制输入进行矫正；

所述通信模块用于将从仿真及矫正模块接收到的每个虚拟路径点对应的装配机器人虚拟模型的控制输入发送给执行该装配任务的装配机器人，并从该装配机器人接收装配机器人执行虚拟模型在该虚拟路径点对应的控制输入后得到的实际路径点信息然后再发送给仿真及矫正模块；

所述装配机器人接收从通信模块发送的每个虚拟路径点对应的装配机器人虚拟模型的控制输入，进行相应运动后到达实际路径点，并将该实际路径点信息发送给通信模块。