CN114011608B - 基于数字孪生的喷涂工艺优化系统及其喷涂优化方法 - Google Patents

Abstract

本发明涉及喷涂工艺技术领域，公开了一种基于数字孪生的喷涂工艺优化系统及其喷涂优化方法，包括IMU惯性传感器模块、UWB无线测距传感器、一对温湿度传感器、流量计、若干RGB与结构光双目相机；构建工件及周围空间的初始状态数字孪生体并在喷涂过程中实时更新以及工件及周围空间的数字孪生体，同时构建喷枪的数字孪生体，完成喷涂后根据喷涂质量优化目标函数优化喷涂参数，利用迭代优化算法将计算结果用于正反馈。与现有技术相比，本发明通过传感网络对喷涂设备、工装零件、涂装平台等要素进行实时监测并构建数字孪生体，对测试方案的喷涂效果进行量化评价，形成对喷涂优化有效的正反馈信息。

Description

基于数字孪生的喷涂工艺优化系统及其喷涂优化方法

技术领域

本发明涉及喷涂优化技术领域，具体涉及一种基于数字孪生的喷涂工艺优化系统及其喷涂优化方法。

背景技术

喷涂是制造业加工过程中的重要工序之一，现有的自动变成喷涂设备存在的主要问题是仅关注喷涂路径的生成，涂装过程中有大量的涂料浪费，不仅浪费成本、污染环境，并且无法对喷涂效果进行量化评价及优化。

现有柔性涂装方法多采用六轴机器人，通过示教、自动编程等方式生成喷涂路径及相关喷涂参数，在初期仿真与试喷过程中，工程师、操作员需要根据自己的经验来调试往往很难快速得到高质量喷涂方案，喷涂效果与传统的车铣钻加工方法相比，在加工精度指标上很难量化与描述，需要人工现场观察、凭经验调参来确定喷涂工艺方案。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于数字孪生的喷涂工艺优化方法、系统，可通过传感网络对喷涂设备、工装零件、涂装平台等要素进行实时监测并构建数字孪生体，对测试方案的喷涂效果进行量化评价，形成对喷涂优化有效的正反馈信息。

技术方案：本发明提供了一种基于数字孪生的喷涂工艺优化系统，包括工作台、IMU惯性传感器模块、UWB无线测距传感器、一对温湿度传感器、流量计、若干RGB与结构光双目相机；所述工作台上设置有ROI区域，工业机器人设置于所述工作台一侧，所述IMU惯性传感器模块安装在工业机器人末端的喷枪上；所述UWB无线测距传感器由标签与若干基站组成，所述标签安装在喷枪上，若干基站安装在工作台的若干角点，用于测量喷枪在空间内的X、Y、Z坐标；一个所述温湿度传感器设置于工作台上，用于测量喷涂作业区域内的环境温度与湿度，另一个所述温湿度传感器安装于喷枪上，用于测量涂料的温度；所述流量计安装于所述喷枪上，用于测量喷涂流量速度；若干所述RGB与结构光双目相机设置于工作台上，且其正对所述工件的不同方位，用于工件及周围空间的图像采集与三维重建；所述系统还包括工业机器人设备数据采集模块，用于采集工业机器人的六个轴J1～J6的状态，并对六个轴进行运动控制。

进一步地，所述IMU惯性传感器模块包括加速度计和陀螺仪，其均固定于工业机器人末端的喷枪上，分别测量XYZ方向的线性加速度和XYZ轴向的角加速度；每次使用IMU惯性传感器模块前，将喷枪上IMU惯性传感器模块调至水平姿态进行零偏校准保证精度，然后确定包含XYZ方向的线性加速度、轴向角加速度的初始姿态；通过对加速度积分运算可得到喷枪在载体坐标系下的空间运动轨迹，使用四元数法对角加速度进行姿态解算得到每个轨迹点的姿态角。

进一步地，所述UWB无线测距传感器包含2个标签和4个基站，4个基站安装在工作台的四个角点，其中一个基站与另外三个基站不在同一平面，2个标签固定在喷枪的相对面上，当其中一个标签脱离基站的视距时，通过另一个标签与基站正常通讯定位；所述标签与基站通讯定位方式采用TDOA时间差法，时间校准以工业计算机时钟为准，每经过一个设定的时间周期t通过扩展卡尔曼滤波法对IMU惯性传感器模块进行重定位。

进一步地，在采集工业机器人的六个轴J1～J6的状态，并对六个轴进行运动控制时，控制参数包含XYZ三轴坐标及WPR三轴转角，系统读取工业机器人用户坐标系、工具坐标系，建立IMU载体坐标系、UWB载体坐标系、工业机器人用户坐标系、工具坐标系的映射转换关系。

进一步地，与所述工业机器人正对的工作台一侧中间位置设置有所述RGB与结构光双目相机，所述工作台两侧中间位置设置有另外一对RGB与结构光双目相机，所述RGB与结构光双目相机包括一个RGB相机和一个结构光相机，三台RGB与结构光双目相机安装高度相同，且与工作台平面夹角相同，三台RGB与结构光双目相机呈等腰三角形分布，两腰顶点位置的结构光相机为中心相机，左右两台结构光相机分别为左边路相机、右边路相机；所述中心相机分别与左边路相机、右边路相机构成两个双目重建系统；每台RGB与结构光双目相机构建表面纹理重建系统。

本发明还公开一种喷涂工艺优化系统的优化方法，包括如下步骤：

步骤1：将待喷涂的工件装夹在工作台的ROI区域上，利用若干RGB与结构光双目相机采集工件及周围空间初始状态参数，并完成工件及周围空间的数字孪生体构建，所述初始状态参数包括工件表面颜色、工件表面光泽度、工件表面粗糙度；

步骤2：启动工业机器人与喷枪，通过工业机器人设备数据采集模块采集工业机器人初始状态，所述初始状态包括XYZ三轴坐标及WPR三轴转角，读取工业机器人用户坐标系、工具坐标系，然后启动喷枪进行喷涂；

步骤3：实时采集IMU惯性传感器模块、UWB无线测距传感器，记录喷涂过程中喷枪的运动路径与姿态变化，构建喷枪的数字孪生体，喷枪的状态信息包括XYZ方向线性加速度、XYZ轴向角速度、空间坐标、姿态，以及流量计、温湿度传感器记录喷涂过程中喷枪工作状态的变化，属性包括涂料喷射速度、涂料温度；RGB与结构光双目相机记录喷涂过程中工件表面及周围空间的喷涂状态，其状态信息包括工件表面颜色、工件表面光泽度、工件表面粗糙度、工件周围漆料的体积、漆料的堆叠度，对工件及周围空间的数字孪生体进行更新；

步骤4：完成喷涂后，由喷涂质量的光泽度、色差、涂层厚度及涂料喷雾的分布面积构建综合喷涂质量指标的优化目标函数，所述优化目标函数的初始值为根据步骤1-3实际喷涂过程中构建的工件及周围空间的数字孪生体、喷枪的数字孪生体的状态计算得到的初始平均光泽度、初始平均色差、平均涂层厚度，初始漆雾分布面积；

步骤5：调整喷枪速度、加速度、喷涂量，使得光泽度差值向更小的方向优化，色差、涂层厚度差值的均值、涂料喷雾的分布面积差值向更小的方向优化，基于梯度下降法的迭代优化算法将计算结果用于正反馈，多次仿真迭代后得到喷涂参数的最优结果；

步骤6：迭代优化后生成新的喷枪移动速度、喷涂量、盆腔角度、喷嘴高度等参数，对原喷涂路径关键点位进行微调；

步骤7：反复执行步骤5和步骤6，当喷涂质量指标已达到最优值时结束循环，将最终喷涂路径与参数组合添加到喷涂工艺参数专家经验库中。

优选地，所述步骤3中采集IMU惯性传感器模块、UWB无线测距传感器的数据后进行融合定位，具体方法为：

1)对工业机器人的运动学模型进行分析，得到机器人末端运动位置的推算公式；

2)针对IMU惯性传感器模块的误差，提出基于变形LSTM长短期记忆网络的噪声建模算法，利用LSTM的长期记忆能力训练模型，提取IMU测量数据序列中的非线性关系；

3)使用扩展卡尔曼滤波算法，进行组合定位计算；假设工业机器人在某一时刻的状态可以用当前的位置p_t和速度v_t来表示，即状态向量X_t＝[p_t,v_t]^T，工业机器人的运动规律是由加速度来控制的，即控制变量u _t ＝f_t/m，W_t为过程噪声估计，则在经过d_t时间后的t+1时刻，推算新时刻的速度和位置，整理变形后为：

优选地，所述步骤1与步骤3在利用RGB与结构光双目相机进行采集工件及周围空间状态参数时，需要对若干RGB相机进行特征融合，具体特征融合方法为：

预先构建材质及颜色漆雾及漆料的模型库，使用yolov5进行目标识别，在较大分辨率的图像中初定位工件、漆雾、涂料所在ROI方框，再调用对应特征类型的Unet网络模型进行精确语义分割，同时使用SIFT尺度不变特征变换提取方法，对若干RGB相机下同一个目标框进行模式识别和模板匹配，将采集的同一目标工件的属性进行汇总融合。

优选地，所述步骤1与步骤3在利用RGB与结构光双目相机进行采集工件及周围空间状态参数时，需要对若干RGB与结构光双目相机进行三维重建，与所述工业机器人正对的工作台一侧中间位置设置有所述RGB与结构光双目相机，所述工作台两侧中间位置设置有另外一对RGB与结构光双目相机，三台RGB与结构光双目相机安装高度相同，且与工作台平面夹角相同，三台RGB与结构光双目相机呈等腰三角形分布，两腰顶点位置的相机命名为中心相机，左右两台分别为左边路相机、右边路相机；所述中心相机分别与两台边路相机构成两个双目重建系统；每台RGB与结构光双目相机构建一个表面纹理重建系统，利用两个双目重建系统、三个表面纹理重建系统对工件及周围空间进行三维重建；每个双目重建系统，进行极线矫正、标定，将特征搜索空间降为一维，使用基于区域的匹配的方法确定左右匹配点，根据左右匹配点的横坐标之差计算得到视差图像，基于三角法则得到深度图像；三个表面纹理重建系统为工件的表面纹理特征进行实时融合，通过点云配准三维重建出工件的几何模型。

优选地，所述步骤4中的喷涂参数优化方法具体为：

1)喷涂质量指标由光泽度、色差、涂层厚度及涂料喷涂的分布面积构建，光泽度、色差、涂料喷涂的分布面积通过RGB相机采集的图像信息计算得到；涂层厚度通过喷枪的移动速度、喷涂时间、喷涂流量速度计算得到，其中，光泽度、色差通过计算每个工作时刻与初始状态的图像的像素差得到；涂料喷涂的分布面积通过yolov5+Unet的分割得到掩模图，计算掩模图中涂料的像素总数得到；

2)得到工件表面平均光泽度、色差、涂料喷涂的分布面积、涂层厚度与初始状态差值的关于时间的幅值变化，综合相加得到喷涂质量指标关于时间的幅值变化；

3)通过采集到的喷枪的移动速度、移动加速度、喷涂量随时间的变化情况，调整上述参数使得喷涂指标内各项向更优的方向变化。

有益效果：

1、本发明通过各大传感器模块协同工作，采集工件及周围空间的参数信息以及喷枪状态信息，创建喷枪、工件及工件周围的数字孪生体，以数字化方式建立虚拟模型，通过虚实映射、数据融合、迭代优化等手段，实现物理空间和数字空间的交互融合。通过传感模块对喷涂设备、工装零件、涂装平台等要素进行实时监测并构建数字孪生体，对测试方案的喷涂效果进行量化评价，形成对喷涂优化有效的正反馈信息，使得喷涂质量、喷涂效率更高。

2、本发明的UWB无线测距传感器模块利用2个标签和4个基站，一个基站与另外三个基站不在同一平面，2标签固定在喷枪的相对面上，当其中一个标签脱离基站的视距时，可通过另一个标签与基站正常通讯定位。这样测量喷枪的X、Y、Z坐标更加准确。

3、本发明利用3台RGB与结构光双目相机对工件及周围空间进行图像采集和三维重建，两个双目重建系统可以保证工件在工作台平面上的可视空间内的三维重建的完整性，另外3个表面纹理重建系统，为工件的表面纹理特征进行实时融合，这样利用两个双目重建系统和三个表面纹理重建系统对工件及周围空间进行图像采集和三维重建，保证了三维重建的完整性。

4、本发明在利用RGB相机进行工件图像采集时，进行3台相机的特征融合，对三台相机下同一个目标框进行模式识别和模板匹配，使得三台相机采集的同一目标的属性能够汇总融合，保证了工件图像采集的完整性。

5、本发明在喷涂完成后还进行迭代优化，通过调整参数使得喷涂指标内各项向更优的方向变化。例如提高移动速度、加速度、喷涂量，使得平均光泽度差值更快收敛，但涂料喷涂的分布面积差值可能更大，反向传播更新参数后移动速度、加速度变化很小，喷涂量向减小的方向变化，使得平均光泽度差值优化情况影响不大的情况下，涂料喷涂的分布面积差值向减小的方向优化。迭代优化算法将计算结果用于正反馈，多次仿真迭代后得到喷涂参数的最优结果，这样在后期的喷涂过程中，喷涂质量与喷涂效率会大大提高。

附图说明

图1为本发明实施例的喷涂装置的整体机构示意图；

图2为本发明喷涂优化方法的具体流程图；

图3为本发明UWB定位原理示意图；

图4为本发明工件及周围空间的数字孪生体建立流程框图；

图5为本发明喷枪的数字孪生体构建流程框图；

图6为本发明喷涂参数优化的具体流程框图；

图7为本发明工件ROI区域RGB图像及HSV通道分解图像。

其中，1-工业机器人；2-工作台；3-ROI区域；4-待喷涂工件；5-相机模组；6-UWB无线测距传感器的基站；7-UWB无线测距传感器的标签；8-喷枪。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种基于数字孪生的喷涂工艺优化系统，还喷涂工艺优化系统基于图1所述的喷涂装置，该喷涂装置包括：工作台2、IMU惯性传感器模块、UWB无线测距传感器、一对温湿度传感器、流量计、若干RGB与结构光双目相机；工作台2上设置有ROI区域3，工业机器人1设置于工作台2一侧，IMU惯性传感器模块安装在工业机器人2末端的喷枪8上；UWB无线测距传感器由标签7与若干基站6组成，标签7安装在喷枪8上，若干基站6安装在工作台2的若干角点，用于测量喷枪8在空间内的X、Y、Z坐标；一个温湿度传感器设置于工作台2上，用于测量喷涂作业区域内的环境温度与湿度，另一个温湿度传感器安装于喷枪8上，用于测量涂料的温度；流量计安装于喷枪8上，用于测量喷涂流量速度；若干RGB与结构光双目相机设置于工作台2上，且其正对工件的不同方位，用于工件及周围空间的图像采集与三维重建；该喷涂工艺优化系统还包括工业机器人设备数据采集模块，本发明工业机器人为六轴机器人，工业机器人设备数据采集模块用于采集工业机器人1的六个轴J1～J6的状态，并对六个轴进行运动控制。

IMU惯性传感器模块包括加速度计和陀螺仪，其均固定于工业机器人1末端的喷枪8上，分别测量XYZ方向的线性加速度和XYZ轴向的角加速度；每次使用IMU惯性传感器模块前，将喷枪8上IMU惯性传感器模块调至水平姿态进行零偏校准保证精度，然后确定包含XYZ方向的线性加速度、轴向角加速度的初始姿态；通过对加速度积分运算可得到喷枪8在载体坐标系下的空间运动轨迹，使用四元数法对角加速度进行姿态解算得到每个轨迹点的姿态角，时间校准以工业计算机时钟为准。

UWB无线测距传感器包含2个标签和4个基站，4个基站安装在工作台2的四个角点，其中一个基站6与另外三个基站6不在同一平面，2个标签固定在喷枪8的相对面上，当其中一个标签7脱离基站6的视距时，通过另一个标签7与基站6正常通讯定位；标签7与基站6通讯定位方式采用TDOA时间差法，时间校准以工业计算机时钟为准，由于IMU模块在积分运算过程中会不断积累误差，每经过一个设定的时间周期t通过扩展卡尔曼滤波法对IMU惯性传感器模块进行重定位，提高空间运动轨迹的定位精度。UWB无线测距传感器的UWB定位原理参见附图3。

在工业机器人设备数据采集模块采集工业机器人1的六个轴J1～J6的状态，并对六个轴进行运动控制时，控制参数包含XYZ三轴坐标及WPR三轴转角，读取机器人用户坐标系、工具坐标系，建立IMU载体坐标系、UWB载体坐标系、机器人用户、工具坐标系的映射转换关系。

在利用IMU惯性传感器模块、UWB无线测距传感器采集到XYZ方向的线性加速度和XYZ轴向的角加速度和喷枪8在空间内的X、Y、Z坐标时，需要对采集到的数据进行UWB/IMU融合定位，在无遮挡环境下，UWB无线测距传感器可以提供稳定精确的位置信息，在UWB定位信号减弱时，例如标签脱离视距范围时，此时可短期依赖IMU实现定位。首先对六轴机器人的运动学模型进行分析，得到机器人末端运动位置的推算公式。第二步，针对IMU惯性传感器模块的误差，提出基于变形LSTM长短期记忆网络的噪声建模算法，利用LSTM的长期记忆能力训练模型，提取IMU测量数据序列中的非线性关系。该方法将IMU测量是为时间序列，将信号噪声作为序列预测问题进行操作，通过构建时间戳—噪声强度数据集，不断调整时间步长训练得到噪声强度预测模型，实现IMU噪声补偿效果，提高加速度、角加速度的采集精度。第三步，使用在非线性条件下表现更好的扩展卡尔曼滤波算法，，进行组合定位计算。假设工业机器人在某一时刻的状态可以用当前的位置p_t和速度v_t来表示，即状态向量X_t＝[p_t,v_t]^T，工业机器人的运动规律是由加速度来控制的，即控制变量u _t ＝f_t/m，W_t为过程噪声估计，则在经过d_t时间后的t+1时刻，推算新时刻的速度和位置，整理变形后为：

本发明中设计的RGB与结构光双目相机包括3台，每台RGB与结构光双目相机包括一个RGB相机和一个结构光相机，与工业机器人1正对的工作台2一侧中间位置设置有一台RGB与结构光双目相机，工作台2两侧中间位置设置有另外一对RGB与结构光双目相机，三台RGB与结构光双目相机安装高度相同，且与工作台2平面夹角相同，三台RGB与结构光双目相机呈等腰三角形分布，两腰顶点位置的结构光相机为中心相机，左右两台分别为左边路相机、右边路相机；中心相机分别与两台左边路相机、右边路相机构成两个双目重建系统；每台RGB与结构光双目相机构建表面纹理重建系统。使用3个不同角度的RGB相机对工件及周围空间状态进行图像信息采集，包括工件表面颜色、光泽度，喷涂过程中漆雾的分布体积，漆料在工件表面的堆叠效果。使用3个不同角度的结构光相机对工件空间尺寸特征进行采集，经标定后，可将相机坐标系与上述多个坐标系，特别是工具坐标系建立映射和转换关系，并通过点云配准可三维重建出工件的几何模型。

利用三台RGB与结构光双目相机进行工件及周围空间的图像采集与三维重建时，需要对3个RGB相机采集的数据进行特征融合，预先构建储存有木材、铸铁、亚克力等材质及多种颜色漆雾及漆料的模型库，使用yolov5+Unet的模型组合推理方案。使用yolov5进行目标识别，在较大分辨率的图像中初定位工件、漆雾、涂料所在ROI方框，再调用对应特征类型的Unet网络模型进行精确语义分割。同时使用SIFT尺度不变特征变换提取方法，对三台相机下同一个目标框进行模式识别和模板匹配，使得三台相机采集的同一目标的属性能够汇总融合。

在利用三台RGB与结构光双目相机进行工件及周围空间的图像采集与三维重建时，利用2个双目重建系统、3个表面纹理重建系统进行三维重建，每个双目重建系统，需要进行极线矫正、标定，将特征搜索空间降为一维，使用基于区域的匹配的方法确定左右匹配点，根据左右匹配点的横坐标之差计算得到视差图像，基于三角法则就能得到深度图像。两个几乎相对的双目重建系统，可以保证工件在工作台平面上的可视空间内的三维重建的完整性，并且表面纹理重建系统，为工件的表面纹理特征进行实时融合。

综上，本发明公开的基于数字孪生的喷涂工艺优化系统对应的喷涂工艺优化方法包括如下步骤，具体流程图如图2：

步骤1：将待喷涂的目标工件装夹在工作台的ROI区域上，两个双目重建系统与三个表面纹理重建系统完成工件及周围空间的数字孪生体构建，工件及周围空间的数字孪生体的初始状态包括工件表面颜色、工件表面光泽度、工件表面粗糙度。

步骤2：启动工业机器人1与喷枪控制器，通过工业机器人1的控制器控制工业机器人设备数据采集模块采集工业机器人1初始状态，包括XYZ三轴坐标及WPR三轴转角，读取机器人用户坐标系、工具坐标系，然后启动喷涂程序，开始喷涂工序。

步骤3：IMU惯性传感器模块、UWB无线测距传感器联合工作，记录喷涂过程中喷枪的运动路径与姿态变化，构建喷枪的数字孪生体，喷枪的数字孪生体状态信息包括XYZ方向线性加速度、XYZ轴向角速度、空间坐标、姿态以及通过流量计、温湿度传感器记录的喷涂过程中喷枪工作状态的变化，包括涂料喷射速度、涂料温度。三个表面纹理重建系统记录喷涂过程中工件表面及周围空间的喷涂情况，属性包括工件表面颜色、工件表面光泽度、工件表面粗糙度、工件周围漆料的体积、漆料的堆叠度，对工件及工件周围空间数字孪生体状态进行更新。

步骤4：完成喷涂后，整个喷涂过程已通过虚实映射在数字模型中体现，由喷涂质量的光泽度、色差、涂层厚度及涂料喷雾的分布面积构建综合喷涂质量指标的优化目标函数，优化目标函数的初始值为根据步骤1-3实际喷涂过程中构建的工件及周围空间的数字孪生体、喷枪的数字孪生体的状态计算得到的初始平均光泽度、初始平均色差、平均涂层厚度，初始漆雾分布面积；通过调整喷枪速度、加速度、喷涂量，使得光泽度差值向更小的方向优化，色差、涂层厚度差值的均值、涂料喷雾的分布面积差值向更小的方向优化，基于梯度下降法的迭代优化算法将计算结果用于正反馈，多次仿真迭代后得到喷涂参数的最优结果。

对于步骤4中的喷涂参数优化方法为：

1)喷涂质量指标由光泽度、色差、涂层厚度及涂料喷涂的分布面积构建，光泽度、色差、涂料喷涂的分布面积通过RGB相机采集的图像信息计算得到；涂层厚度很难直接测量，需要通过喷枪的移动速度、喷涂时间、喷涂流量速度计算得到，其中，光泽度、色差通过计算每个工作时刻与初始状态的图像的像素差得到；涂料喷涂的分布面积通过上述的yolov5+unet的分割得到掩模图，计算掩模图中涂料的像素总数得到；

工件轮廓级精度的ROI区域通过yolov5+Unet对工件分割得到，下文简称为工件ROI区域，将RGB格式图像转换为HSV格式，并分解得到H、S、V三通道图像。参见附图7。平均光泽度计算方法为工件ROI区域内S通道求像素值平均值，初始平均光泽度记为l₀，任意时刻记为l_t；平均色差计算方法为工件ROI区域内RBG图像求平均值，初始平均色差记为c₀，任意时刻记为c_t。平均涂层厚度估算方式为T＝(D*Np+D*L)/t，其中T表示涂层厚度，D为喷涂距离为固定h时工件表面漆雾喷涂直径的名义量，Np为喷涂路径关键点数量，L为喷涂路径长度，t为喷涂所用时长。涂料喷涂的分布面积需要通过yolov5+unet对漆雾分割得到掩模图，计算方式为掩模图中涂料像素的个数总和，初始分布面积记为s₀，任意时刻记为s_t。至此，可得到工件表面平均光泽度、色差、涂料喷涂的分布面积、涂层厚度与初始状态差值的关于时间的幅值变化，综合相加得到喷涂质量指标关于时间的幅值变化。喷涂质量由四个子指标的状态差的和来描述，λ₁-λ₄为权重系数，平衡各子指标的相关度，则任意时刻的喷涂质量计算方式为：

Loss_paint＝λ₁(l_t-t₀)+λ₂(c_t-c₀)+λ₃T+λ₄(s_t-s₀)

通过已经采集到了喷枪的移动速度、移动加速度、喷涂速度随时间的变化情况，当移动速度与喷涂速度固定时，Loss_paint主要受喷涂时间长短的变化，通过调整上述各速度参数使得喷涂指标内各项向更优的方向变化。例如提高移动速度、加速度、喷涂量，使得平均光泽度差值更快收敛，但涂料喷涂的分布面积差值可能更大，反向传播更新参数后移动速度、加速度变化很小，喷涂量向减小的方向变化，使得平均光泽度差值优化情况影响不大的情况下，涂料喷涂的分布面积差值向减小的方向优化。

步骤5：迭代优化后生成新的喷枪移动速度、喷涂量、喷枪角度、喷嘴高度，对原喷涂路径关键点位进行微调，提升涂料利用率。

步骤6：反复执行步骤4-5，当喷涂质量指标已达到最优值时结束循环，将最终喷涂路径与参数组合添加到喷涂工艺参数专家经验库中，为下一次优化任务提供参数初始化建议。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于数字孪生的喷涂工艺优化系统，其特征在于，包括工作台、IMU惯性传感器模块、UWB无线测距传感器、一对温湿度传感器、流量计、若干RGB与结构光双目相机；所述工作台上设置有ROI区域，工业机器人设置于所述工作台一侧，所述IMU惯性传感器模块安装在工业机器人末端的喷枪上；所述UWB无线测距传感器由标签与若干基站组成，所述标签安装在喷枪上，若干基站安装在工作台的若干角点，用于测量喷枪在空间内的X、Y、Z坐标；一个所述温湿度传感器设置于工作台上，用于测量喷涂作业区域内的环境温度与湿度，另一个所述温湿度传感器安装于喷枪上，用于测量涂料温度；所述流量计安装于所述喷枪上，用于测量涂料喷射速度；若干所述RGB与结构光双目相机设置于工作台上，且其正对工件的不同方位，用于工件及周围空间的图像采集与三维重建；所述系统还包括工业机器人设备数据采集模块，用于采集工业机器人的六个轴J1～J6的状态，并对六个轴进行运动控制；

所述IMU惯性传感器模块包括加速度计和陀螺仪，其均固定于工业机器人末端的喷枪上，分别测量XYZ方向的线性加速度和XYZ轴向的角加速度；对加速度积分运算得到喷枪在载体坐标系下的空间运动轨迹，使用四元数法对角加速度进行姿态解算得到每个轨迹点的姿态角；

所述UWB无线测距传感器包含2个标签和4个基站，4个基站安装在工作台的四个角点，其中一个基站与另外三个基站不在同一平面，2个标签固定在喷枪的相对面上；

与所述工业机器人正对的工作台一侧中间位置设置有所述RGB与结构光双目相机，所述工作台两侧中间位置设置有另外一对RGB与结构光双目相机，所述RGB与结构光双目相机包括一个RGB相机和一个结构光相机，三台RGB与结构光双目相机安装高度相同，且与工作台平面夹角相同，三台RGB与结构光双目相机呈等腰三角形分布，两腰顶点位置的结构光相机为中心相机，左右两台结构光相机分别为左边路相机、右边路相机；所述中心相机分别与左边路相机、右边路相机构成两个双目重建系统；每台RGB与结构光双目相机构建表面纹理重建系统。

2.根据权利要求1所述的基于数字孪生的喷涂工艺优化系统，其特征在于，在采集工业机器人的六个轴J1～J6的状态，并对六个轴进行运动控制时，控制参数包含XYZ三轴坐标及WPR三轴转角，系统读取工业机器人用户坐标系、工具坐标系，建立IMU载体坐标系、UWB载体坐标系、工业机器人用户坐标系、工具坐标系的映射转换关系。

3.一种基于权利要求1或2所述的基于数字孪生的喷涂工艺优化系统的喷涂优化方法，其特征在于，包括如下步骤：

步骤1：将待喷涂的工件装夹在工作台的ROI区域上，利用若干RGB与结构光双目相机采集工件及周围空间初始状态参数，并完成工件及周围空间的数字孪生体构建，所述初始状态参数包括工件表面颜色、工件表面光泽度、工件表面粗糙度；

步骤2：启动工业机器人与喷枪，通过工业机器人设备数据采集模块采集工业机器人初始状态，所述初始状态包括XYZ三轴坐标及WPR三轴转角，读取工业机器人用户坐标系、工具坐标系，然后启动喷枪进行喷涂；

步骤3：实时采集IMU惯性传感器模块、UWB无线测距传感器，记录喷涂过程中喷枪的运动路径与姿态变化，构建喷枪的数字孪生体，喷枪的状态信息包括XYZ方向线性加速度、XYZ轴向角速度、空间坐标、姿态以及涂料喷射速度、涂料温度；RGB与结构光双目相机记录喷涂过程中工件表面及周围空间的喷涂状态，其状态信息包括工件表面颜色、工件表面光泽度、工件表面粗糙度、工件周围漆料的体积、漆料的堆叠度，对工件及周围空间的数字孪生体进行更新；

步骤4：完成喷涂后，由喷涂质量的光泽度、色差、涂层厚度及涂料喷雾的分布面积构建综合喷涂质量指标的优化目标函数，所述优化目标函数的初始值为根据步骤1-3实际喷涂过程中构建的工件及周围空间的数字孪生体、喷枪的数字孪生体的状态计算得到的初始平均光泽度、初始平均色差、平均涂层厚度，初始漆雾分布面积；

步骤5：调整喷枪速度、加速度、喷涂量，使得光泽度差值向更小的方向优化，色差、涂层厚度差值的均值、涂料喷雾的分布面积差值向更小的方向优化，利用迭代优化算法将计算结果用于正反馈，多次仿真迭代后得到喷涂参数的最优结果；

步骤6：迭代优化后生成新的喷枪移动速度、喷涂量、盆腔角度、喷嘴高度，对原喷涂路径关键点位进行微调；

步骤7：反复执行步骤5和步骤6，当喷涂质量指标已达到最优值时结束循环，将最终喷涂路径与参数组合添加到喷涂工艺参数专家经验库中；

所述步骤3中采集IMU惯性传感器模块、UWB无线测距传感器的数据后进行融合定位，具体方法为：

1)对工业机器人的运动学模型进行分析，得到机器人末端运动位置的推算公式；

2)针对IMU惯性传感器模块的误差，提出基于变形LSTM长短期记忆网络的噪声建模算法，利用LSTM的长期记忆能力训练模型，提取IMU测量数据序列中的非线性关系；

3)使用扩展卡尔曼滤波算法，进行组合定位计算；假设工业机器人在某一时刻的状态能用当前的位置p_t和速度v_t来表示，即状态向量x_t＝[p_t,v_t]^T，工业机器人的运动规律是由加速度来控制的，即控制变量u _t ＝f_t/m，w_t为过程噪声估计，则在经过d_t时间后的t+1时刻，推算新时刻的速度和位置，整理变形后为：

所述步骤1与步骤3在利用RGB与结构光双目相机进行采集工件及周围空间状态参数时，需要对若干RGB相机进行特征融合，具体特征融合方法为：

预先构建材质及颜色漆雾及漆料的模型库，在较大分辨率的图像中初定位工件、漆雾、涂料所在ROI方框，再调用对应特征类型的Unet网络模型进行精确语义分割，同时使用SIFT尺度不变特征变换提取方法，对若干RGB相机下同一个目标框进行模式识别和模板匹配，将采集的同一目标工件的属性进行汇总融合。

4.根据权利要求3所述的基于数字孪生的喷涂工艺优化系统的喷涂优化方法，其特征在于，所述步骤1与步骤3在利用RGB与结构光双目相机进行采集工件及周围空间状态参数时，需要对若干RGB与结构光双目相机进行三维重建，与所述工业机器人正对的工作台一侧中间位置设置有所述RGB与结构光双目相机，所述工作台两侧中间位置设置有另外一对RGB与结构光双目相机，三台RGB与结构光双目相机安装高度相同，且与工作台平面夹角相同，三台RGB与结构光双目相机呈等腰三角形分布，两腰顶点位置的相机命名为中心相机，左右两台分别为左边路相机、右边路相机；所述中心相机分别与两台边路相机构成两个双目重建系统；每台RGB与结构光双目相机构建一个表面纹理重建系统，利用两个双目重建系统、三个表面纹理重建系统对工件及周围空间进行三维重建；每个双目重建系统，进行极线矫正、标定，将特征搜索空间降为一维，使用基于区域的匹配的方法确定左右匹配点，根据左右匹配点的横坐标之差计算得到视差图像，基于三角法则得到深度图像；三个表面纹理重建系统为工件的表面纹理特征进行实时融合，通过点云配准三维重建出工件的几何模型。

5.根据权利要求3所述的基于数字孪生的喷涂工艺优化系统的喷涂优化方法，其特征在于，所述步骤4中的喷涂参数优化方法具体为：

1)光泽度、色差、涂料喷涂的分布面积通过RGB相机采集的图像信息计算得到；涂层厚度通过喷枪的移动速度、喷涂时间、喷涂流量速度计算得到，其中，光泽度、色差通过计算每个工作时刻与初始状态的图像的像素差得到；涂料喷涂的分布面积通过yolov5+Unet的分割得到掩模图，计算掩模图中涂料的像素总数得到；

2)得到工件表面平均光泽度、色差、涂料喷涂的分布面积、涂层厚度与初始状态差值的关于时间的幅值变化，综合相加得到喷涂质量指标关于时间的幅值变化；

3)通过采集到的喷枪的移动速度、移动加速度、喷涂量随时间的变化情况，调整上述参数使得喷涂指标内各项向更优的方向变化。

Images