CN110480128A - 一种六自由度焊接机器人线激光实时焊缝跟踪方法 - Google Patents

Abstract

本发明公开了一种六自由度焊接机器人线激光实时焊缝跟踪方法，包括步骤：（1）焊接时将线激光视觉传感器中相机采集到的图像先进行图像预处理；（2）采用基于深度孪生网络的特征点提取算法，并经由互相关滤波得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；（3）将所述像素坐标值转换成相机坐标系下的三维坐标值并实时发送给所述控制柜，从而带动焊枪完成自动焊接过程。本发明可以在含有大量弧光与飞溅的图像中找到精确定位焊缝中心点，并通过伺服驱动器控制机器人作业，解决了当前焊缝跟踪系统中激光条纹和焊接熔池距离过大的问题，并能够进行曲线焊缝的自动跟踪，具有完全自动化、焊接精度高、实时性好、抗干扰能力强等优点。

Description

一种六自由度焊接机器人线激光实时焊缝跟踪方法

技术领域

本发明涉及机器人线激光实时焊缝跟踪系统，尤其涉及一种基于深度学习的六自由度焊接机器人线激光实时焊缝跟踪方法。

背景技术

由于焊接作业存在工作环境恶劣、劳动强度大、效率低下等问题，当前焊接机器人已经逐步在的汽车生产、工程机械、造船以及集装箱生产等许多领域得到应用.焊接机器人通常采用“示教-再现”的工作模式.为确保这种工作模式能在具体的焊接环境中实施，前工序中需通过人工点焊完成焊接工件的定位，这会引起定位误差；同时焊接过程中工件产生高温热变形使实际轨迹偏离示教轨迹，从而导致示教编程获得的机器人焊接轨迹偏离了再现时的轨迹。

随着机器视觉技术的发展，焊接机器人广泛使用视觉检测技术校正再现轨迹，实现焊缝跟踪。焊缝跟踪系统通常将视觉系统安装在机械手末端，当机器人作业时，视觉系统与焊枪同步工作，实时检测工件在焊接过程中由高温引起的热变形，并调整焊枪与焊缝间的位置。

焊缝实时跟踪系统主要技术指标是激光条纹8和焊接熔池5之间的距离d，如附图4。d越小则跟踪精度越高，通常希望d<30，但是这会导致视觉系统检测的图像信息中存在强烈的弧光和飞溅，造成测量精度降低和产生大量错误数据，当焊接电流超过300A后，此现象更加明显。为了减小弧光飞溅的干扰，目前大部分焊缝跟踪系统的d都在70mm左右，这大大降低了跟踪实时性与焊接精度。因此如何从含有强烈噪声干扰的图像中识别出焊缝，快速、准确获取其位置是实时焊缝跟踪中重要的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种六自由度焊接机器人线激光实时焊缝跟踪系统及方法，旨在解决当前自动焊接技术中视觉图像处理困难以及激光条纹与焊接熔池距离过大的问题

上述目的是通过以下技术方案实现的：

一种六自由度焊接机器人线激光实时焊缝跟踪方法，该方法基于的跟踪系统包括六自由度机械臂、焊枪、线激光视觉传感器、工作台、自动焊机、送丝机构、嵌入式工业控制器、控制柜，包括步骤：

(1)焊接时将线激光视觉传感器中相机采集到的图像先进行图像预处理；

(2)采用基于深度孪生网络的特征点提取算法，并经由自相关滤波后得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；

(3)将所述像素坐标值转换成相机坐标系下的三维坐标值并实时发送给所述控制柜，从而带动焊枪完成自动焊接过程。

进一步地，在进行步骤(1)之前，还包括步骤：

根据线激光视觉传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域。

进一步地，所述的根据线激光视觉传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域的步骤具体包括：

(1)调整六自由度机械臂的位置，使得焊枪末端位于待焊工件焊缝位置的正上方，并使得固定在焊枪上的线激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰地图像，又不会使得线激光视觉传感器和待焊工件发生干涉；

(2)线激光视觉传感器中的相机采集图像并发送到嵌入式工业控制器，所述嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(3)嵌入式工业控制器将得到的焊接前初始特征点像素坐标值转换成基于相机坐标系的三维坐标值。

进一步地，所述的步骤(1)具体包括：

(11)焊接时所述线激光视觉传感器的相机连续采集每一帧图像，并发送至嵌入式工业控制器进行处理计算；

(12)所述嵌入式工业控制器将得到的图像进行用于减小焊接图像中飞溅和弧光噪声、使得图像纯净度变高的预处理。

进一步地，所述的预处理包括阈值处理、二值化和三幅图像相乘处理。

进一步地，所述步骤(2)具体包括：

(21)初始化跟踪器，所述嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域，即目标模板σ_j,j表示帧数；

(22)利用训练好的深度孪生网络Φ提取目标模板σ_j的深度特征，获得模板特征t_j；

(23)以目标模板σ_j的中心为参考，在j+1时刻图像中截取一幅更大的图像，记为搜索图像x_j+1；

(24)利用深度孪生网络Φ提取搜索图像x_j+1的深度特征，获得搜索图像特征Φ(x_j+1)，根据以下等式推导出j+1时刻图像中目标位置的置信图：

式中表示将j时刻的目标模板输入到深度孪生网络Φ当中，以获取该模板对应的深层特征图，操作符表示互相关滤波算子，S_j+1表示j+1时刻图像中目标位置置信图；

(25)利用置信图获取目标位置后对目标模板及搜索图像进行更新，以进入下一时刻图像目标定位的运算中。

进一步地，所述步骤(22)的深度孪生网络具体为：

深度孪生网络由两个结构相同，权值共享的卷积神经网络组成；

为训练网络参数，需制作一定带有标签的焊缝图像数据集，采用正负样本对的形式训练网络参数；样本对取自滑动操作所产生的子窗口运算，包括模板特征和样本特征的子窗口，对于每一对正负样本使用如下损失函数：

式中y∈{-1,+1}为标签，当样本为正样本时y取1，反之取-1；s表示该样本对的互相关分数值；

为提高训练效率，样本标签以标签图的形式产生，对应地其互相关分数值也为分数图而非单个数值，定义分数图的总体损失为每对样本损失和的均值：

其中Y为标签图，其元素y∈{-1,+1}且有|Y|＝|S|，|·|代表尺寸，由于搜索图像以上一帧目标位置为中心，因此以标签图Y的中心为圆心，半径为R的区域设为正样本区域，取+1，其余为-1；通过解决以下最优化问题获得深度孪生网络的参数(W,b)：

其中，W,b分别表示待训练的权重以及偏置，u,v表示标签图中的行、列序号，c,r则代表标签图的中心索引。

进一步地，所述步骤(25)的更新方法具体为：

式中η是预先设定的阈值，λ是更新率，l∈{1,2,3,4}代表模板特征图的局部区域索引。

进一步地，所述步骤(3)具体包括：

(31)将获得的图像中焊缝中心特征点的像素坐标值转换成相机坐标系下的三维坐标值；

(32)嵌入式工业控制器实时地将三维坐标值发送给机器人控制柜，伺服驱动器驱动伺服电机并带动六自由度机械臂运动，从而使得焊枪末端的焊丝沿着工件的焊缝中点运动，完成六自由度机器人的实时焊缝跟踪过程。

相比现有技术，本发明有如下优点：

(1)通过线激光视觉传感器检测焊缝特征点，精度高。通过嵌入式工业控制器对焊缝图像进行处理，并将目标点转化为三维坐标后直接传入机器人控制柜，实现点到点的控制，同时控制送丝与焊接装置以及伺服驱动器，系统结构简单，易于维护；

(2)利用基于深度学习的方法，利用深度孪生网络的特征点提取算法(SNST)，在能够在含有大量弧光与飞溅的环境下提取焊缝中心点的坐标值，精度高，抗干扰能力强，将激光条纹与焊接熔池的距离缩小至15mm以内，增强了焊缝跟踪的实时性。

附图说明

图1是本发明实施例的六自由度焊接机器人线激光实时焊缝跟踪系统总体结构示意图。

图2是本发明实施例的六自由度焊接机器人线激光实时焊缝跟踪系统中机械臂自由度示意图。

图3是本发明实施例的六自由度机械臂与焊枪、线激光视觉传感器安装示意图。

图4是本发明实施例的焊缝跟踪系统中激光条纹与焊接熔池距离示意图。

图5是本发明基于孪生网络的六自由度焊接机器人线激光实时焊缝跟踪方法整体工作流程图。

图6是本发明基于孪生网络的六自由度焊接机器人线激光实时焊缝跟踪方法中特征点检测算法流程图。

图7是本发明基于孪生网络六自由度焊接机器人线激光实时焊缝跟踪方法中深度孪生网络的结构及参数图。

图中所示：1-六自由度机械臂；2-焊枪；3-线激光视觉传感器；4-安装底座；5-焊接熔池；6-相机；7-线激光发生器；8-激光条纹；9-工件；10-嵌入式工业控制器；11-控制柜；12-自动焊机；13-工作台。

具体实施方式

下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。

实施例

如图1所示，一种六自由度焊接机器人线激光实时焊缝跟踪方法，该方法基于的跟踪系统包括六自由度机械臂1、焊枪2、线激光视觉传感器3、工作台13、自动焊机12、送丝机构、嵌入式工业控制器10、控制柜11，工件9放置在工作台13上，线激光视觉传感器3通过安装底座4安装在焊枪2上，焊枪2置于六自由度机械臂1的末端，线激光视觉传感器和焊枪通过六自由度机械臂的运动而改变其在空间的位置。焊丝存放在容器中，通过导管，经由送丝装置送向焊枪，送丝装置固定于六自由度机械臂U轴上，容器固定于六自由度机械臂的S轴；所述自动焊机与嵌入式控制器通信，控制焊丝及焊枪工作，所述送丝机构为YWC-WFRPM42RD，所述嵌入式工业控制器为研华IPC-510，控制柜11为JZRCR-YTB21-F380，自动焊机为MOTOWELD-RD350。本实施例中，所述六自由度机械臂1为由六根轴组成，S轴与机器人架台相连，T轴加装焊枪，轴与轴之间装有伺服电机，允许相互转动(见图1、图2和图3)

如图6所示，本实施例提供的一种六自由度焊接机器人线激光实时焊缝跟踪方法，包括步骤：

(1)焊接时将线激光视觉传感器3中相机6采集到的图像先进行图像预处理；

(2)采用基于深度孪生网络的特征点提取算法(SNST)，并经由互相关滤波后得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；

(3)将所述坐标值转换成相机坐标系下的三维坐标值之后，通过TCP协议经由以太网线实时发送给机器人控制柜，从而带动焊枪完成自动焊接过程。

具体而言，在进行步骤(1)之前，还包括步骤：

根据线激光视觉传感器3中的相机6采集的图像获取焊接前初始的焊缝特征点和相邻区域。

具体而言，所述的根据线激光视觉传感器3中的相机6采集的图像获取焊接前初始的焊缝特征点和相邻区域的步骤具体包括：

(1)调整六自由度机械臂1的位置，使得焊枪2末端(即焊丝末端)位于待焊工件焊缝位置的正上方，并使得固定在焊枪2上的线激光视觉传感器3处于最佳工作位置，即在焊接过程中既能捕捉到清晰地图像，又不会使得线激光视觉传感器3和待焊工件发生干涉；

(2)线激光视觉传感器3中的相机6采集图像并发送到嵌入式工业控制器10，所述嵌入式工业控制器10通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(3)所述嵌入式工业控制器10将得到的焊接前初始特征点像素坐标值转换成基于相机坐标系的三维坐标值。

具体而言，如图6所示，所述的步骤(1)具体包括：

(11)焊接时线激光视觉传感器3的相机6连续采集每一帧图像，并发送至嵌入式工业控制器10进行处理计算；

(12)所述嵌入式工业控制器10将得到的图像进行用于减小焊接图像中飞溅和弧光噪声、使得图像纯净度变高的预处理，所述的预处理包括阈值处理、二值化和三幅图像相乘处理。

具体而言，如图5所示，所述步骤(2)具体包括：

(21)初始化跟踪器，嵌入式工业控制器10通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(22)利用训练好的深度孪生网络Φ提取目标模板σ_j的深度特征，获得模板特征t_j；

(23)以目标模板σ_j的中心为参考，在j+1时刻图像中截取一幅更大的图像，记为搜索图像x_j+1；

(24)利用深度孪生网络Φ提取搜索图像x_j+1的深度特征，获得搜索图像特征Φ(x_j+1)，根据以下等式推导出j+1时刻图像中目标位置的置信图：

式中表示将j时刻的目标模板输入到深度孪生网络Φ当中，以获取该模板对应的深层特征图，操作符表示互相关滤波算子，S_j+1表示j+1时刻图像中目标位置置信图；

(25)利用置信图获取目标位置后对目标模板及搜索图像进行更新，以进入下一时刻图像目标定位的运算中。

具体而言，所述步骤(22)的深度孪生网络具体为：

所述深度孪生网络由两个结构相同、权值共享的卷积神经网络组成，其每一层的结构及参数如附图7所示：主要分为五个模块，其中Conv1代表第一个卷积层，其卷积核大小为13*13*1，并生成96个通道；卷积层后接批量正则化层(BN)，以加快网络训练速度；激活层采用ReLU函数进行非线性变换，增强网络泛化能力；前两个模块带有池化层，第一个模块采用最大池化(maxpooling)以减小参数，降低运算量，第二个模块采用平均池化(avgpooling)以降低噪声，两个池化层的滑动窗口大小均为3*3，步长为2。

为训练网络参数，需制作大量带有标签的焊缝图像数据集，采用正负样本对的形式训练网络参数。样本对取自滑动操作所产生的子窗口运算，包括模板特征和样本特征的子窗口，对于每一对正负样本使用如下损失函数：

式中y∈{-1,+1}为标签，当样本为正样本时y取1，反之取-1；s表示该样本对的互相关分数值；

为提高训练效率，样本标签以标签图的形式产生，对应地其互相关分数值也为分数图而非单个数值，定义分数图的总体损失为每对样本损失和的均值：

其中Y为标签图，其元素y∈{-1,+1}且有|Y|＝|S|，|·|代表尺寸。由于搜索图像以上一帧目标位置为中心，因此以标签图Y的中心为圆心，半径为R的区域设为正样本区域，取+1，其余为-1，通过解决以下最优化问题获得深度孪生网络的参数(W,b)：

其中，W,b分别表示待训练的权重以及偏置，u,v表示标签图中的行、列序号，c,r则代表标签图的中心索引。

具体而言，所述步骤(25)的更新方法具体为：

式中η是预先设定的阈值，λ是更新率，l∈{1,2,3,4}代表模板特征图的局部区域索引。

具体而言，所述步骤(3)具体包括：

(31)将获得的图像中焊缝中心特征点的像素坐标值转换成相机坐标系下的三维坐标值；

(32)嵌入式工业控制器实时地将三维坐标值发送给机器人控制柜，伺服驱动器驱动伺服电机并带动六自由度机械臂运动，从而使得焊枪末端的焊丝沿着工件的焊缝中点运动，完成六自由度机器人的实时焊缝跟踪过程。

上述实施例解决了当前焊缝跟踪系统中激光条纹和焊接熔池距离过大的问题，具有完全自动化，焊接精度高，实时性好，抗干扰能力强等优点。

本实施例所述的各零部件可选型如下，但选型不限于此：嵌入式工业控制器：研华IPC-510，可选用其他同类型的嵌入式工业控制器；工件：角钢，可选用其它形状规则的同类型工件。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种六自由度焊接机器人线激光实时焊缝跟踪方法，该方法基于的跟踪系统包括六自由度机械臂、焊枪、线激光视觉传感器、工作台、自动焊机、送丝机构、嵌入式工业控制器、控制柜，其特征在于，包括步骤：

(1)焊接时将线激光视觉传感器中相机采集到的图像先进行图像预处理；

(2)采用基于深度孪生网络的特征点提取算法，并经由自相关滤波后得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；

(3)将所述像素坐标值转换成相机坐标系下的三维坐标值并实时发送给所述控制柜，从而带动焊枪完成自动焊接过程。

2.根据权利要求1所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，在进行步骤(1)之前，还包括步骤：

根据线激光视觉传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域。

3.根据权利要求2所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述的根据线激光视觉传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域的步骤具体包括：

(1)调整六自由度机械臂的位置，使得焊枪末端位于待焊工件焊缝位置的正上方，并使得固定在焊枪上的线激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰地图像，又不会使得线激光视觉传感器和待焊工件发生干涉；

(2)线激光视觉传感器中的相机采集图像并发送到嵌入式工业控制器，所述嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(3)嵌入式工业控制器将得到的焊接前初始特征点像素坐标值转换成基于相机坐标系的三维坐标值。

4.根据权利要求1所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述的步骤(1)具体包括：

(11)焊接时所述线激光视觉传感器的相机连续采集每一帧图像，并发送至嵌入式工业控制器进行处理计算；

(12)所述嵌入式工业控制器将得到的图像进行用于减小焊接图像中飞溅和弧光噪声、使得图像纯净度变高的预处理。

5.根据权利要求4所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于：所述的预处理包括阈值处理、二值化和三幅图像相乘处理。

6.根据权利要求4所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述步骤(2)具体包括：

(21)初始化跟踪器，所述嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域，即目标模板σ_j，j表示帧数；

(22)利用训练好的深度孪生网络Φ提取目标模板σ_j的深度特征，获得模板特征t_j；

(23)以目标模板σ_j的中心为参考，在j+1时刻图像中截取一幅更大的图像，记为搜索图像x_j+1；

(24)利用深度孪生网络Φ提取搜索图像x_j+1的深度特征，获得搜索图像特征Φ(x_j+1)，根据以下等式推导出j+1时刻图像中目标位置的置信图：

式中表示将j时刻的目标模板输入到深度孪生网络Φ当中，以获取该模板对应的深层特征图，操作符表示互相关滤波算子，S_j+1表示j+1时刻图像中目标位置置信图；

(25)利用置信图获取目标位置后对目标模板及搜索图像进行更新，以进入下一时刻图像目标定位的运算中。

7.根据权利要求6所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述步骤(22)的深度孪生网络具体为：

深度孪生网络由两个结构相同，权值共享的卷积神经网络组成；

为训练网络参数，需制作一定带有标签的焊缝图像数据集，采用正负样本对的形式训练网络参数；样本对取自滑动操作所产生的子窗口运算，包括模板特征和样本特征的子窗口，对于每一对正负样本使用如下损失函数：

式中y∈{-1，+1}为标签，当样本为正样本时y取1，反之取-1；s表示该样本对的互相关分数值；

为提高训练效率，样本标签以标签图的形式产生，对应地其互相关分数值也为分数图而非单个数值，定义分数图的总体损失为每对样本损失和的均值：

其中Y为标签图，其元素y∈{-1，+1}且有|Y|＝|S|，|·|代表尺寸，由于搜索图像以上一帧目标位置为中心，因此以标签图Y的中心为圆心，半径为R的区域设为正样本区域，取+1，其余为-1；通过解决以下最优化问题获得深度孪生网络的参数(W，b)：

其中，W，b分别表示待训练的权重以及偏置，u，v表示标签图中的行、列序号，c，r则代表标签图的中心索引。

8.根据权利要求6所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述步骤(25)的更新方法具体为：

式中η是预先设定的阈值，λ是更新率，l∈{1，2，3，4}代表模板特征图的局部区域索引。

9.根据权利要求1所述的六自由度焊接机器人线激光实时焊缝跟踪方法，其特征在于，所述步骤(3)具体包括：

(31)将获得的图像中焊缝中心特征点的像素坐标值转换成相机坐标系下的三维坐标值；

(32)嵌入式工业控制器实时地将三维坐标值发送给机器人控制柜，伺服驱动器驱动伺服电机并带动六自由度机械臂运动，从而使得焊枪末端的焊丝沿着工件的焊缝中点运动，完成六自由度机器人的实时焊缝跟踪过程。