CN112801984A - 一种激光视觉系统下的基于对抗学习的焊缝定位方法 - Google Patents

Abstract

本发明公开了一种激光视觉系统下的基于对抗学习的焊缝定位方法，所述方法包括步骤：S1、通过激光视觉传感器实时采集焊接图像并传输到嵌入式工业控制机；S2、以从上一帧图像定位到的焊缝特征点为中心，裁剪当前输入图像到一定大小作为网络模型的输入；S3、使用基于对抗学习所训练的生成器网络对输入的焊接图像进行特征点热图生成；S4、使用argmax函数从生成的特征点热图中索引灰度最大值点所在的坐标位置，即为预测的焊缝所在位置。本发明通过对抗学习方法提高了噪声环境下的焊缝定位精度和速度。

Description

一种激光视觉系统下的基于对抗学习的焊缝定位方法

技术领域

本发明属于焊接自动化领域，主要涉及基于激光视觉的焊缝自动跟踪，具体涉及一种激光视觉系统下的基于对抗学习的焊缝定位方法。

背景技术

随着自动化水平的不断提高，传统的人工焊接因其生产效率低、生产环境恶劣以及劳动强度大等缺点，已不能适应现代化的焊接生产。近年来，机器人自动焊接不断深入发展，从较传统的“示教-再现”的焊接方式，如授权公布号为CN2739741的中国实用新型专利和授权公布号为CN109514133B的中国发明专利，发展为主流的基于激光视觉的焊缝自动跟踪焊接方式。

随着计算机视觉的发展，基于激光视觉传感器的焊缝自动跟踪方法因其适应能力强，能够捕捉丰富的焊缝信息，并且不会影响焊接过程而被广泛应用。然而，现存的很多焊缝跟踪算法如申请公布号为CN107999955A的中国发明专利和授权公布号为CN107649802B的中国发明专利，在强弧光飞溅等噪声干扰下容易偏离预期轨迹，从而导致轨迹跟踪失败。而且这些方法计算复杂度过高，运行速度较慢。因此，有必要在保证焊缝跟踪鲁棒性的同时进一步提高焊缝跟踪实时性。

Goodfellow等人提出了对抗学习框架，该网络框架在图像到图像的映射上有着强大的性能。网络主要分为生成器和判别器两部分，二者通过对抗学习而不断地得到优化。该网络框架为实现鲁棒的实时焊缝定位提供了良好的思路。

发明内容

本发明的目的在于克服现有技术的不足，解决焊缝跟踪过程中出现的噪声干扰问题和实时性焊缝定位问题，使得焊缝跟踪算法能够持续有效地进行鲁棒的实时焊缝跟踪。

本发明至少通过如下技术方案之一实现。

一种激光视觉系统下的基于对抗学习的焊缝定位方法，包括下步骤：

S1、通过激光视觉传感器实时采集焊接图像并传输到嵌入式工业控制机；

S2、从上一帧图像定位到的焊缝特征点坐标为中心，裁剪当前采集的图像；

S3、使用基于对抗学习所训练的生成器网络对步骤S2裁剪后的图像生成特征点热图；

S4、使用argmax函数从步骤S3生成的特征点热图中索引灰度最大值点所在的坐标位置，即为预测的焊缝位置。

优选的，所述步骤S2具体包括：

S21、若当前采集的焊接图像为起始帧，则裁剪中心为先验预设值，保证裁剪后的图像包含完整的焊缝特征点；

S22、若当前采集的焊接图像非起始帧，则裁剪中心为前一帧定位到的焊缝特征点所在坐标。

优选的，所述步骤S3具体包括以下步骤：

S31、构建基于条件生成对抗网络的焊缝特征点热图生成网络框架；

S32、建立条件生成对抗网络的训练损失函数；

S33、获取训练数据并进行数据处理，输入到步骤S31额条件生成对抗网络进行对抗训练；

S34、使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图。

优选的，所述焊缝特征点热图生成网络包括生成器网络和判别器网络；生成器网络目的是通过训练获得输入的焊接图像与对应的焊缝特征点之间的映射关系，从而对焊接图像进行实时的热图生成；判别器网络的输入为手动构造的真实特征点对应的高斯热图或所述生成器生成的焊缝特征点热图，用于判别图像来源于训练数据还是合成数据，生成器和判别器形成对抗关系。

优选的，所述生成器网络采用6个卷积层加上6个反卷积层的U-Nets架构，其具体网络结构如下：

每个卷积层采用卷积-批归一化-LeakyReLU激活的结构搭建；前5个反卷积层采用反卷积-批归一化-ReLU激活的结构搭建，最后一层在进行反卷积之后不进行批归一化处理，直接使用Tanh函数激活；

所述卷积层和反卷积层的卷积核大小均设置为3×3，卷积的滑动步长均设置为Q。

优选的，所述判别器网络包括4个卷积层，具体结构如下：

对于前3个卷积层，采用卷积-批归一化-LeakyReLU激活结构；最后一层在进行卷积操作后不再进行批归一化处理，直接进行LeakyReLU激活；

判别器的最后一个卷积层，使其输出尺寸为32×32的网格，从而把原输入图像分为32×32个分块进行判别；

所述判别器网络各层的卷积核大小均设置为3×3，前3层卷积滑动步长设置为t，最后一层滑动步长设置为p。

优选的，步骤S32具体如下：

引入Wasserstein损失，其定义如下：

L_WGAN(G,D)＝E_u,h[D(h|u)]-E_u[D(G(u)|u)]

其中：u表示输入的焊接图像，h表示训练数据集中与u对应的手动构造的焊缝特征点高斯热图，G表示生成器的映射，G(u)表示生成器网络生成的焊缝特征点热图，D表示判别器的映射，D(h|u)表示判别器网络对训练集图像对的判别结果，D(G(u)|u))表示判别器对生成器生成的热图的判别结果，E_u,h和E_u则分别表示这两个判别结果的均值；

定义判别器的梯度惩罚：

其中：

表示从生成数据和真实样本之间的均匀采样，

为梯度算子，‖·‖₂表示L2范数，

表示判别器网络关于

的输出，

为期望算子；

利用欧氏距离衡量生成热图与真实高斯热图之间的距离，额外定义L2损失如下：

L_L2(G)＝E_u,h[‖h-G(u)‖₂]

其中‖·‖₂表示L2范数；

联合上述的三个损失，得到特征点热图生成网络训练的目标函数为：

其中λ₁和λ₂分别为梯度惩罚项和L2损失项的权重系数，控制三个损失之间的比重。

优选的，步骤S33具体如下：

训练开始前，获取热图生成网络的训练数据，具体如下：

在搭接型和对接型焊接工件分别进行无焊接的激光线扫描，获得纯激光条纹图像，并手动获得图像上的焊缝特征点位置坐标；

以获得的每一张图像的特征点坐标为均值位置，生成尺寸大小一致的高斯热图；

在关掉激光器的条件下，分别对搭接型和对接型工件进行焊接，采集不同噪声强度的焊接图像；

把噪声图像叠加到激光条纹图像上，得到实际焊接中的含噪图像；

为增加训练样本多样性，对数据进行图像增广，将含噪图像和对应的特征点高斯热图进行随机偏移，并裁剪，分别得到焊接图像u和对应的高斯热图h，组成网络训练样例；

训练时，对构建好的焊缝特征点热图生成网络设置训练的超参数和训练条件如下：

设置初始学习率为a，批处理的样本量为b；

设置所述L_Penalty(D)损失的权重为λ₁＝c，L_L2(G)损失的权重为λ₂＝d；

训练所用的优化方法为梯度下降法，借助PyTorch库中的Adam优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。

优选的，步骤S34中，所述的使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图，具体如下：

对实时采集的每一帧焊接图像采用步骤S2所述的方法进行裁剪，将裁剪后的图像输入到训练好的生成器网络，输出对应的焊缝特征点热图。

优选的，步骤S4具体如下：

对步骤S34生成器网络输出的焊缝特征点热图使用argmax函数索引灰度最大值点，作为焊缝特征点的预测位置；

用g(c,r)表示热图灰度值关于像素坐标(c,r)的函数，则定位到的特征点坐标表示为：

本发明相比于现有技术具有如下的优点及效果：

(1)本发明基于对抗学习实现从焊接图像到其对应的焊缝特征点热图的映射，并从生成的特征点热图索引焊缝位置，避免了过于复杂的处理，因此本发明具有良好的运行速度，焊缝跟踪实时性高；

(2)基于强大的对抗训练，本发明的热图生成网络能对不同噪声强度的焊接图像实现良好的热图生成，因此能够在焊缝跟踪过程中保持良好的焊缝定位效果和鲁棒性。

附图说明

图1是本发明实施例中激光视觉焊缝定位系统结构示意图；

图2是本发明实施例中激光视觉传感器的结构示意图；

图3是本发明的基于对抗学习的焊缝定位模型图；

图4是本发明的激光视觉系统下的焊缝定位系统的工作流程图；

图中：1-配套焊接设备；2-六轴焊接机器人；3-焊枪；4-激光视觉传感器；41-传感器外壳；42-相机；43-滤光片；44-激光发生器；45-透光性隔板；5-焊接工作台；6-工件；7-嵌入式工业控制机；8-机器人控制柜。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。

如图1和图2所示，激光视觉焊缝定位系统包括六轴焊接机器人2、机器人控制柜8、配套的焊接设备1、激光视觉传感器4、嵌入式工业控制机7、焊接工作台5，工件6固定在焊接工作台5上，焊枪3通过固定元件(本实施例使用螺栓螺母紧固件)安装在焊接机器人2的末端法兰盘上，所述配套的焊接设备1为焊接提供能量、焊接材料和保护气等，所述激光视觉传感器4安装于焊枪3前方且与焊接方向平行，所述的嵌入式工业控制机7与激光视觉传感器4通过以太网连接，用于根据传感器所获取的图像准确定位到焊缝特征点，并将得到的位置传输给机器人控制柜8进行处理，实时控制焊枪3运动轨迹，实现准确的焊缝自动跟踪；所述激光视觉传感器4包括黑色氧化处理的传感器外壳41、工业相机42、滤光片43、激光发生器44、透光性隔板45，所述工业相机42和激光发生器44固定在传感器外壳41内部，且激光发生器44连接到5伏直流电源上，所述滤光片43安装在工业相机42镜头前端，所述透光性隔板45固定在传感器外壳41上且位于工业相机42和激光发生器44前端。

如图3和图4所示，本实施例提供的一种激光视觉系统下的基于对抗学习的焊缝定位方法，包括以下步骤：

S1、通过激光视觉传感器实时采集焊接图像并传输到嵌入式工业控制机；

S2、以从上一帧图像定位到的焊缝特征点坐标为中心，裁剪当前输入图像到一定大小作为网络模型的输入；

具体而言，所述步骤S2包括：

S21、若当前采集的焊接图像为起始帧，则裁剪中心为先验预设值，保证裁剪后的图像包含完整的焊缝特征点；

S22、若当前采集的焊接图像非起始帧，则裁剪中心为前一帧定位到的焊缝特征点所在坐标。

S3、使用基于对抗学习所训练的生成器网络对步骤S2输入的裁剪后的焊接图像进行特征点热图生成，具体包括以下步骤：

S31、构建基于条件生成对抗网络的焊缝特征点热图生成网络框架；

S32、为步骤S31所构建的网络设计训练损失函数；

S33、获取训练数据并进行数据处理，输入到步骤S31所构建的网络进行对抗训练；

S34、使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图。

具体而言，步骤S31中，所述的焊缝特征点热图生成网络主要由两部分组成，分别是生成器网络和判别器网络；生成器网络目的是通过训练获得输入的焊接图像与对应的焊缝特征点如图之间的映射关系，从而对焊接图像进行实时的热图生成；判别器网络的输入为手动构造的真实特征点对应的高斯热图或所述生成器生成的焊缝特征点热图，用于判别图像来源于训练数据还是合成数据；生成器和判别器形成对抗关系，从而使得生成器为输入的焊接图像生成对应的特征点热图的能力越来越强；

所述生成器网络采用6个卷积层加上6个反卷积层的U-Nets架构；其具体网络结构如下：

所述6个卷积层采用卷积-批归一化-LeakyReLU激活的结构搭建；前5个反卷积层采用反卷积-批归一化-ReLU激活的结构搭建，最后一层在进行反卷积之后不进行批归一化处理，直接使用Tanh函数激活；

所述卷积层和反卷积层的卷积核大小均设置为3×3，卷积的滑动步长均设置为2；

所述判别器网络主要由4个卷积层组成，具体结构如下：

对于前3个卷积层，采用卷积-批归一化-LeakyReLU激活结构；最后一层在进行卷积操作后不再进行批归一化处理，直接进行LeakyReLU激活；

为降低计算复杂度，加快运行速度，对于所述判别器的最后一个卷积层，使其输出尺寸为32×32的网格，从而把原输入图像分为32×32个分块进行判别；

所述判别器网络各层的卷积核大小均设置为3×3，前3层卷积滑动步长设置为2，最后一层滑动步长设置为1。

步骤S32中，所述的为步骤S31所构建的网络设计训练损失函数，具体如下：

为解决网络训练难度大甚至无法训练的问题，更好地训练焊缝特征点热图生成网络，引入Wasserstein损失，其定义如下：

L_WGAN(G,D)＝E_u,h[D(h|u)]-E_u[D(G(u)|u)]

其中：u表示输入的焊接图像，h表示训练数据集中与u对应的手动构造的焊缝特征点高斯热图，G表示生成器的映射，G(u)表示生成器网络生成的焊缝特征点热图，D表示判别器的映射，D(h|u)表示判别器网络对训练集图像对的判别结果，D(G(u)|u))表示判别器对生成器生成的热图的判别结果，E_u,h和E_u则分别表示这两个判别结果的均值；

此外，为避免训练过程中出现梯度消失或梯度爆炸问题，使网络训练更容易收敛，在损失函数中加入梯度惩罚项，限制判别器输出的梯度在一定范围内；判别器的梯度惩罚定义如下：

其中：

表示从生成数据和真实样本之间的均匀采样，

为梯度算子，‖·‖₂表示L2范数，

表示判别器网络关于

的输出，

为期望算子；

再者，利用欧氏距离衡量生成热图与真实高斯热图之间的距离，使生成的热图更接近真实的高斯热图，从而提高焊缝特征点定位精度；为此，额外定义了L2损失如下：

L_L2(G)＝E_u,h[‖h-G(u)‖₂]

其中‖·‖₂表示L2范数；

联合上述设计的三个损失，得到特征点热图生成网络训练的目标函数为：

其中λ₁和λ₂分别为梯度惩罚项和L2损失项的权重系数，控制三个损失之间的比重。

步骤S33中，所述的获取训练数据并进行数据处理，输入到步骤S31所构建的网络进行对抗训练，具体如下：

训练开始前，获取热图生成网络的训练数据，具体如下：

在搭接型和对接型焊接工件分别进行无焊接的激光线扫描，获得纯激光条纹图像，并手动获得图像上的焊缝特征点位置坐标；

以获得的每一张图像的特征点坐标为均值位置，生成尺寸大小一致的高斯热图；

在关掉激光器的条件下，分别对搭接型和对接型工件进行焊接，采集不同噪声强度的焊接图像；

把噪声图像叠加到激光条纹图像上，得到实际焊接中的含噪图像；

为增加训练样本多样性，对数据进行图像增广，将含噪图像和对应的特征点高斯热图进行一定范围内的随机偏移，并裁剪到一定大小，分别得到焊接图像u和对应的高斯热图h，组成网络训练样例；

训练时，对构建好的焊缝特征点热图生成网络设置训练的超参数和训练条件如下：

设置初始学习率为0.0001，批处理的样本量为4；

设置所述L_Penalty(D)损失的权重为λ₁＝10，L_L2(G)损失的权重为λ₂＝100；

训练所用的优化方法为梯度下降法，借助PyTorch库中的Adam优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。

步骤S34中，所述的使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图，具体如下：

对实时采集的每一帧焊接图像采用步骤S2所述的方法进行裁剪，将裁剪后的图像输入到训练好的生成器网络，输出对应的焊缝特征点热图。

S4、使用argmax函数从步骤S3生成的特征点热图中索引灰度最大值点所在的坐标位置，即为预测的焊缝位置，具体如下：

对步骤S34生成器网络输出的焊缝特征点热图使用argmax函数索引灰度最大值点，作为焊缝特征点的预测位置；

用g(c,r)表示热图灰度值关于像素坐标(c,r)的函数，则定位到的特征点坐标可表示为：

本实施例为噪声干扰下的焊缝定位提供了新的解决思路和方法，具有自动化程度高，抗干扰能力强，鲁棒性强和焊接实时性好等优点。

上述实施例为本发明较佳的实施方式，但本方明的实施方式并不受上述实施例的限制，其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于，包括下步骤：

S1、通过激光视觉传感器实时采集焊接图像并传输到嵌入式工业控制机；

S2、从上一帧图像定位到的焊缝特征点坐标为中心，裁剪当前采集的图像；

S3、使用基于对抗学习所训练的生成器网络对步骤S2裁剪后的图像生成特征点热图；

S4、使用argmax函数从步骤S3生成的特征点热图中索引灰度最大值点所在的坐标位置，即为预测的焊缝位置。

2.根据权利要求1所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于，所述步骤S2具体包括：

S21、若当前采集的焊接图像为起始帧，则裁剪中心为先验预设值，保证裁剪后的图像包含完整的焊缝特征点；

S22、若当前采集的焊接图像非起始帧，则裁剪中心为前一帧定位到的焊缝特征点所在坐标。

3.根据权利要求2所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、构建基于条件生成对抗网络的焊缝特征点热图生成网络框架；

S32、建立条件生成对抗网络的训练损失函数；

S33、获取训练数据并进行数据处理，输入到步骤S31额条件生成对抗网络进行对抗训练；

S34、使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图。

4.根据权利要求3所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：所述焊缝特征点热图生成网络包括生成器网络和判别器网络；生成器网络目的是通过训练获得输入的焊接图像与对应的焊缝特征点之间的映射关系，从而对焊接图像进行实时的热图生成；判别器网络的输入为手动构造的真实特征点对应的高斯热图或所述生成器生成的焊缝特征点热图，用于判别图像来源于训练数据还是合成数据，生成器和判别器形成对抗关系。

5.根据权利要求4所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：所述生成器网络采用6个卷积层加上6个反卷积层的U-Nets架构，其具体网络结构如下：

每个卷积层采用卷积-批归一化-LeakyReLU激活的结构搭建；前5个反卷积层采用反卷积-批归一化-ReLU激活的结构搭建，最后一层在进行反卷积之后不进行批归一化处理，直接使用Tanh函数激活；

所述卷积层和反卷积层的卷积核大小均设置为3×3，卷积的滑动步长均设置为Q。

6.根据权利要求5所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：所述判别器网络包括4个卷积层，具体结构如下：

对于前3个卷积层，采用卷积-批归一化-LeakyReLU激活结构；最后一层在进行卷积操作后不再进行批归一化处理，直接进行LeakyReLU激活；

判别器的最后一个卷积层，使其输出尺寸为32×32的网格，从而把原输入图像分为32×32个分块进行判别；

所述判别器网络各层的卷积核大小均设置为3×3，前3层卷积滑动步长设置为t，最后一层滑动步长设置为p。

7.根据权利要求6所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：步骤S32具体如下：

引入Wasserstein损失，其定义如下：

L_WGAN(G，D)＝E_u，h[D(h|u)]-E_u[D(G(u)|u)]

其中：u表示输入的焊接图像，h表示训练数据集中与u对应的手动构造的焊缝特征点高斯热图，G表示生成器的映射，G(u)表示生成器网络生成的焊缝特征点热图，D表示判别器的映射，D(h|u)表示判别器网络对训练集图像对的判别结果，D(G(u)|u))表示判别器对生成器生成的热图的判别结果，E_u，h和E_u则分别表示这两个判别结果的均值；

定义判别器的梯度惩罚：

其中：

表示从生成数据和真实样本之间的均匀采样，

为梯度算子，||·||₂表示L2范数，

表示判别器网络关于

的输出，

为期望算子；

利用欧氏距离衡量生成热图与真实高斯热图之间的距离，额外定义L2损失如下：

L_L2(G)＝E_u，h[||h-G(u)||₂]

其中||·||₂表示L2范数；

联合上述的三个损失，得到特征点热图生成网络训练的目标函数为：

其中λ₁和λ₂分别为梯度惩罚项和L2损失项的权重系数，控制三个损失之间的比重。

8.根据权利要求7所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：步骤S33具体如下：

训练开始前，获取热图生成网络的训练数据，具体如下：

在搭接型和对接型焊接工件分别进行无焊接的激光线扫描，获得纯激光条纹图像，并手动获得图像上的焊缝特征点位置坐标；

以获得的每一张图像的特征点坐标为均值位置，生成尺寸大小一致的高斯热图；

在关掉激光器的条件下，分别对搭接型和对接型工件进行焊接，采集不同噪声强度的焊接图像；

把噪声图像叠加到激光条纹图像上，得到实际焊接中的含噪图像；

为增加训练样本多样性，对数据进行图像增广，将含噪图像和对应的特征点高斯热图进行随机偏移，并裁剪，分别得到焊接图像u和对应的高斯热图h，组成网络训练样例；

训练时，对构建好的焊缝特征点热图生成网络设置训练的超参数和训练条件如下：

设置初始学习率为a，批处理的样本量为b；

设置所述L_Penalty(D)损失的权重为λ₁＝c，L_L2(G)损失的权重为λ₂＝d；

训练所用的优化方法为梯度下降法，借助PyTorch库中的Adam优化器对网络模型参数进行优化，并保存优化后的生成器网络模型。

9.根据权利要求8所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：步骤S34中，所述的使用步骤S33训练好的网络模型对输入的焊接图像生成对应的焊缝特征点热图，具体如下：

对实时采集的每一帧焊接图像采用步骤S2所述的方法进行裁剪，将裁剪后的图像输入到训练好的生成器网络，输出对应的焊缝特征点热图。

10.根据权利要求9所述的激光视觉系统下的基于对抗学习的焊缝定位方法，其特征在于：步骤S4具体如下：

对步骤S34生成器网络输出的焊缝特征点热图使用argmax函数索引灰度最大值点，作为焊缝特征点的预测位置；

用g(c，r)表示热图灰度值关于像素坐标(c，r)的函数，则定位到的特征点坐标表示为：

Images