CN114932292B

CN114932292B - 一种窄间隙被动视觉焊缝跟踪方法及系统

Info

Publication number: CN114932292B
Application number: CN202210584482.4A
Authority: CN
Inventors: 石永华; 林子洛; 王子顺; 李博涵
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2022-05-27
Filing date: 2022-05-27
Publication date: 2023-09-26
Anticipated expiration: 2042-05-27
Also published as: CN114932292A

Abstract

本发明公开了一种窄间隙被动视觉焊缝跟踪方法及系统，包括：获取K‑TIG焊的焊接图像，利用Yolov5卷积神经网络获得锁孔入口的检测边界框，并提取焊接图像的锁孔入口中心位置；提取焊接图像的焊缝中心线；获得所述锁孔入口中心到焊缝中心线的垂直点，进一步得到焊缝偏差，通过调整焊缝偏差实现焊缝跟踪。该方法的鲁棒性强，识别的锁孔入口中心精度高，提升了焊接偏差的精度，可用于后续的焊缝跟踪工作，以提高焊接的自动化程度。

Description

一种窄间隙被动视觉焊缝跟踪方法及系统

技术领域

本发明涉及焊缝跟踪和图像处理领域，特别涉及一种窄间隙被动视觉焊缝跟踪方法及系统。

背景技术

随着现代制造业的快速发展，焊接作为制造业中重要的加工工艺发挥着越来越重要的作用。锁孔深熔TIG焊(K-TIG焊)是一种在焊接过程中利用锁孔(keyhole)效应实现大熔深的新型高效焊接方法，可以实现不开坡口一道焊透、单面焊双面成型并且双面焊缝成形好，焊接质量高，在中厚板材的焊接场景中有着很大的应用前景。K-TIG焊比较稳定，没有飞溅。K-TIG焊热输入大，通过简单的示教再现无法实时纠正热变形带来的焊接轨迹偏差，且由于其焊接电流较大，不支持人工手持焊接，因此需要通过机器人焊接技术实现焊接的自动化和智能化。

目前，视觉传感器、电弧传感器、超声波传感器、红外线传感器、机械传感器等均出现在焊缝识别和跟踪的应用和研究领域，各种传感器的优缺点及适应场合不同，在使用前应充分考虑应用的具体场景。相比之下，视觉传感器具有精度高、非接触式、工作原理简单、仅从图像就可以获取大量信息、且不受材料种类影响等优势，可以实现各种焊接接头的识别与跟踪。

视觉传感技术分为主动视觉和被动视觉，在焊缝跟踪中，主动视觉中的激光焊缝跟踪技术已经商业化，其具有鲁棒性高，精度高等优点，但由于高精度激光发生器造价昂贵，导致其成本非常高，且由于无法贴近熔池监测，需要一定的提前量，属于半闭环控制，对于热输入较大的K-TIG焊、等离子弧焊等，无法准确弥补热变形带来的焊接偏差。被动视觉指不添加辅助光源，以弧光和自然光作为图像光源的视觉技术，其具有成本低，易于安装，且属于全闭环控制技术的优点，但被动视觉的特征可识别度较低，传统的图像处理方法难以准确识别熔池和焊缝。

然而，K-TIG焊接过程中由于弧光很强，工件无坡口且间隙很窄，使得其视觉跟踪难度很高。以往的研究为了解决这一问题，通常需要经过复杂的图形处理过程，比如滤波、阈值分割、边缘检测等等，但随着图像处理算法的复杂度提高，其需要的时间也会相应地增加，这导致了工程应用中对于焊缝跟踪的实时性要求得不到保证。

随着近年来神经网络特别是深度神经网络的快速发展，越来越多的学者选择将神经网络运用在焊缝偏差检测算法中，从而加快了焊缝跟踪系统的处理速度。为了解决被动视觉焊缝和熔池识别困难的问题，目前亟需设计一种能够精确提取焊缝边缘和锁孔中心位置的智能识别方法，实现机器人K-TIG焊的自动焊缝跟踪。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种窄间隙被动视觉焊缝跟踪方法及系统。应用于实时检测K-TIG焊接过程中的焊接偏差，实现机器人K-TIG焊的自动焊缝跟踪。

本发明的目的通过以下技术方案实现：

一种窄间隙被动视觉焊缝跟踪方法，包括：

获取K-TIG焊的焊接图像，利用Yolov5卷积神经网络获得锁孔入口的检测边界框，并提取焊接图像的锁孔入口中心位置；

提取焊接图像的焊缝中心线；

获得所述锁孔入口中心到焊缝中心线的垂直点，进一步得到焊缝偏差，通过调整焊缝偏差实现焊缝跟踪。

进一步，采用HDR相机获取K-TIG焊的焊接图像。

进一步，所述利用Yolov5卷积神经网络获得锁孔入口的检测边界框，并提取焊接图像的锁孔入口中心位置，具体为：

调整焊接图像尺寸，具体大小为608×608×3，表示图片宽度为608像素，图片高度为608像素，图片通道数为3通道；

输入Yolov5卷积神经网络模型，得到三个特征向量，分别为76×76×255、38×38×255、19×19×255；

最后通过非极大值抑制操作获取出锁孔入口的检测框，从而提取锁孔入口中心位置。

进一步，所述提取焊接图像的焊缝中心线，具体为：

将焊接图像转换为单通道的灰度图；

在锁孔入口中心位置的正下方选取一个大小为100×100的静态ROI，即SROI，其包含待焊焊缝的起始点；

在SROI的下半部分选取倒数第5行和倒数第10行进行灰度值分析，根据灰度值曲线的梯度突变点获得焊缝间隙宽度和焊缝中心点位置；

根据焊缝间隙宽度和焊缝中心点位置，选取一个大小为5倍焊缝间隙宽度的ROI区域为DROI，其区域大小根据焊缝间隙宽度进行动态设置；

对DROI进行图像处理获取粗略焊缝中心点；

根据粗略焊缝中心点，选取下一次迭代DROI的位置，返回上一步骤，直至迭代次数满足所设值，获取焊缝中心点坐标；

对所得焊缝中心点坐标进行拟合，得到焊缝中心线直线方程。

进一步，所述获得焊缝间隙宽度和焊缝中心点位置，具体为：

选取SROI的倒数第五行及第十行，采集每行像素点的灰度值进行灰度值曲线绘制，根据所述SROI的灰度值最大值来判断焊接过程中锁孔下方区域是否有尾焰光照；

对灰度值曲线进行求梯度，梯度突变点即为焊接母材到焊缝区域的灰度突变点，得到焊缝区域的左右边界点，若所述SROI的灰度值最大值大于阈值_left，则选取梯度突变为正的点作为所述焊缝区域右边界点，梯度突变为负的点作为所述焊缝区域左边界点；若所述SROI的灰度值最大值小于阈值thre，则选取梯度突变为负的点作为所述焊缝区域右边界点，梯度突变为正的点作为所述焊缝区域右边界点；

根据左右边界点的坐标得到焊缝间隙宽度和焊缝中心点位置。

进一步，所述对DROI进行图像处理获取粗略焊缝中心点，具体为：

首先进行双边滤波以平滑图像，随后进行自适应阈值处理将所述DROI区域图像变为二值图像，再进行开闭操作等连接离散区域消除空洞，并去除小面积连通域，采用灰度重心法提取粗略的焊缝中心点坐标。

进一步，使用随机采样一致算法对所得焊缝中心点坐标进行拟合。

一种所述的窄间隙被动视觉焊缝跟踪方法的系统，包括焊接模块、焊枪运动控制模块、HDR图像传感系统模块及识别控制模块；

所述焊接模块，包括深熔K-TIG焊接电源、水冷机、K-TIG焊枪以及氩气瓶；

所述焊枪运动控制模块，包括六轴工业机器人；

所述HDR图像传感系统模块，包括HDR相机、三自由度固定臂以及图像采集卡；

所述识别控制模块，包括PC机和OPC通信下位机。

进一步，所述六轴工业机器人夹持所述K-TIG焊枪，所述HDR相机固定在所述三自由度固定臂上，而所述三自由度固定臂另一端固定在所述六轴工业机器人末端，进行焊缝跟踪时，所述HDR相机与所述K-TIG焊枪共面，所述图像采集卡将所述HDR相机采集的焊缝图像信息传输至所述PC机进行焊接偏差识别；所述PC机通过所述OPC通信下位机实现对所述深熔K-TIG焊接电源实时控制。

进一步，所述HDR相机的其视线与所述K-TIG焊枪轴线成60°。

与现有技术相比，本发明具有以下优点和有益效果：

(1)本发明利用了Yolov5模型进行K-TIG锁孔入口中心的自动提取，利用动态ROI操作实现焊缝中心线的连续迭代提取，从而获得焊接偏差。

(2)本发明基于HDR工业相机获取焊接区域图像，提供了一种适用于K-TIG焊的基于CNN和动态ROI的窄间隙被动视觉焊缝跟踪方法。

(3)本方法的鲁棒性强，识别的锁孔入口中心精度高，提升了焊接偏差的精度，可用于后续的焊缝跟踪工作，以提高焊接的自动化程度。

附图说明

图1是本发明实施例一种窄间隙被动视觉焊缝跟踪系统的结构示意图；

图2是本发明实施例一种窄间隙被动视觉焊缝跟踪方法的流程图；

图3是图2的具体步骤流程图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

一种窄间隙被动视觉焊缝跟踪方法，适用于K-TIG焊，是一种基于CNN和动态ROI的窄间隙被动视觉焊缝跟踪方法。

如图1所示，其硬件系统包括焊接模块、焊枪运动控制模块、HDR图像传感器系所述焊枪运动控制模块包括六轴工业机器人、控制柜及示教器。

所述HDR图像传感器系统模块包括HDR相机、三自由度固定臂及图像采集卡。

所述焊接模块包括深熔K-TIG焊接电源、水冷机、K-TIG焊枪及氩气瓶；

所述识别控制模块包括PC机及OPC通信下位机。

其中，所述六轴工业机器人夹持所述K-TIG焊枪，所述HDR相机固定在所述三自由度固定臂上，而所述三自由度固定臂另一端固定在所述六轴工业机器人末端，所述三自由度固定臂包含X和Y方向的移动自由度以及X方向的旋转自由度，进行焊缝跟踪时，所述HDR相机与所述K-TIG焊枪共面，且其视线与所述K-TIG焊枪轴线成60°；所述图像采集卡将所述HDR相机采集的焊缝图像信息传输至所述PC机进行焊接偏差识别；所述PC机通过所述OPC通信下位机实现对所述控制柜以及所述深熔K-TIG焊接电源实时控制。

系统工作过程如下：

(1)系统上电后，打开所述氩气瓶，保证氩气供应；

(2)通过所述机器人示教器控制所述六轴工业机器人到达焊接开始位置；

(3)所述PC机连接所述图像采集卡和所述OPC通信下位机，使所述PC机处于图像采集状态及控制状态，并设置合适的采样频率和机器人运动速度；

(4)给所述深熔K-TIG焊接电源设置合适的焊接电流；

(5)通过所述PC机控制所述深熔K-TIG焊接电源起弧开始焊接，所述PC机控制所述六轴机器人以一定速度沿焊接方向运动，并根据所述HDR图像传感系统模块所获取图像信息，经过基于CNN和动态ROI的窄间隙被动视觉焊缝跟踪方法提取出焊接偏差，并通过控制所述六轴机器人纠正该偏差；

(6)焊接完成后，所述PC机控制所述深熔K-TIG焊接电源熄弧，熄弧后控制所述六轴机器人停止运动，待运动完全停止后所述PC机断开与所述图像采集卡、所述OPC通信下位机的连接。

(7)系统断电。

如图2及图3所示，一种适用于K-TIG焊的基于CNN和动态ROI的窄间隙被动视觉焊缝跟踪方法，包括以下步骤：

S1使用张正友标定法对HDR相机进行标定，得到像素坐标系与世界坐标系的换算关系矩阵。

具体标定过程如下：

步骤S1中所述HDR相机标定过程如下：

通过采集一定数量的标定板图像后，经过张正友标定法，得到以下像素坐标系与世界坐标系的换算矩阵：

其中(X_w,Y_w,Z_w)是世界坐标系坐标值，R、T分别为外部旋转矩阵和平移矩阵，f为相机焦距，dx和dy表示图像中一个像素分别代表x轴和y轴方向的实际毫米距离，u₀和v₀分别代表图像原点与相机坐标原点在x轴和y轴的偏移量，(X_p,Y_p)为像素坐标系坐标值。

S2利用Yolov5卷积神经网络获得锁孔入口的检测边界框，提取出锁孔入口的中心位置。

进一步，

首先将所述HDR图像传感系统模块所获取图像信息进行Yolov5模型所要的Mosaic数据增强、自适应锚框计算、自适应图片缩放尺寸变换等操作，需满足Yolov5模型所要求的输入形状，即608×608×3，表示为图片宽度为608像素，图片高度为608像素，图片通道数为3通道；然后输入模型，通过Backbone的Focus结构，CSP结构以及Neck的FPN+PAN结构等一系列的卷积及其他运算，再由Prediction的GIOU_Loss进行损失函数的更新，输出3个特征向量，分别为76×76×255、38×38×255、19×19×255，此即输入的检测结果；再经过NMS非极大值抑制等操作提取出锁孔的检测框，从而得到锁孔的入口中心位置信息(x_c,y_c)。

S3对HDR图像进行通道提取操作，分析灰度直方图，提取R通道，将图像变为单通道图像，减少计算量加快后续图像处理。

S4根据锁孔入口的检测框，在锁孔入口中心的正下方选取一个大小为100×100的静态ROI，即SROI，其包含待焊焊缝的起始点，分析得到焊缝宽度和焊缝中心位置。

对所述的SROI下半部分选取两行进行灰度值分析，根据灰度值曲线的变化规律可以获得焊缝间隙宽度和焊缝中心位置，根据所属焊缝中心位置和焊缝间隙宽度，选取一个较小的ROI区域，其在之后步骤将进行动态的迭代更新，因此称为DROI，其区域大小是根据焊缝间隙宽度进行动态设置的；

本实施例中，一个较小的ROI区域为5倍焊缝间隙宽度大小。

进一步，具体为：

对所述SROI的倒数第5行以及第10行进行灰度值分析，即采取每行像素点的灰度值进行灰度曲线的绘制，根据所述SROI的灰度值最大值来判断焊接过程中锁孔下方区域是否有尾焰光照；

具体来说，若所述SROI的灰度值最大值大于阈值，则有尾焰光照，焊缝区域亮度高于焊接母材区域，灰度曲线图首先由焊接母材区域过渡到尾焰区域，其灰度值趋势先急剧上升到达最高点，即尾焰亮度最高的部分，再急剧下降直到到达焊接母材区域变平缓；若所述SROI的灰度值最大值小于阈值，则无尾焰光照，焊缝区域暗于焊接母材区域，灰度曲线图首先由焊接母材区域过渡到焊缝区域，其灰度值趋势先急剧下降再急剧上升直到到达焊接母材区域变平缓。

对所述SROI灰度值曲线进行求梯度，梯度突变点即为焊接母材到焊缝区域的灰度突变点，可以得到焊缝区域的左右边界点：

若所述SROI的灰度值最大值大于阈值thre，则选取梯度突变为正的点作为所述焊缝区域右边界点，梯度突变为负的点作为所述焊缝区域左边界点；

若所述SROI的灰度值最大值小于阈值thre，则选取梯度突变为负的点作为所述焊缝区域右边界点，梯度突变为正的点作为所述焊缝区域左边界点；

记录右边界点的图像x坐标x_right，左边界点的图像坐标x_left；焊缝宽度width和焊缝中心位置x_center可通过以下公式获得:

width＝x_right-x_left

S6对所述的DROI进行图像处理以获取粗略焊缝中心点，首先进行双边滤波以平滑图像，随后进行自适应阈值处理将DROI区域图像变为二值图像，再进行开闭操作等连接离散区域消除空洞，并进行去除小面积连通域的处理，便于后续的灰度中心提取出粗略的焊缝中心点坐标；

具体步骤为：

S61对DROI区域进行双边滤波平滑图像，去除噪点，方便提取特征。

双边滤波在高斯滤波的基础上加入了像素值权重项，也就是说既要考虑距离因素，也要考虑像素值差异的影响，像素值越相近，权重越大。将像素值权重表示为G_r，空间距离权重表示为G_s。

整个滤波器可以表示为BF，滤波结果为:

其中W_q为滤波窗口内每个像素值的权重和，用于权重的归一化：

在平坦区域，滤波器中每个像素点的G_r值相近，空间距离权重G_s主导滤波效果。在边缘区域，边缘同侧的G_r值相近，且远大于边缘另一侧G_r的值，此时另一侧的像素点的权重对滤波结果几乎不影响，边缘信息得到保护。表现出了一定的自适应性。

在平坦区域出现噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点也有滤除效果。

S62对滤波后的DROI进行自适应阈值处理，二值化处理图像。

具体为：

自适应阈值中图像中每一个像素点的阈值是不同的，该阈值由其领域中图像像素带点加权平均决定。每个像素位置处的二值化阈值不是固定不变的，而是由其周围邻域像素的分布来决定的。亮度较高的图像区域的二值化阈值通常会较高，而亮度较低的图像区域的二值化阈值则会相适应地变小。不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值。

S63对二值图像进行开闭操作，使得离散区域相互连接，消除部分空洞。

具体为：

开操作和闭操作都是基于膨胀和腐蚀操作组合形成的。先腐蚀再膨胀就是开操作，先膨胀再腐蚀就是闭操作。用开操作可以去除噪声，使得图像的轮廓变得光滑，断开的较窄的狭颈和消除细的突出物。闭操作同样使图像轮廓变得光滑，但与开操作相反,它能弥合狭窄的间断和细小的沟壑,消除小的空洞,并填补轮廓线中的裂痕。

S64去除小面积的连通域，减少伪焊缝区域的干扰，对每个连通区域进行像素点的统计，面积小于一定阈值的都进行去除。

具体为：

由于焊接情况复杂，焊缝区域可能存在异物以及焊缝周围存在凹坑划痕等干扰，对自适应阈值处理后的DROI进行去干扰是必不可少的，其会存在许多独立的伪焊缝区域面积，因此，对每个连通区域进行像素点的统计，面积小于一定阈值的都进行去除。

S65对上述处理后的DROI图像进行灰度重心法提取出焊缝的粗略中心点。

对于亮度不均匀的目标(如光斑，光条纹)，灰度重心法可按目标光强分布求出光强权重质心坐标作为跟踪点，也叫密度质心算法。灰度重心法常用来提取激光条纹中心，将灰度值分布中的质心记作光条纹的中心。

经过上述图像处理后得到的二值化图像清晰地显示了DROI内的焊缝信息。因此，灰色重心法是计算焊缝中心坐标的合适方法。

其方程如下:

其中表示第i列的焊缝中心坐标,g(i,j)是坐标(i,j)处的灰度值。

因为步骤S6所提取的焊缝中心坐标是在一个DROI内得到的，所以最后一行的中心坐标可以作为下一个DROI的起点，DROI的大小仍然根据焊缝宽度设置，依次完成迭代，可以使用DROI迭代完成一定长度焊缝的识别。

S7、将所述的粗略焊缝中心点坐标输入随机采样一致算法，去除部分离群点，采用随机采样一致算法拟合得到焊缝中心线方程。

所述随机采样一致性算法(RANSAC，Random sample consensus)是一种迭代方法，这种方法用于从一组包含异常值的观测数据中估计数学模型的参数，此时异常值对估计值没有影响。因此，也可以说它是一种异常值检测方法。从某种意义上说，它是一种非确定性算法，它仅以一定的概率产生合理的结果，该概率会随着迭代次数的增加而增加。

该算法的一个基本假设是：数据由inliers组成(内点)，这些数据的分布可以用一组模型参数来解析，但是模型参数又会受到噪声的影响，还有就是outlier(外点)是不符合模型的数据。RANSAC试图踢掉那些outliers并找到一个在其计算时仅使用inliers的线性模型。

直线可以通过以下方程表示：

y＝ax+b

其中，x和y分别为图像坐标系坐标值，a、b为系数。

从粗略焊缝中心点坐标中随机采样出一个两个点，假设随机抽出来的两点全部都为内点，都可以用直线模型来表达，得到一个直线方程模型：

y＝a_ix+b_i

其中i表示迭代次数；

遍历没有被采样到作为假设内点的数据用来测试拟合好的直线模型，通过一下公式计算边缘点与S52所得模型的偏差σ：

f_j＝a_ix_j+b_i

σ＝|f_j-y_j|

其中j表示第个焊缝中心点。设定当小于2.0时，为模型内点，否则为模型外点，统计所有内点。

重复迭代上述步骤，直到当前模型已经符合超过90％的焊缝中心点数据或者迭代次数超过设定值，设定值的计算如下：

其中为设定迭代次数，p为希望得到准确模型的概率，设定为0.99，inner为此次迭代内按的数目，total为焊缝中心点的总数目。

选择内点数最多的模型作为直线方程模型。

S8、求取锁孔入口中心到焊缝中线的垂直点，记录两点的像素坐标信息通过S1所得换算关系矩阵恢复成世界坐标，得到最终焊接偏差，并通过所述PC机控制所述机器人进行偏差纠正。

具体为：

S81、锁孔入口中心到焊缝中线的垂足(x_v,y_v)可以通过以下公式确定：

S82、将步骤S2所得锁孔入口中心坐标(x_c,y_c)与焊缝中线垂足坐标(x_v,y_v)输入所得像素坐标系与世界坐标系换算关系矩阵的(X_p,Y_p)，得到最终的世界坐标分别为

S83、分别计算x方向和y方向的偏差σ_x和σ_y：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种窄间隙被动视觉焊缝跟踪方法，其特征在于，包括：

提取焊接图像的焊缝中心线，具体为：

将焊接图像转换为单通道的灰度图；

对DROI进行图像处理获取粗略焊缝中心点；

对所得焊缝中心点坐标进行拟合，得到焊缝中心线直线方程；

2.根据权利要求1所述的窄间隙被动视觉焊缝跟踪方法，其特征在于，采用HDR相机获取K-TIG焊的焊接图像。

3.根据权利要求1所述的窄间隙被动视觉焊缝跟踪方法，其特征在于，所述利用Yolov5卷积神经网络获得锁孔入口的检测边界框，并提取焊接图像的锁孔入口中心位置，具体为：

4.根据权利要求1所述的窄间隙被动视觉焊缝跟踪方法，其特征在于，所述获得焊缝间隙宽度和焊缝中心点位置，具体为：

5.根据权利要求1所述的窄间隙被动视觉焊缝跟踪方法，其特征在于，所述对DROI进行图像处理获取粗略焊缝中心点，具体为：

6.根据权利要求5所述的窄间隙被动视觉焊缝跟踪方法，其特征在于，使用随机采样一致算法对所得焊缝中心点坐标进行拟合。

7.一种实现权利要求1-6任一项所述的窄间隙被动视觉焊缝跟踪方法的系统，其特征在于，包括焊接模块、焊枪运动控制模块、HDR图像传感系统模块及识别控制模块；

所述焊枪运动控制模块，包括六轴工业机器人；

所述识别控制模块，包括PC机和OPC通信下位机。

8.根据权利要求7所述的系统，其特征在于，所述六轴工业机器人夹持所述K-TIG焊枪，所述HDR相机固定在所述三自由度固定臂上，而所述三自由度固定臂另一端固定在所述六轴工业机器人末端，进行焊缝跟踪时，所述HDR相机与所述K-TIG焊枪共面，所述图像采集卡将所述HDR相机采集的焊缝图像信息传输至所述PC机进行焊接偏差识别；所述PC机通过所述OPC通信下位机实现对所述深熔K-TIG焊接电源实时控制。

9.根据权利要求8所述的系统，其特征在于，所述HDR相机的其视线与所述K-TIG焊枪轴线成60°。