CN111402239A - 基于形态特征滤波的激光焊缝跟踪图像处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于形态特征滤波的激光焊缝跟踪图像处理方法及系统，根据焊接时产生的弧光飞溅等噪声和焊缝图像中激光条纹的形态特征，设计了基于形态特征滤波的结构光焊缝跟踪图像处理算法。该算法在提取激光条纹中心线的同时，通过判定激光条纹中心线和激光条纹的形态特征，去除飞溅噪声干扰。结果表明，该方法抗干扰能力较强，耗时较少，能快速、准确的提取激光条纹中心线，从而能更精确的进行焊缝特征点的选取。

Description

基于形态特征滤波的激光焊缝跟踪图像处理方法及系统

技术领域

本发明涉及激光焊缝图像处理技术领域，尤其涉及一种基于形态特征滤波的激光焊缝跟踪图像处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

焊缝跟踪技术作为实现焊接自动化的关键技术，近年来正急速发展。基于视觉传感器的激光焊缝跟踪系统，结合了激光测量和视觉传感器获取焊缝信息丰富的优点，是近年来研究的热点。现有技术利用相邻焊缝图像相邻帧的相关性，提出相邻多帧图像“与”操作去除图像中的噪声。但该方法不能有效去除位置相同的噪声，且当前帧获取的焊缝特征点具有滞后性。现有技术采用小波分解技术结合中值滤波去除图像噪声，滤波效果较好但实时性较差。现有技术基于形态学腐蚀、细化和最小中值二乘法，提出一种鲁棒性光条中心线提取方法，但该方法不能满足焊缝跟踪的实时性要求。

基于滤光片的波长带通特性，视觉传感器获取的焊缝图像矩阵是稀疏矩阵，因此为了突出图像中的有用信息对全图像去除噪声处理，会产生大量的冗余运算。

发明内容

为了解决上述问题，本发明提出了一种基于形态特征滤波的激光焊缝跟踪图像处理方法及系统，在提取激光条纹中心线的过程中通过判定选取的激光横截面中心点是否满足激光条纹和激光条纹中心线具有的形态特征，去除噪声干扰，提高了中心线提取的精度的同时减少了大量冗余运算，从而快速准确的获取焊缝点坐标，以指导自动焊接设备的焊接位置。

在一些实施方式中，采用如下技术方案：

一种基于形态特征滤波的激光焊缝跟踪图像处理方法，包括：

获取激光条纹投射到焊接工件上形成的焊缝图像矩阵；

确定焊缝图像矩阵中每一列的激光横截面中心点；

所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征；

根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置。

在另一些实施方式中，采用如下技术方案：

一种自动焊接设备，包括：

用于获取激光条纹投射到焊接工件上形成的焊缝图像矩阵的装置；

用于确定焊缝图像矩阵中每一列的激光横截面中心点的装置；

用于所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征的装置；

用于根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置的装置。

与现有技术相比，本发明的有益效果是：

本文通过拍摄大量的焊接视频，总结了焊接过程中产生的弧光飞溅和激光条纹的形态特征，设计了一种基于形态特征滤波的结构光焊缝跟踪图像处理算法，在提取激光条纹中心线的过程中通过判定选取的激光横截面中心点是否满足激光条纹和激光条纹中心线具有的形态特征，去除噪声干扰，提高了中心线提取精度的同时减少了大量冗余运算，鲁棒性强，滤波效果好，能够快速准确的获取焊缝点坐标，从而使得自动焊接设备能够根据焊缝点坐标获取焊接的位置。

本发明方法速度较快，处理单张图像小于20ms，改善空间很大，完全满足工业需求。

附图说明

图1(a)-(b)是原始弱反光搭接图像和它的反色图像；

图2(a)-(b)是原始强反光搭接图像和它的反色图像；

图3(a)是飞溅噪声的亮斑和激光条纹亮度区域连接示意图；

图3(b)是图像的最左端存在飞溅噪声示意图；

图4是本发明实施例中基于形态特征滤波的激光焊缝跟踪图像处理方法流程图；

图5是本发明实施例中激光条纹形态特征判定算法流程图；

图6(a)-(d)分别为本发明实施例中对图1(a)、图2(a)、图3(a)、图3(b)进行处理得到的结果；

图7是本发明实施例中线上焊接测试平台示意图；

图8(a)-(c)分别是焊缝跟踪实验结果；

图9是本发明实施例中的焊接实物图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于形态特征滤波的激光焊缝跟踪图像处理方法，包括以下过程：

获取激光条纹投射到焊接工件上形成的焊缝图像矩阵；

确定焊缝图像矩阵中每一列的激光横截面中心点；

所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征；

根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置。

具体地，确定焊缝图像矩阵中每一列的激光横截面中心点，具体过程为：

选取图像矩阵当前列的激光横截面中心点；

判断所述激光横截面中心点是否符合激光中心线形态特征，如果是，将所述中心点作为当前列的激光横截面中心点，计算图像矩阵下一列的激光横截面中心点；否则，判断所述激光横截面中心点是否满足激光条纹形态特征；

若符合，将所述中心点作为当前列的激光横截面中心点，计算图像矩阵下一列的激光横截面中心点；若不符合，重新选择当前列的激光横截面中心点，直至得到符合要求的中心点；

遍历图像矩阵的所有列，得到焊缝图像矩阵中每一列的激光横截面中心点。

下面对本实施例方法进行详细说明。

1焊缝图像中的形态特征

1.1图像中的形态特征划分

采用滤光片的焊缝跟踪系统获取到的焊接图像表现为亮条纹暗背景且对比度十分明显的灰度图像如图1(a)和图2(a)所示，但图像中仍存在有噪声干扰，其中包括弧光飞溅的干扰和焊板表面存在的漫反射噪声干扰。为突出显示图像中的噪声，将焊缝图像反色如图1(b)和图2(b)所示。因焊缝图像的焊缝信息体现在亮像素上，这里把图像中亮区域形态特征分为两部分，弧光飞溅的形态特征和激光条纹的形态特征。

1.2激光条纹和中心线的形态特征

常见的焊缝类型有搭接、角接、对接、坡口等，激光通过投射到不同的焊缝类型上激光条纹产生的形变，来体现不同焊接类型的焊缝区域特征信息。根据这一原理，总结激光条纹的形态在图像中有如下特征：(1)激光条纹在图像中都是连续或局部连续的；(2)当激光垂直入射板材时，激光条纹的横截面的光强呈近高斯分布。

因像素邻域间的空间一致性，区域连通的激光条纹的中心线提取，为时间离散、状态离散的马尔科夫过程，即为一阶马尔科夫链，如等式(1)所示。连续中心线上相邻的两个中心点，满足条件概率关系如等式(2)所示。

P(Y_i|Y_i-1,...,Y₁)＝P(Y_i|Y_i-1) (1)

P(|Y_i-Y_i-1|≤1|Y_i-1)＝1 (2)

其中，i＝2,...,n为图像矩阵的列序号,Y_i为图像矩阵第i列激光横截面中心点y轴坐标，n为图像矩阵的总列数。

1.3焊接飞溅的形态特征

实际焊接过程中，影响产生飞溅率的因素有：(1)焊接电流和焊接电压；(2)焊丝的伸出长度；(3)焊枪的姿态。

本实施例选取了产生飞溅率较高的4组变量组合如表1所示，在焊接过程中采用保护气的前提下，使用不锈钢、碳钢、铝板、镀锌板4种焊接板材，从拍摄的100组焊接视频中统计出弧光飞溅的形态特征，即飞溅噪声在图像中横向占据的最大像素数,如表2所示。

表1变量组合

表2焊接板材测试结果

从表2焊接板材测试结果中可以得到，测试时焊接中出现飞溅横向占据的最大像素数为36个像素。由于在激光条纹形态特征判定过程中，需要的运算数目正比与判定长度。综合算法处理速度、算法精确度并考虑留有一定的裕量，在文中的后续算法设计中选取像素数阈值50来分割飞溅形态特征和激光条纹形态特征。

1.4焊接图像中特殊的情况

在焊缝图像中，飞溅噪声的分布具有随机性，一般图像中的飞溅噪声亮区域横向上表现为孤立的亮斑，而激光条纹表现为连通的亮区域，噪声和激光条纹的形态特征较易区分。但存在两种飞溅分布的特殊情形需要在后续的算法设计中着重考虑，特殊情形一：飞溅噪声的亮斑和激光条纹亮度区域连接，如图3(a)所示；特殊情形二：在图像的最左端存在飞溅噪声(即图像矩阵中第一列存在噪声)，如图3(b)所示。

2形态特征滤波算法设计

2.1算法总体思路

不同于绝大多数焊缝跟踪算法先滤除图像中的噪声得到无干扰干净的图像，再进行激光条纹中心线的提取，本实施例算法采取在提取图像每列激光横截面中心点的过程中，通过形态特征判定来去除图像中噪声对光条中心线提取的影响。算法总体思路流程图如图4所示。

2.2滤波去除反光噪声

由于焊接环境恶劣和激光投射到焊接板材上面的反光效应，导致采集到的激光焊缝图像受到这些噪声污染，为了突出激光条纹的形态特征，对采集到的激光焊缝图像先进行初始滤波，去除反光噪声干扰。由于不同的焊接板材激光的反光效应不同，图像中的反光噪声强度也不同，因此采用自适应阈值法去除图像中的反光噪声。滤波方法为遍历图像矩阵每一列，对每一列单独滤波去除反光噪声。

初始滤波算法设计如下：

1)获取当前列最大的灰度值max_value和灰度值大于0.3*max_value的灰度值数目n；

2)计算滤波阈值th；

th＝(0.3+m)*max_value (4)

3)遍历当前列元素，灰度值大于阈值th的元素保持不变，其它元素灰度值置0；

其中，value为当前列各元素的灰度值。

2.3提取激光条纹中心线

经过初滤波后，能去除焊缝图像中一些反光噪声，并不能有效的去除弧光飞溅噪声，这里根据激光条纹横截面的光强分布特征和激光条纹形态特征，设计了基于形态特征滤波的提取激光条纹中心线算法，对经过初滤波得到的新图像进行处理，按列遍历整幅图像。

激光横截面中心点算法设计：

1)获取当前列j的最大灰度值；

2)搜索当前列j连续最大灰度值出现最长的区段，选取该区段所在位置的中间值。

激光中心线形态特征算法设计：

1)计算当前列j(j>1)与上一列选取的中心点的图像y轴距离D(等式6)和标识flag(等式7)，变量flag是考虑到存在当飞溅亮斑与激光条纹相连时(上述提到的特殊情况一)，在后续的激光条纹特征判定中，为激光条纹的搜索提供方向信息：

D＝|Y-Y_last| (6)

其中，Y为当前列所求的激光横截面中心点，Y_last为上一列激光横截面中心点。

2)激光条纹中心线形态特征判定：

若D<＝1，该点的选取满足激光条纹中心线的形态特征，取为当前列激光横截面中心点，并把该值赋于Y_last(等式8)，计算下一列；

Y_last＝Y (8)

若D>1，该点的选取不满足激光条纹中心线的形态特征，判定该点是否满足激光条纹的形态特征。

激光条纹形态特征判定算法设计：

算法设计思路为，以当前列选取的中心点位置(设为Y)，作为判定起点，在初始滤波后的图像上沿激光条纹进行判定，算法的流程图如图5所示，并作以下几点说明：

变量j代表当前处理图像列的序号，变量i为这一列元素的下标，变量c的作用是计数，初始值为1；

Arr1为矩阵，(i-2，j+c)表示图像第i-2行，第j+c列这一元素的灰度值；

矩阵Arr2记录矩阵Arr1中的五个元素在图像中的行坐标；

矩阵Arr3的维度等于矩阵Arr1中最大值的数目；

方程arg min|p-Arr3(k)|中，p为Arr1中心元素下标，其解为在矩阵Arr1中距离中心元素最近的最大值的位置在矩阵Arr3中的下标；

至此提取激光条纹中心线算法设计完成，根据算法，依次遍历图像矩阵的每一列，直至图像矩阵的最后一列。当图像最左边缘噪声较大时(上述列举的特殊情况二)，遍历一次图像可能并不能滤除图像中的最边缘噪声。

为解决这一问题，采取从左至右按列遍历完整个图像矩阵后，再对前50列激光条纹段的中心线重新提取，方法为：将第51列的激光横截面中心点位置赋值于Y_last，从第50列反向遍历至第一列。

2.4焊缝特征点判定算法设计

这里以搭接为例，因搭接图像在焊缝位置存在斜率突变，所以以斜率分析法设计焊缝点坐标判定算法，算步法骤如下：

1)计算中心线上相邻两点梯度的绝对值；

2)选取最大的梯度绝对值所在的列，记为x，如等式(9)所示。

3)获取第x列激光中心线的位置y，如等式(10)所示；

x＝arg max|Y_i-Y_i+1| (9)

y＝Y_x (10)

其中,i＝1,...,n-1为图像矩阵列序号,Y_i为第i列激光条纹横截面中心点的位置，n为图像矩阵总列数。

4)焊缝特征点坐标(x，y)获取完毕。

3实验结果

3.1Matlab离线测试

电脑硬件配置为Intel(R)Core(TM)i7-9700K CPU@3.60GHz RAM 16G，用文中实现的算法对图片集进行处理，速度为65帧/s左右，对图1(a)、图2(a)、图3(a)、图3(b)进行处理，并将所提取的激光条纹中心线以线标入原图中，判定的焊缝点坐标以十字标入原图中，结果分别如图6(a)–6(d)所示。结果表明，该算法可以快速准确的提取激光条纹中心线，可以精确地判定焊缝的特征点。

3.2线上测试

测试平台由Fanuc机器人、一字线激光器、CCD相机、工控机组成，如图7所示。焊接板材为碳钢板，板材厚度为3mm，采用保护气，焊接电流120A，焊接电压为16.2V，焊枪倾斜角度为2℃，焊接速度为20mm/s。根据焊缝跟踪结果中的焊缝中心所在世界坐标数据，分别绘制出水平x方向与y方向、水平x方向与垂直z方向的坐标关系图，结果如图8(a)-8(b)所示。以x方向作为跟踪偏差的计算基准，利用等式(11)计算焊缝中心位置与实际跟踪位置的绝对偏差。

其中，Δy_i和Δz_i分别表示第i个采样时y、z方向的跟踪偏差，并绘制出x方向位置与跟踪误差的关系图如图8(c)所示。

由实验结果可得，由本实施例算法进行跟踪的平均绝对误差为0.1358mm，可持续有效地跟踪焊缝位置并对焊枪实时纠偏，且焊接均匀牢固，焊接实物如图9所示。试验中采集到的图像像素为576×768，每帧图像的处理速度不高于20ms，足以满足焊缝跟踪过程中的实时性要求。

实施例二

在一个或多个实施方式中，公开了一种自动焊接设备，包括：

用于获取激光条纹投射到焊接工件上形成的焊缝图像矩阵的装置；

用于确定焊缝图像矩阵中每一列的激光横截面中心点的装置；

用于所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征的装置；

用于根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置的装置。

需要说明的是，上述自动焊接设备中包含的装置与实施例一中的基于形态特征滤波的激光焊缝跟踪图像处理方法完全对应，以使得自动焊接设备在焊接作业时，自动识别焊缝坐标，确定焊接位置。

具体地，本实施例中的自动焊接设备可以是焊接机器人或者其他能够实现自动焊接的装置；在焊接机器人焊接端部位置分别设置一字线激光器和CCD相机，以实现对于焊缝图像矩阵的采集。当然，对于焊缝图像矩阵的处理过程，可以通过单独的工控机实现，也可以通过集成在CCD相机中的可编程处理器来实现，或者，采用本领域技术人员能够想到的其他方式来实现。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，包括：

获取激光条纹投射到焊接工件上形成的焊缝图像矩阵；

确定焊缝图像矩阵中每一列的激光横截面中心点；所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征；

根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置。

2.如权利要求1所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，确定焊缝图像矩阵中每一列的激光横截面中心点，具体为：

选取图像矩阵当前列的激光横截面中心点；

判断所述激光横截面中心点是否符合激光中心线形态特征，如果是，将所述中心点作为当前列的激光横截面中心点，计算图像矩阵下一列的激光横截面中心点；否则，判断所述激光横截面中心点是否满足激光条纹形态特征；

若符合，将所述中心点作为当前列的激光横截面中心点，计算图像矩阵下一列的激光横截面中心点；若不符合，重新选择当前列的激光横截面中心点，直至得到符合要求的中心点；

遍历图像矩阵的所有列，得到焊缝图像矩阵中每一列的激光横截面中心点。

3.如权利要求2所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，选取图像矩阵当前列的激光横截面中心点，具体为：

获取图像矩阵当前列的最大灰度值；搜索图像矩阵当前列连续最大灰度值出现最长的区段，选取该区段所在位置的中间值作为激光横截面中心点。

4.如权利要求2所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，判断所述激光横截面中心点是否符合激光中心线形态特征，具体为：计算当前列与上一列选取的激光横截面中心点的图像y轴距离，若所述距离大于1，则所述中心点的选取不满足激光条纹中心线的形态特征；若所述距离不大于1，则所述中心点作为当前列激光横截面中心点。

5.如权利要求2所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，判断所述激光横截面中心点是否满足激光条纹形态特征，具体为：

(1)选取第j+c列第i-2行、第i-1行、第i行、第i+1行和第i+2行的灰度值，其中，c的初始值为1，j为当处理图像列的序号；

(2)选取上述灰度值中的最大值，根据所述最大值确定激光横截面中心点是否满足激光条纹形态特征。

6.如权利要求5所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，根据所述最大值确定激光横截面中心点是否满足激光条纹形态特征，具体为：

如果所述最大值小于等于零，则所述激光横截面中心点不满足激光条纹形态特征；

如果所述最大值大于零，且最大值的数量为1个，则另i等于最大值所在的行，c＝c+1；判断是否达到迭代次数，若未达到，重新选取灰度值中的最大值；否则，判定所述激光横截面中心点符合激光条纹形态特征；

如果所述最大值大于零，且最大值的数量为2个，则判断当前列与上一列选取的激光横截面中心点的图像y轴距离是否大于1，若大于1，则另i等于两个最大值所在的行数中的较大值；否则，另i等于两个最大值所在的行数中的较小值；另c＝c+1；判断是否达到迭代次数，若未达到，重新选取灰度值中的最大值；否则，判定所述激光横截面中心点符合激光条纹形态特征。

7.如权利要求1所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，基于所述中心线选取焊缝特征点，具体为：

计算中心线上第j列激光条纹横截面中心点与j+1列激光条纹横截面中心点梯度的绝对值；j＝1,2,3……,n-1；n为图像矩阵的列数；

选取梯度绝对值最大时所对应的当前列，记为x；获取所述当前列激光中心点的位置y；得到焊缝特征点坐标(x，y)。

8.如权利要求1所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，根据每一列的激光横截面中心点得到激光条纹中心线之后，还包括：从图像矩阵的第N列开始，反向遍历至第一列，重新提取激光条纹段的中心线；N为设定值。

9.如权利要求1所述的一种基于形态特征滤波的激光焊缝跟踪图像处理方法，其特征在于，获取激光条纹投射到焊接工件上形成的焊缝图像矩阵之后，还包括：采用自适应阈值法对采集到的激光焊缝图像矩阵进行初始滤波，去除所述图像矩阵中的反光噪声。

10.一种自动焊接设备，其特征在于，包括：

用于获取激光条纹投射到焊接工件上形成的焊缝图像矩阵的装置；

用于确定焊缝图像矩阵中每一列的激光横截面中心点的装置；

用于所述每一列的激光横截面中心点均满足：符合激光中心线形态特征或者激光条纹形态特征的装置；

用于根据每一列的激光横截面中心点得到激光条纹中心线，基于所述中心线选取焊缝特征点，得到焊缝在世界坐标系下的实际位置，从而使得自动焊接设备实时确定焊接位置的装置。

Images