CN113470059A - 基于视觉注意的厚板t形接头gmaw焊接焊缝轮廓提取方法 - Google Patents

Abstract

本发明公开基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，包括以下步骤，通过视觉注意模型对CCD采集到焊缝图像进行预处理，抑制图像中的高频干扰；采用阈值分割的方法将焊缝轮廓与显著干扰分割开来，去除分割开的显著干扰；采用改进的近邻聚类算法对图像进行分类，提取出图像中的焊缝轮廓；计算提取出的焊缝轮廓的横向宽度，根据提取出的焊缝轮廓的横向跨度与图像的宽度的比值对阈值分割算法进行反馈调节；对焊缝轮廓进行补全，得到完整的焊缝轮廓。具有降低时间消耗、测量精度高以及鲁棒性强等优点。

Description

基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法

技术领域

本发明涉及自动化焊接技术领域，特别涉及基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法。

背景技术

随着工业的发展，由人工来完成的传统焊接工作，极大地受焊接工人技术水平的影响，焊接质量无法保证，焊接效率和精度低。传统的手工焊接已经无法满足工业的发展，焊接自动化成为焊接技术发展的必然趋势。其中，焊缝图像处理是焊接机器人视觉系统的关键部分，是实现焊接自动化的关键。焊缝图像处理是通过图像处理算法和计算机对原始焊缝图像进行变换，以获得的符合要求的目标图像或图像中的特征目标图像。焊接焊缝的提取是焊缝图像处理中最重要的步骤，它需要采用特定的图像处理算法对数字图像矩阵进行运算，计算量通常非常大。因此，快速高效的图像处理算法对提高视觉系统的实时性有很大的好处。视觉注意机制可以模拟人的视觉系统，将图像中的目标区域快速筛选出来，使计算机资源的分配更加合理、可靠，使计算机能像人类处理图像一样高效，这对于充分利用计算机资源，更好地、更高效地处理图像任务具有重要意义。

现有的大部分焊缝轮廓提取算法都无法适用于厚板的焊接焊缝以及强干扰背景下的焊缝图像，存在普适性与鲁棒性差等问题。

发明内容

针对现有技术中的上述不足，本发明提供了基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其对具有强电弧光干扰的焊接情景下，通过对算法过程的优化，实现在强干扰背景下的焊缝轮廓的准确提取。

为了达到上述发明目的，本发明采用的技术方案为：

基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，包括以下步骤：

步骤一：通过视觉注意模型对CCD采集到焊缝图像进行预处理，抑制图像中的高频干扰；

步骤二：采用阈值分割的方法将焊缝轮廓与显著干扰分割开来，去除分割开的显著干扰；

步骤三：采用改进的近邻聚类算法对图像进行分类，提取出图像中的焊缝轮廓；

步骤四：计算提取出的焊缝轮廓的横向宽度，根据提取出的焊缝轮廓的横向跨度与图像的宽度的比值对阈值分割算法进行反馈调节；

步骤五：对焊缝轮廓进行补全，得到完整的焊缝轮廓。

进一步的，所述步骤一中的视觉注意模型为Itti模型，该模型能够抑制图像中的高频部分干扰，增大图像中的显著区域的对比度，突出图像中的焊缝轮廓，为后续焊缝轮廓的提取打下了坚实的基础。

进一步的，所述步骤二的阈值分割为基于直方图均衡化的自适应阈值分割，具体步骤为，

S1、通过直方图均衡化使图像的直方图分布更加均匀，增强了显著区域的对比度，并使得显著区域更加密集；

S2、通过直方图中的灰度变化率的临界值来确定阈值，对图像进行分割，去除图像中的显著干扰，得到图像中的显著区域。

进一步的，所述S2中灰度变化率的临界值，主要是由焊缝图像直方图中的不同灰度变化率时进行阈值分割后图像中的像素数与灰度变化率为1时进行阈值分割后图像中的像素数之比确定的。

进一步的，所述S2中去除图像中的显著干扰的具体步骤为，

从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，计算此类连续像素点的宽度w，若w大于原始图像中焊缝轮廓的宽度W，则去除此类连续像素点的像素，即灰度值置为0；否则，不做处理，继续查找该列中的下一个连续像素点，直到无法找到灰度大于0的像素点；查找下一列，重复前面的操作，直到查找完所有的列。

进一步的，所述步骤三中的改进近邻聚类算法为融合SIFT算法和Hough变换的近邻聚类算法，具体步骤为，

a、计算图像中余下的像素的平均线；

b、利用SIFT算法和Hough变换提取出原始图像的关键点，将两类关键点合并；

c、将合并的关键点融入到近邻聚类算法中，作为聚类中心，提取出图像中的焊缝轮廓。

进一步的，所述a中的计算平均线的具体步骤为，

从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，将这些像素的灰度值置为0(黑色)，计算这些像素点的行坐标的平均值并取整，将取整后的值作为行坐标，将所查找的这一列的这一行的像素点的灰度值置为1(白色)，继续查找此列的连续像素点，直到查找不到为止；查找下一列，重复前面的操作，直到查找完所有的列。

进一步的，所述步骤四中的反馈调节是根据提取出的焊缝轮廓横向跨度与图像的宽度的比值，判断是否需要对阈值分割算法中的灰度变化率的临界值进行调节。步骤一、计算提取出的焊缝轮廓的横向跨度与图像的宽度的比值；

步骤二、为了能够使采集到的焊缝轮廓清晰可见，厚板的焊缝轮廓的横向宽度一般大于纵向宽度，在图像中的横向宽度的占比比较大，一般大于图像宽度的2/3。如果聚类之后的焊缝轮廓的跨度L_hf小于图像横向跨度L的2/3，即

此时阈值分割中的临界K值若是大于1，则说明焊缝轮廓产生了大量的缺失，极有可能是阈值分割保留的像素太多，即阈值分割中的临界K值取得过大，导致分割后的图像中焊缝轮廓和显著干扰未被分隔开，导致在去除显著干扰时，焊缝轮廓也被去除了，那么令临界K值K＝K-1，重新进行阈值分割。如果临界K值等于1，则说明图像采集设备未采集到清晰的焊缝图像，直接对焊缝轮廓进行补全。

进一步的，所述步骤五的具体步骤为，

S51、查找同一列存在两个及以上灰度不为零的像素点，只保留距离前面一列灰度不为零的像素点最近的那一个像素点；

S52、以从左到右的顺序，计算灰度不为零的相邻像素点之间的行坐标之差，去除灰度前后端点行坐标差值大的比较短的线段；

S53、以从左到右的顺序，查找存在断点的位置，计算断点前后直线段的斜率，若两线段的斜率近似相等，则对断点进行线性插值补全。否则，说明该断点属于转折点。转折点分为两种，一种是缺失的断点，需要补全；一种是还未进行填充的焊缝缺口，不需要补全；

S54、根据两种转折点的特征，通过前后两段的斜率来判断，若两者的斜率的乘积为正，说明该转折点一定不是未填充的焊缝轮廓段，需要补全；若两者的斜率的乘积为负，则无需补全。

本发明的有益效果为：通过视觉识别的方法提取焊缝图像，并通过建立模型对焊缝轮廓等特征进行提取，经济可靠，具有较大的普适性，该方法实现了在强电弧光干扰环境下焊缝轮廓的提取与修正，具有很强的鲁棒性，有利于提高焊接效率，进而提高生产效率。

附图说明

图1为本发明的流程图；

图2为本发明的基于直方图均衡化的自适应阈值分割程序流程图；

图3为本发明的基于直方图均衡化的自适应阈值分割算法对焊缝图像的处理的阈值分割前的示意图；

图4为本发明的基于直方图均衡化的自适应阈值分割算法对焊缝图像的处理阈值分割后的示意图；

图5为本发明的融合SIFT算法与Hough变换的近邻聚类算法流程图；

图6为本发明的融合SIFT算法与Hough变换的近邻聚类的图像关键点示意图；

图7为本发明的融合SIFT算法与Hough变换的近邻聚类的前处理后的示意图；

图8为本发明的融合SIFT算法与Hough变换的近邻聚类的聚类后的结果示意图；

图9为本发明的反馈调节机制的流程图；

图10为本发明的最终焊缝轮廓提取结果示意图。

具体实施方式

下面结合附图来进一步说明本发明的具体实施方式。其中相同的零部件用相同的附图标记表示。

为了使本发明的内容更容易被清楚地理解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如附图1所示，基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，包括以下步骤：步骤一、通过视觉注意模型对CCD采集到焊缝图像进行预处理，抑制图像中的高频干扰；

步骤二、采用阈值分割的方法将焊缝轮廓与显著干扰分割开来，去除分割开的显著干扰；

步骤三、采用改进的近邻聚类算法对图像进行分类，提取出图像中的焊缝轮廓；

步骤四、计算提取出的焊缝轮廓的横向宽度，根据提取出的焊缝轮廓的横向跨度与图像的宽度的比值对阈值分割算法进行反馈调节；

步骤五、对焊缝轮廓进行补全，得到完整的焊缝轮廓。

步骤一中的视觉注意模型主要采用Itti模型，该模型能够抑制图像中的高频部分干扰，增大图像中的显著区域的对比度，突出图像中的焊缝轮廓，为后续焊缝轮廓的提取打下了坚实的基础。

结合附图2和附图3和附图4所示，步骤二中的阈值分割为基于直方图均衡化的自适应阈值分割，具体步骤：

S1、通过直方图均衡化使图像的直方图分布更加均匀，增强了显著区域的对比度，并使得显著区域更加密集；

S2、通过直方图中的灰度变化率的临界值来确定阈值，对图像进行分割，去除图像中的显著干扰，得到图像中的显著区域。

经过基于直方图均衡化的自适应阈值分割后，图像中的干扰不但明显减少了，而且焊缝轮廓也保留得比较完整，将大部分的干扰和焊缝轮廓进行了分离，有利于焊缝轮廓的提取。

其中，基于直方图均衡化的自适应阈值分割中的灰度变化率的临界值主要是由焊缝图像直方图中的不同灰度变化率时进行阈值分割后图像中的像素数与灰度变化率为1时进行阈值分割后图像中的像素数之比确定的，针对由CCD采集到的厚板T型焊接焊缝轮廓图像，若比值大于3，则将此时的灰度变化率的值减1作为灰度变化率的临界值。

其中，基于直方图均衡化的自适应阈值分割中的去除图像中的显著干扰的具体操作为：从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，计算此类连续像素点的宽度w，若w大于原始图像中焊缝轮廓的宽度W，则去除此类连续像素点的像素，即灰度值置为0；否则，不做处理，继续查找该列中的下一个连续像素点，直到无法找到灰度大于0的像素点；查找下一列，重复前面的操作，直到查找完所有的列。经过此操作后，图像中的干扰明显减少。

结合附图5和附图6、7、8所示，所述步骤三中融合SIFT算法与Hough变换的近邻聚类算法提取焊缝轮廓及缺失焊缝轮廓补全的具体步骤如下：

a，计算图像灰度不为零的像素点的平均线，从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，将这些像素的灰度值置为0(黑色)，计算这些像素点的行坐标的平均值并取整，将取整后的值作为行坐标，将所查找的这一列的这一行的像素点的灰度值置为1(白色)，继续查找此列的连续像素点，直到查找不到为止；查找下一列，重复前面的操作，直到查找完所有的列。

b，将SIFT算法以及Hough变换的得到的关键点定义为一个集合X,集合中的第n个元素定义为X_n，以焊缝轮廓的列宽度W的1/2作为近邻聚类的距离阈值T；

c，查找关键点X₁周围的区域，如果周围区域内存在欧式距离小于阈值T的样本，则将这些样本归为L₁类中，将已经归类的样本消除，并统计该区域内的关键点的数量，以L₁类左右两侧的最左侧和最右侧的中点为起点分别向两侧的周围区域查找，直到无法查找到样本为止；

d，查找下一关键点的周围区域，重复第三步，直到查找完所有关键点；

e，保留图像中横向跨度最大的那一类作为焊缝轮廓。

由于融合SIFT算法与Hough变换的近邻聚类算法只受焊缝轮廓宽度这一个参数的影响，且该参数的选取只与图像采集设备的参数以及安装位置有关，只要图像采集设备的参数以及安装位置确定下来，焊缝轮廓宽度也就确定下来。因此，该算法的对图像中焊缝轮廓的提取效果好，具有良好的普适性和鲁棒性。

结合附图9所示，所述步骤四中的反馈调节的具体过程为：

S41、计算提取出的焊缝轮廓的横向跨度与图像的宽度的比值；

S42、为了能够使采集到的焊缝轮廓清晰可见，厚板的焊缝轮廓的横向宽度一般大于纵向宽度，在图像中的横向宽度的占比比较大，一般大于图像宽度的2/3。如果聚类之后的焊缝轮廓的跨度L_hf小于图像横向跨度L的2/3，即

此时阈值分割中的临界K值若是大于1，则说明焊缝轮廓产生了大量的缺失，极有可能是阈值分割保留的像素太多，即阈值分割中的临界K值取得过大，导致分割后的图像中焊缝轮廓和显著干扰未被分隔开，导致在去除显著干扰时，焊缝轮廓也被去除了，那么令临界K值K＝K-1，重新进行阈值分割。如果临界K值等于1，则说明图像采集设备未采集到清晰的焊缝图像，直接对焊缝轮廓进行补全。

其中，所述步骤五中的补全方法的具体步骤为：

S51、查找同一列存在两个及以上灰度不为零的像素点，只保留距离前面一列灰度不为零的像素点最近的那一个像素点；

S52、以从左到右的顺序，计算灰度不为零的相邻像素点之间的行坐标之差，去除灰度前后端点行坐标差值大的比较短的线段；

S53、以从左到右的顺序，查找存在断点的位置，计算断点前后直线段的斜率，若两线段的斜率近似相等，则对断点进行线性插值补全。否则，说明该断点属于转折点。转折点分为两种，一种是缺失的断点，需要补全；一种是还未进行填充的焊缝缺口，不需要补全；

S54、根据两种转折点的特征，通过前后两段的斜率来判断，若两者的斜率的乘积为正，说明该转折点一定不是未填充的焊缝轮廓段，需要补全；若两者的斜率的乘积为负，则无需补全。

采用上述去除干扰的方式对经前处理的焊缝图像进行处理，得到的结果如附图10所示。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (9)

1.基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于，包括以下步骤：

步骤一：通过视觉注意模型对CCD采集到焊缝图像进行预处理，抑制图像中的高频干扰；

步骤二：采用阈值分割的方法将焊缝轮廓与显著干扰分割开来，去除分割开的显著干扰；

步骤三：采用改进的近邻聚类算法对图像进行分类，提取出图像中的焊缝轮廓；

步骤四：计算提取出的焊缝轮廓的横向宽度，根据提取出的焊缝轮廓的横向跨度与图像的宽度的比值对阈值分割算法进行反馈调节；

步骤五：对焊缝轮廓进行补全，得到完整的焊缝轮廓。

2.根据权利要求1所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述步骤一中的视觉注意模型为Itti模型。

3.根据权利要求1所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述步骤二的阈值分割为基于直方图均衡化的自适应阈值分割，具体步骤为，

S1、通过直方图均衡化使图像的直方图分布更加均匀，增强了显著区域的对比度，并使得显著区域更加密集；

S2、通过直方图中的灰度变化率的临界值来确定阈值，对图像进行分割，去除图像中的显著干扰，得到图像中的显著区域。

4.根据权利要求3所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述S2中灰度变化率的临界值，主要是由焊缝图像直方图中的不同灰度变化率时进行阈值分割后图像中的像素数与灰度变化率为1时进行阈值分割后图像中的像素数之比确定的。

5.根据权利要求3所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述S2中去除图像中的显著干扰的具体步骤为，

从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，计算此类连续像素点的宽度w，若w大于原始图像中焊缝轮廓的宽度W，则去除此类连续像素点的像素，即灰度值置为0；否则，不做处理，继续查找该列中的下一个连续像素点，直到无法找到灰度大于0的像素点；查找下一列，重复前面的操作，直到查找完所有的列。

6.根据权利要求1所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述步骤三中的改进近邻聚类算法为融合SIFT算法和Hough变换的近邻聚类算法，具体步骤为，

a、计算图像中余下的像素的平均线；

b、利用SIFT算法和Hough变换提取出原始图像的关键点，将两类关键点合并；

c、将合并的关键点融入到近邻聚类算法中，作为聚类中心，提取出图像中的焊缝轮廓。

7.根据权利要求6所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述a中的计算平均线的具体步骤为，

从左到右查找图像中的每一列，找到灰度值大于0的连续像素点，将这些像素的灰度值置为0，计算这些像素点的行坐标的平均值并取整，将取整后的值作为行坐标，将所查找的这一列的这一行的像素点的灰度值置为1，继续查找此列的连续像素点，直到查找不到为止；查找下一列，重复前面的操作，直到查找完所有的列。

8.根据权利要求1所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述步骤四中的反馈调节是根据提取出的焊缝轮廓横向跨度与图像的宽度的比值，判断是否需要对阈值分割算法中的灰度变化率的临界值进行调节。

9.根据权利要求1所述的基于视觉注意的厚板T形接头GMAW焊接焊缝轮廓提取方法，其特征在于：所述步骤五的具体步骤为，

S51、查找同一列存在两个及以上灰度不为零的像素点，只保留距离前面一列灰度不为零的像素点最近的那一个像素点；

S52、以从左到右的顺序，计算灰度不为零的相邻像素点之间的行坐标之差，去除灰度前后端点行坐标差值大的比较短的线段；

S53、以从左到右的顺序，查找存在断点的位置，计算断点前后直线段的斜率，若两线段的斜率近似相等，则对断点进行线性插值补全。否则，说明该断点属于转折点。转折点分为两种，一种是缺失的断点，需要补全；一种是还未进行填充的焊缝缺口，不需要补全；

S54、根据两种转折点的特征，通过前后两段的斜率来判断，若两者的斜率的乘积为正，说明该转折点一定不是未填充的焊缝轮廓段，需要补全；若两者的斜率的乘积为负，则无需补全。

Images