CN114677296A - 一种适用于窄间隙mag堆焊熔池图像的多特征提取方法 - Google Patents

Abstract

本发明公开了一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，具体为：从熔池特征角度出发，搭建了合适的熔池图像采集平台，先设置感兴趣区域，再通过OTSU阈值分割法的特性粗分割出熔池的明、暗区，再按照不同区域采取不同的图像特征提取方法，最后根据窄间隙MAG堆焊场景下重新定义了熔池特征并准确提取，实现了熔池特征的自动提取。本发明，有效的提高了图像处理算法的并行性，保证了熔池特征提取的实时性。

Description

一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法

技术领域

本发明属于智能焊接领域，涉及熔池图像处理，尤其涉及一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法。

背景技术

随着智能制造的发展，焊接机器人由于其高精度、可重复性等优势逐渐取代了手工焊接，而手工焊接熔池监测中采用的“眼-脑-手”的质量控制方式难以满足自动化焊接实时性和闭环控制的要求。

近些年，随着计算机视觉的发展，建立有效的熔池图像处理策略也逐渐成为焊中熔池监测的研究重点。熔池图像通过滤波系统在采集系统感光元件上成像，转换为电信号通过总线传输给工业计算机，计算机处理过程即为熔池图像处理。熔池图像处理包含图像采集、图像增强、图像分割、图像特征定义和提取等步骤，质量控制单元再根据特征数据来对焊接质量进行控制，因此熔池图像处理是焊接质量控制的前提。

随着熔池监测方法研究的深入，研究人员结合不同工艺中熔池的特点建立合理的图像处理策略用于焊中质量预测，取得了一定的成果和进展。专利“基于视觉清晰度与轮廓提取的熔池图像异常检测方法”中采用两个不同配置的摄像头组成双光路视觉感知装置，有效的提高视觉轮廓和清晰度提取精度，但采用两个摄像头的方法成本较高且难以适用于工作空间有限的场景；专利“一种适用于深烙K-TIG焊熔池和锁孔入口特征参数的提取方法”将焊接图像分为电弧区域图像、熔池中部图像和熔池尾部图像成功提取出熔池和锁孔轮廓，但图像的分区依靠人工划分，难以适用熔池变化较大的场景。除此之外，相关研究成果对本专利所涉及的窄间隙MAG堆焊的工艺场景下的熔池特征提取鲜少报道。

窄间隙堆焊因其在生产质量和成本等方面所展现的技术和经济优势已成为中厚板焊接技术的主要方向之一。相对于其他的焊接方式，窄间隙堆焊焊接面窄导致监测空间有限问题和焊道深导致飞溅、弧光危害集中等问题，造成熔池难以观察。另外，堆焊场景下不同焊接层光强变化大，对熔池图像处理带来挑战。

发明内容

为解决MAG窄间隙堆焊工艺场景以及工艺带来的弧光、飞溅等危害造成的图像特征难以自适应提取的问题，本发明提供一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法。

本发明的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，包含以下步骤：

步骤1：安装设备和调试设备。

由于窄间隙焊接以旁轴方式无法观察到深层熔池信息，工业相机必须按照同轴方式安装在焊接机器人上。将CMOS工业相机安装上镜头和滤光系统，沿焊接方向同轴装配在焊接机器人末端执行器上，与焊枪位姿保持相对静止，采用设置工业相机与焊接平面呈40度夹角，斜向下指向熔池，与熔池中心距离20cm，通过工业计算机将相机曝光时间设置为150μs，曝光补偿设置为10dB。

步骤2：采集熔池图像。

设置窄间隙MAG堆焊焊材进行焊接实验，同时工业计算机控制采集系统开启，此时采集熔池图像通过总线传输到工业计算机中。

步骤3：图像分析及方法设计。通过收集到的图片对比分析，熔池头部区域由于电弧作用使得灰度值大，且熔池内部形态不稳定；熔池尾部区域由于离电弧作用区较远以及焊条的遮挡导致灰度值与头部灰度值差距较大。另外，熔池头部区域受弧光、飞溅影响大，尾部区域受危害影响小。

S3.1：特征定义。

为了焊接质量控制的需要，设计了包含熔池宽度W、长度L、长宽比β和拖尾角α的特征参数来量化熔池信息。定义熔池宽度W为最左侧点到最右侧点的平行距离，熔池长度L为最顶侧点到最底侧点的垂直距离，长宽比β为上述两要素的比值，拖尾角α为最左侧点、最右侧点与最底侧点所形成三角形的顶点。

S3.2：图像平滑与增强。

由于相机与焊枪保持相对静止，因此熔池在图像中的大致位置确定。首先，设置感兴趣区域R，以此去除一部分背景区噪声污染且降低处理数据量，保证图像提取的实时性。为了消除R存在的噪声，对图像采取高斯滤波。之后，继续对区域R采取开操作，以此减弱熔池附近弧光对轮廓的影响。

S3.3：明暗分区和熔池头部轮廓提取；

由于熔池头部灰度级分布较为复杂，采用CANNY轮廓提取算法和OTSU算法混合分割。首先，采用OTSU自适应阈值分割法获得最佳分割阈值阈值T₁，采用面积过滤器滤除掉噪声，此时得到经过阈值T₁分割出的头部区域R₀；其次，将头部区R₀的最低点所在的水平线作为明暗分区的依据，将区域R分为亮区R₀和暗区R₁，最佳分割阈值T₁作为CANNY算法中非极大值抑制中的高阈值T_H，低阈值T_L为高阈值T_H的一半；最后，将CANNY算法中提取的轮廓经长度过滤器提取到最大长度对应轮廓L₁。

S3.4：熔池尾部轮廓提取。

由于熔池尾部干扰较少，轮廓较为清晰，采用单次OTSU分割可以很好地分割出熔池轮廓。首先，将步骤S3.3明暗分区后的暗区R₁进行单次OTSU分割得到熔池尾部轮廓；其次，通过面积滤波器得到面积最大的两部分区域，分别拟合两部分的轮廓L₂和L₃；最后，将L₂和L₃通过位置关系映射到区域R₁上。

S3.5：轮廓点合并及拟合；

将得到的熔池轮廓L₁、L₂和L₃，组合起来形成新的轮廓集合L，采用最小垂直矩形拟合方法获得轮廓的外矩形轮廓L_r，其长宽分别为l、ω；

S3.6：特征提取；

首先，通过步骤S3.1的特征定义，结合步骤S3.5得到的L和L_r，熔池宽度ω和长度l分别对应L_r的长宽W和L，长宽比β为上述两个值的比值；其次，L_r与L左右边界相交的点的像素坐标为为A(x₀,y₀)、B(x₁,y₁)；最后，通过轮廓L₂和L₃最靠近焊丝的点，取它们的横坐标a₁、a₂，以

作一垂直线与L_r底边相交，此为定义的轮廓最底侧点，像素坐标记为C(x₂,y₂)，角∠ACB即为拖尾角α。

进一步的，步骤1中，工业相机型号为MER2-502-79U3M，镜头型号为HN-5024-5M-C2/3X，滤光系统包含650nm的窄带滤光片和两个参数分别为32dB和8dB的减光片；焊接机器人型号为ABB IRB1410，焊机型号为VR7000-CMT。

进一步的，步骤2中，焊接工艺数据包括：焊材型号为q235b，焊道长度55mm，焊道宽度10mm，焊丝型号为ER70S-6，焊接速度为7mm/s，保护气体标准流量为10L/min。

进一步的，步骤S3.3中，T₁、T_H、T_L计算公式如下：

其中，设分割阈值为t，通过阈值分割法将图像分割为C₀和C₁两个部分；上式中，C₀、C₁范围内的平均值表示为μ₀、μ₁，范围内像素点数占图像像素点总数的比例表示为ω₀、ω₁，ω₀ω₁(μ₀-μ₁)²为OTSU算法中的最大类间误差。

进一步的，步骤3中，W、L、β、α的计算公式如下：

上式中，l、ω为步骤S3.5外矩形轮廓Lr的长宽，x₀、y₀、x₁、y₁、x₂、y₂来源于步骤S3.6中提取到的相关点。

本发明的有益技术效果为：

本发明依据窄间隙MAG堆焊场景下焊道窄、熔池难以观察的特点，搭建了同轴的熔池监测设备，解决了高质量熔池图像难以获取的问题。同时，通过分析窄间隙MAG熔池图像，设计了适用于MAG熔池图像的特征提取方法，此方法无需人工调整参数即可自动提取特征参数。另外，相比于双目摄像头监控策略，本发明采用单目摄像头的方案节约了成本。此外，基于OTSU的自动分区策略增加了方法的并行性，加快了图像处理的速度。

附图说明

图1为本发明针对窄间隙MAG堆焊搭建的实验平台结构布局图；

图2为本发明CMOS工业相机安装示意图；

图3为本发明适用于基于窄间隙MAG堆焊熔池的熔池特征提取方法的图像处理流程图；

图4为本发明实施例中窄间隙MAG堆焊熔池原图；

图5为本发明实施例中经图像截取后获得的感兴趣区域；

图6为本发明实施例中经高斯滤波处理后的图像；

图7为本发明实施例中经开运算处理后的图像；

图8为本发明实施例中OTSU阈值分割法自动分区处理的示意图；

图9为本发明实施例中暗区经OTSU阈值分割法处理后的轮廓绘制图；

图10为本发明实施例中明区经CANNY轮廓提取处理后的轮廓绘制图；

图11为本发明实施例中明区和暗区轮廓合并后在感兴趣区域上的轮廓绘制图；

图12为本发明实施例中二值化处理后的熔池图像；

图13为本发明实施例中经最小垂直矩形拟合后得到的特征点示意图。

图1、2中标号释义，1.焊接机器人；2.焊接控制柜；3.焊枪；4.保护气体站；5.CMOS工业相机；6.工业计算机；7.夹具；8.焊件。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

图1是MAG焊接采集单元结构布局示意图，如图1所示，MAG熔池采集单元由焊接机器人、焊接控制柜、焊枪、保护气体站、CMOS工业相机、夹具和工业计算机。工业相机通过夹具安装在焊接机器人末端，通过USB3.0线缆将图像传输到工业计算机中，工业计算机做进一步图像处理。其中，焊接机器人型号为ABB IRB1410，焊机型号为VR7000-CMT，工业相机型号为MER2-502-79U3M。

将CMOS工业相机沿焊接方向同轴装配在焊接机器人末端执行器上，与焊枪位姿保持相对静止，采用设置工业相机与焊接平面呈40度夹角，斜向下指向熔池，与熔池中心距离20cm，安装示意图如图2所示。其中，焊材型号为q235b，焊道长度55mm，焊道宽度10mm，焊丝型号为ER70S-6。

如图3所示，为本发明的一种适用于基于窄间隙MAG堆焊熔池的熔池特征提取方法的流程图，流程说明如下：

(1)程序开始；

(2)熔池图片输入；

(3)通过图像截取，获取感兴趣区域R；

(4)通过高斯滤波消除噪声，达到图像平滑的目的；

(5)通过开运算消除部分弧光和飞溅，达到图像增强的目的；

(6)通过OTSU得到明暗分界线l，并保存最佳阈值T；

(7)通过l将R分割为两区域R_i；

(8)如果R_i是暗区则进入步骤(9)-(12)，否则进入步骤(13)-(16)；

(9)将暗区R₁进行OTSU阈值分割；

(10)提取轮廓集合L₁；

(11)通过包围面积筛选得到包围面积最大的两个轮廓；

(12)得到轮廓l₀和l₁；

(13)将明区R₀进行CANNY轮廓提取，使用分区时获得的最佳阈值定义T_H＝T，T_L＝0.5T_H；

(14)得到轮廓集合L₂；

(15)提取出L₂中的最长轮廓；

(16)得到轮廓l₂；

(17)将步骤12和步骤16得到的轮廓合并为L₀；

(18)采用最小矩形拟合，得到参数熔池宽度W，长度L，最左侧点A，最右侧点B和最底侧点C；

(19)通过发明内容的公式得到熔池特征参数并储存；

(20)程序结束；

如图4所示，是窄间隙MAG焊接中的典型熔池图像，图像大小为716x599，图中含有弧光、飞溅等干扰因素。由于相机与焊枪固定位置同轴安装，处于相对静止的状态，因此熔池在图像中出现的位置确定，通过图像截取的方式截取出感兴趣区域R，图像大小为250x300，区域R如图5所示。

进一步地，通过高斯滤波处理区域R得到图6，可以去除图像中的噪声。

进一步地，通过开运算过程，滤除熔池图像中的部分弧光、飞溅干扰，达到对熔池外轮廓强化的目的，经过开运算后的图像如图7所示。

进一步地，通过OTSU找到图像中对比度最大的区域，以其轮廓最低点作平行线作为图像分界线，将R分为暗区R₁和明区R₀，并记录OTSU的最佳分割阈值T＝123，基于OTSU的分区示意图如图8所示。

进一步地，暗区R₁借助OTSU图像分割得到轮廓集合L₁，面积筛选后得到轮廓l₀和l₁，轮廓l₀和l₁绘制在暗区R₁的图像如图9所示。

进一步地，明区R₀通过CANNY轮廓提取得到轮廓集合L₂，其中非极大值抑制中的T_H设置为T，TL设置为0.5T，长度筛选后得到轮廓l₂，轮廓l₂绘制在明区R₀的图像如图10所示。

进一步地，将暗区轮廓与明区轮廓合并得到轮廓L，轮廓L绘制在区域R的图像如图11所示，通过轮廓L的二值化熔池图像如图12所示。

进一步地，确定轮廓L的最小垂直拟合矩形，得到最小垂直拟合矩形的宽度W为163像素，L为204像素，A(47,182),B(210,135),C(128,252)，如图13所示。

进一步地，通过计算公式，计算出此熔池的宽度为163像素，长度为204像素，长宽比β为1.25，拖尾角α为84度，即完成从一张窄间隙熔池图片提取熔池特征过程。另外，整个提取过程用时10ms，保证了熔池特征提取的实时性。

Claims (5)

1.一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，其特征在于，包含以下步骤：

步骤1：安装设备和调试设备；

将CMOS工业相机安装上镜头和滤光系统，沿焊接方向同轴装配在焊接机器人末端执行器上，与焊枪位姿保持相对静止，采用设置工业相机与焊接平面呈40度夹角，斜向下指向熔池，与熔池中心距离20cm，通过工业计算机将相机曝光时间设置为150μs，曝光补偿设置为10dB；

步骤2：采集熔池图像；

设置窄间隙MAG堆焊焊材进行焊接实验，同时工业计算机控制采集系统开启，此时采集熔池图像通过总线传输到工业计算机中；

步骤3：图像分析及方法设计；

S3.1：特征定义；

定义熔池宽度W为最左侧点到最右侧点的平行距离，熔池长度L为最顶侧点到最底侧点的垂直距离，长宽比β为上述两要素的比值，拖尾角α为最左侧点、最右侧点与最底侧点所形成三角形的顶点；

S3.2：图像平滑与增强；

首先，设置感兴趣区域R；其次，对图像采取高斯滤波；最后，继续对区域R采取开操作；

S3.3：明暗分区和熔池头部轮廓提取；

首先，采用OTSU自适应阈值分割法获得最佳分割阈值阈值T₁，采用面积过滤器滤除掉噪声，此时得到经过阈值T₁分割出的头部区域R₀；其次，将头部区R₀的最低点所在的水平线作为明暗分区的依据，将区域R分为亮区R₀和暗区R₁，最佳分割阈值T₁作为CANNY算法中非极大值抑制中的高阈值T_H，低阈值T_L为高阈值T_H的一半；最后，将CANNY算法中提取的轮廓经长度过滤器提取到最大长度对应轮廓L₁；

S3.4：熔池尾部轮廓提取；

首先，将步骤S3.3明暗分区后的暗区R₁进行单次OTSU分割得到熔池尾部轮廓；其次，通过面积滤波器得到面积最大的两部分区域，分别拟合两部分的轮廓L₂和L₃；最后，将L₂和L₃通过位置关系映射到区域R₁上；

S3.5：轮廓点合并及拟合；

将得到的熔池轮廓L₁、L₂和L₃，组合起来形成新的轮廓集合L，采用最小垂直矩形拟合方法获得轮廓的外矩形轮廓L_r，其长宽分别为l、ω；

S3.6：特征提取；

首先，通过步骤S3.1的特征定义，结合步骤S3.5得到的L和L_r，熔池宽度ω和长度l分别对应L_r的长宽W和L，长宽比β为上述两个值的比值；其次，L_r与L左右边界相交的点的像素坐标为为A(x₀,y₀)、B(x₁,y₁)；最后，通过轮廓L₂和L₃最靠近焊丝的点，取它们的横坐标a₁、a₂，以

作一垂直线与L_r底边相交，此为定义的轮廓最底侧点，像素坐标记为C(x₂,y₂)，角∠ACB即为拖尾角α。

2.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，其特征在于，所述步骤1中，工业相机型号为MER2-502-79U3M，镜头型号为HN-5024-5M-C2/3X，滤光系统包含650nm的窄带滤光片和两个参数分别为32dB和8dB的减光片；焊接机器人型号为ABB IRB1410，焊机型号为VR7000-CMT。

3.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，其特征在于，所述步骤2中，焊接工艺数据包括：焊材型号为q235b，焊道长度55mm，焊道宽度10mm，焊丝型号为ER70S-6，焊接速度为7mm/s，保护气体标准流量为10L/min。

4.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，其特征在于，所述步骤S3.3中，T₁、T_H、T_L计算公式如下：

其中，设分割阈值为t，通过阈值分割法将图像分割为C₀和C₁两个部分；上式中，C₀、C₁范围内的平均值表示为μ₀、μ₁，范围内像素点数占图像像素点总数的比例表示为ω₀、ω₁，ω₀ω₁(μ₀-μ₁)²为OTSU算法中的最大类间误差。

5.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法，其特征在于，所述步骤3中，W、L、β、α的计算公式如下：

上式中，l、ω为步骤S3.5外矩形轮廓Lr的长宽，x₀、y₀、x₁、y₁、x₂、y₂来源于步骤S3.6中提取到的相关点。

Images