CN109447939A - 基于混合光谱视觉的熔池成形前焊缝宽度预测方法 - Google Patents

Abstract

本发明公开了一种基于混合光谱视觉的熔池成形前焊缝宽度预测方法，采用混合光谱成像为熔池提供丰富的光谱维信息，可以显著提高熔池的成像质量，有利于提高熔池轮廓提取的准确性。提取熔池轮廓可以获取图像的外部轮廓特征并为熔池的几何特征分析做准备，有利于从图像视觉上对焊接过程进行监控。本发明的基于混合光谱视觉的熔池成形前焊缝宽度预测方法实现了成形前焊缝宽度的精确预测，可以将对熔池的监测从图像视觉的层面进一步转为对三维空间的视觉感知层面，通过对焊缝成形宽度的预测有助于更直观的观察熔池的变化情况，从而调整对应的焊接参数来控制焊接质量。

Description

基于混合光谱视觉的熔池成形前焊缝宽度预测方法

技术领域

本发明属于熔池视觉领域，涉及一种基于混合光谱视觉的熔池成形前焊 缝宽度预测方法。

背景技术

近年来，随着金属焊接的发展，焊接已经很大程度上实现了自动化，采 用自动焊接极大的解放了人工。与此同时焊接智能化变得非常重要，目前很 多关于焊接质量监控的研究都是在视觉传感系统的基础上，利用计算机视觉 可以对自动化焊接过程中的产品质量进行实时检测和在线控制。

传统的单波段熔池视觉传感系统成像质量较差。

因此，需要一种新的多源质量监测方法以解决上述问题。

发明内容

本发明要解决的技术问题是提供一种的基于混合光谱视觉的熔池成形前 焊缝宽度预测方法。

为了解决上述技术问题，本发明的基于混合光谱视觉的熔池成形前焊缝宽 度预测方法采用的技术方案如下。

一种基于混合光谱视觉的熔池成形前焊缝宽度预测方法，包括以下步骤：

1)、采用两条光路同步采集熔池图像，两条光路分别采用850nm高通滤 光片和660nm窄带滤光片进行滤光后用相机采集熔池图像，并将两条光路采 集得到的熔池图像配准；

2)、对660nm窄带滤光片滤光后的熔池图像的熔池头部图像采用基于梯 度和灰度的超像素合并优化的熔池轮廓提取方法提取熔池头部轮廓；对850nm 高通滤光片滤光后的熔池尾部图像采用OTSU阈值分割方法得到熔池尾部轮 廓；

3)、将步骤2)得到的熔池头部轮廓和熔池尾部轮廓合并成为熔池整体轮 廓；

4)、将熔池的像素宽度与焊缝的实际宽度进行拟合，利用拟合函数预测 焊缝宽度。

更进一步的，步骤2)中对660nm窄带滤光片滤光后的熔池图像的熔池头 部图像采用基于梯度和灰度的超像素合并优化的熔池轮廓提取方法提取熔池 头部轮廓，包括以下步骤：

21)、首先计算每个超像素块的平均灰度值，然后设置粗灰度分割阈值th₁， 第i个超像素块的平均灰度值为v_i，则平均灰度值低于th₁的超像素块设为背 景，平均灰度值高于th₁的超像素块设为目标；

22)、如果第i个超像素块的八邻域内存在像素点为背景，则该超像素块位 于熔池边缘；

23)、重复步骤21)和22)，直到确定所有的熔池的边缘超像素，得到粗 分割熔池目标；

24)、对任意超像素i的四邻域的灰度值包括位于超像素左侧、右侧、上侧 和下侧的v_i-1、v_i+1、v_i-k和v_i+k，则超像素i在水平方向的梯度G_x(i)和垂直方 向的梯度G_y(i)表示为：

则超像素i的梯度值通过下式表示：

式中，w为权重系数；

25)、将熔池边缘的超像素分为两部分，将两侧边缘和上边缘的超像素分 别采用不同的权重系数w来计算梯度值；

26)、根据梯度阈值th_Δ和细灰度分割阈值th₂对边缘超像素进行判断，若超 像素i满足:G_i＞th_Δ且v_i>th₂，则认为超像素i属于目标；

27)、重复步骤25)-26)，直到所有边缘超像素均判断为熔池目标，从而 得到熔池头部轮廓。

与其他方法相比，本发明的算法得到的熔池轮廓效果较好。

更进一步的，步骤25)中熔池上边缘的权重系数w为0.75，熔池两侧边 缘的超像素w为0.25。此时得出的边缘超像素的梯度值更为合理。

更进一步的，步骤25)中将熔池边缘的超像素分为两部分，包括以下步骤：

一、首先根据步骤23)得到的粗分割熔池目标，确定熔池目标的中线L_x， 并计算出边缘超像素的质心坐标；

二、根据步骤1)的中线L_x和边缘超像素的质心坐标求出与中线L_x相交的 边缘超像素i'；

三、与边缘超像素i'处于水平位置的超像素位于上边缘，其他超像素位于 两侧边缘。

更进一步的，步骤4)中距熔池顶点20个像素的熔宽为熔池的像素宽度。

更进一步的，步骤4)中将熔池的像素宽度与焊缝的实际宽度进行拟合采 用高斯函数拟合。

更进一步的，所述高斯函数为：

式中，x为熔池像素宽度，y为焊缝的实际宽度。

本发明根据高斯拟合的函数公式，只需要通过获取熔池轮廓就能实现焊 缝实际宽度的预测。省去了三维重建模块既减少了系统计算量，又降低了视 觉传感系统的装置复杂度。

发明原理：多光谱成像系统能够为熔池提供丰富的光谱维信息，可以显 著提高熔池的成像质量，有利于提高熔池轮廓提取的准确性。提取熔池轮廓 可以获取图像的外部轮廓特征并为熔池的几何特征分析做准备，有利于从图 像视觉上对焊接过程进行监控。

有益效果：本发明的基于混合光谱视觉的熔池成形前焊缝宽度预测方法 方法实现了成形前焊缝宽度的精确预测，可以将对熔池的监测从图像视觉的 层面进一步转为对三维空间的视觉感知层面，通过对焊缝成形宽度的预测有 助于更直观的观察熔池的变化情况，从而调整对应的焊接参数来控制焊接质 量。

附图说明

图1粗分割熔池目标图；

图2为超像素的四邻域示意图；

图3为SLIC超像素分割结果；

图4为660nm滤光后的熔池图像的头部轮廓；

图5为熔池原图；

图6为熔池尾部的轮廓；

图7为熔池的轮廓图；

图8为660窄带和850高通滤光图像处理流程；

图9为各种算法的分割结果图；

图10像素宽度对应的熔池位置；

图11单目激光三维扫描原理图；

图12为焊缝的三维图像；

图13光学成像系统；

图14为一次拟合的拟合结果；

图15为二次拟合的拟合结果；

图16为高斯拟合的拟合结果；

图17为固定焊速的拟合误差分析图；

图18为固定电流的拟合误差分析图；

图19为6个测试组的焊缝测量结果。

具体实施方式

下文是举实施例配合附图方式进行详细说明，但所提供的实施例并非用 以限制本发明所涵盖的范围，而结构运作的描述非用以限制其执行的顺序， 任何由组件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵 盖的范围。

本发明的基于梯度和灰度的超像素合并优化的熔池轮廓提取方法，通过 该方法获得熔池图像的轮廓。基于熔池轮廓的在线的焊缝成形前宽度预测方 法，包括以下步骤：

步骤1，建立了一个基于混合光谱双波段成像的被动式熔池视觉传感系 统，对两条光路分别采用850nm高通滤光片和660nm窄带滤光片进行滤光后 用CCD相机进行同步触发采集熔池图像，最终获取了清晰的高质量图像。

步骤2，对660nm窄带滤光后的图像的熔池头部根据本发明提出的基于 梯度和灰度的超像素合并策略优化的熔池轮廓提取方法提取熔池头部轮廓。

步骤3，对850nm高通滤光后的熔池尾部图像采用OTSU阈值分割以及 一系列图像后处理之后得到熔池的尾部轮廓，然后将其与步骤2获取的熔池 头部轮廓合并成为完整的熔池轮廓。改方法求得的熔池轮廓连续、边缘平滑 且准确，且方法的效率高可以达到每秒25帧，参数较少且鲁棒性强。

步骤4，根据步骤3得到的熔池整体轮廓求得熔池的像素宽度，同时利用 线结构光三维重建得到焊缝的实际宽度。

同时采用高斯拟合的方法对大量实验得到的像素宽度和焊缝实际宽度进 行拟合从而得到拟合函数，本方法根据高斯拟合的函数公式，只需要通过获 取熔池轮廓就能实现焊缝实际宽度的预测。省去了三维重建模块既减少了系 统计算量，又降低了视觉传感系统的装置复杂度。经过实验验证该拟合关系 的平均误差在0.20mm内，可以用于成型后焊缝宽度的预测。

一、基于梯度和灰度的超像素合并方法

超像素分割主要利用了图像的纹理、颜色、亮度、轮廓等信息，将图片 中具有相似特征的像素聚合到一起。SLIC超像素分割算法可将熔池图像分割 为大小均匀、形状规则且边缘准确的超像素块，但是该方法只能实现图像的 整体分割对实际应用没有太大意义。本发明在此基础上提出了一种基于灰度 和梯度双重特征的超像素合并策略，将熔池图像分为目标和背景，可以实现 对熔池目标的准确提取从而得到熔池轮廓。

首先利用熔池图像目标与背景灰度差较大的特征，如公式(1)，计算每个 超像素块的平均灰度值，然后设置粗灰度分割阈值th₁，假设第i个label的平 均灰度值为v_i，可将低于th₁的超像素设为背景，反之设为目标。

完成粗分割之后目标如附图1,然后确定当前位于熔池目标边缘的超像素， 规定若某超像素i中任意像素点的八邻域内存在像素点属于背景，则认为该超 像素位于熔池边缘。通过熔池图像可知真正位于边界的超像素有以下特点： 一是梯度值较大；二是边界外侧的超像素平均灰度值很低但是略高于th₁；将 这二者作为判断准则对边缘的超像素进行循环迭代直至熔池的边缘收敛到真 正的边界。

第一步，提出一种计算超像素的梯度值的方法。对任意超像素的四邻域 可表示为图2，假设超像素i在水平方向的梯度G_x(i)和垂直方向的梯度G_y(i)可 表示为：

则超像素i的梯度值如式(3)所示，w为权重系数，当判断熔池两侧边缘时 应降低G_y(i)的权重，当判断熔池上侧边缘时应增加G_y(i)的权重。

第二步，将边缘超像素分为两部分，对两侧边缘和上边缘的超像素分别 采用不同权重系数w来计算梯度值。根据粗分割目标确定出熔池目标中线L_x， 同时计算出边缘超像素的质心坐标，然后求出与中线相交的边缘超像素i'，与 i'处于水平位置的超像素位于上边缘，其他超像素位于两侧边缘。对于上边缘 的超像素w设为0.75，对于两侧边缘的超像素w设为0.25，求出边缘超像素的 梯度值。

第三步，根据梯度阈值th_Δ和细灰度分割阈值th₂(th₂略大于th₁)对边缘超像 素进行收敛判断。规定若超像素i满足:G_i＞th_Δ且v_i>th₂，则认为超像素i属于 目标；根据上述准则，遍历所有边缘超像素。

第四步，重复步骤二和步骤三，直至所有边缘超像素均判断为熔池目标， 迭代结束。

通过上述方法可提取出660nm滤光后的熔池图像的头部轮廓如图4，然 后将经过850nm高通滤光后的图像利用OTSU阈值分割方法经过腐蚀膨胀和 去除小轮廓等后处理之后，对熔池尾部的轮廓进行提取如图6，最后将熔池头 部轮廓和熔池尾部轮廓合并得到最终的熔池轮廓如图7所示。熔池轮廓提取 的流程图如图8所示。

分别将单独采用SLIC超像素分割方法、OTSU阈值分割方法、基于全局 灰度信息的CV活动轮廓模型、结合了图像的边界信息和区域信息的基于全局 灰度分布的SLGS活动轮廓模型、基于局部二值拟合的LBF活动轮廓模型得 到的熔池轮廓与本发明得到的熔池轮廓对比如图9。

从图9中可以看出，本发明算法得到的熔池轮廓效果较好，(a)对应的SLIC 超像素分割对于灰度分布均匀的熔池尾部边缘分割不准确，该方法分割得到 的熔池尾部轮廓不平滑，而且熔池头部和尾部灰度差别很大，超像素的合并 不好操作；(b)只用OTSU阈值分割法容易使背景和目标产生误识别，这是因 为该方法对整体亮度过低的目标容易识别为背景；(c)、(d)和(e)对应的CV模 型、SLGS模型、LBF模型主要有三个共同的缺点，第一是迭代次数多速度慢， 没有办法实现工业的实时计算；第二是对不同熔池图像的收敛情况差别较大， 鲁棒性不强；第三是参数较多。而本发明算法求得的熔池轮廓连续、边缘平 滑且准确，算法的效率高，参数较少且鲁棒性强。表1为这六种算法在200 张图片上的平均耗时情况。

二、基于熔池轮廓的在线的焊缝成形前宽度预测方法

熔池的像素宽度是指相机采集到的熔池目标上固定位置的宽度，单位为 像素。通过熔池轮廓可以计算出熔池的像素宽度，本发明规定距熔池顶点20 个像素的熔宽为当前熔池的像素宽度，如附图10所示。

为了更直观的反映熔池焊缝的变化情况，需测量出焊缝的实际宽度。采 用游标卡尺等工具手动测量存在很多误差，例如：卡位的高低产生的误差， 读数的主观误差以及工具本身的精度限制等，在实际验证中发现手动测量产 生的误差可达1mm以上。因此本发明采用结构光三维重建的方法测量焊缝的 实际宽度，该方法的装置如附图11。

首先对相机进行标定，然后将激光发出的线结构光垂直于焊枪行进方向 投射到焊缝上，用相机扫描之后可以得到附图12，计算图像中拐点之间的距 离并转换到世界坐标系可得到焊缝最终的实际宽度。熔池的像素宽度与焊缝 实际宽度可以看作一一对应的关系，为了揭示这二者之间内在的规律，本发 明在大量数据的基础上采用了数学拟合方法得到像素宽度与焊缝实际宽度之 间的函数关系，通过函数拟合可以实现系统对焊缝实际宽度的在线预测。

1)光学系统中的物像关系

熔池的成像过程可以简化为附图13，这里利用了小孔成像原理将相机与 目标看作平行。图中H表示物体的实际高度，h表示在CCD相机上所成像的 高度，M表示物距，f表示像距。

已知相机的放大倍率为β，焦距为f'，CCD的单位像元尺寸为k，假设 CCD上单位像元对应的实际尺寸为l_CCD,则可以得出如下公式(4)。

由公式(5)可算出单位像元对应的实际尺寸：

因此，在已知熔池的像素宽度W_像的情况下，可计算出其对应的实际宽度 W_物如式(6)，显然像素宽度和焊缝实际宽度可以看作线性关系。

W_物＝l_CCD×W_像 (6)

2)几种拟合方法的对比分析

在实际应用中物体与相机镜头不能保持绝对平行，因此熔池的像素宽度 和焊缝的实际宽度只能看作近似线性的关系。为了提高准确度得到更好的拟 合结果，最终分别采用一次拟合、二次拟合和高斯拟合进行对比。

本发明进行了大量实验，通过筛选之后，最终采用各种电流以及焊速下 的17组数据进行拟合。为了减小误差并防止过拟合，首先对每一组图像的像 素宽度以及实际宽度求平均值，然后利用平均值进行拟合。一次拟合结果如 附图14，直线公式为y＝0.03545*x-0.2493；二次拟合结果如附图15，曲线公式 为y＝3.097×10^-5*x²+0.01855*x+1.914；高斯拟合结果如附图16，曲线公式为 其中x为熔池像素宽度(像素)，y为实际成型后的 焊缝宽度(mm)。

分别采用三组不同电流的熔池数据进行测试，结果如表2。

从表2可以看出高斯拟合的误差较小，在更多的实验测试中也进一步验 证了这一结论，因此最终采用高斯拟合来映射焊缝实际宽度。本方法根据高 斯拟合的函数公式，只需要通过获取熔池轮廓就能实现焊缝实际宽度的预测。 省去了三维重建模块既减少了系统计算量，又降低了视觉传感系统的装置复 杂度。

采用6组比较典型的焊接数据对拟合曲线进行测试和误差分析，结果如 表3所示，以三维重建得到的宽度为准可知这6组数据的平均误差为0.07mm。 产生拟合误差的原因有两个，一是计算的熔池轮廓不能达到完全准确；二是 电流和焊速不同会导致熔池产生不同程度的形变从而导致误差，下图17是将 相同焊速的数据进行线性拟合得到的结果，图18是将电流相同的数据进行拟 合得到的结果，可以看出焊速越低拟合斜率越大，电流越高拟合斜率越大。

最后为了验证三维结果的准确性，将6组数据对应的焊缝剖开，如图19 所示，对每组数据进行多次测量去掉最值之后取平均值，如表3所示焊缝的 映射宽度相对于实际测量结果的平均误差为0.13mm。综上所述，这种通过像 素宽度映射得到实际宽度的方法是可信的，误差也远远低于用工具直接测量。

表1算法耗时

表2三种拟合方法的对比

表3测试组的误差分析

Claims (7)

1.一种基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于：包括以下步骤：

1)、采用两条光路同步采集熔池图像，两条光路分别采用850nm高通滤光片和660nm窄带滤光片进行滤光后用相机采集熔池图像，并将两条光路采集得到的熔池图像配准；

2)、对660nm窄带滤光片滤光后的熔池图像的熔池头部图像采用基于梯度和灰度的超像素合并优化的熔池轮廓提取方法提取熔池头部轮廓；对850nm高通滤光片滤光后的熔池尾部图像采用OTSU阈值分割方法得到熔池尾部轮廓；

3)、将步骤2)得到的熔池头部轮廓和熔池尾部轮廓合并成为熔池整体轮廓；

4)、将熔池的像素宽度与焊缝的实际宽度进行拟合，利用拟合函数预测焊缝宽度。

2.如权利要求1所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于：步骤2)中对660nm窄带滤光片滤光后的熔池图像的熔池头部图像采用基于梯度和灰度的超像素合并优化的熔池轮廓提取方法提取熔池头部轮廓，包括以下步骤：

21)、首先计算每个超像素块的平均灰度值，然后设置粗灰度分割阈值th₁，第i个超像素块的平均灰度值为v_i，则平均灰度值低于th₁的超像素块设为背景，平均灰度值高于th₁的超像素块设为目标；

22)、如果第i个超像素块的八邻域内存在像素点为背景，则该超像素块位于熔池边缘；

23)、重复步骤21)和22)，直到确定所有的熔池的边缘超像素，得到粗分割熔池目标；

24)、对任意超像素i的四邻域的灰度值包括位于超像素左侧、右侧、上侧和下侧的v_i-1、v_i+1、v_i-k和v_i+k，则超像素i在水平方向的梯度G_x(i)和垂直方向的梯度G_y(i)表示为：

则超像素i的梯度值通过下式表示：

式中，w为权重系数；

25)、将熔池边缘的超像素分为两部分，将两侧边缘和上边缘的超像素分别采用不同的权重系数w来计算梯度值；

26)、根据梯度阈值th_Δ和细灰度分割阈值th₂对边缘超像素进行判断，若超像素i满足:G_i＞th_Δ且v_i>th₂，则认为超像素i属于目标；

27)、重复步骤25)-26)，直到所有边缘超像素均判断为熔池目标，从而得到熔池头部轮廓。

3.如权利要求2所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于，步骤25)中熔池上边缘的权重系数w为0.75，熔池两侧边缘的超像素w为0.25。

4.如权利要求2所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于，步骤25)中将熔池边缘的超像素分为两部分，包括以下步骤：

一、首先根据步骤23)得到的粗分割熔池目标，确定熔池目标的中线L_x，并计算出边缘超像素的质心坐标；

二、根据步骤1)的中线L_x和边缘超像素的质心坐标求出与中线L_x相交的边缘超像素i'；

三、与边缘超像素i'处于水平位置的超像素位于上边缘，其他超像素位于两侧边缘。

5.如权利要求1所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于，步骤4)中距熔池顶点20个像素的熔宽为熔池的像素宽度。

6.如权利要求1所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于，步骤4)中将熔池的像素宽度与焊缝的实际宽度进行拟合采用高斯函数拟合。

7.如权利要求6所述的基于混合光谱视觉的熔池成形前焊缝宽度预测方法，其特征在于，所述高斯函数为：

式中，x为熔池像素宽度，y为焊缝的实际宽度。