CN109308705A - 一种焊接熔池图像轮廓实时提取方法 - Google Patents

Abstract

本发明公开了一种焊接熔池图像轮廓实时提取方法，涉及焊接领域，采用高速相机获取焊接过程的连续熔池图像，根据拍摄帧频和熔池流动特性确定参与计算的图像帧数，计算连续图像中每个像素的灰度值变异系数得到变异系数图像，对变异系数图像低通滤波后绘制灰度直方图，对灰度直方图采用峰值右侧直线拟合法确定图像分割阈值，采用图像分割阈值对变异系数图像进行二值化分割，采用差分法提取熔池轮廓。本发明能够辅助高速摄像系统准确获得熔池轮廓，测量精度高、稳定性好，能有效克服成像系统差异和拍摄环境的影响，特别对于熔池与后方半凝固区没有显著色差的材料具有良好的适用性。

Description

一种焊接熔池图像轮廓实时提取方法

技术领域

本发明涉及焊接领域，尤其涉及一种焊接熔池图像轮廓实时提取方法。

背景技术

熔池是焊接过程的重要环节，熔池特征对焊缝成形以及焊接质量检测有重要作用。由于焊接环境变化大，没有稳定光照，同时受到熔池表面复杂反射特性以及弧光剧烈光强的干扰，传统的图像分割算法难以获得稳定、准确的熔池分割结果。

检索发现，目前该领域具有代表性的成果包括：

论文《一种采用数学形态学与主动轮廓模型的熔池边缘提取方法》提出了一种结合数学形态学和主动轮廓模型的焊接熔池边缘提取方法，但只适用熔池与被焊工件存在显著对比度的场合，对焊接材料、焊接方法和成像系统提出了很高的要求。

论文《基于形状先验活动轮廓的焊接图像熔池分割方法》提出了一种极坐标下基于凸形先验知识和边缘候选点的熔池轮廓提取方法，通过三次B样条插值对熔池轮廓进行了光滑处理和修正，但是这种方法假定熔池呈现规则的圆形或椭圆形，无法体现熔池边缘的细节信息。

专利《一种宽带激光熔覆熔池轮廓曲线及其建模方法》通过人工观察激光熔覆熔池形态，设计了熔池轮廓的数值方程，根据工艺参数将熔池描述为固定形态，与实际熔池存在一定程度差异。

专利《一种基于相位一致性的激光熔覆熔池边缘提取方法》提出了一种基于相位一致性的激光熔覆熔池边缘提取方法，对单幅熔池图像进行频域分析，通过图像相位来寻找熔池边缘点。这种方法对突变点有一定识别能力，但并没有面向熔池边缘的针对性，因此，难以在复杂背景下筛选熔池边缘。此外，对于铝合金这类材料，熔池图像与工件背景的对比度小，基于图像高频分量的边缘提取方法成功率较低。

综上，现有技术的缺陷为：对焊接熔池图像的轮廓提取缺乏有效手段，主要借鉴静态图像轮廓提取算法，或依赖人工经验进行简化或修正，无法获得实际焊接过程的熔池真实轮廓，造成焊接过程质量在线控制效果不理想，难以满足生产应用的需求。

因此，本领域的技术人员致力于开发一种焊接熔池图像轮廓实时提取方法，能够辅助高速摄像系统准确获得熔池轮廓，能有效地克服成像系统差异和拍摄环境的影响。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是：

克服复杂环境，特别是熔池后方半凝固区的干扰，准确地提取焊接熔池的轮廓。

为实现上述目的，本发明提供了一种焊接熔池图像轮廓实时提取方法，包括以下步骤：

步骤一：在计算机内存中开辟空间，用于存放连续拍摄的熔池图像，预设n值，n值为参与计算的熔池图像的数量，根据熔池图像的尺寸设定判定依据；

步骤二：对于首次测量，先进入参数调整过程，启动高速相机连续拍摄焊接熔池得到熔池图像，当熔池图像的数量达到n值后，计算熔池图像的每个像素点的变异系数，得到变异系数图像，分别计算n-1幅图像和n幅图像的变异系数图像，进行低通滤波，绘制灰度直方图，计算灰度直方图差值；

步骤三：当灰度直方图差值不满足步骤一中的判定依据时，n值加一；

步骤四：重复步骤二和步骤三，直到满足步骤一中的判定依据，保留当前n值，作为后续的在线检测过程的参数，完成参数调整过程；

焊接熔池图像轮廓实时提取方法包括两个阶段：第一阶段是参数调整，确定参与计算的图像数量n；第二阶段是在线检测，在焊接过程中在线提取熔池轮廓。其中第二阶段是实际测量，第一阶段为测量前准备，如果已确定n值，或有类似焊接过程可供借鉴，可以直接进入第二阶段；

对于参与计算的图像数量n，需综合考虑熔池振荡频率和高速相机的拍摄帧频，熔池振荡导致熔池区域灰度值发生变化，但熔池振荡是非均匀的，各像素灰度值的变化并不是完全同步的，因此需要确定参与计算的图像数，以充分体现熔池的波动特性，从而从工件和凝固区中提取出熔池轮廓；

步骤五：进入在线检测过程，启动高速相机连续拍摄焊接熔池，当熔池图像的数量达到步骤四中确定的n值后，计算熔池图像的变异系数图像；进行低通滤波去除图像中的高频噪声；绘制灰度直方图；在灰度直方图进行峰值单侧直线拟合，确定图像分割阈值；

步骤六：根据步骤五中图像分割阈值，对变异系数图像进行二值化处理，采用差分法提取熔池轮廓；

步骤七：轮廓提取完成后，释放参与计算的首幅熔池图像占用的内存空间，继续导入后续熔池图像，采用滑动窗口法计算下一组n幅熔池图像并提取熔池轮廓，重复步骤七直至焊接过程结束；

即当所拍摄的熔池图像数达到设定的n值，轮廓提取程序开始执行，从第0，1…，n幅熔池图像计算得到熔池轮廓，随后获得第n+1幅图像后，轮廓提取程序从第1，2…，n+1幅熔池图像计算得到熔池轮廓。

进一步地，高速相机拍摄帧频不低于100帧/秒。

进一步地，高速相机拍摄帧频为熔池振荡频率的2倍以上。

进一步地，高速相机采用微距镜头。

进一步地，当电弧或金属蒸汽过于强烈，高速相机拍摄时采用辅助光源和/或滤光片，从而获得曝光适度的熔池图像。

进一步地，在参数调整过程中，判定依据具体为：设定灰度直方图差值阈值，随着n值增加，连续计算灰度直方图的差值，灰度直方图的差值连续三次低于灰度直方图差值阈值。

进一步地，灰度直方图差值阈值设定为熔池图像总像素数的1/10。

进一步地，变异系数图像与熔池图像尺寸相同，变异系数图像中每个像素点的灰度值为k*CV_(x,y)，其中k为调节系数，用于调整变异系数图像的整体亮暗水平，CV_(x,y)为连续拍摄的n幅熔池图像中指定点(x，y)的灰度值变异系数，灰度值变异系数的计算公式为连续n幅熔池图像中指定点(x，y)的灰度值标准差除以连续n幅熔池图像中指定点(x，y)的灰度值均值。

进一步地，步骤五中峰值单侧直线拟合的实现方式为：选取灰度直方图波峰右侧点进行直线拟合，延长拟合线与X轴相交，将该交点坐标值赋值给图像分割阈值。

直方图呈单峰分布。焊接工件和凝固区域变化较少，在变异系数图像上的灰度值较低且集中呈峰值分布；熔池部分变化较大但并不一致，在变异系数图像上灰度值较高且分散分布。

进一步地，步骤六中二值法处理的过程为：将变异系数图像中的像素点与图像分割阈值进行比较，高于图像分割阈值的像素点标记为1，低于图像分割阈值的像素点标记为0。

进一步地，在步骤六中二值化处理的图像上，采用形态学处理填充白色区域内部的封闭孔洞，并将尺寸较小的白色颗粒去除。

与现有技术方案相比，本发明的有益技术效果在于：

利用焊接或熔覆操作的熔池具有周期性振荡的特点，设计了基于图像动态特性的熔池轮廓提取方法，解决了熔池与工件背景，特别是熔池与半凝固区的图像分割问题，克服了传统图像处理算法人为设定分割规则的缺陷。检测方法简便可靠，无需增加特殊的成像装置，可与常规高速相机配合使用，实现焊接熔池轮廓在线提取。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的流程图；

图2是本发明的一个实施例的装置布置图；

图3是本发明的一个实施例连续多张熔池图；

图4是本发明的一个实施例3幅图变异系数图；

图5是本发明的一个实施例3幅图灰度直方图；

图6是本发明的一个实施例4幅图变异系数图；

图7是本发明的一个实施例4幅图灰度直方图；

图8是本发明的一个实施例不同n值的变异系数图；

图9是本发明的一个实施例相邻图像的灰度直方图差值图；

图10是本发明的一个实施例灰度直方图峰值右侧直线拟合图；

图11是本发明的一个实施例熔池图像轮廓提取图。

其中：1-熔池，2-照明光源，3-高速相机，4-微距镜头，5-滤光片，6-被焊工件，7-焊接热源。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，为本发明焊接熔池图像轮廓实时提取方法的流程图，流程说明如下：

(1)程序开始；

(2)读取参与计算的熔池图像的数量n；如果是初次检测，则根据经验先预设一个值；如果是在线检测，则读取系统在参数调整过程中得到的n值；

(3)在内存中开辟空间，用于存储熔池图像；

(4)进行熔池图像的连续拍摄；

(5)实时判断拍摄的图片数是否达到设定的n值；如果未达到，则回到步骤4继续进行拍摄；如果拍摄的图片数已经达到n值，则进行下一步即步骤6；

(6)判断是否是在线检测；如果不是，则进入步骤7，开始参数调整过程；如果是，则进入步骤12，开始在线检测过程；

(7)在n幅图片中逐点计算灰度值变异系数；

(8)对灰度值变异系数图像进行低通滤波；

(9)绘制直方图；

(10)计算直方图差值；

(11)判断差值是否合理；如果不合理，则n值加一，增加一幅图片，回到步骤7继续参数调整；如果差值合理，则参数调整完毕，保存n值作为后续在线检测过程使用的参数；

(12)进入在线检测过程，在n幅图片中逐点计算灰度值变异系数；

(13)对灰度值变异系数图像进行低通滤波；

(14)绘制直方图；

(15)利用峰值右侧拟合法确定图像分割阈值；

(16)利用图像分割阈值进行熔池图像分割；

(17)利用差分法提取熔池图像边缘；

(18)释放本组首幅图片内存；

(19)判断焊接是否结束；如果未结束，则返回步骤4继续拍摄；如果焊接结束，则进入步骤20结束；

(20)结束。

下面结合一个具体的焊接案例进行具体说明。

如图2所示，本实施例中的被检测对象为5083铝合金的光纤激光焊接熔池1，被焊工件6试样厚度为4mm，焊接热源7为激光，激光功率为3.5kW，离焦量为0mm，焊接速度为3m/min，采用氩气作为侧吹保护气体，流量为10l/min。焊接过程中，焊接热源7与高速相机3固定，高速相机3采用微距镜头4，为了抑制金属蒸汽的干扰，本实施例中设置了辅助照明光源2和滤光片5，伺服小车托举被焊工件6匀速移动，拍摄帧频为2000帧/秒。辅助照明光源2和滤光片5非必须使用，可根据实际情况选用。

如图3所示，随机抽取焊接过程的一段连续熔池图像，相邻图像之间的间隔为0.5毫秒，从中可以看出，熔池图像与工件之间并没有明显的对比度，这使得传统检测方法难以准确提取熔池轮廓。

在计算机内存中开辟可以存放20张图像的空间，所拍摄的图像尺寸为160*100。

由于是首次测量，首先进行参数调整过程，将参与计算的熔池图像的数量值n的初始值设为4，将图像总像素数的1/10作为灰度直方图差值阈值，即将灰度直方图差值阈值设为1600，为了避免随机干扰的影响，本实施例中将判定依据设定为要求灰度直方图差值连续三次低于灰度直方图差值阈值方可停止计算，并将对应n值确定为参与计算的连续图像数。

相机拍摄启动后，当图像数量达到4幅后，首先针对前3幅图开始计算每个像素点灰度值的平均值和标准差，将标准差除以平均值得到变异系数，得到3幅图变异系数图像及其灰度直方图，变异系数图像的尺寸与熔池图像尺寸相同，为160*100。

如图4所示，为3幅图变异系数图像。

对其进行低通滤波后，绘制3幅图灰度直方图，如图5所示。

随后对前4幅图进行计算，得到4幅图变异系数图像和灰度直方图。

如图6所示，为4幅图变异系数图像。

对其进行低通滤波后，绘制4幅图灰度直方图，如图7所示。

将3幅图与4幅图的变异系数图像的灰度直方图相减，得到累计差值为4270，超过设定的灰度直方图差值阈值1600，因此将n值加1后，再次开始计算每个像素的灰度值变异系数，依此类推，直至变异系数图像灰度值差值低于设定阈值。

如图8所示，为不同n值的变异系数图像。

如图9所示，为相邻图像的灰度直方图差值。从中看出，当n＝10时，灰度直方图差值已经小于设定的灰度直方图差值阈值，但当n＝11时，灰度直方图差值超出灰度直方图差值阈值，继续增加n值，灰度直方图差值稳定处于阈值下方。根据本实施例设定的判定依据，灰度直方图差值连续三次小于灰度直方图差值阈值1600，则认为图像数满足计算需求，即选取n值为14，作为参数参与计算。

至此，参数调整过程结束，开始在线检测过程。

如图10所示，本实施例中，对n＝14的变异系数图像进行低通滤波，然后绘制灰度直方图，找到灰度直方图的峰值点位置，在本实施例中峰值点的灰度值为12，选取峰值点右侧的10个点进行直线拟合，拟合线与X轴的交点处，灰度值为33，将33赋值给图像分割阈值。

采用所获得的图像分割阈值对变异系数图像进行二值化处理，将变异系数图像中的像素点与图像分割阈值进行比较，高于图像分割阈值的像素点标记为1，低于图像分割阈值的像素点标记为0。

二值化处理后，采用差分方法提取熔池轮廓，采用形态学处理填充白色区域内部的封闭孔洞，并将尺寸较小的白色颗粒去除后进行孔洞填充。

如图11所示，为最后得到的熔池图像轮廓提取图，提取到的熔池轮廓具有较好的完整性和细节特征，表明基于熔池动态特征的图像分割方法有效利用了熔池振荡特点，不仅克服了复杂背景的干扰，而且成功解决了熔池与后方半凝固区的分割难题。

轮廓提取完成后，释放参与计算的首幅熔池图像占用的内存空间，继续导入后续熔池图像，采用滑动窗口法计算下一组n幅熔池图像并提取熔池轮廓。即当所拍摄的熔池图像数达到设定的n值，轮廓提取程序开始执行，从第0，1…，n幅熔池图像计算得到熔池轮廓，随后获得第n+1幅图像后，轮廓提取程序从第1，2…，n+1幅熔池图像计算得到熔池轮廓。重复该步骤直至焊接过程结束。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种焊接熔池图像轮廓实时提取方法，其特征在于，包括以下步骤：

步骤一：在计算机内存中开辟空间，用于存放连续拍摄的熔池图像，预设n值，所述n值为参与计算的所述熔池图像的数量，根据所述熔池图像的尺寸设定判定依据；

步骤二：对于首次测量，先进入参数调整过程，启动高速相机连续拍摄焊接熔池得到所述熔池图像，当所述熔池图像的数量达到所述n值后，计算所述熔池图像的每个像素点的变异系数，得到变异系数图像，分别计算n-1幅图像和n幅图像的所述变异系数图像，进行低通滤波，绘制灰度直方图，计算灰度直方图差值；

步骤三：当所述灰度直方图差值不满足所述步骤一中的所述判定依据时，所述n值加一；

步骤四：重复所述步骤二和所述步骤三，直到满足所述步骤一中的所述判定依据，保留当前所述n值，作为后续的在线检测过程的参数，完成所述参数调整过程；

步骤五：进入所述在线检测过程，启动所述高速相机连续拍摄所述焊接熔池，当所述熔池图像的数量达到所述步骤四中确定的所述n值后，计算所述熔池图像的所述变异系数图像、进行低通滤波、绘制灰度直方图，在所述灰度直方图进行峰值单侧直线拟合，确定图像分割阈值；

步骤六：根据所述步骤五中所述图像分割阈值，对所述变异系数图像进行二值化处理，采用差分法提取熔池轮廓；

步骤七：轮廓提取完成后，释放参与计算的首幅熔池图像占用的内存空间，继续导入后续熔池图像，采用滑动窗口法计算下一组n幅熔池图像并提取所述熔池轮廓，重复步骤七直至焊接过程结束。

2.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述高速相机拍摄帧频不低于100帧/秒。

3.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述高速相机拍摄帧频为熔池振荡频率的2倍以上。

4.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述高速相机采用微距镜头。

5.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述高速相机拍摄时采用辅助光源和/或滤光片。

6.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，在所述参数调整过程中，所述判定依据具体为：设定灰度直方图差值阈值，随着所述n值增加，连续计算所述灰度直方图的差值，所述灰度直方图的差值连续三次低于所述灰度直方图差值阈值。

7.如权利要求6所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述灰度直方图差值阈值设定为所述熔池图像总像素数的1/10。

8.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述变异系数图像与所述熔池图像尺寸相同，所述变异系数图像中每个像素点的灰度值为k*CV_(x,y)，其中k为调节系数，用于调整所述变异系数图像的整体亮暗水平，CV_(x,y)为连续拍摄的n幅所述熔池图像中指定点(x，y)的灰度值变异系数，所述灰度值变异系数的计算公式为连续n幅所述熔池图像中指定点(x，y)的灰度值标准差除以所述连续n幅所述熔池图像中指定点(x，y)的灰度值均值。

9.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述步骤五中所述峰值单侧直线拟合的实现方式为：选取所述灰度直方图波峰右侧点进行直线拟合，延长拟合线与X轴相交，将该交点坐标值赋值给所述图像分割阈值。

10.如权利要求1所述的焊接熔池图像轮廓实时提取方法，其特征在于，所述步骤六中所述二值法处理的过程为：将所述变异系数图像中的像素点与所述图像分割阈值进行比较，高于所述图像分割阈值的像素点标记为1，低于所述图像分割阈值的像素点标记为0。