CN102279190B - 一种激光焊接不等厚板焊缝表面缺陷图像检测方法 - Google Patents

Abstract

一种激光焊接不等厚板焊缝表面缺陷图像检测方法，包括如下步骤：首先，采用CCD摄像机采集由线性激光发生器照射焊缝表面而在焊缝表面形成的激光条纹物理图像，并通过图像采集卡把激光条纹物理图像转化为激光条纹数字图像；然后，采用变边限高斯拟合法对激光条纹数字图像进行处理，提取出具有亚像素精度的激光条纹中心线图像；接着，通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标；最后，依据焊缝端点位置坐标计算出焊缝表面的凹度值和凸度值缺陷。本发明能够实现激光焊接不等厚板焊缝表面缺陷的快速准确检测，为判断不等厚板激光焊接焊缝质量是否合格提供了重要的依据。

Description

一种激光焊接不等厚板焊缝表面缺陷图像检测方法

技术领域

本发明涉及激光焊接焊缝质量检测技术领域，特别是涉及一种基于结构光视觉和数据拟合处理的激光焊接不等厚板焊缝表面缺陷图像检测方法。

背景技术

激光焊接具有焊接速度快、焊缝强度高和焊缝美观等明显优势，但在焊接过程中，焊缝质量也会因激光功率、光束特性、离焦量、辅助吹气和焊接速度等参数的波动受到影响。因此，研究激光焊接焊缝质量表面缺陷检测技术就显得非常重要。激光焊接质量检测方法主要有三种：通过无损检测手段检测焊后焊缝应力集中、内部气乳等缺陷；监测激光焊接过程中接出现的各种光电磁信号、熔池和小孔形态评估焊缝质量；通过视觉方法对焊后焊缝表面缺陷进行检测。无损检测法由于实时性较差难以做到激光焊接在线检测。激光焊接过程中光电信号和焊接质量之间是非线性关系，小孔和熔池形态复杂多变，检测难度也很大。通过视觉方法检测焊后焊缝表面特征，可以直接检测出焊缝表面的凹度、凸度和表面气孔等缺陷，具有快速性、实时性、检测精度高等明显优势，明显优于其它方法。目前结构光视觉传感和图像处理技术已经广泛应用到熔池动态智能控制、焊缝跟踪和焊缝质量检测、机器人激光焊接智能控制等工作中，要想利用视觉技术检测焊缝表面缺陷，其中一个重要的步骤就是识别焊缝图像缺陷特征参数，而在这些特征参数中，焊缝凹度和焊缝凸度是最重要的特征量。

经过对现有技术文献的检索发现，徐敏等人在《焊接技术》(2010，vol39，No4：56-59)上发表的“不等厚激光拼焊板焊缝质量检测图像处理方法”，该文针对激光拼焊过程中的各种噪声干扰，研究在图像预处理过程中通过加窗来获取兴趣区域，采用中值滤波去除图像噪声，在结构光条纹中心线提取过程中，使用模板法获得了条纹的边界并用几何中心法提取条纹中心线，提出基于焊缝灰度突变和拟合直线法检测特征点，但其不足之处是采用模板法和几何取中法提取出的结构光中心线位置精度较低，并且其直线拟合法仅拟合出焊缝端面轮廓两端的直线，而对焊缝端面轮廓的理想直线没有做直线拟合处理，所以获得的焊缝特征点精度较差，并且没有提出焊缝表面缺陷诸如凹度和凸度的检测方法，难以应用到实际工程中去。张万江等人在《仪表技术与传感器》(2010，Vol9，No.9：84-87)上发表的“基于结构光视觉的激光拼焊焊缝背面质量检测方法研究”，提出了一种新的模板法获得条纹边界并用几何中心法提取条纹中心线，将斜率分析法引入到条纹中心线特征点检测中提取一系列特征点，然后通过背面焊缝的图像序列计算背面焊缝不同位置处的几何参数及缺陷，但其中心线提取精度仅在像素级上，无法达到亚像素级别，并且在特征点的提取上易产生误判降低了检测结果的准确性。

发明内容

本发明的目的在于针对上述存在问题和不足，提供一种基于结构光和数据拟合处理而能够快速准确地检测出激光焊接不等厚板焊缝表面缺陷的图像检测方法。

本发明的技术方案是这样实现的：

本发明所述的激光焊接不等厚板焊缝表面缺陷图像检测方法，其特点是包括如下步骤：

a、采用CCD摄像机采集由线性激光发生器照射焊缝表面而在焊缝表面形成的激光条纹物理图像，并通过图像采集卡把激光条纹物理图像转化为激光条纹数字图像；

b、采用变边限高斯拟合法对激光条纹数字图像进行处理，提取出具有亚像素精度的激光条纹中心线图像，其方法及步骤如下：

b₁、求激光条纹极大值图像f_c；

b₂、对图像f_c各列进行边缘取中提取激光条纹近似中心，得到单像素激光条纹中心线图像f_d；

b₃、确定激光条纹各列宽度值图像f_e；

b₄、通过变边限高斯拟合法求取图像f_d和图像f_e对应各列的激光条纹中心亚像素位置，得到亚像素精度的激光条纹中心线图像；

c、通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标；

d、依据焊缝端点位置坐标计算出焊缝表面的凹度值和凸度值，并将计算出来的凹度值和凸度值与激光焊缝质量标准中规定的凹度值和凸度值进行比较和判断，完成激光焊接不等厚板焊缝表面缺陷的检测。

其中，上述步骤c中，通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标，其方法及步骤如下：

c₁、根据理论激光条纹宽度值把激光条纹中心线图像划分为三个部分：焊缝表面中心线图像部分，记为B图像；焊缝表面中心线两侧中心线图像部分，分别记为A图像和C图像；

c₂、通过最小二乘法拟合出A图像、B图像和C图像的直线方程；

c₃、将A图像和B图像直线方程联立方程组、B图像和C图像直线方程联立方程组，分别求解得到精确的焊缝端点位置坐标。

为了避免背景及激光焊接强光的干扰，在进行上述步骤a之前，先在CCD摄像机的镜头前安装一个滤光片。

本发明能够实现激光焊接不等厚板焊缝表面缺陷的快速准确检测，不但检测效果好，而且方法简单、应用方便，并且通过该方法采集到的焊缝端点信息也可用于激光焊接机器人的路径规划及焊缝跟踪等领域，在激光焊接智能化技术领域具有广泛的适应性和很高的实用价值。

下面结合附图对本发明作进一步的说明。

附图说明

图1为不等厚板焊缝示意图；

图2为焊缝激光条纹物理图像示意图；

图3为焊缝激光条纹中心线图像示意图；

图4为拟合出的三条相交特征直线示意图；

图5为拟合法求出焊缝精确端点位置的示意图；

图6为焊缝表面缺陷的示意图。

具体实施方式

本发明所述的激光焊接不等厚板焊缝表面缺陷图像检测方法，包括如下步骤：

a、采用CCD摄像机采集由线性激光发生器照射焊缝表面而在焊缝表面形成的激光条纹物理图像(该图像蕴含了焊缝表面三维信息)，并通过图像采集卡把激光条纹物理图像转化为激光条纹数字图像；其中，CCD摄像机采用16mm焦距的镜头，并且在镜头前安装一个590nm～690nm的滤光片，通过滤光片滤掉激光焊接时的强光和与焊缝截面轮廓无关的背景，使CCD摄像机在采集焊缝轮廓表面特征时，只采集线性激光发生器打出并被焊缝反射的特定波长的光，不受室内光线和激光焊接光强的影响；如图2所示，为采集到的如图1所示不等厚板焊缝的焊缝激光条纹物理图像；

b、采用变边限高斯拟合法对激光条纹数字图像进行处理，提取出具有亚像素精度的激光条纹中心线图像，其方法及步骤如下：

b₁、求激光条纹极大值图像f_c，其方法是：对采集到的激光条纹数字图像进行处理，设激光条纹数字图像函数为f(m，n)，其中m、n分别为图像的行和列，f(m，n)为图像像素在(m，n)处的灰度值，按激光条纹法线方向逐列搜索灰度极大值f_max，以f_max为阈值对激光条纹数字图像进行二值化处理得图像f_b，通过模板滤波去除伪极大值得到激光条纹极大值图像f_c；

b₂、对图像f_c各列进行边缘取中提取激光条纹近似中心，得到单像素激光条纹中心线图像f_d，其方法是：提取图像f_c第j(j＝1，2，3.…n)列两个边缘所在的行为x，y，把位置((x+y)/2，j)作为激光条纹近似中心得到单象素激光条纹中心线图像f_d；

b₃、确定激光条纹各列宽度值图像f_e，其方法是：采用二值化获取激光条纹宽度值得图像f_e，阈值Threshold为图像最大灰度值乘以一个加权系数；

$f_e(m,n)=\left\{\begin{array}{cc}0& f(m,n)\&GreaterEqual;\mathrm{Threshold}\\ 1& f(m,n)<\mathrm{Threshold}\end{array}\right.$

提取图像f_e各列的两个边缘位置记为f(t，j)和f(d，j)，j＝1，2…n。|d-t|为激光条纹j列的宽度，激光条纹各列宽度记为行向量S，向量S的第j列元素对应图像f_e第j列的激光条纹宽度；

b₄、通过变边限高斯拟合法求取图像f_d和图像f_e对应各列的激光条纹中心亚像素位置，得到亚像素精度的激光条纹中心线图像，其方法是：对于激光条纹图像的第j列元素，[i-s/2，…，i+s/2)]表示为向量X_j，而[(i-s/2，j)，…，(i+s/2，j)]表示为坐标向量的灰度值向量，[f(i-s/2，j)，…，f(i+s/2，j)]表示为向量Y_j，i为图像f_d单像素中心线j列对应的行位置，s为向量S第j列对应的元素，表示激光条纹第j列位置对应的激光条纹宽度值，令(X_h，j，Y_h，j)表示矩阵[X_j，Y_j]第h行的元素，h＝(1…s)，则以(X_h，j，Y_h，j)h＝(1…s)作为拟合数据采用高斯拟合求解方程组确定激光条纹中心亚像素位置(x_cj，j)，由于对激光条纹图象不同的列，采用高斯拟合的边限不同，因此称之为变边限高斯拟合。提取的激光条纹亚像素中心线图像如图3所示；

其中，变边限高斯拟合法的原理如下：

设高斯函数为式(1)：

$f\left(x\right)={\mathrm{Ae}}^{-\frac{{(x-x_c)}^2}{r^2}}---\left(1\right)$

式(1)中，A是激光条纹灰度值，r是激光条纹宽变，x_c是激光条纹的中心坐标。对式(1)两边取自然对数，将其转化为多项式：

$\ln f\left(x\right)=-\frac{x^2}{r^2}+2\frac{x_{c}x}{r^2}+(\ln A-\frac{x_c^2}{r^2})$

令：F(x)＝lnf(x)， $a_0=\ln A-\frac{x_c^2}{r^2},$ $a_1=\frac{{2x}_c}{r^2},$ $a_2=-\frac{1}{r^2}$

则上式可写为：

F(x)＝a₀+a₁x+a₂x²

对于激光条纹图象的j列元素，以(X_h，j，Y_h，j)h＝(1…s)作为拟合数据，共有s个采样点，令F(x)＝F(x_h)＝lnY_hj，x＝X_hj带入F(x)＝a₀+a₁x+a₂x²，根据最小二乘法建立目标函数为式(2)：

$M=\underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{[F\left(x_h\right)-(a_0+a_1{X}_{\mathrm{hj}}+a_2{X_{\mathrm{hj}}}^2)]}^2---\left(2\right)$

令： $\frac{{\&PartialD;}^{2}M}{\&PartialD;{\mathrm{\&alpha;}}_0}=0,$ $\frac{{\&PartialD;}^{2}M}{\&PartialD;{\mathrm{\&alpha;}}_1}=0,$ $\frac{{\&PartialD;}^{2}M}{\&PartialD;{\mathrm{\&alpha;}}_2}=0,$ 整理各项并把a₀，a₁，a₂分离出来，得式(3)：

$\left[\begin{array}{ccc}s& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^2\\ \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^2& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^3\\ \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^2& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^3& \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{X}_{\mathrm{hj}}^4\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right]=\left[\begin{array}{c}\underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}F\left(x_h\right)\\ \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{x}_{h}F\left(x_h\right)\\ \underset{h=1}{\overset{s}{\mathrm{\&Sigma;}}}{x}_h^{2}F\left(x_h\right)\end{array}\right]---\left(3\right)$

求式(3)解得[a₀，a₁，a₂]，将a₁，a₂代入式(4)，得到激光条纹中心第j列位置x_cj：

$x_{\mathrm{cj}}=\frac{-a_1}{2a_2}---\left(4\right)$

因激光条纹不同位置处条纹宽度不同，故采取的拟合数据数量s也各不相同，s是个变量，称之为变边限，对激光条纹图象各列采用变边限高斯拟合，得到激光条纹亚像素坐标。

c、通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标，其具体原理及方法如下：

根据理论激光条纹宽度值把激光条纹中心线图像划分为三个部分：焊缝表面中心线图像部分，记为B图像；焊缝表面中心线两侧中心线图像部分，分别记为A图像和C图像；

设A图像需拟合的直线函数为f(x)＝a_Ax+b_A，其中a_A，b_A为直线拟合待确定系数，以A图像中激光条纹中心线上各像素点为采样点，设n个采样点所在位置坐标[x_iF(x_i)]为待拟合直线函数的函数变量，建立目标函数如式(5)：

$M=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{[F\left(x_i\right)-(a_A{x}_i+b_A)]}^2---\left(5\right)$

令 $\frac{\&PartialD;M}{\mathrm{\&Delta;}{a}_A}=0,$ $\frac{\&PartialD;M}{\mathrm{\&Delta;}{b}_A}=0,$ 得到式(6)：

$\left\{\begin{array}{c}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i[F\left(x_i\right)-(a_A{x}_i+b_A)]=0\\ \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}[F\left(x_i\right)-(a_A{x}_i+b_A)]=0\end{array}\right.---\left(6\right)$

整理式(6)，分离未知数a_A，b_A得到式(7)：

$\left\{\begin{array}{c}{a}_A\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i^2+b_A\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i=b_A\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}F\left(x_i\right)x_i\\ a_A\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i+(n-1)b_A=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}F\left(x_i\right)\end{array}\right.---\left(7\right)$

式(7)中，

已知，解方程组可得a_A，b_A，从而A图像中直线方程为f(x)＝a_Ax+b_A，式中a_A，b_A为已知，如图4所示，标号1所指直线为直线方程f(x)＝a_Ax+b_A得到的直线。

同理可得B图像和C图像中直线方程分别为f(x)＝a_Bx+b_B，f(x)＝a_Cx+b_C，如图4所示，标号3所指直线为直线方程f(x)＝a_Bx+b_B得到的直线，标号2所指直线为直线方程f(x)＝a_Cx+b_C得到的直线；

联立方程组 $\left\{\begin{array}{c}f\left(x\right)=a_{B}x+b_B\\ f\left(x\right)=a_{A}x+b_A\end{array}\right.$ 求解，可得焊缝端点A位置坐标，联立方程组 $\left\{\begin{array}{c}f\left(x\right)=a_{B}x+b_B\\ f\left(x\right)=a_{C}x+b_C\end{array}\right.$ 求解，可得焊缝端点B位置坐标，如图4所示；而获取的焊缝端点精确位置图像如图5所示；

d、依据焊缝端点位置坐标计算出焊缝表面的凹度值和凸度值，其具体方法是：在焊缝激光条纹中心线图像上搜索介于端点A和端点B之间的所有焊缝激光条纹中心线的像素点，记录搜索到的像素点的位置坐标为(x_e，y_e)，判断点(x_e，y_e)和直线方程f(x)＝a_Bx+b_B的位置关系，如果点(x_e，y_e)位于该直线上方，利用式(8)求点到该直线的距离并记为正，计入数组d₊(t)；如果点(x_e，y_e)位于该直线下方，则利用式(4)求点到该直线的距离并记为负，计入数组d_-(t)；

$d\left(t\right)=\frac{|x_e{a}_B-y_e+b_B|}{\sqrt{1+a_B^2}}---\left(8\right)$

在数组d₊(t)、d_-(t)中搜索极大值如式(9)和式(10)，即为以像素为单位的凹度值和凸度值，如图6所示；

Convexity＝max(d₊(t))   (9)

Concavity＝max(d_-(t))   (10)

检测到焊缝的实际的凹度值和凸度值后，和激光焊缝质量标准中规定的焊缝凹度值和凸度值进行比较，如果实际检测到的凹度值和凸度值大于标准规定值，判为焊接质量不合格，如果实际检测到的凹度值和凸度值小于标准规定值，判为焊接质量合格，从而完成激光焊接不等厚板焊缝表面缺陷的检测。

本发明方法中的步骤均在计算机中通过编程的方法实现，步骤的实施过程按顺序执行，编程采用Visual c++语言实现。

本发明是通过实施例来描述的，但并不对本发明构成限制，参照本发明的描述，所公开的实施例的其他变化，如对于本领域的专业人士是容易想到的，这样的变化应该属于本发明权利要求限定的范围之内。

Claims (3)

1.一种激光焊接不等厚板焊缝表面缺陷图像检测方法，其特征在于包括如下步骤：

a、采用CCD摄像机采集由线性激光发生器照射焊缝表面而在焊缝表面形成的激光条纹物理图像，并通过图像采集卡把激光条纹物理图像转化为激光条纹数字图像；

b、采用变边限高斯拟合法对激光条纹数字图像进行处理，提取出具有亚像素精度的激光条纹中心线图像，其方法及步骤如下：

b₁、求激光条纹极大值图像f_c；

b₂、对图像f_c各列进行边缘取中提取激光条纹近似中心，得到单像素激光条纹中心线图像f_d；

b₃、确定激光条纹各列宽度值图像f_e；

b₄、通过变边限高斯拟合法求取图像f_d和图像f_e对应各列的激光条纹中心亚像素位置，得到亚像素精度的激光条纹中心线图像；

c、通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标；

d、依据焊缝端点位置坐标计算出焊缝表面的凹度值和凸度值，并将计算出来的凹度值和凸度值与激光焊缝质量标准中规定的凹度值和凸度值进行比较和判断，完成激光焊接不等厚板焊缝表面缺陷的检测。

2.根据权利要求1所述激光焊接不等厚板焊缝表面缺陷图像检测方法，其特征在于上述步骤c中，通过最小二乘法拟合出激光条纹中心线图像的三条相交特征直线，并求其交点而获得精确的焊缝端点位置坐标，其方法及步骤如下：

c₁、根据理论激光条纹宽度值把激光条纹中心线图像划分为三个部分：焊缝表面中心线图像部分，记为B图像；焊缝表面中心线两侧中心线图像部分，分别记为A图像和C图像；

c₂、通过最小二乘法拟合出A图像、B图像和C图像的直线方程；

c₃、将A图像和B图像直线方程联立方程组、B图像和C图像直线方程联立方程组，分别求解得到精确的焊缝端点位置坐标。

3.根据权利要求1所述激光焊接不等厚板焊缝表面缺陷图像检测方法，其特征在于在进行上述步骤a之前，先在CCD摄像机的镜头前安装一个滤光片。

Images