CN100507938C - 一种焊接图像的识别方法 - Google Patents

Abstract

本发明公开了一种基于先验知识的焊接图像的识别方法，包括使用电荷耦合器(CCD)获取焊缝图像并用C-V分割方法对图像进行分割处理，焊前待焊图像是在普通室内光源照射下，使用CCD摄像机获得初始轮廓，焊接过程中的熔池图像是通过减光、滤光系统获得初始轮廓，利用图像的初始轮廓为分界，采用C-V分割方法进行逐步演化，得到真实的焊前接缝和焊接过程中熔池的边缘形状和轮廓信息，本发明从整体上实现焊前接缝的图像坐标和轮廓信息以及熔池图像的轮廓信息和尺寸特征信息，这些信息可以用于自动焊接系统或者焊接机器人的路径规划，焊缝跟踪纠偏和熔透控制、成型质量控制等方面，在更多视觉传感的焊接智能化技术领域具有适用性。

Description

一种焊接图像的识别方法

技术领域

本发明涉及焊接技术领域，特别涉及一种基于先验知识的焊接图像识别方法，用于识别焊前的接缝图像和焊接过程中的各种熔池图像。

背景技术

目前视觉传感和图像处理技术已经广泛应用到熔池动态智能控制、焊缝跟踪、预测焊接组织、结构及机器人智能化焊接等工作中，要想利用视觉技术识别焊缝或者提取熔池特征进行焊缝跟踪、熔透控制等，其中一个重要的步骤就是识别焊接相关图像，提取焊缝或者熔池的特征参数，而在这些特征参数中，边缘和轮廓是重要的特征量。如在一幅工件图像上，焊缝和形成焊缝的工件的灰度是不连续的，因此，在工件图像上焊缝表现为一条边缘，同样对于熔池图像，熔池和电弧的灰度差别也体现在熔池轮廓上，反应了熔池的形状特征，因此要利用光学传感和图像处理技术来进行焊接智能化相关工作，焊缝或者熔池边缘和轮廓的识别和提取是一个必须的过程。

经对现有技术文献的检索发现，熊震宇等人在《焊接技术》(2006，Vol35，No.3：8-11)上发表的“弧焊机器人焊缝图像处理及识别方法的研究”，该文针对电荷耦合器(CCD)所获取焊缝图像的特点，研究了相应的图像处理方法，有效地消除了焊接过程中的飞溅和弧光对焊缝图像的干扰，通过识别激光带在焊接坡口处的变形，准确识别出图像中焊缝中心位置，但其不足之处是：仅仅识别激光带的变形，对不采用外加激光光源的多干扰图像识别不能适用，同时不能识别熔池形状轮廓以及用以进行焊接质量控制等更多的功能。王庆香等在《焊接学报》(2005，Vol26，No.2：59-63)上发表了“焊缝位置识别的图像处理方法设计”，提出了焊缝识别的一系列处理步骤，它包括中值滤波、自适应阈值二值化、孤点滤波、边缘检测。在每一步处理中都用了四幅完全不同的焊缝图像做了观察和对比，结果显示所选算法能产生较好的处理效果。但仅仅是对局部焊缝进行识别，没能从整体上识别含有其他干扰的图像，限制了该方法的应用。如上所述的两种方法还主要是集中在传统的图像处理方法上，没有充分利用图像本身的先验知识，导致不能很好识别复杂的图像和获得好的识别结果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于先验知识的焊接图像识别方法，该方法能够从整体上识别出接缝和熔池的边缘和轮廓。

本发明是通过以下技术方案实现的：包括使用电荷耦合器(CCD)获取焊缝图像并用C-V分割方法对图像进行分割处理，焊前待焊图像是在普通室内光源照射下，使用CCD摄像机获得初始轮廓，焊接过程中的熔池图像是通过减光、滤光系统获得初始轮廓，利用图像的初始轮廓为分界，采用C-V分割方法进行逐步演化，得到真实的焊前接缝和焊接过程中熔池的边缘形状和轮廓信息。

所述用C-V分割方法进行演化的步骤依次是：

(1)建立并利用初始轮廓的信息；

(2)建立带有加强修正模型的能量函数；

(3)求解能量函数的最小值；

(4)用同一方法用以识别焊前和焊接过程中的焊接图像，提取接缝在图像中的坐标和熔池的轮廓尺寸信息。

所述步骤(1)中通过计算机程序内部设定或通过人工获得的初始轮廓必须是闭合的，再在轮廓内部或者外部设置种子点。

本发明能够从整体上实现焊前接缝的图像坐标和轮廓信息以及熔池图像的轮廓信息和尺寸特征信息，这些信息可以用于自动焊接系统或者焊接机器人的路径规划，焊缝跟踪纠偏和熔透控制、成型质量控制等方面，在更多视觉传感的焊接智能化技术领域具有适用性。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是各种形式待焊接缝的识别；

图2是不填丝GTAW熔池图像识别结果；

图3是填丝GTAW熔池图像识别结果；

图中：1.初始轮廓；2.种子点；3.识别的边缘和轮廓。

具体实施方式

如图1所示，采用的焊接机器人双目视觉传感器包括：两个图像采集卡、两个CCD摄像机和镜头、减光和滤光系统、光路反射系统。减光及滤光系统包括减光镜片、滤光镜片。其特点是CCD摄像机可保持需要的取像方位以及自动加载或移开滤光片和减光片以获得焊前和焊接过程中的不同图像。

本发明在普通室内光源照射下，获取待焊接缝的图像，在焊接时通过减光及滤光系统(包括减光镜片、滤光镜片)获得熔池图像，打破传统的图像识别方法，利用图像的先验知识，采用改进的C-V分割方法对图像进行分割识别，采用此方法对焊前的接缝图像和焊接过程中获得的熔池图像进行了识别和特征提取试验，结果表明该方法识别效果良好，适应性强，能克服环境对图像的影响，具有很高的实用价值。

以下对本发明方法作详细说明，步骤如下：

(1)通过视觉系统获取焊接图像，即用CCD(电荷耦合器件)摄像机直接获取焊前的宏观待焊接缝工件图像、利用减光镜片、滤光镜片获得焊接过程中的熔池图像；

(2)在获得的宏观待焊接缝工件图像和熔池图像上设定初始轮廓，可以通过计算机程序内部设定也可以是通过人工画上，轮廓必须闭合，再在轮廓内部或者外部设置种子点；

(3)以初始轮廓C₀为分界线，将图像分为内外两个部分，根据这两个部分的平均灰度C₁和C₂建立如下采用强化特征模型的能量方程：

F(C)＝F₁(C)+F₂(C)＝∫_inside(C)|g-c₁|²dxdy+∫_outside(C)|g-c₂|²dxdy+Δ  (1)

式中g—原图像；

C—所求的轮廓线；

Δ—强化项；

(4)采用欧拉—拉格朗日方法建立方程(1)的求解式公式(2)，并以水平集函数φ表达的偏微分方程和数值解法，求解方程(1)得到F(C)最小值，其偏微分方程为

$\left\{\begin{array}{c}{c}_1\left(\mathrm{\φ}\right)=\frac{{\∫}_{\mathrm{\Ω}}g(x,y)H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\mathrm{dxdy}}{{\∫}_{\mathrm{\Ω}}{H}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\mathrm{dxdy}},\\ c_2\left(\mathrm{\φ}\right)=\frac{{\∫}_{\mathrm{\Ω}}g(x,y)(1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right))\mathrm{dxdy}}{{\∫}_{\mathrm{\Ω}}(1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right))\mathrm{dxdy}}\\ \frac{\∂\mathrm{\φ}}{\∂t}={\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)[\mathrm{\μ}\▿\·\frac{\▿\mathrm{\φ}}{|\▿\mathrm{\φ}|}-v-{\mathrm{\λ}}_t{(g(x,y)-c_1)}^2+{\mathrm{\λ}}_2{(g(x,y)-c_2)}^2+2\mathrm{\η}{\▿}^2(G_{\mathrm{\σ}}*g)]\\ \mathrm{\φ}(0,x,y)={\mathrm{\φ}}_0(x,y)\end{array}\right.---\left(2\right)$

式中Ω—水平集函数的定义域；

H(z)—Heaviside函数；

δ(x)—Dirac函数；

η—权重系数；

$G_{\text{\σ}}=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}),$ 根据焊接环境特点增加的强化项；

G_σ是根据焊接环境特点增加的增强项，焊接图像的灰度特征分布复合高斯分布的特征，故用高斯强化项来增强图像特征。

(5)采用多尺度空间实现水平集算法。先利用方程(1)对粗尺度的小图像进行演化，将得到的结果进行插值处理后传递到细尺度上，继续演化。因为粗尺度上得到的结果已经近似真实的边缘，再传递到细尺度上时，用以减小演化迭代次数和降低计算量。在粗尺度条件下，选用Heaviside函数较大的ε值，可加大Dirac函数的作用范围，同时μ也选取较大值和较大的时间步进值。在细尺度下选用较小的ε、μ值，提高分割精度。

(6)将定义域放在整个图像上。压抑远离轮廓线的区域，缩小Dirac函数作用域范围，使得变化率小，这样将内部区域和初始轮廓线的距离远远超出了δ_ε(z)函数的有效范围的无关部分消除。选用较小的ε值；

(7)通过演化当C＝C₀时就得到了所需要的轮廓线。

以下通过实施例对本发明再作详细说明：

实施例：

步骤(1)：用图像采集卡，把CCD摄像机的图像转化为数字图像。焊前的工件图像是摄像机视野范围内的整个工作环境图像，用CCD直接采集，大小是768×576，包括直线接缝和折线接缝的待焊工件图像，采集到的图像分别如图1(a)，(d)所示。熔池的图像根据生产中不同的需要采集了填丝和不填丝两种情况下的GTAW焊接时的熔池图像，采用通光范围为590-710nm的滤光片采集，此处不填丝焊接时的熔池图像大小是128×128，填丝焊接时熔池图像大小是400×300，采集到的图像分别如图2(a)和图3(a)所示。设计本试验实例的目的是检测算法对不同环境、不同大小、不同形状的焊接图像的适应性；

步骤(2)：设定焊接图像的初始轮廓和种子点，过程和效果分别如图1(b)，(e)和图2(b)、图3(b)所示；

步骤(3)：通过初始轮廓建立采用强化特征的模型的能量方程；

步骤(4)：根据前述求解方法求解能量函数的最小值；

步骤(5)：运算得到焊接图像的接缝和轮廓，提取出有用的信息，最后结果分别如图1(c)，(f)和图2(c)、图3(c)所示。

本发明方法中的步骤均在主控计算机中用编程的方式实现。在步骤(2)中初始轮廓的设定可以在计算机上通过鼠标手动画出，也可以在程序中设定，其初始轮廓的具体形状对算法没有影响，此处采用手动给出初始轮廓的方法。步骤(4)对应方法步骤说明中的(3)—(7)步，其运算同时进行。步骤上述实施过程按顺序执行，编程采用Visual C++6.0作为平台来实现。

以本发明的方法对焊接图像进行识别，可得到如图1，图2所示的良好结果，该方法实用性好。

Claims (6)

1.一种焊接图像的识别方法，包括使用电荷耦合器获取焊缝图像并用C-V分割方法对图像进行分割处理，其特征是：焊前待焊图像是在普通室内光源照射下，使用电荷耦合器摄像机获得初始轮廓，焊接过程中的熔池图像是通过减光、滤光系统获得初始轮廓，利用图像的初始轮廓为分界，采用C-V分割方法进行逐步演化，得到真实的焊前接缝和焊接过程中熔池的边缘形状和轮廓信息。

2.根据权利要求1所述的一种焊接图像的识别方法，其特征是：所述用C-V分割方法进行演化的步骤依次是：

(1)建立并利用初始轮廓的信息；

(2)建立带有加强修正模型的能量函数；

(3)求解能量函数的最小值；

(4)同一方法用以识别焊前和焊接过程中的焊接图像，提取接缝在图像中的坐标和熔池的轮廓尺寸信息。

3.根据权利要求2所述的一种焊接图像的识别方法，其特征是，所述步骤(1)中通过计算机程序内部设定或通过人工获得的初始轮廓必须是闭合的，再在轮廓内部或者外部设置种子点。

4.根据权利要求3所述的一种焊接图像的识别方法，其特征是，所述步骤(2)的能量函数的建立方法是：以初始轮廓C₀为分界线，将图像分为内外两个部分，根据这两个部分的平均灰度C₁和C₂建立如下采用强化特征模型的能量方程：

F(C)＝F₁(C)+F₂(C)＝∫_inside(C)|g-c₁|²dxdy+∫_outside(C)|g-c₂|²dxdy+Δ

式中g—原图像；

C—所求的轮廓线；

Δ—强化项；

5.根据权利要求4所述的一种焊接图像的识别方法，其特征是：能量方程的求解方法是：采用欧拉—拉格朗日方法建立所述能量方程的求解公式，并以水平集函数φ表达的偏微分方程和数值解法，求解方程得到F(C)最小值，其偏微分方程为：

$\left\{\begin{array}{c}{c}_1\left(\mathrm{\φ}\right)=\frac{{\∫}_{\mathrm{\Ω}}g(x,y)H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\mathrm{dxdy}}{{\∫}_{\mathrm{\Ω}}{H}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)\mathrm{dxdy}}\\ c_2\left(\mathrm{\φ}\right)=\frac{{\∫}_{\mathrm{\Ω}}g(x,y)(1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right))\mathrm{dxdy}}{{\∫}_{\mathrm{\Ω}}(1-H_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right))\mathrm{dxdy}}\\ \frac{\∂\mathrm{\φ}}{\∂t}={\mathrm{\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)[\mathrm{\μ}\▿\·\frac{\▿\mathrm{\φ}}{|\▿\mathrm{\φ}|}-v-{\mathrm{\λ}}_1{(g(x,y)-c_1)}^2+{\mathrm{\λ}}_2{(g(x,y)-c_2)}^2+2{\mathrm{\η}\▿}^2(G_{\mathrm{\σ}}*g)]\\ \mathrm{\φ}(0,x,y)={\mathrm{\φ}}_0(x,y)\end{array}\right.$

式中Ω—水平集函数的定义域；

H(z)—Heaviside函数；

δ(x)—Dirac函数；

η—权重系数；

$G_{\mathrm{\σ}}=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}),$ 强化项；

G_σ是根据焊接环境特点增加的增强项，焊接图像的灰度特征分布符合高斯分布的特征，故用高斯强化项来增强图像特征。

6.根据权利要求5所述的一种焊接图像的识别方法，其特征是：采用多尺度空间实现水平集算法，先利用能量方程对粗尺度的小图像进行演化，将得到的结果进行插值处理后传递到细尺度上，继续演化，在粗尺度条件下，选用Heaviside函数较大的ε值，同时μ也选取较大值和较大的时间步进值；在细尺度下选用较小的ε、μ值，将定义域放在整个图像上，压抑远离轮廓线的区域，缩小Dirac函数作用域范围，使得

变化率小，这样将内部区域和初始轮廓线的距离远远超出了δ_ε(z)函数的有效范围的无关部分消除，选用较小的ε值；通过演化当C＝C₀时就得到了所需要的轮廓线。

Images