CN104574362A - 一种基于无源视觉系统的熔池边缘提取方法 - Google Patents

Abstract

本发明实施例公开了一种基于无源视觉系统的熔池边缘提取方法，对无源视觉系统采集到的熔池图像中的区域和边缘分别建立模型，然后将这两个模型分别融入到基于区域的主动轮廓和基于边缘的主动轮廓模型中并将这两个主动轮廓模型结合起来，通过对结合后的主动轮廓模型的求解来实时、准确地提取熔池边缘，为自动焊接过程中的焊接参数的调整提供有用的信息。

Description

一种基于无源视觉系统的熔池边缘提取方法

技术领域

本发明涉及一种基于无源视觉系统的熔池边缘提取方法，尤其涉及一种基于由普通的CCD相机和光学滤波器构成的无源视觉系统的熔池边缘提取方法。

背景技术

实现自动焊接可以提高生产力和产品质量。当前实现自动焊接面临着两个挑战：一、焊接过程复杂难以建立模型对其进行描述；二、缺少合适的传感器来提取足够的信息，这些信息主要是焊缝边缘和熔池边缘的信息。

对自动焊接技术来说，获取熔池边缘的信息是十分关键的一步。因为熔池边缘信息控制着自动焊接过程中的焊接参数。目前，获取熔池边缘信息的技术通常有：1.辅助光照，但它的安全系数不高；2.高速相机，但它的价格十分昂贵；3.三维成像技术，但它需要多个相机。而利用普通的CCD相机获取熔池图像虽然存在分辨率不高等缺点，但其廉价，因此普通的CCD相机在视觉系统中得到了较为广泛的应用。由于在自动焊接过程中，熔池边缘的形状会不断地发生变化，因此要实时、准确地从普通CCD相机获取的熔池图像中提取出熔池边缘并不容易。当前，对变形轮廓进行检测的常用方法是主动轮廓模型，但是基于边缘的主动轮廓模型或基于区域的主动轮廓模型均不能准确地提取出熔池边缘。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于无源视觉系统的熔池边缘提取的方法。该方法能够实时、准确的提取出熔池图像中的熔池边缘，为自动焊接过程中的焊接参数的调整提供有用的信息。

为了解决上述技术问题，本发明实施例提供了一种基于无源视觉系统的熔池边缘提取方法，包括以下操作步骤：

(1)分别对熔池图像的区域和边缘建立模型；

(2)将所得模型嵌入到基于边缘和区域结合的主动轮廓模型能量函数中：

$\begin{array}{c}E=\mathrm{\η}{E}_{\mathrm{boudary}}+\mathrm{\γ}{E}_{\mathrm{region}}\\ =\mathrm{\η}{\∫}_0^{1}g\left(p_b\left(x\right)\right)\stackrel{.}{|x\left(s\right)|}\mathrm{ds}-\mathrm{\γ}{\∫}_{{\mathrm{\Ω}}_{\mathrm{in}}}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\mathrm{dx}\end{array}$

其中η、γ为参数，g()为单调递减函数，p_b(x)表示熔池图像边缘模型，x(s)为轮廓曲线，为正则项，Ω_in表示轮廓内部的区域，p_in(I(x))、p_out(I(x))分别表示像素x属于轮廓内部区域的概率和外部区域的概率；

(3)基于变分法原理，最小化所述能量函数，得到如下的欧拉方程：

$\frac{\∂x\left(t\right)}{\∂t}=\mathrm{\η}\{g\left(p_b\left(x\right)\right)\mathrm{\κ}-\▿g\left(p_b\left(x\right)\stackrel{\→}{n}\right)\}\stackrel{\→}{n}-\mathrm{\γ}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\stackrel{\→}{n}$

该欧拉方程的解，即为所要提取的熔池边缘。

进一步地，所述对熔池图像的区域建立模型的步骤如下：

(a)将图像分为内部区域p_in(x)和外部区域p_out(x)两个部分；

(b)利用混合高斯函数分别对两个区域建立模型：

$p\left(x\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)$

其中，N表示高斯函数的个数，π_i为高斯函数的混合系数，μ_i为均值，Σ_i为方差；

(c)依据图像的特征确定高斯函数的个数，并使用EM算法估计模型的参数。

进一步地，所述对熔池图像的边缘建立模型的步骤如下：

(a)将熔池图像中的像素分为四类：

β₁熔池区域与背景间的边界；

β₂弧光区域与背景间的边；

β₃熔池区域与弧光区域间的界；

β₄非边界点；

并对每个像素进行特征描述：

$\begin{array}{c}F\left(x\right)=(f_1,f_2,....,f_{k+4})\\ =(x,y,I\left(x\right),G\left(x\right),f_1^H,....,f_k^H)\end{array}$

其中(x,y)为像素所处的位置，I(x)表示像素的灰度值，G(x)表示像素x的梯度幅值，表示像素在x处的Haralick特征，其中Haralick特征是基于图像的灰度共生矩阵进行计算的，这些特征包括有熵、相关、对比度、差异性、同质性等。

(b)使用AdaBoost算法进行特征选择，利用所选择的特征构建贝叶斯分类器，并建立模型：

{μ_k(x)＝P(x∈β_k),k＝1,2,3}

上式表示像素x属于第k类的概率；

(c)依据上述模型建立边缘的概率模型：

$p_b\left(x\right)=\left\{\begin{array}{c}\max ({\mathrm{\μ}}_1\left(x\right),{\mathrm{\μ}}_2\left(x\right)),x\∈{\mathrm{\β}}_1\∪{\mathrm{\β}}_2\\ 0,x\∈{\mathrm{\β}}_3\∪{\mathrm{\β}}_4\end{array}\right..$

实施本发明实施例，具有如下有益效果：本发明采用普通的CCD相机和光学滤波器构成的无源视觉系统，将采集到的图像上传到计算机，利用图像处理技术和机器学习方法能够准确、实时地提取出熔池边缘，为自动焊接过程中的焊接参数的调整提供有用的信息。

附图说明

图1是熔池的示意图；

图2是熔池的直方图分布示意图；

图3是像素分类示意图；

图4是基于像素灰度值及2阶Haralick特征(对比度)的像素分类结果；

图5是熔池边缘提取结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明作进一步地详细描述。

本发明的一种基于无源视觉系统的熔池边缘提取方法，具体其具体操作步骤为：

1)分别对熔池图像的区域和边缘建立模型。在对图像区域建立模型时，参见图1，图2，其中11为焊液飞溅，12为熔池边缘、13为熔池、14为弧光。将图像区域分为内部区域p_in(x)和外部区域p_out(x)，结合其灰度直方图特征，将内部区域和外部区域建模为高斯混合模型：

$p\left(x\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)$

其中，N表示高斯函数的个数，π_i为高斯函数的混合系数，μ_i为均值，Σ_i为方差。再依据图像的特征确定N值，利用EM算法估计均值与方差；在对图像边缘建立模型时，参见图3。首先对像素进行分类：

β₁熔池区域与背景间的边界；

β₂弧光区域与背景间的边；

β₃熔池区域与弧光区域间的界；

β₄非边界点；

并对每个像素进行特征描述：

$\begin{array}{c}F\left(x\right)=(f_1,f_2,....,f_{k+4})\\ =(x,y,I\left(x\right),G\left(x\right),f_1^H,....,f_k^H)\end{array}$

其中(x,y)为像素所处的位置，I(x)表示像素的灰度值，G(x)表示像素x的梯度幅值，表示像素在x处的Haralick特征。然后利用AdaBoost算法进行特征选择，特征选择的结果参见图4，图4中横坐标表示像素的灰度值，纵坐标表示对比度。利用所选择的特征构建贝叶斯分类器，并建立统计模型：

{μ_k(x)＝P(x∈β_k),k＝1,2,3}

上式表示像素x属于第k类的概率。最后依据统计模型得边缘概率模型：

$p_b\left(x\right)=\left\{\begin{array}{c}\max ({\mathrm{\μ}}_1\left(x\right),{\mathrm{\μ}}_2\left(x\right)),x\∈{\mathrm{\β}}_1\∪{\mathrm{\β}}_2\\ 0,x\∈{\mathrm{\β}}_3\∪{\mathrm{\β}}_4\end{array}\right.$

2)将1)中的模型，嵌入到基于边缘和区域结合的主动轮廓模型能量函数中：

$\begin{array}{c}E=\mathrm{\η}{E}_{\mathrm{boudary}}+\mathrm{\γ}{E}_{\mathrm{region}}\\ =\mathrm{\η}{\∫}_0^{1}g\left(p_b\left(x\right)\right)\stackrel{.}{|x\left(s\right)|}\mathrm{ds}-\mathrm{\γ}{\∫}_{{\mathrm{\Ω}}_{\mathrm{in}}}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\mathrm{dx}\end{array}$

其中η、γ为参数，g()为单调递减函数，p_b(x)表示图像边缘模型，x(s)为轮

廓曲线，为正则项，Ω_in表示轮廓内部的区域，p_in(I(x))、p_out(I(x))分别表示像素x属于轮廓内部区域的概率和外部区域的概率。

3)基于变分法原理，最小化2)中的能量函数，得如下的欧拉方程：

$\frac{\∂x\left(t\right)}{\∂t}=\mathrm{\η}\{g\left(p_b\left(x\right)\right)\mathrm{\κ}-\▿g\left(p_b\left(x\right)\stackrel{\→}{n}\right)\}\stackrel{\→}{n}-\mathrm{\γ}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\stackrel{\→}{n}$

该欧拉方程的解，即为所要提取的熔池边缘，参见图5。图5中22为主动轮廓的初始化轮廓，21最终的熔池边缘提取的结果。实验表明，本发明能够实时、准确地提取出熔池边缘。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (3)

1.一种基于无源视觉系统的熔池边缘提取方法，其特征在于，包括以下操作步骤：

(1)分别对熔池图像的区域和边缘建立模型；

(2)将所得模型嵌入到基于边缘和区域结合的主动轮廓模型能量函数中：

$\begin{array}{c}E={\mathrm{\ηE}}_{\mathrm{boudary}}+{\mathrm{\γE}}_{\mathrm{region}}\\ =\mathrm{\η}{\∫}_0^{1}g\left(p_b\left(x\right)\right)\left|\stackrel{\·}{x}\left(s\right)\right|\mathrm{ds}-\mathrm{\γ}{\∫}_{{\mathrm{\Ω}}_{\mathrm{in}}}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\mathrm{dx}\end{array}$

其中η、γ为参数，g()为单调递减函数，p_b(x)表示熔池图像边缘模型，x(s)为轮廓曲线，为正则项，Ω_in表示轮廓内部的区域，p_in(I(x))、p_out(I(x))分别表示像素x属于轮廓内部区域的概率和外部区域的概率；

(3)基于变分法原理，最小化所述能量函数，得到如下的欧拉方程：

$\frac{\∂x\left(t\right)}{\∂t}=\mathrm{\η}\{g\left(p_b\left(x\right)\right)\mathrm{\κ}-\▿g\left(p_b\left(x\right)\right)\stackrel{\→}{n}\}\stackrel{\→}{n}-\mathrm{\γ}\log \frac{p_{\mathrm{in}}\left(I\left(x\right)\right)}{p_{\mathrm{out}}\left(I\left(x\right)\right)}\stackrel{\→}{n}$

该欧拉方程的解，即为所要提取的熔池边缘。

2.根据权利要求1所述的基于无源视觉系统的熔池边缘提取方法，其特征在于，所述对熔池图像的区域建立模型的步骤如下：

(a)将图像分为内部区域p_in(x)和外部区域p_out(x)两个部分；

(b)利用混合高斯函数分别对两个区域建立模型：

$p\left(x\right)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\π}}_{i}N\left(x\right|{\mathrm{\μ}}_i,{\mathrm{\Σ}}_i)$

其中，N表示高斯函数的个数，π_i为高斯函数的混合系数，μ_i为均值，Σ_i为方差；

(c)依据图像的特征确定高斯函数的个数，并使用EM算法估计模型的参数。

3.根据权利要求1所述的基于无源视觉系统的熔池边缘提取方法，其特征在于，所述对熔池图像的边缘建立模型的步骤如下：

(a)将熔池图像中的像素分为四类：

β₁熔池区域与背景间的边界；

β₂弧光区域与背景间的边；

β₃熔池区域与弧光区域间的界；

β₄非边界点；

并对每个像素进行特征描述：

$\begin{array}{c}F\left(x\right)=(f_1,f_2,....,f_{k+4})\\ =(x,y,I\left(x\right),G\left(x\right),{f_1}^H,....,f_k^H)\end{array}$

其中(x,y)为像素所处的位置，I(x)表示像素的灰度值，G(x)表示像素x的梯度幅值，表示像素在x处的Haralick特征。

(b)使用AdaBoost算法进行特征选择，利用所选择的特征构建贝叶斯分类器，并建立模型：

{μ_k(x)＝P(x∈β_k),k＝1,2,3}

上式表示像素x属于第k类的概率；

(c)依据上述模型建立边缘的概率模型：

$p_b\left(x\right)=\left\{\begin{array}{c}\max ({\mathrm{\μ}}_1\left(x\right),{\mathrm{\μ}}_2\left(x\right)),x\∈{\mathrm{\β}}_1\∪{\mathrm{\β}}_2\\ 0,x\∈{\mathrm{\β}}_3\∪{\mathrm{\β}}_4\end{array}\right..$