CN103955927A - 一种基于激光视觉的角焊缝自动跟踪方法 - Google Patents

Abstract

一种基于激光视觉的角焊缝自动跟踪方法，用于从角焊缝检测图像中提取特征点，属于机器视觉在线检测技术研究领域。从局部图像的灰度统计量入手，计算初始图像中每点灰度对比度以区分反光形成的干扰条纹与实际条纹，再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留干扰条纹。在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开，根据泰勒展开式确定光条中心点。自动确定条件成立的参数区间因此对不同反射率的角焊缝表面以及任意方向的光条均适用。用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点。该角焊缝特征点提取方法无论鲁棒性还是精确度都有很大提高。

Description

一种基于激光视觉的角焊缝自动跟踪方法

技术领域

本发明涉及基于激光视觉的工业图像特征点自动提取领域，具体是指一种通过工业相机和激光结构光拍摄现场焊缝图片经图像处理自动跟踪角焊缝的方法，属于机器视觉在线检测技术研究领域。

背景技术

在工业现场的焊接过程中焊缝的自动检测与跟踪是实现焊接自动化的关键一步。相比于探针法、超声波探测法等方法，基于机器视觉的焊缝跟踪方法具有非接触、精度高、结构简单等优点。其中由相机和线激光器组成的视觉传感器的应用覆盖面很广泛。

线激光器发射的激光条在图像中表现为一条有宽度的直线，为了从中提取特征点的坐标需要细化光条也就是要提取光条的中心点。激光条在它的截面方向上的光强变化规律近似于高斯曲线，因此光条的中心点位置即为高斯曲线的顶点。根据这一特点国内外的学者们提出了许多提取光条中心点的方法，例如极值法、自适应阈值法、重心法、高斯拟合法、方向模板法等。提取出光条中心点之后要将这些点拟合成光条中心线，拟合直线最常用的方法是最小二乘法。为了拟合分段的光条中心线并提高参数的精度，有基于线性度和多段拆分的拟合方法以及基于卡尔曼滤波的跟踪直线方法。

在焊接现场中存在着很多对图像产生干扰的因素，例如焊接过程中产生的弧光和飞溅。同时如果形成角焊缝的工件表面十分光滑那么用于检测的激光条会在角焊缝表面发生较大程度的反光。基于以上原因，直接提取实际图像中光条的中心点会得到许多错误的点。而且由于激光条在角焊缝表面会发生形变成为折线且表面各处反射率不尽相同，因此提取光条中心点的方法对光条方向和表面材质要具有鲁棒性。

发明内容

本发明的目的是消除由激光条在角焊缝表面互相反射形成的干扰条纹，设计一种能够精确提取任意方向光条的中心点的方法，对提取的光条中心点拟合分段直线方程并确定角焊缝特征点的坐标，在线跟踪角焊缝的位置。

为达到此目的，本发明的技术方案如下：通过计算图像局部对比度区分出实际的光条条纹和反射造成的干扰条纹；由Hessian矩阵确定光条在图像中的截面方向，根据图像中各点的灰度在光条截面方向上的泰勒展开式确定光条中心点；对离散的光条中心点用迭代拟合的方法辨识出光条在角焊缝表面的中心线方程并确定角焊缝特征点。

第一步：对初始图像每一点在一定的邻域范围内计算灰度变异系数C·V，其中σ_local为邻域内的灰度标准差，为邻域内的灰度平均值。保留初始图像中灰度变异系数较大的点，根据这些点在初始图像中的位置构建与初始图像相同尺寸的二值图像。

第二步：对上一步得到的二值图像执行图像形态学操作，最后图像中值为1的点组成感兴趣区域。所谓感兴趣区域就是初始图像中需要处理的部分区域。

第三步：离散化二维高斯函数以及其在x和y方向上的一阶、二阶偏导数和混合偏导数作为核函数卷积初始图像中感兴趣区域部分，得到感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数。由各点灰度在x和y方向上的二阶偏导数z_xx，z_yy和混合偏导数z_xy构造各点对应的二阶Hessian矩阵H如下：

$H(x,y)=\left[\begin{array}{cc}{z}_{\mathrm{xx}}& z_{\mathrm{xy}}\\ z_{\mathrm{xy}}& z_{\mathrm{yy}}\end{array}\right]$

求矩阵H的特征值和特征向量，其中绝对值最大的特征值所对应的特征向量就是光条在初始图像中的截面方向。

第四步：将各点灰度在光条截面方向泰勒展开，由泰勒展开式求得光条截面上的一阶导数过零点，如果此过零点在当前像素区域内则说明该像素点就是光条截面方向上一阶导数为0的点。由各点灰度的泰勒展开式还可以计算各点在光条截面方向上的二阶导数，并根据不同反射率进行修正。初始图像感兴趣区域中符合在光条截面方向上一阶导数为0且二阶导数在某个区间这两个条件的点就是光条中心点。

第五步：将上一步确定的光条中心点按x坐标或者y坐标排序，在排序后的点列中选择初始分界点将点列分成两段并分别用最小二乘法拟合直线方程。求两条直线的交点作为新的分界点再次拟合两段直线方程，将此过程不断迭代直到分界点在点列中的位置不再改变。用最小二乘法拟合直线方程时为了使直线方程的参数尽可能精确，每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程，直到所有参与拟合的点都在拟合直线一定距离的范围内。

第六步：计算最终拟合得到的两段直线的交点，该点就是角焊缝特征点，提取该点图像坐标。

本发明的有益效果：提供了一种从受激光条反光干扰的角焊缝检测图像中精确、鲁棒地提取角焊缝特征点的方法，用于在线跟踪角焊缝的位置。从局部图像的灰度统计量入手，计算初始图像中每点灰度的对比度以区分反光造成的干扰条纹与实际的激光条条纹，再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留的干扰条纹；在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开，根据泰勒展开式确定光条中心点，自动确定条件成立的参数区间因此对不同反射率的角焊缝表面以及任意方向的光条均适用；用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点。该角焊缝特征点提取方法无论鲁棒性还是精确度都有很大提高。

附图说明

图1是本发明整体流程。

图2是拟合最佳直线流程。

图3是拟合分段直线流程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施例，并参照附图，对本发明作进一步详细说明。

本发明的目的是从受激光条反光干扰的焊缝检测图像中自动提取角焊缝特征点，主要流程分为三个部分：去除初始图像中的干扰条纹并确定图像感兴趣区域、光条中心点提取、光条各段中心线拟合与角焊缝特征点提取，如图1所不。

进一步的，具体步骤为：

(1)去除初始图像中的干扰条纹并确定图像感兴趣区域

(1.1)选择用于计算图像局部纹理特征的窗口，对于尺寸为480*640的初始图像取大小为31*31的矩形窗口。分别以初始图像中各点为窗口中心计算局部灰度标准差σ_local：

${\mathrm{\σ}}_{\mathrm{local}}=\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{(I\left(x_i\right)-\stackrel{\‾}{I\left(x\right)})}^2}{n}}$

其中I(x_i)为窗口内某点的灰度，为窗口内所有灰度的平均值，n为窗口包含的像素点数目。由于初始图像各局部灰度范围有差别，为了消除这一影响将局部灰度标准差σ_local除以局部灰度平均值得到灰度变异系数C·V作为衡量灰度对比度的参量，变异系数如下：

$C\·V=\frac{{\mathrm{\σ}}_{\mathrm{local}}}{\stackrel{\‾}{I\left(x\right)}}$

(1.2)将初始图像中各点所对应的灰度变异系数归一化，对灰度变异系数超过0.5的点标记图像位置，由此得到与初始图像尺寸相同的二值图像。

(1.3)选择10*10矩形结构元素对二值图像执行图像形态学闭运算，接着由重构做开运算，最后执行膨胀操作得到修正后的二值图像。二值图像中为1的点在初始图像中对应的位置构成感兴趣区域。此感兴趣区域只包含实际激光条纹。

(2)提取光条中心点

光条截面的灰度分布符合高斯曲线，数学模型如下式所示：

$f\left(x\right)={\mathrm{Ae}}^{-\frac{x^2}{{2\mathrm{\σ}}_l^2}}$

其中A为中心点的灰度，σ_l为标准差。中心点f(0)是光条截面上的灰度极大值点同时也是一阶导数过零点和二阶导数极小值点。实际中比较方便的做法是将二阶导数绝对值较大的凸点作为光条中心点。

(2.1)离散化二维高斯函数以及其在x和y方向上的一阶、二阶偏导数以及混合偏导数作为核函数构造卷积模板。在此实施例中高斯函数的尺度因子σ取为5，卷积模板大小为31*31。将各核函数分别与初始图像感兴趣区域部分卷积，得到对应的5个矩阵。这5个矩阵中对应位置处的元素分别是感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数。

各核函数如下：

$g(x,y)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}},$

$\frac{\∂g}{\∂x}=\frac{-x}{{2\mathrm{\π\σ}}^4}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}},$

$\frac{\∂g}{\∂y}=\frac{-y}{{2\mathrm{\π\σ}}^4}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}},$

$\frac{{\∂}^{2}g}{{\∂}^{2}x}=\frac{-1}{{2\mathrm{\π\σ}}^4}(1-\frac{x^2}{{\mathrm{\σ}}^2})e^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}},$

$\frac{{\∂}^{2}g}{{\∂}^{2}y}=\frac{-1}{{2\mathrm{\π\σ}}^4}(1-\frac{y^2}{{\mathrm{\σ}}^2})e^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}},$

$\frac{{\∂}^{2}g}{\∂x\∂y}=\frac{-\mathrm{xy}}{{2\mathrm{\π\σ}}^6}{e}^{-\frac{x^2+y^2}{{2\mathrm{\σ}}^2}}.$

(2.2)由感兴趣区域中各点灰度在x和y方向上的二阶偏导数z_xx，z_yy和混合偏导数z_xy构造各点对应的二阶Hessian矩阵H如下：

$H(x,y)=\left[\begin{array}{cc}{z}_{\mathrm{xx}}& z_{\mathrm{xy}}\\ z_{\mathrm{xy}}& z_{\mathrm{yy}}\end{array}\right]$

求矩阵H的特征值和特征向量，其中绝对值最大的特征值所对应的特征向量(n_x，n_y)就是该点所在的光条截面方向。

(2.3)将感兴趣区域中各点灰度在光条截面方向(n_x，n_y）泰勒展开，得到泰勒展开式如下：

$\begin{array}{c}z(x_i+{\mathrm{tn}}_x,y_i+{\mathrm{tn}}_y)\\ =z(x_i,y_i)+{\mathrm{tn}}_x{z}_x(x_i,y_i)+{\mathrm{tn}}_y{z}_y(x_i,y_i)+\frac{1}{2}\\ +{2t}^2{n}_x{n}_y{z}_{\mathrm{xy}}(x_i,y_i)+t^2{n}_y^2{z}_{\mathrm{yy}}(x_i,y_i)]\end{array},[t^2{n}_x^2{z}_{\mathrm{xx}}(x_i,y_i)$

将泰勒展开式对t求一阶导数并令其为0即得光条截面上的一阶导数过零点(x_i+t_in_x，y_i+t_in_y)，其中

$t_i=-\frac{z_x{n}_x+z_y{n}_y}{z_{\mathrm{xx}}{n}_x^2+{2z}_{\mathrm{xy}}{n}_x{n}_y+z_{\mathrm{yy}}{n}_y^2}$

将泰勒展开式对t求二阶导数得到点(x_i，y_i)在光条截面方向上的二阶导数如下：

$z^{\′\′}(x_i,y_i)=n_x^2{z}_{\mathrm{xx}}(x_i,y_i)+{2n}_x{n}_y{z}_{\mathrm{xy}}(x_i,y_i)+n_y^2{z}_{\mathrm{yy}}(x_i,y_i).$

(2.4)选取(t_in_x，t_in_y)在区间内的点组成光条中心点的候选点集合N。在N中将各点的二阶导数z″除以各点灰度z得到修正后的二阶导数λ，其中z由高斯函数g(x，y)卷积原图像得到。取所有小于0的λ的中位值λ_mid作为上限，2λ_mid作为下限，λ在此范围内的点就是光条中心点。

(3)光条各段中心线拟合与角焊缝特征点提取

(3.1)将上一步得到的光条中心点按x或y方向的坐标排序，构成点列P。

(3.2)取点列P的中位点作为分界点c的初始位置，c将点列P分为两段分别拟合直线方程。拟合直线方程的方法为最小二乘法，定义准则函数为参与拟合的点与拟合直线距离的平方和，极小化准则函数得到拟合直线的参数，如下式：

$\left[\begin{array}{c}k\\ b\end{array}\right]={\left[\begin{array}{cc}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i& n\end{array}\right]}^{-1}\left[\begin{array}{c}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i\end{array}\right]$

其中k和b分别为拟合直线方程的斜率和截距，(x_i，y_i)为拟合点的坐标，n为拟合点的数目。为了使直线方程的参数尽可能精确，每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程，直到所有参与拟合的点都在拟合直线一定距离范围(例如5个像素)内，如图2所示。

(3.3)得到两条直线方程之后求其交点，在点列P中寻找与其距离最近的点作为新的分界点c，再次拟合两段直线方程。重复以上过程直到分界点c不再改变为止，如图3所示。

(3.4)计算最终拟合得到的两段直线的交点，该点就是角焊缝特征点，提取该点图像坐标。

Claims (5)

1.一种基于激光视觉的角焊缝自动跟踪方法，其特征是从局部图像的灰度统计量人手，计算初始图像中每点灰度的对比度以区分反光造成的干扰条纹与实际的激光条条纹，再通过图像形态学方法修复二值图像中包含实际光条的区域并进一步去除残留的干扰条纹；在初始图像的感兴趣区域中将各点灰度在光条截面方向泰勒展开，根据泰勒展开式确定光条中心点，对不同反射率的角焊缝表面以及任意方向的光条均适用；用改进的迭代最小二乘法精确地拟合出光条在角焊缝表面的两段直线方程从而得到角焊缝特征点；包含以下几个步骤：

(1)找出初始图像中对比度强的点，构建二值图像；

(2)对二值图像执行图像形态学操作，确定初始图像中的感兴趣区域；

(3)在图像感兴趣区域中根据灰度在光条截面方向上的泰勒展开式确定光

条中心点；

(4)拟合分段光条中心线方程并确定两段直线的交点作为角焊缝特征点。

2.根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法，其特征是：所述步骤(1)中找出初始图像中对比度强的点，包含如下步骤：

第一步、用大小为31*31的窗口计算初始图像中每点灰度的变异系数 $C\·V=\frac{{\mathrm{\σ}}_{\mathrm{local}}}{\stackrel{\‾}{I\left(x\right)}},$ 其中 ${\mathrm{\σ}}_{\mathrm{local}}=\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{(I\left(x_i\right)-\stackrel{\‾}{I\left(x\right)})}^2}{n}}$ 为窗口内灰度的标准差，为窗口内的灰度平均值；

第二步、将各点对应的变异系数归一化，对灰度变异系数超过0.5的点标记图像位置，由此得到与初始图像尺寸相同的二值图像。

3.根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法，其特征是：所述步骤(2)中对二值图像执行图像形态学操作，选择10*10矩形结构元素对二值图像执行图像形态学闭运算，接着由重构做开运算，最后执行膨胀操作得到修正后的二值图像；二值图像中为1的点在初始图像中对应的位置构成感兴趣区域，此感兴趣区域只包含实际激光条纹。

4.根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法，其特征是：所述步骤(3)中在图像感兴趣区域中根据灰度在光条截面方向上的泰勒展开式确定光条中心点，包含如下步骤：

第一步、离散化二维高斯函数及其在x和y方向上的一阶、二阶偏导数以及混合偏导数作为核函数构造卷积模板，将各核函数分别与初始图像感兴趣区域部分卷积，得到对应的与初始图像相同尺寸的5个矩阵；这5个矩阵中对应位置处的元素分别是感兴趣区域部分图像中各点灰度在x和y方向上的一阶、二阶偏导数以及混合偏导数；

第二步、由感兴趣区域中各点灰度在x和y方向上的二阶偏导数z_xx，z_yy和混合偏导数z_xy构造各点对应的二阶Hessian矩阵H如下：

$H(x,y)=\left[\begin{array}{cc}{z}_{\mathrm{xx}}& z_{\mathrm{xy}}\\ z_{\mathrm{xy}}& z_{\mathrm{yy}}\end{array}\right]$

求矩阵H的特征值和特征向量，其中绝对值最大的特征值所对应的特征向量(n_x，n_y)就是该点所在的光条截面方向；

第三步、将感兴趣区域中各点灰度在光条截面方向(n_x，n_y)泰勒展开，得到泰勒展开式如下：

$\begin{array}{c}z(x_i+{\mathrm{tn}}_x,y_i+{\mathrm{tn}}_y)\\ =z(x_i,y_i)+{\mathrm{tn}}_x{z}_x(x_i,y_i)+{\mathrm{tn}}_y{z}_y(x_i,y_i)+\frac{1}{2}\\ +{2t}^2{n}_x{n}_y{z}_{\mathrm{xy}}(x_i,y_i)+t^2{n}_y^2{z}_{\mathrm{yy}}(x_i,y_i)]\end{array},[t^2{n}_x^2{z}_{\mathrm{xx}}(x_i,y_i)$

将泰勒展开式对t求一阶导数并令其为0即得光条截面上的一阶导数过零点(x_i+t_in_x，y_i+t_in_y)，其中

$t_i=-\frac{z_x{n}_x+z_y{n}_y}{z_{\mathrm{xx}}{n}_x^2+{2z}_{\mathrm{xy}}{n}_x{n}_y+z_{\mathrm{yy}}{n}_y^2}$

将泰勒展开式对t求二阶导数得到点(x_i，y_i)在光条截面方向上的二阶导数如下：

$z^{\′\′}(x_i,y_i)=n_x^2{z}_{\mathrm{xx}}(x_i,y_i)+{2n}_x{n}_y{z}_{\mathrm{xy}}(x_i,y_i)+n_y^2{z}_{\mathrm{yy}}(x_i,y_i)$

第四步、选取(t_in_x，t_in_y)在区间内的点组成光条中心点的候选点集合N，在N中将各点的二阶导数z″除以各点灰度z得到修正后的二阶导数λ，其中z由二维高斯函数g(x，y)卷积原图像得到；取所有小于0的λ的中位值λ_mid作为上限，2λ_mid作为下限，λ在此范围内的点就是光条中心点。

5.根据权利要求1所述一种基于激光视觉的角焊缝自动跟踪方法，其特征是：所述步骤(4)中拟合分段光条中心线方程并确定两段直线的交点作为角焊缝特征点，包含如下步骤：

第一步、将得到的光条中心点按x或y方向的坐标排序，构成点列P；

第二步、取点列P的中位点作为分界点c的初始位置，c将点列P分为两段分别拟合直线方程；拟合直线方程的方法为最小二乘法，定义准则函数为参与拟合的点与拟合直线距离的平方和，极小化准则函数得到拟合直线的参数，如下式：

$\left[\begin{array}{c}k\\ b\end{array}\right]={\left[\begin{array}{cc}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i& n\end{array}\right]}^{-1}\left[\begin{array}{c}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i\end{array}\right]$

为了使直线方程的参数尽可能精确，每次拟合出直线方程之后要去除距离该直线较远的拟合点后再次拟合直线方程，直到所有参与拟合的点都在拟合直线一定距离范围(例如5个像素)内；

第三步、得到两条直线方程之后求其交点，在点列P中寻找与其距离最近的点作为新的分界点c，再次拟合两段直线方程，重复以上过程直到分界点c不再改变为止，如图3所示；

第四步、计算最终拟合得到的两段直线的交点，该点就是角焊缝特征点，提取该点图像坐标。