CN103500321A - 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术 - Google Patents

Abstract

本发明采用双层动态开窗选取图像处理区域，有效减少图像数据处理量，满足实时性要求较高的场合；根据本序列图像的相似性，对第一层动态开窗截取出相邻序列图像做乘法运算，有效消除大的随机干扰；采用中值滤波方法，滤除脉冲干扰和椒盐噪声；采用大津法进行二值化，处理简单快速；采用Hough变换进行直线提取，精度高，抗干扰能力强；采用特征角点构成的特征三角形重心作为焊缝特征点，求解简单快速。本发明提供的视觉引导的焊接机器人焊缝快速识别技术能较好地满足工业现场对焊缝特征点准确快速提取的要求。

Description

基于双动态窗的视觉引导焊接机器人焊缝快速识别技术

技术领域

本发明涉及焊接机器人焊缝跟踪系统中的焊缝快速识别领域，具体是指一种通过对焊缝原始图像进行双层动态开窗，快速识别焊缝特征点的方法。

背景技术

实现焊接自动化的关键问题是焊缝的自动跟踪，激光视觉引导的智能焊接机器人将焊缝图像识别与机器人运动控制技术结合，能够有效解决焊缝自动跟踪难题。

在目前的各种传感方式中，激光结构光式视觉传感器以其非接触，信息量大，特征明显等优点而被广为使用。激光结构光式视觉传感是一种基于激光三角测量原理的光学传感技术。当线激光投射到被焊接目标表面，在焊缝处形成激光断裂条纹，经过视觉跟踪传感器图像采集、焊缝特征提取与识别，可以精确判定焊缝位置和形状。对于电弧焊(AW)或激光焊(LBW)，激光束与焊枪正确对准焊缝接头是获得合格焊接质量的前提。

在基于激光结构光的焊缝跟踪系统中，V型焊缝是常见的一种焊缝类型，实时、准确的提取焊缝特征点是保证高效、稳定自动焊接的前提。

结构光V型焊缝一般采用的方法为对整幅图像加窗截取ROI区域，而后对ROI区域进行预处理、二值化，进而提取光条直线和焊缝特征点；在光条直线提取中，Hough变换由于抗干扰强而在广为使用，但Hough变换处理数据量大，极大地影响焊缝跟踪系统的实时性，在整幅图像预处理后，对图像进行动态开小窗口进行Hough变换，提高了图像处理处理速度。

发明内容

本发明针对结构光视觉引导的焊接机器人焊缝跟踪系统中焊缝特征点快速识别，提供一种基于双层动态开窗的快速识别技术。通过对采集的原始图像进行双层动态开小窗，极大地减少图像处理的运算量，适用于对实时性要求较高的焊缝跟踪系统。

为达此目的，本发明视觉引导的焊接机器人焊缝快速识别技术的技术方案如下：

第一步：对采集的第一幅图像进行处理，采用对整幅图像网格采样的方法，确定第一幅图像的ROI，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标。

第二步：根据序列图像前一幅图像得到的三个特征角点坐标，对图像进行第一层动态开窗截取ROI区域，对截取出的ROI区域进行预处理，预处理过程包括，对相邻两幅图像做乘法运算去除飞溅等随机强干扰，中值滤波滤除脉冲干扰和椒盐噪声等。

第三步：对第二步中预处理后的ROI区域进行二值化。

第四步：对第三步中二值化后的图像，根据前一幅图像的三个特征角点坐标信息，进行第二层动态开窗，对开出的小窗口进行Hough变换，θ空间参数选取根据上一幅图像求解的特征直线的θ_i上下浮动θ₀选取，求解每个小窗口特征直线，进而求解特征直线的交点作为特征角点，根据特征角点信息得到焊缝特征点。

本发明有益效果：首先对采集的第一幅图像进行处理，采用对整幅图像网格取样的方法，确定第一幅图像的ROI，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标，并将焊缝特征点坐标反馈给执行机构。第二幅图像根据第一幅图像得到的特征角点进行第一层动态开窗，而后进行中值滤波、二值化，在二值化后的图像上，根据特征角点坐标进行第二层动态开窗，对开出的小窗口进行Hough变换，θ空间参数选取根据第一幅图像求解的特征直线的θ_i上下浮动θ₀选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。从第三幅图像开始，处理进入流程化，在第一层动态开窗后，中值滤波前，加入前后两幅图像的相乘运算，去除飞溅等随机强干扰。双层动态开窗技术明显减少了数据处理量，可有效提高图像处理实时性，满足一些对实时性要求较高的焊缝跟踪系统。

附图说明

图1本发明整体处理流程

图2双层动态开窗示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面是具体实施过程，并参照附图，对本发明作进一步详细说明。

本发明的基本思路是：结构光V型焊缝一般采用对整幅图像加窗截取ROI区域，而后对截取区域进行处理，以减少数据量提高实时性的思路，针对Hough变换处理数据量大的缺点，考虑在第一层动态开窗的基础上，对小窗图像再次动态开窗，减少Hough变换数据处理量，以提高Hough变换速度，提高整体处理效率，提高实时性。

附图1，为本发明处理流程图。首先对采集的第一幅图像进行处理，采用对整幅图像网格取样的方法，确定第一幅图像的ROI，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标，并将焊缝特征点坐标反馈给执行机构。第二幅图像根据第一幅图像得到的特征角点进行第一层动态开窗，而后进行中值滤波、二值化，在二值化后的图像上，根据特征角点坐标进行第二层动态开窗，对开出的小窗口进行Hough变换，θ空间参数选取根据第一幅图像求解的特征直线的θ_i上下浮动θ₀选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。从第三幅图像开始，处理进入流程化，在第一层动态开窗后，中值滤波前，加入前后两幅图像的相乘运算，去除飞溅等随机强干扰。

所述第一步具体实现方法如下：

1.1第一幅图像网格采样法确定ROI

焊缝的实时跟踪系统对焊缝图像处理方面提出了很高的要求，所以迅速识别兴趣区间ROI，忽略背景信息是必须的。

第一幅图像加窗选取ROI区域，采用对整幅图像在水平和竖直方向以一定间隔取样，对取样出的像素灰度值进行累加，取样结果的均值设为M作为背景灰度值。

$M=\frac{1}{N_{1}W+N_{2}H}(\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{N1}{\mathrm{\Σ}}}I(i,\mathrm{Aj})+\underset{i=1}{\overset{N2}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}I(\mathrm{Ai},j))$

式中：W为图像宽度；H为图像高度，即图像大小为W*H，N₁＝Int(H/10)，N₂＝Int(W/10)，I(x，y)为像素点(x，y)的灰度。

一般激光条纹灰度值大于背景灰度，取M+M0作为阈值，沿取样像素点搜索，记录灰度值大于M+M0行和列的最大、最小坐标，确定ROI区域。

由于焊缝的第一幅图像，取样前焊枪未开始工作，没有弧光、飞溅等干扰，图像特征分明，二值化阈值同样选择M+M0。

1.2Hough变换

而后对二值化后的ROI区域进行Hough变换，提取特征直线。Hough变换基本原理如下：

ρ＝x cosθ+y sinθ(0≤θ≤π)

其中ρ为坐标原点到直线的距离，θ为坐标原点到直线的垂线与X轴正方向的夹角。

具体实现算法为：首先，建立[ρ，θ]参数空间；而后，对图像空间的非零点在参数θ的每个区间内根据Hough变换式计算对应ρ值，并在对应参数空间单元累加1；最后统计参数空间中所有单元的值，满足条件的即为直线参数。

1.3三个特征角点和焊缝特征点求解

根据以上步骤中经过Hough变换后提取出的特征直线，求解特征直线的交点作为三个特征角点，三个特征角点构成的三角形的重心作为焊缝特征点。

所述第二步具体实现方法如下：

2.1第一层动态开窗

如附图2所示，设三个特征点为X(u_xi，v_xi)，Y(u_yi，v_yi)，Z(u_zi，v_zi)，其中Z为V型焊缝凹槽底部，则第一幅V型焊缝的深度为：

d₁＝max(v_z1-v_x1，v_z1-v_y1)

如图2所示，第一层动态开窗的范围为ABCD如下式所示：

$\left\{\begin{array}{c}{X}_{i+1}=\{x_{i+1}/x_{i+1}\∈[0,W\left]\right\}\\ Y_{i+1}=\{y_{i+1}/y_{i+1}\∈[\min (v_{\mathrm{xi}},v_{\mathrm{yi}})-T,\min (v_{\mathrm{xi}},v_{\mathrm{yi}})+d_1+T\left]\right\}\end{array}\right.$

其中(X_i+1，Y_i+1)为下一幅图像的动态ROI区域，T为边缘预留值。

2.2相邻图像做乘法运算

在第一层开窗，ROI的动态选取工程中，每幅图像选取的ROI区域大小均为W*(d₁+2T)，焊接开始后，随着焊接过程会产生大量的弧光，飞溅等干扰，这些干扰是根据每个焊点位置和环境的不同而随机产生的，所以前后两幅图像可以采用乘法运算消除大的干扰。如下式所示：

I₃(x，y)＝I₁(x，y)*I₂(x，y)

其中，I₁(x，y)，I₂(x，y)为第一层动态开窗后的相邻序列图像，I₃(x，y)为做乘法运算后的图像。

2.3中值滤波

相邻图像做乘法滤波后，还会存在少量的传输等过程中的随机噪声，中值滤波是将邻域内像素灰度的中值代替该像素的值，对滤除脉冲干扰和椒盐噪声更为有效，可以在一定程度上克服线型滤波器带来的图像细节模糊问题。

所述第三步具体实现方法如下：

阈值分割二值化算法是凸显背景与特征区域最佳办法。由于实际环境的不确定性以及变化性，预设的阈值一般不能取得很好的效果，所以需要自适应阈值，自适应二值化算法主体思想是通过迭代方法，直方图分析，类间最大方差等方法确定最佳阈值。其中最大类间方差法(OTSU)算法，以其简单快速而广为使用。

大津法的基本思想就是选择阈值使得分割的图像类间方差和最大，实现方法如下：

(1)获得图像灰度统计直方图；

$N=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{n}_i,$ $P\left(i\right)=\frac{n_i}{N},$ ${\mathrm{\ω}}_0=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}P\left(i\right),$ ${\mathrm{\ω}}_1=\underset{i=K+1}{\overset{L}{\mathrm{\Σ}}}P\left(i\right)$

式中，n_i为灰度值为i的像素数；N为总像素数；P(i)为灰度值概率；ω₀为目标的概率；ω₁为背景的概率。

(2)选取初始阈值K，计算目标和背景的均值，方差；

${\mathrm{\μ}}_0=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\frac{\mathrm{iP}\left(i\right)}{{\mathrm{\ω}}_0},$ ${\mathrm{\μ}}_1=\underset{i=K+1}{\overset{L}{\mathrm{\Σ}}}\frac{\mathrm{iP}\left(i\right)}{{\mathrm{\ω}}_1}$

${\mathrm{\σ}}_0=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\frac{{(i-u_0)}^{2}P\left(i\right)}{{\mathrm{\ω}}_0},$ ${\mathrm{\σ}}_1=\underset{i=K+1}{\overset{L}{\mathrm{\Σ}}}\frac{{(i-u_1)}^{2}P\left(i\right)}{{\mathrm{\ω}}_1}$

μ₀，μ₁为目标、背景的灰度值，σ₀，σ₁目标，背景的方差。

(3)求取图像灰度均值背景和K对应方差；

μ_T＝ω₀μ₀+ω₁μ₁，σ_T＝ω₀μ₀+ω₁σ₁

μ_T，σ_T为图像灰度均值和方差。

(4)求取灰度选择函数；

$\mathrm{\η}=\mathrm{MAX}\left(\frac{{\mathrm{\σ}}_B}{{\mathrm{\σ}}_T}\right)$

η为阈值选择函数，如果两类的类间方差η最大，则所求出的K为最佳阈值。

所述第四步具体实现方法如下：

4.1第二层动态开窗

在第一层开出的动态窗口二值化后的图像上第二层动态开窗，开窗选取区域如附图2所示，UXYZV是激光条纹，X(u_xi，v_xi)，Y(u_yi，v_yi)，Z(u_zi，v_zi)是前一幅图像的特征点，开出的四个小窗口依次为EFGH、IJKL、MNOP、QRST。四个小窗口的范围由下式确定。

EFGH范围为：

{(X_i+1，Y_i+1)/X_i+1∈[u_xi-4T，u_xi+T]，Y_i+1∈[v_xi-T，v_xi+T]}

IJKL范围为：

{(X_i+1，Y_i+1)/X_i+1∈[u_xi-T，u_yi+T]，Y_i+1∈[v_xi-T，v_yi+T]}

MNOP范围为：

{(X_i+1，Y_i+1)/X_i+1∈[u_yi-T，u_zi+T]，Y_i+1∈[v_zi-T，v_yi+T]}

QRST范围为：

{(X_i+1，Y_i+1)/X_i+1∈[u_zi-T，u_zi+T]，Y_i+1∈[v_zi-T，v_zi+4T]}

4.2Hough变换参数θ的选取

设前一幅图像的四个小窗口对应的θ值分别为θ_i(i＝0，1，2，3)，根据结构光序列图像变化不大，后一幅图像θ参数取值范围为：

θ＝{θ/θ∈[θ_i-θ₀，θ_i+θ₀]}

在参数空间θ范围内以1°间隔进行Hough变换。

4.3特征角点和焊缝特征点提取

由以上Hough变换提取特征的直线，根据特征直线的交点求解三个特征角点。根据特征角点确定的V型凹槽区域，提取其凹槽重心作为图像特征点坐标。通过三个特征角点构成的特征三角形，直接求解三角形重心作为焊缝特征点坐标，特征点坐标如下式：

$\left\{\begin{array}{c}x=\frac{(u_{\mathrm{xi}}+u_{\mathrm{yi}}+u_{\mathrm{zi}})}{3}\\ y=\frac{(v_{\mathrm{xi}}+v_{\mathrm{yi}}+v_{\mathrm{zi}})}{3}\end{array}\right.$

本发明采用对原始图像进行双层动态开窗选取图像处理区域，有效减少图像数据处理量，满足实时性要求较高的场合；根据本序列图像的相似性，对第一层动态开窗截取出相邻序列图像做乘法运算，有效消除大的随机干扰；采用中值滤波方法，滤除脉冲干扰和椒盐噪声；采用大津法进行二值化，处理简单快速；采用Hough变换进行直线提取，精度高，抗干扰能力强；采用特征角点构成的特征三角形重心作为焊缝特征点，求解简单快速。本发明提供的视觉引导的焊接机器人焊缝快速识别技术能较好地满足工业现场对焊缝特征点准确快速提取的要求。

Claims (5)

1.一种视觉引导的焊接机器人焊缝快速识别技术，其特征是：对原始图像进行双层动态开窗选取图像处理区域，有效减少图像数据处理量，满足实时性要求较高的场合；根据焊缝图像序列的相似性，对第一层动态开窗截取出相邻序列图像做乘法运算，有效消除大的随机干扰；采用中值滤波方法，滤除脉冲干扰和椒盐噪声；采用大津法进行二值化，处理简单快速；采用Hough变换进行直线提取，精度高，抗干扰能力强；采用特征角点构成的特征三角形重心作为焊缝特征点，求解简单快速；整个技术组成包括以下几个技术模块： 

对采集的第一幅图像进行处理，采用对整幅图像网格采样的方法，确定第一幅图像的ROI，而后直接进行二值化，对二值化后图像进行Hough变换，得到三个特征角点和焊缝特征点坐标； 

根据序列图像前一幅图像得到的三个特征角点坐标，对图像进行第一层动态开窗截取ROI区域，对截取出的ROI区域进行预处理，预处理过程包括对相邻两幅图像做乘法运算去除飞溅等随机强干扰； 

对预处理后的ROI区域进行二值化； 

对二值化后的图像，根据前一幅图像的三个特征角点坐标信息，进行第二层动态开窗，对开出的小窗口进行Hough变换，θ空间参数选取根据上一幅图像求解的特征直线的θ_i上下浮动θ₀选取，求解每个小窗口特征直线，进而求解特征角点和焊缝特征点。 

2.根据权利要求1所述，对第一幅图像处理时具有如下特征：采用对整幅图像网格采样的方法，确定第一幅图像的ROI；并对处理后的图像采用Hough变换提取特征直线。 

3.根据权利要求1所述，对图像进行第一层动态开窗具有如下特征：以前一幅图像三个特征角点坐标，进行第一层动态开窗，窗口如图2中ABCD所示： 

选取开出的小窗口进行相邻序列图像的相乘运算，去除大量飞溅等随机强干扰；中值滤波滤除脉冲干扰和椒盐噪声。 

4.根据权利要求1所述，对第一层动态开窗截取出的ROI区域二值化方法具有如下特征：采用大津法进行图像二值化。 

5.根据权利要求1所述，对第一层动态开窗后的图像进行第二层动态开窗，Hough变换的参数θ选取环节具有如下特征： 

5.1如图2，开出的四个小窗口依次为EFGH、IJKL、MNOP、QRST。四个小窗口的范围由下式确定： 

EFGH范围为： 

{(X_i+1，Y_i+1)/X_i+1∈[u_xi-4T，u_xi+T]，Y_i+1∈[v_xi-T，v_xi+T]} 

IJKL范围为： 

{(X_i+1，Y_i+1)/X_i+1∈[u_xi-T，u_yi+T]，Y_i+1∈[v_xi-T，v_yi+T]} 

MNOP范围为： 

{(X_i+1，Y_i+1)/X_i+1∈[u_yi-T，u_zi+T]，Y_i+1∈[v_zi-T，v_yi+T]} 

QRST范围为： 

{(X_i+1，Y_i+1)/X_i+1∈[u_zi-T，u_zi+T]，Y_i+1∈[v_zi-T，v_zi+4T]} 

5.2Hough变换参数θ的选取 

设前一幅图像的四个小窗口对应的θ值分别为θ_i(i＝0，1，2，3)，根据结构光序列图像变化不大，后一幅图像θ参数范围为 

θ＝{θ/θ∈[θ_i-θ₀，θ_i+θ₀]}。 

Images