CN106952281A - 一种焊缝轮廓特征识别及其焊道实时规划的方法 - Google Patents

Abstract

本发明提供了一种焊缝轮廓特征识别及其焊道实时规划的方法，首先利用激光视觉传感器实时获取焊缝轮廓图像，进行灰度处理获得灰度图像，然后建立视觉注意模型，将灰度图像经过视觉注意模型处理，进而获取综合显著图，结合大津阈值分割法和最近邻聚类算法提取激光条纹，接着将提取的激光条纹基于单调斜率的区间跨度进行分割，获得单调斜率区间和斜率突变点，最后依据斜率突变点来制定算法实施规划焊道，解决了目前焊道规划精度低的问题，实现了焊道实时规划。

Description

一种焊缝轮廓特征识别及其焊道实时规划的方法

技术领域

本发明属于焊接机器人技术领域，尤其涉及一种焊缝轮廓特征识别及其焊道实时规划的方法。

背景技术

焊道规划是指控制系统能自动地为下一次焊接选择合适的焊接位置，它应该包括两个方面。其一是为焊枪在接下来的焊接决策出初始焊接点，其二是焊接中实时为焊枪决策出合理的焊接点。目前解决焊道规划的方法主要有三种：基于模型计算法、基于CAD法和基于视觉修正法。

基于模型计算法指的是根据焊接参数与焊道成形后的横截面积的近似关系，计算出焊道横截面作为三角形和梯形的近似横截面积，然后根据等面积(所有焊道的横截面积看作相等)或者等高(所有焊道的余高相等)原则来匹配设计好的接头坡口形状完成焊道规划。与基于模型计算方式实现在线焊道规划不同的是，基于CAD方式的焊道规划采用的是离线方式，因为该方式要借助相关专业软件来模拟焊道规划过程。基于模型计算方式和基于CAD方式的焊道规划在实际使用中不得不对事先规划好的轨迹进行校正，在实际焊接过程中由于焊件受热会发生微小的变形，且随着焊道数目的增加该变形量会叠加，因此精确性不高。现有技术中，基于视觉修正法通过视觉方式将上述偏移量转换过来最终确定下一焊接焊枪的位置，虽然采用了焊缝轮廓视觉信息，但是每次焊道规划仍然采用模型计算方式近似获取焊枪偏移量，精确性有待提高。

综上所述，对于模型计算方式，采用的近似模型有较大的系统误差，误差会随着焊道数目的增加而迅速增大；对于CAD方式，采用离线化的优化焊道编排顺序，造成无法实时根据实际焊接情况作出调整；对于视觉修正法，每次焊道规划仍然采用模型计算方式，仍然存在精确性不高的问题。

发明内容

本发明的目的在于提供一种焊缝轮廓特征识别及其焊道实时规划的方法，本发明通过视觉修正的方法获取焊缝的单调斜率区间和斜率突变点，根据斜率突变点设计了一种焊道实时规划的方法，实时决策出合理的焊接位置，解决了焊道规划精确性不高的问题，达到了实时规划焊道的目的。

为了达到上述目的，本发明提供了一种焊缝轮廓特征识别的方法，包括如下步骤:

S11：采用激光视觉传感器照射焊缝，得到焊缝轮廓的灰度图像；

S12：对所述灰度图像进行处理，得到所述焊缝轮廓的综合显著图；

S13：对所述综合显著图进行处理，得到激光条纹；

S14：对所述激光条纹进行处理，得到所述激光条纹的单调斜率区间和斜率突变点。

进一步的，所述S11具体为：

采用CCD成像技术对所述焊缝进行激光照射，得到所述焊缝的实时图像，对所述实时图像进行灰度处理，得到所述焊缝轮廓的灰度图像。

进一步的，所述S12具体为：

建立视觉注意模型，利用所述视觉注意模型对所述灰度图像进行处理，所述视觉注意模型包括方向特征处理模型和亮度特征处理模型，将所述方向特征处理模型的结果和所述亮度特征处理模型的结果进行线性合成，得到所述综合显著图。

进一步的，所述方向特征处理模型包括多方向Gabor滤波处理和非均匀性度量处理，将所述灰度图像经过所述多方向Gabor滤波处理得到多方向特征方向合成图，将所述多方向特征方向合成图经过非均匀性度量处理得到方向显著图。

进一步的，所述多方向Gabor滤波处理的公式如下：

x_o＝xcosθ+ysinθ

y_o＝ycosθ-xsinθ

其中，x和y是所述灰度图像中各元素的坐标，σ_y是滤波频率，θ是滤波角度，σ_x、σ_y是标准方差。

进一步的，对灰度图像进行θ＝0°和θ＝90°的Gabor滤波处理，得到所述多方向合成方向特征图。

进一步的，所述非均匀性度量处理的公式如下：

ΔF_i1＝|F_i ^Old(x,y)-F_i ^Old(x-1,y)|

ΔF_i2＝|F_i ^Old(x+1,y)-F_i ^Old(x,y)|

其中，x和y是所述多方向合成方向特征图中各元素的坐标，F_i ^Old(x,y)为所述多方向合成方向特征图，F_i ^New(x,y)为方向显著图。

进一步的，所述亮度特征处理模型对所述灰度图像进行突变性度量，所述突变性度量的公式如下：

其中，a为度量系数，k_j(i)为第j列不同行i的亮度的突变，f(i,j)为所述灰度图像，f'(i,j)为经过所述突变性度量处理后得到的亮度显著图，m为每列k_j(i)的数目，n为激光条纹在所述灰度图像中覆盖列的数目。

进一步的，所述线性合成公式如下：

其中，F_c(x,y)为所述综合显著图。

进一步的，所述S13具体为：

包括二值化处理和提取处理，所述二值化处理对所述综合显著图进行二值化处理得到二值图，所述提取处理对所述二值图中灰度值为255的数据点进行聚类。

进一步的，所述二值化处理采用局部区域灰度最大阈值分割法将所述综合显著图进行分割，分割的单元为5×5的像素单元，对每个所述像素单元进行灰度平均值计算，以每个所述像素单元的灰度平均值作为阈值对所述综合显著图进行二值化，得到所述二值图。

进一步的，所述提取处理采用最近邻聚类算法对所述二值图灰度值255的数据点进行聚类，得到每个类的空间跨度，保留超过平均跨度的所述类，将没有超过平均跨度的所述类的数据转化为灰度值0，得到所述激光条纹。

进一步的，所述S14具体为：对所述激光条纹进行斜率计算，得到所述激光条纹的若干单调斜率区间，计算公式如下：

其中，y(j)表示所述激光条纹数据所在行的坐标，x(j)表示所述激光条纹数据所在列的坐标。

进一步的，对每个所述单调斜率区间的斜率求和后计算均值，得到大于所述斜率均值的大斜率单调区间，对所述大斜率单调区间的跨度采用大津阈值分割法进行分割，得到大于大津阈值的区间，将所述大于大津阈值的区间的中点作为斜率突变点。

本发明还公开了一种焊道实时规划的方法，包括：

S21：选择第i-1个斜率突变点，当i＝1时，执行S22步骤，当i≥2时，执行S23步骤，

S22：选择第i个斜率突变点为下一焊接的起弧点，

S23：计算第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离，执行S24；

S24：判断第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离是否同时比一个标准焊缝轮廓对应的距离大，如果判断结果为“是”时执行S25，如果判断结果为“否”时，取i值为i－1，执行S21；

S25：选择第i-1个突变点为下一焊接的起焊点。

与现有技术相比，本发明提供的一种焊缝轮廓特征识别及其焊道实时规划的方法，具有以下有益效果：

1、采用视觉识别的方法提取焊缝图像，并对焊缝图像进行处理得到了焊缝轮廓的特征，依据焊缝轮廓的特征指导焊接，提高了焊接的精确性。

2、根据焊缝轮廓的特征对焊道进行实时规划，提高了焊接的效率，进而提高了生产效率。

附图说明

图1为本发明提供的一种焊缝轮廓特征识别方法的灰度图像和综合显著图处理流程图；

图2为本发明提供的一种焊缝轮廓特征识别方法的激光条纹处理流程图；

图3为本发明提供的一种焊道实时规划方法的流程图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

请参阅图1和图2，本发明公开了一种焊缝轮廓特征识别方法，包括以下步骤：

S11：采用激光视觉传感器照射焊缝，得到焊缝轮廓的灰度图像；

S12：对灰度图像进行处理，得到焊缝轮廓的综合显著图；

S13：对综合显著图进行处理，得到激光条纹；

S14：对激光条纹进行处理，得到激光条纹的单调斜率区间和斜率突变点。

优选地，在S11中采用CCD成像技术对预焊接的焊缝进行激光照射，得到预焊接焊缝的实时图像，对实时图像进行灰度处理，得到焊缝轮廓的灰度图像。

优选地，在S12中建立视觉注意模型，利用视觉注意模型对灰度图像进行处理，视觉注意模型包括方向特征处理模型和亮度特征处理模型，将方向特征处理模型的结果和亮度特征处理模型的结果进行线性合成，得到综合显著图。

优选地，方向特征处理模型包括多方向Gabor滤波处理和非均匀性度量处理，将灰度图像经过多方向Gabor滤波处理得到多方向特征方向合成图，然后将多方向特征方向合成图经过非均匀性度量处理得到方向显著图。

优选地，多方向Gabor滤波处理的公式如下：

x_o＝xcosθ+ysinθ

y_o＝ycosθ-xsinθ

其中，x和y是灰度图像中各元素的坐标，f是滤波频率，θ是滤波角度，σ_x、σ_y是标准方差，根据发明人的试验，优选地，将f设置为1/7.82，σ_x、σ_y设置为σ_x＝σ_y＝4.12。

优选地，对灰度图像进行θ＝0°和θ＝90°的Gabor滤波，得到多方向合成方向特征图。

优选地，将多方向合成方向特征图进行非均匀性度量处理，计算公式如下：

ΔF_i1＝|F_i ^Old(x,y)-F_i ^Old(x-1,y)|

ΔF_i2＝|F_i ^Old(x+1,y)-F_i ^Old(x,y)|

其中，x和y是多方向合成方向特征图中各元素的坐标，F_i ^Old(x,y)为多方向合成方向特征图，F_i ^New(x,y)为方向显著图。

优选地，采用亮度特征处理模型对灰度图像进行突变性度量，突变性度量的公式如下：

其中，a为度量系数，k_j(i)为第j列不同行i的亮度的突变，f(i,j)为灰度图像，f'(i,j)为经过突变性度量处理后得到的亮度显著图，m为每列k_j(i)的数目，n为激光条纹在灰度图像中覆盖列的数目，优选地，根据发明人试验，a＝3。

优选地，将方向显著图和亮度显著图进行线性合成，公式如下：

其中，F_c(x,y)为综合显著图。

优选地，在S13中对综合显著图进行处理，其包括二值化处理和提取处理，首先对综合显著图进行二值化处理得到二值图，然后对二值图中灰度值为255的数据点进行聚类。

优选地，二值化处理采用局部区域灰度最大阈值分割法，分割的单元为5×5的像素单元，按照列排布的方式在已获取的综合显著图上进行，每进行到一个单元求取该像素单元区域内的灰度平均值，以每个像素单元的灰度平均值作为已覆盖区域的阈值进行分割，将每个像素单元进行阈值分割，最终将图像转化为二值图像，采用此方法，降低了数据处理量。

优选地，提取处理采用最近邻聚类算法对灰度值255的数据点进行聚类，首先获取每个类的空间跨度(第一个数据点与最后一个点之间的距离)，将超过平均跨度的类保留下来(灰度值255)，将没有超过平均跨度的类的数据转化为灰度值0，在二值图中以数据纵坐标值作为参考来获得分段单调的区间，提取属于激光条纹分段的类，进行获得激光条纹，采用此方法，根据这些类数据的空间位置来消除其他的干扰数据。

优选地，在S14中对激光条纹进行斜率计算，得到激光条纹的若干单调斜率区间，计算公式如下：

其中，y(j)表示激光条纹数据所在行的坐标，x(j)表示激光条纹数据所在列的坐标。

优选地，对每个单调斜率区间的斜率求和后计算均值，得到得到大于斜率均值的大斜率单调区间，对大斜率单调区间的跨度采用大津阈值分割法进行分割，即按照图像的灰度特性，将图像分成背景和目标两个部分。背景和目标之间的类间方差越大，说明构成图像的两个部分的差别越大，把背景和目标的分割阈值记作T。属于目标的像素点数占整幅图像的比例记为ω₀，其平均灰度μ₀；属于背景像素点数占整幅图像的比例为ω₁，其平均灰度为μ₁。图像的总平均灰度记为μ，类间方差记为g。设图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N₀，像素灰度大于阈值T的像素个数记作N₁，大津阈值分割法的公式如下；

ω₀＝N₀/M×N

ω₁＝N₁/M×N

N₀+N₁＝M×N

ω₀+ω₁＝1

μ＝ω₀*μ₀+ω₁*μ₁

g＝ω₀*(μ₀-μ)^2+ω₁*(μ₁-μ)^2

g＝ω₀*ω₁*(μ₀-μ₁)^2

将上述公式联立后，采用遍历的方法得到使类间方差最大的阈值T，然后进行阈值分割得到大于分割阈值T的区间，将此区间的中点作为斜率突变点。

请参阅图3，图3为本发明公开的一种焊道实时规划方法的流程图，包括以下几个步骤：

S21：选择第i-1个斜率突变点，当i＝1时，执行S22步骤，当i≥2时，执行S23步骤，

S22：选择第i个斜率突变点为下一焊接的起弧点，

S23：计算第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离，执行S24；

S24：判断第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离是否同时比一个标准焊缝轮廓对应的距离大，如果判断结果为“是”时执行S25，如果判断结果为“否”时，取i值为i－1，执行S21；

S25：选择第i-1个突变点为下一焊接的起焊点。

综上，在本发明实施例提供了一种焊缝轮廓特征识别及其焊道实时规划的方法，首先利用激光视觉传感器实时获取焊缝轮廓图像，进行灰度处理获得灰度图像，然后建立视觉注意模型，将灰度图像经过视觉注意模型处理，进而获取综合显著图，结合大津阈值分割法和最近邻聚类算法提取激光条纹，接着将提取的激光条纹基于单调斜率的区间跨度进行分割，获得单调斜率区间和斜率突变点，最后依据单调斜率区间和斜率突变点来制定算法规划焊道，解决了目前焊道规划精度低的问题，实现了焊道实时规划。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (15)

1.一种焊缝轮廓特征识别的方法，其特征在于，包括如下步骤:

S11：采用激光视觉传感器照射焊缝，得到焊缝轮廓的灰度图像；

S12：对所述灰度图像进行处理，得到所述焊缝轮廓的综合显著图；

S13：对所述综合显著图进行处理，得到激光条纹；

S14：对所述激光条纹进行处理，得到所述激光条纹的单调斜率区间和斜率突变点。

2.根据权利要求1所述的一种焊缝轮廓特征识别的方法，其特征在于，所述S11具体为：

采用CCD成像技术对所述焊缝进行激光照射，得到所述焊缝的实时图像，对所述实时图像进行灰度处理，得到所述焊缝轮廓的灰度图像。

3.根据权利要求1所述的一种焊缝轮廓特征识别的方法，其特征在于，所述S12具体为：

建立视觉注意模型，利用所述视觉注意模型对所述灰度图像进行处理，所述视觉注意模型包括方向特征处理模型和亮度特征处理模型，将所述方向特征处理模型的结果和所述亮度特征处理模型的结果进行线性合成，得到所述综合显著图。

4.根据权利要求3所述的一种焊缝轮廓特征识别的方法，其特征在于，所述方向特征处理模型包括多方向Gabor滤波处理和非均匀性度量处理，将所述灰度图像经过所述多方向Gabor滤波处理得到多方向特征方向合成图，将所述多方向特征方向合成图经过非均匀性度量处理得到方向显著图。

5.根据权利要求4所述的一种焊缝轮廓特征识别的方法，其特征在于，所述多方向Gabor滤波处理的公式如下：

$G(x,y)=\exp (-\frac{1}{2}\[{\left(\frac{x_o}{{\mathrm{\σ}}_x}\right)}^2+{\left(\frac{y_o}{{\mathrm{\σ}}_y}\right)}^2\])\·cos\left(2{\mathrm{\πfx}}_o\right)$

x_o＝xcosθ+ysinθ

y_o＝ycosθ-xsinθ

其中，x和y是所述灰度图像中各元素的坐标，σ_y是滤波频率，θ是滤波角度，σ_x、σ_y是标准方差。

6.根据权利要求5所述的一种焊缝轮廓特征识别的方法，其特征在于，对灰度图像进行θ＝0°和θ＝90°的Gabor滤波处理，得到所述多方向合成方向特征图。

7.根据权利要求4所述的一种焊缝轮廓特征识别的方法，其特征在于，所述非均匀性度量处理的公式如下：

$F_i^{New}(x,y)=\left\{\begin{array}{c}{F}_i^{Old}(x,y)\&CenterDot;\frac{1}{1+\exp (-\frac{F_i^{Old}(x,y)}{{\mathrm{\&Delta;F}}_i(x,y)})},\frac{\min ({\mathrm{\&Delta;F}}_{i1},{\mathrm{\&Delta;F}}_{i2})}{\max ({\mathrm{\&Delta;F}}_{i1},{\mathrm{\&Delta;F}}_{i2})}\&GreaterEqual;T_r\\ F_i^{Old}(x,y)\&CenterDot;\frac{1}{1+\exp (-\frac{F_i^{Old}(x,y)}{{\mathrm{\&Delta;F}}_i(x,y)})}+F_i^{Old}(x,y),\frac{\min ({\mathrm{\&Delta;F}}_{i1},{\mathrm{\&Delta;F}}_{i2})}{\max ({\mathrm{\&Delta;F}}_{i1},{\mathrm{\&Delta;F}}_{i2})}<T_r\end{array}\right.$

ΔF_i1＝|F_i ^Old(x,y)-F_i ^Old(x-1,y)|

ΔF_i2＝|F_i ^Old(x+1,y)-F_i ^Old(x,y)|

${\mathrm{\&Delta;F}}_i=\frac{{\mathrm{\&Delta;F}}_{i1}+{\mathrm{\&Delta;F}}_{i2}}{2}$

其中，x和y是所述多方向合成方向特征图中各元素的坐标，为所述多方向合成方向特征图，为方向显著图。

8.根据权利要求7所述的一种焊缝轮廓特征识别的方法，其特征在于，所述亮度特征处理模型对所述灰度图像进行突变性度量，所述突变性度量的公式如下：

$f^{\&prime;}(i,j)=\left\{\begin{array}{c}\&lsqb;f(i,j)\&CenterDot;\left|k_j\left(i\right)\right|\&CenterDot;a^{k_j\left(i\right)}/\max \left(a^{k_j\left(i\right)}\right)\&rsqb;,\left|k_j\left(i\right)\right|>temp\\ \&lsqb;f(i,j)\&CenterDot;\left(\right|k_j\left(i\right)|/temp)\&CenterDot;a^{k_j\left(i\right)}/\max \left(a^{k_j\left(i\right)}\right)\&rsqb;,\left|k_j\left(i\right)\right|\&le;temp\end{array}\right.$

$k_j\left(i\right)=\frac{\frac{\stackrel{\&OverBar;}{f(i+1,j)}-\stackrel{\&OverBar;}{f(i-1,j)}}{2}+\frac{\stackrel{\&OverBar;}{f(i+2,j)}-\stackrel{\&OverBar;}{f(i-2,j)}}{4}+\frac{\stackrel{\&OverBar;}{f(i+3,j)}-\stackrel{\&OverBar;}{f(i-3,j)}}{6}+\frac{\stackrel{\&OverBar;}{f(i+4,j)}-\stackrel{\&OverBar;}{f(i-4,j)}}{8}}{4}$

$\stackrel{\&OverBar;}{f(i,j)}=\frac{\underset{x=0}{\overset{2}{\&Sigma;}}f(i-x,j)}{3}$

$temp=\underset{j}{\overset{n}{\&Sigma;}}\underset{i}{\overset{m}{\&Sigma;}}{k}_j\left(i\right),k_j\left(i\right)\&NotEqual;0$

其中，a为度量系数，k_j(i)为第j列不同行i的亮度的突变，f(i,j)为所述灰度图像，f'(i,j)为经过所述突变性度量处理后得到的亮度显著图，m为每列k_j(i)的数目，n为激光条纹在所述灰度图像中覆盖列的数目。

9.根据权利要求8所述的一种焊缝轮廓特征识别的方法，其特征在于，所述线性合成公式如下：

$F_c(x,y)=\frac{1}{2}\left(F_i^{New}\right(x,y)+f^{\&prime;}(x,y\left)\right)$

其中，F_c(x,y)为所述综合显著图。

10.根据权利要求1所述的一种焊缝轮廓特征识别的方法，其特征在于，所述S13具体为：

包括二值化处理和提取处理，所述二值化处理对所述综合显著图进行二值化处理得到二值图，所述提取处理对所述二值图中灰度值为255的数据点进行聚类。

11.根据权利要求10所述的一种焊缝轮廓特征识别的方法，其特征在于，所述二值化处理采用局部区域灰度最大阈值分割法将所述综合显著图进行分割，分割的单元为5×5的像素单元，对每个所述像素单元进行灰度平均值计算，以每个所述像素单元的灰度平均值作为阈值对所述综合显著图进行二值化，得到所述二值图。

12.根据权利要求11所述的一种焊缝轮廓特征识别的方法，其特征在于，所述提取处理采用最近邻聚类算法对所述二值图中灰度值255的数据点进行聚类，得到每个类的空间跨度，保留超过平均跨度的所述类，将没有超过平均跨度的所述类的数据转化为灰度值0，得到所述激光条纹。

13.根据权利要求1所述的一种焊缝轮廓特征识别的方法，其特征在于，所述S14具体为：对所述激光条纹进行斜率计算，得到所述激光条纹的若干单调斜率区间，计算公式如下：

$k_{j-7}=\frac{\underset{i=1,3,5,7}{\&Sigma;}\frac{y(j-i)-y(j+i)}{x(j+i)-x(j-i)}}{4},(j>=8)$

其中，y(j)表示所述激光条纹数据所在行的坐标，x(j)表示所述激光条纹数据所在列的坐标。

14.根据权利要求13所述的一种焊缝轮廓特征识别的方法，其特征在于，对每个所述单调斜率区间的斜率求和后计算均值，得到大于所述斜率均值的大斜率单调区间，对所述大斜率单调区间的跨度采用大津阈值分割法进行分割，得到大于大津阈值的区间，将所述大于大津阈值的区间的中点作为斜率突变点。

15.一种利用如权利要求1-14任一项所述的焊缝轮廓特征识别的方法进行焊道实时规划的方法，其特征在于，包括：

S21：选择第i-1个斜率突变点，当i＝1时，执行S22步骤，当i≥2时，执行S23步骤，

S22：选择第i个斜率突变点为下一焊接的起弧点，

S23：计算第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离，执行S24；

S24：判断第i-1个和第i个斜率突变点之间在水平、竖直方向上的距离是否同时比一个标准焊缝轮廓对应的距离大，如果判断结果为“是”时执行S25，如果判断结果为“否”时，取i值为i－1，执行S21；

S25：选择第i-1个突变点为下一焊接的起焊点。