CN101159017A - 基于局部图像纹理特征匹配的焊缝自动识别视觉方法 - Google Patents

Abstract

一种基于局部图像纹理特征匹配的焊缝自动识别视觉方法，适用焊缝检测与跟踪属先进制造与自动化领域。本发明先用摄像机拍摄焊缝区域图像，拍摄时使该图像包括焊缝两个边缘区域；然后在焊缝起始位置的焊缝图像中分别提取出包含焊缝左右边缘在内的左、右模板图像，在后续焊缝图像中据已知的焊缝边缘位置自动给出包含两个焊缝边缘在内、且比模板图像宽的左右边缘区域图像；之后同时对模板图像和边缘区域图像进行相同的纹理特征分析，提取纹理特征；用纹理特征模板和边缘区域纹理特征矩阵进行相关匹配，确定焊缝边缘位置。本发明实现焊缝识别，特别对于多层焊中的填充焊和盖面焊的焊缝识别较结构光方法和一般被动光视觉方法有明显优势，有较强适用性。

Description

基于局部图像纹理特征匹配的焊缝自动识别视觉方法

技术领域

本发明涉及一种基于局部图像纹理特征匹配的焊缝自动识别视觉方法，可广泛应用于待焊区检测和焊缝自动跟踪等焊接自动化、智能化方面，属于先进制造与自动化领域。

背景技术

焊缝识别和焊缝自动跟踪在焊接自动化、智能化发展中具有重要地位。而常用并且比较实用的是通过视觉来实现，主要包括两种方法：主动视觉和被动视觉。主动视觉采用激光扫描、结构光等主动发光装置在焊缝坡口上形成一条包含坡口形状信息的光亮条纹，该方法系统较复杂、成本较高。被动视觉是依靠自然光或弧光条件下，取得包含焊缝的图像，通过图像处理，获得焊缝的边缘，这种方法常常需要焊缝图像具有明显的灰度突变特征。

对于厚板焊接，常常采用多层焊、多道焊方法，焊接时首先在坡口中进行打底焊，然后采用填充焊填充坡口，在填充焊时根据需要可采用多道焊，最后再进行盖面焊。打底焊后，随着焊接过程的进行，焊缝坡口的特征越来越不明显，即不利于结构光视觉方法和一般的被动视觉方法：坡口的三维结构特征不明显，使得结构光在坡口上不能形成具有明显转折光亮条纹，从而不易确定焊缝中心，并极易受焊缝旁边飞溅、油污等影响；焊缝图像上焊缝边缘没有明显的灰度梯度，不能通过简单的图像处理方法(如边缘提取、灰度阈值分割)来实现确定焊缝边缘。

而由于焊缝图像沿焊接方向具有一定的相似性，因此可以采用模板匹配的方法来实现焊缝的跟踪，即在焊缝初始位置选定一个已知焊缝中心位置的模板图像，用这个模板图像在后续的焊缝图像上进行相关匹配，从而获得后续焊缝图像上的焊缝中心位置。且由于焊缝图像常常没有明显的灰度突变特征，故直接采用灰度图像或二值化图像匹配的效果不好，往往要先对焊缝图像进行一定的处理，获得一个焊缝区域和母材区域差异明显的特征，再进行匹配。文献[黄军芬，殷树言，蒋力培.管道多层自动焊焊缝记忆跟踪系统研究.电焊机.2005，35(1)：45-47]采用小波变换对模板图像和后续焊缝图像进行处理并进行二值化，再进行匹配，从而获得多层焊的焊缝中心。但对图像进行小波变换较复杂，且采用了一个包含整个焊缝的模板图像，使得该方法只能适应等宽度的焊缝，同时必须确保摄像机与焊缝的距离保持不变，导致适用性较差。

发明内容

本发明的目的在于克服现有技术不足，提出了基于局部图像纹理特征匹配的焊缝自动识别视觉方法，以便实现待焊区检测(如多层焊的焊缝识别)问题。

为了实现这一目的，本发明的技术方案中，首先使用摄像机拍摄焊缝区域图像，拍摄时使该图像包含焊缝的边缘区域，然后在焊缝起始位置的图像中分别提取出包含焊缝左右边缘在内的模板，并且在后续焊缝图像中根据已知焊缝边缘位置自动给出包含两个焊缝边缘在内、且比模板宽的左右边缘区域，之后同时对模板图像和边缘区域图像进行相同的纹理特征分析，提取纹理特征，再用得到的纹理特征模板和边缘区域纹理特征矩阵进行相关匹配，从而在焊缝边缘区域内确定焊缝边缘位置。

本发明的基于局部图像纹理特征匹配的焊缝识别方法主要包括以下几个步骤。

1、图像获取。使用摄像机拍摄焊缝区域图像，拍摄时使该图像包括焊缝的边缘区域。

2、模板图像提取。在焊缝起始位置图像中分别提取出包含焊缝左右边缘在内的图像区域作为模板图像，模板图像中的焊缝位置尽可能处于居中(焊缝横向)位置，见图2中左模板图像21和右模板图像23。

3、模板图像纹理特征分析。对两个模板图像进行相同的纹理特征分析，计算纹理特征值，形成两个纹理特征模板，如图4所示，包括左纹理特征模板41和右纹理特征模板42；在对模板进行子图像划分时，为了提高焊缝识别的位置准确性，可以使子图像具有一定的位置重叠，如图3中左模板图像上的子图像划分，子图像31和子图像32之间有一个重叠区域33。但也可以不重叠，子图像具有一定的位置重叠只是优化方案。

纹理特征值采用基于共生矩阵的纹理特征描述符[章毓晋编著，图像工程(中册)——图像分析.第2版，北京：清华大学出版社，2005.10]，常用的描述符有能量(二阶矩)W_M、对比度W_C、熵W_E、逆差矩W_H等，如式(1)～(4)所示。

$W_M=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{M}^2(h,k),---\left(1\right)$

$W_C=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}|h-k|M(h,k),---\left(2\right)$

$W_E=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}M(h,k)\log M(h,k),---\left(3\right)$

$W_H=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}\frac{M(h,k)}{1+|h-k|}.---\left(4\right)$

其中，

(5)是(子)图像f(x，y)的共生矩阵，h，k图像f(x，y)中像素的灰度值，#代表像素的数量。

4、焊缝边缘区域图像自动确定。在后续焊缝图像中，根据已知焊缝边缘自动确定一个包含焊缝边缘在内、且比模板图像宽的局部图像确定为当前的焊缝边缘区域，该区域沿焊缝方向与模板同样长度，如图2中的左焊缝边缘区域22，右焊缝边缘区域24。在自动确定焊缝区域时，根据已知的焊缝边缘位置调整焊缝边缘区域位置，使已知的焊缝边缘位置在待识别的焊缝边缘区域的中部，从而在一般情况下使焊缝边缘区域包含当前的焊缝边缘位置。

5、边缘区域图像纹理特征分析。对两个边缘区域进行与模板图像相同的纹理特征分析，计算纹理特征值，形成边缘区域纹理特征矩阵，具体纹理分析方法同步骤3。

6、模板匹配与焊缝边缘位置确定。分别用两个纹理特征模板在对应的边缘区域纹理特征矩阵内进行相关匹配，当相关系数最大时，焊缝边缘区域上对应于模板图像中的焊缝边缘位置的像素点即为该段焊缝边缘位置，图5显示了左纹理特征模板与左焊缝边缘区域纹理特征矩阵的匹配结果。

7、重复步骤4)、5)和6)，即可得到整条焊缝的边缘位置，分别连接上述的左、右焊缝边缘位置即可获得焊缝的左、右边缘，图6中显示了焊缝左边缘的模板最佳匹配的模板中心在图像上的位置61和识别得到的焊缝右边缘62。

本发明提出的基于局部图像纹理特征匹配的焊缝自动识别视觉方法，利用焊缝图像纹理特征从焊缝区域到母材区域的分布特点，通过局部图像纹理特征模板匹配的方法分别确定焊缝的两个边缘位置，能够实现焊缝识别问题，特别是对于多层焊中的填充焊和盖面焊的焊缝识别较结构光方法和一般被动光视觉方法具有明显优势，并且具有较强的适用性。

附图说明

图1基于局部图像纹理特征匹配的焊缝自动识别视觉方法流程

图2焊缝图像中的模板图像与焊缝边缘区域图像

图3左模板图像及其子图像划分(放大)示意

图4左、右纹理特征模板

图5左纹理特征模板与左边缘焊缝纹理特征矩阵的匹配结果

图6最佳匹配的模板中心在图像上位置和识别的焊缝边缘

具体实施方式

为了更好地讲解本发明的技术方案，以下结合实施例作进一步的详细描述。

图1所示为本发明的焊缝识别方法流程，包括以下几个步骤。

1、图像获取。使用摄像机拍摄焊缝区域图像，拍摄时使该图像包括焊缝的边缘区域。

2、模板图像提取。在焊缝起始位置图像中分别提取出包含焊缝左、右边缘在内的图像区域作为模板图像，模板图像中的焊缝位置尽量处于居中(在焊缝横向)位置，如图2中左模板图像21和右模板图像23，其中模板尺寸在焊缝纵向和焊缝横向分别为48像素和60像素，左右模板大小相同，并且使已知焊缝边缘位置在模板中部，本实例的焊缝边缘位置在模板图像中各行的列值j0_i＝30，(i＝1，2，…48)(焊缝横向的位置为列，焊缝纵向的位置为行，下同)。如果焊缝边缘在图像中与图像纵向有一定夹角，可使焊缝边缘通过模板的中心，实现焊缝边缘位置处于模板中部。

3、模板图像纹理特征分析。对两个模板图像进行相同的纹理特征分析，计算纹理特征值，形成两个纹理特征模板。在模板划分时，为了提高焊缝识别的位置准确性，使子图像具有一定的位置重叠，如图3中左模板图像上的子图像划分，子图像31和子图像32之间有一个重叠区域33，其中子图像尺寸为24×10(焊缝纵向像素数×焊缝横向像素数)，重叠部分宽度为5像素，从而在左右模板图像中各获得2行、每行11个子图像。计算每个子图像的共生矩阵时计算参数为灰度级32、灰度步长1、方向0度，即先将子图像f(x，y)变换为灰度级为32的图像，计算M(h，k)时令公式(5)中的像素点(x₁，y₁)、(x₂，y₂)满足(x₂＝x₁+1，y₂＝y₁)；再基于该共生矩阵M(h，k)用公式(3)计算各个子图像的纹理特征值——熵W_E，得到如图4所示的左、右纹理特征模板。

4、焊缝边缘区域图像自动确定。在后续焊缝图像中，根据已知焊缝边缘自动确定一个包含焊缝边缘在内、且比模板图像宽的局部图像确定为当前的焊缝边缘区域，该区域沿焊缝方向与模板同样长度，即焊缝边缘区域尺寸为48×100(焊缝纵向像素数×焊缝横向像素数)；在自动确定焊缝区域时，根据已知的焊缝边缘位置调整焊缝边缘区域位置，使得已知的焊缝边缘位置在待识别焊缝边缘区域的中部，在本实例中令焊缝边缘区域的第50列与前一次相关匹配中得到最佳匹配时模板中心在图像上的横向位置(初始时采用取模板的位置)对齐，然后确定待识别的焊缝边缘区域图像的范围，如图2中的左焊缝边缘区域22、右焊缝边缘区域24所示，其中左焊缝边缘区域22中心在焊缝图像上的列值j_Lz＝70，右焊缝边缘区域24中心在原图上的列值为j_Rz＝270。

5、边缘区域图像纹理特征分析。对两个边缘区域进行与模板图像相同的纹理特征分析，即采用同样的子图像划分方法，同样的计算共生矩阵参数，同样计算纹理特征值——熵W_E，形成边缘区域纹理特征矩阵。由于焊缝边缘区域宽度有100像素，故获得的左、右边缘区域纹理特征矩阵均为2行19列。

6、模板匹配与焊缝边缘位置确定。分别用两个纹理特征模板在对应的边缘区域纹理特征矩阵内进行相关匹配，当相关系数最大时，焊缝边缘区域上对应于模板图像中的焊缝边缘位置的像素点即为该段焊缝边缘位置。图5显示了本实例中左纹理特征模板与左焊缝边缘区域纹理特征矩阵的匹配结果，其中第5次匹配结果的相关系数最大，从而此时模板图像在焊缝边缘区域的位置(横向位置)可用模板图像中心距离的焊缝边缘区域左边缘的距离d(像素)来表示：d可通过下式计算：

d＝(相关匹配次序-1)×(子图像宽度-重叠像素数)+模板中心在模板上的列值.(6)代入相关匹配次序(值为5)、子图像宽度(值为10)、重叠像素数(值为5)和模板中心在模板上的列值(值为30)，计算得到d＝(5-1)×(10-5)+30＝50；再根据模板中的焊缝边缘的各行列值j0_i和式(7)可以确定当前焊缝边缘区域中的各行图像上焊缝边缘的列值j_i：

j_i＝d-模板中心在模板上的列值+j0_i.    (7)

代入j0_i＝30，(i＝1，2，…48)和模板中心在模板上的列值(值为30)、d＝50，可得j_i＝50-30+j0_i＝20+30＝50；进一步的，根据左焊缝边缘区域中心在焊缝图像上的列值j_Lz和式(8)，可获得焊缝图像上的各行的焊缝边缘列值j_Si：

j_Si＝j_Lz-焊缝边缘区域半宽+j_i.    (8)

代入j_Lz(值为70)、左焊缝边缘区域半宽(值为50)和j_i＝50，可得j_Si＝70-50+j_i＝20+50＝70。

7、重复步骤4)、5)和6)，即可得到整条焊缝的边缘位置，分别连接上述的左、右焊缝边缘位置即可获得焊缝的左、右边缘，图6中显示了焊缝左边缘的模板最佳匹配的模板中心在图像上的位置61和识别得到的焊缝右边缘62。

最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.基于局部图像纹理特征匹配的焊缝自动识别视觉方法，其特征在于，包括以下步骤：

1)、图像获取：使用摄像机拍摄焊缝区域图像，拍摄时使该图像包含焊缝的左右边缘区域；

2)、模板图像提取：在焊缝起始位置图像中分别提取出包含焊缝左右边缘在内的图像区域作为模板图像，包括左模板图像和右模板图像，在模板图像中已知焊缝的左右边缘位置；模板图像中的焊缝位置尽量处于居中位置；

3)、模板图像纹理特征分析：对左模板图像和右模板图像进行相同的纹理特征分析，计算纹理特征值，形成两个纹理特征模板；

4)、焊缝边缘区域图像自动确定：在后续焊缝图像中，根据已知焊缝边缘位置自动确定一个包含待识别焊缝边缘在内、且比模板图像宽的局部图像作为当前的焊缝边缘区域，该区域沿焊缝方向与模板同样长度；自动确定待识别焊缝边缘区域时，使待识别焊缝边缘区域图像的中心位置在焊缝横向与已知的焊缝边缘位置对齐；

5)、边缘区域图像纹理特征分析：对两个边缘区域进行与模板图像相同的纹理特征分析，计算纹理特征值，形成边缘区域图像的纹理特征矩阵；

6)、模板匹配与焊缝边缘位置确定：分别用两个纹理特征模板分别在对应的边缘区域纹理特征矩阵内进行相关匹配，且根据匹配结果确定焊缝两个边缘的位置：当相关系数最大时，焊缝边缘区域图像上对应于模板图像中的焊缝边缘位置的像素点即为该段焊缝的边缘位置；进而依据焊缝边缘区域图像在焊缝图像上的位置确定焊缝边缘位置；

7)、重复步骤4)、5)和6)，即可得到整条焊缝的边缘位置，分别连接上述的左、右焊缝边缘位置即可获得焊缝的左、右边缘。

2.如权利要求1所述的基于局部图像纹理特征匹配的焊缝自动识别视觉方法，其特征在于，所述的步骤3)或步骤5)纹理特征分析，其方法是先将所述的步骤2)的模板图像和步骤4)的焊缝边缘区域局部图像进行子图像划分，然后计算各个子图像的共生矩阵，再用共生矩阵的纹理特征描述符表征纹理特征。

3.如权利要求2所述的基于局部图像纹理特征匹配的焊缝自动识别视觉方法，其特征在于，在子图像划分时，使子图像具有一定重叠。

Images