CN114066752B - 面向焊缝跟踪的线结构光骨架提取及毛刺去除方法 - Google Patents

Abstract

本发明涉及面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，对线结构光图像创建金字塔；对金字塔顶层图像提取线结构光骨架；重复应用图像上采样及骨架提取两步骤，初步获得焊缝图像线结构光骨架；从细化后焊缝图像第一列和最后一列向图像中间搜索，找到两个端点，即骨架起点和终点；从起点沿骨架向前搜索，找出所有分支；沿分支向前搜索，确定其端点及分支点；从分支端点沿分支骨架向前跟踪，遇到分支点停止搜索，去除分支，获取清晰准确的线结构光骨架图像。本发明可以实现面向焊缝跟踪的线结构光骨架在线、实时、自动、准确提取，提取速度快、精度高；对焊缝类型无约束；对焊接过程的弧光、飞溅、烟尘及工件反光等噪声干扰鲁棒。

Description

面向焊缝跟踪的线结构光骨架提取及毛刺去除方法

技术领域

本发明属于计算机视觉领域，具体的说涉及面向焊缝跟踪的线结构光骨架提取及毛刺去除方法。

背景技术

随着我国国民经济的快速发展，自动化生产已经成为未来发展的必然趋势和方向。利用机器代替人工进行自动焊接，不仅可以显著提高生产效率，而且可以有效改善生产质量，节约生产成本，提高生产效率和安全系数，降低工人劳动强度，成为越来越多企业的理想选择。

为了实现机器人自动焊接，需要准确地提取到焊缝特征点位置。结构光测量方法具有实时性强，设备简单等特点，使其受到越来越多的重视，对于测量设备的体积、重量、功耗等方便要求比较严格的应用场合，结构光测量的自身优势体现得更加明显。

结构光测量方法作为一种主动式光学测量技术，其主要原理是利用结构光投射器向被测物体表面投射可控制的光点、光条或光面，然后通过图像传感器(比如摄像机)获取图像，根据系统的几何关系，运用三角原理计算得到物体的三维坐标。根据结构光投射器向被测物体表面投射结构分别为可控制的光点、光条或光面，可将结构光分为点结构光、线结构光和面结构光。点结构光测量方法需要逐点扫描物体从而进行测量，被测物体越大，图像获取和处理时间将越长，难以实现实时测量；面结构光提供的三维坐标点数据量非常大，计算时间亦会随之增加。因此，线结构光更适用于工程应用。

焊缝焊接过程中，尽管已经在硬件方面采取了一系列措施，如在视觉传感器上加装挡板来阻隔飞溅、烟尘，在视觉传感器前端加装滤光片以滤除弧光等，飞溅、弧光、烟尘等噪声还会对焊缝图像产生很大的干扰。因此，准确提取线结构光骨架是实现焊缝跟踪的关键所在。

发明内容

为了解决焊接过程中飞溅、弧光、烟尘等噪声干扰，以及工件自身反光等问题对线结构光骨架提取造成的影响，本发明提供一种提取速度快，鲁棒性强，能够实时提取线结构光骨架及去除毛刺的方法。

本发明为实现上述目的所采用的技术方案是：面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，包括以下步骤：

对线结构光焊缝图像创建图像金字塔；

对于金字塔顶层图像，提取线结构光骨架；

依次迭代图像上采样、骨架提取两步骤，初步获得焊缝图像线结构光骨架；

分别从结构光骨架图像线第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点；

从起点开始沿骨架延伸方向搜索，找出所有分支；

沿每条分支延伸方向搜索，确定其端点及分支点坐标；从分支端点开始沿分支骨架延伸方向跟踪，直至遇到分支点停止搜索，去除分支，得到去除毛刺的线结构光骨架图像。

所述创建图像金字塔，采用邻域平均进行滤波。

所述创建图像金字塔，通过均值滤波获得一系列下采样图像，即第i层均值金字塔通过邻域平均获得i+1层金字塔图像，步骤如下：

(1)对图像I_i进行均值模糊，计算表达式如下，

式中，I(x,y)表示图像中(x,y)像素点处的灰度值，i表示图像金字塔层数，I’(x,y)表示均值滤波后的图像；

(2)将所有偶数行和列去除，即

I_i+1(x,y)＝I’_i(2x,2y) (2)

(3)返回步骤(1)，通过对输入图像I_i不停迭代，得到整个金字塔；其中，I₀为原始像素分辨率图像，即输入的线结构光焊缝图像。

所述对于金字塔顶层图像，提取线结构光骨架，具体为：采用中轴变换法，通过判定条件，判断某一个像素点是否处于区域边缘，将判定为边缘的像素点删除，直到区域的宽度为1个像素，从而获取图像的中心线，即得到线结构光骨架。

所述对于金字塔顶层图像，提取线结构光骨架，包括以下步骤：

图像中背景的灰度值为0，目标的灰度值为1；同时满足下列边界点的判定条件，则第一次迭代移除右下方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点、端点或内部点；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₆＝0；

(4)p₄·p₆·p₈＝0；

其中，p₁为待判断是否需要移除的像素点，其灰度值为1，p₂、p₃……p₉为p₁顺时针方向标记的8邻域，N(p₁)是p₁的邻域中不为0的点的个数，即,

N(p₁)＝p₂+p₃+...+p₈+p₉ (3)

S(p₁)是从p₂到p₉再到p₂的序列中，点的值发生从0到1的变化的次数；孤立点为N(p₁)＝0的点，端点为N(p₁)＝1的点，内部点为N(p₁)＞6的点。

同时满足下列边界点的判定条件，则第二次迭代移除左上方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点、端点或内部点；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₈＝0；

(4)p₂·p₆·p₈＝0；

反复第一次迭代和第二次迭代，直到没有待移除的点为止，即得到该区域的骨架。

所述依次重复迭代应用图像上采样及、骨架提取两步骤，具体如下：

1)将金字塔顶层图像在u、v两方向扩大到原来的两倍，新增的行和列以0填充；

2)使用与创建图像金字塔步骤相同的内核与放大后的图像卷积，获得新增像素的灰度值；

3)利用中轴变换法对当前层图像进行骨架提取；

4)返回步骤1)，遍历金字塔所有层，直至金字塔最底层，初步获得焊缝图像线结构光骨架。

所述确定焊缝图像骨架的起点和终点，分别从线结构光骨架图像第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点。

所述端点和分支点，定义如下：

端点：本身是骨架像素；其8邻域范围内仅存在一个连续的骨架像素区域；本身不是肿块的一部分；

分支点：本身是骨架像素；其8邻域范围内存在至少三个连续骨架像素区域，或者存在两个连续骨架像素区域、且其中一个是四像素长度或更长的连续区域。

所述肿块，为骨架中2×2或更大的骨架像素。

所述对分支进行跟踪及去除，具体如下：从端点沿骨架搜索，当当前点8邻域中有分支点时停止搜索，将搜索路径中的像素点去除，并将该分支点的支路数减1，分支点就变为连续点。

本发明具有以下优点及有益效果：

1.虽然焊接过程中存在严重的弧光、飞溅、烟尘以及工件自身反光等噪声干扰，但依旧能够准确地提取出线结构光骨架，具有良好的抗干扰性能。

2.对焊缝类型无约束，可以随意变化。

3.本发明可以实现面向焊缝跟踪的线结构光骨架的在线、实时、自动、准确提取，提取速度快、精度高。

附图说明

图1为本发明的整体流程图；

图2为图像金字塔示意图；

图3为毛刺去除方法流程图。

图4a为毛刺去除前骨架图像；

图4b为毛刺去除后骨架图像。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1、图3所示，本发明的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，对线结构光图像创建金字塔；对于金字塔顶层图像，提取线结构光骨架；重复应用图像上采样及骨架提取两步骤，初步获得焊缝图像线结构光骨架；分别从细化后的焊缝图像第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点；从起点开始沿骨架向前搜索，找出所有分支；沿每条分支向前搜索，确定其端点及分支点坐标；从分支端点开始沿分支骨架向前跟踪，直至遇到分支点停止搜索，去除分支，由此可以获取清晰准确的线结构光骨架图像。如图1所示，具体包括如下步骤：

1.计算图像金字塔

利用均值滤波获得一系列下采样图像，即第i层金字塔通过邻域平均就可以获得i+1层均值图像。为了获取层级为I_i+1的金字塔图像，步骤如下：

(1)对图像I_i进行均值模糊，计算表达式如下，

式中，I(x,y)表示图像中(x,y)像素点处的灰度值，i表示图像金字塔层数，I’(x,y)表示均值滤波后的图像；

(2)将所有偶数行和列去除，即

I_i+1(x,y)＝I’_i(2x,2y) (2)

此时得到的图像只有原图的四分之一，通过对输入图像I_i不停迭代以上步骤，就会得到整个金字塔，如图2所示。其中I₀为原始像素分辨率图像，即输入焊缝图像。

随着金字塔层数越多，图像越小，分辨率越低，图像处理速度越快，但图像信息缺失也越多，因此需要在图像处理速度和图像信息缺失之间做好权衡，选择合适的金字塔层数。本文设置金字塔层数为2。

2.提取金字塔顶层图像线结构光骨架

对于金字塔顶层图像，采用中轴变换法提取线结构光骨架：通过一系列的判定条件，判断某一个像素点是否处于区域边缘，将判定为边缘的像素点删除，直到区域的宽度为1个像素，从而获取图像的中心线。该算法一共需要两次迭代才能找到图像中的所有边界点。设图像中背景的灰度值为0，目标的灰度值为1，则，

第一次迭代移除右下方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点(N(p₁)＝0)，端点(N(p₁)＝1)，或内部点(N(p₁)＞6)；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₆＝0；

(4)p₄·p₆·p₈＝0。

其中，p₁为待判断是否需要移除的像素点，其灰度值为1，p₂、p₃……p₉为p₁顺时针方向标记的8邻域，N(p₁)是p₁的邻域中不为0的点的个数，即,

N(p₁)＝p₂+p₃+...+p₈+p₉ (3)

S(p₁)是从p₂到p₉再到p₂的序列中，点的值发生从0到1的变化的次数。

第二次迭代移除左上方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点(N(p₁)＝0)，端点(N(p₁)＝1)，或内部点(N(p₁)＞6)；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₈＝0；

(4)p₂·p₆·p₈＝0。

反复应用这个基本过程，直到再也没有待移除的点为止，此时算法终止，即可得到该区域的骨架。

3.初步获得焊缝图像线结构光骨架

首先，对金字塔顶层线结构光骨架图像进行上采样，步骤如下：

(1)将图像u、v两方向扩大到原来的两倍，新增的行、列先以0进行填充；

(2)使用先前同样的内核与放大后的图像进行卷积，更新新增像素的灰度值。

然后，利用中轴变换法对当前层图像进行骨架提取。

重复上述过程，直至获得金字塔最底层图像，即原始像素分辨率图像的线结构光骨架。

对于大部分焊缝图像，在图像预处理阶段可以完全将弧光飞溅等干扰去除，细化后的激光条纹不存在毛刺。但对于少数干扰特别强烈的焊缝图像，尤其是有多个飞溅干扰重叠的图像，预处理后仍有可能残余部分飞溅干扰无法被完全滤除。这类图像细化后，激光条纹上会产生毛刺，毛刺的存在容易导致后续的特征点提取不准确，因此有必要在特征点提取之前先对图像进行去毛刺，从而提高焊缝特征提取的精度。

4.确定焊缝图像骨架起点及终点

如图4a、图4b所示，分别从细化后的焊缝图像第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点。并将这两列中其他灰度值不为0的像素点置0。

这里，端点需同时满足以下三个条件：

(1)本身是骨架像素；

(2)其8邻域范围内仅存在一个连续的骨架像素区域；

(3)本身不是肿块的一部分。

其中，将骨架中2×2或更大规模的骨架像素定义为肿块。

5.从起点沿骨架搜索分支

从起点开始，采用3×3窗口作为跟踪识别器，以跟踪点的8邻域像素信息作为判断依据，沿骨架向前搜索，找出所有分支。

6.确定每条分支端点及分支点

沿每条分支向前搜索，确定其端点及分支点坐标。

这里，分支点需同时满足以下两个条件：

(1)本身是骨架像素；

(2)其8邻域范围内存在至少三个连续骨架像素区域，或者存在两个连续骨架像素区域且其中一个是四像素长度甚至更长的连续区域。

7.分支跟踪并去除

从分支端点开始沿分支骨架向前跟踪，直至遇到分支点停止搜索，将搜索路径中的所有骨架点去除，并将该分支点的支路数减1，此时分支点变为连续点。重复上述过程，直至骨架中无分支，由此得到准确的焊缝图像线结构光骨架，如图4a、图4b所示。图4a为毛刺去除前骨架图像，分支上存在分支，且存在肿块；图4b为毛刺去除后骨架图像。

Claims (9)

1.面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，包括以下步骤：

对线结构光焊缝图像创建图像金字塔；

对于金字塔顶层图像，提取线结构光骨架；

依次迭代图像上采样、骨架提取两步骤，初步获得焊缝图像线结构光骨架；

分别从结构光骨架图像线第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点；

从起点开始沿骨架延伸方向搜索，找出所有分支；

沿每条分支延伸方向搜索，确定其端点及分支点坐标；从分支端点开始沿分支骨架延伸方向跟踪，直至遇到分支点停止搜索，去除分支，得到去除毛刺的线结构光骨架图像；

所述创建图像金字塔，通过均值滤波获得一系列下采样图像，即第i层均值金字塔通过邻域平均获得i+1层金字塔图像，步骤如下：

(1)对图像I_i进行均值模糊，计算表达式如下，

式中，I(x,y)表示图像中(x,y)像素点处的灰度值，i表示图像金字塔层数，I’(x,y)表示均值滤波后的图像；

(2)将所有偶数行和列去除，即

I_i+1(x,y)＝I’_i(2x,2y) (2)

(3)返回步骤(1)，通过对输入图像I_i不停迭代，得到整个金字塔；其中，I₀为原始像素分辨率图像，即输入的线结构光焊缝图像。

2.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述创建图像金字塔，采用邻域平均进行滤波。

3.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述对于金字塔顶层图像，提取线结构光骨架，具体为：采用中轴变换法，通过判定条件，判断某一个像素点是否处于区域边缘，将判定为边缘的像素点删除，直到区域的宽度为1个像素，从而获取图像的中心线，即得到线结构光骨架。

4.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述对于金字塔顶层图像，提取线结构光骨架，包括以下步骤：

图像中背景的灰度值为0，目标的灰度值为1；同时满足下列边界点的判定条件，则第一次迭代移除右下方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点、端点或内部点；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₆＝0；

(4)p₄·p₆·p₈＝0；

其中，p₁为待判断是否需要移除的像素点，其灰度值为1，p₂、p₃……p₉为p₁顺时针方向标记的8邻域，N(p₁)是p₁的邻域中不为0的点的个数，即,

N(p₁)＝p₂+p₃+...+p₈+p₉ (3)

S(p₁)是从p₂到p₉再到p₂的序列中，点的值发生从0到1的变化的次数；孤立点为N(p₁)＝0的点，端点为N(p₁)＝1的点，内部点为N(p₁)＞6的点；

同时满足下列边界点的判定条件，则第二次迭代移除左上方的边界点：

(1)2≤N(p₁)≤6，满足此条件时说明该点不是孤立点、端点或内部点；

(2)S(p₁)＝1，如果删除S(p₁)＞1的点就无法保证细化后线条的连通；

(3)p₂·p₄·p₈＝0；

(4)p₂·p₆·p₈＝0；

反复第一次迭代和第二次迭代，直到没有待移除的点为止，即得到区域的骨架。

5.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于所述依次重复迭代应用图像上采样及、骨架提取两步骤，具体如下：

1)将金字塔顶层图像在u、v两方向扩大到原来的两倍，新增的行和列以0填充；

2)使用与创建图像金字塔步骤相同的内核与放大后的图像卷积，获得新增像素的灰度值；

3)利用中轴变换法对当前层图像进行骨架提取；

4)返回步骤1)，遍历金字塔所有层，直至金字塔最底层，初步获得焊缝图像线结构光骨架。

6.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述确定焊缝图像骨架的起点和终点，分别从线结构光骨架图像第一列和最后一列向图像中间搜索，找到两个端点，即为骨架的起点和终点。

7.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于所述端点和分支点，定义如下：

端点：本身是骨架像素；其8邻域范围内仅存在一个连续的骨架像素区域；本身不是肿块的一部分；

分支点：本身是骨架像素；其8邻域范围内存在至少三个连续骨架像素区域，或者存在两个连续骨架像素区域、且其中一个是四像素长度或更长的连续区域。

8.根据权利要求7所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于所述肿块，为骨架中2×2或更大的骨架像素。

9.根据权利要求1所述的面向焊缝跟踪的线结构光骨架提取及毛刺去除方法，其特征在于，所述对分支进行跟踪及去除，具体如下：从端点沿骨架搜索，当当前点8邻域中有分支点时停止搜索，将搜索路径中的像素点去除，并将该分支点的支路数减1，分支点就变为连续点。