CN112053376A - 一种基于深度信息的工件焊缝识别方法 - Google Patents

Abstract

本发明提供了一种基于深度信息的工件焊缝识别方法，包括如下步骤：(1)从俯视视角，获取工件以及焊缝的深度信息，以二维矩阵形式表示；(2)数据预处理，去除深度信息中的噪声影响，对深度信息进行放缩，使得深度值都落在区间[0,255]内，转化为灰度图；(3)对深度信息的灰度图进行边缘检测，提取出其中的焊缝区域，确定焊缝的两条边缘；(4)在两条边缘中进行采样，获得一些离散点的深度信息和平面坐标信息；(5)通过分析采样点间的斜率变化，判断出焊缝的形状。本方法利用焊缝的深度信息而不是RGB信息检测焊缝，避免焊缝上的划痕以及阴影对识别的影响，并且能兼顾焊缝边缘的定位以及形状的识别。

Description

一种基于深度信息的工件焊缝识别方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于深度信息的工件焊缝识别方法。

背景技术

在对大型工件进行焊接时，工件间的焊缝一般较大，需要采用多道焊接的工艺，不同形状的焊缝需要使用不同的焊接工艺，因此除了要准确地找到焊缝的边缘外，识别出焊缝的形状也显得尤其重要。

在以往的焊缝的自动识别过程中，基于机器视觉的方法常基于相机拍摄到的RGB图像进行边缘检测，将焊缝作为边缘识别出来。这种方法很容易受到光线、划痕的影响。因为边缘检测的基本原理在于图片中像素的突变，物体的边缘处往往像素会发生突变，所以能够被检测出来。但阴影、划痕这类物体上往往也存在着显著的像素突变，所以需要更加有效的方法克服二者对于机器视觉的干扰。

从边缘检测的原理出发，边缘检测是基于图像中像素突变，求出梯度变化明显的区域，从而检测出物体的边缘。而实际的大型焊缝，其边缘与焊缝内部往往存在明显的高度差，那么可以考虑将边缘检测的算法，应用在深度图上，则能通过检测深度发生突变的地方来获取焊缝，并且能够克服没有“厚度”的平面划痕以及阴影的影响。此外，通过利用深度信息，还能对焊缝的形状进行识别，无需再使用其它辅助设施。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于深度信息的工件焊缝识别方法，依赖图片的深度信息来识别图片中的焊缝边缘，进而识别出焊缝的形状。具体步骤包括：

步骤1，数据采集：采集工件焊缝的深度信息，深度信息包括焊缝的边缘和内部的深度；

步骤2，数据预处理：过滤深度信息中的噪点，将焊缝的深度信息矩阵进行放缩，使得各点的深度被映射到[0,255]的区间内，所述区间即灰度图片像素值的范围；

步骤3，焊缝边缘检测：基于深度信息的灰度图进行边缘检测，提取出焊缝的边缘；

步骤4，采样离散点：在提取出的焊缝的边缘之间，采样离散点的深度信息；

步骤5，识别焊缝形状：求相邻离散点间的斜率值，根据斜率的值以及变化趋势推断出焊缝的形状。

步骤1包括：通过深度采集设备采集焊缝附近的深度信息，可以使用深度相机，或者激光、声波等测距工具。选取俯视视角，焊缝的方向沿平面y轴方向，获取工件焊缝区域的深度信息，深度信息用一个二维矩阵H表示，矩阵中每个点的值对应工件俯视图上每个点的深度。

步骤2-1，对二维矩阵H进行去噪处理，采取先腐蚀后膨胀的形态学操作，消除噪点，再用高斯滤波进一步抑制噪声的表达；

步骤2-2，遍历二维矩阵H，找到深度的最大值H_max和最小值H_min；

步骤2-3，将矩阵H中各个点H_i,j的深度值按照如下公式归一化，并将归一化的矩阵放缩到灰度图的像素值范围：

步骤3包括以下步骤：

步骤3-1，将二维矩阵H从单通道灰度矩阵，转化成3通道矩阵；

步骤3-2，使用Sobel算子处理二维矩阵H，Sobel算子通过计算矩阵中像素的梯度，筛选出梯度发生突变的地方作为边缘，从而提取出矩阵H中对应的焊缝区域，梯度计算公式如下，其中M为输入的矩阵，G_x为x方向的梯度，而G_y代表y方向的梯度，G为最终梯度：

G＝|G_x|+|G_y|；

步骤3-3，对Sobel算子处理后的矩阵从左往右扫描，记录每一行中出现的第一个边缘点，即像素值大于0的点的横坐标，将所有横坐标求均值，作为焊缝的左边缘；对于右边缘，对矩阵从右往左扫描，记录每一行中出现的第一个边缘点，然后求其均值作为右边缘的坐标。

步骤4包括以下步骤：

步骤4-1，在左边缘和右边缘上，分别随机取一个点A和B，将两点相连构成一条直线，并求出直线的中点C的坐标；

步骤4-2，沿着AC、CB两段线段进行均匀采样，分别获取两组点的深度信息和在矩阵H中的横坐标信息，得到两个点集P_left和P_right，点集中点的个数记为n。

步骤5包括以下步骤：

步骤5-1，选择点集P_left，在该点集中，点在矩阵中的横坐标作为横坐标x，点的深度作为纵坐标y，按如下公式求所有相邻点间的直线斜率和均值，其中x_m、y_m和k_m分别代表第m个点的横坐标、深度以及该点和第m-1个点间线段的斜率，

代表斜率的均值：

步骤5-2，如果

为0，则焊缝形状为I形或角形，进一步比较中点C的深度与边缘两个点A、B的深度，如果C点的深度大则焊缝形状为角形，否则为I形；

如果斜率的均值不为0，分析斜率的变化趋势：计算所有相邻斜率中，k_m小于小于k_m-1的比例，如果比例超过预设的阈值，则判定为U形焊缝；

求出斜率中的最大差值，如果该最大差值大于斜率的均值，则判定为钝边V形焊缝；

如果上述条件都不满足，则焊缝形状为V形或者单边V形，计算另一个点集P_right的平均斜率，如果与

相等，则为单边V形焊缝，如果与

互为相反数，则为V形焊缝。实际上，对于其它形状，只要找到其上斜率的变化规律，也可以通过分析采样点的斜率进行识别；对于点的分析方法也不局限于此，可以采用机器学习、深度学习等方式直接拟合或者预测形状，关键在于运用深度信息的思路。

有益效果：本发明通过运用工件的深度信息，提供了一种新的工件焊缝识别的方法，该方法不使用RGB图像信息，从而避免了焊缝识别时，阴影、划痕等平面边缘对焊缝识别的影响，有更好的适应性；另一方面，通过利用焊缝区域的深度信息，可以进一步对焊缝的形状进行识别，从而方便选择不同的焊接方案。仅依靠深度信息完成两项任务，降低了信息采集的复杂度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法的整体流程图。

图2为常见的焊缝形状。

图3为一个实际工件的V型焊缝示意图。

图4为V型焊缝的俯拍深度示意图。

图5为深度图彩色化的结果。

图6为提取的焊缝边缘的示意图。

具体实施方式

图1为方法的整体流程图；图2给出了六种常见的焊缝形状；而图3给出了一个V型焊缝的实例；图4为构造的深度信息矩阵的灰度图；图5为深度信息矩阵的彩色化的结果，使得深度变化看起来更直观；图6为对图4进行边缘检测的结果以及点采样的示意图。在此以V型焊缝为例说明具体实施方式，此外也给出了采样后针对6种形状的识别策略描述。如图1至6所示，本发明提供了一种基于深度信息的工件焊缝识别方法，步骤包括：

步骤1，采集工件和焊缝的深度信息图像；

步骤2，将深度图片二维的深度信息进行放缩，将深度信息统一映射到(0,255)的范围，得到二维矩阵H；

步骤3，然后，对H进行边缘检测，调用Sobel算子，计算梯度，获取焊缝边缘；

步骤4，对于检测出的边缘，在两条边缘间采样一些点，用于判断焊缝形状；

步骤5，对采样的离散点进行拟合，根据其拟合出的曲线来判断焊缝的形状。

步骤1包含以下步骤：

步骤1-1，采集深度信息，如图5为模拟采集到的深度图的可视化结果，蓝色区域为深度较浅区域，橙红色区域为深度较深区域，代表焊缝(由于附图是灰度图，因此这里的颜色无法从图中看出，特此说明)。对于V形的焊缝，深度一般是均匀连续变化的，所以图片色彩是渐变的。如果是I形焊缝，则冷、暖色区分会更明显。在本案例中为了模拟真实数据，给图片加入了均值为0、方差为0.1的高斯噪声。

步骤2包含以下步骤：

步骤2-1，对二维矩阵H进行去噪处理，采取先腐蚀后膨胀的形态学操作，消除噪点，再用高斯滤波进一步抑制噪声的表达，得到处理后的矩阵H；

步骤2-2，遍历矩阵H，得到深度矩阵中深度的最大值H_max和最小值H_min；

步骤2-3，将矩阵H中各个点H_i,j的深度值按照如下公式归一化，并将归一化的矩阵放缩到灰度图的像素值范围：

步骤3包含以下步骤：

步骤3-1，将二维矩阵H从单通道灰度矩阵，转化成3通道矩阵；如图4所示。转化操作仅将每个点的原始像素值重复填充到三个通道中，所以实际上也是黑白的，本例中为了可视化效果，将深度图映射成色彩化的heatmap的形式，如图5所示，但实际的检测仍基于图4进行；

步骤3-2，采用内核大小为3的Sobel算子检测图片中的边缘。相对于Canny算子，Sobel算子能够更好地处理斜坡型这一类深度均匀连续变化的区域，并且能产生更加光滑的边缘；具体包括：使用Sobel算子处理二维矩阵H，Sobel算子通过计算矩阵中像素的梯度，筛选出梯度发生突变的地方作为边缘，从而提取出矩阵H中对应的焊缝区域，梯度计算公式如下，其中M为输入的矩阵，G_x为x方向的梯度，而G_y代表y方向的梯度，G为最终梯度：

G＝|G_x|+|G_y|；

步骤3-3，对Sobel算子处理后的矩阵从左往右扫描，记录每一行中出现的第一个边缘点，即像素值大于0的点的横坐标，将所有横坐标求均值，作为焊缝的左边缘；对于右边缘，对矩阵从右往左扫描，记录每一行中出现的第一个边缘点，然后求其均值作为右边缘的坐标。

步骤4包含以下步骤：

步骤4-1，如图6，在焊缝的两条边缘上各随机取一个点A、B，连接AB，求出线段AB的中点C坐标；

步骤4-2，在AC和CB线段上，分别进行均匀采样，取若干个点，分别获取两组点的深度信息和在矩阵H中的横坐标信息，得到两个点集P_left和P_right，点集中点的数量记为n。

本例中，每两个像素采样一个点。

步骤5包含以下步骤：

步骤5-1，选择点集P_left，在该点集中，点在矩阵中的横坐标作为横坐标x，点的深度作为y，求所有相邻点间的直线斜率和均值，其中x_m、y_m和k_m分别代表第m个点的横坐标、深度以及该点和第m-1个点间线段的斜率，

代表所有斜率的均值：

步骤5-2，如果斜率均值在[-ε,ε]内(ε为一个很小的值，表示可接受的误差范围)，则可以认为点的深度都比较接近，斜率接近于0，则焊缝的形状较为平坦，可能为I形或角形，此时只需要比较中点C与两段的深度大小即可，若中点深度较大，则为I型，否则为角形；

否则，分析斜率的变化趋势。计算斜率递减的比例：

其中I为指示函数。考虑噪声的影响，可以使用一个值很小的参数ε，当满足|k_m|+ε<|k_m-1|时，才认为斜率的绝对值在下降，这对于区分斜坡和U形焊缝很有帮助。

如果比例w超过某个阈值，可以认为焊缝形状为U型，本例中阈值设置为0.6。考虑到越靠近中间的位置，斜率越接近0，斜率受噪声的影响越大，可以仅更靠边的部分点来进行分析。

如果不是U形，下一步则是判断其是不是带钝边的V形，这种形状的特点是斜率会在拐点发生突变，导致两个相邻斜率的差值的绝对值很大，因此只需要找到这个差值，并将其绝对值与斜率的平均值

的绝对值比较即可，若大于平均值的绝对值，则为带钝边V形，且拐点就出现在斜率发生突变的点附近。

如果上述条件都不满足，那么可以得知焊缝形状应当为V形或者单边V形。则只需再计算另一个点集P_right的平均斜率，若二者之差落在[-ε,ε]内，则为单边V形，若二者之和落在[-ε,ε]内，则为V形。

本例中ε选取的值为0.05。

本发明提供了一种基于深度信息的工件焊缝识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于深度信息的工件焊缝识别方法，其特征在于，包括如下步骤：

步骤1，数据采集：采集工件焊缝的深度信息，深度信息包括焊缝的边缘和内部的深度；

步骤2，数据预处理：过滤深度信息中的噪点，将焊缝的深度信息矩阵进行放缩，使得各点的深度被映射到[0,255]的区间内，所述区间即灰度图片像素值的范围；

步骤3，焊缝边缘检测：基于深度信息的灰度图进行边缘检测，提取出焊缝的边缘；

步骤4，采样离散点：在提取出的焊缝的边缘之间，采样离散点的深度信息；

步骤5，识别焊缝形状：求相邻离散点间的斜率值，根据斜率的值以及变化趋势推断出焊缝的形状。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

选取俯视视角，焊缝的方向沿平面y轴方向，获取工件焊缝区域的深度信息，深度信息用一个二维矩阵H表示，矩阵中每个点的值对应工件俯视图上每个点的深度。

3.根据权利要求2所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，对二维矩阵H进行去噪处理，采取先腐蚀后膨胀的形态学操作，消除噪点，再用高斯滤波进一步抑制噪声的表达；

步骤2-2，遍历二维矩阵H，找到深度的最大值H_max和最小值H_min；

步骤2-3，将矩阵H中各个点H_i,j的深度值按照如下公式归一化，并将归一化的矩阵放缩到灰度图的像素值范围：

4.根据权利要求3所述的方法，其特征在于，步骤3包括以下步骤：

步骤3-1，将二维矩阵H从单通道灰度矩阵，转化成3通道矩阵；

步骤3-2，使用Sobel算子处理二维矩阵H，Sobel算子通过计算矩阵中像素的梯度，筛选出梯度发生突变的地方作为边缘，从而提取出矩阵H中对应的焊缝区域，梯度计算公式如下，其中M为输入的矩阵，G_x为x方向的梯度，而G_y代表y方向的梯度，G为最终梯度：

G＝|G_x|+|G_y|；

步骤3-3，对Sobel算子处理后的矩阵从左往右扫描，记录每一行中出现的第一个边缘点，即像素值大于0的点的横坐标，将所有横坐标求均值，作为焊缝的左边缘；对于右边缘，对矩阵从右往左扫描，记录每一行中出现的第一个边缘点，然后求其均值作为右边缘的坐标。

5.根据权利要求4所述的方法，其特征在于，步骤4包括以下步骤：

步骤4-1，在左边缘和右边缘上，分别随机取一个点A和B，将两点相连构成一条直线，并求出直线的中点C的坐标；

步骤4-2，沿着AC、CB两段线段进行均匀采样，分别获取两组点的深度信息和在矩阵H中的横坐标信息，得到两个点集P_left和P_right，点集中点的个数记为n。

6.根据权利要求5所述的方法，其特征在于，步骤5包括以下步骤：

步骤5-1，选择点集P_left，在该点集中，点在矩阵中的横坐标作为横坐标x，点的深度作为纵坐标y，按如下公式求所有相邻点间的直线斜率和均值，其中x_m、y_m和k_m分别代表第m个点的横坐标、深度以及该点和第m-1个点间线段的斜率，

代表斜率的均值：

步骤5-2，如果

为0，则焊缝形状为I形或角形，进一步比较中点C的深度与边缘两个点A、B的深度，如果C点的深度大则焊缝形状为角形，否则为I形；

如果斜率的均值不为0，分析斜率的变化趋势：计算所有相邻斜率中，k_m小于小于k_m-1的比例，如果比例超过预设的阈值，则判定为U形焊缝；

求出斜率中的最大差值，如果该最大差值大于斜率均值，则判定为钝边V形焊缝；

如果上述条件都不满足，则焊缝形状为V形或者单边V形，计算另一个点集P_right的平均斜率，如果与

相等，则为单边V形焊缝，如果与

互为相反数，则为V形焊缝。

Images