CN114283139A - 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于面阵结构光3D视觉的焊缝检测分割方法，包括获取相对应的焊缝接头纹理图和点云数据，由点云提取焊缝母材区域轮廓生成假设的焊缝接头候选集，通过纹理图用于点云的对应获得母材外轮廓，并在此基础上完成焊缝ROI区域的提取，通过基于HOG特征向量的SVM支持向量机识别判断焊缝ROI区域是否存在焊缝，对焊缝ROI区域所对应的焊缝接头母材区域表面拟合，以及基于拟合表面的ROI区域内所对应的点云焊缝外形主体分割提取。本发明还公开了基于面阵结构光3D视觉的焊缝检测分割装置。本发明对于焊缝检测的可靠性和效率均较高。

Description

一种基于面阵结构光3D视觉的焊缝检测分割方法及装置

技术领域

本发明涉及一种焊缝检测方法及装置，特别是涉及一种基于面阵结构光3D视觉的焊缝检测分割方法及装置。

背景技术

目前对成形焊缝的铣削打磨的应用需求也越来越多，以往焊缝铣削打磨主要还是依靠人工手动来实施，但是人工打磨效率较低，劳动强度大，对技艺性以及精准性均要求比较高。一般来说当前主要通过自动化装备或系统的方式来替代人工，主要分为专机型与机器人型两类系统方式，首先专机类主要是针对特定使用对象与场合(单一直缝或者环缝等)的专用型设备与装置(如CN 104400090,CN 112816554,CN 204657585所述)，而机器人型主要采用以重载工业机械臂为核心的集成式机器人工作站模式(如CN 110977702,CN107116561,CN 112847128所述)，其对于加工焊缝的空间分布多变以及焊缝形状复杂的情况下的适应更为宽泛，但是相较于专机其刚度特性或者单一效率可能会具有弱势。不管采用哪种自动化铣削打磨装置，对于焊缝位置以及外形的精确把握则是铣削打磨质量的先决条件以及实施难点。

现有技术中对于焊缝的检测的主要问题是，接触式或者接近式检测信息量十分简单、2D图像传感器因为不能反应焊缝3维信息难以被设备或者机器人直接使用(只能用于一些固定结构的专机中)，3D激光轮廓扫描只依赖点云或者测距信息，因此在实际实施过程中经常会出现所获取的3D数据因为焊缝本身工况影响所导致的点云或者测距数据丢失，或者是焊缝本身因为成形不一导致焊缝余高变薄甚至塌陷的问题进而导致的检测可靠性问题，另外激光轮廓扫描需要依赖机器人进行动态扫描运动规划与控制，因此在检测模式、效率等方面还需要进一步提升。

发明内容

针对上述现有技术的缺陷，本发明提供了一种基于面阵结构光3D视觉的焊缝检测分割方法，目的是提高焊缝检测的可靠性和效率。本发明的另一目的是提供一种基于面阵结构光3D视觉的焊缝检测分割装置。

本发明技术方案如下：一种基于面阵结构光3D视觉的焊缝检测分割方法，包括以下步骤：

步骤1、通过RGBD结构光3D相机获取焊缝接头纹理图和点云数据，所述点云数据与所述纹理图一一对应；

步骤2、由所述点云数据提取母材点云边界，得到点云数据的假设接头候选集；

步骤3、将所述假设接头候选集映射至与所述点云数据对应的纹理图，并基于所述映射在所述纹理图提取母材外轮廓，计算纹理图上母材外轮廓的内接多边形并寻找两个多边形距离最近的两条边，由该最近的两条边的最小外接旋转矩形区域作为焊缝ROI区域；

步骤4、对所述焊缝ROI区域图像进行旋转及缩放预处理后提取HOG特征向量，并输入至训练后的基于HOG特征的SVM支持向量机识别是否具有焊缝；

步骤5、经所述步骤4识别为具有焊缝时，将所述焊缝ROI区域图像对应的假设接头候选集进行平面拟合得到焊缝接头母材平面，计算焊缝ROI区域图像对应的所有点云数据至所述焊缝接头母材平面的有向投影距离，所有满足相对于焊缝接头母材平面有向投影距离大于0且小于焊缝预设余高阈值的点云数据构成焊缝本体点云数据。

进一步地，所述步骤2中由所述点云数据提取母材点云边界后，设定点云量级阈值对所述母材点云边界及边界内点云进行阈值排除。

进一步地，所述步骤2中提取母材点云边界后得到候选焊缝接头集，对候选焊缝接头集中每个候选焊缝接头的两个母材进行平面拟合并计算两个母材之间的夹角，然后设定夹角阈值对候选焊缝接头集筛选得到所述假设接头候选集。

进一步地，所述步骤3中在得到两个多边形距离最近的两条边后，通过纹理图像至3D点云的映射得到两条边对应的空间内边界，并对两条所述空间内边界计算落差，设定落差阈值进行筛选。

进一步地，所述落差由以下方法计算：

由所述两个母材之间的夹角的平面的法向相加可以得到焊缝接头的角分线向量

计算两条所述空间内边界的中点

和

得到

得到接头空间法向直线

计算两个母材平面和直线L_i的交点

和

则

和

之间的距离

为所述落差。

本发明的另一技术方案是，基于面阵结构光3D视觉的焊缝检测分割装置，包括RGBD结构光3D相机和控制模块，所述RGBD结构光3D相机将焊缝接头纹理图和3D点云数据发送至控制模块，所述控制模块包括处理器及存储器所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述的基于面阵结构光3D视觉的焊缝检测分割方法。

本发明所提供的技术方案的优点在于：

传统技术方案只依赖于图像或者是3D激光点云或者轮廓，例如2D图像本身只具备对象的图像灰度纹理信息，缺乏3D的深度信息，因此在特征提取时往往会导致误识别等等错误，另外3D激光轮廓扫描只依赖点云或者测距信息，因此在实际实施过程中经常会出现所获取的3D数据因为焊缝本身工况影响所导致的点云或者测距数据丢失，或者是焊缝本身因为成形不一导致焊缝余高变薄甚至塌陷的问题进而导致的检测可靠性问题。本发明采用基于纹理图像与点云的融合处理，其信息更丰富，冗余度更好，因此在可靠性方面具有更好基础，并且可以分别提取焊缝与接头母材等分类信息。另外一般基于深度学习的焊缝识别，本质还是2D人工智能图像识别，需要依赖大量数据的训练才能达到一定的效果，而本发明基于设计者的算法规则设计，不需要特别多的数据即可实施。

本发明基于光栅结构光的RGBD式的3D相机采用的是立体视锥式光学采样覆盖范围，因此对于该区间内的焊缝对象只需固定位置单次拍摄(并且可以适应视野内多条焊缝同时存在)，而不需要像线扫激光轮廓仪必须通过带有启停控制的连续扫描运动(而且往往只能适应单条焊缝)，这样在时间效率上必然具备优势。同时，采用轮廓分析的线扫激光轮廓仪的扫描运动必须是沿着焊缝的方向，在考虑机器人运动过程中的关节限制等因素，本发明方法在带有曲线或者分段转向的焊缝在使用性上相比采用轮廓分析方法便利性更好。

附图说明

图1是实施例的基于面阵结构光3D视觉的焊缝检测分割方法的流程示意图。

图2是焊缝接头母材点云轮廓分割结果示意图。

图3是假设焊缝边界的落差距离计算示意图。

图4是焊缝ROI区域获取结果示意图。

图5是基于HOG特征向量的焊缝有无判断流程示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本说明之后，本领域技术人员对本说明的各种等同形式的修改均落于本申请所附权利要求所限定的范围内。

一般机器人控制铣削打磨比较适合于焊缝空间分布较广的应用场景中，因此通常会采用将传感器安装于机器人末端的eye-in-hand方式来形成机器人“眼-手”随机械臂进行大范围运动覆盖的工作模式，本实例中采用一种适合于机器人铣削打磨的RGBD式高精度光栅结构光3D相机，具体型号为WiSightP370P。请结合图1所示，本实施例的基于面阵结构光3D视觉的焊缝检测分割方法包括以下步骤：

步骤1、通过上述RGBD结构光3D相机完成视野区域内的单次拍照后获得对象2D-RGB纹理图像与3D点云数据，点云数据是有序的，它和RGB纹理图像在像素上有着一一对应的关系，该有序点云的宽就是图像的宽，该有序点云的高就是图像的高，如果已知RGB纹理图像的像素位置，那么就可以直接得到该像素对应的点云坐标。

步骤2、如图2所示，采用散乱点云边界特征快速提取算法，提取母材点云边界。散乱点云边界特征快速提取算法为现有技术，其主要采用R*tree数据结构建立散乱点云空间索引结构，基于该结构并通过结合k-means聚类法快速准确获取点云局部型面参考点集，建立该点集的基准平面，将点集内各点到该平面的距离与目标点到该平面的距离进行比较，识别点云边界特征。为了保证主要母材边界被提取而滤除不明显的边界特征，对于边界及其边界内的点云量级进行阈值设定，这样通过阈值排除后可以获得视野中显著性的工件表面轮廓集

因为焊缝是采用基于母材的两两组对成一定接头形式后焊接而成的，因此按照数学组合式的定义可以得到初步假设的候选焊缝接头集为

分别表示焊缝两侧母材点云数据，其中C表示3D空间。进一步针对每个候选焊缝接头

中的点云轮廓完成平面拟合，采用空间平面间的夹角计算方式获得两个母材之间的夹角

然后通过预先所设定的焊缝接头夹角阈值排除生成“假设接头候选集”

步骤3、点云数据是与2D-RGB纹理图像在像素上有着一一对应的关系，因此通过该映射方式，可以获得假设接头候选集空间轮廓

在图像上的映射

即在纹理图像中如果像素对应存在点云边界则置为灰度高，反之则为灰度低来获得

这样的二值化图像。然后通过对图像进行扫描式的处理来确定二值图像边界的围绕关系，即确定外边界、孔边界以及他们的层次关系以最终完成对数字二值图像的拓扑分析，并且提取相应具有层次关系的轮廓集，得到

和

的外侧轮廓。再通过多边形逼近算法获得最终两组轮廓内接多边形近似描述

和

接着通过距离搜索分别找到两个多边形距离最近的两条边，将其分别称为“假设焊缝边缘”为

和

,然后通过纹理图像至3D点云的映射获得“空间假设焊缝边界”为

和

通过结合前述计算的接头夹角

的角分线向量

完成“假设焊缝边界”

和

之间的“落差距离”的计算，如图3所示，该计算具体如下：

通过接头夹角数据

可以分别得到

和

平面的法向

和

进一步通过相加可以得到接头的角分线向量

并且其方向指定为当前坐标系Z轴夹角较小一侧。分别计算“假设焊缝边界”

和

的中点

和

得到

得到接头空间法向直线

计算

与

平面和直线L_i的交点

和

则最终

和

之间的“落差距离”的计算为

和

之间的距离

进一步根据“焊缝接头落差距离阈值”完成焊缝假设有效性的进一步判断，举例来说如果使用者预先知晓所检测的是对接焊缝，并且能够把握其公差变化范围，那么一般来说，搭接焊缝则不会是目标焊缝范围中，可以通过人为设定“焊缝接头落差距离阈值”排除。另外如果焊缝有效性假设满足条件，则进一步将完成

的最小外接旋转矩形的计算，并且该区域就将作为“焊缝ROI区域”，如图4所示

步骤4、请结合图5所示，由上述SWROI获取2D纹理图上的图像数据块为焊缝ROI区域图像，计算该焊缝ROI区域图像在图像坐标系上与水平X正方向之间的夹角，然后将该焊缝ROI区域图像进行角度旋转至水平X方向一致，进一步将该焊缝ROI区域图像进行缩放归一化至128×64的大小。对该预处理后的焊缝ROI区域图像进行HOG特征的提取并生成对应HOG特征向量。建立基于HOG特征的SVM支持向量机并对其完成训练，训练是将通过人工手动打标签的方式来完成一定数量的包含焊缝的正例样本与负例样本的准备，其中正例样本为包含焊缝纹理信息的ROI图像，标签量值为1，负例样本则为不包含焊缝的ROI图像，标签量值为-1，最终通过与前述HOG特征向量相结合生成“标签化的焊缝特征向量”，然后完成SVM支持向量机的训练。然后将基于焊缝ROI区域图像提取的HOG特征向量输入至训练后的基于HOG特征的SVM支持向量机进行是否具有焊缝的识别。

步骤5、如果焊缝ROI纹理图中被判别具有焊缝，则将对接头母材空间边界

和

作进一步的局部高精度平面拟合将其作为焊缝接头母材

和

的计算提取，然后获得ROI内的所有点云数据

通过计算

与平面

和

之间的有向投影距离

和

其中定义沿着接头角分线向量

正向的即为凸起的焊缝本体有效部分，因此所有

和

且满足

条件，即其中相对较大的值且能够小于焊缝预设余高阈值的点云数据

将作为焊缝本体有效值保留。因此最终整个焊缝的检测提取结果为焊缝本体点云数据

重复上述步骤2至步骤5以获取所有焊缝的焊缝本体点云数据。

本发明实施例的基于面阵结构光3D视觉的焊缝检测分割包括RGBD结构光3D相机和控制模块，RGBD结构光3D相机将2D-RGB纹理图像和3D点云数据发送至控制模块，控制模块可采用硬件、软件或者硬件与软件结合的方式进行实施，或者是构成至少包含一个处理器及存储器的计算机装置，该存储器即储存了实现上述流程步骤的计算机程序，处理器用于执行该存储器上的计算机程序进行形成上述的实施例的方法步骤。

Claims (6)

1.一种基于面阵结构光3D视觉的焊缝检测分割方法，其特征在于，包括以下步骤：

步骤1、通过RGBD结构光3D相机获取焊缝接头纹理图和点云数据，所述点云数据与所述纹理图一一对应；

步骤2、由所述点云数据提取母材点云边界，得到点云数据的假设接头候选集；

步骤3、将所述假设接头候选集映射至与所述点云数据对应的纹理图，并基于所述映射在所述纹理图提取母材外轮廓，计算纹理图上母材外轮廓的内接多边形并寻找两个多边形距离最近的两条边，由该最近的两条边的最小外接旋转矩形区域作为焊缝ROI区域；

步骤4、对所述焊缝ROI区域图像进行旋转及缩放预处理后提取HOG特征向量，并输入至训练后的基于HOG特征的SVM支持向量机识别是否具有焊缝；

步骤5、经所述步骤4识别为具有焊缝时，将所述焊缝ROI区域图像对应的假设接头候选集进行平面拟合得到焊缝接头母材平面，计算焊缝ROI区域图像对应的所有点云数据至所述焊缝接头母材平面的有向投影距离，所有满足相对于焊缝接头母材平面有向投影距离大于0且小于焊缝预设余高阈值的点云数据构成焊缝本体点云数据。

2.根据权利要求1所述的基于面阵结构光3D视觉的焊缝检测分割方法，其特征在于，所述步骤2中由所述点云数据提取母材点云边界后，设定点云量级阈值对所述母材点云边界及边界内点云进行阈值排除。

3.根据权利要求1所述的基于面阵结构光3D视觉的焊缝检测分割方法，其特征在于，所述步骤2中提取母材点云边界后得到候选焊缝接头集，对候选焊缝接头集中每个候选焊缝接头的两个母材进行平面拟合并计算两个母材之间的夹角，然后设定夹角阈值对候选焊缝接头集筛选得到所述假设接头候选集。

4.根据权利要求3所述的基于面阵结构光3D视觉的焊缝检测分割方法，其特征在于，所述步骤3中在得到两个多边形距离最近的两条边后，通过纹理图像至3D点云的映射得到两条边对应的空间内边界，并对两条所述空间内边界计算落差，设定落差阈值进行筛选。

5.根据权利要求4所述的基于面阵结构光3D视觉的焊缝检测分割方法，其特征在于，所述落差由以下方法计算：

由所述两个母材之间的夹角的平面的法向相加可以得到焊缝接头的角分线向量

计算两条所述空间内边界的中点

和

得到

得到接头空间法向直线

计算两个母材平面和直线L_i的交点

和

则

和

之间的距离

为所述落差。

6.一种基于面阵结构光3D视觉的焊缝检测分割装置，其特征在于，包括RGBD结构光3D相机和控制模块，所述RGBD结构光3D相机将焊缝接头纹理图和3D点云数据发送至控制模块，所述控制模块包括处理器及存储器所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至5中任意一项所述的基于面阵结构光3D视觉的焊缝检测分割方法。

Images