CN114240944B - 一种基于点云信息的焊接缺陷检测方法 - Google Patents

Abstract

本发明提出一种基于点云信息的焊接缺陷检测方法，包括以下步骤：使用3D相机采集焊道的点云图像，并对点云图像进行预处理，得到有效点云图像；从有效点云图像中选取焊道检测初定位区域；在焊道检测初定位区域内合成标准的点云轮廓线；在焊道检测初定位区域内获得所有点云轮廓线，记录点云轮廓线数量为num，得到num条待测点云轮廓线；将待测点云轮廓线与标准点云轮廓线做对比，判断产品是否存在缺陷。本发明引入机器视觉的自动检测方法，相比于人工检测，能大大降低工人的检测劳动强度，检测精度高、速度快，可以有效保证产品的合格率。

Description

一种基于点云信息的焊接缺陷检测方法

技术领域

本发明涉及缺陷检测技术领域，尤其是一种基于点云信息的焊接缺陷检测方法。

背景技术

焊接缺陷是指焊接接头部位在焊接过程中形成的缺陷。焊接缺陷包括气孔、夹渣、未焊透、未熔合、裂纹、凹坑、咬边、焊瘤等。这些缺陷中的气孔、夹渣属体积型缺陷。条渣、未焊透、未熔合与裂纹属线性缺陷，也可称为面型缺陷。尤其是裂纹与未熔合更是面型缺陷。凹坑、咬边、焊瘤及表面裂纹属表面缺陷。其他缺陷均属埋藏缺陷。构件边缘必须按规定进行准备，干净，无毛刺，无气割熔渣，无油脂或油漆，除了车间保护底漆。接头必须干燥。几种常见焊接缺憾点焊不应该太深，点焊位置应使其在施焊时能够重新溶合。焊前，检验员必须确保所有焊点处于良好状态，焊前必须清除坏点焊和炸裂的点焊。外观缺陷：外观缺陷是指不用借助于仪器,从工件表面可以发现的缺陷。管道之间的连接方式，多数采用焊接的方式进行连接，焊接过程中会产生焊接接头缺陷，现有的焊接接头缺陷检测，大都是采用人工肉眼进行判断，但是气孔、夹渣这种焊接接头缺陷无法通过肉眼检测，部分通过仪器进行检测时，需要人工手持不断调节检测调度，长时间工作工作人员负担较大，工作的效率低。目前也出现利用视觉识别的方式，参考中国专利公开号为CN111462110A的一种焊缝质量检测方法，包括：获取目标焊接物的点云数据，并将所述点云数据转换为高度图，所述目标焊接物包括基材、焊接件，以及将所述焊接件焊接于所述基材上形成的目标焊缝；从所述高度图中，确定出用于表征所述目标焊缝的焊缝区域；对所述焊缝区域进行分析，获得所述目标焊缝的特征参数；根据所述特征参数，获得所述目标焊缝的质量检测结果。具体的获取所述目标焊缝的特征参数的过程如下：在所述焊缝区域上，沿第二方向设置多个扫描窗口，以将所述焊缝区域划分为多个子区域图像，所述第二方向为所述焊缝区域的长度方向；针对所述多个子区域图像中的每个子区域图像，获得所述子区域图像所表征子目标焊缝的体积参数，以获得多个体积参数；将所述多个体积参数中数值最小的体积参数，作为所述目标焊缝的特征参数。然而以体积作为参考标准存在一定误差，比如在两段连通域内的焊缝都不正常，一段出现前粗后细的情况，另一段出现左粗右细的情况，但是其体积基本相似或等同于参考标准时，则会判断出该两端连通域的焊缝是正常的，导致出现误判的情况发生。

发明内容

本发明解决了现有技术以体积作为参考标准进行缺陷识别导致误判的问题，提出一种基于点云信息的焊接缺陷检测方法，引入机器视觉的自动检测方法，相比于以体积作为参考标准，相当于沿着焊缝从上到下扫描其点云轮廓线，作为待测点云轮廓线，再利用待测点云轮廓线与标准的点云轮廓线做对比，以轮廓直接比对，避免计算体积导致的误差。

为实现上述目的，提出以下技术方案：

一种基于点云信息的焊接缺陷检测方法，包括以下步骤：

S1，使用3D相机采集焊道的点云图像，所述点云图像包括点和点对应的数值，所述数值代表是物体高度值，并对点云图像进行预处理，得到有效点云图像；

S2，从有效点云图像中选取焊道检测初定位区域；

S3，在焊道检测初定位区域内作垂直焊道的若干等距等长的线段，所述线段上对应有若干点，在焊道检测初定位区域内从左到右沿垂直方向记录各线段的点对应的高度值，并找出处于中位数的高度值，将所有处于中位数的高度值拟合成标准的点云轮廓线；

S4，在焊道检测初定位区域内获得每条线段对应的点云轮廓线，记录点云轮廓线数量为num，得到num条待测点云轮廓线；

S5，平移待测点云轮廓线，使得待测点云轮廓线的最高点与标准点云轮廓线的最高点进行重合，计算待测点云轮廓线与标准点云轮廓线对应点高度差，对高度差求平方和，然后再求平均，得到两条轮廓线的差异值，根据差异值判断产品是否存在缺陷。

本发明使用3D相机采集焊道的点云图像，再利用点云图像拟合出标准的焊道廓线，再利用垂直焊道的待测廓线与标准廓线进行比较，找出是否存在差异较大的廓线，若是存在差异较大的廓线证明焊接存在缺陷。本发明相当于沿着焊缝从上到下扫描其点云轮廓线，作为待测点云轮廓线，再利用待测点云轮廓线与标准的点云轮廓线做对比，以轮廓直接比对，避免计算体积导致的误差例如：出现前粗后细的情况时，从上到下，其轮廓差异比较大，待测点云轮廓线的高度由小变大，同时待测点云轮廓线的宽度也会从小到大，与标准的点云轮廓线做对比马上就能检测出差异，不会出现误判；又例如出现左粗右细的情况时，从上到下，其轮廓差异虽然不大，但是其待测点云轮廓线整体是左高右低，与标准的点云轮廓线做对比也是马上就能检测出差异，不会出现误判。

本发明检测的是焊缝的缺陷，在焊接时由于焊条的成分以及焊接温度不可能每时每刻都相同，不管是人工焊接还是机器焊接在焊接运动过程中总会发生振动，因此导致焊缝的形状不是标准统一的，因此并不能预先得知标准轮廓是怎么样的，因此通过步骤S3，求出该焊缝的标准的点云轮廓线作为参照，使得即使是不同材料之间的焊接，或者不同方式的焊接，只要产生了焊缝，都能用本发明的方法来获得其对应的标准的点云轮廓线。本发明以待测点云轮廓线与标准的点云轮廓线做对比找差异，即以轮廓直接比对找差异，避免计算体积导致的误差，使得检测更加准确。

作为优选，所述S2具体包括以下步骤：从有效点云图像中作垂直焊道的若干等距等长的线段，所述线段上对应有若干点，提取所有线段对应高度值最高的点拟合成直线，得到焊道直线，沿焊道直线作一定距离的左右对称线段，并连接左右对称线段的上下端点，获得焊道检测初定位区域。

本发明先从有效点云图像中提取出焊道直线方便锁定焊道位置，再根据焊道位置锁定检测初定位区域，提高检测精度。

作为优选，拟合直线的过程如下：获得所有线段对应高度值最高的点的坐标，根据坐标进行基于最小二乘法原理的拟合直线。

作为优选，所述S1中对点云图像进行预处理包括对原始点云图像进行增强处理、图像去噪处理、图像分割处理及图像差分处理中的一种或几种。本发明经预处理后的有效点云图像能够提高检测精度。

作为优选，所述S5具体包括以下步骤：将待测点云轮廓线与标准点云轮廓线做对比，判断其差异值是否大于设置的阈值，若是，则焊接产品判为是有缺陷的产品，若否，判断循环次数n是否小于待测点云轮廓线的数量num，若是，则焊接产品判为合格产品，若否，返回S5。

作为优选，差异值的计算过程如下：首先平移待测点云轮廓线，使得待测点云轮廓线的最高点与标准点云轮廓线的最高点进行重合，得到2条重合的点云轮廓线，计算待测点云轮廓线与标准点云轮廓线对应点高度差，对高度差求平方和，然后再求平均，得到两条轮廓线的差异值。

本发明的有益效果是：

1、提供焊缝标准的点云轮廓线的获取方法，使得不同焊缝有其对应的评判标准，使得检测更加准确；

2、以待测点云轮廓线与标准的点云轮廓线做对比找差异，即以轮廓直接比对找差异，避免计算体积导致的误差，使得检测更加准确。

附图说明

图1为实施例的整体流程示意图；

图2为实施例图像拟合直线得到初定位效果；

图3为实施例图像初定位区域；

图4为实施例图像20条部分轮廓线示意图；

图5为实施例的标准点云轮廓线；

图6为实施例的焊缝一待测点云轮廓线与标准点云轮廓线；

图7为实施例的焊缝一最高点重合后的待测点云轮廓线与标准点云轮廓线；

图8为实施例的焊缝二待测点云轮廓线与标准点云轮廓线；

图9为实施例的焊缝二最高点重合后的待测点云轮廓线与标准点云轮廓线。

具体实施方式

实施例：

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。此外，应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本实施例提出一种基于点云信息的焊接缺陷检测方法，参考图1，包括以下步骤：

S1、使用3D相机采集点云图像，点云图像上数值代表是物体高度值，将采集到的点云图像进行预处理，得到有效点云图像；需要说明的是，本申请实施例中，点云图像可以理解为点云数据转换的灰度图，针对点云图像中的每个像素点，可以根据该像素点的灰度值，获取该像素点的高度值，而像素点的高度值可以理解为目标焊接物上，该像素点所表征位置与3D相机采集端的距离值。

对原始点云图像进行增强处理、图像去噪处理、图像分割处理及图像差分处理中的一种或几种；在本实施例中

S2、根据图像点云信息，对有效点云图像获取焊道多个最高点，拟合直线，得到焊道检测初定位区域；

获取多条等距、长度为600像素、垂直于焊道方向的线段，其中等距间隔为50像素，获取直线对应点云图像的600个高度值，组成高度值数组，本实施例以实测的两个焊缝的数据进行说明，根据S1-S2获得产品一高度值如表一所示，产品二高度值如表二所示，

表一

33371

33419

33457

33496

38033

38906

38314

36715

36590

36479

表一仅显示焊缝一600个数值中的10个数值；获取每条直线600个点云高度中最大值对应的坐标，

表二

33245

33268

33375

33421

37386

37556

37962

35310

35103

34963

表二仅显示焊缝二600个数值中的10个数值；获取每条直线600个点云高度中最大值对应的坐标，

从表一中查找出得到焊缝一的焊道多个最高点的坐标，如表三所示，

表三

x	99	100	101	102	103	104	105	106	107
										y	1026	1026	1026	1026	1026	1026	1026	1026	1026

从表二中查找出得到焊缝二的焊道多个最高点的坐标，如表四所示，

表四

x	85	86	87	88	89	90	91	92	93
										y	983	983	983	983	983	983	983	983	983

表三和表四仅表示部分最高点坐标。

根据焊道多个最高点的坐标进行基于最小二乘法原理的拟合直线，得到焊道直线，如图2所示，根据焊道直线往左扩大100像素，往右扩大100像素，得到一个矩形，该矩形为焊道检测初定位区域，如图3所示，减少图像无效区域以及干扰；

S3、根据图像点云信息，对图像焊道初定位区域提取点云轮廓线，得到焊道标准点云轮廓线；获取垂直于焊道方向20条长度为200像素的线段，获取每条线段对应点云图像的200个高度值，组成20个数组，从而得到20条点云轮廓线，如图4所示，因为篇幅有限，图4仅显示20条轮廓线中的前5条轮廓线，并取20条轮廓线对应位置的中位数组成一条新的标准点云轮廓线，20条轮廓线对应位置的200个中位数，如表五、表六所示，表五仅显示焊缝一的200个中位数的前10个数值；表六仅显示焊缝二的200个中位数的前10个数值；标准的点云轮廓线如图5所示；

表五

35942

35948

35988

36000

36015

36025

36121

36120

36157

36218

表六

35632

35752

35861

35891

35963

35995

36094

36109

36114

36127

S4、根据图像点云信息，在图像焊道初定位区域中，获取垂直于焊道方向每一条轮廓线，记录点云轮廓线数量为num，得到num条待测点云轮廓线；

S5、将待测点云轮廓线与标准点云轮廓线做对比，判断其差异值是否大于设置的阈值，若是，则焊接产品判为是有缺陷的产品，若否，判断循环次数n是否小于待测点云轮廓线的数量num，若是，则焊接产品判为合格产品，若否，返回S5；首先平移待测点云轮廓线，使得待测点云轮廓线的最高点与标准点云轮廓线的最高点进行重合，得到两条重合的点云轮廓线，计算待测点云轮廓线与标准点云轮廓线对应点高度差，如表七所示为焊缝一中的两轮廓线高度差，如表八所示为焊缝二中的两轮廓高度差，对高度差求平方和，然后再求平均，得到两条轮廓线的差异值，若差异值大于15万，则焊接产品判为是有缺陷的产品，若否，判断循环次数n是否小于待测点云轮廓线的数量num，若是，则焊接产品判为合格产品，若否，返回S5；由表九可知，焊缝一的差异值大于15万，焊缝二的差异值小于15万，则产品一为缺陷产品；焊缝一两条未重合的轮廓线如图6所示，焊缝一两条重合的轮廓线如图7所示，焊缝二两条未重合的轮廓线如图8所示，焊缝二两条重合的轮廓线如图9所示。表七

横轴	0	1	...	80	81	...	197	198	199
										纵轴	12	8	...	-1592	-1620	...	1764	1752	1863

表八

横轴	0	1	...	80	81	...	197	198	199
										纵轴	309	296	...	-5	2	...	35	49	62

表九

	产品一	产品二
			差异值	156900	39260

其中计算每条点云轮廓线与标准点云轮廓线对应点高度差的平方和的公式如下所示：

。

本发明相当于沿着焊缝从上到下扫描其点云轮廓线，作为待测点云轮廓线，再利用待测点云轮廓线与标准的点云轮廓线做对比，以轮廓直接比对，避免计算体积导致的误差例如：出现前粗后细的情况时，从上到下，其轮廓差异比较大，待测点云轮廓线的高度由小变大，同时待测点云轮廓线的宽度也会从小到大，与标准的点云轮廓线做对比马上就能检测出差异，不会出现误判；又例如出现左粗右细的情况时，从上到下，其轮廓差异虽然不大，但是其待测点云轮廓线整体是左高右低，与标准的点云轮廓线做对比也是马上就能检测出差异，不会出现误判。

本发明检测的是焊缝的缺陷，在焊接时由于焊条的成分以及焊接温度不可能每时每刻都相同，不管是人工焊接还是机器焊接在焊接运动过程中总会发生振动，因此导致焊缝的形状不是标准统一的，因此并不能预先得知标准轮廓是怎么样的，因此通过步骤S3，求出该焊缝的标准的点云轮廓线作为参照，使得即使是不同材料之间的焊接，或者不同方式的焊接，只要产生了焊缝，都能用本发明的方法来获得其对应的标准的点云轮廓线。本发明以待测点云轮廓线与标准的点云轮廓线做对比找差异，即以轮廓直接比对找差异，避免计算体积导致的误差，使得检测更加准确

在本申请几个实施例中，应当理解到，所揭露的焊缝质量检测方法和装置，也可以通过其它的方式实现，而以上所描述的焊缝质量检测装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。此外，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以并行地执行，它们有时也可以按相反的顺序执行，这将根据所涉及的功能而定。还应当注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。此外，在本申请每个实施例中，各功能模块可以集成在一起形成一个独立的部分，也可以是每个模块单独存在，也可以多个模块集成形成一个独立的部分。

此外，所述功能如果以软件功能模块的形式实现，并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请每个实施例所述方法的全部或部分步骤。

还需要说明的是，在本申请文件中，诸如“第一”、“第二”、“第三”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (6)

1.一种基于点云信息的焊接缺陷检测方法，其特征是，包括以下步骤：

S1，使用3D相机采集焊道的点云图像，所述点云图像包括点和点对应的数值，所述数值代表是物体高度值，并对点云图像进行预处理，得到有效点云图像；

S2，从有效点云图像中选取焊道检测初定位区域；

S3，在焊道检测初定位区域内作垂直焊道的若干等距等长的线段，所述线段上对应有若干点，在焊道检测初定位区域内从左到右沿线段的垂直方向记录各线段的点对应的高度值，并找出处于中位数的高度值，将所有处于中位数的高度值拟合成标准的点云轮廓线；

S4，在焊道检测初定位区域内获得每条线段对应的点云轮廓线，记录点云轮廓线数量为num，得到num条待测点云轮廓线；

S5，平移待测点云轮廓线，使得待测点云轮廓线的最高点与标准点云轮廓线的最高点进行重合，计算待测点云轮廓线与标准点云轮廓线对应点高度差，对高度差求平方和，然后再求平均，得到两条轮廓线的差异值，根据差异值判断产品是否存在缺陷。

2.根据权利要求1所述的一种基于点云信息的焊接缺陷检测方法，其特征是，所述S2具体包括以下步骤：从有效点云图像中作垂直焊道的若干等距等长的线段，所述线段上对应有若干点，提取所有线段对应高度值最高的点拟合成直线，得到焊道直线，沿焊道直线作一定距离的左右对称线段，并连接左右对称线段的上下端点，获得焊道检测初定位区域。

3.根据权利要求2所述的一种基于点云信息的焊接缺陷检测方法，其特征是，拟合直线的过程如下：获得所有线段对应高度值最高的点的坐标，根据坐标进行基于最小二乘法原理的拟合直线。

4.根据权利要求1所述的一种基于点云信息的焊接缺陷检测方法，其特征是，所述S1中对点云图像进行预处理包括对原始点云图像进行增强处理、图像去噪处理、图像分割处理及图像差分处理中的一种或几种。

5.根据权利要求1所述的一种基于点云信息的焊接缺陷检测方法，其特征是，所述S5具体包括以下步骤：将待测点云轮廓线与标准点云轮廓线做对比，判断其差异值是否大于设置的阈值，若是，则焊接产品判为是有缺陷的产品，若否，判断循环次数n是否小于待测点云轮廓线的数量num，若否，则焊接产品判为合格产品，若是，返回S5。

6.根据权利要求1所述的一种基于点云信息的焊接缺陷检测方法，其特征是，计算每条待测点云轮廓线与标准点云轮廓线对应点高度差的平方和的公式如下所示：

；

其中：y_i是待测点云轮廓线上的第i点的高度值，y_j是标准点云轮廓线上的对应待测点云轮廓线上的第i点的高度值。

Images