CN111667462B - 一种焊接缺陷中弱小目标的自动检测方法与系统 - Google Patents

Abstract

本发明公开了一种焊接缺陷中弱小目标的自动检测方法与系统，包预定位步骤，将待检测对象及其强信息前景与弱信息背景进行分割，利用形态学灰度重建对图像进行前景和背景的初次分割，然后利用轮廓的差分特性得到待检测对象的边缘以进行二次分割，进而对获取到的检测对象通过均值偏离法得到种子点并在种子点上利用区域生长法最终得到弱小缺陷目标。最后通过实验验证，本文提出的检测系统对于焊接缺陷中弱小目标的检测是有效的。

Description

一种焊接缺陷中弱小目标的自动检测方法与系统

技术领域

本发明涉及自动检测系统技术领域，具体为一种焊接缺陷中弱小目标的自动检测方法与系统。

背景技术

焊接是器件连接和构建的重要手段，焊接的好坏对于器件使用寿命、工作性能等有着直接的影响，进而影响到系统的应用和人们的生活体验，因此，对焊接过程中出现的缺陷问题，尤其是对器件的刚性连接起重要作用的焊缝缺陷进行检测有极强的现实意义。

目前检测方法主要有超声、射线、磁粉和涡流检测等，这些方法在保证焊接质量方面起到重要作用，但也存在一定的局限性，例如超声和涡流检测难以对焊接缺陷直观成像；磁粉检测主要限于表面缺陷的检测，但对工件表面要求严格；射线检测通过实时成像方法利用图像处理技术进行焊接缺陷检测，其结果直观、易于发现体积型缺陷，现有一种基于模拟图像背景缺陷识别方法，通过射线数字化图像进行噪声抑制，利用模拟图像背景获得前景图像，再对前景图像进行图像分割从而提取缺陷目标，该方法给出了一种低信噪比，背景较均匀情况下的缺陷检测途径，但对欠均匀背景的缺陷检测效果有限，且射线图像噪声强、对比度低，尤其是存在射线检测对人体有害等问题，针对复杂背景下弱小目标检测问题，本发明提出一种逐层分割的方法，利用形态学重构、轮廓差分特性、偏离均值特性和区域生长法逐层分割并最终标定弱小缺陷目标，本方法在功能实现上借助LabVIEW强大测试与测量、图像处理能力，结合其开发周期短、调试效率高的优点，合并开发了一种基于LabVIEW的自动检测系统，并利用本设计系统对金属链条焊接处的弱小焊缝缺陷进行了检测。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种焊接缺陷中弱小目标的自动检测方法与系统，解决了现有焊接缺陷检测方法存在的误报，焊接缺陷检测有效性差的问题。

(二)技术方案

本发明公开了一种焊接缺陷中弱小目标的自动检测方法，包括：

预定位步骤，将待检测对象及其强信息前景与弱信息背景进行分割，形态学灰度重建对图像进行前景和背景的初次分割；

二次分割步骤，利用光源的边缘信息和检测对象的边缘信息进行二次分割进行二次分割以得到更小范围的检测区域，

缺陷检测和标记步骤，在得到检测对象的基础上锁定感兴趣区域，即利用局部特征将待检测对象分成若干部分，基于焊接实验对象中间孔洞特征实现的区块分割；用种子点的获取来确定潜在的缺陷，表面的焊缝缺陷即灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷并标记。

更进一步，预定位步骤：

设置双光源，检测对象位于光源之间进行检测，将光源与检测对象作为一个整体，加大背景区分度，将光源及待检测对象整体看作一个前景进行预分割；

通过预分割将其与对应的弱信息背景分割开；基于形态学重构对于图像中灰度值相近的区域进行灰度均衡化处理，选择阈值进行分割。

更进一步，预定位步骤：

形态学重构由如下迭代过程定义：

(1)将h₁初始化为标记图像J；

(2)创建结构元素：b；

(3)重复

直到h_k+1＝h_k；

设I，J是定义在同一离散域D上的灰度图像，值域是离散集合{0,1,L,N-1}且：

即

则I称为掩模图像，J称为标记图像，p为图像中像素，

表示离散域D中任意像素，属于图像J的像素都隶属于图像I；h₁为标记图像J，h_k为第k次迭代后的标记图案；由标记图像J对掩模图像I的重构图像γ(J,I)是图像I中连通部分的并集，这些连通部分与J的交集非空，即：

γ(J)(p)＝max{k∈[0,1,L,N-1]|p∈γ(T_k(J))} (1)

其中[0,1,L,N-1]表示N个离散灰度等级集合，T_k(·)表示图像J中大于灰度值k像素组成的连通集合，公式1表示的是最大化特定灰度值对应的连通区域集合。

更进一步，二次分割步骤，利用光源的边缘信息和检测对象的边缘信息进行二次分割；

环形光源对射补光，采集图像经过分割后的二值化前景包括光源和检测对象，利用下式得到边缘的变化趋势：

d_x＝I_x+1-I_x，d_y＝I_y+1-I_y (3)

其中f_i,j为图像坐标(i，j)的像素值，m，n为图像的宽高数，I_x表示图像的第x列，d_x表示图像第x列的差分，同理I_y和d_y；由此可以得到边缘的变化趋势，对于光源与待检测对象交叠的图像，由于光源规则的几何特性和待检测对象的一致性导致边缘的呈现清晰的差分特性；通过一致性的跳变得到光源与待检测对象的分割边缘，通过波形差分跳变得到边缘信息；两个强烈的峰值得到带检测对象上下外部边缘信息，同理可以通过列扫描得到带检测对象的左右内部边缘信息，利用该信息将待检测对象与光源分割开来实现二次分割。

更进一步，缺陷检测和标记步骤：

利用局部特征将待检测对象分成若干部分，利用焊接实验对象中间孔洞特征实现的区块分割；

用种子点的获取来确定潜在的缺陷源，表面的焊缝缺陷局部区域的灰度值的急剧下降，利用这一特性将灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷；焊接缺陷(焊缝)处的灰度值急剧下降，而缺陷周边的强度值较为均匀，这使得以该区域作为种子点开始区域生长易于收敛于缺陷边缘；相对的，由于工件表面平整度、光源等问题也会出现采集图像出现显著偏离均值点的异常种子点，这类种子点在生长过程中会以种子点为起始点生长成局部的区域块，这一连续的区块显著偏离缺陷缝隙的特征；利用这种方法，即通过搜寻显著偏离区域均值的点作为种子点集合，再通过种子点生长确定缺陷，最终确定并标记缺陷。

更进一步，其具体算法如下：

1、设种子点集合

计算该分割区域的灰度平均值

2、对于任意像素点x_i,j若满足不等式：

f_i,j-μ＜ε₁ (5)

则S＝SU{x_i,j}并令f_i,j＝255，否则f_i,j＝0，得到候选种子点集合和对应图像；

3、对候选种子点图像计算Area_k，若Area_k＞ε₂，则

S＝SI{x_i′,j′},x_i′,j′∈Area_k

即保留满足一定连通面积的种子点作为有效种子点集合；

4、选取有效种子点集合像素点x_i,j为中心，判断其8邻域像素是否满足不等式：

|f_i″,j″-f_i,j|＜ε₃ (6)

若满足，则S＝SU{x_i″,j″}；否则，停止该方向上的生长；循环该步，直至所有种子点生长完毕；

其中m,n为图像宽高，f_i,j为像素点x_i,j的像素值，f_i″,j″为像素点x_i,j的8邻域像素值，ε₁、ε₂、ε₃为设定阈值，Area_k为候选种子点图像中连通区域的面积。

本发明提出了一种检测系统，包括台架、工业相机、上位机、光源、焊接工件和工件运动控制装置，所述工件运动控制装置与光源均位于台架的顶部，并且焊接工件的一端穿过光源且位于工件运动控制装置的顶部，其特征在于：所述光源位于台架的顶部设置有两个，对射补光，并且工业相机位于两个光源之间的上方，所述台架的顶部与工件运动控制装置的底部固定连接，所述工件运动控制装置的一侧固定连接有电机，并且电机与工件运动控制装置之间通过皮带传动连接，所述上位机采集到接收图像后处理识别焊接缺陷中弱小目标。

(三)有益效果

(1)本发明通过多次分割，能够快速缩小检测范围，提高检测效率。

(2)本发明利用光源的边缘信息和检测对象的边缘信息进行二次分割，利用工件表面平整度、光源等问题种子点在生长过程中会以种子点为起始点生长成局部的区域块标记缺陷与焊接缺陷区分，实现精确标记。

附图说明

图1为本发明焊接缺陷中弱小目标的自动检测系统结构的示意图；

图2为本发明自动检测系统检测方法的流程图；

图3为本发明光源与待检测对象交叠的图像；

图4为行扫描边缘信息波形示意图；

图5为本发明光源与待检测对象交叠的图像差分特性的示意图；

图6为本发明形态学重构的示意图；

图7为本发明重构及二值化与分割效果的示意图；

图8为本发明二值化图像及其条带信息的示意图；

图9为本发明链柱分割及种子点获取的示意图；

图10为本发明种子点及其区域生长的示意图；

图11为本发明焊接缺陷标记的示意图；

图12为本发明焊接缺陷区域的放大图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种技术方案：

如图1所示，一种焊接缺陷中弱小目标的自动检测系统，包括台架、工业相机、上位机、光源、焊接工件和工件运动控制装置，工件运动控制装置与光源均位于台架的顶部，并且焊接工件的一端穿过光源且位于工件运动控制装置的顶部，台架的顶部与工件运动控制装置的底部固定连接，工件运动控制装置的一侧固定连接有电机，并且电机与工件运动控制装置之间通过皮带传动连接，光源位于台架的顶部设置有两个，并且工业相机位于两个光源之间的上方，上位机采集到接收图像后，利用LabVIEW平台同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

如图2所示流程图，焊接缺陷检测的目的是将缺陷部分从采集的图像中提取出来，是一个图像分割问题。针对弱小焊缝检测问题考虑一种逐层分割方法实现目标检测任务。首先，将待检测对象及其强信息前景(如光源)与弱信息背景进行分割，完成初步分割实现检测对象的预定位；然后，通过具体检测目标的相关特征进行二次分割以得到更小范围的检测区域，进一步的，在得到检测对象的基础上锁定感兴趣区域，最后对感兴趣区域进行检测判断是否存在缺陷并标记。

一种焊接缺陷中弱小目标的自动检测系统检测方法，具体包括以下步骤：

S1、预定位

焊接缺陷检测中，为了能有效地获取目标图像，利用辅助光源对目标对象补光是个重要的环节，这虽然有利于目标检测，但是也引入了背景噪声，且光源本身也易于一定程度上出现在采集的图像中，由于光源与检测对象作为一个整体与背景有较强的区分度，因此可以将光源及待检测对象整体看作一个前景进行预分割，通过预分割将其与对应的弱信息背景分割开。在这里形态学重构由于其灰度平滑特性能对于图像中灰度值相近的区域进行灰度均衡化处理，这使得前景和背景在灰度值上容易出现较好的分割特性。利用这一特性通过灰度形态学重构，选择适当的阈值容易得到较好的分割效果，如下图，通过形态学重构较为容易的将图像中建筑从复杂背景中整体分割出来，进而易于后续的二次处理目的。

本发明中，步骤S1中，形态学重构由如下迭代过程定义：

(1)将h₁初始化为标记图像J；

(2)创建结构元素：b；

(3)重复

直到h_k+1＝h_k。

设I，J是定义在同一离散域D上的灰度图像，它们的值域是离散集合{0,1,L,N-1}且：

即

则I称为掩模图像，J称为标记图像。由标记图像J对掩模图像I的重构图像γ(J,I)是图像I中一些联通部分的并集，这些连通部分与J的交集非空，即：

γ(J)(p)＝max{k∈[0,1,L,N-1]|p∈γ(T_k(J),T_k(I))} (1)

其中T_k(·)表示对灰度图像以阈值k进行二值化得到的二值图像，如图6所示。

S2、二次分割

通过形态学重构将前景与背景进行预分割，预分割后需要进一步利用所得前景的特征信息进行二次分割以进一步缩小检测范围，从而更有效的检测缺陷。由于预分割过程是将前景部分整体分割出来，因此光源通常也作为前景共同分割出来，可以利用光源的边缘信息和检测对象的边缘信息进行二次分割。本系统实验环境使用的是环形光源对射补光，因此利用其条带区域特征来解决该问题。以图1对应的工程案例(环形光对射补光)，采集图像经过分割后的二值化前景包括光源和检测对象，利用公式2和公式3得到边缘的变化趋势：

公式d_x＝I_x+1-I_x，d_y＝I_y+1-I_y (3)

其中f_i,j为图像坐标(i，j)的像素值，m，n为图像的行列数，得到边缘的变化趋势，对于光源与待检测对象交叠的图像，其行扫描边缘信息波形如图4所示，由于光源规则的几何特性和待检测对象的一致性导致边缘的呈现清晰的差分特性，如图5(图4和图5的坐标表示图形的尺寸大小)，图5为图6的差分图像，通过一致性的跳变可以得到光源与待检测对象的分割边缘，通过波形差分跳变得到边缘信息，如图5所示，两个强烈的峰值可以得到带检测对象上下外部边缘信息，同理可以通过列扫描得到带检测对象的左右内部边缘信息，利用该信息将待检测对象与光源分割开来实现二次分割。这里将其称为条带区域特征分析法。

S3缺陷检测和标记

利用以上方法可以将检测区域约束至更小范围，以便于最终的弱小目标检测目的。在小范围检测过程中，进一步利用局部特征将待检测对象分成若干部分，这里的局部特征可以是分割图像的宽高比，面积，圆形度等(本文利用焊接实验对象中间孔洞特征实现的区块分割)。进一步分割后的区块利用种子点的获取来确定潜在的缺陷源，这是由于表面的焊缝缺陷(即使是弱小缺陷目标)表现为局部区域的灰度值的急剧下降，利用这一特性将灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷。焊接缺陷(焊缝)处的灰度值急剧下降，而缺陷周边的强度值较为均匀，这使得以该区域作为种子点开始区域生长易于收敛于缺陷边缘。相对的，由于工件表面平整度、光源等问题也会出现采集图像出现显著偏离均值点的异常种子点，这类种子点在生长过程中会以种子点为起始点生长成局部的区域块，这一连续的区块显著偏离缺陷缝隙的特征。利用这种方法，即通过搜寻显著偏离区域均值的点作为种子点集合，再通过种子点生长确定缺陷，最终确定并标记缺陷。其具体算法如下：

S3.1设种子点集合

计算该分割区域的灰度平均值

S3.2对于任意像素点x_i,j若满足不等式：

f_i,j-μ＜ε₁ (5)

则S＝SU{x_i,j}并令f_i,j＝255，否则f_i,j＝0，得到候选种子点集合和对应图像；

S3.3对候选种子点图像计算Area_k，若Area_k＞ε₂，则

S＝SI{x_i′,j′},x_i′,j′∈Area_k

即保留满足一定连通面积的种子点作为有效种子点集合；

S3.4选取有效种子点集合像素点x_i,j为中心，判断其8邻域像素是否满足不等式：

|f_i″,j″-f_i,j|＜ε₃ (6)

若满足，则S＝SU{x_i″,j″}；否则，停止该方向上的生长。循环该步，直至所有种子点生长完毕。

其中m,n为图像宽高，f_i,j为像素点x_i,j的像素值，f_i″,j″为像素点x_i,j的8邻域像素值，ε₁、ε₂、ε₃为设定阈值，Area_k为候选种子点图像中连通区域的面积。

实验验证

本发明提出的检测方法以实际工程检测中金属链条焊接过程中存在的焊缝缺陷检测为例验证其有效性。图像采集通过工业相机实现，采集的图像中包括光源、台架、螺母等图像信息，从复杂场景中提取弱小检测目标并最终标定。

采用逐层分割的方法，在原始图图像基础上利用灰度形态学重构完成预分割，其重构及二值化与分割效果如图7，利用条带信息得到待检测对象的上下外部边缘和左右内部边缘实现检测对象的进一步分割，如图8所示，图8的二值化行列扫描图分别反映了分割出前景图像的行列条带信息，其行列差分图像可以清楚地看出主要峰值即对应着检测对象的边缘，利用差分特性得到的峰值信息可以方便的得到待检测对象的图像，进一步利用前文提到的利用焊接对象中间孔洞特征实现的区块分割得到最终检测对象的感兴趣区域，如图9所示；图9中给出了最终检测的链柱，并利用种子点的具体算法得到候选种子点，由于缺陷的显著特征是低灰度值像素区域分布的连续性，即裂痕的延续特性，这表现为种子点的连续性，利用这个特性通过粒子滤波，过滤掉连续区域面积显著小于设定值的点，并利用这些种子点展开区域生长得到最终结果如图10，图10下柱中心焊缝区域；同样，由于工件表面平整度、光源等问题导致的显著偏离均值点作为种子点，会生长成局部的区域块，从而显著偏离缺陷的特征，如图10上下柱绿色线条围起来的区域快，该种子点的生长最终生长区域为链条的较大区域块，这是由于生长过程中候选种子点在其灰度跨度上成长，该跨度将以种子点为起始点的区域平滑地连接起来，在达到跨度的阈值处停止生长，由于非裂痕缺陷区域的灰度跨度平滑使得该类种子点最终成长为较大的连续区域，这与裂痕缺陷显著不一致，从而易于从缺陷中剔除，利用以上方法得到最终的缺陷区域，如图11所示，缺陷区域放大图示如图12。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种焊接缺陷中弱小目标的自动检测方法，其特征在于：

预定位步骤，将待检测对象及其强信息前景与弱信息背景进行分割，形态学灰度重建对图像进行前景和背景的初次分割；

二次分割步骤，利用光源的边缘信息和检测对象的边缘信息进行二次分割以得到更小范围的检测区域；

环形光源对射补光，采集图像经过分割后的二值化前景包括光源和检测对象，利用下式得到边缘的变化趋势：

d_x＝I_x+1-I_x，d_y＝I_y+1-I_y (3)

其中f_i,j为图像坐标(i，j)的像素值，m，n为图像的行列数，I_x表示图像的第x行，d_x表示图像第x行的差分，I_y表示图像的第y列，d_y表示图像第y列的差分；由此可以得到边缘的变化趋势，对于光源与待检测对象交叠的图像，由于光源规则的几何特性和待检测对象的一致性导致边缘呈现清晰的差分特性；通过一致性的跳变得到光源与待检测对象的分割边缘，通过波形差分跳变得到边缘信息；两个强烈的峰值得到带检测对象上下外部边缘信息，同理可以通过列扫描得到带检测对象的左右内部边缘信息，利用上下外部边缘信息和左右内部边缘信息将待检测对象与光源分割开来实现二次分割；

缺陷检测和标记步骤，在得到检测对象的基础上锁定感兴趣区域，即利用局部特征将待检测对象分成若干部分，基于焊接实验对象中间孔洞特征实现的区块分割；用种子点的获取来确定潜在的缺陷，表面的焊缝缺陷即灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷并标记。

2.根据权利要求1所述的焊接缺陷中弱小目标的自动检测方法，其特征在于预定位步骤：

设置双光源，检测对象位于光源之间进行检测，将光源与检测对象作为一个整体，加大背景区分度，将光源及待检测对象整体看作一个前景进行预分割；

通过预分割将其与对应的弱信息背景分割开；基于形态学重构对于图像中灰度值相近的区域进行灰度均衡化处理，选择阈值进行分割。

3.根据权利要求2所述的焊接缺陷中弱小目标的自动检测方法，其特征在于预定位步骤：

形态学重构由如下迭代过程定义：

(1)将h₁初始化为标记图像J；

(2)创建结构元素：b；

(3)重复

直到h_k+1＝h_k；

设I，J是定义在同一离散域D上的灰度图像，值域是离散集合{0,1,…,N-1}且：

即

则I称为掩模图像，J称为标记图像，p为图像中像素，

表示离散域D中任意像素，属于图像J的像素都隶属于图像I；h₁为标记图像J，h_k为第k次迭代后的标记图像；由标记图像J对掩模图像I的重构图像γ(J,I)是图像I中连通部分的并集，这些连通部分与J的交集非空，即：

γ(J)(p)＝max{k∈[0,1,…,N-1]|p∈γ(T_k(J))}(1)

其中[0,1,…,N-1]表示N个离散灰度等级集合，T_k(·)表示图像J中大于灰度值k像素组成的连通集合，公式1表示的是最大化特定灰度值对应的连通区域集合。

4.根据权利要求1所述的焊接缺陷中弱小目标的自动检测方法，其特征在于缺陷检测和标记步骤：

利用局部特征将待检测对象分成若干部分，利用焊接实验对象中间孔洞特征实现的区块分割；

用种子点的获取来确定潜在的缺陷源，表面的焊缝缺陷局部区域的灰度值的急剧下降，利用这一特性将灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷；焊接缺陷，即焊缝处的灰度值急剧下降，而缺陷周边的强度值较为均匀，这使得以该区域作为种子点开始区域生长易于收敛于缺陷边缘；相对的，由于工件表面平整度、光源问题也会出现采集图像出现显著偏离均值点的异常种子点，这类种子点在生长过程中会以种子点为起始点生长成局部的区域块，这一连续的区块显著偏离缺陷缝隙的特征；利用这种方法，即通过搜寻显著偏离区域均值的点作为种子点集合，再通过种子点生长确定缺陷，最终确定并标记缺陷。

5.根据权利要求4所述的焊接缺陷中弱小目标的自动检测方法，其特征在于：所述用种子点的获取来确定潜在的缺陷源，表面的焊缝缺陷局部区域的灰度值的急剧下降，利用这一特性将灰度值显著低于区域均值的点作为种子点，再利用区域生长的方法确定缺陷，具体包括：

1、设种子点集合

计算分割区域的灰度平均值

2、对于任意像素点x_i,j若满足不等式：

f_i,j-μ＜ε₁ (5)

则S＝S∪{x_i,j}并令f_i,j＝255，否则f_i,j＝0，得到候选种子点集合和对应图像；

3、对候选种子点图像计算Area_k，若Area_k＞ε₂，则

S＝S∩{x_i′,j′},x_i′,j′∈Area_k

即保留满足一定连通面积的种子点作为有效种子点集合；

4、选取有效种子点集合像素点x_i,j为中心，判断其8邻域像素是否满足不等式：

|f_i″,j″-f_i,j|＜ε₃ (6)

若满足，则S＝S∪{x_i″,j″}；否则，停止该方向上的生长；循环该步，直至所有种子点生长完毕；

其中m,n为图像行列数，f_i,j为像素点x_i,j的像素值，f_i″,j″为像素点x_i,j的8邻域像素值，ε₁、ε₂、ε₃为设定阈值，Area_k为候选种子点图像中连通区域的面积。

6.一种使用如权利要求1-5任一所述的自动检测方法的检测系统，包括台架、工业相机、上位机、光源、焊接工件和工件运动控制装置，所述工件运动控制装置与光源均位于台架的顶部，并且焊接工件的一端穿过光源且位于工件运动控制装置的顶部，其特征在于：所述光源位于台架的顶部设置有两个，对射补光，并且工业相机位于两个光源之间的上方，所述台架的顶部与工件运动控制装置的底部固定连接，所述工件运动控制装置的一侧固定连接有电机，并且电机与工件运动控制装置之间通过皮带传动连接，所述上位机采集到接收图像后处理识别焊接缺陷中弱小目标。

Images