CN108932713A - 一种基于深度学习的焊缝气孔缺陷自动检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的焊缝气孔缺陷自动检测方法，包括以下步骤：S1、焊缝区域定位，将二维图像转化为一维序列，运用深度学习的方法构建网络模型，确定焊缝边界位置；S2、气孔缺陷识别，利用YOLO网络实现气孔缺陷识别。本发明降低了基于传统图像算法对图像质量以及参数选取的依赖，进一步提升了算法的鲁棒性，从而实现气孔缺陷的自动检测，本发明的检测方法气孔缺陷检测的准确率达到96％以上，并具备良好的时效性。

Description

一种基于深度学习的焊缝气孔缺陷自动检测方法

技术领域

本发明属于管道焊接检测技术领域，特别设计一种基于深度学习的焊缝气孔缺陷自动检测方法。

背景技术

常见的管道气孔焊接缺陷检测技术主要有超声、涡流、红外和X射线检测等。其中X射线检测具备穿透性、无损性等特点，且结果更加直观，因而得到了广泛的应用。但焊接对象、材料和位置的不同，给基于X射线图像的气孔缺陷自动检测造成了一定的难度。

针对此问题，国内外的专家学者进行了深入的研究：

第一种方法，运用混合高斯模型，在一定程度上提高了图像检测速度；

第二种方法，提出改进型Canny算法，克服了伪边缘导致的误检问题；

第三种方法，运用大律法分割图像，较好的抑制了噪声；

第四种方法，运用多类别支持向量机与神经网络，实现了气孔与其他缺陷的区分；

第五种方法，利用融合模糊识别算法，增强了自动识别的稳定性。

但是上述方法离不开复杂的图像预处理，需要手动选取诸多参数，在检测环境发生较大变化时，往往难以有效运行。

发明内容

本发明的目的在于克服现有技术的不足，提供一种降低了基于传统图像算法对图像质量以及参数选取的依赖，进一步提升了算法的鲁棒性，气孔缺陷检测的准确率达到96％以上，并具备良好的时效性的基于深度学习的焊缝气孔缺陷自动检测方法。

本发明的目的是通过以下技术方案来实现的：一种基于深度学习的焊缝气孔缺陷自动检测方法，包括以下步骤：

S1、焊缝区域定位，将二维图像转化为一维序列，运用深度学习的方法构建网络模型，确定焊缝边界位置；

S2、气孔缺陷识别，利用YOLO网络实现气孔缺陷识别。

进一步地，所述步骤S1中构建网络模型包括以下子步骤：

S11、运用LSTM网络对序列特征进行提取，得到序列的特征表达；

S12、将LSTM网络提取到的特征送入dropout层做随机置零处理；

S13、将S12处理后的特征传递给全连接层，全连接层输出区域边界的预测值分别为与对比区域边界真实值H₁与H₂，构造损失函数L如(1)式所示：

式中，代表预测值与真实值的差异，为正则化项；

S14、利用Adam优化器对网络进行训练，使损失函数最小化，得到具备焊缝区域的定位功能的网络模型。

进一步地，所述步骤S2包括以下子步骤：

S21、将焊缝区域图像划分为M×N个小格，N为M的4倍，将焊缝区域图像送入YOLO网络的卷基层，得到图像特征；

S22、将步骤S21得到的图像特征送入全连接层，生成M×N×5的三维预测数组P；

S23、预设人工标定基准数组R，基准数组R的尺寸与P相同，其标定规则为：若图像中i行j列小格中存在焊缝气孔缺陷，则R_ij1、R_ij2分别为气孔中心点横坐标、纵坐标，R_ij3、R_ij4分别为气孔的长度和宽度，R_ij5＝1；若图像i行j列小格中不存在缺陷，则R_ij1、R_ij2、R_ij3、R_ij4、R_ij5皆为0；

S24、比对预测数组P与基准数组R，构造损失函数L：

损失函数L由气孔中心点横纵坐标预测误差、气孔长宽信息预测误差、有缺陷时的概率预测误差以及无缺陷时的概率预测误差四部分组成，λ_coord，λ_obj，λ_noobj为其权值参数；为取反运算符，如果R_ij5为1，那么为0；若R_ij5为0，则为1；

S25、通过反向传播训练深度卷积网络与全连接网络；训练使得三维数组P向基准数组R靠近，采用P_ij5表征对应小格存在气孔缺陷的概率，P_ij1、P_ij2、P_ij3、P_ij4分别成为气孔缺陷的横坐标、纵坐标、长度、宽度的预测值；

S26、将数组P转换为气孔缺陷定位框；将三维数组P展开成M×N行，设置概率阈值p_throat进行筛选，去除P_ij5＜p_throat的行，然后根据保留下的行中的P_ij1、P_ij2、P_ij3和P_ij4绘制气孔缺陷定位框；全部气孔缺陷定位框绘制完成后，即实现了气孔缺陷的识别工作。

本发明的有益效果是：本发明的检测方法降低了基于传统图像算法对图像质量以及参数选取的依赖，进一步提升了算法的鲁棒性，从而实现气孔缺陷的自动检测，本发明的检测方法气孔缺陷检测的准确率达到96％以上，并具备良好的时效性。

附图说明

图1为本发明的基于深度学习的焊缝气孔缺陷自动检测方法的流程图；

图2为本发明的基于深度学习的焊缝气孔缺陷示意图；

图3为本发明的序列与焊缝区域边界关系曲线图；

图4为本发明的构建的区域定位网络结构图；

图5为本发明的YOLO目标检测网络工作过程图；

图6为本发明的数组P转换为气孔缺陷定位框的转化过程图；

图7为本实施例的损失函数与迭代次数的关系；

图8为本实施例的训练集损失函数随训练周期的变化情况图；

图9为本实施例的网络预测的区域边界图；

图10为本实施例得到的YOLO目标检测网络共检测缺陷的效果图。

具体实施方式

本发明针对X射线图像存在对比度低、图像质量不一致等问题，发明了一种基于深度学习的焊缝气孔缺陷定位方法。方法首先借助LSTM网络提取焊缝缺陷区域，缩小检测范围，然后运用YOLO目标检测网络，在焊缝区域内定位气孔缺陷。

下面结合附图进一步说明本发明的技术方案。如图1和图2所示，一种基于深度学习的焊缝气孔缺陷自动检测方法，包括以下步骤：

S1、焊缝区域定位，将二维图像转化为一维序列，运用深度学习的方法构建网络模型，确定焊缝边界位置；

图2从左到右依次为焊缝X射线检测图像、焊缝区域定位图像和气孔缺陷提取图像。从图2中可以看出，焊缝区域只占X射线图片30％，剩余70％为无效区域。因此需要在原始图像中定位焊缝区域，从而减少计算面积，提升计算效率。为降低处理复杂度，采用降维处理的思路，先将二维图像转化为一维序列，然后通过分析序列特征，求解出焊缝区域边界位置。为描述方便，设垂直焊缝的方向为x方向，构造x方向灰度均值序列v_x，序列曲线如图3所示。从图中可以看出，通过一定规则可由序列曲线得到焊缝边界的位置，如“边界多出现于曲线斜率绝对值较大的地方”、“左侧边界出现在曲线第二个极小值附近”等等。

为具备更强的适应性，本发明运用深度学习的方法，构建网络去自动学习并处理上述规则，从而确定焊缝边界位置。构建的网络如图4所示，构建网络模型包括以下子步骤：

S11、运用LSTM网络对序列特征进行提取，得到序列的特征表达；LSTM网络克服了传统递归神经网络梯度弥散、梯度消失等问题，能有效地对序列长远上下文信息进行分析，进而得到高品质的特征表达；

S12、将LSTM网络提取到的特征送入dropout层做随机置零处理，目的是防止过拟合；

S13、将S12处理后的特征传递给全连接层，全连接层输出区域边界的预测值分别为与对比区域边界真实值H₁与H₂，构造损失函数L如(1)式所示：

式中，代表预测值与真实值的差异，为正则化项；

S14、利用Adam优化器对网络进行训练，使损失函数最小化，得到具备焊缝区域的定位功能的网络模型。

S2、气孔缺陷识别，利用YOLO网络实现气孔缺陷识别；通过1焊缝区域定位。已经在X摄像图片中找到了焊缝区域，缩小了检测范围。接下来是在该范围内定位气孔缺陷。考虑到不同于常规的目标检测任务，焊缝区域图像长宽差异大，且检测目标单一。因此对YOLO网络中的分格策略进行了修改，确保算法能够接受长方形图像，并去除分类种类对损失函数的影响，以适应气孔缺陷检测目标单一这一特点。修改后的YOLO目标检测网络工作过程如图5所示，通过迭代S21、S22、S23、S24、S25五步操作实现网络训练，训练完毕后，通过S21、S22、S26三步操作实现从图像到气孔缺陷定位框的端对端输出，下面将对每一步操作进行解释：

S21、将焊缝区域图像划分为M×N个小格，N为M的4倍，将焊缝区域图像送入YOLO网络的卷基层，得到图像特征；

S22、将步骤S21得到的图像特征送入全连接层，生成M×N×5的三维预测数组P；

S23、预设人工标定基准数组R，基准数组R的尺寸与P相同，其标定规则为：若图像中i行j列小格中存在焊缝气孔缺陷，则R_ij1、R_ij2分别为气孔中心点横坐标、纵坐标，R_ij3、R_ij4分别为气孔的长度和宽度，R_ij5＝1；若图像i行j列小格中不存在缺陷，则R_ij1、R_ij2、R_ij3、R_ij4、R_ij5皆为0；

S24、比对预测数组P与基准数组R，构造损失函数L：

损失函数L由气孔中心点横纵坐标预测误差、气孔长宽信息预测误差、有缺陷时的概率预测误差以及无缺陷时的概率预测误差四部分组成，λ_coord，λ_obj，λ_noobj为其权值参数；为取反运算符，如果R_ij5为1，那么为0；若R_ij5为0，则为1；

S25、通过反向传播训练深度卷积网络与全连接网络；训练使得三维数组P向基准数组R靠近，采用P_ij5表征对应小格存在气孔缺陷的概率，P_ij1、P_ij2、P_ij3、P_ij4分别成为气孔缺陷的横坐标、纵坐标、长度、宽度的预测值；

S26、将数组P转换为气孔缺陷定位框；转化过程如图6所示；首先将三维数组P展开成M×N行，设置概率阈值p_throat进行筛选，去除P_ij5＜p_throat的行，然后根据保留下的行中的P_ij1、P_ij2、P_ij3和P_ij4绘制气孔缺陷定位框；全部气孔缺陷定位框绘制完成后，即实现了气孔缺陷的识别工作。

下面通过具体实施例进一步说明本发明的检测原理。

数据集：

选用150张天燃气管道X射线无损检测图片，来源于中国工程物理研究院应用电子学研究所、国家X射线数字化仪器中心。随机选取100张图片做为训练样本，50张图片作为测试样本。人工标定每张图片焊缝区域的边界位置H₁，H₂，并标定YOLO目标检测算法中的基准三维数组R。

运用服务器对深度神经网络进行训练，服务器CPU采用英特尔Xeon E5-26200V4，主频2.1Ghz；GPU采用英伟达GTX1080Ti，具备11GB显存。在Linux操作系统下，区域定位网络、YOLO目标检测网络分别部署于pytorch框架与darknet框架下，利用通用并行计算架构(CUDA)进行加速。

网络训练：

对于区域定位网络，设置LSTM网络隐藏层神经元个数为256，损失函数中正则化权重λ＝0.005，Adam优化器的学习速率为0.001，一阶矩估计的指数衰减率0.9，二阶矩估计的指数衰减率0.999，dropout层的置零率为0.5。采用批梯度下降法进行训练，损失函数与迭代次数的关系如图7所示，从图中可以看出，虽然训练集损失函数不断下降，但测试集损失函数在150次迭代后基本不变，因此我们选择此时结束训练并保存参数。

在YOLO目标检测网络中，设置训练动量为0.9，并动态设置学习速率，其初始为0.001，在100次迭代后将学习速率缩减至原先的10％。训练集损失函数随训练周期的变化情况如图8所示，由于损失函数在8000次迭代后变化较小，我们选择在此时保存网络参数并停止训练。

气孔缺陷定位实验：

利用训练好的区域定位网络，对测试集50张X射线图像进行焊缝区域定位。网络预测的区域边界如图9所示，可见其定位精度与人眼观测精度接近。经统计，区域的平均交并率(IoU)为94.46％，单张图像焊缝区域定位时间平均为6ms。

焊缝区域得到定位后，利用训练好的YOLO目标检测网络，在区域内对气孔缺陷进行识别。取置信度阈值p_throat＝0.5，YOLO目标检测网络共检测缺陷61处，效果如图10所示。经统计，网络正确检测气孔缺陷60处，漏检1处，误检1处，准确率为96.77％。单张图像气孔定位时间平均为76ms，具备较好的时效性。

实验结果表明，方法气孔缺陷检测的准确率达到96％以上，并具备良好的时效性。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于深度学习的焊缝气孔缺陷自动检测方法，其特征在于，包括以下步骤：

S1、焊缝区域定位，将二维图像转化为一维序列，运用深度学习的方法构建网络模型，确定焊缝边界位置；

S2、气孔缺陷识别，利用YOLO网络实现气孔缺陷识别。

2.根据权利要求1所述的一种基于深度学习的焊缝气孔缺陷自动检测方法，其特征在于，所述步骤S1中构建网络模型包括以下子步骤：

S11、运用LSTM网络对序列特征进行提取，得到序列的特征表达；

S12、将LSTM网络提取到的特征送入dropout层做随机置零处理；

S13、将S12处理后的特征传递给全连接层，全连接层输出区域边界的预测值分别为与对比区域边界真实值H₁与H₂，构造损失函数L如(1)式所示：

式中，代表预测值与真实值的差异，为正则化项；

S14、利用Adam优化器对网络进行训练，使损失函数最小化，得到具备焊缝区域的定位功能的网络模型。

3.根据权利要求2所述的一种基于深度学习的焊缝气孔缺陷自动检测方法，其特征在于，所述步骤S2包括以下子步骤：

S21、将焊缝区域图像划分为M×N个小格，N为M的4倍，将焊缝区域图像送入YOLO网络的卷基层，得到图像特征；

S22、将步骤S21得到的图像特征送入全连接层，生成M×N×5的三维预测数组P；

S23、预设人工标定基准数组R，基准数组R的尺寸与P相同，其标定规则为：若图像中i行j列小格中存在焊缝气孔缺陷，则R_ij1、R_ij2分别为气孔中心点横坐标、纵坐标，R_ij3、R_ij4分别为气孔的长度和宽度，R_ij5＝1；若图像i行j列小格中不存在缺陷，则R_ij1、R_ij2、R_ij3、R_ij4、R_ij5皆为0；

S24、比对预测数组P与基准数组R，构造损失函数L：

损失函数L由气孔中心点横纵坐标预测误差、气孔长宽信息预测误差、有缺陷时的概率预测误差以及无缺陷时的概率预测误差四部分组成，λ_coord，λ_obj，λ_noobj为其权值参数；为取反运算符，如果R_ij5为1，那么为0；若R_ij5为0，则为1；

S25、通过反向传播训练深度卷积网络与全连接网络；训练使得三维数组P向基准数组R靠近，采用P_ij5表征对应小格存在气孔缺陷的概率，P_ij1、P_ij2、P_ij3、P_ij4分别成为气孔缺陷的横坐标、纵坐标、长度、宽度的预测值；

S26、将数组P转换为气孔缺陷定位框；将三维数组P展开成M×N行，设置概率阈值p_throat进行筛选，去除P_ij5＜p_throat的行，然后根据保留下的行中的P_ij1、P_ij2、P_ij3和P_ij4绘制气孔缺陷定位框；全部气孔缺陷定位框绘制完成后，即实现了气孔缺陷的识别工作。