CN116228682A - 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法 - Google Patents

Abstract

本发明所提供的一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，由基础卷积网络层和多个分类分支组成，与传统卷积神经网络相比，本发明利用多个分类分支进行缺陷识别，并且分类分支通过分类分支生成器自适应地产生，首先，基础卷积网络层对缺陷初步分类后，得到每个缺陷种类下的错误率，然后按照错误率从高到低的顺序合并缺陷种类，接着根据合并的缺陷种类的数量生成分类分支，最后利用分类分支对合并缺陷做进一步分类，模型利用基础卷积网络层和分类分支对图像中缺陷种类进行两次分类，能有效提高模型的准确率。

Description

一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法

技术领域

本发明涉及管道焊缝缺陷识别技术和深度学习技术领域，尤其涉及一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法。

背景技术

焊缝中的缺陷识别对评估焊接质量很重要。目前，缺陷识别的常见方式是利用射线照相技术进行无损检测，并且人工地对射线底片中是否存在缺陷进行评估。然而，随着工业的发展，人工评估的效率无法满足工业上的需要，因此，利用计算机视觉对焊缝射线图像进行智能评估，辅助人工评估任务变得有意义。智能评估的模型包括传统模型和深度神经网络模型，传统的模型根据缺陷特点选择特征描述算子对特征进行描述，再利用传统机器学习算法进行缺陷分类。比如Zhang Zhifen等人(Zhang Zhifen,Ren Wenjing,Yang Zhe,et al.Real-time seam defect identification for Al alloys in robotic arcwelding using optical spectroscopy and integrating learning[J].Measurement,2020,156:107546.)利用随机森林分类的算法进行缺陷识别。然而，该类方法依赖特征描述的方法，缺陷特征的描述更多还是基于通用的特征参数，比如面积、缺陷对称性、纵横比等几何特征和均值、标准差、熵等纹理的统计参数，专用的具有缺陷特点的特征难以设计，这制约了传统模型进行缺陷识别时的准确率。因此，深度神经网络能利用卷积网络层自动提取特征，带来了解决方案。Kumaresan等人(Kumaresan S,Aultrin K S J,Kumar S S,etal.Transfer learning with CNN for classification of weld defect[J].IEEEAccess,2021,9:1.)通过预训练的ResNet50网络提取特征向量，在利用支持向量机进行缺陷识别。Hou Wenhui等人(Hou Wenhui,Rao Lulu,Zhu Andong,et al.Feature fusion forweld defect classification with small dataset[J].Journal of Sensors,2022,2022:Article ID 8088202.(2022-02-23)[2022-10-01].https://doi.org/10.1155/2022/8088202.)利用自编码器获取特征向量，与基于直方图和共生矩阵的特征向量融合后，作为支持向量机的缺陷分类依据。李真等人(李真,马丽,高敬礼.基于深度学习的焊缝缺陷X射线图像分类方法[J].信息技术,2019,(8):49-52.)对AlexNet网络的结构进行微调，对焊缝图像中缺陷自动识别。然而，深度神经网络用于缺陷识别时也面临一些问题，导致模型的准确率降低，比如缺陷很小、数据样本的规模很小和图像噪声干扰等。ChangYasheng等人(Chang Yasheng,Wang Weiku.A deep learning-based weld defectclassification method using radiographic images with a cylindrical projection[J].IEEE Transactions on Instrumentation and Measurement,2021,70:1-11.)以SegNet网络为基础，利用空洞卷积替换部分普通卷积，并且减少网络中池化层数量，降低小尺寸缺陷由于细节丢失造成的准确率低的问题。Shang Jiaze等人(Shang Jiaze,AnWeipeng,Liu Yu,et al.Oil pipeline weld defect identification system based onconvolutional neural network.[J].KSII Transactions on Internet andInformation Systems,2020,14(3):1086-1103.)根据小样本数据调整网络层数得到一个特有的卷积神经网络，并且从头训练该网络，使得网络在小样本数据上具有良好的表现。HuAnde等人(Hu Ande,Wu Lijian,Huang Jiankang.Recognition of weld defects from x-ray images based on improved convolutional neural network[J].Multimedia Toolsand Applications,2022,81(11):15085-15102.)利用自适应的修正因子优化卷积网络中均值池化的操作，降低图像噪声对模型识别精度的影响。然而，特点相近的不同类型的缺陷不容易识别，使得模型识别的准确率受到影响。为了提高对焊缝图像中缺陷的识别准确率，区分特点相近的缺陷，本发明利用多支路卷积神经网络对缺陷进行智能识别。

发明内容

本发明主要是克服现有技术中的不足之处，提供一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法。

为达到以上技术目的，本发明采用以下技术方案：

1、一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，其特征在于包括以下步骤：

步骤一：对原始图像进行图像预处理，图像预处理操作包括灰度拉伸、中值滤波，得到图像预处理后的图像，灰度拉伸公式为：

其中，g为灰度拉伸后的像素值，取值范围为区间[0,g_max]内的整数，g_max为拉伸后图像的最大像素值，取值范围为正整数，并且g_max大于f_max，f为原始图像的像素值，f_max为原始图像的最大像素值，f_min为原始图像的最小像素值，

为向下取整，中值滤波利用原始像素值的m×n窗口大小内所有像素值的中值代替原始像素值，m、n的取值范围均为正整数；

步骤二：将步骤一中预处理后的图像作为输入图像，再将该输入图像缩放成a×b×c的张量，a、b、c的取值范围均为正整数，然后进行标准化，标准化的公式为：

其中，u为标准化后的值，取值范围为区间[-1,1]，v为标准化前的值，取值范围为任意实数，m为所有待标准化的图像的像素值的均值，取值范围为任意实数，δ为所有待标准化的图像的像素值的标准差，取值范围为任意实数；

步骤三：将标准化后的张量作为模型的输入，搭建多支路卷积神经网络进行缺陷识别，该网络结构在传统卷积神经网络基础上增加了N个分类分支，并且N个分类分支通过分支生成器自适应地生成，其中，N的取值范围为正整数，搭建自适应多分支的卷积神经网络包括以下步骤：

(1)搭建ResNet50网络作为基础卷积网络层，并且在训练集上进行训练，训练完成的基础卷积网络层在验证集上分类缺陷，得到对应的错误率，训练集的图像为I_train张管道焊缝的射线图像，验证集的图像为I_verify张管道焊缝的射线图像，I_train和I_verify的取值范围为正整数，训练集的标签和验证集的标签为图像中缺陷的种类c，取值范围为区间[0,C-1]上的整数，C为缺陷种类的数量，取值范围为正整数，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式为：

其中，H为交叉熵损失，q_i为第i张图像的模型输出向量中的最大值，取值范围为区间[0,1]；

(2)根据(1)中验证集上的错误率利用分支生成器生成分类分支，错误率的公式为：

其中，P_i,j为种类i被错误地分类为种类j的错误率，取值范围为区间[0,1]，I_i为验证集中种类i的图像数量，取值范围为正整数，I_i,j为模型将种类i分类为种类j的图像数量，取值范围为正整数，分支生成器生成分支的步骤为第(3)步到第(5)步；

(3)保持i的值不变，比较对应的P_i,j的值，最大的P_i,j作为模型在验证集中关于种类i的最大错误率，记为p_i,j；

(4)改变i的值，得到模型在验证集中所有种类的最大错误率p_i,j，接着设置阈值t，取值范围为区间[0,1]，利用阈值对所有种类的p_i,j进行筛选，保留大于或等于阈值的p_i,j，去除小于阈值的p_i,j；

(5)对(4)筛选后的p_i,j进行降序排序，将最大的p_i,j对应的两个种类进行种类合并，合并方式是如果种类i被错误地分类为种类j，那么将种类i合并到种类j中，并且种类i和种类j均不能再合并到其它种类中，接着继续使用剩下的p_i,j中的最大值重复上述种类合并过程，直到所有的p_i,j被使用，最后给所有的合并种类均生成一个分类分支；

(6)对所有的分类分支进行训练，每个分支均单独训练，训练集为(1)中训练集的部分图像，这部分图像含有合并种类中的缺陷，训练集的标签为图像中缺陷的种类c，取值范围为区间[0,C_i-1]上的整数，C_i为缺陷种类的数量，表示第i个合并种类中包含的缺陷种类的数量，取值范围为正整数，训练时共享基础卷积网络层中前L层卷积层，L的取值范围为正整数，该部分卷积层在训练时参数不进行更新，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式与(1)中相同；

(7)基础卷积网络层和N个分类分支都训练完成后，对基础卷积网络层和N个分类分支进行组合，先利用基础卷积网络层进行缺陷分类后，再利用N个分类分支对合并种类进行分类，N个分类分支都与基础卷积网络层共享前L层卷积层，最终得到图像中包含的缺陷的种类。

本发明所提供的一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，由基础卷积网络层和多个分类分支组成，与传统卷积神经网络相比，本发明利用多个分类分支进行缺陷识别，并且分类分支通过分类分支生成器自适应地产生，首先，基础卷积网络层对缺陷初步分类后，得到每个缺陷种类下的错误率，然后按照错误率从高到低的顺序合并缺陷种类，接着根据合并的缺陷种类的数量生成分类分支，最后利用分类分支对合并缺陷做进一步分类，模型利用基础卷积网络层和分类分支对图像中缺陷种类进行两次分类，能有效提高模型的准确率。

有益效果：

与现有技术相比，本发明具有以下有益效果：

本发明所提供的一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，能利用分类分支对不易区分的缺陷种类进行细致的分类，使得模型对缺陷分类的准确率更高，该过程中通过基础卷积网络层的错误率评估缺陷种类是否容易区分，一类缺陷对另一类缺陷的错误率越大，这两类缺陷越难区分，将不易区分的缺陷种类进行合并，利用分类分支对合并的缺陷种类进行细致的分类，提高模型的准确率。

附图说明

图1为一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法的流程图，包括图像预处理、缩放与标准化和自适应多分支的卷积神经网络，其中，自适应多分支的卷积神经网络包括基础卷积网络层和多分类分支结构，图中虚线表示不是实际的连接，而是分类分支生成器产生了多分类分支结构中的分支；

图2为单个分类分支网络结构图，表示每个分类分支的网络结构，多个分类分支构成了图1中的多分类分支结构；

图3为基础卷积网络层和多个分类分支组合图，表示基础卷积网络层对缺陷进行分类后，分类分支再对相应的合并种类进一步分类的过程，分类结果由这两部分共同构成，图中“…”表示省略的种类、合并种类或者分类分支，连接方式与其它部分相同；

图4为焊缝缺陷识别中缺陷种类的实例图，图中包括圆形缺陷、条形缺陷、未熔合缺陷、内凹缺陷、咬边缺陷和裂纹缺陷。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例：

一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，其具体实施方式如下：

步骤一：对原始图像进行图像预处理，图像预处理操作包括灰度拉伸、中值滤波，得到图像预处理后的图像，灰度拉伸公式为：

其中，g为灰度拉伸后的像素值，g_max为拉伸后图像的最大像素值，取值为255，f为原始图像的像素值，f_max为原始图像的最大像素值，f_min为原始图像的最小像素值，

为向下取整，中值滤波选择3x3大小的窗口；

步骤二：将步骤一中预处理后的图像作为输入图像，再将该输入图像缩放成224x224x3的张量，然后进行标准化，标准化的公式为：

其中，u为标准化后的值，v为标准化前的值，m为所有待标准化的图像的像素值的均值，根据缩放的大小，待标准化的输入有3个通道，均值分别取值为0.485、0.456、0.406，δ为所有待标准化的图像的像素值的标准差，根据缩放的大小，待标准化的输入有3个通道，标准差分别取值为0.229、0.224、0.225；

步骤三：将标准化后的张量作为模型的输入，搭建多支路卷积神经网络进行缺陷识别，该网络结构在传统卷积神经网络基础上增加了N个分类分支，并且N个分类分支通过分支生成器自适应地生成，搭建自适应多分支的卷积神经网络包括以下步骤：

(1)搭建ResNet50网络作为基础卷积网络层，并且在训练集上进行训练，训练完成的基础卷积网络层在验证集上分类缺陷，得到对应的错误率，训练集的图像为I_train张管道焊缝的射线图像，验证集的图像为I_verify张管道焊缝的射线图像，I_train和I_verify的取值为6000和300，训练集的标签和验证集的标签为图像中缺陷的种类c，缺陷种类的数量为C，C的取值为7，包括非缺陷、圆形缺陷、条形缺陷、未熔合、咬边、内凹、裂纹，分别对应0到6的数字，故c的值为[0，6]上的整数，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式为：

其中，H为交叉熵损失，q_i为第i张图像的模型输出向量中的最大值；

(2)根据(1)中验证集上的错误率利用分支生成器生成分类分支，错误率的公式为：

其中，P_i,j为种类i被错误地分类为种类j的错误率，I_i为验证集中种类i的图像数量，I_i,j为模型将种类i分类为种类j的图像数量，分支生成器生成分支的步骤为第(3)步到第(5)步；

(3)保持i的值不变，比较对应的P_i,j的值，最大的P_i,j作为模型在验证集中关于种类i的最大错误率，记为p_i,j；

(4)改变i的值，得到模型在验证集中所有种类的最大错误率p_i,j，接着设置阈值t，取值为0.05，利用阈值对所有种类的p_i,j进行筛选，保留大于或等于阈值的p_i,j，去除小于阈值的p_i,j；

(5)对(4)筛选后的p_i,j进行降序排序，将最大的p_i,j对应的两个种类进行种类合并，合并方式是如果种类i被错误地分类为种类j，那么将种类i合并到种类j中，并且种类i和种类j均不能再合并到其它种类中，接着继续使用剩下的p_i,j中的最大值重复上述种类合并过程，直到所有的p_i,j被使用，最后给所有的合并种类均生成一个分类分支；

(6)对所有的分类分支进行训练，每个分支均单独训练，训练集为(1)中训练集的部分图像，这部分图像含有合并种类中的缺陷，训练集的标签为图像中缺陷的种类c，取值为区间[0,C_i-1]上的整数，C_i为缺陷种类的数量，表示第i个合并种类中包含的缺陷种类的数量，训练时共享基础卷积网络层的前L层卷积层，L的取值为40，即前40层卷积层在训练时参数不进行更新，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式与(1)中相同；

(7)基础卷积网络层和N个分类分支都训练完成后，对基础卷积网络层和N个分类分支进行组合，先利用基础卷积网络层进行缺陷分类后，再利用N个分类分支对合并种类进行分类，N个分类分支都与基础卷积网络层共享前40层卷积层，最终得到图像中包含的缺陷的种类；

步骤四：在相同的测试集下评价不同模型的性能，测试集的图像为张管道焊缝的射线图像，I_test的取值为700，测试集的标签为图像中缺陷的种类，缺陷种类的数量为C，C的取值为7，包括非缺陷、圆形缺陷、条形缺陷、未熔合、咬边、内凹、裂纹，每张图像对应一个种类标签，标签通过人工的方式标记，评价指标为准确率，准确率为模型能正确分类缺陷种类的图像在测试集图像中的比例，其中，模型分类出的缺陷种类与标签的缺陷种类相同，则模型分类出的缺陷种类是正确的，模型的准确率越大，模型的缺陷识别效果越好，准确率的公式为：

其中，accuracy为准确率，I_test为测试集中图像数量，I_right为分类正确的图像数量，本发明分别与ResNet50、基于AlexNet的模型、RayNet、基于DenseNet121的模型进行比较(其中ResNet50为文献(He Kaiming,Zhang Xiangyu,RenShaoqing,et al.DeepResidual Learning for Image Recognition[J].2016 IEEEConference on ComputerVision and Pattern Recognition,2016:770-778.)的模型，基于AlexNet的模型为文献(李真,马丽,高敬礼.基于深度学习的焊缝缺陷X射线图像分类方法[J].信息技术,2019,(8):49-52.)的模型，RayNet为文献(ShangJiaze,An Weipeng,Liu Yu,et al.Oilpipeline weld defect identification system basedon convolutional neuralnetwork.[J].KSII Transactions on Internet and InformationSystems,2020,14(3):1086-1103.)的模型，基于DenseNet121的模型为文献(谷静,王琦雯,张敏,等.基于DenseNet网络的焊缝缺陷检测识别[J].传感器与微系统,2020,39(9):129-131.)的模型)，比较结果为：

以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法，其特征在于包括以下步骤：

步骤一：对原始图像进行图像预处理，图像预处理操作包括灰度拉伸、中值滤波，得到图像预处理后的图像，灰度拉伸公式为：

其中，g为灰度拉伸后的像素值，取值范围为区间[0,g_max]内的整数，g_max为拉伸后图像的最大像素值，取值范围为正整数，并且g_max大于f_max，f为原始图像的像素值，f_max为原始图像的最大像素值，f_min为原始图像的最小像素值，

为向下取整，中值滤波利用原始像素值的m×n窗口大小内所有像素值的中值代替原始像素值，m、n的取值范围均为正整数；

步骤二：将步骤一中预处理后的图像作为输入图像，再将该输入图像缩放成a×b×c的张量，a、b、c的取值范围均为正整数，然后进行标准化，标准化的公式为：

其中，u为标准化后的值，取值范围为区间[-1,1]，v为标准化前的值，取值范围为任意实数，m为所有待标准化的图像的像素值的均值，取值范围为任意实数，δ为所有待标准化的图像的像素值的标准差，取值范围为任意实数；

步骤三：将标准化后的张量作为模型的输入，搭建多支路卷积神经网络进行缺陷识别，该网络结构在传统卷积神经网络基础上增加了N个分类分支，并且N个分类分支通过分支生成器自适应地生成，其中，N的取值范围为正整数，搭建自适应多分支的卷积神经网络包括以下步骤：

(1)搭建ResNet50网络作为基础卷积网络层，并且在训练集上进行训练，训练完成的基础卷积网络层在验证集上分类缺陷，得到对应的错误率，训练集的图像为I_train张管道焊缝的射线图像，验证集的图像为I_verify张管道焊缝的射线图像，I_train和I_verify的取值范围为正整数，训练集的标签和验证集的标签为图像中缺陷的种类c，取值范围为区间[0,C-1]上的整数，C为缺陷种类的数量，取值范围为正整数，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式为：

其中，H为交叉熵损失，q_i为第i张图像的模型输出向量中的最大值，取值范围为区间[0,1]；

(2)根据(1)中验证集上的错误率利用分支生成器生成分类分支，错误率的公式为：

其中，P_i,j为种类i被错误地分类为种类j的错误率，取值范围为区间[0,1]，I_i为验证集中种类i的图像数量，取值范围为正整数，I_i,j为模型将种类i分类为种类j的图像数量，取值范围为正整数，分支生成器生成分支的步骤为第(3)步到第(5)步；

(3)保持i的值不变，比较对应的P_i,j的值，最大的P_i,j作为模型在验证集中关于种类i的最大错误率，记为p_i,j；

(4)改变i的值，得到模型在验证集中所有种类的最大错误率p_i,j，接着设置阈值t，取值范围为区间[0,1]，利用阈值对所有种类的p_i,j进行筛选，保留大于或等于阈值的p_i,j，去除小于阈值的p_i,j；

(5)对(4)筛选后的p_i,j进行降序排序，将最大的p_i,j对应的两个种类进行种类合并，合并方式是如果种类i被错误地分类为种类j，那么将种类i合并到种类j中，并且种类i和种类j均不能再合并到其它种类中，接着继续使用剩下的p_i,j中的最大值重复上述种类合并过程，直到所有的p_i,j被使用，最后给所有的合并种类均生成一个分类分支；

(6)对所有的分类分支进行训练，每个分支均单独训练，训练集为(1)中训练集的部分图像，这部分图像含有合并种类中的缺陷，训练集的标签为图像中缺陷的种类c，取值范围为区间[0,C_i-1]上的整数，C_i为缺陷种类的数量，表示第i个合并种类中包含的缺陷种类的数量，取值范围为正整数，训练时共享基础卷积网络层中前L层卷积层，L的取值范围为正整数，该部分卷积层在训练时参数不进行更新，训练完成的模型选择在训练过程中交叉熵损失最小的模型，交叉熵损失的公式与(1)中相同；

(7)基础卷积网络层和N个分类分支都训练完成后，对基础卷积网络层和N个分类分支进行组合，先利用基础卷积网络层进行缺陷分类后，再利用N个分类分支对合并种类进行分类，N个分类分支都与基础卷积网络层共享前L层卷积层，最终得到图像中包含的缺陷的种类。

Images