CN116630263A - 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法 - Google Patents

基于深度神经网络的焊缝x射线图像缺陷检测与识别方法 Download PDF

Info

Publication number
CN116630263A
CN116630263A CN202310564344.4A CN202310564344A CN116630263A CN 116630263 A CN116630263 A CN 116630263A CN 202310564344 A CN202310564344 A CN 202310564344A CN 116630263 A CN116630263 A CN 116630263A
Authority
CN
China
Prior art keywords
neural network
deep neural
images
ray image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310564344.4A
Other languages
English (en)
Inventor
姚家辉
王九鑫
董琪
刘心如
刘嫚
苏耀恒
成鹏飞
卢定泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202310564344.4A priority Critical patent/CN116630263A/zh
Publication of CN116630263A publication Critical patent/CN116630263A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，该方法包括以下步骤：获取焊缝X射线图像的开源数据集并创建相应的标签文件‑采用中值滤波进行预处理‑将预处理后图像进行划分‑进行训练‑在Neck层嵌入注意力机制ECA‑将CIOU损失函数替换为EIOU损失函数‑导出权重文件得到三类目标。采用该方法在检测之前对数据进行中值滤波处理，可以在一定程度上消除孤立的噪声点，可以保持图像特征的同时不会产生过度模糊。解决了现有技术存在对工程师的要求较高、对质量较差的X射线检测图像会出现错检率和漏检率高的问题。

Description

基于深度神经网络的焊缝X射线图像缺陷检测与识别方法
技术领域
本发明涉及射线成像与无损检测，具体涉及一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法。
背景技术
在工业管道运输，机器制造等领域中，焊缝技术成为关键。由于人员焊缝技术和复杂环境都将导致焊缝缺陷，很大程度降低产品质量，同时也可能造成人员伤亡和财产损失，因此进行焊缝缺陷检测与识别具有重要意义。X射线检测是将强度均匀的射线照射到被测的物体，使透过的射线在照相胶片上感光，而在成像的底片上，可以检测出被检测物体的焊接缺陷位置、类型、尺寸和数目等。要评定X射线对焊缝的检测结果，必须对获取的焊缝射线图像进行分析处理以评价焊接质量。评定X射线检测结果有两种方法：人工评定和计算机图像识别评定。
目前通过人工和计算机识别对焊缝图像结果进行评定。在人工评定的过程中，由于工作量大，强光对眼睛会造成伤害，而且不同技术人员的效率和经验不同，提高错判率。计算机识别可以大幅度的提升分析与评定的效率，更好的解决由于技术人员的经验差异而造成的误判或者漏判。
随着计算机的发展在机器视觉方面，目前采用传统算法对X射线检测结果进行分析和识别时，由于X射线检测图像质量较差，进行自动检测的难度较大。在焊缝X射线检测过程中，采用传统算法进行辅助判断，最终还是需要人工判断。因此该方法对工程师的要求较高，尤其是对质量较差的X射线检测图像，会出现较高的错检率和漏检率，从而影响检测效率。
发明内容
本发明提供一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，目的是解决背景技术中存在的对工程师的要求较高、对质量较差的X射线检测图像会出现错检率和漏检率高的问题。
本发明提供的技术解决方案如下：
一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特殊之处在于，包括以下步骤：
步骤1、获取焊缝X射线图像的开源数据集GD-xray，从所述开源数据集GD-xray中选取部分图片作为基础数据集，对所述基础数据集进行标注得到YOLO格式的标签文件，将所述标签文件中目标类别划分为“Point_defect”、“Linear_defect”和“Without_defect”；
步骤2、采用中值滤波对所述基础数据集进行图像预处理，消除所述焊缝X射线图像中的孤立噪声点，得到多张第一图像；
步骤3、对所述第一图像按照一定比例划分为训练集、验证集以及测试集；
步骤4、将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练，在Backbone层进行特征提取，得到不同大小的第一特征图，对所述第一特征图进行Concat操作，得到第二特征图；
步骤5、在所述深度神经网络YOLOv5s模型的Neck层嵌入注意力机制ECA，对所述第二特征图进行Detect，得到三个尺寸大小不同的第三特征图；
步骤6、将所述深度神经网络YOLOv5s模型中的CIOU损失函数替换为EIOU损失函数，得到改进深度神经网络YOLOv5s模型；
步骤7、将所述测试集的图像输入所述改进深度神经网络YOLOv5模型中，得到检测效果，所述检测结果中包含三类目标，分别为所述焊缝X射线图像中的点状缺陷、线状缺陷和无缺陷的图像。
进一步地，步骤1中，所述标签文件中包含目标类别、目标位置(x，y)和目标大小(w，h)，所述目标类别名称分别为“Point_defect”、“Linear_defect”和“Without_defect”，所述标签文件与所述基础数据集中的图像一一对应。
进一步地，所述采用中值滤波对所述开源数据集GD-xray进行图像预处理，具体为：
将所述焊缝X射线图像中的任一像素点的值定义为A，采用第一函数进行中值滤波处理，将所述像素点进行中值滤波处理后得到的值定义为A1，第一函数表达式如下：
其中，xm表示A的邻域内所有像素点的值，A的邻域包含m个像素点。
进一步地，步骤3中，所述训练集：所述验证集：所述测试集的比例为7:2:1。
进一步地，步骤4中，将所述训练集、验证集中的图像裁剪成大小640×640，然后输入所述深度神经网络YOLOv5s模型中，进行Mixup处理，在Backbone层提取图像特征，得到不同大小的特征图，然后将所述特征图输入到采用FPN+PAN结构的Neck层，对所述特征图进行Concat操作，充分融合图像的底层特征和高层特征。
进一步地，步骤5中，对所述深度神经网络YOLOv5s模型进行改进，在Neck层嵌入轻量化模块ECA注意力机制，将ECA模块的通道数与C3模块输出特征图的通道数对应，分别设置为256、512和1024，根据第二函数对所述第二图像进行平均池化，得到平均池化结果Favg，将输出结果Favg视为1×C的二维向量X，X＝[x1 x2 … xc]，所述第二函数表达式为：
其中，Pavg为平均池化过程，xij是大小为W×H的特征图上横坐标为i，纵坐标为j的点，W和H分别是输入特征图的宽度和高度，xk表示二维向量X的第k个分量；
利用一维卷积提取Favg中每k个通道的特征关系，k为一维卷积核的大小，通过权重矩阵Wk来学习各通道的信息，其中权重矩阵Wk表达式为：
根据所述权重矩阵Wk得到输出结果Y为：
其中，ωc,c为权重矩阵第c行第c列的分量，c为通道数；
由输出结果Y看出，仅考虑xi与其k个相邻通道之间的相互作用，避免了降维，同时保持了通道注意，即
其中，xi为第i个通道，表示xi的k个相邻通道的集合，k值与通道数之间的映射关系可以表示如下：
其中，|x|odd表示与x最近的奇数，γ＝2，b＝1；为映射关系；
在Detect得到尺寸大小为20×20、40×40、80×80的第三特征图，分别对应小、中、大三个尺寸的目标。
进一步地，步骤6中,所述CIOU损失函数与所述EIOU损失函数均分别包括CIOU惩罚项和EIOU惩罚项，所述EIOU惩罚项是将影响因子在所述CIOU惩罚项基础上拆开，分别计算目标框的长和锚框的宽，所述EIOU惩罚项公式如下：
其中，LEIOU为EIOU惩罚项，LIOU为重叠损失，Ldis为中心距离损失，Lasp为宽高损失，IOU为交并比，ρ为预测框和真实框的中心点之间的欧式距离，wgt和hgt分别表示真实框的宽度和高度，w和h分别表示预测框的宽度和高度，Cw为目标框最小外接框的宽度，Ch为目标框的最小外接框的高度。
进一步地，所述将所述测试集的图像输入所述改进深度神经网络YOLOv5模型中，得到检测效果，包括以下步骤：
将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练，并保存训练过程中深度神经网络YOLOv5s模型中在所述验证集上检测准确率最高时的权重参数，并将该权重文件命名为best.pt；
通过所述权重文件best.pt的权重对所述测试集的图像进行测试，得到检测效果。
进一步地，步骤3中，所述第一图像的数量为1216张，按照训练集：验证集：测试集＝7:2:1进行划分，得到训练集851张，验证集243张，测试集122张。
与现有技术相比，本发明的有益效果是：
1.本发明提供一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，采用该方法在检测之前对数据进行中值滤波处理，可以在一定程度上消除孤立的噪声点，可以保持图像特征的同时不会产生过度模糊。解决了现有技术存在对工程师的要求较高、对质量较差的X射线检测图像会出现错检率和漏检率高的问题。
2.本发明提供一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，通过在模型的Neck层引入超轻量化注意力机制ECA，平衡了模型的性能和复杂性。ECA模块仅包含较少的参数，但可以带来较大的性能提升，同时能够避免过拟合现象的发生。
附图说明
图1为本发明实施例中基于深度神经网络的焊缝X射线图像缺陷检测与识别方法的结构流程图；
图2为本发明实施例中采用的算法网络结构图；
图3为本发明实施例中ECA注意力机制结构图；
图4为本发明实施例中通过基于深度神经网络的焊缝X射线图像缺陷检测与识别方法得到的训练结果图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，下面所描述的实施例是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下结合附图提供的本申请实施例的详细描述旨在仅仅表示本申请的选定实施例，并非限制本申请要求保护的范围。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的其他所有实施例，都属于本申请保护的范围。
需要理解的是，在本发明的实施方式的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个所述特征。
参阅图1，本发明提供了一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，包括以下步骤：
步骤1、获取焊缝X射线图像的开源数据集GD-xray，从所述开源数据集GD-xray中选取部分图片作为基础数据集，对所述基础数据集进行标注得到YOLO格式的标签文件，将所述标签文件中目标类别划分为“Point_defect”、“Linear_defect”和“Without_defect”。
步骤1中，标签文件中包含目标类别、目标位置(x，y)和目标大小(w，h)，目标类别名称分别为“Point_defect”、“Linear_defect”和“Without_defect”，标签文件与基础数据集中的图像一一对应。
步骤2、采用中值滤波对所述基础数据集进行图像预处理，消除所述焊缝X射线图像中的孤立噪声点，得到多张第一图像。
所述采用中值滤波对所述开源数据集GD-xray进行图像预处理，具体为：
将所述焊缝X射线图像中的任一像素点的值定义为A，采用第一函数进行中值滤波处理，将所述像素点进行中值滤波处理后得到的值定义为A1，第一函数表达式如下：
其中，xm表示A的邻域内所有像素点的值，A的邻域包含m个像素点。
步骤3、对所述第一图像按照一定比例划分为训练集、验证集以及测试集。
本实施例中，得到第一图像的数量共计1216张，按照训练集：验证集：测试集＝7:2:1进行划分，得到训练集851张，验证集243张，测试集122张。
步骤4、将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练，在Backbone层进行特征提取，得到不同大小的第一特征图，对所述第一特征图进行Concat操作，得到第二特征图。
步骤4中，将所述训练集、验证集中的图像裁剪成大小640×640，然后输入所述深度神经网络YOLOv5s模型中，进行Mixup处理，在Backbone层提取图像特征，得到不同大小的特征图，然后将所述特征图输入到采用FPN+PAN结构的Neck层，对所述特征图进行Concat操作，充分融合图像的底层特征和高层特征。在将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练时，保存训练过程中深度神经网络YOLOv5s模型中在所述验证集上检测准确率最高时的权重参数，并将该权重文件命名为best.pt。本发明的算法网络结构图如图2所示。
步骤5、在所述深度神经网络YOLOv5s模型的Neck层嵌入注意力机制ECA，对所述第二特征图进行Detect，得到三个尺寸大小不同的第三特征图；其中，三个尺寸分别为20×20、40×40、80×80。
如图3所示，本发明将ECA模块的通道数与C3模块输出特征图的通道数对应，分别设置为256、512和1024。得到平均池化后的结果为：
在(1)式中，Pavg为平均池化过程，xij是大小为W×H的特征图上横坐标为i，纵坐标为j的点，W和H分别是输入特征图的宽度和高度，xk表示二维向量X的第k个分量；
利用一维卷积提取Favg中每k个通道的特征关系，k为一维卷积核的大小，通过权重矩阵Wk来学习各通道的信息，其中权重矩阵Wk表达式为：
根据所述权重矩阵Wk得到输出结果Y为：
其中，ωc,c为权重矩阵第c行第c列的分量，c为通道数；
由输出结果Y看出，仅考虑xi与其k个相邻通道之间的相互作用，避免了降维，同时保持了通道注意，即
其中，xi为第i个通道，表示xi的k个相邻通道的集合，k值与通道数之间的映射关系可以表示如下：
其中，|x|odd表示与x最近的奇数，γ＝2，b＝1；为映射关系
在Detect得到尺寸大小为20×20、40×40、80×80的第三特征图，分别对应小、中、大三个尺寸的目标。
本发明中检测大中小目标的特征图k值为5。
步骤6、将所述深度神经网络YOLOv5s模型中的CIOU损失函数替换为EIOU损失函数，得到改进深度神经网络YOLOv5s模型。
EIOU惩罚项是将影响因子在CIOU的惩罚项基础上拆开分别计算目标框和锚框的长和宽，继续延用重叠损失和中心距离损失，由于宽高损失使目标盒与锚盒的宽高差达到最小进而提升收敛速度。
在步骤6中,所述CIOU损失函数与所述EIOU损失函数均分别包括CIOU惩罚项和EIOU惩罚项，所述EIOU惩罚项是将影响因子在所述CIOU惩罚项基础上拆开，分别计算目标框的长和锚框的宽，所述EIOU惩罚项公式如下：
其中，LEIOU为EIOU惩罚项，LIOU为重叠损失，Ldis为中心距离损失，Lasp为宽高损失，IOU为交并比，ρ为预测框和真实框的中心点之间的欧式距离，wgt和hgt分别表示真实框的宽度和高度，w和h分别表示预测框的宽度和高度，Cw为目标框最小外接框的宽度，Ch为目标框的最小外接框的高度。
步骤7、将所述测试集的图像输入所述改进深度神经网络YOLOv5模型中，得到检测效果，所述检测结果中包含三类目标，分别为所述焊缝X射线图像中的点状缺陷、线状缺陷和无缺陷的图像。
本发明提供的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法的具体流程如下：
将数据集输入改进的YOLOv5s模型中，本发明采用台式计算机作为模型的训练平台，系统配置为16GB内存的英特尔i5-10400F处理器，12GB内存的Nvidia GeForce RTX3060显卡。在Windows 10操作系统下构建YOLOv5网络，采用版本为3.6.5的Python编程语言。
采用中值滤波处理数据，将与处理后的数据输入改进的YOLOv5s模型，设置总的迭代次数为500，每16张图片作为一个批次，即Batchsize为16。模型的初始学习率为0.01，在训练过程中采用梯度下降算法，当YOLOv5s模型的性能在100轮之内没有任何提升时提前终止训练，以保持YOLOv5s模型的精度最优，并在训练过程中调用Cuda和Cudnn加速库，充分利用计算机的性能。
如图4所示，导出训练结果中效果最好的权重文件best.pt，使用best.pt中的权重对测试集中的图像分别测试改进的YOLOv5s模型的检测效果。检测结果中包含三类目标，分别为点状缺陷、线状缺陷和无缺陷的图像。
以上所述，仅为本申请的最优具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于，包括以下步骤：
步骤1、获取焊缝X射线图像的开源数据集GD-xray，从所述开源数据集GD-xray中选取部分图片作为基础数据集，对所述基础数据集进行标注得到YOLO格式的标签文件，将所述标签文件中目标类别划分为“Point_defect”、“Linear_defect”和“Without_defect”；
步骤2、采用中值滤波对所述基础数据集进行图像预处理，消除所述焊缝X射线图像中的孤立噪声点，得到多张第一图像；
步骤3、对所述第一图像按照一定比例划分为训练集、验证集以及测试集；
步骤4、将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练，在Backbone层进行特征提取，得到不同大小的第一特征图，对所述第一特征图进行Concat操作，得到第二特征图；
步骤5、在所述深度神经网络YOLOv5s模型的Neck层嵌入注意力机制ECA，对所述第二特征图进行Detect，得到三个尺寸大小不同的第三特征图；
步骤6、将所述深度神经网络YOLOv5s模型中的CIOU损失函数替换为EIOU损失函数，得到改进深度神经网络YOLOv5s模型；
步骤7、将所述测试集的图像输入所述改进深度神经网络YOLOv5模型中，得到检测效果，所述检测结果中包含三类目标，分别为所述焊缝X射线图像中的点状缺陷、线状缺陷和无缺陷的图像。
2.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤1中，所述标签文件中包含目标类别、目标位置(x，y)和目标大小(w，h)，所述目标类别名称分别为“Point_defect”、“Linear_defect”和“Without_defect”，所述标签文件与所述基础数据集中的图像一一对应。
3.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，所述采用中值滤波对所述开源数据集GD-xray进行图像预处理，其特征在于，具体为：
将所述焊缝X射线图像中的任一像素点的值定义为A，采用第一函数进行中值滤波处理，将所述像素点进行中值滤波处理后得到的值定义为A1，第一函数表达式如下：
其中，xm表示A的邻域内所有像素点的值，A的邻域包含m个像素点。
4.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤3中，所述训练集：所述验证集：所述测试集的比例为7:2:1。
5.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤4中，将所述训练集、验证集中的图像裁剪成大小640×640，然后输入所述深度神经网络YOLOv5s模型中，进行Mixup处理，在Backbone层提取图像特征，得到不同大小的特征图，然后将所述特征图输入到采用FPN+PAN结构的Neck层，对所述特征图进行Concat操作，充分融合图像的底层特征和高层特征。
6.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤5中，对所述深度神经网络YOLOv5s模型进行改进，在Neck层嵌入轻量化模块ECA注意力机制，将ECA模块的通道数与C3模块输出特征图的通道数对应，分别设置为256、512和1024，根据第二函数对所述第二图像进行平均池化，得到平均池化结果Favg，将输出结果Favg视为1×C的二维向量X，X＝[x1 x2 … xc]，所述第二函数表达式为：
其中，Pavg为平均池化过程，xij是大小为W×H的特征图上横坐标为i，纵坐标为j的点，W和H分别是输入特征图的宽度和高度，xk表示二维向量X的第k个分量；
利用一维卷积提取Favg中每k个通道的特征关系，k为一维卷积核的大小，通过权重矩阵Wk来学习各通道的信息，其中权重矩阵Wk表达式为：
根据所述权重矩阵Wk得到输出结果Y为：
其中，ωc,c为权重矩阵第c行第c列的分量，c为通道数；
由输出结果Y看出，仅考虑xi与其k个相邻通道之间的相互作用，避免了降维，同时保持了通道注意，即
其中，xi为第i个通道，表示xi的k个相邻通道的集合，k值与通道数之间的映射关系可以表示如下：
其中，|x|odd表示与x最近的奇数，γ＝2，b＝1；为映射关系；
在Detect得到尺寸大小为20×20、40×40、80×80的第三特征图，分别对应小、中、大三个尺寸的目标。
7.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤6中,所述CIOU损失函数与所述EIOU损失函数均分别包括CIOU惩罚项和EIOU惩罚项，所述EIOU惩罚项是将影响因子在所述CIOU惩罚项基础上拆开，分别计算目标框的长和锚框的宽，所述EIOU惩罚项公式如下：
其中，LEIOU为EIOU惩罚项，LIOU为重叠损失，Ldis为中心距离损失，Lasp为宽高损失，IOU为交并比，ρ为预测框和真实框的中心点之间的欧式距离，wgt和hgt分别表示真实框的宽度和高度，w和h分别表示预测框的宽度和高度，Cw为目标框最小外接框的宽度，Ch为目标框的最小外接框的高度。
8.根据权利要求1所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，所述将所述测试集的图像输入所述改进深度神经网络YOLOv5模型中，得到检测效果，其特征在于，包括以下步骤：
将所述训练集的图像输入到深度神经网络YOLOv5s模型中进行训练，并保存训练过程中深度神经网络YOLOv5s模型中在所述验证集上检测准确率最高时的权重参数，并将该权重文件命名为best.pt；
通过所述权重文件best.pt的权重对所述测试集的图像进行测试，得到检测效果。
9.根据权利要求1-8任一所述的基于深度神经网络的焊缝X射线图像缺陷检测与识别方法，其特征在于：
步骤3中，所述第一图像的数量为1216张，按照训练集：验证集：测试集＝7:2:1进行划分，得到训练集851张，验证集243张，测试集122张。
CN202310564344.4A 2023-05-18 2023-05-18 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法 Pending CN116630263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310564344.4A CN116630263A (zh) 2023-05-18 2023-05-18 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310564344.4A CN116630263A (zh) 2023-05-18 2023-05-18 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法

Publications (1)

Publication Number Publication Date
CN116630263A true CN116630263A (zh) 2023-08-22

Family

ID=87609221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310564344.4A Pending CN116630263A (zh) 2023-05-18 2023-05-18 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法

Country Status (1)

Country Link
CN (1) CN116630263A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Similar Documents

Publication Publication Date Title
US20230186657A1 (en) Convolutional neural networks for locating objects of interest in images of biological samples
US8131107B2 (en) Method and system for identifying defects in NDT image data
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN112233117A (zh) 一种新冠肺炎ct检测识别定位系统及计算设备
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US20230125887A1 (en) Computer-implemented method and a system for estimating a pith location with regard to a timber board
CN112132801B (zh) 一种基于深度学习的肺大泡病灶检测方法及系统
Zipfel et al. Anomaly detection for industrial quality assurance: A comparative evaluation of unsupervised deep learning models
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN109191434A (zh) 一种细胞分化中的图像检测系统及检测方法
Dong et al. Defect classification and detection using a multitask deep one-class CNN
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法
CN110263790A (zh) 一种基于卷积神经网络的电厂电表字符定位和识别方法
CN105510364A (zh) 基于x射线的工业部件缺陷的无损检测系统及其检测方法
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
CN114600155A (zh) 用于细胞检测和分割的弱监督多任务学习
Guo et al. WDXI: The dataset of X-ray image for weld defects
CN115760837A (zh) 一种基于深度神经网络的晶体质量评估方法及系统
CN115457026A (zh) 一种基于改进YOLOv5的纸病检测方法
CN116524313A (zh) 基于深度学习和多模态图像的缺陷检测方法及相关装置
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
CN117152484A (zh) 改进YOLOv5s的小目标布匹瑕疵检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
Zhang et al. Automatic forgery detection for x-ray non-destructive testing of welding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication