CN116626166B - 一种基于改进YOLOv5金属焊缝缺陷检测方法 - Google Patents
一种基于改进YOLOv5金属焊缝缺陷检测方法 Download PDFInfo
- Publication number
- CN116626166B CN116626166B CN202310923099.1A CN202310923099A CN116626166B CN 116626166 B CN116626166 B CN 116626166B CN 202310923099 A CN202310923099 A CN 202310923099A CN 116626166 B CN116626166 B CN 116626166B
- Authority
- CN
- China
- Prior art keywords
- defect detection
- yolov5
- network
- module
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 106
- 238000001514 detection method Methods 0.000 title claims abstract description 101
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 20
- 239000002184 metal Substances 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000004021 metal welding Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003466 welding Methods 0.000 claims description 5
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 3
- 101001073212 Arabidopsis thaliana Peroxidase 33 Proteins 0.000 claims description 3
- 101001123325 Homo sapiens Peroxisome proliferator-activated receptor gamma coactivator 1-beta Proteins 0.000 claims description 3
- 102100028961 Peroxisome proliferator-activated receptor gamma coactivator 1-beta Human genes 0.000 claims description 3
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims description 3
- 239000004332 silver Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000009659 non-destructive testing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/04—Analysing solids
- G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
- G01N29/0654—Imaging
- G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
- G01N29/4418—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a model, e.g. best-fit, regression analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2291/00—Indexing codes associated with group G01N29/00
- G01N2291/02—Indexing codes associated with the analysed material
- G01N2291/023—Solids
- G01N2291/0234—Metals, e.g. steel
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及金属焊缝缺陷检测技术领域，提供一种基于改进YOLOv5金属焊缝缺陷检测方法，包括：步骤一，获取超声相控阵扫查图像的数据集；步骤二，建立改进YOLOv5缺陷检测网络；步骤三，利用K‑means++算法，调整改进YOLOv5缺陷检测网络的先验框；步骤四，利用金属焊缝超声相控阵扫查图像的数据集，对调整先验框后的改进YOLOv5缺陷检测网络进行训练，得到缺陷检测模型；步骤五，将待检测的超声相控阵扫查图像输入到缺陷检测模型中，检测出金属焊缝超声相控阵扫查图像中的缺陷。本发明能够使网络有选择性的增强信息特征，进而提升对小目标的检测能力，增强网络的特征提取能力。
Description
技术领域
本发明涉及金属焊缝缺陷检测技术领域，尤其涉及一种基于改进YOLOv5金属焊缝缺陷检测方法。
背景技术
金属构件在焊接的过程中会出现各种缺陷，这些缺陷会影响构件的性能，造成产品损坏甚至人员伤亡。所以，对金属焊缝进行无损检测是保障工业生产正常进行的重要手段。超声相控阵无损检测技术因其检测速度快、检测灵敏度高和对人体无害等优点，在无损检测领域应用广泛。然而，当前超声相控阵缺陷仍然主要依赖人工识别，该方法存在诸多弊端：人工评判依赖于操作者的工作经验对缺陷进行评估，缺乏经验的操作者容易出现错检、漏检的情况；当操作人员疲劳时，也可能导致误评判；鉴于人工操作的各种因素对评估结果的主观干扰较大，导致缺陷评判结果缺乏客观性，因此在追求可靠性和稳定性的基础上，使用机器视觉和深度学习技术对超声相控阵图像的缺陷进行检测具有重要的意义。
近几年研究成果表明，深度学习在图像检测领域取得了显著的进展，其技术不断成熟。超声相控阵检测技术正朝着高精度、实时化和智能化的方向迅速发展。将超声相控阵技术与深度学习相结合，将缺陷扫查的数据转换为图像形式，后续通过深度学习智能识别缺陷，做到精确的检测出缺陷并确定其大小和位置，降低人工评判中不稳定因素的干扰，从而可以提高超声相控阵图像缺陷的检测准确率，进一步提高金属构件在使用过程中的可靠性。在深度学习网络结构中YOLOv5算法是当前比较流行的目标检测算法，该算法对物体的类别概率和位置坐标值进行预测，通过输入端到输出端的模型结构直接得到最终的输出结果。与其他算法相比YOLOv5算法有更快的检测速度。
发明内容
本发明主要解决现有技术的金属焊缝缺陷检测精度低、小目标检测性能差等技术问题，提出一种基于改进YOLOv5金属焊缝缺陷检测方法，使网络有选择性的增强信息特征，进而提升对小目标的检测能力，增强网络的特征提取能力。
本发明提供一种基于改进YOLOv5金属焊缝缺陷检测方法，包括以下过程：
步骤一，获取金属焊缝超声相控阵扫查图像的数据集；
步骤二，建立改进YOLOv5缺陷检测网络；
步骤三，利用K-means++算法，调整改进YOLOv5缺陷检测网络的先验框；
步骤四，利用金属焊缝超声相控阵扫查图像的数据集，对调整先验框后的改进YOLOv5缺陷检测网络进行训练，得到缺陷检测模型；
步骤五，将待检测扫查图像输入到缺陷检测模型中，检测出焊缝扫查图像的缺陷。
进一步的，所述改进YOLOv5缺陷检测网络，包括：特征提取单元、特征融合单元和检测单元；
所述特征提取单元，包括：输入模块、卷积模块、SENet注意力机制、CBAM-Net注意力机制；
所述特征融合单元，包括：卷积模块、最大池化模块、拼接模块、上采样模块、下采样模块；
所述检测单元，包括：检测头模块。
进一步的，在步骤三中，所述K-means++算法的过程如下：
步骤301，随机选取聚类中心：所有真实框作为聚类对象，从全部样本点集合中随机选择一个样本点作为新的聚类中心/>；
步骤302，根据距离选择K个初始聚类中心：计算集合中其他样本点与之间的欧式平方距离/>，并计算其他样本点可以被选为下一个聚类中心的概率/>选出概率最大值对应的样本点作为下一个聚类中心，重复此步骤，最终选出K个初始聚类中心；其中，概率/>度量公式：/>;
步骤303，根据距离进行分簇：计算聚类中心与所有真实框的交并比IOU，那么根据真实框和聚类中心得距离为1-IOU，将每个真实框分给距离最近的聚类中心，形成K个簇；其中，距离度量公式：;
步骤304，更新聚类中心：计算簇中所有聚类对象宽和高的均值，得到新的聚类中心；
步骤305，重复步骤303、步骤304：当聚类中心不变或达到最大迭代次数时停止，最终得出缺陷真实框的聚类结果。
进一步的，训练的硬件平台配置参数如下：Intel(R) Xeon(R) Silver 4210R CPU@ 2.40GHz 2.39 GHz，NVIDIA RTX A5000的显卡，DELL PERC H750 Adp SCSI DiskDevice；
软件配置：基于64位的windows11操作系统，基于pytorch1.9.1的框架，基于CUDA11.1，OpenCV2库及PyCharm集成开发环境。
本发明提供了一种基于改进YOLOv5金属焊缝缺陷检测方法，首先，在骨干网络中结合SE注意力模块和CBAM注意力模块，使网络有选择性的增强信息特征，进而提升对小目标的检测能力；其次，在YOLOv5颈部增加一个小缺陷检测模块，增强网络对小缺陷的特征提取能力；最后，采用K-means++聚类算法针对金属焊缝超声相控阵图像数据样本重新计算出适用性强的先验框，加强网络对复杂缺陷的检出能力。
附图说明
图1是本发明提供的基于改进YOLOv5金属焊缝超声相控阵扫查图像缺陷检测方法的实现流程图；
图2是本发明提供的属焊缝超声相控阵扫查图像数据集经过Mosaic数据增强的结果示意图；
图3是本发明提供的SENet的结构示意图；
图4是本发明提供的CBAM-Net通道注意力模块的结构示意图；
图5是本发明提供的CBAM-Net空间注意力模块的结构示意图；
图6是本发明提供的CBAM-Net结构示意图；
图7是本发明提供的改进YOLOv5缺陷检测网络的结构示意图；
图8是本发明方法对金属焊缝超声相控阵扫查图像缺陷检测的效果图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
本发明提供的基于改进YOLOv5（You Only Look Once v5）金属焊缝超声相控阵扫查图像缺陷检测方法的实现流程，如图1所示。基于改进YOLOv5金属焊缝缺陷检测方法，包括以下过程：
步骤一，获取金属焊缝超声相控阵扫查缺陷图像的数据集。
LabelImg是一个图形图像注释工具。注释被按照ImageNet所使用的YOLO格式存成TXT文件。利用LabelImg制作好金属焊缝超声相控阵扫查图像缺陷数据集后，将缺陷数据集输入网络，让网络学习数据集缺陷并检测出缺陷。通过输入端输入的图片，改进缺陷检测网络的输入图像大小为1280*1280，通常包含图片预处理阶段，即将输入图像缩放到网络的输入大小并进行归一化等，在网络训练阶段，改进YOLOv5缺陷检测网络使用Mosaic数据增强提升了模型的训练速度和网络精度。
Mosaic数据增强：这种数据增强的基本思想是将四张图像按照固定的规则拼接成一张新的图像，然后将这张新图像作为训练样本输入到深度学习模型中进行训练；四张图像被随机选择并按照一定的比例进行缩放和裁剪，然后选择一个拼接的中心点，按照左上、左下、右上、右下的顺序依次将图像放置再进行拼接，生成新的Mosaic图像，并将拼接后的图作为新的训练样本送入网络进行训练；Mosaic增强可以帮助模型学习到不同目标之间的相对位置和尺度关系，从而提升目标检测算法的定位精度。数据增强后得效果如图2所示。
步骤二，建立改进YOLOv5缺陷检测网络。
在YOLOv5骨干网络中嵌入SENet和CBAM-Net，实现有选择性的加强包含有用信息的特征，并抑制无用特征。在YOLOv5颈部增加一个小缺陷检测模块，增强网络对小缺陷的特征提取能力。
在金属焊缝超声相控阵图像缺陷检测中使用YOLOv5模型时，存在特征提取网络性能较差和模型参数量较大的问题，无法有效提取小缺陷的特征信息；由于不同通道的特征信息不同，不同特征信息的重要程度也不同，为了区分不同通道的权重，使网络充分提取到重要的缺陷特征，将SENet和CBAM-Net加入到YOLOv5的骨干网络中，加强对小目标特征的训练。
在SENet中，输入特征图记为，经过SENet处理后得到的带有通道注意力信息的特征图记为/>，其中/>、/>、/>分别表示输入到SENet中的特征图的宽度、高度和通道数；之后，为了实现对特征图的不同通道赋权，主要通过三步操作：第一步：挤压操作，由于卷积操作只能在局部空间中对输入数据进行滑动窗口的方式提取局部的特征，所以每次卷积操作的感受野(receptive field)大小决定了当前层对输入数据的局部信息的感知范围。然而，对于复杂的二维特征，局部感受野可能无法充分捕捉到全局的上下文信息和通道关系特征。因此，为了提取通道之间的关系，首先使用全局平均池化将每个通道上的空间特征编码压缩为一个全局特征，这通过全局平均池化(Global average pooling，GAP)实现，通过对整个特征图进行池化操作，从而在不增加额外参数的情况下，将二维特征转换成一维实数向量，捕捉到更大范围的全局感受野，经过挤压操作后，特征图的尺寸变为/>，其中/>表示通道数；第二步：激励操作；通过参数/>为每个通道赋权重值，首先，使用第一步得到的特征向量/>乘以参数矩阵/>，之后进行一次全连接操作，然后经过/>激活函数增加非线性能力，输出特征图尺寸不发生改变，再和参数矩阵/>相乘，采用的是全连接的过程，此时输出维度变回到/>，最后经过/>激活函数得到权重向量；此时权重向量/>中每个元素取值都在0-1之间，这个权重向量/>是SENet结构的核心，表示对于不同通道的权值参数；第三步：特征重标定(Scale)；特征重标定是使用第二步可以得到每个通道的权重/>，将其添加到原特征图/>上，具体操作是将每个通道乘以对应的权重参数，即引入了通道注意力机制；SENet的基本结构如图3所示。
CBAM-Net的第一个模块是通道注意力模块，其基本结构如图4所示；通道注意力模块对输入的特征图进行了通道维度上的注意力加权操作，实现了对不同通道之间关联性的强化，实现过程如下：首先，将尺寸为的特征图F输入到通道注意力模块中；与SENet的只使用全局平均池化提取特征不同，CBAM的通道注意力模块通过使用一个的全局CBAM的通道注意力模块采用全局最大池化和平均池化进行通道特征的学习，池化操作后输入特征图F会降维为两个/>的特征向量/>和/>；接着，将特征向量和/>输入到两个共享权重的全连接层。其中，经过第一次全连接操作后，两个特征向量的维度变为/>，之后使用修正线性单元/>激活函数，将负数部分置零，保留正数部分，再对经过激活函数后的特征向量进行二次全连接操作，之后，将得到的输出特征向量进行点相加操作，利用函数/>计算出注意力权重系数/>，其中。最终输入特征F和权重系数/>相乘的结果即为处理后的新特征/>；CBAM-Net的第二个模块是空间注意力模块(Spatial Attention Module) 其基本结构如图5所示；该模块的任务是关注重要位置的特征，过程如下：CBAM-Net的空间注意力模块首先对输入尺寸为/>的特征图F进行最大池化和平均池化操作，分别得到尺寸为的最大池化特征图和平均池化特征图；然后，将最大池化特征图和平均池化特征图进行逐通道的相加操作，得到一个/>的特征图，再经过一个/>大小的二维卷积层进行处理。最后，将卷积层的处理结果输入到函数/>中进行计算，得到空间注意力权重系数/>，其中/>；将输入特征F和权重系数/>相乘，得到经过空间注意力机制处理后的新特征/>；CBAM的基本结构如图6所示。
YOLOv5原网络通过P3特征层提取缺陷特征用于模型学习，由于超声相控阵缺陷目标尺寸过小，模型在经过三次下采样后可以提取的特征仍然有限，不足以供模型提高足够的识别精度；因此，YOLOv5原网络难以对小尺度缺陷特征进行有效提取，存在对小目标缺陷检测困难的问题。为了解决这一问题，本设计引入拥有丰富的浅层信息的P2特征层来进行特征融合，对输入图片经过两次下采样后的特征进行充分融合，供模型进行训练，改善模型对于小目标的识别能力。
为了保证P2特征层的可用性，对原始YOLOv5做了相应的改进，包括添加了一个用于较小目标的检测层模块，并且颈部网络(Neck)中添加了一个CBS，一个Concat，一个C3结构和一个上采样模块，使得P2特征层部分与其他特征进行充分的融合，最后在检测头部分添加了对应的检测头分支，主要用于检测较小的缺陷目标。
综上，如图7所示，所述改进的YOLOv5缺陷检测网络，包括：特征提取单元（Backbone）、特征融合单元（Neck）和检测单元（Head）；
所述特征提取单元（Backbone），包括：输入模块（Inputs）、卷积模块（Conv2D）、SENet注意力机制（SENet Attention Mechanism）、CBAM-Net注意力机制（CBAM-NetAttention Mechanism）；
所述特征融合单元（Neck），包括：卷积模块（conv）、最大池化模块（maxpooling）、拼接模块（concat）、上采样模块（upsampling）、下采样模块（downsampling）；
所述检测单元，包括：检测头模块（yolo head）；
在骨干网络（Backbone）中添加SENet注意力机制和CBAM-Net注意力机制，在颈部网络（Neck）中添加一个小目标检测模块。
步骤三，利用K-means++算法，调整改进YOLOv5缺陷检测网络的先验框。
在YOLOv5算法检测过程中采用的先验框是利用COCO数据集运算得出的，先验框的尺寸和本发明数据集中缺陷目标的尺寸差异较大，并不能满足超声相控阵缺陷检测的要求，影响算法检测性能。因此对先验框尺寸进行调整，提高检测缺陷的精度。
本发明中选用K-means++算法（k-means++ clustering algorithm，k均值++聚类算法）在缺陷的真实框数据上进行聚类，计算出适用性强的先验框；算法中采用交并比IOU作为距离度量标准；由公式（2）所示，不需考虑真实框本身的大小，当聚类中心和真实框的中心越相近，IOU值越大，那么距离d就越小，由此达到了算法聚类的目的。
K-means++算法基本步骤：
步骤301，随机选取聚类中心：所有真实框作为聚类对象，从全部样本点集合中随机选择一个样本点作为新的聚类中心/>；
步骤302，根据距离选择K个初始聚类中心：计算集合中其他样本点与之间的欧式平方距离/>，并计算其他样本点可以被选为下一个聚类中心的概率/>选出概率最大值对应的样本点作为下一个聚类中心；重复此步骤，最终选出K个初始聚类中心；其中，概率/>度量公式：/>；
步骤303，根据距离进行分簇：计算聚类中心与所有真实框的交并比IOU，那么根据真实框和聚类中心得距离为1-IOU，将每个真实框分给距离最近的聚类中心，形成K个簇；其中，距离度量公式：
步骤304，更新聚类中心：计算簇中所有聚类对象宽和高的均值，得到新的聚类中心；
步骤305，重复步骤303、步骤304：当聚类中心不变或达到最大迭代次数时停止，最终得出缺陷真实框的聚类结果。
表1 K-means++聚类结果对比
| 原始anchor | 聚类后anchor | |
| Anchor宽高值 | (10,13)(16,30)(33,23)(30,61)(62,45)(59,119)(116,90)(156,198)(373,326) | (12,8)(16,9)(24,8)(18,16)(25,11)(39,10)(41,14)(33,19)(86,23） |
由表1可以看出，原始先验框宽高比差异较大，聚类之后的先验框宽高比较为均衡，在形状上多为矩形，对缺陷更具有针对性，使网络在检测过程中更容易选择出合适的预测框，提高网络对缺陷检出率。
步骤四，利用缺陷图像的数据集，对调整先验框后的改进YOLOv5缺陷检测网络进行训练，得到缺陷检测模型。
模型训练的硬件平台配置参数如下：Intel(R) Xeon(R) Silver 4210R CPU @2.40GHz 2.39 GHz，NVIDIA RTX A5000的显卡，DELL PERC H750 Adp SCSI Disk Device(固态硬盘)；软件配置：基于64位的windows11操作系统，基于pytorch1.9.1的框架，基于CUDA11.1，OpenCV2库及PyCharm集成开发环境。
步骤五，将待检测图像输入到缺陷检测模型中，检测出焊缝扫查图像缺陷。
利用缺陷图像的数据集，对调整先验框后的改进YOLOv5缺陷检测网络进行训练，得到缺陷检测模型；针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支；YOLOv5采用CIOU_LOSS作为bounding box的损失函数，从而进一步提升算法的检测精度；输出端表示输出的图片；通过改进YOLOv5缺陷检测网络模型检测缺陷并给出置信度；最终改进YOLOv5缺陷检测网络的检测效果图如图8所示。
下面对本发明采用的方法与现有技术进行对比论证：
速度评估指标用预测单张图片时间表示，速度越快，表明检测效率高，更满足实时检测要求；精度评估指标是平均精度均值（mean Average Precision，mAP）；以P为纵坐标，R为横坐标得到 PR曲线；平均精度AP（Average Precision）的值等于 PR 曲线下的面积；AP值衡量的是模型在每个类别上的检测准确度，mAP是AP的均值，反映模型对所有类别上的好坏，mAP值越大，表明算法检测精度越高。
式（3）、（4）中，TP代表模型正确分类的样本数量；FP 代表模型被错误分类的样本数量；FN 代表模型漏检的样本数量。
为验证改进YOLOv5缺陷检测网络方法在缺陷数据集中的有效性，分别进行了三组实验进行效果评估。
实验一：YOLOv5骨干网络嵌入SENet和CBAM-Net。
根据在主干网络中嵌入注意力机制的不同，共有BackBone+SE、BackBone+CBAM、BackBone+CBAM+SE三种不同主干网络；为了验证CBAM-Net和SENet这两种注意力机制改进策略给模型带来的性能增益，设计了四组消融实验，在超声相控阵缺陷测试集上的实验结果如表2所示。
表2不同模型检测性能的变化
| 网络模型 | 精确率 | 召回率 | mAP@0.5 |
| 原始YOLOv5 | 80.49% | 90.06% | 89.57% |
| SE-YOLOv5 | 86.62% | 89.09% | 90.50% |
| CBAM-YOLOv5 | 87.95% | 88.34% | 91.26% |
| SC-YOLOv5 | 89.51% | 89.87% | 91.72% |
由表2可知，在YOLOv5模型上单独加入CBAM-Net和SENet时，其mAP@0.5分别提升了1.69%和0.93%，对网络性能有一定的提升；当在YOLOv5网络中同时加入了CBAM-Net和SENet后，相较于原始YOLOv5网络，虽然召回率降低了0.19%，但是精确率提高了9.02%，并且mAP@0.5提高了2.15%，有效改善了目标错检情况。基于注意力机制改进的SC-YOLOv5与SE-YOLOv5和CBAM-YOLOv5相比，SC-YOLOv5的mAP@0.5相较于二者分别提高了1.22%和0.46%，说明同时使用CBAM-Net和SENet效果更好，更有助于提升模型性能。
实验二：在YOLOv5网络颈部中增加小缺陷检测模块
改进后的网络模型为SC-YOLOv5+小缺陷检测模块，与YOLOv5基础网络模型和SC-YOLOv5进行对比；三种网络模型检测性能对比情况，如表3所示。
表3网络模型改进前后的性能对比
| 网络模型 | 精确率 | 召回率 | mAP@0.5 |
| 原始YOLOv5 | 80.49% | 90.06% | 89.57% |
| SC-YOLOv5 | 89.51% | 89.87% | 91.72% |
| SC-YOLOv5+小缺陷检测模块 | 90.05% | 91.97% | 93.91% |
改进后的YOLOv5算法在测试集上的mAP值由原来的89.57%提升至93.91%，提高了4.34%，小缺陷检测精度得到了提高；由此分析，小缺陷检测模块增强了网络对小目标特征的学习能力，其次，加深了网络使获得更大感受野，语义信息层次更丰富，因此对复杂缺陷目标能够进一步增强特征信息的提取。
实验三：优化YOLOv5网络先验框
对SC-YOLOv5采用K-means算法聚类,调整先验框，并与YOLOv5原网络相比较。对比结果如表4所示。
表4 网络模型改进前后的性能指标对比
| 网络模型 | K-means++ | 精确率 | 召回率 | mAP@0.5 |
| 原始YOLOv5 | × | 80.49% | 90.06% | 89.57% |
| SC-YOLOv5 | × | 89.51% | 89.87% | 91.72% |
| SC-YOLOv5+小目标检测模块 | × | 90.05% | 91.97% | 93.91% |
| SC-YOLOv5+小目标检测模块 | √ | 90.13% | 90.12% | 95.05% |
结果表明：优化先验框使网络对缺陷目标的检测精度mAP提升了1.14%，由此说明调整后的先验框尺寸更符合缺陷的尺寸，在预测过程中有更大的重合面积从而提高检出率，缺陷检测达到更优异的效果；与YOLOv5原网络相比，改进后的网络的精确率和mAP@0.5分别提升了9.64%和5.48%，验证了本发明中改进方法的有效性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种基于改进YOLOv5金属焊缝缺陷检测方法，其特征在于，包括以下过程：
步骤一，获取金属焊缝超声相控阵扫查图像的数据集；
步骤二，建立改进YOLOv5缺陷检测网络，在YOLOv5骨干网络中嵌入SENet和CBAM-Net，实现有选择性的加强包含有用信息的特征，并抑制无用特征，在YOLOv5颈部增加一个小缺陷检测模块，增强网络对小缺陷的特征提取能力；
步骤三，利用K-means++算法，调整改进YOLOv5缺陷检测网络的先验框；
步骤四，利用金属焊缝超声相控阵扫查图像的数据集，对调整先验框后的改进YOLOv5缺陷检测网络进行训练，得到缺陷检测模型；
步骤五，将待检测扫查图像输入到缺陷检测模型中，检测出焊缝扫查图像的缺陷；
在步骤三中，所述K-means++算法的过程如下：
步骤301，随机选取聚类中心：所有真实框作为聚类对象，从全部样本点集合X中随机选择一个样本点作为新的聚类中心c1；
步骤302，根据距离选择K个初始聚类中心：计算集合中其他样本点与c1之间的欧式平方距离D(x)，并计算其他样本点可以被选为下一个聚类中心的概率P(x)选出概率最大值对应的样本点作为下一个聚类中心，重复此步骤，最终选出K个初始聚类中心；其中，概率P(x)度量公式：
步骤303，根据距离进行分簇：计算聚类中心与所有真实框的交并比IOU，那么根据真实框和聚类中心计算得到距离为1-IOU(box，centroid)，将每个真实框分给距离最近的聚类中心，形成K个簇；其中，距离度量公式：
d(box，centroid)＝1-IOU(box，centroid) (2)
步骤304，更新聚类中心：计算簇中所有聚类对象宽和高的均值，得到新的聚类中心；
步骤305，重复步骤303、步骤304：当聚类中心不变或达到最大迭代次数时停止，最终得出缺陷真实框的聚类结果；
所述改进YOLOv5缺陷检测网络，包括：特征提取单元、特征融合单元和检测单元；
所述特征提取单元，包括：输入模块、卷积模块、SENet注意力机制、CBAM-Net注意力机制；
所述特征融合单元，包括：卷积模块、最大池化模块、拼接模块、上采样模块、下采样模块；
所述检测单元，包括：检测头模块。
2.根据权利要求1所述的基于改进YOLOv5金属焊缝缺陷检测方法，其特征在于，训练的硬件平台配置参数如下：Intel(R)Xeon(R)Silver 4210R CPU@2.40GHz 2.39GHz，NVIDIARTX A5000的显卡，DELL PERC H750 Adp SCSI Disk Device；
软件配置：基于64位的windows11操作系统，基于pytorch1.9.1的框架，基于CUDA11.1，OpenCV2库及PyCharm集成开发环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310923099.1A CN116626166B (zh) | 2023-07-26 | 2023-07-26 | 一种基于改进YOLOv5金属焊缝缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310923099.1A CN116626166B (zh) | 2023-07-26 | 2023-07-26 | 一种基于改进YOLOv5金属焊缝缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116626166A CN116626166A (zh) | 2023-08-22 |
| CN116626166B true CN116626166B (zh) | 2023-10-31 |
Family
ID=87613942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310923099.1A Active CN116626166B (zh) | 2023-07-26 | 2023-07-26 | 一种基于改进YOLOv5金属焊缝缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116626166B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN115049851A (zh) * | 2022-08-15 | 2022-09-13 | 深圳市爱深盈通信息技术有限公司 | 基于YOLOv5网络的目标检测方法、装置和设备终端 |
| CN115761416A (zh) * | 2022-12-07 | 2023-03-07 | 桂林电子科技大学 | 基于CS-YOLOv5s网络的绝缘子缺陷检测方法 |
| CN116129242A (zh) * | 2023-02-01 | 2023-05-16 | 大连海洋大学 | 一种基于改进YOLOv4铝材表面缺陷识别方法 |
-
2023
- 2023-07-26 CN CN202310923099.1A patent/CN116626166B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022147965A1 (zh) * | 2021-01-09 | 2022-07-14 | 江苏拓邮信息智能技术研究院有限公司 | 基于MixNet-YOLOv3和卷积递归神经网络CRNN的算术题批阅系统 |
| CN115049851A (zh) * | 2022-08-15 | 2022-09-13 | 深圳市爱深盈通信息技术有限公司 | 基于YOLOv5网络的目标检测方法、装置和设备终端 |
| CN115761416A (zh) * | 2022-12-07 | 2023-03-07 | 桂林电子科技大学 | 基于CS-YOLOv5s网络的绝缘子缺陷检测方法 |
| CN116129242A (zh) * | 2023-02-01 | 2023-05-16 | 大连海洋大学 | 一种基于改进YOLOv4铝材表面缺陷识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于YOLOv5的人员安全帽检测告警算法;李佳 等;《电工技术》(第10期);第36-41页 * |
| 基于改进YOLOv5的金属焊缝缺陷检测;李衍照 等;《电子测量技术》;第45卷(第19期);第70-75页 * |
| 轮对深层次缺陷在线自动化检测系统的研究;蒋仁忠;《哈尔滨铁道科技》(第4期);第19-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116626166A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| WO2020038389A1 (zh) | 一种焊缝底片缺陷识别方法 | |
| CN114240821A (zh) | 一种基于改进型yolox的焊缝缺陷检测方法 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN112365511B (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN116129242A (zh) | 一种基于改进YOLOv4铝材表面缺陷识别方法 | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN117131348B (zh) | 基于差分卷积特征的数据质量分析方法及系统 | |
| CN112215301B (zh) | 基于卷积神经网络的影像直线探测方法 | |
| CN116626166B (zh) | 一种基于改进YOLOv5金属焊缝缺陷检测方法 | |
| CN113222920A (zh) | 基于剪枝YOLOv3的吸管缺陷检测方法 | |
| CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
| CN116721080A (zh) | 基于形状位置感知和均衡采样的小径管焊接缺陷检测方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN115049600A (zh) | 一种小样本管道缺陷智能识别系统及方法 | |
| CN114494216A (zh) | 基于多级加权神经网络的甲状腺结节定位方法 | |
| CN114445419A (zh) | 一种基于支气管拓扑结构的肺段分割方法、装置及系统 | |
| CN113139991A (zh) | 一种基于重叠区域掩模预测的3d点云配准方法 | |
| CN112396648B (zh) | 一种可定位目标物质心的目标识别方法和系统 | |
| CN117152746B (zh) | 一种基于yolov5网络的宫颈细胞分类参数获取方法 | |
| CN113657214B (zh) | 一种基于Mask RCNN的建筑损伤评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |