CN117911394A - 基于改进YOLOv5的钢材表面缺陷检测方法及系统 - Google Patents

基于改进YOLOv5的钢材表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN117911394A
CN117911394A CN202410138230.8A CN202410138230A CN117911394A CN 117911394 A CN117911394 A CN 117911394A CN 202410138230 A CN202410138230 A CN 202410138230A CN 117911394 A CN117911394 A CN 117911394A
Authority
CN
China
Prior art keywords
module
yolov
convolution
model
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410138230.8A
Other languages
English (en)
Inventor
李爱民
张跃晨
李志窈
李文强
孔晓同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202410138230.8A priority Critical patent/CN117911394A/zh
Publication of CN117911394A publication Critical patent/CN117911394A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，提出了一种基于改进YOLOv5的钢材表面缺陷检测方法及系统，首先，为了增强模型的特征提取能力，将原始YOLOv5中SPP模块替换为SPPFCSPC模块，扩大了接受野，增强了模型捕获全局和上下文信息的能力。其次，提出了C2F‑Faster模块来代替原来的YOLOv5中的C3模块进行特征提取，在获得更丰富的梯度流信息的同时，有效地减少了算法中的冗余计算，减小了模型体积。最后在模型的检测头中引入了Dynamic Head机制，通过叠加三层注意机制，更好地适应不同复杂形状的缺陷目标，提高了检测头的检测能力。

Description

基于改进YOLOv5的钢材表面缺陷检测方法及系统
技术领域
本公开涉及图像处理相关技术领域，具体地说，是涉及一种基于改进YOLOv5的钢材表面缺陷检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
钢铁是最常见的原材料之一，在工业生产和制造业中得到了广泛地应用。钢材在生产过程中容易受到实际生产环境、生产工艺技术等因素的影响，导致钢材表面的各种缺陷会产生各种各样的问题，钢材表面缺陷的产生会削弱钢材的性能，降低钢材产品的使用寿命，甚至造成安全事故。因此，表面缺陷的检测在钢材生产过程中被广泛认为是至关重要的一环。
传统的缺陷检测方法不能满足准确、高效的缺陷检测要求，传统的钢材缺陷检测方法主要是通过人工目视检测，在检测过程中容易出现大量的误检和遗漏。之后，也出现了一些针对特定产品的缺陷检测方法，考虑替代人工检测方法，如涡流无损检测、微波检测等。然而，这些方法容易受到材料的限制，不能适应不同类型和形式的钢材缺陷。近年来，深度学习不断发展。基于深度学习的目标检测算法具有很强的学习能力和自适应能力，可以从大规模数据中学习到钢材缺陷特征的表达，从而实现缺陷的自动检测和分类。目前深度学习领域主流的目标检测算法大致分为两类。第一种是两阶段检测算法，包括Retinanet、RCNN系列算法；其中，第一阶段的重点是找出目标物体出现的位置并得到区域建议。第二阶段的重点是对区域识别进行分类，同时寻找更精确的位置。第二类是单级检测算法，包括SSD、YOLO系列算法。在单级检测算法中的阶段，而是直接生成目标的类别概率和位置坐标值，单次检测即可得到最终的检测结果。两阶段检测算法检测精度高，但检测速度较慢。单阶段检测算法，检测速度快，但是检测精度较低。
发明人在研究中发现，目前在基于深度学习的钢材表面缺陷检测任务中，存在大量大小不同、形状不同和纹理各异的复杂缺陷，这对基本网络结构有效学习其特征提出了挑战，特征提取网络在降采样过程中会不断地减少特征映射，会丢失许多小目标缺陷的位置和语义信息，导致检测结果不理想。并且，特征提取过程中包含大量冗余计算，影响了整体检测效率。
发明内容
本公开为了解决上述问题，提出了一种基于改进YOLOv5的钢材表面缺陷检测方法及系统，改进后的模型不仅提高了检测精度，而且有效地减小了模型的尺寸，减少了冗余计算，提升了缺陷检测效率。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于改进YOLOv5的钢材表面缺陷检测方法，包括如下步骤：
获取待检测图像并进行预处理；
构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
一个或多个实施例提供了基于改进YOLOv5的钢材表面缺陷检测系统，包括：
图像获取模块：被配置为用于获取待检测图像并进行预处理；
模型构建模块：被配置为用于构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
检测模块：被配置为将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述的基于改进YOLOv5的钢材表面缺陷检测方法中的步骤。
与现有技术相比，本公开的有益效果为：
(1)本实施例中，将原有的空间金字塔池化结构SPP模块替换为SPPFCSPC模块，有效提高了模型的接受场，更好地捕获了不同尺度的缺陷目标特征信息，从而能够提高图像分割性能。
SPPFCSPC模块利用5×5大小的Max Pooling层进行堆叠，来代替空间金字塔池化结构SPP模块中9×9和13×13大小的Max Pooling层，减少了参数计算量。
SPPFCSPC模块输出的特征图与原始浅层特征进行拼接，有效保留了浅层特征信息，增强了模块特征融合的能力，改善小目标缺陷语义信息退化丢失的问题，提高了检测精度。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的改进后的YOLOv5目标缺陷模型框图；
图2是本公开实施例1的YOLOv5目标缺陷模型中CBS模块的结构示意图；
图3(a)是本公开实施例1的改进后的YOLOv5目标缺陷模型的SPPFCSPC模块的结构图；
图3(b)是本公开实施例1的原始YOLOv5网络的SPP模块结构图；
图4(a)是本公开实施例1的C2F-Faster模块的结构图；
图4(b)本公开实施例1的Faster Block模块的结构图；
图5(a)是本公开实施例1的部分卷积PConv模块的图像处理示意图；
图5(b)本公开实施例1的常规卷积Conv的图像处理示意图；
图6(a)是本公开实施例1的基于注意力机制的目标检测头的图像处理过程示意图；
图6(b)是本公开实施例1的基于注意力机制的目标检测头Dynamic Head的结构示意图；
图7是本公开实施例1的随机输入图像在预训练的Darknet53的中间层可视化特征图；
图8是本公开实施例1的改进的YOLOv5目标缺陷模型的合成热像图与原始YOLOv5模型的合成热像图的效果对比。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
YOLOv5一直是工业应用中最受欢迎的检测框架，因为它在速度和精度之间取得了很好的平衡。但是，由于单级检测器的固有特性，虽然检测速度快，但不能完全提取特征，因此在检测精度上还有很大的提升空间。对模型中间层进行特征提取可视化操作，发现算法中存在大量冗余计算，影响检测效率。针对上述问题，本公开提出了基于YOLOv5的FSD-YOLO模型。改进后的模型不仅提高了检测精度，而且有效地减小了模型的尺寸，减少了冗余计算，提升了缺陷检测效率。下面以具体的实施例进行说明。
在一个或多个实施方式公开的技术方案中，如图1至图8所示，一种基于改进YOLOv5的钢材表面缺陷检测方法，包括如下步骤：
步骤1、获取待检测图像并进行预处理；
步骤2、构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
步骤3、将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
步骤1中，预处理包括使用随机裁剪、随机反转、随机对比度增强，调整亮度和饱和度等图像增强方法。
本实施例中，将原始YOLOv5中的空间金字塔池(Spatial Pyramid Pooling,SPP)模块替换为SPPFCSPC模块，有效提高了模型的接受场，更好地捕获了不同尺度的缺陷目标特征信息，从而能够提高图像分割性能。
进一步的技术方案，融合FasterNet算法和C2F算法的思想，改进后的YOLOv5网络模型将C2F-faster模块替代原YOLOv5网络模型中用于特征提取的C3模块，在降低模型计算复杂度的同时减少了特征信息的分散。
进一步的技术方案，改进后的YOLOv5网络模型将在原YOLOv5网络模型头部采用基于注意力机制的目标检测头Dynamic Head，从水平、空间、通道三个维度对缺陷目标进行特征感知，提高目标检测头的检测能力。
为了增强主干网络特征提取融合能力，本实施例中引入了SPPFCSPC结构，取得了显著效果。
一种可实现的结构，SPPFCSPC模块有两个并行的分支，其中一个分支A上设置第一卷积层，可选的，卷积核大小k1为1×1，卷积步长s1为1；另一个分支B包括依次连接的多个卷积层、多个池化层、第一特征连接层(Concat)以及多个卷积层；两个并行分支的输出特征图经过拼接和卷积后输出；
具体的，SPPFCSPC模块还设置有第二特征连接层与第二卷积层；第二特征连接层分别连接两个并行分支的输出，对两个分支输出特征图进行拼接，拼接后的特征图通过第二卷积层进行卷积输出。
图中，卷积模块Conv标注的k1、k3表示卷积核大小，k1表示卷积核为1×1，k3表示卷积核大小，s1表示卷积步长为1；最大池化层(MaxPool2d)中，k5表示5×5大小的MaxPooling层，K13表示9×9大小的Max Pooling层，K9表示13×13大小的Max Pooling层。
本实施例中，另一个分支B的池化层之前的设置有三个卷积层，卷积核的大小分别为k1、k3和k1，对应的卷积核大小分别为1x1卷积、k3为3×3卷积与1×1卷积；池化层设置为3个最大池化层，采用连续的5×5的池化层；第一特征连接层后连接设置有两个卷积层，卷积核的大小分别为k1和k3；第三卷积层设置为1×1卷积。
具体的，SPPFCSPC模块对输入图像的具体处理过程为：一个分支A输出的特征图直接参与最终的特征连接；另一个分支B在被输入到池化部分之前通过两个1x1卷积和一个3x3卷积进行特征集成；集成后的特征通过连续的5*5池化层提取不同尺度的特征，提取的特征图也参与初始特征级联过程。最后通过一个1x1卷积和一个3x3卷积输出的特征图，并与分支A浅层特征图进行拼接。
将SPPFCSPC模块与SPP模块进行对比，如图3所示，两个模块区别如下：
(1)SPPFCSPC模块利用5*5大小的Max Pooling层(最大池化层)进行堆叠，来代替原始SPP模块中9*9和13*13大小的Max Pooling层，减少了参数计算量。
(2)SPPFCSPC模块输出的特征图与原始浅层特征进行拼接，有效保留了浅层特征信息，增强了模块特征融合的能力，改善小目标缺陷语义信息退化丢失的问题，提高了检测精度。
从数据集中随机选择照片，作为预训练的卷积模型中间层特征图可视化操作的输入，发现不同通道之间存在高度的计算冗余，如图7所示，左上角的图像作为输入，在预训练的Darknet53的中间层可视化特征图，可以看到不同信道之间的高冗余。
为了解决上述算法冗余问题，本实施例中融合了FasterNet算法和C2F算法思想，提出了C2F-Faster模块，替换原始网络中的C3模块。
在一些实施例中，如图4(a)所示，C2F-Faster模块包括依次连接的第一卷积块、Splite模块、两个级联的Faster Block模块、第三特征连接层(Concat)以及第二卷积块；
本实施例中，各附图中的特征连接层表示为Concat，具有相同的结构和功能。
输入端的第一卷积块和输出端的第二卷积块，均为CBS模块，包括依次连接的卷积层、归一化层以及激活层，一次性完成卷积、归一化与激活操作。
CBS输出的特征图首先进行Splite操作，输入的特征图会在通道(Channel)维度上被分成两部分，一部分用于后续的特征融合，另一部分用于接下来的特征提取模块，减少了计算负载且保持了较高的检测性能。
C2f-Faster模块吸收了ELAN的思想，将原始C3的BottleNeck串联操作更改为Faster Block模块级联操作，然后不同尺度的特征图进行Concat操作，改善了在网络模型不断加深时丢失小目标缺陷的位置和语义信息的问题。
C2F-Faster模块在现有C2F模块的基础上融入了新的部分卷积PConv，替换原始的常规卷积Conv。PConv考虑了特征映射中的冗余性，并提出了部分卷积来同时减少FLOPs和内存访问。
如图5(b)所示，常规卷积的每个卷积核在所有的通道空间上滑动，最终计算出所有的输出通道。
PConv模块卷积处理过程如图5(b)所示，PConv模块对部分输入通道采用常规的Conv进行特征提取，其余通道保持不变，将第一个或最后一个连续的CP通道作为整个特征映射的代表进行计算，降低了模型计算冗余度。
进一步的技术方案，Faster Block模块包括依次连接部分卷积PConv模块、两个普通卷积模块(conv)以及加和拼接模块，加和拼接模块用于对PConv模块卷积后输出的特征与输入PConv模块的特征进行加和拼接。
在钢材的生产和加工过程中，容易受到环境中不良因素的影响，导致钢材表面缺陷存在形状大小不规则等问题。
本实施例提出了基于注意力机制的目标检测头，简称为Dynamic Head，将DynamicHead添加到YOLOv5网络模型的头部，利用自注意力机制在特征级别上增强尺度感知，在空间位置上增强空间感知，在输出通道上增强任务感知。通过此种方式在不增加任何计算开销的情况下显著提高了目标检测头的对不规则缺陷目标的检测能力。
一种具体的实现方式，Dynamic Head结构图如图6(a)和图6(b)所示，图中给出了每一模块处理后得到可视化了每个注意力模块之后的特征映射情况，包括依次连接的检测头输入模块、视图调整模块以及注意力模块；
Dynamic Head的处理过程，包括如下：
3.1)检测头输入模块，用于获取YOLOv5网络模型的Neck网络处理后不同尺度的特征图，并组成原始特征金字塔数据；
将YOLOv5网络模型的Neck网络输出的三组不同尺度的特征图组成的特征金字塔，作为检测头的输入，输入的这些特征图包含不同尺度目标的语义信息；
3.2)视图调整模块，对应于图中的中位特征层，用于通过上采样和下采样操作将特征金字塔调整为中间层，执行拼接操作即Concat操作，得到一般视图，并将视图的四维张量重塑为一个三维张量；
具体的，重新缩放后的特征金字塔可以用一个四维张量F∈RL×H×W×C来表示，其中L表示金字塔中的层数，H、W、C分别表示通道的高度、宽度和数量。设S＝H×W，则将上述四维张量重塑为一个三维张量F∈RL×S×C；
3.3)针对每个张量，通过注意力模块设置的分离的三个注意机制，对三维张量进行独立表征。
其中，注意机制包括尺度感知注意力机制(Scale-aware Attention)，空间感知注意力机制(Spatial-aware Attention)以及任务感知注意力机制(Task-awareAttention)；
下面分别对三种注意力机制进行说明：
1)在水平(Level)维度上的尺度注意力，不同尺度维度的特征图对应的缺陷尺度不同，通过引入该机制有效增强模型对不同尺度缺陷的感知能力。尺度感知注意力机制具体的操作公式如下所示：
其中，f(·)是由1×1卷积层近似的线性函数，是sigmoid激活函数；缩放后的特征金字塔用三维张量/>表示，S表示中位特征层的高度宽度的乘积，C表示中位特征层的通道数。
2)在空间(spatial)维度上的空间注意力，该机制通过引入可变形卷积Deformable Conv提高检测头对形状不规则的缺陷目标的检测能力。
可变形卷积Deformable Conv，并没有改变传统卷积的计算操作，而是在卷积操作的作用区域上加入一个可学习的参数，每个采样点通过可学习的参数不断拟合出感兴趣区域的形状。
空间感知注意力机制的操作包括：先使用可变形卷积使注意力学习稀疏，然后在相同的空间位置上聚合不同级别的特征。
空间感知注意力机制具体的操作公式如下：
其中，K是稀疏采样位置的数量；pk+Δpk是通过自学习空间偏移Δpk移位的位置，以聚焦于判别区域；Δmk是位置pk处的自学习重要性标量。两者都是从的中值水平的输入特征中学习的。缩放后的特征金字塔用三维张量/>表示，L表示金字塔中的层数，C表示中位特征层的通道数、wl,k表示L和K在某个值时的随机权重。
3)在通道维度的任务注意力，不同的通道所对应的检测任务不同，该机制的引入可以提高目标检测的任务意识。
任务感知注意力机制通过自学习的方式，获取到特征图中每个通道的重要程度，进而为每个特征通道分配相应的权重值。
这种方法可以提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道，提高检测头的对关键特征信息的提取能力。
具体操作公式如下所示：
其中，为通道的特征片，[α1,α2,β1,β2]T＝θ(·)为学习控制激活阈值的超函数；
θ(·)的实现可以类似于动态relu，它首先在L×S维度上执行全局平均池化来降维，然后使用两个完全连接的归一化层，最后使用sigmoid函数归一化到[-1,1]。
Dynamic Head模块具体的一种连接结构，如图6(b)所示，表示了三种注意力的连接结构，空间注意力模块输出的特征Feature0和特征Feature1，经过卷积Conv以及融合Concat后，传输至尺度注意力模块；尺度注意力模块处理后的特征与特征Feature1拼接后传输至任务注意力模块；
具体的，空间注意力模块包括两路特征输入；第二特征输入的Feature6经过普通卷积后卷积(Conv2d)输出的特征A，特征A与第一路特征输入的Feature5过deformable卷积操作然后进行上采样后得到特征Feature0；特征A再经过并行的普通卷积以及掩码操作(mask)与Feature6进行可变形卷积得到特征Feature0。
经过上述改进，改进后的YOLOv5网络模型包括输入端、主干网络、Neck网络以及检测头部；
主干网络(Backbone)的结构为：连接YOLOv5网络模型的输入端依次设置有CBS模块，多个交替设置的CBS模块与C2F-Faster模块，以及SPPFCSPC模块；主干网络用于对输入端的图像进行基于切片操作以及卷积操作的特征提取；
Neck网络采用FPN+PAN结构，对主干网络提取的特征进行融合；
FPN是自顶向下的，将高层特征通过上采样和低层特征做融合得到特征图；FPN是自顶向下，将高层的强语义特征传递下来，对整个金字塔进行增强，不过只增强了语义信息，对定位信息没有传递，PAN在FPN的后面添加一个自底向上的金字塔，对FPN的补充，将底层的强定位特征传递上去；
Backbone输出的各层特征包括浅层网络和深层网络，浅层网络负责提取目标边缘等底层特征，而深层网络可以构建高级的语义信息，通过使用FPN这种方式，让深层网络更高级语义的部分的信息能够融合到浅层的网络，指导浅层网络进行识别。
检测头部采用基于注意力机制的目标检测头，简称为Dynamic Head。
对上述改进后的模型进行训练，整个训练过程有200个轮次，采用Mocia方法进行数据增强。使用标准的随机梯度下降算法，即SGD优化器。动量设置为0.937，权重衰减设置为0.0005。为了防止模型过拟合，本实验设置了提前停止机制，将轮数设置为50。
本实施例中，将改进后的YOLOv5目标缺陷模型的合成热像图与原始YOLOv5网络模型的合成热像图进行对比，如图8所示。可以看出，改进后的模型能更好地适应缺陷的复杂纹理和形状，获得了较好的检测结果。
实施例2
基于实施例1，本实施例中提供基于改进YOLOv5的钢材表面缺陷检测系统，包括：
图像获取模块：被配置为用于获取待检测图像并进行预处理；
模型构建模块：被配置为用于构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
检测模块：被配置为将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
此处需要说明的是，本实施例中的各个模块与实施例1中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例3
基于实施例1，本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1所述的基于改进YOLOv5的钢材表面缺陷检测方法中的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于，包括如下步骤：
获取待检测图像并进行预处理；
构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
2.如权利要求1所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：SPPFCSPC模块有两个并行的分支，其中一个分支上设置第一卷积层，另一个分支包括依次连接的多个卷积层、多个池化层、第一特征连接层以及输出端的多个卷积层；两个并行分支的输出特征图经过拼接和卷积后输出。
3.如权利要求1所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：改进后的YOLOv5网络模型将C2F-faster模块替代原YOLOv5网络模型中用于特征提取的C3模块。
4.如权利要求3所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：C2F-Faster模块包括依次连接的第一卷积块、Splite模块、两个级联的Faster Block模块、第三特征连接层以及第二卷积块；
Splite模块，将输入的特征图在通道维度上分成两部分，一部分用于后续的特征融合，另一部分用于特征提取；
Faster Block模块包括依次连接部分卷积PConv模块、两个普通卷积模块以及加和拼接模块，加和拼接模块用于对PConv模块卷积后输出的特征与输入PConv模块的特征进行加和拼接。
5.如权利要求4所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：输入端的第一卷积块和输出端的第二卷积块，均为CBS模块，包括依次连接的卷积层、归一化层以及激活层；
或者，PConv模块对部分输入通道采用常规的Conv进行特征提取，其余通道保持不变，将第一个或最后一个连续的CP通道作为整个特征映射的代表进行计算。
6.如权利要求1所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：改进后的YOLOv5网络模型将在原YOLOv5网络模型头部采用基于注意力机制的目标检测头；
基于注意力机制的目标检测头包括依次连接的检测头输入模块、视图调整模块以及注意力模块；
检测头输入模块，用于获取YOLOv5网络模型的Neck网络处理后不同尺度的特征图，并组成特征金字塔；
视图调整模块，用于通过上采样和下采样操作将特征金字塔调整为中间层，执行拼接操作得到一般视图，并将视图的四维张量重塑为三维张量；
针对每个张量，通过注意力模块设置的分离的三个注意机制，对三维张量进行独立表征。
7.如权利要求6所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：注意机制包括尺度感知注意力机制，空间感知注意力机制以及任务感知注意力机制；
尺度感知注意力机制用于增强模型对不同尺度缺陷的感知能力；
空间感知注意力机制，先使用可变形卷积使注意力学习稀疏，然后在相同的空间位置上聚合不同级别的特征；
任务感知注意力机制通过自学习的方式，获取到特征图中每个通道的重要程度，进而为每个特征通道分配相应的权重值。
8.如权利要求1所述的基于改进YOLOv5的钢材表面缺陷检测方法，其特征在于：改进后的YOLOv5网络模型包括输入端、主干网络、Neck网络以及检测头部；
主干网络用于对输入端的图像进行基于切片操作以及卷积操作的特征提取；主干网络包括连接YOLOv5网络模型的输入端依次设置的CBS模块，多个交替设置的CBS模块与C2F-Faster模块，以及SPPFCSPC模块；
Neck网络采用FPN+PAN结构，对主干网络提取的特征进行融合；
检测头部采用基于注意力机制的目标检测头。
9.基于改进YOLOv5的钢材表面缺陷检测系统，其特征在于，包括：
图像获取模块：被配置为用于获取待检测图像并进行预处理；
模型构建模块：被配置为用于构建改进后的YOLOv5目标缺陷模型，所述改进后的YOLOv5网络模型将原有YOLOv5的空间金字塔池化结构SPP模块替换为SPPFCSPC模块；
检测模块：被配置为将预处理后的待检测图像传输至改进后的YOLOv5目标缺陷模型，得到缺陷检测结果。
10.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-8任一项所述的基于改进YOLOv5的钢材表面缺陷检测方法中的步骤。
CN202410138230.8A 2024-01-30 2024-01-30 基于改进YOLOv5的钢材表面缺陷检测方法及系统 Pending CN117911394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410138230.8A CN117911394A (zh) 2024-01-30 2024-01-30 基于改进YOLOv5的钢材表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410138230.8A CN117911394A (zh) 2024-01-30 2024-01-30 基于改进YOLOv5的钢材表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN117911394A true CN117911394A (zh) 2024-04-19

Family

ID=90685890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410138230.8A Pending CN117911394A (zh) 2024-01-30 2024-01-30 基于改进YOLOv5的钢材表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN117911394A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247286A (zh) * 2024-05-30 2024-06-25 佛山科学技术学院 一种基于yolov8的钢材表面缺陷检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118247286A (zh) * 2024-05-30 2024-06-25 佛山科学技术学院 一种基于yolov8的钢材表面缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
Chen et al. Embedded system real-time vehicle detection based on improved YOLO network
CN112101221B (zh) 一种用于交通信号灯实时检测与识别的方法
CN113610822B (zh) 一种基于多尺度信息融合的表面缺陷检测方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN117911394A (zh) 基于改进YOLOv5的钢材表面缺陷检测方法及系统
CN114332133B (zh) 基于改进CE-Net的肺炎CT图像感染区分割方法及系统
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN110568445A (zh) 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法
CN111462090A (zh) 一种多尺度图像目标检测方法
CN108875532A (zh) 一种基于稀疏编码和长度后验概率的视频动作检测方法
CN113468994A (zh) 基于加权采样和多分辨率特征提取的三维目标检测方法
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN116843971A (zh) 一种基于自注意力机制的萱草病害目标检测方法及系统
CN113743521B (zh) 一种基于多尺度上下文感知的目标检测方法
CN111368865B (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN113592885B (zh) 基于SegNet-RS网络的大障碍物轮廓分割方法
CN114463732A (zh) 一种基于知识蒸馏的场景文本检测方法及装置
CN117495825A (zh) 一种变电站塔杆异物检测方法
CN115861861B (zh) 一种基于无人机配电线路巡检的轻量级验收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination