CN115829991A - 一种基于改进YOLOv5s的钢材表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv5s的钢材表面缺陷检测方法，获取钢材表面缺陷检测图像；将数据集进行预处理以及缺陷类型和缺陷位置的标注；使用线性对比度增强的方式对图像进行增强，基于YOLOv5s网络模型进行改进，使用Ghost Bottleneck模块替换YOLOv5骨干网络中的Bottleneck模块，在Yolov5网络的头部增加一个新的小尺度预测头；把卷积注意力模块CBAM跟高效注意力通道ECA融合成的新型多注意力机制模块集成到网络颈部的特征融合层中；使用DW Conv替换YOLOv5的常规卷积并在上采样后引入重影模块；最后得到钢材表面缺陷检测模型。本发明可以用于对各种类型的钢材表面缺陷进行检测定位，提升不同类别和相似结构缺陷的准确率，在保持一定检测精度的前提下大大降低网络的复杂度，具有一定的工程应用价值。

Description

一种基于改进YOLOv5s的钢材表面缺陷检测方法

技术领域

本发明涉及图像处理检测技术领域，具体涉及一种基于改进YOLOv5s的表面缺陷检测方法。

背景技术

目前由于钢材产量的快速增长和检测技术的不完善，其表面的任何缺陷，比如残缺、变形等不仅影响其质量性能，而且还影响企业的形象及产品美观。工业环境中的金属设备因处于高温，辐射，化学原料接触，高湿度等特殊运行环境，设备表面极大可能出现各种缺陷。在钢材表面缺陷检测任务中，由于复杂的工业环境等因素的影响，导致检测难度增加，误检率和漏检率高，检测效率低。因此，在上述情况下对钢材表面缺陷进行快速精准的识别具有重要的研究意义。

随着人工智能的迅速发展与深度学习算法的日益成熟，卷积神经网络在人脸识别、图像分类、目标检测等方面具有更加优异的性能比。徐长航等在含缺陷钢制试件红外热像检测实验的基础上，利用多种图像处理技术，实现了裂纹、圆孔等不同类型缺陷的提取与识别。边栋梁通过卷积神经网络模型对钢材表面粗糙度的分类准确率高达100％。JOUNG etal将红外成像技术应用在管道缺陷的检测上。基于深度学习的目标检测算法根据是否具有区域选取(Region Proposal，RP)分为双阶段目标检测算法和单阶段目标检测算法，双阶段目标检测算法先经过RP生成推荐候选框，再进行类别、边界回归，多目标识别精度高，同时计算开销大、训练时间长，适用于云端、算力强设备，代表有区域推荐卷积神经网络(RegionConvolutional Neural Networks，RCNN)、高速区域推荐卷积神经网络(Fast RegionConvolutional Neural Networks，Fast-CNN，Fast-RCNN)、超高速区域推荐卷积神经网络(Faster Region Convolutional Neural Networks，Faster-RCNN)；双阶段目标检测算法采用网格单元代替RP约束检测框，对图像直接检测，算法速度快、可移植性好，但容易漏检、精度偏低，适用于移动终端以及嵌入式设备，代表有YOLO(You Only Look Once)、SSD(Single Shot Mutibox Detector)、Retina-Net。YOLOv4目标检测在小目标和遮挡目标检测方面效果突出，但在图像画质较低时由于能够提取的信息不够充分，导致误检的概率较大，同时该模型的泛化能力不足，不能很好地适应更多的应用场景。

发明内容

发明目的：针对背景技术中指出的问题，本发明提出一种基于改进YOLOv5s的钢材表面缺陷检测方法，解决了现有钢材表面缺陷检测算法对复杂目标特征提取不充分、缺陷定位偏差大以及工业环境对检测算法实时性要求高的问题。

技术方案：本发明提供。

有益效果：

本发明方法把人工智能技术和缺陷检测技术相结合，针对当前钢材表面缺陷检测中对复杂目标特征提取困难、定位误差大以及检测速度慢等问题，使用线性对比度增强方法对图片进行处理，有选择地突出钢材表面缺陷特征的信息，抑制无用信息，使用mosaic增强样本图像的多样性，在Yolov5网络的头部部分增加了一个新的小尺度预测头，提高小目标检测能力。使用融合注意力机制CBAM-ECA注意力机制，消除复杂背景的影响，实现检测的快速性和精确性，将原有的损失函数IoU Loss调整为DIoU Loss，加快网络收敛速度，使用Ghost Bottleneck模块替换YOLOv5s的主干特征提取网络，在不降低模型精确度或精度极小降低的情况下，缩小模型体积，更好地满足当前工业环境中对于钢材表面缺陷检测实时性的要求。

附图说明

图1为本发明实施例中的方法流程图；

图2为本发明实施例中图像Mosaic数据增强效果图；

图3为本发明实施例中的线性对比度增强效果图；

图4为本发明实施例中的的GhostBottleneck模块的原理图；

图5为本发明实施例中深度可分离卷积(DW Conv)原理简图；

图6为本发明实施例中上采样后添加重影模块结构示意图；

图7为本发明实施例中GIoU Loss和DIoU Loss回归过程图；

图8为本发明实施例中CBAM-ECA融合注意力机制结构图；

图9为本发明实施例中改进后Yolov5网络结构简图；

图10为本发明实施例中训练和验证集的训练期间，框损失、目标损失、分类损失、精确度、召回率、平均精度和均值平均精度曲线图；

图11为本发明实施例中改进算法模型实验结果曲线对比图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，本发明实施例公开的一种基于改进YOLOv5s的钢材表面缺陷检测方法，主要包括以下步骤：

步骤1：制作数据集。

S1.1：获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本集，将缺陷分为6种典型表面缺陷，即轧制氧化皮，斑块，开裂，点蚀表面，内含物和划痕。

S1.2：将数据集中的图像用LabelImg工具软件标明个图象中缺陷的类别和位置，并以YOLOv5数据的格式分类储存，将钢材表面缺陷数据集划分为用于训练的训练集、用于验证的验证集以及用于测试的测试集。

步骤2：数据集进行预处理。

S2.1：YOLOv5通过对CutMix数据增强进行优化得到了Mosaic数据增强方案，CutMix数据增强使用两张图像进行随机缩放和剪裁并乱序组合成一张新的图像，而Mosaic数据增强则是使用4张图像进行该操作，相当于变相加大了训练时的批量大小，在优化了训练效果的同时还降低了显卡内存的消耗，效果如图2所示；

S2.2：通过比较了几种图像预处理方法后采用了效果较好的线性对比度增强方法来对数据集进行预处理，此方法适用于图像的灰度值范围较小，导致部分输入图像整体较暗或较亮的情况，效果如图3所示。

步骤3：构建基于改进YOLOv5s模型的钢材表面缺陷检测网络模型。

S3.1：对主干网络进行优化，原模型骨干网络的主干Bottleneck网络替换为更为轻量的Ghost Bottleneck网络，充分利用Ghost Bottleneck模块的图像高维特征提取功能，充分利用特征映射的信息冗余特点，以提高特征提取能力。Ghost Bottleneck由两个Ghost模块堆叠而成，基于一组内在特征映射，采用一系列简单的线性变化来生成更多Ghost特征映射，映射充分揭示内在特征的信息。具体过程如下：

Y′＝X*f+b (2)

式中，X为输入特征图，*为卷积操作，f为当前层的卷积核，Y′为m个通道的本征特征图，b为偏置项，对Y特征图的每一个通道进行线性运算输出t通道数位n的特征图，有：

Y_ij＝θ_ij(y_i′)，i＝1，...，m，j＝1，...，s (3)

式中，y_i是Y′的第i个通道特，θ_ij是y_i′生成的第j个Ghost feature map的线性运算。可知每个Y′可以生成s个Ghost feature map，最后得到Ghost模块的输出特征图。

S3.2：如图4(a)所示，Ghost Bottleneck模块由两个堆叠而成，第一个Ghost模块作为扩展层，其目的是增加通道数，第二个Ghost模块减少通道数，来与路径shortcut匹配，使用shortcut去链接两个Ghost模块的输入和输出，第二个Ghost模块不适用ReLu激活函数，其余层在每层之后都应用了批量归一化(BN)和Relu激活函数，Ghost Bottleneck中对于卷积步长stride＝2的情况，如图4(b)所示，两个模块之间由一个stride＝2的深度卷积进行连接。

S3.3：为了提高Yolov5对钢材缺陷特征的检测性能，在Yolov5的头部部分增添一个新的小尺度检测头，该头部份通过4倍下采样得到，可以生成一个更大(304×304)的特征图，与标准YOLOv5型号的8倍、16倍和32倍下采样检测头相比，该小尺度检测头可以利用浅层中更高分辨率(1200×1200)的特征图来捕获钢材表更精细的缺陷特征信息，改进的头部部分具有3个不同尺度的预测头，分别可用于检测微小(304×304)、小型(152×152)和大型(38×38)目标，可有效提高模型检测不同大小缺陷特征的能力，如图9所示。

S3.4：深度可分离卷积(DW Conv)是谷歌提出的一种轻量化卷积形式，其将完成的卷积分为深度卷积与逐点卷积，当CBS模块在主干中通过下采样获得特征信息，在颈部通过上采样整合信息时，信息可能因为卷积操作丢失，而在特征提取时与融合网络中的深度可分离卷积则可以保留更多的特征信息，DW对特征层中的所有通道进行1×1的升维卷积，然后利用卷积运算获取所需的特征并降低网络参数，同时考虑通道数量和特征区域的大小变化，执行通道和区域的分离，如图5所示。本发明改进YOLOv5s的网络结构模型使用深度可分离卷积代替普通卷积，并在上采样引入重影模块，实现网络的轻量化操作，重影模块使用更少的参数来生成更多的特征并保持模型的准确性，降低计算量。重影模块具体结构如图6所示。

S3.5：在颈部特征融合层中添加融合注意力机制模块，该模块由CBAM与ECA-Net融合组成，其中，ECA-Net模块实现通道注意力，CBAM模块实现空间注意力，ECA-Net模块首先通过一维卷积学习全局平均池化处理过的特征，然后与更新后的通道权重与输入特征图相乘，生成新的特征图，然后，CBAM模块中的空间注意力模块SAM将ECA-Net模块生成的特征映射作为输入，生成空间注意特征映射，并将其添加到原始特征映射中，模拟残差结构，最后对求和后的特征映射使用Relu激活函数，生成具有双重注意机制的特征映射，通过将CBAM-ECA注意力模块集成到网络结构中，可以有效地消除复杂背景地影响，可以从复杂背景中获取钢材缺陷重要特征信息，有效地增加了模型地鲁棒性，提高模型的识别能力。

S3.6：当目标网络的预测框与真实框没有交集的时候，IoU Loss会影响网络导致其训练无法进行，当网络真实框和目标框呈现出包含关系的时候，GIoU和IoU的损失值是一样的，代表这时候GIoU Loss和IoU Loss是相同的，没有办法呈现出两框的相对位置关系。针对该问题，改用DIoULoss作为回归损失函数。其公式如下：

式中，b和b^gt分别为预测框和真实框的中心点，c是最小外接矩C的对角线距离，ρ表示b与两个中心点的欧氏距离，从上述公式4可以看出，DIoU Loss在IoU Loss的版本上加入最小外接矩的对角线距离与其二中心点之间的欧氏距离，不单单能够使预测框和真实框之间的相对位置关系更清楚的表达出来，并且在直接限制最小外接矩阵C面积的同时，把预测框和真实框中心点的距离限制在一定数值内，把网络更加倾向于变化预测框的位置去包含覆盖真实框，提升了网络收敛速度。

S3.7：上述改进YOLOv5s的网络结构模型包括用于特征提取的骨干部分、用于特征融合的颈部部分和用于目标检测的头部部分。骨干网络部分样本经过Focus切片、卷积操作得到特征图，在第3层开始连续经过3个Ghost Bottleneck模块处理，输出目标尺度特征图，在第5层引入注意力机制CBAM-ECA模块，随后再次利用3个Ghost Bottleneck模块进行特征下采样，通道数变为原来的两倍，随后再次添加注意力机制CBAM-ECA模块，最终完成缺陷特征提取，特别地，在颈部特征融合层中增加注意力CBAM-ECA模块，突出钢材表面缺陷的关键信息，具体网络结构如图9所示。

步骤4：使用所述训练集对改进的YOLOv5网络模型进行训练，获得轻量化YOLOv5网络模型。

S4.1：将数据集按照8：2的比例划分为训练集和测试集，实验硬件配置使用IntelCore i5-7300HQ@2.50GHz处理器、NVIDIA GTX 1050，4G显存GPU，内存16G，操作系统为Windows 10，开发平台使用Pycharm，编程语言为Python，深度学习的框架为Pytorch，GPU加速库为CUDA10.2；

S4.2：batch_size设置为16，初始学习率lr₀＝0.01，采用余弦退火策略更新学习率，余弦退火超参数lr_f＝0.2，采用SGD函数优化参数，动量因子0.937，权重衰减系数0.0005。

步骤5：对基于改进YOLOv5钢材表面缺陷检测模型进行评价。

S5.1：选取目标检测领域最常用的指标查准确率(Precision)、召回率(Recall)、平均精度(AP)、均值平均精度(mAP)以及检测速度进行评估。R_P为精确率，R_R为召回率，TP(True Positive)为正样本被正确预测为正的数量，FP(False Positive)为负样本被错误预测为正样本的数量，FN(False Negative)为正样本被错误预测为负的数量；

S5.2：本实例实验结果与常规YOLOv5进行比对如表1所示。

表1

由表1可以看出，轻量化YOLOv5模型的参数数量仅为其他模型的三分之一左右，推理时的FPS也提高接近于两倍，这是由于Ghost Bottleneck对于特征图新颖的处理方式，降低了计算复杂度，轻量化YOLOv5模型可以更好地适应于工业生产中对钢材表面缺陷检测的实时性需求，所需的计算量大大降低，具有一定的工业生产实用性，图7和图8为训练的准确率、召回率和mAP。

Claims (8)

1.一种基于改进YOLOv5s的钢材缺陷检测方法，其特征在于，包括以下步骤：

S1：获取钢材表面缺陷图片数据集；

S2：对步骤1中的钢材表面缺陷数据集进行预处理及标注后，将钢材表面缺陷数据集划分为用于训练的训练集、用于测试的测试集；

S3：搭建基于改进YOLOv5s的网络结构模型，用轻量级Ghost Bottleneck模块替换YOLOv5骨干网络的Bottleneck模块，在YOLOv5网络的头部增加一个小尺度检测头，用深度可分离卷积替换YOLOv5网络的常规卷积，并在上采样后引入重影模块，对其特征提取网络结构进行轻量化改进；

S4：使用步骤2中的训练集对步骤3中的搭建的改进YOLOv5s的网络结构模型进行训练，得到钢材表面缺陷检测模型；

S5：使用训练完成的改进YOLOv5的网络结构模型对测试集进行检测，对测试结果的精度进行评价。

2.根据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述步骤S2的具体方法如下：

S2.1：对数据集采用线性对比度增强的方法进行预处理，该方法适用于图像的灰度值范围较小，导致部分输入图像整体或暗或亮的情况，其计算公式如下所示：

其中，

图像的大小为m×n；

S2.2：使用Mosaic数据增强，将4张图象进行随机缩放和裁剪并乱序组合成一张新的图像，变相增大训练时的批量大小，优化训练效果；

S2.3：采用图像标注工具Labeling对预处理之后的钢材表面缺陷数据中的每张图像的缺陷进行标注，标注格式为关键点的横向、纵向坐标值；

S2.4：将标注好的钢材表面缺陷数据集划分为训练集和测试集，比例设置为4∶1。

3.根据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述步骤S3中用轻量级Ghost Bottleneck模块替换YOLOv5骨干网络的Bottleneck模块的具体方法为：

S3.1：用Ghost Bottleneck模块替换YOLOv5骨干网络的Bottleneck模块，GhostBottleneck由两个Ghost模块堆叠而成，基于一组内在特征映射，采用一系列简单的线性变化来生成更多Ghost特征映射，映射充分揭示内在特征的信息，具体过程如下：

Y′＝X*f+b (2)

式中，X为输入特征图，*为卷积操作，f为当前层的卷积核，Y′为m个通道的本征特征图，b为偏置项，对Y特征图的每一个通道进行线性运算输出t通道数位n的特征图，有：

Y_ij＝θ_ij(y_i′)，i＝1，...，m，j＝1，...，s (3)

式中，y_i是Y′的第i个通道特，θ_ij是y_i′生成的第j个Ghost feature map的线性运算；每个Y′可以生成s个Ghost feature map，最后得到Ghost模块的输出特征图。

4.根据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述步骤3中在YOLOv5s网络的头部增添一个新的小尺度检测头，该头部通过4倍下采样得到，可以生成一个大小为304×304的特征图，所述小尺度检测头利用浅层中1200×1200像素分辨率的特征图来捕获钢材表更精细的缺陷特征信息，改进的头部部分具有3个不同尺度的检测头，分别用于检测304×304、152×152和38×38目标。

5.根据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述步骤3中改进YOLOv5s的网络结构模型包括用于特征提取的骨干网络部分、用于特征融合的颈部部分和用于目标检测的头部部分；

所述骨干网络部分：样本经过Focus切片、卷积操作得到特征图，在第3层开始连续经过3个Ghost Bottleneck模块处理，输出目标尺度特征图，在第5层引入新型多注意力机制模块CBAM-ECA模块，随后再次利用3个Ghost Bottleneck模块进行特征下采样，通道数变为原来的两倍，随后再次添加注意力机制CBAM-ECA模块，最终完成缺陷特征提取；

所述新型多注意力机制模块由卷积注意力模块CBAM和高效注意力通道ECA融合实现，其中高效注意力通道ECA实现通道注意，空间注意力来自原来的卷积注意力模块CBAM。

6.根据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述步骤3中改进YOLOv5s的网络结构模型的改进还包括：

在颈部特征融合层中也增加新型多注意力机制模块，新型多注意力机制模块由卷积注意力模块CBAM和高效注意力通道ECA融合实现，其中高效注意力通道ECA实现通道注意，空间注意力来自原来的卷积注意力模块CBAM；

高效注意力通道ECA首先通过一维卷积学习全局平均池化处理过的特征，然后与更新后的通道权重与输入特征图相乘，生成新的特征图，然后，CBAM模块中的空间注意力模块SAM将高效注意力通道ECA生成的特征映射作为输入，生成空间注意特征映射，并将其添加到原始特征映射中，模拟残差结构，最后对求和后的特征映射使用Relu激活函数，生成具有双重注意机制的特征映射。

7.根据权利要求6所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法，其特征在于，所述高效注意力通道ECA采用自适应方法确定k，公式如下：

8.据权利要求1所述的一种基于改进YOLOv5s的钢材表面缺陷检测方法其特征在于，所述步骤S5中用下列公式分别计算评价参数：

其中，R_P为精确率，R_P为召回率，TP为正样本被正确预测为正的数量，FP为负样本被错误预测为正样本的数量，FN为正样本被错误预测为负的数量，R_P(t)表示交并比阈值取t时的精确率，N为物体类别的数量，n为第n个类别，AP_n表示算法对第n个类别的物体的检测精度。

Images