CN115731177A - 引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法 - Google Patents

Abstract

本发明公开了一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，包括以下步骤：S1：通过图像数据的采集，对裂纹、斑块、夹杂、划伤、麻点、压入氧化铁皮6种缺陷图像进行数据增强，从而获得待检测图像8100张，建立测试数据集；S2：建立和改进YOLO v5的神经网络模型包括引入注意力机制和ConvNext网络模型；S3：将训练数据集中的钢铁的图像，输入到YOLO v5的网络模型中，对YOLO v5的网络模型进行训练，深化YOLO的网络模型；S4：将训练好的权重文件保存到YOLO的网络模型，使用这个权重文件对钢铁表面进行检测，检测钢铁表面是否有损伤；本发明结合深度学习网络与图像处理，实现了对钢铁表面的损伤的快速、准确的检测效果。

Description

引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的 检测方法

技术领域

本发明属于机械表面故障诊断和图像智能识别领域，更具体地，设计一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法。

背景技术

在机械制造业中，钢材是极其重要的材料。钢铁有着良好的表面质量和机械性能，在车辆生产、航空、船舶等行业拥有广泛应用。我国现阶段我国正处于工业化发展中后期阶段，钢铁需求巨大，钢铁行业面临较大的市场空间。钢铁需求量变大的同时，对钢材的质量的要求也会越来越高。然而，在钢材的生产的过程中，由于各种原因，总是会有产生许多表面缺陷，如裂纹、夹杂、斑块、麻点、压入氧化铁皮、划伤等。表面损伤对钢材的质量是有很大的影响，不但会使得钢材外观变差，还会使得钢材的机械性能和抗腐蚀的能力变差。因此，如何快速并且高效的检测出钢板表面的损伤，是当前的研究重点。

原始的钢铁表面损伤检测方法主要有人工检测和传统光电检测。人工检测又称人工目视法，主要靠工人的眼睛判断，没有固定的标准，检测效率很低，不适合快速和准确的检测要求，慢慢的就被弃用了。传统的光电检测主要有涡流检测、漏磁检测等。这些光电技术的检测系统，相比于人工检测方法，检测速度、准确率、效率有了一定的提高。但是他们都有一定程度上的局限性。例如，涡流检测具有灵敏性高、响应迅速、操作方便等优点。但同时浪费资源大、难以检测小损伤目标等缺点，不太适合钢铁表面的损伤检测。

YOLO v5作为目前综合性能最好的目标检测算法之一，对目标可以做到实时检测，同时还能达到较好的检测效果，已被学术界广泛应用。但YOLO v5存在以下缺陷：1）检测小目标时不够准确；2）边界框位置不够精确；3）训练大量的数据集的时候，所消耗的内存较大。

发明内容

本发明的目的在于提供一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，能够在复杂的背景条件下对损伤特征进行高效准确的检测和提取，并且模型具有良好的迁移性和泛化性。让模型训练和检测时对硬件的要求更低，可以被广泛应用于工业检测。

本发明通过下述技术方案实现：

一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，包括以下步骤：

S1：建立测试数据集：

采集图像数据，之后对夹杂、裂纹、麻点、斑块、划伤、压入氧化铁皮6种缺陷图像通过物理变换对图像进行数据增强，从而获得由待检测图像8100张构成的测试数据集；

S2：建立和改进YOLO v5的神经网络模型：

建立YOLO v5的神经网络模型：调整和配置相应的参数；

改进YOLO v5的神经网络模型：用ConvNext替代了原本的CSPdarknet；在特征提取的加强网络层上加入注意力机制；

S3：训练以优化YOLO v5的网络模型：

将裂纹、夹杂、斑块、麻点、压入氧化铁皮、划伤 6 种经过数据增广的钢铁损伤图像，输入到YOLO v5的网络模型中，对YOLO v5的网络模型进行训练，以优化YOLO v5的网络模型；YOLO v5的网络模型进行训练每训练一次，对应生成一权重文件；

S4:将训练好的权重文件保存到YOLO的网络模型，之后基于所述权重文件对钢铁进行预测，以检测钢铁表面是否有损伤。

优选地，S1具体包括：

S11:选取目标结构物，利用相机采集钢材表面图像；

其中，图像包括有损坏和没有损坏的钢材图像；

采集应包括各种不同的条件，条件包括：光强度和阴影变化;

S12:将S11中获取的钢材表面图像分割成小图像，以增加训练库中图像的数量；

S13:将分割得到的小图像分别标记为含有损伤的图像和没有损伤的图像，形成图像数据库；

S14:对图像数据进行数据增强：

数据增强方式包括图像水平翻转、垂直翻转、加入高斯噪声及色温变换。

优选地，S2具体包括：

S21:建立网络模型的特征提取的主干网络为ConvNext，ConvNext由ConvNet模块构建；

ConvNext首先利用7×7的逐层卷积，然后进行归一化处理，使得钢铁的的图片尺寸和像素大小的参数保持一致性；

其中，层归一化代替了批归一化，以加速网络的收敛并减少过拟合；

S22：利用K-Means重新聚类得到的新的预测框尺寸，得到新的先验框；

S23:在特征提取的加强网络层构建了FPN特征金字塔进行加强特征提取；

对特征提取的加强网络层加入注意力机制ECA模块；

S24:设置冻结训练：学习率使用余弦退火衰减法，学习率会先上升再下降，上升的时候使用线性上升，下降的时候模拟cos函数下降；

S25:主干网络上使用了GELU激活函数，其中GELU激活函数可以表示为：

x*sigmoid(1.703x)。

优选地，S21具体包括：

S211: ConvNext网络模型采用步长为4的4×4卷积核，让窗口之间不相交，每次只处理一个patch的特征，同时在卷积层后加入LayerNorm替代了原本的BatchNorma；

S212: ConvNext网络模型使用更少的激活层：在bottleneck的两个1×1卷积核之间使用激活层，其他位置不使用。

优选地，S23具体包括：

在特征提取的主干网络进入特征加强网络的特征融合层时和卷积过后进入上采样层时，都加入ECA注意力机制，以加强对图片中待检测目标的特征提取并减少背景目标的特征提取。

优选地，S24具体包括：

S241:在冻结训练中，设置冻结前50个世代的训练，batch_size为12；

S242：在训练模型中选用sgd优化器，其中参数momentum的值设置为0.937，选用cos学习率下降方式。

优选地，S3具体包括：

将S1中测试数据集，输入优化后的YOLO v5的网络模型中进行训练；其中设置训练世代为300，训练的batch_size 设置为6。

本发明与现有技术相比，具有以下优点及有益效果：

1）针对YOLO v5存在检测小目标时不够准确的问题，本发明在特征层模块上采样的模块加入了ECANet注意力机制模块，可以让网络重点去关注待检测目标，相应实现重要特征的突出表现，以达到提高小目标检测精度的目的；

2）关于边界框位置不够精确的问题，本发明对获取预测框的算法K-Means进行了改进，放弃了原本YOLO v5的预测框尺寸，针对钢铁损伤这种小目标检测，利用K-Means重新聚类得到的新的预测框尺寸，得到更适合的先验框，进而提高检测的精度；

3）对于YOLO v5在训练大量的数据集的时候，所消耗的内存较大的问题，本发明将ConvNext应用到YOLO v5的主干网络中，ConvNext可以捕获全局信息和丰富的上下文信息，并且在高密度的对象上有更好的性能，让YOLOv5在检测小目标的性能上得到提升，进而提高检测的精度。同时ConvNext网络模型在处理大量数据集时，会消耗更少的内存并且具有良好的鲁棒性。

4）本发明提出一种引入注意力机制和ConvNext网络模型的YOLO v5钢铁表面损伤的检测方法，损伤检测可以做到实时检测，保证了损伤检测的高效性。

附图说明

图1显示为本发明的一个实施例的基本流程示意图；

图2为数据增强后水平翻转的图像示例；

图3为数据增强后垂直翻转的图像示例；

图4为数据增强后加入高斯噪音的图像示例；

图5为数据增强后加入色温变换的图像示例；

图6为ConvNext的主干网络的流程示意图；

图7为改进后的YOLO v5的流程示意图；

图8为改进后的YOLO v5对钢铁损伤检测的mAP图；

图9模型输出的检测损伤部分示例图。

具体实施方式

本发明以提高检测小目标精度为目标，对YOLO v5进行了优化与改进。

本发明提出一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，损伤检测可以做到实时检测，保证了损伤检测的高效性。

本发明用ConvNext替代了原本的CSPdarknet的骨干网络，ConvNext是一种纯卷积的神经网络，由标准的ConvNet模块构建，有较好的准确性和可扩展性。ConvNext可以捕获全局信息和丰富的上下文信息，并且在高密度的对象上有更好的性能，所以针对此特点，本发明将其用于YOLOv5的主干网络，让YOLOv5在检测小目标的性能上得到提升，进而提高检测的精度。ConvNext让网络模型在处理大量数据集时，会消耗更少的内存并且具有良好的鲁棒性。ConvNet网络也让算法有了更好的并行性，这也使得改进后的YOLO v5模型具有更大的科研潜力。

本发明还在特征层模块上采样的模块加入了ECANet注意力机制模块，用一维卷积高效实现了局部跨通道交互，提取通道间的依赖关系。可以让网络重点去关注待检测目标，相应实现重要特征的突出表现，进而提升网络模型对目标检测的准确性；

本发明为了获得更准确的预测框，对获取预测框的算法K-Means进行了改进，放弃了原本YOLO v5的预测框尺寸。针对钢铁缺陷这种小目标检测，利用K-Means重新聚类得到的新的预测框尺寸，得到更适合的先验框，从而带来更好的检测效果。

本发明在主干网络上使用了GELU激活函数，该激活函数能避免梯度消失的问题。

本发明还提出模型分步训练方法，加快训练速度。本模型对运行环境要求不高，易于部署于性能一般的计算机上，或者物联网领域，嵌入式，移动设备系统上，可移植性更高。

实施例1：

本实施例的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，如图1所示，包括以下步骤：

S1: 采集图像数据，对夹杂、裂纹、麻点、斑块、划伤、压入氧化铁皮6种缺陷图像，通过水平翻转、添加高斯噪声、垂直翻转等物理变换对图像进行数据增强，从而获得由待检测图像8100张构成的测试数据集。

S2：建立和改进YOLO v5的神经网络模型。

调整和配置相应的参数，例如先验框的参数、学习率下降方式、网络层数还有激活函数；本发明为了让网络模型具有更高的检测精度和在处理大量数据集是有更好的鲁棒性行为，将主干网络模型用ConvNext替代了原本的CSPdarknet;为了提高检测小目标的精度，本发明还在特征提取的加强网络层上加入了注意力机制。

S3: 训练以优化YOLO v5的网络模型。

将裂纹、夹杂、斑块、麻点、压入氧化铁皮、划伤 6 种经过数据增广的缺陷图像（测试数据集），输入到YOLO v5的网络模型中，对YOLO v5的网络模型进行训练，以优化YOLO的网络模型；YOLO v5的网络模型进行训练每训练一次，对应生成一权重文件。

S4:将训练好的权重文件保存到YOLO的网络模型，之后使用这个权重文件对钢铁进行预测，检测钢铁表面是否有损伤。

实施例2：

本实施例在实施例1的基础上做进一步优化，所述S1具体包括：

S11:选取目标结构物，利用相机采集钢材表面图像。图像应包括有损坏和没有损坏的钢材图像，同时，采集应包括各种不同的条件，如光强度、阴影变化和其他可能在实际条件下捕获的图像。

S12:将S11中获取的图像分割成更小的图像，以增加训练库中图像的数量。扫描小图像后，更容易迁移到大图像，而反向却容易出现差错。

S13:将标记分割得到的小图像分别标记为含有损伤的图像和没有损伤的图像，形成图像数据库。在标记的过程中，将边缘疑似损伤的图像去除，因为很难区分具体原因并进行分析，不利于卷积神经网络对其特征进行识别。

S14:对图像数据进行数据增强。为了减少数据的使用量，提高利用效率，测试数据集建立后应用数据增强技术。数据增强包括图像水平翻转如图二所示、垂直翻转如图三所示、加入高斯噪声如图四所示、色温变换如图五所示等。数据增强可以增加数据集的大小，减少过拟合。

实施例3：

本实施例在实施例2的基础上做进一步优化，所述S2具体包括：

S21:建立网络模型的特征提取的主干网络为ConvNext，ConvNext是一种纯卷积的神经网络，由标准的ConvNet模块构建，有较好的准确性和可扩展性。ConvNext可以捕获全局信息和丰富的上下文信息，并且在高密度的对象上有更好的性能。

所以针对此特点，本发明将其用于YOLO v5的主干网络，让YOLO v5在检测小目标的性能上得到提升，进而提高检测的精度。在相同的FLOPs 下，ConvNext 拥有更快的推理速度和更高的准确率，在处理大量数据集的时候，有一定的优越性，并且该网络具有强大的领域泛化能力。所以在本发明中，使用ConvNext来作为主干网络。

它首先利用7×7的逐层卷积，然后进行归一化处理，使得钢铁的的图片尺寸和像素大小的参数保持一致性，网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，达到提高网络模型训练的效率的效果。这里用层归一化(LayerNormalization)代替了批归一化（Batch Normalization），可以加速网络的收敛并减少过拟合，还可以提升准确率；

S22：原本YOLO v5的预测框尺寸是利用coco数据集选择9个聚类得到的。本发明针对钢铁缺陷这种小目标检测，利用K-Means重新聚类得到的新的预测框尺寸，得到更适合的先验框，进而提高检测的精度。

S23:在特征提取的加强网络层构建了FPN特征金字塔进行加强特征提取。还对特征提取的加强网络层加入了注意力机制ECA模块，提升网络的特征提取能力。

ECA模块通过添加了参数的方法来提高了网络性能。该模块通过快速的一维卷积生成通道，其核大小可以通过通道维数的非线性映射自适应地确定。ECA是一个轻量级的即插即用模块，可以让网络重点去关注待检测目标，相应实现重要特征的突出表现，进而提升网络模型对目标检测的准确性；

S24:本模型为了有更高的训练效率，还设置了冻结训练;本模型的学习率，使用余弦退火衰减法，学习率会先上升再下降，上升的时候使用线性上升，下降的时候模拟cos函数下降。

S25:本发明在主干网络上使用了GELU激活函数，该激活函数能避免梯度消失的问题。GELU具备有上下界、平滑、非单调的特性，在激活中引入了随机正则的思想，使得模型具有更好的泛化能力。

其中GELU激活函数可以表示为：

x*sigmoid(1.703x)。

其中sigmoid是一种基础的激活函数，其公式为1/（1+e-x）；这里面x就是指输入率。

实施例4：

本实施例在实施例3的基础上做进一步优化，所述S21具体包括：

S211: ConvNext网络模型采用步长为4的4×4卷积核，让窗口之间不相交，每次只处理一个patch的特征，同时在卷积层后加入LayerNorm替代了原来的BatchNorma。

S212: ConvNext网络模型使用更少的激活层。只在bottleneck的两个1×1卷积核之间使用激活层，其他位置不使用。不需要在每一级卷积层后都添加激活层，频繁的非线性映射反而不利于网络特征的学习。

实施例5：

本实施例在实施例4的基础上做进一步优化，所述S23具体包括：本发明在特征提取的主干网络进入特征加强网络的特征融合层时和卷积过后进入上采样层时，都加入了ECA注意力机制，加强对图片中待检测目标的特征提取，减少背景目标的特征提取，从而增强重要特征的代表性，提高目标检测的精度。

实施例6：

本实施例在实施例5的基础上做进一步优化，所述S24具体包括：

S241:在冻结训练中，本发明设置冻结了前50个世代的训练，batch_size为12。在前50世代的冻结训练中，训练集损失值在整体上呈现持续下降趋势；第 50 代训练时，由于解冻训练致使训练集损失值突然下降，在后续的训练过程中，损失值缓慢变小直至几乎不发生变化，模型收敛。

S242：在训练模型中选用sgd优化器，其中参数momentum的值设置为0.937，选用cos学习率下降方式,来控制参数的更新速度。

实施例7：

本实施例在实施例6的基础上做进一步优化，所述的S3具体包括：将S1中数据增强后的测试数据集，输入改进后的YOLO v5的网络模型中进行训练，然后将训练好的样本数据进行统一化处理，形成维度一致的提取特征矩阵，将提取的数据特征矩阵进行增强处理，程序根据采集的大量图像样本对卷积神经网络模型进行训练，得到训练好的训练权重。

将改进后的YOLO v5网络结构应用裂纹、夹杂、斑块、麻点、压入氧化铁皮、划伤6种缺陷图像经过数据增强进行数据增广制作而成的8100张数据集上，实验结果验证了改进后的YOLO v5在钢铁表面检测上的mAP值达到了81.64%如图8所示，与现有方法相比，达到了较好的效果，能够满足实际需求。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，包括以下步骤：

S1：建立测试数据集：

采集图像数据，之后对夹杂、裂纹、麻点、斑块、划伤、压入氧化铁皮6种缺陷图像通过物理变换对图像进行数据增强，从而获得由待检测图像8100张构成的测试数据集；

S2：建立和改进YOLO v5的神经网络模型：

建立YOLO v5的神经网络模型：调整和配置相应的参数；

改进YOLO v5的神经网络模型：用ConvNext替代了原本的CSPdarknet；在特征提取的加强网络层上加入注意力机制；

S3：训练以优化YOLO v5的网络模型：

将裂纹、夹杂、斑块、麻点、压入氧化铁皮、划伤 6 种经过数据增广的钢铁损伤图像，输入到YOLO v5的网络模型中，对YOLO v5的网络模型进行训练，以优化YOLO v5的网络模型；YOLO v5的网络模型进行训练每训练一次，对应生成一权重文件；

S4:将训练好的权重文件保存到YOLO的网络模型，之后基于所述权重文件对钢铁进行预测，以检测钢铁表面是否有损伤。

2.根据权利要求1所述的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，S1具体包括：

S11:选取目标结构物，利用相机采集钢材表面图像；

其中，图像包括有损坏和没有损坏的钢材图像；

采集应包括各种不同的条件，条件包括：光强度和阴影变化;

S12:将S11中获取的钢材表面图像分割成小图像，以增加训练库中图像的数量；

S13:将分割得到的小图像分别标记为含有损伤的图像和没有损伤的图像，形成图像数据库；

S14:对图像数据进行数据增强：

数据增强方式包括图像水平翻转、垂直翻转、加入高斯噪声及色温变换。

3.根据权利要求2所述的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，S2具体包括：

S21:建立YOLO v5的网络模型的特征提取的主干网络为ConvNext；

其中，ConvNext由ConvNet模块构建；

ConvNext首先利用7×7的逐层卷积，然后进行归一化处理，使得钢铁的的图片尺寸和像素大小的参数保持一致性；

其中，层归一化代替了批归一化，以加速网络的收敛并减少过拟合；

S22：利用K-Means重新聚类得到的新的预测框尺寸，得到新的先验框；

S23:在特征提取的加强网络层构建了FPN特征金字塔进行加强特征提取；

对特征提取的加强网络层加入注意力机制ECA模块；

S24:设置冻结训练：学习率使用余弦退火衰减法，学习率会先上升再下降，上升的时候使用线性上升，下降的时候模拟cos函数下降；

S25:主干网络上使用了GELU激活函数，其中GELU激活函数可以表示为：

x*sigmoid(1.703x)。

4.根据权利要求3所述的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，S21具体包括：

S211: ConvNext网络模型采用步长为4的4×4卷积核，让窗口之间不相交，每次只处理一个patch的特征，同时在卷积层后加入LayerNorm替代了原本的BatchNorma；

S212: ConvNext网络模型使用更少的激活层：在bottleneck的两个1×1卷积核之间使用激活层，其他位置不使用。

5.根据权利要求书4所述的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，S23具体包括：

在特征提取的主干网络进入特征加强网络的特征融合层时和卷积过后进入上采样层时，都加入ECA注意力机制，以加强对图片中待检测目标的特征提取并减少背景目标的特征提取。

6.根据权利要求书5所述的一种引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法，其特征在于，S24具体包括：

S241:在冻结训练中，设置冻结前50个世代的训练，batch_size为12；

S242：在训练模型中选用sgd优化器，其中参数momentum的值设置为0.937，选用cos学习率下降方式。

7.根据权利要求书6所述的一种引入注意力机制和ConvNext网络模型的YOLO v5钢铁表面损伤的检测方法，其特征在于，S3具体包括：

将S1中测试数据集，输入优化后的YOLO v5的网络模型中进行训练；其中设置训练世代为300，训练的batch_size 设置为6。

Images