CN115423743A - 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 - Google Patents
一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115423743A CN115423743A CN202210859608.4A CN202210859608A CN115423743A CN 115423743 A CN115423743 A CN 115423743A CN 202210859608 A CN202210859608 A CN 202210859608A CN 115423743 A CN115423743 A CN 115423743A
- Authority
- CN
- China
- Prior art keywords
- improved
- detection
- yolov5
- hot
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 230000007547 defect Effects 0.000 title claims abstract description 73
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 41
- 239000010959 steel Substances 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000013434 data augmentation Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 7
- 210000000349 chromosome Anatomy 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 238000005096 rolling process Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000037390 scarring Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039509 Scab Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，本发明所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，包括如下步骤：S1：构造改进YOLOv5模型；S11：在YOLOv5模型的主干网络和外加模块之间引入坐标注意力机制；S12：对YOLOv5模型的检测头进行解耦，解耦后的分支能够分别做目标类别检测以及做坐标和背景检测；S2：对改进YOLOv5模型进行训练；S3：使用训练好的改进YOLOv5模型进行热轧带钢的表面缺陷检测。本发明提供的表面缺陷检测方法引入坐标注意力机制，使网络能够在复杂背景环境下更专注于缺陷目标特征的有效提取，特别是微小缺陷的提取；同时将原检测模块的检测头进行解耦，能够增强检测分支的表达能力，提升网络结构对缺陷目标的检测能力。
Description
技术领域
本发明涉及机器视觉领域，特别是涉及一种基于改进YOLOv5的热轧带钢表面缺陷检测方法。
背景技术
钢铁产业是我国国民经济能够快速发展的重要基础。为了将炼钢厂生产的钢坯加工成所需要的形状，同时改善钢的内部质量，需要利用不同的轧机反复进行轧制，但由于轧制设备、工作环境以及工艺技术等原因，使得带钢表面容易产生各种缺陷，不仅影响带钢的外观，还降低了产品耐磨和抗腐蚀等特性。传统的热轧带钢表面缺陷检测方法主要靠人工进行识别，但是由于轧制过程是连续不间断的作业，人工检测难以达到实时24小时不间断生产的要求。因此，非常有必要开发高效、准确的缺陷自动检测系统，以便及时识别缺陷，提高带钢生产质量。
近年来，以深度目标检测算法为基础的机器视觉已经在自动缺陷检测中得到广泛应用，研究者也开始将目标检测算法应用于带钢缺陷检测中，其中大部分算法以YOLO系列目标检测为主，比如李一鸣等人(李一鸣,王潇.基于YOLOv5s模型的轧钢表面缺陷检测[J].制造业自动化,2021,43(11):117-119.)以YOLO系列最新版本YOLOv5s为模型，在轧钢表面缺陷检测中取得了77.76％的检测精度。虽然YOLOv5已经成功地应用于各种产品的缺陷检测系统中，但由于热轧带钢缺陷具有缺陷类型、大小不一致等特点，现有YOLOv5模型对于微小缺陷的检测精度仍有很大的改进空间。
发明内容
基于此，本发明的目的在于，提供一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，能够增强YOLOv5模型对缺陷目标特征提取能力，同时降低漏检率和误检率。
本发明提供一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，包括以下步骤：
S1：构造改进YOLOv5模型；
S11：在YOLOv5模型的主干网络模块和外加模块之间引入多个坐标注意力(Coordinate Attention，CA)机制，CA机制用于将输入的特征张量Fin分别经过x方向平均池化和y方向平均池化，在获得两组池化特征后进行拼接，所得向量经过1×1卷积和非线性激活函数，得到通道编码后输出张量f，将张量f沿空间两个方向继续分解成两个方向张量fh和fw，在分别经过两个1×1卷积和Sigmoid激活函数后展开成与原Fin相同维度的张量，最后进行像素相乘后可得输出特征Fout；
S12：对YOLOv5模型的检测模块进行解耦，解耦后的检测头用于将从外加模块输出的特征张量通过一个1×1的卷积层操作，将通道数减少为256，然后分成两个分支，分别经过两层3×3的卷积层，其中一个分支再经过1×1的卷积层后做目标类别检测，另一分支上则分别做坐标和背景检测；
S2：对改进YOLOv5模型进行训练；
S3：使用训练好的改进YOLOv5模型进行热轧带钢的表面缺陷检测。
进一步地，在YOLOv5模型的主干网络和外加模块之间引入三个坐标注意力机制，位置分别位于CPS2_X以及主干网络的第七层和第五层。
进一步地，所述对改进YOLOv5模型进行训练，包括以下步骤：
获取现有的热轧带钢表面缺陷数据集；
将所述数据集随机划分为训练集和测试集；
设置所述改进YOLOv5模型的超参数权重；
将所述训练集输入设置好参数的改进YOLOv5模型进行训练；
使用所述测试集对训练后的改进YOLOv5模型进行测试验证，得到训练好的改进YOLOv5模型。
进一步地，对所述训练集进行数据增广处理，使用数据增广后的训练集对改进YOLOv5模型进行训练。
进一步地，采用改良的Mosaic方法进行数据增广处理，具体步骤如下：
随机抽取所述训练集的图片进行裁剪，在裁剪过程中，避免切割重要的目标区；
对裁剪后的图片进行拼接，拼接时将图片粘贴到背景区域。
进一步地，所述设置所述改进YOLOv5模型的超参数权重，包括：
以mAP作为适应度，采用遗传算法(GeneticAlgorithm，GA)对所述改进YOLOv5超参数进行寻优，通过改变参数使得适度值最大，具体步骤如下：
A1：在各个参数的优化空间内随机选取一组参数作为染色体，通过交叉(相互交换两个参数组内的参数)和变异(改变参数组内的参数)算子，产生初始化种群；
A2：根据选择算子，选择最大适应度的染色体，重新经过交叉和变异算子生成新的种群；
A3：重复A2步骤，直到满足设置好的循环次数。
进一步地，所述将所述数据集随机划分为训练集和测试集，包括：
将所述数据集按照8:2的比例将数据随机划分为训练集和测试集。
进一步地，所述使用所述测试集对训练后的改进YOLOv5模型进行测试验证，包括：
采用mAP(meanAveragePrecision)作为所述改进YOLOv5模型的检测精度评价标准，其计算公式为：
其中
P表示查准率(Precise)，R表示查全率(Recall)，TP表示真正例，FP表示假正例，TN表示真反例，FN表示假反例，N为所有类别总数。
进一步地，训练时的实验平台硬件配置为：CPU i7-10700；RAM 32GB；GPURTX3060-12G；软件配置为：Ubantu20.04系统；Pytorch1.10.2+cuda11.3。
本发明提供的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，在原YOLOv5模型的主干网络和外加模块之间引入坐标注意力机制，使网络能够在复杂背景环境下更专注于缺陷目标特征的有效提取，特别是微小缺陷的提取；同时将原检测模块的检测头进行解耦，能够增强检测分支的表达能力，提升网络结构对缺陷目标的检测能力；在改进YOLOv5模型训练时通过数据增广和超参优化，使得改进YOLOv5网络结构更适应于表面缺陷检测。在NEU-DET热轧带钢表面缺陷检测数据集验证结果表明，本文算法比其他算法能够更有效地提升检测精度，降低漏检率，具有较强的鲁棒性。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为YOLOv5模型的主干网络的结构示意图；
图2为YOLOv5模型的外加模块的结构示意图；
图3为本发明提供的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法的流程示意图；
图4为本发明提供的改进YOLOv5模型的坐标注意力机制示意图；
图5为本发明提供的改进YOLOv5模型的解耦头结构示意图；
图6为本发明提供的改进YOLOv5模型的网络结构示意图；
图7(a)为原标注真值图；
图7(b)为对照的原YOLOv5s模型的检测结果图；
图7(c)为本发明提供的改进YOLOv5模型的检测结果图；
图8(a)为原标注真值图；
图8(b)为对照的原YOLOv5s模型的检测结果图；
图8(c)为本发明提供的改进YOLOv5模型的检测结果图；
图9(a)为原标注真值图；
图9(b)为对照的原YOLOv5s模型的检测结果图；
图9(c)为本发明提供的改进YOLOv5模型的检测结果图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
针对背景技术中的问题，本申请实施例提供一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，YOLO系列算法为一阶段(one-stage)目标检测，即在检测端直接预测目标的位置和类别。YOLOv5在主干网络上采用Focus切片操作以提高训练和检测速度，同时使用不同深度的残差模块以满足不同速度精度要求，在外加模块和检测模块也借鉴了深度学习领域的优化策略，比如Dropblock、Mosaic数据增广和CIOU损失函数等，有效地提高了算法的精度和速度。YOLOv5模型的网络结构主要包括四个模块，分别是输入端、主干网络(Backbone)、外加模块(Neck)和检测模块(Prediction)。
如图1所示，在一个具体的例子中，主干网络的第一层为Focus层，作用是将输入的图片进行切片操作，然后进行等间隔采样，对于608×608×3大小的图片经过切片后变为304×304×12的特征图，再经过相同的卷积核进行卷积操作。第二层为CBL层，它是由卷积层(Conv)、归一化层(BN)和激活函数层(Leaky relu)所构成的基本操作单位。对于CSP1_X层主要通过X组残差模块增加反向传播的梯度值，避免网络退化。按照残差模块组数的不同，YOLOv5分成：s、m、l和x四种模型，对应的残差组数X分别为：1、2、3和4。随着X的增多，网络结构也不断加深，网络的特征提取能力和融合能力也不断增强。最后一层为空间金字塔池化层(Spatial Pyramid Pooling layer，SPP)，通过三个不同步长的池化层在空间金字塔进行最大池化操作，然后与原特征层进行拼接，实现多尺度融合，最大限度地保存不同尺度物体的特征。
如图2所示，在外加模块部分，由于在外加模块的网络较浅，CSP2_X利用两层CBL层替换CSP1_X的残差组件，降低网络训练难度。与主干网络类似，YOLOv5的s、m、l和x四种模型，对应的残差组数X分别为：1、2、3和4。对从主干网络输入的第五层、第七层和第九层采用特征金字塔网络(Feature Pyramid Networks，FPN)形式，自顶向下将高层的特征信息经过上采样后，与低层特征进行融合，从而补充低层网络语义信息，以获得高分辨率、强语义特征。在输向检测模块之前，采用路径聚合网络(Path Aggregation Network，PAN)自底向上的将低层信息往高层传播，从而帮助高层更好地提取语义信息。
在检测模块部分，通过完全交并比(Complete Intersection over Union，CIoU)损失函数和非极大值抑制(Non Maximum Suppression，NMS)以获取最佳检测框。CIoU损失函数的定义如下：
其中，ρ2(b,bgt)表示预测框b与真值框bgt之间的欧氏距离，c表示预测框和真值框并集对角线距离，υ为两个框相对比例一致性系数，其计算公式为：
其中，wgt和hgt分别表示真实框的宽和高，w和h分别表示检测框的宽和高，真实框和预测框的宽高比越接近，则υ越接近0。
本申请实施例提供的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，如图3所示，包括以下步骤：
S1：构造改进YOLOv5模型；
S11：在YOLOv5模型的主干网络模块和外加模块之间引入多个坐标注意力(Coordinate Attention，CA)机制，CA机制用于将输入的特征张量Fin分别经过x方向平均池化和y方向平均池化，在获得两组池化特征后进行拼接，所得向量经过1×1卷积和非线性激活函数，得到通道编码后输出张量f，将张量f沿空间两个方向继续分解成两个方向张量fh和fw，在分别经过两个1×1卷积和Sigmoid激活函数后展开成与原Fin相同维度的张量，最后进行像素相乘后可得输出特征Fout。
具体的，坐标注意力机制示意图如图4所示，假设输入CA机制的特征张量为
将特征张量Fin分别经过x方向平均池化(x average pooling)和y方向平均池化(x average pooling)，获得两组池化特征后进行拼接，所得向量经过1×1卷积和非线性激活函数，得到通道编码后输出张量
具体计算公式为：
f＝δ(F1×1[xAvgPool(Fin),yAvgPool(Fin)]) (3)
其中，C表示向量的通道数，H和W分别表示向量的长和宽，r为压缩率，xAvgPool和yAvgPool分别表示x和y方向平均池化运算，F1×1表示1×1卷积运算，δ表示非线性激活函数。
随后将f沿空间两个方向继续分解成两个方向张量
和
在fh和fw分别经过1×1卷积和Sigmoid激活函数运算后展开成与原Fin相同维度的张量，最后进行像素相乘后可得输出特征Fout，其计算公式如下：
其中，σ表示Sigmoid激活函数运算，
表示逐元素运算。
在一个优选的实施例中，本申请在YOLOv5模型的主干网络和外加模块之间引入三个坐标注意力机制，位置分别位于CPS2_X以及主干网络的第七层和第五层，坐标注意力机制将水平和垂直两个方向的聚合特征嵌入到通道信息中，在捕捉空间信息的同时，保留目标平面位置的精确信息，从而生成对目标方向和位置都敏感的坐标感知特征图，能够使网络更加关注于目标特征提取，特别是复杂背景下的小目标特征。
S12：对YOLOv5模型的检测模块进行解耦，解耦后的检测头用于将从外加模块输出的特征张量通过一个1×1的卷积层操作，将通道数减少为256，然后分成两个分支，分别经过两层3×3的卷积层，其中一个分支再经过1×1的卷积层后做目标类别检测，另一分支上则分别做坐标和背景检测。
解耦头结构如图5所示，YOLOv5模型的检测头为一个维度为H'×W'×C'的张量，其中H'和W'分别为特征图的高和宽，C'＝anchor×(Cls+4+1)，anchor表示预先设置的锚框个数，Cls表示所检测数据集的类别数。对YOLOv5模型的检测头进行解耦，能够增强检测分支的表达能力，进一步提升YOLOv5模型对缺陷目标的检测能力。
S2：对改进YOLOv5模型进行训练；
根据改进YOLOv5模型的网络结构，利用迁移学习的思想对网络结构进行训练。
S3：使用训练好的改进YOLOv5模型进行热轧带钢的表面缺陷检测。
获取待检测的热轧带钢图像，将待检测的热轧带钢图像输入训练好的改进YOLOv5模型，得到热轧带钢图像对应缺陷的检测结果，结果可包括缺陷类型、缺陷位置和缺陷置信度等，通过的改进YOLOv5模型的网络结构如图6所示。
在一个具体的例子中，所述对改进YOLOv5模型进行训练，包括以下步骤：
S21：获取现有的热轧带钢表面缺陷数据集；
优选的，本申请实施例采用了东北大学公布的热轧带钢表面缺陷数据集(NEU-DET)，该数据集包含结疤(Rolled-in scale)、斑块(Patches)、开裂(Crazing)、点蚀(Pitted Surface)、夹杂(Inclusion)和划痕(Scratches)等六种缺陷，每种缺陷类型各有300张200×200像素图片，总共1800张图片。
S22：将所述数据集随机划分为训练集和测试集；
优选的，实验中按照8:2的比例将数据随机划分为训练集和测试集，即有1440张训练图和360张测试图，每种缺陷类型的数据分布如表1所示，在其他例子中，也可以按照其他比例划分训练集和测试集。
表1缺陷类型数据分布
优选的，对所述训练集进行数据增广处理，使用数据增广后的训练集对改进YOLOv5模型进行训练。数据增广方式采用改良的Mosaic方法进行，具体步骤如下：
随机抽取所述训练集的图片进行裁剪，在裁剪过程中，避免切割重要的目标区；
对裁剪后的图片进行拼接，拼接时将图片粘贴到背景区域。
通过改良的Mosaic方法扩充数据集，能够提高数据集的质量的同时，使原图像的重要目标区域得到保留，进一步提升网络检测能力。
S23：设置所述改进YOLOv5模型的超参数权重；
YOLOv5有初始学习率、学习策略参数、梯度下降动量等30个超参数，针对数据集大小和类别的不同，需要采用相应的优化超参数集。由于超参数个数多，导致参数空间搜索维度高，且各参数之间的相关性弱，每个适应度(fitness)点的评估计算复杂度高。为了提高优化的鲁棒性，降低计算复杂度，本申请以mAP作为适应度，采用遗传算法(GeneticAlgorithm，GA)对所述改进YOLOv5模型超参数进行寻优，通过改变参数使得适度值最大，具体步骤如下：
A1：在各个参数的优化空间内随机选取一组参数作为染色体，通过交叉(相互交换两个参数组内的参数)和变异(改变参数组内的参数)算子，产生初始化种群；
A2：根据选择算子，选择最大适应度的染色体，重新经过交叉和变异算子生成新的种群；
A3：重复A2步骤，直到满足设置好的循环次数。
交叉和变异算子能够避免局部寻优，选择算子能够控制种群往最优解移动，因此能够快速搜索到最优的超参数组合。
S24：将所述训练集输入设置好参数的改进YOLOv5模型进行训练；
优选的，训练时采用数据增广后的训练集，基于上述改进YOLOv5模型，训练时实验平台硬件配置为：CPU i7-10700；RAM 32GB；GPU RTX3060-12G；软件配置为：Ubantu20.04系统；Pytorch1.10.2+cuda11.3。
S25：使用所述测试集对训练后的改进YOLOv5模型进行测试验证，得到训练好的改进YOLOv5模型。
优选的，本申请采用mAP(meanAveragePrecision)作为所述改进YOLOv5模型的检测精度评价标准，其计算公式为：
其中，
P表示查准率(Precise)，R表示查全率(Recall)，TP表示真正例，FP表示假正例，TN表示真反例，FN表示假反例，N为所有类别总数。
本发明采用测试集对训练后的模型进行测试，测试对象包括基于语义分割的Seg-detection-Net、基于残差网络的CADN、YOLO系列检测算法以及本发明提供的改进YOLOv5模型。测试结果如表2所示，改进YOLOv5模型的mAP达到84.36％，远超过其他五种算法。对比于原YOLOv5模型，本发明的平均精度有6.68％的提升，进一步证明了改进模型的有效性。在六种缺陷类型中，本发明对夹杂、点蚀、划痕和斑块的检测精度都超过80％，其中斑块的精度达96.48％，由于这些缺陷类型特征明显，深度网络能够捕捉到高层语义信息，实现精确地检测。对于开裂和结疤缺陷，本文方法的检测精度只有66.11％和73.65％，这是因为这两种类型缺陷与背景较为相似，而且检测框和标注框都为矩形，在特征聚合时容易与背景像素融合，导致检测精度下降。
表2六种检测方法的精度对比
如图7-9为结果检测图，每组图的(a)为原标注真值图，(b)为原YOLOv5s模型检测结果，(c)为本文改进YOLOv5模型的检测结果，可以看出，原YOLOv5s模型检测结果均出现漏检情况，比如图7漏检了开裂缺陷，图8漏检右边的点蚀缺陷，图9漏检了上半部分的结疤缺陷。而本申请中的改进YOLOv5模型不仅能够将以上缺陷全部检测，同时对于检出缺陷的置信度高于原YOLOv5模型，如图9中，本发明的结疤缺陷置信度为0.85，高于原YOLOv5模型的0.57。改进后的算法不仅能够在提取复杂背景下更的小目标特征，并且对于大目标的置信率也有显著的提高，能够有效减低误检率和漏检率。
本发明提供的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，在原YOLOv5模型的主干网络和外加模块之间引入坐标注意力机制，使网络能够在复杂背景环境下更专注于缺陷目标特征的有效提取，特别是微小缺陷的提取；同时将原检测模块的检测头进行解耦，能够增强检测分支的表达能力，提升网络结构对缺陷目标的检测能力；在改进YOLOv5模型训练时通过数据增广和超参优化，使得改进YOLOv5网络结构更适应于表面缺陷检测。在NEU-DET热轧带钢表面缺陷检测数据集验证结果表明，本文算法比其他算法能够更有效地提升检测精度，降低漏检率，具有较强的鲁棒性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (9)
1.一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于，包括以下步骤：
S1：构造改进YOLOv5模型；
S11：在YOLOv5模型的主干网络模块和外加模块之间引入多个坐标注意力(CoordinateAttention，CA)机制，CA机制用于将输入的特征张量Fin分别经过x方向平均池化和y方向平均池化，在获得两组池化特征后进行拼接，所得向量经过1×1卷积和非线性激活函数，得到通道编码后输出张量f，将张量f沿空间两个方向继续分解成两个方向张量fh和fw，在分别经过两个1×1卷积和Sigmoid激活函数后展开成与原Fin相同维度的张量，最后进行像素相乘后可得输出特征Fout；
S12：对YOLOv5模型的检测模块进行解耦，解耦后的检测头用于将从外加模块输出的特征张量通过一个1×1的卷积层操作，将通道数减少为256，然后分成两个分支，分别经过两层3×3的卷积层，其中一个分支再经过1×1的卷积层后做目标类别检测，另一分支上则分别做坐标和背景检测；
S2：对改进YOLOv5模型进行训练；
S3：使用训练好的改进YOLOv5模型进行热轧带钢的表面缺陷检测。
2.根据权利要求1所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于：
在YOLOv5模型的主干网络和外加模块之间引入三个坐标注意力机制，位置分别位于CPS2_X以及主干网络的第七层和第五层。
3.根据权利要求1所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于，所述对改进YOLOv5模型进行训练，包括以下步骤：
获取现有的热轧带钢表面缺陷数据集；
将所述数据集随机划分为训练集和测试集；
设置所述改进YOLOv5模型的超参数权重；
将所述训练集输入设置好参数的改进YOLOv5模型进行训练；
使用所述测试集对训练后的改进YOLOv5模型进行测试验证，得到训练好的改进YOLOv5模型。
4.根据权利要求3所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于：
对所述训练集进行数据增广处理，使用数据增广后的训练集对改进YOLOv5模型进行训练。
5.根据权利要求4所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于：
采用改良的Mosaic方法进行数据增广处理，具体步骤如下：
随机抽取所述训练集的图片进行裁剪，在裁剪过程中，避免切割重要的目标区；
对裁剪后的图片进行拼接，拼接时将图片粘贴到背景区域。
6.根据权利要求3所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于，所述设置所述改进YOLOv5模型的超参数权重，包括：
以mAP作为适应度，采用遗传算法(GeneticAlgorithm，GA)对所述改进YOLOv5超参数进行寻优，通过改变参数使得适度值最大，具体步骤如下：
A1：在各个参数的优化空间内随机选取一组参数作为染色体，通过交叉(相互交换两个参数组内的参数)和变异(改变参数组内的参数)算子，产生初始化种群；
A2：根据选择算子，选择最大适应度的染色体，重新经过交叉和变异算子生成新的种群；
A3：重复A2步骤，直到满足设置好的循环次数。
7.根据权利要求3所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于，所述将所述数据集随机划分为训练集和测试集，包括：
将所述数据集按照8:2的比例将数据随机划分为训练集和测试集。
8.根据权利要求3所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于，所述使用所述测试集对训练后的改进YOLOv5模型进行测试验证，包括：
采用mAP(meanAveragePrecision)作为所述改进YOLOv5模型的检测精度评价标准，其计算公式为：
其中
P表示查准率(Precise)，R表示查全率(Recall)，TP表示真正例，FP表示假正例，TN表示真反例，FN表示假反例，N为所有类别总数。
9.根据权利要求3所述的一种基于改进YOLOv5的热轧带钢表面缺陷检测方法，其特征在于：
训练时的实验平台硬件配置为：CPU i7-10700；RAM 32GB；GPU RTX3060-12G；软件配置为：Ubantu20.04系统；Pytorch1.10.2+cuda11.3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210859608.4A CN115423743A (zh) | 2022-07-21 | 2022-07-21 | 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210859608.4A CN115423743A (zh) | 2022-07-21 | 2022-07-21 | 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115423743A true CN115423743A (zh) | 2022-12-02 |
Family
ID=84196783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210859608.4A Pending CN115423743A (zh) | 2022-07-21 | 2022-07-21 | 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115423743A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197787A (zh) * | 2023-08-09 | 2023-12-08 | 海南大学 | 基于改进YOLOv5的智能安检方法、装置、设备及介质 |
-
2022
- 2022-07-21 CN CN202210859608.4A patent/CN115423743A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197787A (zh) * | 2023-08-09 | 2023-12-08 | 海南大学 | 基于改进YOLOv5的智能安检方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348376B (zh) | 一种基于神经网络的行人实时检测方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
| CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
| Wan et al. | Ceramic tile surface defect detection based on deep learning | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN109544522A (zh) | 一种钢板表面缺陷检测方法及系统 | |
| CN111611998A (zh) | 一种基于候选区域面积和宽高的自适应特征块提取方法 | |
| CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
| Enshaei et al. | Automated detection of textured-surface defects using UNet-based semantic segmentation network | |
| CN115170529A (zh) | 基于注意力机制的多尺度微小瑕疵检测方法 | |
| CN111612747A (zh) | 产品表面裂缝快速检测方法及检测系统 | |
| CN112991271A (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN111860290A (zh) | 一种激光熔覆过程中裂纹识别的方法 | |
| CN115294089A (zh) | 一种基于改进YOLOv5的钢材表面缺陷检测方法 | |
| CN115423743A (zh) | 一种基于改进YOLOv5的热轧带钢表面缺陷检测方法 | |
| CN114332004A (zh) | 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN114972316A (zh) | 基于改进YOLOv5的电池壳端面缺陷实时检测方法 | |
| CN114037684B (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
| CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及系统 | |
| CN115147347A (zh) | 一种面向边缘计算的玛钢管件表面缺陷检测的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |