CN110660052B - 一种基于深度学习的热轧带钢表面缺陷检测方法 - Google Patents

一种基于深度学习的热轧带钢表面缺陷检测方法 Download PDF

Info

Publication number
CN110660052B
CN110660052B CN201910899204.6A CN201910899204A CN110660052B CN 110660052 B CN110660052 B CN 110660052B CN 201910899204 A CN201910899204 A CN 201910899204A CN 110660052 B CN110660052 B CN 110660052B
Authority
CN
China
Prior art keywords
layer
size
feature map
clustering
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910899204.6A
Other languages
English (en)
Other versions
CN110660052A (zh
Inventor
李维刚
叶欣
赵云涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910899204.6A priority Critical patent/CN110660052B/zh
Publication of CN110660052A publication Critical patent/CN110660052A/zh
Application granted granted Critical
Publication of CN110660052B publication Critical patent/CN110660052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于深度学习的热轧带钢表面缺陷检测方法。它包括：1、构建数据集，对所有图片进行标记，记录所有缺陷目标的位置、类别信息；2、使用加权K‑means算法聚类，得到检测所需的先验框参数；聚类前根据特征图层对应的预设点计算样本权重；3、构建改进的YOLOv3算法网络模型；将FPN中上一个检测层的输出上采样，与增加了残差单元的浅层输出融合，经卷积后形成新的特征图层；4、设置迭代次数，使用Adam优化器优化网络参数；5、对训练集进行训练，保存训练后的模型及参数；6、使用保存的模型及参数对测试集进行检测，得到模型的检测精度、检测速度。该检测方法可提高热轧带钢表面缺陷的检测精度和检测速度。

Description

一种基于深度学习的热轧带钢表面缺陷检测方法
技术领域
本发明属于热轧带钢表面缺陷检测技术领域，涉及一种基于深度学习的热轧带钢表面缺陷检测方法，特别涉及一种基于YOLOv3(You Only Look Once)算法的热轧带钢表面缺陷检测方法。
背景技术
作为钢铁工业的重要产品之一，带钢已经在国防装备、汽车制造、航空航天等领域扮演着重要角色。其表面质量的好坏严重影响着最终产品的性能，因此尽可能地改善带钢表面质量，对提高最终产品的性能具有重大意义。目前，热轧带钢表面缺陷的检测任务一般通过传统的机器学习方法(深度学习算法)完成。但采用传统深度学习算法的热轧带钢表面缺陷检测方法，在检测精度和检测速度上都难以满足带钢生产中实时检测的要求。
深度学习的概念源于人工神经网络的研究，是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。目前，深度学习在数据挖掘、实时翻译、自然语言处理、语音识别、推荐系统等领域被广泛的应用，取得了很多成果。目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置、大小以及类别信息。目前，基于深度学习的目标检测方法逐渐取代了传统的目标检测方法。现有的深度学习目标检测算法主要分为两类，一类是以Faster R-CNN、Mask R-CNN为代表的two stage检测算法；另一类是以YOLO、SSD(Single Shot MultiBox Detector)为代表的one stage检测算法。two stage检测算法将检测任务分为两个阶段，首先使用区域候选网络(RPN,Region Proposal Network)产生候选区域，然后使用检测网络检测候选区域的类别、位置，这种方法的准确度较高但检测速度稍慢。one stage检测算法不需要RPN阶段，可以直接得到检测结果，所以检测速度较快，但检测精度较低。
现有的原始的YOLOv3算法采用Darknet-53网络提取目标特征，Darknet-53网络结构如图1所示，该网络结构借鉴了Resnet的思想，交替使用1x1和3x3的卷积核构成残差块，避免了网络层数增加后梯度消失的问题。Darknet-53网络将卷积层(Conv)、批量归一化层(Batch Normalization)、激活函数层(Leaky relu)作为构建模型的最小单元，默认所有的卷积层后都有批量归一化层和激活函数层，提高网络的泛化性，同时使网络易于训练。整个网络中使用步长为2的卷积层代替池化层来调整输出尺寸，避免了使用池化后小目标特征丢失。检测时使用多个尺度的特征图层(feature map)，可以对不同尺度的目标进行检测。特征图层(feature map)的宽、高分别为原始输入的1/32、1/16、1/8。每个特征图层(feature map)通过特征图融合，同时兼顾了浅层特征与深层特征，提高了网络的检测能力。
但是，原始的YOLOv3算法在小目标的检测上存在很大不足。在带钢表面缺陷检测的问题中，不同种类的缺陷在形态、大小等方面差异很大，若使用原始的YOLOv3网络进行检测，其对微小缺陷的检测效果较差。以大小为256*256的图片为例，原始的YOLOv3网络最终划分的网格大小分别为32*32、16*16、8*8，能够得到的最大预选框数量仅有1344个，难以满足检测需求。因此，在热轧带钢表面缺陷的目标检测中，有必要对原始的YOLOv3网络进行改进，以提高其对微小缺陷的检测精度。
发明内容
本发明的目的在于，克服现有技术的不足，提供一种基于深度学习的热轧带钢表面缺陷检测方法，即一种基于改进的YOLOv3算法的热轧带钢表面缺陷检测方法，该检测方法可提高热轧带钢表面缺陷的检测精度和检测速度。
本发明的目的是通过如下技术方案实现的：
一种基于深度学习的热轧带钢表面缺陷检测方法，包括以下步骤：
步骤一、构建数据集，对所有图片进行标记，记录所有缺陷目标的位置、类别信息。将数据集划分为训练集和测试集，使用训练集进行训练，使用测试集验证模型检测精度和速度。
步骤二、使用加权K-means算法聚类，得到检测所需的先验框参数。
在聚类前先确定每个聚类中心所属的特征图层(feature map)，根据特征图层(feature map)对应的预设点计算样本权重，参与聚类运算。一般，每1个特征图层(featuremap)对应1个预设点，每1个预设点对应3个聚类中心。
具体方法如下：
1)首先，统计训练集图片中所有目标的宽、高作为聚类样本，根据目标大小和每一个特征图层(feature map)的大小，确定每一个feature map的预设点，预设点由宽、高两个参数构成。一般使用小尺度的feature map检测大目标，大尺度的feature map检测小目标，所以，预设点与feature map对应，大尺度的feature map对应的预设点宽、高较小，小尺度的feature map对应的预设点宽、高较大。
2)求出每一个样本与预设点之间的距离，距离计算公式如式(1)所示：
Figure GDA0002257407920000031
其中，boxi(1)、boxi(2)为第i个样本的横、纵坐标，Cl(1)、Cl(2)为第l个预设点的横、纵坐标，dil为样本i到预设点l的距离。
3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个预设点的聚类中心共用相同的权重。权重为样本到聚类中心距离z-score标准化后的相反数，将距离较远的样本权重直接设置为0，降低数据不平衡样本的干扰。式(2)为所有样本到某一预设点距离的均值，式(3)为权重的计算公式：
Figure GDA0002257407920000032
Figure GDA0002257407920000033
其中，l为预设点，dil为样本i与预设点l的距离，
Figure GDA0002257407920000034
为所有样本与预设点l的距离的平均值。
4)使用目标函数D′来评价聚类结果，迭代更新所有聚类中心，直到聚类中心不再发生变化。此时，D′达到最小值，得到的聚类中心与样本重合度最高。将得到的聚类中心作为先验框参数，按照聚类前的划分飞配到每一个特征图层。
Figure GDA0002257407920000035
其中，ωijl为第i个样本与第j个聚类中心的权重，l为聚类中心所属的预设点，boxi为第i个样本，cenj为第j个聚类中心。
步骤三、构建改进的YOLOv3算法网络模型
改进的YOLOv3算法网络模型结构，将特征金字塔网络FPN(feature pyramidnetworks)中上一个检测层的输出上采样(Upsampling)，与增加了残差单元(Residual)的浅层输出融合，经卷积后形成新的特征图层(feature map)。
如图2所示，改进的YOLOv3算法网络模型结构如下：第1层为卷积层，卷积核大小为3x3，步长为1；第2层为3x3大小，步长为2的卷积层；第3-5层由1x1大小，步长为1的卷积层、3x3大小，步长为1的卷积层以及一个残差单元(Residual)构成的1个残差结构；第6层为3x3大小，步长为2的卷积层；第7-12层为2个残差结构；第13层为3x3大小，步长为2的卷积层；第14-38层为8个残差结构；第39层为3x3大小，步长为2的卷积层；第40-64层为8个残差结构；第65层为3x3大小，步长为2的卷积层；第66-78层为4个残差结构。第1个特征图层(featuremap)是第78层输出经过5个3x3大小，步长为1的卷积层后得到；第2个特征图层(featuremap)将上一个feature map输出上采样(Upsampling)后与第64层输出结合后，经过5个3x3大小，步长为1的卷积层后得到；第3个feature map将上一个feature map输出上采样(Upsampling)后与第38层输出结合后，经过5个3x3大小，步长为1的卷积层后得到；第4个feature map将上一个feature map输出上采样(Upsampling)，同时在第12层输出后添加8个残差结构，将二者结合后经过5个3x3大小，步长为1的卷积层后得到最终的输出。
步骤四、设置迭代次数(优选100000次)，使用Adam优化器优化网络参数。
损失函数包括目标位置、目标类别、置信度三部分，目标位置部分使用MSE损失函数，其余部分使用交叉熵。具体公式如下
Figure GDA0002257407920000041
其中，S为图像的划分系数，B为每个网格中所预测的预测框个数，C为总分类数，p为类别概率；xi、yi、wi、hi为第i个网格中预测框的中心点横、纵坐标以及宽、高，
Figure GDA0002257407920000042
第i个网格中目标实际的中心点横、纵坐标以及宽、高；Ci为预测目标i的类别，
Figure GDA0002257407920000051
为目标i的实际类别，pi(c)为预测目标i属于某一类的概率，
Figure GDA0002257407920000052
为实际概率；λcoord为权重系数，λnoobj为惩罚权重系数。
步骤五、使用改进的YOLOv3算法网络模型对训练集进行训练，保存训练后的模型结构及参数。
步骤六、使用保存的模型及参数对测试集进行检测，得到模型的检测精度、检测速度等相关数据。
本发明的有益效果：
本发明一种基于深度学习的热轧带钢表面缺陷检测方法，即一种基于改进的YOLOv3算法的热轧带钢表面缺陷检测方法，该检测方法可提高热轧带钢表面缺陷的检测精度和检测速度。
附图说明
图1是现有技术中原始的Darknet-53网络结构图；
图2是本发明中改进的YOLOv3网络结构图；
图3是本发明实施例中各类别带钢表面缺陷的检测结果图。
具体实施方式
以下结合附图和实施例对本发明作进一步的说明。
实施例
使用keras框架构建模型，使用opencv(开源计算机视觉库)对图像进行预处理。实验采用的硬件配置为Core i7-9700K处理器，RTX 2080Ti显卡，软件环境为CUDA10.0和cuDNN9.1。
本发明一种基于改进的YOLOv3算法的热轧带钢表面缺陷检测方法，它包括：
步骤一、构建数据集，对所有图片进行标记，记录所有缺陷目标的位置、类别信息。将数据集划分为训练集和测试集，使用训练集进行训练，使用测试集验证模型检测精度和速度。
以东北大学发布的NEU-DET数据集为例，数据集内收集了6类带钢表面缺陷图片各300张，图片大小为200x200。缺陷分别为压入氧化铁皮(rolled-in scale，RS)、斑块(patches，Pa)、裂纹(crazing，Cr)、麻点(pitted surface，PS)、夹杂(inclusion，In)以及划痕(scratches，Sc)。随机抽取训练集与测试集的比例为7:3，即训练集1260张，测试集540张。图片使用xml格式记录所有缺陷的位置、类别信息。
步骤二、使用加权K-means算法聚类，得到检测所需的先验框参数。
对训练集中所有缺陷目标的宽、高进行聚类，得到先验框的宽、高，记录到anchors(固定的参考框)参数中。(即，得到检测所需的先验框参数。)
在聚类前先确定每个聚类中心所属的特征图层(feature map)，根据特征图层(feature map)对应的预设点计算样本权重，参与聚类运算。一般，每1个特征图层(featuremap)对应1个预设点，每1个预设点对应3个聚类中心。
具体方法如下：
1)首先，统计训练集图片中所有目标的宽、高作为聚类样本，根据目标大小和每一个特征图层(feature map)的大小，确定每一个feature map的预设点，预设点由宽、高两个参数构成。一般使用小尺度的feature map检测大目标，大尺度的feature map检测小目标，所以，预设点与feature map对应，大尺度的feature map对应的预设点宽、高较小，小尺度的feature map对应的预设点宽、高较大。
2)求出每一个样本与预设点之间的距离，距离计算公式如式(1)所示：
Figure GDA0002257407920000061
其中，boxi(1)、boxi(2)为第i个样本的横、纵坐标，Cl(1)、Cl(2)为第l个预设点的横、纵坐标，dil为样本i到预设点l的距离。
3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个预设点的聚类中心共用相同的权重。权重为样本到聚类中心距离z-score标准化后的相反数，将距离较远的样本权重直接设置为0，降低数据不平衡样本的干扰。式(2)为所有样本到某一预设点距离的均值，式(3)为权重的计算公式：
Figure GDA0002257407920000062
Figure GDA0002257407920000063
其中，l为预设点，dil为样本i与预设点l的距离，
Figure GDA0002257407920000071
为所有样本与预设点l的距离的平均值。
4)使用目标函数D′来评价聚类结果，迭代更新所有聚类中心，直到聚类中心不再发生变化。此时，D′达到最小值，得到的聚类中心与样本重合度最高。将得到的聚类中心作为先验框参数，按照聚类前的划分飞配到每一个特征图层。
Figure GDA0002257407920000072
其中，ωijl为第i个样本与第j个聚类中心的权重，l为聚类中心所属的预设点，boxi为第i个样本，cenj为第j个聚类中心。
步骤三、构建改进的YOLOv3算法网络模型
原始的YOLOv3算法在小目标的检测上存在很大不足。在带钢表面缺陷检测的问题中，不同种类的缺陷在形态、大小等方面差异很大，若使用原始的YOLOv3网络进行检测，微小缺陷的检测效果较差，故对原始的YOLOv3网络进行了改进。
如图2所示，改进后的YOLOv3算法网络模型结构如下：第1层为卷积层，卷积核大小为3x3，步长为1；第2层为3x3大小，步长为2的卷积层；第3-5层由1x1大小，步长为1的卷积层、3x3大小，步长为1的卷积层以及一个残差单元(Residual)构成的1个残差结构；第6层为3x3大小，步长为2的卷积层；第7-12层为2个残差结构；第13层为3x3大小，步长为2的卷积层；第14-38层为8个残差结构；第39层为3x3大小，步长为2的卷积层；第40-64层为8个残差结构；第65层为3x3大小，步长为2的卷积层；第66-78层为4个残差结构。第1个特征图层(feature map)是第78层输出经过5个3x3大小，步长为1的卷积层后得到；第2个特征图层(feature map)将上一个feature map输出上采样(Upsampling)后与第64层输出结合(concat)后，经过5个3x3大小，步长为1的卷积层后得到；第3个feature map将上一个feature map输出上采样(Upsampling)后与第38层输出结合后，经过5个3x3大小，步长为1的卷积层后得到；第4个feature map将上一个feature map输出上采样(Upsampling)，同时在第12层输出后添加8个残差结构，将二者结合后经过5个3x3大小，步长为1的卷积层后得到最终的输出。
图2中，在每一个卷积层(Conv)后，都添加批归一化(Batch Normalization，BN)以及激活函数层Leaky Relu组成卷积模块DBL。
以大小为256*256的图片为例，原始的YOLOv3网络最终划分的网格大小分别为32*32、16*16、8*8，能够得到的最大预选框数量仅有1344个，难以满足检测需求。改进的YOLOv3算法调整了网络结构，将FPN中上一个检测层的输出上采样(Upsampling)，与增加了残差单元的浅层输出融合，经卷积后形成新的feature map。新的feature map不仅继承了Darknet-53输出的深层特征，同时也包含了浅层特征，提取特征能力更强。新的图像特征尺度宽、高分别为原图像的1/4，网格数量为64*64，网格大小仅为4*4，改进后的网络对小目标的检测能力更强。同时，保持每个特征图层(feature map)上的先验框的数量为3个，则总的先验框数量由9个增加到12个。改进后的网络每张图片上最大预选框数量可达到5440个，相比于之前的1344个有很大提高。而增加先验框数量能够提高先验框与样本间的匹配度，降低位置信息上的误差。
步骤四、设置迭代次数100000次，使用Adam优化器优化网络参数。损失函数包括目标位置、目标类别、置信度三部分，目标位置部分使用MSE损失函数，其余部分使用交叉熵。具体公式如下
Figure GDA0002257407920000081
其中，S为图像的划分系数，B为每个网格中所预测的预测框个数，C为总分类数，p为类别概率；xi、yi、wi、hi为第i个网格中预测框的中心点横、纵坐标以及宽、高，
Figure GDA0002257407920000082
第i个网格中目标实际的中心点横、纵坐标以及宽、高；Ci为预测目标i的类别，
Figure GDA0002257407920000083
为目标i的实际类别，pi(c)为预测目标i属于某一类的概率，
Figure GDA0002257407920000084
为实际概率；λcoord为权重系数，λnoobj为惩罚权重系数。
步骤五、使用改进的YOLOv3算法网络模型对训练集进行训练，保存训练后的模型结构及参数。
使用改进后的YOLOv3算法网络模型对训练集进行训练，在训练中设置批次大小(batch size)为24，训练迭代次数为100000次，使用批量归一化(Batch Normalization)，避免出现过拟合现象。优化器选用Adam，设置β1＝0.9，β2＝0.999，∈＝10e-8；使反向传播的梯度更加平稳。
保存训练好的模型以及参数，每迭代2000次保存一次模型、模型参数及训练结果。
步骤六、使用保存的模型及参数对测试集进行检测(测试)，得到模型的检测精度、检测速度等相关数据；记录检测结果以及检测所用时间。
评价网络模型性能时，需要同时兼顾精确率(Precision)和召回率(recall)，目标检测中一般使用平均精度均值(Mean Average Precision,mAP)来评价网络模型的性能。
式(5)为精确率的计算公式，式(6)为召回率的计算公式：
Figure GDA0002257407920000091
Figure GDA0002257407920000092
其中，TP为成功预测的正例，FP为被模型误判为正例的负例，FN表示被模型错误预测为负例的正例。
平均精度(Average Precision,AP)的定义为不同召回率下精确率的平均值，一般用来评价某一类的检测精度。mAP是所有目标类别检测精度的均值，一般用来评价网络模型的整体性能，计算公式如式(7)所示。Fps为网络模型每秒能够检测的图片数量，用来评价网络模型的检测速度，计算公式如式(8)所示。
Figure GDA0002257407920000093
Figure GDA0002257407920000094
其中，AP(i)为某一类的检测精度，n为类别数，NumFIgure为检测图片总数，TotleTime为检测总时间。
按上述方法检测得到的数据集中各类别带钢表面缺陷的检测结果如图3所示，图3中，第二排图片中的方框为人工标签，第三排图片为预测框与人工标签的对比。
表1中是改进后的YOLOv3算法与原始的YOLOv3算法的检测结果对比，从表1中可以看出，采用改进后的YOLOv3算法，在检测精度上综合mAP指标达到80.1％，较原始算法提高了11％，且每一个类别缺陷的检测精度都超过了70％，可以满足所有缺陷的检测需求；在检测速度上保持了50张/s的速度，能够满足实时检测的需求。
表1 YOLOv3算法改进性能对比
Figure GDA0002257407920000101
表2中是不同算法检测性能的对比。其中，DDN(Defect Detection Network)是一种应用于带钢表面缺陷的端到端two stage检测算法，是目前带钢表面检测中表现最好的算法之一。表2不同算法的检测性能对比
Figure GDA0002257407920000102
从表2中可以看出：1)原始的YOLOv3算法在速度上相较于two stage算法优势较大，但其检测精度较低；2)改进后的YOLOv3算法继承了原始YOLOv3算法的快速性，同时检测精度达到了80％，弥补了原始YOLOv3算法在精度上的不足；3)改进后的YOLOv3算法的检测速度是DDN的3倍左右，而检测精度仅相差2％，有效提高了检测效率。

Claims (10)

1.一种基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，
该方法包括以下步骤：
步骤一、构建数据集，对所有图片进行标记，记录所有缺陷目标的位置、类别信息；
步骤二、使用加权K-means算法聚类，得到检测所需的先验框参数；
在聚类前先确定每个聚类中心所属的特征图层feature map，根据特征图层对应的预设点计算样本权重，参与聚类运算；
步骤三、构建改进的YOLOv3算法网络模型；改进的YOLOv3算法网络模型结构，将特征金字塔网络FPN中上一个检测层的输出上采样Upsampling，与增加了残差单元Residual的浅层输出融合，经卷积后形成新的特征图层feature map；
步骤四、设置迭代次数，使用Adam优化器优化网络参数；
步骤五、使用改进的YOLOv3算法网络模型对训练集进行训练，保存训练后的模型结构及参数。
2.如权利要求1所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，该方法还包括：步骤一中，将数据集划分为训练集和测试集，使用训练集进行训练，使用测试集验证模型检测精度和速度；
步骤六、使用保存的模型及参数对测试集进行检测，得到模型的检测精度、检测速度相关数据。
3.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，
步骤三中，改进的YOLOv3算法网络模型结构如下：第1层为卷积层，卷积核大小为3x3，步长为1；第2层为3x3大小，步长为2的卷积层；第3-5层由1x1大小，步长为1的卷积层、3x3大小，步长为1的卷积层以及一个残差单元Residual构成的1个残差结构；第6层为3x3大小，步长为2的卷积层；第7-12层为2个残差结构；第13层为3x3大小，步长为2的卷积层；第14-38层为8个残差结构；第39层为3x3大小，步长为2的卷积层；第40-64层为8个残差结构；第65层为3x3大小，步长为2的卷积层；第66-78层为4个残差结构；第1个特征图层feature map是第78层输出经过5个3x3大小，步长为1的卷积层后得到；第2个特征图层feature map是将上一个feature map输出上采样Upsampling后与第64层输出结合后，经过5个3x3大小，步长为1的卷积层后得到；第3个feature map是将上一个feature map输出上采样Upsampling后与第38层输出结合后，经过5个3x3大小，步长为1的卷积层后得到；第4个feature map是将上一个feature map输出上采样Upsampling，同时在第12层输出后添加8个残差结构，将二者结合后经过5个3x3大小，步长为1的卷积层后得到最终的输出。
4.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤二中，每1个特征图层对应1个预设点，每1个预设点对应3个聚类中心。
5.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤二的具体方法如下：
1)首先，统计训练集图片中所有目标的宽、高作为聚类样本，根据目标大小和每一个特征图层feature map的大小，确定每一个feature map的预设点，预设点由宽、高两个参数构成；
2)求出每一个样本与预设点之间的距离，距离计算公式如式(1)所示：
Figure FDA0004047973720000021
其中，boxi(1)、boxi(2)为第i个样本的横、纵坐标，Cl(1)、Cl(2)为第l个预设点的横、纵坐标，dil为样本i到预设点l的距离；
3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个预设点的聚类中心共用相同的权重；权重为样本到聚类中心距离z-score标准化后的相反数，将距离较远的样本权重直接设置为0，降低数据不平衡样本的干扰；式(2)为所有样本到某一预设点距离的均值，式(3)为权重的计算公式：
Figure FDA0004047973720000022
Figure FDA0004047973720000023
其中，l为预设点，dil为样本i与预设点l的距离，
Figure FDA0004047973720000031
为所有样本与预设点l的距离的平均值；
4)使用目标函数D′来评价聚类结果，迭代更新所有聚类中心，直到聚类中心不再发生变化；此时，D′达到最小值，得到的聚类中心与样本重合度最高；将得到的聚类中心作为先验框参数，按照聚类前的划分飞配到每一个特征图层；
Figure FDA0004047973720000032
其中，ωijl为第i个样本与第j个聚类中心的权重，l为聚类中心所属的预设点，boxi为第i个样本，cenj为第j个聚类中心。
6.如权利要求5所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤1)中，使用小尺度的featuremap检测大目标，大尺度的featuremap检测小目标；预设点与featuremap对应，大尺度的featuremap对应的预设点宽、高较小，小尺度的featuremap对应的预设点宽、高较大。
7.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤四中，设置迭代次数100000次，使用Adam优化器优化网络参数。
8.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤四中，损失函数包括目标位置、目标类别、置信度三部分，目标位置部分使用MSE损失函数，其余部分使用交叉熵；具体公式如下
Figure FDA0004047973720000033
其中，S为图像的划分系数，B为每个网格中所预测的预测框个数，C为总分类数，p为类别概率；xi、yi、wi、hi为第i个网格中预测框的中心点横、纵坐标以及宽、高，
Figure FDA0004047973720000034
第i个网格中目标实际的中心点横、纵坐标以及宽、高；Ci为预测目标i的类别，
Figure FDA0004047973720000035
为目标i的实际类别，pi(c)为预测目标i属于某一类的概率，
Figure FDA0004047973720000041
为实际概率；λcoord为权重系数，λnoobj为惩罚权重系数。
9.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，步骤四和步骤五中，
使用改进的YOLOv3算法网络模型对训练集进行训练，在训练中设置批次大小为24，训练迭代次数为100000次，使用批量归一化，避免出现过拟合现象；优化器选用Adam，设置β1＝0.9，β2＝0.999，∈＝10e-8；每迭代2000次保存一次模型、模型参数及训练结果。
10.如权利要求1或2所述的基于深度学习的热轧带钢表面缺陷检测方法，其特征在于，使用keras框架构建模型，使用开源计算机视觉库opencv对图像进行预处理。
CN201910899204.6A 2019-09-23 2019-09-23 一种基于深度学习的热轧带钢表面缺陷检测方法 Active CN110660052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910899204.6A CN110660052B (zh) 2019-09-23 2019-09-23 一种基于深度学习的热轧带钢表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910899204.6A CN110660052B (zh) 2019-09-23 2019-09-23 一种基于深度学习的热轧带钢表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110660052A CN110660052A (zh) 2020-01-07
CN110660052B true CN110660052B (zh) 2023-04-07

Family

ID=69038873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910899204.6A Active CN110660052B (zh) 2019-09-23 2019-09-23 一种基于深度学习的热轧带钢表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110660052B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274894A (zh) * 2020-01-15 2020-06-12 太原科技大学 一种基于改进YOLOv3的人员在岗状态检测方法
CN111259973A (zh) * 2020-01-20 2020-06-09 太原理工大学 一种提高实时目标检测系统中均值平均精度的方法
CN111275684A (zh) * 2020-01-20 2020-06-12 东华大学 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN111292305B (zh) * 2020-01-22 2023-05-05 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111369508A (zh) * 2020-02-28 2020-07-03 燕山大学 一种金属三维点阵结构的缺陷检测方法及系统
CN111476756B (zh) * 2020-03-09 2024-05-14 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111951253B (zh) * 2020-05-19 2021-08-20 高视科技(苏州)有限公司 用于锂电池表面缺陷检测的方法、设备及可读存储介质
CN111860106B (zh) * 2020-05-28 2023-12-08 江苏东印智慧工程技术研究院有限公司 一种无监督的桥梁裂缝识别方法
CN111681240B (zh) * 2020-07-07 2022-09-16 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN112037197A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种热轧棒材冷剪物料堆积检测方法、系统及介质
CN111986436B (zh) * 2020-09-02 2022-12-13 成都视道信息技术有限公司 一种基于紫外、深度神经网络的综合火焰检测方法
CN112257793A (zh) * 2020-10-26 2021-01-22 大连理工大学 一种基于改进YOLO v3算法的远距离交通标志检测方法
CN112288022B (zh) * 2020-11-02 2022-09-20 河南工业大学 一种基于ssd算法的特征融合的粮虫识别方法和识别系统
CN112345539A (zh) * 2020-11-05 2021-02-09 菲特（天津）检测技术有限公司 一种基于深度学习的铝压铸件表面缺陷检测方法
CN112507861A (zh) * 2020-12-04 2021-03-16 江苏科技大学 一种多层卷积特征融合的行人检测方法
CN112597865A (zh) * 2020-12-16 2021-04-02 燕山大学 热轧带钢边部缺陷智能识别方法
CN112288043B (zh) * 2020-12-23 2021-08-03 飞础科智慧科技(上海)有限公司 窑炉表面缺陷检测方法、系统和介质
CN112668628A (zh) * 2020-12-24 2021-04-16 山东大学 一种空调外机质量检测与可视化方法
CN112614125B (zh) * 2020-12-30 2023-12-01 湖南科技大学 手机玻璃缺陷检测方法、装置、计算机设备及存储介质
CN112881403A (zh) * 2021-01-08 2021-06-01 王玮佳 一种热轧带钢表面缺陷检测装置
CN112819756B (zh) * 2021-01-15 2023-07-11 江苏理工学院 Pcb板表面缺陷检测装置及方法
CN112819771A (zh) * 2021-01-27 2021-05-18 东北林业大学 一种基于改进YOLOv3模型的木材缺陷检测方法
CN112991271B (zh) * 2021-02-08 2024-02-02 西安理工大学 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN113129284B (zh) * 2021-02-26 2023-04-07 山东大学 一种基于5g云边协同的外观检测方法及实现系统
CN112907564A (zh) * 2021-03-18 2021-06-04 中科海拓(无锡)科技有限公司 一种基于MaskRCNN的螺母表面缺陷分割方法
CN113160141A (zh) * 2021-03-24 2021-07-23 华南理工大学 一种钢板表面缺陷检测系统
CN113111875A (zh) * 2021-04-02 2021-07-13 广州地铁集团有限公司 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN113344037A (zh) * 2021-05-18 2021-09-03 国网江西省电力有限公司电力科学研究院 电缆绝缘层及护套参数测量方法及测量装置
CN113313694A (zh) * 2021-06-05 2021-08-27 西北工业大学 一种基于轻量型卷积神经网络的表面缺陷快速检测方法
CN113393439A (zh) * 2021-06-11 2021-09-14 重庆理工大学 一种基于深度学习的锻件缺陷检测方法
CN113327243B (zh) * 2021-06-24 2024-01-23 浙江理工大学 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
CN113670931A (zh) * 2021-08-09 2021-11-19 中冶南方工程技术有限公司 一种基于神经网络的钢板表面缺陷检测方法及系统
CN113780111B (zh) * 2021-08-25 2023-11-24 哈尔滨工程大学 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法
CN113838208B (zh) * 2021-09-02 2024-02-02 桂林电子科技大学 基于改进残差收缩网络的带钢缺陷检测方法
CN113702393B (zh) * 2021-09-29 2023-10-27 安徽理工大学 一种本安型矿用输送带表面损伤检测系统及检测方法
CN113822889B (zh) * 2021-11-24 2022-02-15 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法
CN114972261A (zh) * 2022-05-27 2022-08-30 东北大学 一种板带钢表面质量缺陷的识别方法
CN115731228B (zh) * 2022-11-30 2023-08-18 杭州数途信息科技有限公司 一种镀金芯片缺陷检测系统和方法
CN116809652B (zh) * 2023-03-28 2024-04-26 材谷金带(佛山)金属复合材料有限公司 一种热轧机控制系统的异常分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Text Detection Algorithm based on Improved YOLOv3》;Huibai Wang等;《ICEIEC2019》;20190805;全文 *
《基于F-DPM的行人实时检测》;戴植毅 等;《数字制造科学》;20180630;第16卷(第2期);全文 *

Also Published As

Publication number Publication date
CN110660052A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN108537215B (zh) 一种基于图像目标检测的火焰检测方法
CN111612784A (zh) 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN112767357A (zh) 一种基于Yolov4的混凝土结构病害检测方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN115829991A (zh) 一种基于改进YOLOv5s的钢材表面缺陷检测方法
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN113822889A (zh) 一种热轧钢板表面缺陷检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN114898327A (zh) 一种基于轻量化深度学习网络的车辆检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
CN111047654A (zh) 一种基于色彩信息的高清高速视频背景建模方法
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
Shao et al. Design and research of metal surface defect detection based on machine vision
CN113450321B (zh) 基于边缘检测的单阶段目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200107

Assignee: Wuhan langlichi Technology Co.,Ltd.

Assignor: WUHAN University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2023980050623

Denomination of invention: A Deep Learning Based Surface Defect Detection Method for Hot Rolled Strip Steel

Granted publication date: 20230407

License type: Common License

Record date: 20231211