CN111612784B - 一种基于分类优先yolo网络的钢板表面缺陷检测方法 - Google Patents

一种基于分类优先yolo网络的钢板表面缺陷检测方法 Download PDF

Info

Publication number
CN111612784B
CN111612784B CN202010484381.0A CN202010484381A CN111612784B CN 111612784 B CN111612784 B CN 111612784B CN 202010484381 A CN202010484381 A CN 202010484381A CN 111612784 B CN111612784 B CN 111612784B
Authority
CN
China
Prior art keywords
defect
classification
steel plate
detected
yolo network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010484381.0A
Other languages
English (en)
Other versions
CN111612784A (zh
Inventor
倪红军
张加俏
任福继
张振亚
贯大兴
吕帅帅
汪兴兴
张福豹
朱昱
张守阳
王凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010484381.0A priority Critical patent/CN111612784B/zh
Publication of CN111612784A publication Critical patent/CN111612784A/zh
Application granted granted Critical
Publication of CN111612784B publication Critical patent/CN111612784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明提供了一种基于分类优先YOLO网络的钢板表面缺陷检测方法，包括如下步骤：S10建立钢板表面缺陷标准图库；S20待检测图片缺陷分类，使用迁移学习模型对所述缺陷标准图库的进行训练分类，获得训练模型，使用所述训练模型对对所述待检测图片进行训练分类，保留分类结果；以及S30待检测图片缺陷位置判定，使用YOLO网络确定所述分类结果中的缺陷类别所在位置。本发明的一种基于分类优先YOLO网络的钢板表面缺陷检测方法，与传统检测算法相比，检测精度更高，速度更快，尤其对夹杂和斑块等缺陷有着较好的检测效果。

Description

一种基于分类优先YOLO网络的钢板表面缺陷检测方法
技术领域
本发明涉及钢板缺陷检测技术领域，具体涉及一种基于分类优先YOLO网络的钢板表面缺陷检测方法。
背景技术
金属板材是机械工业中必不可少的原材料，金属板材的产品质量是决定其价格的关键性指标。由于设备和工艺条件局限等问题的存在，金属板材的表面不可避免地会存在不同形式、不同类别的缺陷，且尺寸大小、缺陷数量及其分布的差异很大。也正是由于表面缺陷的多样性和复杂性，各国钢铁生产企业对表面质量的检测都十分重视，不惜花费巨资改进检测技术、提高检测水平。
YOLO(You Only Look Once)网络模型最早在2016年被提出，其后面的版本YOLOv3不仅检测速度更快，也更适合小目标的检测。YOLO网络包含24个卷基层，4个最大池化层和两个全连接层。卷基层用来获取图像特征，最大池化层用来缩减图像像素，全连接层用来预测图像类别与位置。YOLO使用全图的特征来对边界框进行预测以及对框内目标分类，这意味着YOLO网络可以使用全图信息，实现同一张图像中的目标分类和目标位置的检测。
YOLO在进行图像检测的过程中，通过多层卷积，可以实现目标的分类与检测。例如，当一张图片中同时存在狗和猫时，YOLO网络既可以对二者进行分类，区分出哪一个是狗，哪一个是猫，其次还可对位置进行定位，使用矩形框标注出目标位置。目标检测结果使用置信度值来进行评价，计算公式如下所示。可以看出置信度值为分类概率Pr和IOU值的乘积，二者均属于[0,1]。IOU值为预测框与真实框面积的交并比值。
如果仍直接使用YOLO网络进行检测，不仅增加运算时间，而且会由于Pr值的存在而降低检测精度。
发明内容
为了解决上述问题，本发明提供了一种基于分类优先YOLO网络的钢板表面缺陷检测方法，与传统检测算法相比，检测精度更高，速度更快，尤其对夹杂和斑块等缺陷有着较好的检测效果。
为了实现以上目的，本发明采取的一种技术方案是：
一种基于分类优先YOLO网络的钢板表面缺陷检测方法，包括如下步骤：S10建立钢板表面缺陷标准图库；S20待检测图片缺陷分类，使用迁移学习模型对所述缺陷标准图库进行训练分类，获得训练模型，使用所述训练模型对所述待检测图片进行训练分类，保留分类结果；以及S30待检测图片缺陷位置判定，使用YOLO网络确定所述分类结果中的缺陷类别所在位置，其中所述YOLO网络中的两个残差网络模块替换为两个特征复用网络模块。
进一步地，所述S10步骤包括：S11所述缺陷标准图库中每张图片中包含一种典型缺陷，使用霍夫变换对所述图片进行校正、裁剪使得所述图片大小为200*200dpi；以及S12使用labelImg软件对所述图像进行标注，使用矩形真实框标注出每张所述图像中缺陷的位置，并记录矩形框左上角(xL,yL)和右下角(xR,yR)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注。
进一步地，训练过程中最佳学习速率为Lr＝0.005。
进一步地，每个所述特征复用网络模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。
进一步地，所述步骤S30包括如下步骤：S31将待检测钢板图像导入基于分类优先的YOLO网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi；S32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得第一缺陷分类图；以及S33将所述第一缺陷分类图划分为S×S个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测对象，获得目标缺陷的位置检测结果。
进一步地，使用k-means聚类算法对数据集内第一缺陷分类图进行聚类分析，寻找合适尺寸的锚框Anchor，当聚类簇的个数K为5、6或7时，聚类产生的锚框形状更符合数据集中缺陷的外观,其中K为整数。
进一步地，每个所述网格预测B个预测框；所述预测框包含5个数据值(x,y,w,h,置信度)；(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽；置信度的值反映了边界框是否包含目标概率与当前边界框与真实边界框重合的情况所述最终检测结果符合如下公式：
其中，Pr(Object)为目标物判断参数，当所述分类结果有目标缺陷时Pr(Object)＝1，当所述分类结果没有目标缺陷时Pr(Object)＝0；Pr(Classi/Object)为某种类别的条件概率。
进一步地，所述钢板表面缺陷包括：网纹(Cr)、夹杂(In)、斑块(Pa)、表面麻点(PS)、氧化铁皮压入(RS)以及划伤(Sc)中的至少一种。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的一种基于分类优先YOLO网络的钢板表面缺陷检测方法，通过在ImageNet数据集上进行分类器训练，对钢板表面缺陷图像进行有限分类，既解决了图像数据库不够庞大的问题，又避免了在YOLO网络中进行缺陷类别Pr(Classi)的预测，提高了模型检测精度。其次通过使用特征复用模块代替YOLO网络中的残差网络模块，使得每一个卷积层都能够得到前面卷积层的所有特征，增加特征利用率，进一步提高模型检测精度。本发明根据数据集特点提出了最合适的标注方法和最优的模型参数。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的基于分类优先YOLO网络的钢板表面缺陷检测方法流程图；
图2所示为本发明一实施例的基于YOLO网络的钢板表面缺陷位置判断流程图；
图3所示为本发明一实施例的检测结果可视化；
图4所示为本发明一实施例的训练过程中的loss损失函数变化曲线；
图5所示为本发明6种缺陷检测平均准确率随迭代次数变化的曲线；
图6所示为本发明一实施例的不同网络模型方法检测结果对比
图7所示为本发明一实施例的聚类实验结果；
图8所示为本发明一实施例的不同标注方法下缺陷网纹(Cr)的mAP值随迭代次数变化曲线；
图9所示为本发明一实施例的数据集标注方法改进前后检测结果对比。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于分类优先YOLO网络的钢板表面缺陷检测方法，如图1所示，包括如下步骤：S10建立钢板表面缺陷标准图库。S20待检测图片缺陷分类，使用迁移学习模型对所述缺陷标准图库进行训练分类，获得训练模型，使用所述训练模型对所述待检测图片进行训练分类，保留分类结果。以及S30待检测图片缺陷位置判定，使用YOLO网络确定所述分类结果中的缺陷类别所在位置，其中所述YOLO网络中的两个残差网络模块替换为两个特征复用网络模块。
所述步骤S10包括如下步骤：S11所述缺陷标准图库中每张图片中包含一种典型缺陷，并使用霍夫变换对所述图片进行校正、裁剪使得所述图片大小为200*200dpi。以及S12使用labelImg软件对图像进行标注，使用矩形真实框标注出图像中缺陷的位置，并记录矩形框左上角(xL,yL)和右下角(xR,yR)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注。所述密集标注方法，更加符合钢板表面缺陷的检测。所述钢板表面缺陷包括：网纹(Cr)、夹杂(In)、斑块(Pa)、表面麻点(PS)、氧化铁皮压入(RS)以及划伤(Sc)中的至少一种。
所述步骤S20训练过程中最佳学习速率为Lr＝0.005，所述分类结果包括有目标缺陷或没目标缺陷。
如图2所示，所述步骤S30包括如下步骤：S31将待检测钢板图像导入基于分类优先的YOLO网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi。S32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得第一缺陷分类图。归一化公式为：
其中，xi表示图像像素点值，min(x)、max(x)表示图像像素的最大与最小值。
S33将所述第一缺陷分类图划分为S×S个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测对象，获得目标缺陷的位置检测结果。如图3所示，所述检测结果可通过图片查看。YOLO网络通过引入了锚框anchor box作为先验框来提高目标检测的性能，选择一个合适的先验框将有利于神经网络的学习，从而提高钢板缺陷检测的准确性。使用K-means聚类算法对数据集内的图像进行聚类分析，d(box，centroid)＝1-IoU(box，centroid)，式中:centroid表示簇的中心，box表示样本，IOU(box，centroid)表示簇中心框和聚类框的交并比。寻找合适尺寸的Anchor，当聚类簇的个数K为5、6或7时，聚类产生的anchorbox形状更符合数据集中缺陷的外观。设置YOLO网络参数，取聚类簇的个数K＝6时，卷积核尺寸为1*1，卷积步长为1，模型初始学习速率为0.01，一次训练所选取的样本数为4，权重衰减正则项设为0.0005，采用动量项为0.9的异步随机梯度下降。
将YOLO网络中的两个残差网络模块替换为两个特征复用网络模块使用，从特征的角度考虑，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度消失问题的产生。使得模型在进行预测之前能够接收密集连接块输出的多层卷积特征，从而增强特征的复用与融合。每个特征复用模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。在特征复用模块中：
xn＝Hn([x0,x1,x2])(n＝1，2，3)
其中，x0为模块输入特征图，xn表示第n层的输出。Hn是用于处理拼接特征图的函数。选用BN-ReLU-Conv(1，1)与BN-ReLU-Conv(3，3)的进行特征拼接。
每个所述网格预测B个预测框；所述预测框包含5个数据值(x,y,w,h,置信度)；(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽；置信度的值反映了边界框是否包含目标概率与当前边界框与真实边界框重合的情况所述最终检测结果符合如下公式：
其中，Pr(Object)为目标物判断参数，当所述分类结果有目标缺陷时Pr(Object)＝1，当所述分类结果没有目标缺陷时Pr(Object)＝0；Pr(Classi/Object)为某种类别的条件概率。
实施例1
S10建立钢板表面缺陷图像数据库，共包含6种类型的热轧钢板缺陷，分别为网纹Crazing(Cr)、夹杂Inclusion(In)、斑块Patche(Pa)、表面麻点Pitted Surface(PS)、氧化铁皮压入Rolled-inScales(RS)和划伤Scratches(Sc)。
S20使用迁移学习模型在所述缺陷标准图库的基础上对待检测钢板图片进行训练分类，设置最佳学习速率Lr＝0.005，获得所述待检测钢板图片的分类结果为有缺陷Pr(object)＝1。
S31将所述待检测钢板图像导入基于分类优先的YOLO网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi。
S32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得所述第一缺陷分类图。
归一化公式为：
其中，xi表示图像像素点值，min(x)、max(x)表示图像像素的最大与最小值。
S33将所述第一缺陷分类图划分为9×9个网格，S＝9，每个网格中预测5个预测框，每次预测类别为1中，且已经优先分类，因此C＝1。最终输出的向量维度为：V＝S×S×(B×5+C)＝9×9×(5×5+1)
在卷积过程中，采用1×1的卷积核，它可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。同时对原始卷积网络进行旁路连接，达到密集连接网络的效果，能够更高效、更准确的去挖掘深层特征，同时会加深网络，并将网络结构变宽使得模型能更好的去描述输入数据内容，更好地检测目标缺陷。
使用发明提出的网络模型对钢板表面缺陷图像进行训练，最终检测结果见表1。
表1不同类型缺陷的检测结果参数表
由表1可知，其中，P为识别的精度，R为召回率，t为检测时间，mAP为平均准确率。本发明提出的网络模型的识别的精度P为85.7％，召回率R为82.3％，mAP为82.73％，每张图像的检测时间t为9.68ms。
如图4所示，在前30次的迭代过程中，loss值迅速下降，表明模型在快速拟合。之后loss值随着迭代次数增加逐渐减小，并趋于0。当迭代次数为200时，loss值已基本不变，并分为3个梯度，其中缺陷Pa的loss函数收敛最好，loss值小于0.05。
如图5所示，6种缺陷检测平均准确率随迭代次数变化的曲线，从中可以看出平均准确率mAP随着迭代次数的增加先快速上升，然后趋于稳定。以缺陷pa为例，当迭代次数为186次时，mAP达到最大值91.9％，故选择迭代186次的权重参数作为最优模型参数。
为了验证本发明所提出的模型的有效性，将其与其他模型进行对比试验。分别使用FRCN、DNN、原始的YOLO网络对钢板表面缺陷数据集进行检测，并将检测结果与本发明提出的方法进行对比，如表2所示。可以看出，对于6种缺陷检测的平均准确率的平均值，本发明提出的改进的网络模型比原始YOLO网络提高了6.65％，比FRCN网络提高了10.6％。单张图像检测时间比FRCN网络减少了7.46ms。这表明本发明提出的网络模型增强了图像特征的复用与融合，从而提高了检测精度。
表2不同算法模型检测结果对比
随机抽取一张缺陷Pa的图像，分别使用4种网络模型进行测试，结果如图6所示。可以看出，测试图像中共有3处缺陷，FRCN和DNN均存在缺陷漏检情况，原始的YOLO虽然检测出了所有目标缺陷，但检测精度要低于本发明提出的方法。
YOLO网络通过引入了anchorbox作为先验框来提高目标检测的性能，选择一个合适的先验框将有利于神经网络的学习，从而提高钢板缺陷检测的准确性。因此本发明在使用过程中采用k-means算法对数据集的目标框进行聚类。
本发明通过IOU定义了如下的距离函数：
d(box，centroid)＝1-IoU(box，centroid)
式中：centroid表示簇的中心；box表示样本；IOU(box，centroid)表示簇中心框和聚类框的交并比。
图7为不同钢板表面缺陷的测试结果，展示了K的大小与距离之间的关系。综合考虑K值对模型参数的影响，本发明K选择5、6或7，此时聚类产生的锚框(anchor box)形状更符合数据集中各缺陷的外观。本发明最终的anchor参数的设置，具体内容见表3。
表3.anchor参数设置表
本发明提出一种缺陷密集标注方法，标注过程中选用较小的真实框，每个框中只包含一个缺陷，对每个缺陷都进行单独的标注，获得较好的实验效果，标注方法更加符合钢板表面缺陷的检测。以缺陷Cr为例，图8和图9是本发明提出的密集标注方法与粗大标注方法实验结果对比。原始Cr缺陷检测的平均精度为0.353，单张检测时间为7.67ms，重新标注后的cr缺陷检测的平均精度为0.719，单张检测时间为14.35ms。检测精度提高了103.68％。
以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，包括如下步骤：
S10建立钢板表面缺陷标准图库；
S20待检测图片缺陷分类，使用迁移学习模型对所述缺陷标准图库进行训练分类，获得训练模型，使用所述训练模型对所述待检测图片进行训练分类，保留分类结果；以及
S30待检测图片缺陷位置判定，使用YOLO网络确定所述分类结果中的缺陷类别所在位置，其中所述YOLO网络中的两个残差网络模块替换为两个特征复用网络模块；
所述S10步骤包括：
S11所述缺陷标准图库中每张图片中包含一种典型缺陷，使用霍夫变换对所述图片进行校正、裁剪使得所述图片大小为200*200dpi；以及
S12使用labelImg软件对所述图片进行标注，使用矩形真实框标注出每张所述图片中缺陷的位置，并记录矩形框左上角(xL,yL)和右下角(xR,yR)的坐标信息，在标注过程中采用密集标注法，即对每个单独的缺陷进行标注；
所述步骤S30包括如下步骤：
S31将待检测钢板图像导入基于分类优先的YOLO网络，采用双线性插值法将所述待检测钢板图像大小尺寸统一为448×448dpi；
S32对调整大小后的所述待检测钢板图像进行归一化处理，将所述待检测钢板图像的像素值取值范围由[0,255]，转化为[0,1]，获得第一缺陷分类图；以及
S33将所述第一缺陷分类图划分为S×S个网格，如果目标缺陷的中心落入网格单元，则该网格单元负责检测对象，获得目标缺陷的位置检测结果。
2.根据权利要求1所述的基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，训练过程中最佳学习速率Lr＝0.005。
3.根据权利要求1所述的基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，每个所述特征复用网络模块包含3个卷积层，每一个卷积层可以得到所有之前的卷积层的输出作为输入，相邻的卷积层之间通过卷积层和池化层相连接。
4.根据权利要求1所述的基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，使用k-means聚类算法对数据集内第一缺陷分类图进行聚类分析，寻找合适尺寸的锚框Anchor，当聚类簇的个数K为5、6或7时，聚类产生的锚框形状更符合数据集中缺陷的外观，其中K为整数。
5.根据权利要求4所述的基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，每个所述网格预测B个预测框；所述预测框包含5个数据值(x,y,w,h,置信度)；(x,y)是所述预测框的中心相对于当前网格的偏移量，(w,h)是所述预测框的长和宽；置信度的值反映了边界框是否包含目标概率与当前边界框与真实边界框重合的情况最终检测结果符合如下公式：
其中，Pr(Object)为目标物判断参数，当所述分类结果有目标缺陷时Pr(Object)＝1，当所述分类结果没有目标缺陷时Pr(Object)＝0；Pr(Classi/Object)为某种类别的条件概率。
6.根据权利要求1所述的基于分类优先YOLO网络的钢板表面缺陷检测方法，其特征在于，所述钢板表面缺陷包括：网纹Cr、夹杂In、斑块Pa、表面麻点PS、氧化铁皮压入RS以及划伤Sc中的至少一种。
CN202010484381.0A 2020-06-01 2020-06-01 一种基于分类优先yolo网络的钢板表面缺陷检测方法 Active CN111612784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010484381.0A CN111612784B (zh) 2020-06-01 2020-06-01 一种基于分类优先yolo网络的钢板表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010484381.0A CN111612784B (zh) 2020-06-01 2020-06-01 一种基于分类优先yolo网络的钢板表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111612784A CN111612784A (zh) 2020-09-01
CN111612784B true CN111612784B (zh) 2023-11-14

Family

ID=72201057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010484381.0A Active CN111612784B (zh) 2020-06-01 2020-06-01 一种基于分类优先yolo网络的钢板表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111612784B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381787A (zh) * 2020-11-12 2021-02-19 福州大学 一种基于迁移学习的钢板表面缺陷的分类方法
CN112270404A (zh) * 2020-11-24 2021-01-26 南通大学 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN112613343B (zh) * 2020-12-01 2023-12-15 浙江大学 一种基于改进YOLOv4的河道废弃物监测方法
CN112668628A (zh) * 2020-12-24 2021-04-16 山东大学 一种空调外机质量检测与可视化方法
CN112991271B (zh) * 2021-02-08 2024-02-02 西安理工大学 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN113160140A (zh) * 2021-03-24 2021-07-23 华南理工大学 基于yolov3-spp网络模型的钢板表面缺陷检测方法
CN113506239A (zh) * 2021-05-21 2021-10-15 冶金自动化研究设计院 一种基于跨阶段局部网络的带钢表面缺陷检测方法
CN113569737A (zh) * 2021-07-28 2021-10-29 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113670931A (zh) * 2021-08-09 2021-11-19 中冶南方工程技术有限公司 一种基于神经网络的钢板表面缺陷检测方法及系统
CN113822889B (zh) * 2021-11-24 2022-02-15 江苏金恒信息科技股份有限公司 一种热轧钢板表面缺陷检测方法
CN115147363A (zh) * 2022-06-24 2022-10-04 深圳市纳研科技有限公司 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN115100188A (zh) * 2022-07-28 2022-09-23 北京科技大学 一种层次化缺陷分析的钢板表面质量自动分级与判定方法
CN117607155B (zh) * 2024-01-24 2024-04-19 山东大学 一种应变片外观缺陷检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN110779937A (zh) * 2019-10-11 2020-02-11 上海航天精密机械研究所 一种铸件产品内部缺陷智能检测装置
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN110779937A (zh) * 2019-10-11 2020-02-11 上海航天精密机械研究所 一种铸件产品内部缺陷智能检测装置
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯毅雄 ; 赵彬 ; 郑浩 ; 高一聪 ; 杨晨 ; 谭建荣 ; .集成迁移学习的轴件表面缺陷实时检测.计算机集成制造系统.2019,(12),全文. *

Also Published As

Publication number Publication date
CN111612784A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111612784B (zh) 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN109683360B (zh) 液晶面板缺陷检测方法及装置
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
Cetinic et al. Learning the principles of art history with convolutional neural networks
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
TW202127371A (zh) 基於圖像的瑕疵檢測方法及電腦可讀存儲介質
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115147380A (zh) 一种基于YOLOv5的小型透明塑料制品缺陷检测方法
CN111402236A (zh) 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统
CN117132827A (zh) 基于改进YOLOv5s网络的热轧钢带表面缺陷检测方法
CN117058534A (zh) 基于元知识适应迁移网络的少样本遥感图像目标检测方法
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN115205193A (zh) 一种基于微小缺陷yolo网络的钢板表面缺陷检测方法
CN115456944A (zh) 一种基于目标检测的陶瓷基板外观缺陷智能识别方法
CN117015812A (zh) 用于对数据点进行聚类的系统
CN114092462A (zh) 基于语义分割和目标检测融合模型的复合缺陷检测方法
CN113160141A (zh) 一种钢板表面缺陷检测系统
CN113673534A (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant