CN113160140A - 基于yolov3-spp网络模型的钢板表面缺陷检测方法 - Google Patents

基于yolov3-spp网络模型的钢板表面缺陷检测方法 Download PDF

Info

Publication number
CN113160140A
CN113160140A CN202110311680.9A CN202110311680A CN113160140A CN 113160140 A CN113160140 A CN 113160140A CN 202110311680 A CN202110311680 A CN 202110311680A CN 113160140 A CN113160140 A CN 113160140A
Authority
CN
China
Prior art keywords
network model
yolov3
spp
pictures
steel plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110311680.9A
Other languages
English (en)
Inventor
许玉格
杨舒乔
吴宗泽
邓木清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110311680.9A priority Critical patent/CN113160140A/zh
Publication of CN113160140A publication Critical patent/CN113160140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Abstract

本发明公开了一种基于yolov3‑spp网络模型的钢板表面缺陷检测方法，包括步骤：1)获取钢板表面缺陷图片，划分为训练集和测试集；2)把训练集的图片输入yolov3‑spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件；3)把权重文件加载到yolov3‑spp网络模型，对测试集的图片进行预测，得到检测结果。本发明将yolov3‑spp网络模型中的spp模块作为实现局部特征和全局特征融合的一种有效手段，能够充分提取缺陷在图片中的结构信息，经过训练集的学习，可以在测试集上有效地提高钢板表面缺陷检测的精确率。

Description

基于yolov3-spp网络模型的钢板表面缺陷检测方法
技术领域
本发明涉及钢板缺陷检测的技术领域，尤其是指一种基于yolov3-spp网络模型的钢板表面缺陷检测方法。
背景技术
钢板是机械工业中必不可少的基础材料，广泛应用于汽车、家电、电力等行业。受到设备和生产工艺局限等因素的影响，钢板的表面不可避免地会产生各种缺陷，如开裂、内含物、斑块、点蚀表面、轧制氧化皮、划痕等，为了提高钢板生产的质量，必须关注钢板的表面缺陷检测问题。
传统的钢板表面检测技术主要有人工检测方法、基于电磁波或超声的检测方法、模式识别或机器学习的方法，适应性和精确率较低。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于yolov3-spp网络模型的钢板表面缺陷检测方法，该方法先获取钢板表面缺陷图片，取其训练集输入yolov3-spp网络模型进行训练迭代，得到权重文件后把测试集输入yolov3-spp网络模型，得到测试集的缺陷位置和类别，该方法可以有效地提高钢板表面缺陷的检测精度。
为实现上述目的，本发明所提供的技术方案为：基于yolov3-spp网络模型的钢板表面缺陷检测方法，包括以下步骤：
1)获取钢板表面缺陷图片，划分为训练集和测试集；
2)把训练集的图片输入yolov3-spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件；其中，所述yolov3-spp网络模型由backbone、spp模块、neck和检测头组成；
3)把权重文件加载到yolov3-spp网络模型，对测试集的图片进行预测，得到检测结果。
在步骤1)中，所述钢板表面缺陷图片需要不少于1500张，并且按70％-80％的比例提取训练集，余下的作为测试集，其中训练集要做裁剪的数据增强操作。
在步骤2)中，把训练集的图片输入yolov3-spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件，具体情况如下：
定义yolov3-spp网络模型的基本组件简称为CBL，该CBL由一个卷积层、一个BN层和一个Leaky relu激活函数组成；
定义一个残差单元Res Unit为一条支路经过两个CBL，另一条支路为原输入，相加得到输出，定义残差组件ResX为一个CBL和X个残差单元组成；
训练集的图片输入backbone，依次经过1个CBL、Res1、Res2、Res8、Res8、Res4，在第一个Res8的输出、第二个Res8的输出和Res4的输出引出3个层次的特征图C1、C2、C3；
将C3输入spp模块，分3条支路，第一条支路经过核大小为5×5、步长为1的最大池化层，第一条支路经过核大小为9×9、步长为1的最大池化层并与原输入相加，第一条支路经过核大小为13×13、步长为1的最大池化层，3条支路通过concat操作联合，再依次经过卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层得到新的特征图M3；
将M3、C2、C1输入Neck，其中M3经过5个CBL得到P3，P3经过1个CBL和上采样与C2通过concat操作联合，再经过5个CBL得到P2，P2经过1个CBL和上采样与C1通过concat操作联合，再经过5个CBL得到P1；
将P1、P2、P3输入检测头，分别经过1个CBL和一个卷积层得到预测结果，根据训练集的标注计算得到损失，加权得到总的损失，把损失反向传播调整网络模型的权重参数，迭代到指定次数得到权重文件。
在步骤3)中，把权重文件加载到yolov3-spp网络模型，对测试集的图片进行预测，得到检测结果，包括以下步骤：
3.1)把权重文件加载到yolov3-spp网络模型，把测试集的图片输入yolov3-spp网络模型；
3.2)测试集的图片经过yolov3-spp网络模型中的检测头的时候，检测头把三个检测分支的预测结果进行concat操作，得到预测结果；
3.3)对预测结果进行后处理：经过解码获得缺陷位置的坐标参数，并根据分类的置信度和交并比进行NMS非极大值抑制操作，得到最终的检测结果。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明方法对钢板表面缺陷图片的训练集进行数据增强操作，扩充了样本量，有利于网络模型的训练。
2、本发明方法使用的yolov3-spp网络模型中的backbone可以有效地从训练集的钢板表面缺陷图片中提取浅层和深层的特征。
3、本发明方法使用的yolov3-spp网络模型中的neck可以有效地融合不同层次的特征。
4、本发明方法使用的yolov3-spp网络模型中的spp模块，实现了对卷积网络中的多重感受野的重合，能够对不同尺度的特征进行有效的联结。
5、本发明方法使用的yolov3-spp网络模型中的检测头对三个检测支路进行了联结，充分利用在不同层次的特征上做出的预测，能够提高钢板表面缺陷检测的精确率。
附图说明
图1为本发明方法逻辑流程示意图。
图2为本发明使用的yolov3-spp网络模型的结构图，图中conv表示卷积核大小为1×1的卷积层。
图3为本发明中实施示例的损失变化的曲线图，横轴为迭代步数，竖轴为损失。
图4为钢板表面缺陷图片检测结果图，图中1代表开裂、2代表内含物、3代表斑块、4代表点蚀表面、5代表轧制氧化皮、6代表划痕，黑框为预测缺陷框，附带文字标注为类别代号、置信度。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1至图4所示，本实施例所提供的基于yolov3-spp网络模型的钢板表面缺陷检测方法，使用了yolov3-spp网络模型(由backbone、spp模块、neck和检测头组成)对钢板表面缺陷图片进行训练和测试，其包括以下步骤：
1)获取钢板表面缺陷图片，划分为训练集和测试集，包括以下步骤：
1.1)获取含有内含物、划痕、轧制氧化皮、开裂、点蚀表面或斑块缺陷的各类钢板表面缺陷图片，每类缺陷图片300张，一共1800张，图片尺寸都为200px*200px；
1.2)提取80％的钢板表面缺陷图片即1440张作为训练集，余下的360张作为测试集；
1.3)对训练集进行裁剪的数据增强操作，得到的新的1440张钢板表面缺陷图片及相应的标注，使训练集扩充到2880张。
2)把训练集的图片输入yolov3-spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件，具体情况如下：
定义yolov3-spp网络模型的基本组件简称为CBL，该CBL由一个卷积层、一个BN层和一个Leaky relu激活函数组成；
定义一个残差单元Res Unit为一条支路经过两个CBL，另一条支路为原输入，相加得到输出，定义残差组件ResX为一个CBL和X个残差单元组成；
训练集的图片调整至416*416的大小，输入backbone，依次经过1个CBL、Res1、Res2、Res8、Res8、Res4，在第一个Res8的输出、第二个Res8的输出和Res4的输出引出3个层次的特征图C1、C2、C3，其中特征图C1大小为52×52，特征图C2大小为26×26，特征图C3尺寸为13×13；
将C3输入spp模块，分3条支路，第一条支路经过核大小为5×5、步长为1的最大池化层，第一条支路经过核大小为9×9、步长为1的最大池化层并与原输入相加，第一条支路经过核大小为13×13、步长为1的最大池化层，3条支路通过concat操作联合，再依次经过卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层得到新的特征图M3；
将M3、C2、C1输入Neck，其中M3经过5个CBL得到P3，P3经过1个CBL和上采样与C2通过concat操作联合，再经过5个CBL得到P2，P2经过1个CBL和上采样与C1通过concat操作联合，再经过5个CBL得到P1；
将P1、P2、P3输入检测头，分别经过1个CBL和一个卷积层得到预测结果，根据训练集的标注计算得到损失，加权得到总的损失，把损失反向传播调整网络模型的权重参数，迭代到指定次数得到权重文件，训练过程中损失的变化如图3所示。
3)把权重文件加载到yolov3-spp网络模型，对测试集的图片进行预测，得到检测结果，包括以下操作：
3.1)把权重文件加载到yolov3-spp网络模型，把测试集的360张钢板表面缺陷图片输入yolov3-spp网络模型；
3.2)测试集的图片经过yolov3-spp网络模型中的检测头的时候，检测头把三个检测分支的预测结果进行concat操作，得到预测结果；
3.3)对预测结果进行后处理：经过解码获得缺陷位置的坐标参数，并根据分类的置信度和交并比进行NMS非极大值抑制操作，得到最终的检测结果，如图4所示。
综上所述，在采用以上方案后，本发明为钢板表面缺陷检测提供了新的方法，将yolov3-spp网络模型中的spp模块作为对多重感受野进行融合的一种有效手段，能够充分提取缺陷在图片中的结构信息，有效提高钢板表面缺陷检测的精确率，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于yolov3-spp网络模型的钢板表面缺陷检测方法，其特征在于，包括以下步骤：
1)获取钢板表面缺陷图片，划分为训练集和测试集；
2)把训练集的图片输入yolov3-spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件；其中，所述yolov3-spp网络模型由backbone、spp模块、neck和检测头组成；
3)把权重文件加载到yolov3-spp网络模型，对测试集的图片进行预测，得到检测结果。
2.根据权利要求1所述的基于yolov3-spp网络模型的钢板表面缺陷检测方法，其特征在于：在步骤1)中，所述钢板表面缺陷图片需要不少于1500张，并且按70％-80％的比例提取训练集，余下的作为测试集，其中训练集要做裁剪的数据增强操作。
3.根据权利要求1所述的基于yolov3-spp网络模型的钢板表面缺陷检测方法，其特征在于：在步骤2)中，把训练集的图片输入yolov3-spp网络模型，进行迭代训练，调整网络模型的权重参数，达到设定的迭代次数后，得到网络模型的权重文件，具体情况如下：
定义yolov3-spp网络模型的基本组件简称为CBL，该CBL由一个卷积层、一个BN层和一个Leaky relu激活函数组成；
定义一个残差单元Res Unit为一条支路经过两个CBL，另一条支路为原输入，相加得到输出，定义残差组件ResX为一个CBL和X个残差单元组成；
训练集的图片输入backbone，依次经过1个CBL、Res1、Res2、Res8、Res8、Res4，在第一个Res8的输出、第二个Res8的输出和Res4的输出引出3个层次的特征图C1、C2、C3；
将C3输入spp模块，分3条支路，第一条支路经过核大小为5×5、步长为1的最大池化层，第一条支路经过核大小为9×9、步长为1的最大池化层并与原输入相加，第一条支路经过核大小为13×13、步长为1的最大池化层，3条支路通过concat操作联合，再依次经过卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层得到新的特征图M3；
将M3、C2、C1输入Neck，其中M3经过5个CBL得到P3，P3经过1个CBL和上采样与C2通过concat操作联合，再经过5个CBL得到P2，P2经过1个CBL和上采样与C1通过concat操作联合，再经过5个CBL得到P1；
将P1、P2、P3输入检测头，分别经过1个CBL和一个卷积层得到预测结果，根据训练集的标注计算得到损失，加权得到总的损失，把损失反向传播调整网络模型的权重参数，迭代到指定次数得到权重文件。
4.根据权利要求1所述的基于yolov3-spp网络模型的钢板表面缺陷检测方法，其特征在于：在步骤3)中，把权重文件加载到yolov3-spp网络模型，对测试集的图片进行预测，得到检测结果，包括以下步骤：
3.1)把权重文件加载到yolov3-spp网络模型，把测试集的图片输入yolov3-spp网络模型；
3.2)测试集的图片经过yolov3-spp网络模型中的检测头的时候，检测头把三个检测分支的预测结果进行concat操作，得到预测结果；
3.3)对预测结果进行后处理：经过解码获得缺陷位置的坐标参数，并根据分类的置信度和交并比进行NMS非极大值抑制操作，得到最终的检测结果。
CN202110311680.9A 2021-03-24 2021-03-24 基于yolov3-spp网络模型的钢板表面缺陷检测方法 Pending CN113160140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110311680.9A CN113160140A (zh) 2021-03-24 2021-03-24 基于yolov3-spp网络模型的钢板表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110311680.9A CN113160140A (zh) 2021-03-24 2021-03-24 基于yolov3-spp网络模型的钢板表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113160140A true CN113160140A (zh) 2021-07-23

Family

ID=76888252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110311680.9A Pending CN113160140A (zh) 2021-03-24 2021-03-24 基于yolov3-spp网络模型的钢板表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113160140A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN111612784A (zh) * 2020-06-01 2020-09-01 南通大学 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN111709381A (zh) * 2020-06-19 2020-09-25 桂林电子科技大学 基于YOLOv3-SPP的道路环境目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN111612784A (zh) * 2020-06-01 2020-09-01 南通大学 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN111709381A (zh) * 2020-06-19 2020-09-25 桂林电子科技大学 基于YOLOv3-SPP的道路环境目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许玉格 等: "基于深度学习的纹理布匹瑕疵检测方法", 《自动化学报》 *

Similar Documents

Publication Publication Date Title
CN111861978B (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN113160139B (zh) 基于注意力的Faster R-CNN网络的钢板表面缺陷检测方法
CN111833310B (zh) 一种基于神经网络架构搜索的表面缺陷分类方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN115880223A (zh) 一种基于改进yolox的高反光金属表面缺陷检测方法
CN110933685A (zh) 基于机器学习和射线跟踪的高铁网络覆盖预测方法及装置
CN113124328A (zh) 一种天然气管道泄漏检测方法及系统
CN110895814A (zh) 一种基于上下文编码网络的航空发动机孔探图像损伤智能分割方法
CN114677362A (zh) 基于改进YOLOv5的表面缺陷检测方法
CN104504391A (zh) 一种基于稀疏特征和马尔科夫随机场的高光谱图像分类方法
CN113160140A (zh) 基于yolov3-spp网络模型的钢板表面缺陷检测方法
Chen et al. A cascaded deep learning approach for detecting pipeline defects via pretrained YOLOv5 and ViT models based on MFL data
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN116342542A (zh) 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法
CN116595313A (zh) 基于多尺度残差注意力网络的故障诊断方法及系统
CN116183718A (zh) 基于Lamb波非线性混频和LT网络的微裂纹定位与评估方法
CN115761233A (zh) 融合CBAM的轻量化UNet裂缝图像分割方法
CN111739057B (zh) 一种基于U-net卷积神经网络模型的自由液面识别和提取方法
CN115330697A (zh) 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法
CN113160141A (zh) 一种钢板表面缺陷检测系统
CN110082424B (zh) 一种快速管道漏磁数据多尺度异常区域推荐系统及方法
CN117009801A (zh) 一种流量预测模型训练方法、检测方法、系统及存储介质
Bohlouli et al. Application of neuro-wavelet algorithm in ultrasonic-phased array nondestructive testing of polyethylene pipelines
Zhang et al. Diagnosis and Recognition of Pipeline Damage Defects Based on Neural Network Algorithm
CN114219811B (zh) 基于特征金字塔和神经网络的轨道钢表面缺陷分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723