CN111062915A - 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 - Google Patents

一种基于改进YOLOv3模型的实时钢管缺陷检测方法 Download PDF

Info

Publication number
CN111062915A
CN111062915A CN201911217226.6A CN201911217226A CN111062915A CN 111062915 A CN111062915 A CN 111062915A CN 201911217226 A CN201911217226 A CN 201911217226A CN 111062915 A CN111062915 A CN 111062915A
Authority
CN
China
Prior art keywords
image
steel pipe
network
yolov3
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911217226.6A
Other languages
English (en)
Other versions
CN111062915B (zh
Inventor
崔滢
吴宇鹏
邵燕燕
夏亮明
潘翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911217226.6A priority Critical patent/CN111062915B/zh
Publication of CN111062915A publication Critical patent/CN111062915A/zh
Application granted granted Critical
Publication of CN111062915B publication Critical patent/CN111062915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于改进YOLOv3模型的实时钢管缺陷检测方法，包括以下步骤：(1)搭建稳定的封闭图像采集环境，采集不同角度的图像；(2)提取图像中钢管位置信息，分离钢管图像；(3)拼接钢管各角度图像，手动标注所需特征；(4)利用尺度聚类思想改进YOLOv3网络，用拼接后的图像训练神经网络；(5)将训练完毕的神经网络做检验，并标注出现缺陷位置。本发明提供了一种基于改进YOLOv3模型的实时钢管缺陷检测方法，具有更好的检测效果。

Description

一种基于改进YOLOv3模型的实时钢管缺陷检测方法
技术领域
本方法涉及机器视觉技术应用领域，尤其涉及基于改进后的YOLOv3(yolo(version3))网络模型的钢管表面缺陷检测方法。
背景技术
在我国，钢材(Steel)在国家建设和实现四化的任务中扮演着无比重要的作用，它的应用领域十分广，衍生物品繁多。具体地，钢材按照裁切断面不同可分为型材、板材、管材和金属制品这4大类别。其中管材的主要应用为无缝管与焊接管。它作为一类工业生产的基础性原料，广泛的应用于机械工具、家用电器、交通运输、航空航天、化工冶金等领域。在钢材的制作、存储、运输、使用的过程中，受工艺精度、工作环境的影响，钢管表面常会出现弯曲、划痕、裂痕、凹痕等缺陷，下面统称外表面缺陷。这类外表面缺陷具有几何形状不规则、尺寸大小不一等特点。这类外表面缺陷直接影响钢管的价值，在影响钢管使用效果的同时，还存在严重的经济损失隐患。
如今工业十分重视外表面缺陷检测工作。检测工作从上世纪开始就有一定历史，当时工业上采用人工肉眼分辨的方式挑选带有缺陷的钢管，该类方法的缺陷主要是主观性大、人工成本巨大、效率低，准确性无法保证。后来工业上利用人工提取特征、人工制定规则等方式提出一些符合工业要求的检测算法，并结合工业相机、超声波等技术与物理学相关理论知识，检测结果精度有所保障、效率较高的方法，具有代表性的如涡流检测方法、检测方法等红外。这类方法对设备精度要求高、环境严格，故工业生产所需的总成本仍高居不下，且这类硬件设备更新的成本较高。
经过近几年的发展，深度学习在机器视觉领域发展迅速，且大量方法在工程应用领域得到较好的结果。目前主流的机器视觉技术在钢材缺陷表面应用主要分为两步：(1)利用工业相机采集钢材的图像，并将图像做进一步预处理；(2)选择合适的分类器提取图像特征并分类。但这类方案仍存在很多不足。首先，(1)部分采集到原图后，为方便分类器处理，大部分方法预处理时需要将钢管的不同区域分多次送入分类器处理，重复计算与复杂流程对计算资源造成了不必要的浪费；且实际环境中同一块钢材上的缺陷存在不连续、缺陷尺度变化大等特点，导致目前算法检测精度不能达到理想效果。另外，(2)部分得到图像后，由于不同角度得到的图像的光源情况不同，目前算法在分离研究区域与背景这一块仍存在较大困难；且训练得到的分类器常面临缺陷、非缺陷区域对比度低、检测速度慢、识别精度低等问题，距实现精准的、实时处理的工业应用目标有一定的差距。
发明内容
为了克服已有技术的不足，本发明提供了一种基于改进YOLOv3模型的实时钢管缺陷检测方法，具有更好的检测效果。
本发明解决其技术问题所采用的技术方案是：
一种基于改进YOLOv3模型的实时钢管缺陷检测方法，包括以下步骤：
(1)搭建稳定的封闭图像采集环境，采集不同角度的图像；
(2)提取图像中钢管位置信息，分离钢管图像；
(3)拼接钢管各角度图像，手动标注所需特征；
(4)利用尺度聚类思想改进YOLOv3网络，用拼接后的图像训练神经网络；
(5)将训练完毕的神经网络做检验，并标注出现缺陷位置。
进一步，所述步骤(1)中，结合实际工业条件，用4台工业相机CDD成像搭建图像采集环境，即在一个封闭的环境中，将工业相机的曝光度与白平衡等参数调整到稳定、合适的值，并保证4台工业相机处于同一个竖直平面内，4台相机要能围成一个矩形，意图能呈现出360°的成像效果；完成以上布置后，分别从4个角度采集一根钢管的具体信息。
再进一步，所述步骤(2)中，通过图像分割技术与直线拟合相结合的方式提取钢管位置信息，并利用仿射变换调整钢管图像形状，过程如下：
2.1)图像分割、直线检测方法确定钢管位置信息
a.分割图像确定图像分类信息
利用基于大尺度核函数的全卷积神经网络(GNC)实现钢管图像的语义分割，提取图像的类别信息，并将钢管类别图像记为研究区域，将研究区域与背景用二值数据区分，同类图像使用相同数值标记；
b.直线检测确定图像定位信息
利用图像分割技术将原图转化为区分前景、背景的二值图像，利用合适阈值的Canny算子提取前景边缘，利用直线拟合提取最合适的边缘线，其中最小二乘法为量化直线合适度的依据，最终由直线确定研究区域的位置信息，即钢管图像4个顶点的坐标；
2.2)仿射变换调整钢管图像大小
步骤a.b.得到研究区域的4个顶点坐标后，4个点围成的四边形不一定是矩形，这是由于拍照方向与钢管方向不平行所造成的，将研究区域变换为标准矩形：
利用仿射变换，将二维图像中点的坐标进行调整，仿射变换将调整研究区域内所有像素点的坐标，最终得到矩阵的研究区域。
更进一步，所述步骤(3)中，实现图像在输入网络前的预处理工作：图像拼接、图像标注、图像尺寸调整，过程如下：
a.图像拼接，利用拼接方式处理图像，将步骤(1)中4个方向的图像按顺序拼接，得拼接图像；
b.调整大小，将拼接图像通过裁切、填补等方式调整为标准的正方形，且长度为32的倍数，便于作为YOLOv3神经网络的输入；
c.图像标注，在拼接后的图像上标注出钢管缺陷，并记录缺陷的长宽信息，便于进行尺度聚类；
所述步骤(4)中，首先利用聚类思想改进YOLOv3网络的输入模块，然后用标注图像训练钢管缺陷检测模型，过程如下：
a.尺度聚类。为更好适应具体工业需求，下面对YOLOv3网络做出一定改进：训练网络前，由k-means聚类分析，将缺陷样本按长度、宽度两个维度聚得若干类，并挑选同一类内的样本作为该类的代表尺度，所有类的代表尺度是确定YOLOv3神经网络输入尺度的依据；
b.初始化训练参数设置，步骤(3)中通过拼接方式、调整大小等方式得到尺寸为32的倍数的RGB三通道图像，该类图像将作为YOLOv3神经网络的输入。同时，利用k-means尺度聚类方式，为YOLOv3神经网络挑选适合工业环境的3个有代表性的尺度；同时，YOLOv3神经网络需要设置初始学习率η，初始迭代次数，批处理数据量batch_size超参数；最后，网络参数迭代时使用随机梯度下降法，因此还要设置动量参数momentum与权重衰减率参数r超参数；
c.确定YOLOv3网络结构，通过借鉴可视化工具Netron分析网络层：YOLOv3的主体网络层包含252层，表1为YOLOv3主体网络结构；
Type Number
Add 23
BatchNormalization 72
Cincatenate 2
Conv2D 75
InputLayer 1
LeakyReLU 72
UpSamping2D 2
ZeroPadding2D 5
Total 252
表1
另外，由于网络不包含池化层与全连接层，YOLOv3网络通过改变卷积核步长实现张量尺寸变化，故网络对输入的对象的尺寸具有一定要求：尺寸大小必须为32的倍数；
d.图像标注，步骤(2)成功实现研究区域与背景的分离，希望训练完毕的神经网络具备检测缺陷的能力，故用矩形选框标记缺陷图像的位置信息的同时，整理出正负样本集，利用随机的方式抽选80％的数据作为训练集，20％的样本作为测试集；
e.模型训练，步骤b中给出了模型训练所需的参数，训练时借鉴BP神经网络误差反向传播的思想，利用随机梯度下降法更新各层参数，直到迭代次数达到上限，或网络参数的更新速率小于一定值结束网络训练。
所述步骤(5)中，判断输入的图像是否存在缺陷，若存在，则标记出现缺陷的位置信息(如缺陷区域中心坐标、缺陷区域长度、宽度等)与检测得的缺陷类别(如划痕、凹痕等)。
本发明的有益效果主要表现在：(1)钢管分离效果好。本方法首先利用良好的采集设备获取稳定的样本图像，并利用图像分割技术与直线拟合相结合的方法将研究区域与背景分离并确定研究区域的位置信息。相比传统的利用霍夫变换提取研究区域的方法，图像分割技术与直线拟合结合得到的研究区域能保证分割结构受图像背景的影响小，对实际采集环境的光强要求降低，使得模型的稳定性良好，鲁棒性较强；
(2)检测时计算复杂度小。本方法根据YOLOv3网络的特点，将4个角度的分割提取后的图像做拼接处理。而不是沿用常见的切割分片检测技术。一方面训练成本大幅度降低，所需处理的图像数量约为原来的1/20，另一方面，在拼接图像上检测得的缺陷位置信息能直接映射到原图的位置信息，无需复杂的推导，处理十分方便；
(3)改进YOLOv3网络结构。本发明利用尺度聚类预先选出工业生产中常见的尺度大小，使改进后的YOLOv3神经网络对不同环境具有更强的适应能力。不同的钢管类型，不同大小、形状的缺陷特征都可通过改变模型尺度大小加以适应，该方法很好的克服了不同环境对模型的干扰，提高模型的鲁棒性；
(4)将深度学习应用到钢管缺陷检测上。考虑到深度学习神经网络在图像领域取得的良好效果以及其优异的特性，提出的基于改进的YOLOv3神经网络的缺陷检测模型对钢管缺陷检测问题具有良好的适应性，准确度高，定位精度高，较好的改善了如今神经网络实际应用时不稳定、准确率低等问题。
附图说明
图1为本发明实施的图像获取设备工作原理示意图，其中，1为钢材，2为光源，3为工业相机；
图2为本发明实施的图像研究区域提取方法的流程图；
图3为本发明实施的图像类别信息提取结果图；
图4为本发明提出的YOLOv3缺陷识别系统的网络结构图；
图5为本发明YOLOv3网络的Convolutional组件示意图；
图6为本发明YOLOv3网络的Residual组件示意图；
图7为本发明YOLOv3网络的Convolutional Set组件示意图；
图8为本发明YOLOv3网络的Concatenate Set组件示意图；
图9为本发明对3根检验样例的缺陷检测结果图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图9，一种基于改进YOLOv3模型的实时钢管缺陷检测方法，包括以下步骤：
(1)搭建稳定的封闭图像采集环境，采集不同角度的图像；
(2)提取图像中钢管位置信息，分离钢管图像；
(3)拼接钢管各角度图像，手动标注所需特征；
(4)利用尺度聚类思想改进YOLOv3网络，用拼接后的图像训练神经网络；
(5)将训练完毕的神经网络做检验，并标注出现缺陷位置。
钢管缺陷检测系统主要由采集模块、运输模块、服务处理模块组成。整个检测系统中，钢管沿着箭头方向向左侧平行移动，整个数据采集模块保持固定姿势。其中数据采集模块由4台工业相机、两个光源组成，它们在同一平面上构成矩形，任务分别是拍摄钢管120度方位内出现的缺陷，实现全方位检测。同时，在采集设备的上方与下方分别配置环形光源，保证采集环境的光强适中且变化温和，尽可能提高钢管图像的质量，降低图像噪声。期间每台相机得到1幅采集图像，将4幅图像送至服务处理模块，经预处理后经过检测系统，最终得到钢材表面缺陷的位置信息。
研究区域的提取，具体流程图参照附图2。
利用相关设备采集图像时，先封闭需检测的区域，保证检测时各角度光强等环境变量相对稳定；然后根据已经调整好的曝光率与白平衡等参数，从各个角度拍摄符合要求的图像，一个样本对应4张完整图像。控制每次采集图像的研究区域大小，一方面，较小的研究区域缩小检索范围，且环境变量在区域内变化，这能提高模型精度以及稳定性；另一方面，较小的研究区域还保证了后续操作是模型提取缺陷位置的效率较高。
研究区域提取部分根据步骤主要可分为以下几个部分：图像灰度化及图像噪声处理、研究区域边缘分割、研究区域边缘提取、边缘直线检测、研究区域位置信息的确定。
a.研究区域的分割，分割效果图如附图3所示：
本发明选择具有大尺度核函数的GCN网络作为图像分割的工具，大尺度的核函数结构的图形语义提取效果比一般的卷积神经网络好。这里只用该网络提取图像的类别信息，提取后图像只保留前景、背景两类，并用二值变量标记(如附图4中的红、黑两色)，同类图像的RGB值保持一致。分类结果为下文图像位置信息提取做准备；
b.直线拟合
直线拟合前首先提取研究区域的边缘，后续只讨论研究区域的边缘。边缘提取能有效缩小算法的搜索空间，并剔除大量噪声，提高算法效率，增强鲁棒性。边缘检测由Canny边缘检测算子完成，设置合适阈值的检测算子能精准、快速地提取二值图像上的边缘。
Canny算子提取研究区域的外边缘后，由于位于同一条边缘的像素点不能严格地称为直线，因此我们考虑通过直线拟合，以最小二乘的思想找出通过尽可能多像素点的直线。最后根据相机与钢管之间的距离，得到图像中的两条钢管边缘线。取两条边缘线在研究区域两端边界的4个交点，记它们连成的四边形为钢管的研究区域；
c.图像校正：
已知当钢管与摄像机平行时钢管在二维图像中表现为矩形，而工业采集时会因相机、物体摆放倾斜、环境抖动等原因导致钢管图像为不规则的四边形，故下文利用仿射变换对原图做进一步处理。
在真实拍摄过程中，实际上很难实现钢管方向与摄像机面平行，这样将会导致步骤b.分离得的研究区域不为矩形，而是一个不规则的四边形。为消除图像应旋转、偏转及缩放等原因造成的成像问题，现用仿射变换方法将不规则的四边形研究区域转化为矩形区域。具体地，首先取步骤b.中标记的3个角点坐标(分别为左上角点、左下角点和右上角点)，将它们作为变换前输入值，并给出变换后期望的目标值，用输入值与目标值求解变换矩阵M。然后在彩色原图上进行关于M的仿射变换，得到仿射矩阵，即处理后的矩形图像。网络处理这类矩形图像时速度较快，具有较高效率；
在步骤(2)中利用图像分割与直线拟合结合的方式，精确得到钢管图像位置信息。将获得的图像作进一步处理以适应YOLOv3神经网络的输入：
a.图像拼接：
考虑将长条状的图像切割为若干正方形图像将导致部分区域重复计算，我们现提出拼接图像的新方法：记图像采集装置中左上角的CDD为1号相机，按顺时针方向标号，图像按序拼接。该方法能使有所图像一次性完成输入，且重复计算程度小，是一个高效且准确率较高的方法；
b.图像尺寸变换：
经过图像堆叠、拼接操作后我们得到了一个与正方形相近的矩形区域，而YOLOv3神经网络明确规定输入的图像的尺寸需为正方形，且为32的倍数。为此，利用剪切与填充等方式将拼接得到的矩形图像转化为正方形图像。
c.图像标注：
在步骤b.完成图像尺寸变换后原图将不再发生变动，此时主要完成图像上缺陷的标注工作，标注时需要提取尺度的长度、宽度信息。便于YOLOv3网络的尺度聚类工作。
深度神经网络模型的训练，所用网络的具体结构参见附图4～8：
a.YOLOv3神经网络模型的改进
YOLOv3神经网络的重要特点是多尺度训练，该方法使得网络变得灵活，处理不同问题时改变尺度大小，一方面能调节模型开销，控制模型计算复杂度；另一方面能使训练得到的网络更适合处理当前问题。故我们在解决钢管外表面检测问题时，利用k-means聚类分析方法，从标记的样例中得到最适合本问题的训练尺度大小。
记样本xj、xk的尺度指标包括长度与宽度：xij,xik,(i＝1,2)，将样本间的相似度定义为：
Figure BDA0002299816820000101
最终将所有缺陷按长度、宽度两个维度聚为大、中、小3个类别，后续网络训练前根据实际输入挑选相识度最大的一类缺陷，再从中选出3个尺度，并将其作为网络训练时的输入尺度；
b.设置训练参数、规定模型输入规格
一组合适的网络参数能使初始训练网络的初始效果较好，整体参数收敛迅速，最终获得效果稳定的缺陷检测模型。具体设置的参数包括：初始学习率为η＝0.1，迭代次数设置为200次，批处理数据量为batch_size＝64。训练时利用随机梯度下降法迭代求解，momentum＝0.9,r＝0.0005。由于YOLOv3神经网络结构中间部分不包含池化层与全连接层，前向传播计算时主要通过改变卷积核的步长实现张量的尺寸变化，故输入网络的图像要求为大小为32倍数的矩形，这里我们将拼接后图像通过裁剪、填充、归一化等处理，转化为尺寸为824×824×3大小的三通道图像，作为网络的输入图像。
YOLOv3的网络结构如下表所示，其中包括每一层的功能与其对应的大小：
表2为YOLOv3的网络结构
Figure BDA0002299816820000102
Figure BDA0002299816820000111
表2c.选定训练需要的损失函数
训练YOLOv3神经网络中参数时，选择的损失函数如下：
Figure BDA0002299816820000112
Loss函数中，xj、xk表示网格数，xj、xk表示单元格预测框的个数，
Figure BDA0002299816820000113
为0-1二值变量，用于表示单元格中是否存在待测物体的区域(本文待测物体即缺陷)，wi、hi分别表示预测框的长度与宽度，Ci表示预测框的置信度，pi(c)表示分类的预测结果。另外，以上Loss函数由5部分组成，它们用累加形式连接，第一步分用总方误差作为位置信息预测的损失函数，第二部分用根号总方误差作为长度、宽度尺寸的损失函数，第三、第四部分将误差平方和(SSE)作为置信水平的损失函数，第五部分同样用SSE作为分类结果的损失函数。
将训练完成的模型应用到检验样本的测试中，三个样例的检测结果如附图9：
利用如附图1所示的图像采集装置采集3根钢管的具体信息，每个样例分别得到4幅不同角度图像，经图像映射、图像分割等预处理后，输入网络，网络分别将给出每根钢管上对应的缺陷区域。具体地，将每个样例的4个角度图像按顺序拼接，得896×896×3大小的图像，输入YOLOv3神经网络后，分别得到各自的外表面缺陷检测结果，同时包含外表面缺陷的类别、置信度水平与检测结果的位置信息(矩形框中心坐标、高度、宽度等)。

Claims (6)

1.一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述方法包括以下步骤：
(1)搭建稳定的封闭图像采集环境，采集不同角度的图像；
(2)提取图像中钢管位置信息，分离钢管图像；
(3)拼接钢管各角度图像，手动标注所需特征；
(4)利用尺度聚类思想改进YOLOv3网络，用拼接后的图像训练神经网络；
(5)将训练完毕的神经网络做检验，并标注出现缺陷位置。
2.如权利要求1所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述步骤(1)中，结合实际工业条件，用4台工业相机CDD成像搭建图像采集环境，即在一个封闭的环境中，将工业相机的曝光度与白平衡等参数调整到稳定、合适的值，并保证4台工业相机处于同一个竖直平面内，4台相机要能围成一个矩形，意图能呈现出360°的成像效果；完成以上布置后，分别从4个角度采集一根钢管的具体信息。
3.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述步骤(2)中，通过图像分割技术与直线拟合相结合的方式提取钢管位置信息，并利用仿射变换调整钢管图像形状，过程如下：
2.1)图像分割、直线检测方法确定钢管位置信息
a.分割图像确定图像分类信息
利用基于大尺度核函数的全卷积神经网络(GNC)实现钢管图像的语义分割，提取图像的类别信息，并将钢管类别图像记为研究区域，将研究区域与背景用二值数据区分，同类图像使用相同数值标记；
b.直线检测确定图像定位信息
利用图像分割技术将原图转化为区分前景、背景的二值图像，利用合适阈值的Canny算子提取前景边缘，利用直线拟合提取最合适的边缘线，其中最小二乘法为量化直线合适度的依据，最终由直线确定研究区域的位置信息，即钢管图像4个顶点的坐标；
2.2)仿射变换调整钢管图像大小
步骤a.b.得到研究区域的4个顶点坐标后，4个点围成的四边形不一定是矩形，这是由于拍照方向与钢管方向不平行所造成的，将研究区域变换为标准矩形：
利用仿射变换，将二维图像中点的坐标进行调整，仿射变换将调整研究区域内所有像素点的坐标，最终得到矩阵的研究区域。
4.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述步骤(3)中，实现图像在输入网络前的预处理工作：图像拼接、图像标注、图像尺寸调整，过程如下：
a.图像拼接，利用拼接方式处理图像，将步骤(1)中4个方向的图像按顺序拼接，得拼接图像；
b.调整大小，将拼接图像通过裁切、填补等方式调整为标准的正方形，且长度为32的倍数，便于作为YOLOv3神经网络的输入；
c.图像标注，在拼接后的图像上标注出钢管缺陷，并记录缺陷的长宽信息，便于进行尺度聚类。
5.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述步骤(4)中，首先利用聚类思想改进YOLOv3网络的输入模块，然后用标注图像训练钢管缺陷检测模型，过程如下：
a.尺度聚类，对YOLOv3网络做出一定改进：训练网络前，由k-means聚类分析，将缺陷样本按长度、宽度两个维度聚得若干类，并挑选同一类内的样本作为该类的代表尺度，所有类的代表尺度是确定YOLOv3神经网络输入尺度的依据；
b.初始化训练参数设置，步骤(3)中通过拼接方式、调整大小等方式得到尺寸为32的倍数的RGB三通道图像，该类图像将作为YOLOv3神经网络的输入，同时，利用k-means尺度聚类方式，为YOLOv3神经网络挑选适合工业环境的3个有代表性的尺度；同时，YOLOv3神经网络需要设置初始学习率η，初始迭代次数，批处理数据量batch_size超参数；最后，网络参数迭代时使用随机梯度下降法，因此还要设置动量参数momentum与权重衰减率参数r超参数；
c.确定YOLOv3网络结构，通过借鉴可视化工具Netron分析网络层：YOLOv3的主体网络层包含252层，表1为YOLOv3主体网络结构；
Type Number Add 23 BatchNormalization 72 Cincatenate 2 Conv2D 75 InputLayer 1 LeakyReLU 72 UpSamping2D 2 ZeroPadding2D 5 Total 252
表1
另外，由于网络不包含池化层与全连接层，YOLOv3网络通过改变卷积核步长实现张量尺寸变化，故网络对输入的对象的尺寸具有一定要求：尺寸大小必须为32的倍数；
d.图像标注，步骤(2)成功实现研究区域与背景的分离，希望训练完毕的神经网络具备检测缺陷的能力，故用矩形选框标记缺陷图像的位置信息的同时，整理出正负样本集，利用随机的方式抽选80％的数据作为训练集，20％的样本作为测试集；
e.模型训练，步骤b中给出了模型训练所需的参数，训练时借鉴BP神经网络误差反向传播的思想，利用随机梯度下降法更新各层参数，直到迭代次数达到上限，或网络参数的更新速率小于一定值结束网络训练。
6.如权利要求1或2所述的一种基于改进YOLOv3模型的实时钢管缺陷检测方法，其特征在于，所述步骤(5)中，判断输入的图像是否存在缺陷，若存在，则标记出现缺陷的位置信息与检测得的缺陷类别。
CN201911217226.6A 2019-12-03 2019-12-03 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 Active CN111062915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911217226.6A CN111062915B (zh) 2019-12-03 2019-12-03 一种基于改进YOLOv3模型的实时钢管缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911217226.6A CN111062915B (zh) 2019-12-03 2019-12-03 一种基于改进YOLOv3模型的实时钢管缺陷检测方法

Publications (2)

Publication Number Publication Date
CN111062915A true CN111062915A (zh) 2020-04-24
CN111062915B CN111062915B (zh) 2023-10-24

Family

ID=70299464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911217226.6A Active CN111062915B (zh) 2019-12-03 2019-12-03 一种基于改进YOLOv3模型的实时钢管缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111062915B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627018A (zh) * 2020-06-01 2020-09-04 南通大学 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN111951239A (zh) * 2020-08-04 2020-11-17 上海微亿智造科技有限公司 过标过检方法及系统
CN112037194A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种冷床乱钢检测方法、系统、设备及介质
CN112037195A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种棒材长度异常的检测方法、系统、设备及介质
CN112115877A (zh) * 2020-09-21 2020-12-22 四川弘和通讯有限公司 一种基于可分离卷积神经网络的设备异常识别的方法
CN112233116A (zh) * 2020-12-11 2021-01-15 常州微亿智造科技有限公司 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112364805A (zh) * 2020-11-21 2021-02-12 西安交通大学 一种旋转手掌图像检测方法
CN112488119A (zh) * 2020-12-18 2021-03-12 山西省信息产业技术研究院有限公司 基于双深度学习模型的隧道掉块或渗水检测及测量方法
CN112926685A (zh) * 2021-03-30 2021-06-08 济南大学 一种工业中钢材氧化带目标检测方法、系统及设备
CN113077414A (zh) * 2021-03-01 2021-07-06 湖北工程学院 一种钢板表面缺陷检测方法及系统
CN113269720A (zh) * 2021-04-16 2021-08-17 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113379737A (zh) * 2021-07-14 2021-09-10 西南石油大学 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN113469984A (zh) * 2021-07-13 2021-10-01 厦门福信光电集成有限公司 一种基于yolo结构的显示面板外观检测方法
CN113674203A (zh) * 2021-07-14 2021-11-19 歌尔股份有限公司 缺陷检测模型训练方法、装置和缺陷检测方法、装置
CN114266974A (zh) * 2021-12-23 2022-04-01 福州大学 基于深度学习的自动定位焊接方法
CN114454137A (zh) * 2022-04-12 2022-05-10 西南交通大学 基于双目视觉的钢结构损伤智能巡检方法、系统及机器人
CN115063405A (zh) * 2022-07-27 2022-09-16 武汉工程大学 钢材表面缺陷检测的方法、系统、电子设备和存储介质
CN115147348A (zh) * 2022-05-05 2022-10-04 合肥工业大学 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN117994257A (zh) * 2024-04-07 2024-05-07 中国机械总院集团江苏分院有限公司 基于深度学习的织物瑕疵分析检测系统及分析检测方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038361A (ja) * 2014-08-11 2016-03-22 新日鐵住金株式会社 欠陥検出装置、欠陥検出方法及びプログラム
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN109544513A (zh) * 2018-10-24 2019-03-29 广州霞光技研有限公司 一种钢管端面缺陷提取识别的方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109900711A (zh) * 2019-04-02 2019-06-18 天津工业大学 基于机器视觉的工件缺陷检测方法
CN109900723A (zh) * 2019-04-26 2019-06-18 李配灯 玻璃表面缺陷检测方法及装置
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN110033453A (zh) * 2019-04-18 2019-07-19 国网山西省电力公司电力科学研究院 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN110175982A (zh) * 2019-04-16 2019-08-27 浙江大学城市学院 一种基于目标检测的缺陷检测方法
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统
CN110490066A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 基于图片分析的目标检测方法、装置及计算机设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016038361A (ja) * 2014-08-11 2016-03-22 新日鐵住金株式会社 欠陥検出装置、欠陥検出方法及びプログラム
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109544513A (zh) * 2018-10-24 2019-03-29 广州霞光技研有限公司 一种钢管端面缺陷提取识别的方法
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN109376792A (zh) * 2018-11-07 2019-02-22 河北工业大学 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109900711A (zh) * 2019-04-02 2019-06-18 天津工业大学 基于机器视觉的工件缺陷检测方法
CN110175982A (zh) * 2019-04-16 2019-08-27 浙江大学城市学院 一种基于目标检测的缺陷检测方法
CN110033453A (zh) * 2019-04-18 2019-07-19 国网山西省电力公司电力科学研究院 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN109900723A (zh) * 2019-04-26 2019-06-18 李配灯 玻璃表面缺陷检测方法及装置
CN110310259A (zh) * 2019-06-19 2019-10-08 江南大学 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN110490066A (zh) * 2019-07-11 2019-11-22 平安科技（深圳）有限公司 基于图片分析的目标检测方法、装置及计算机设备
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
KK123K: "YOLO v3详解", pages 1 - 4 *
REDMON J, FARHADI A.: "Yolov3: An incremental improvement" *
TOM HARDY: "基于yolov3的铁轨缺陷/裂纹检测" *
YANAN S, HUI Z, LI L, ET AL.: "Rail surface defect detection method based on YOLOv3 deep learning networks" *
周文欢: "基于机器视觉的钢管表面缺陷检测技术研究" *
钱国华,等: "电梯内异常行为检测系统设计" *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627018A (zh) * 2020-06-01 2020-09-04 南通大学 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN111951239A (zh) * 2020-08-04 2020-11-17 上海微亿智造科技有限公司 过标过检方法及系统
CN112037194A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种冷床乱钢检测方法、系统、设备及介质
CN112037195A (zh) * 2020-08-31 2020-12-04 中冶赛迪重庆信息技术有限公司 一种棒材长度异常的检测方法、系统、设备及介质
CN112037194B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种冷床乱钢检测方法、系统、设备及介质
CN112037195B (zh) * 2020-08-31 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种棒材长度异常的检测方法、系统、设备及介质
CN112115877A (zh) * 2020-09-21 2020-12-22 四川弘和通讯有限公司 一种基于可分离卷积神经网络的设备异常识别的方法
CN112364805A (zh) * 2020-11-21 2021-02-12 西安交通大学 一种旋转手掌图像检测方法
CN112233116B (zh) * 2020-12-11 2021-08-03 常州微亿智造科技有限公司 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112233116A (zh) * 2020-12-11 2021-01-15 常州微亿智造科技有限公司 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112488119A (zh) * 2020-12-18 2021-03-12 山西省信息产业技术研究院有限公司 基于双深度学习模型的隧道掉块或渗水检测及测量方法
CN113077414A (zh) * 2021-03-01 2021-07-06 湖北工程学院 一种钢板表面缺陷检测方法及系统
CN112926685A (zh) * 2021-03-30 2021-06-08 济南大学 一种工业中钢材氧化带目标检测方法、系统及设备
CN113269720A (zh) * 2021-04-16 2021-08-17 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113269720B (zh) * 2021-04-16 2024-02-02 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113469984A (zh) * 2021-07-13 2021-10-01 厦门福信光电集成有限公司 一种基于yolo结构的显示面板外观检测方法
CN113469984B (zh) * 2021-07-13 2023-06-02 厦门福信光电集成有限公司 一种基于yolo结构的显示面板外观检测方法
CN113379737A (zh) * 2021-07-14 2021-09-10 西南石油大学 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN113674203A (zh) * 2021-07-14 2021-11-19 歌尔股份有限公司 缺陷检测模型训练方法、装置和缺陷检测方法、装置
CN114266974A (zh) * 2021-12-23 2022-04-01 福州大学 基于深度学习的自动定位焊接方法
CN114454137A (zh) * 2022-04-12 2022-05-10 西南交通大学 基于双目视觉的钢结构损伤智能巡检方法、系统及机器人
CN115147348A (zh) * 2022-05-05 2022-10-04 合肥工业大学 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN115063405A (zh) * 2022-07-27 2022-09-16 武汉工程大学 钢材表面缺陷检测的方法、系统、电子设备和存储介质
CN117994257A (zh) * 2024-04-07 2024-05-07 中国机械总院集团江苏分院有限公司 基于深度学习的织物瑕疵分析检测系统及分析检测方法

Also Published As

Publication number Publication date
CN111062915B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN113450307A (zh) 一种产品边缘缺陷检测方法
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
Li et al. An overlapping-free leaf segmentation method for plant point clouds
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN109470149B (zh) 一种管路位姿的测量方法及装置
CN112613097A (zh) 一种基于计算机视觉的bim快速化建模方法
CN112465809B (zh) 一种基于图像识别的模具缺陷检测方法、计算机可读存储介质及装置
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN112347882A (zh) 一种智能分拣控制方法和智能分拣控制系统
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN114820471A (zh) 一种面向智能制造精微结构表面缺陷的视觉检测方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant