CN114926407A - 一种基于深度学习的钢材表面缺陷检测系统 - Google Patents
一种基于深度学习的钢材表面缺陷检测系统 Download PDFInfo
- Publication number
- CN114926407A CN114926407A CN202210463007.1A CN202210463007A CN114926407A CN 114926407 A CN114926407 A CN 114926407A CN 202210463007 A CN202210463007 A CN 202210463007A CN 114926407 A CN114926407 A CN 114926407A
- Authority
- CN
- China
- Prior art keywords
- image
- steel surface
- surface defect
- detection
- steel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 117
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 106
- 239000010959 steel Substances 0.000 title claims abstract description 106
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000003708 edge detection Methods 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000011176 pooling Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于深度学习的钢材表面缺陷检测系统，涉及钢材表面缺陷技术领域；它的检测方法如下：步骤一：钢材表面缺陷图像预处理：灰度矫正；图像滤波；边缘检测分割；步骤二：基于深度学习的钢材表面缺陷检测技术；步骤三：钢材表面缺陷检测系统设计：(3.1)、钢材表面缺陷系统硬件设计；(3.2)、钢材表面缺陷系统软件设计：该系统包括图像采集与获取、图像处理、钢材表面缺陷检测、检测结果可视化功能；本发明通过对钢材表面缺陷分析得知钢材表面存在例如裂纹、划痕、斑块、内含物、麻点、扎入氧化皮等各种缺陷，同时准确度高；有效的解决了光照问题，且通过硬件与软件的结合来实现快速检测。
Description
技术领域
本发明属于钢材表面缺陷技术领域，具体涉及一种基于深度学习的钢材表面缺陷检测系统。
背景技术
钢铁产品是基础建设的重要原材料，被广泛应用在社会发展的各个层面。钢材的质量与国家建设的安全性息息相关，钢材表面缺陷又直接决定钢材质量，所以，能够正确并快速的检测钢材的表面缺陷，是目前钢铁企业的首要任务。传统的钢材表面缺陷检测使用的是人工检测方法，这样的检测方法往往耗费大量的人力资源。连续高强度的检测工作与检测经验的差异性往往使检测人员出现效率低，检测错误，同一处缺陷检测结论不同的情况。随着科学的发展以及工业生产的需要，很多无损探伤检测的方法被应用在钢材表面缺陷上。
现有的基于图像处理的缺陷检测过程如图1所示。深度学习是一种端到端的特征自提取算法，其中的深度学习模型更像是一个黑盒子，其过程如图2所示。其过程为输入缺陷图片，进入深度学习模型黑盒子，输出缺陷图片的类别和缺陷位置。相比较传统的人工特征提取，基于深度学习的特征自提取更能全面准确理解样本缺陷和及其对样本特征的提取，进而达到准确识别和预测。但是现有的检测方式在使用会出现精度低的现象，有部分损伤无法检测，其降低效率。
发明内容
为解决背景技术中的问题；本发明的目的在于提供一种基于深度学习的钢材表面缺陷检测系统。
本发明的一种基于深度学习的钢材表面缺陷检测系统，它的检测方法如下：
步骤一：钢材表面缺陷图像预处理：
(1.1)、灰度矫正：
使用直方图均衡化对图像进行灰度矫正，严格地说，图像的灰度直方图是一个一维的离散函数，可写成：
h(k)＝nk k＝0,1,…,L-1#(1)
式中，nk是图像f(x,y)中灰度级为k的像素的个数。直方图的每一列的高度对应nk。直方图提供了原图中各种灰度值分布的情况，也可以说直方图给出了一幅图像所有灰度值的整体描述。直方图的均值和方差也是图像灰度的均值和方差，图像的视觉效果与其直方图有对应关系；
在直方图的基础上，进一步定义归一化的直方图为灰度级出现的相对频率Pr(k)；即：
Pr(k)＝nk/N k＝0,1…,L-1#(2)
式(2)中，N表示图像f(x,y)的像素的总数，nk是图像f(x,y)中灰度级为k的像素的个数；
进一步计算图像的灰度累积分布频率sk；即
将归一化的sk乘以L-1再四舍五入，以使得均衡化后图像的灰度级与归一化前的原始图像一致；根据以上的映射关系，参照原始图像中的像素，可以写出直方图均衡化之后的图像；
(1.2)、图像滤波：
均值滤波方法：
均值滤波的基本原理是将当前处理的像素点(x,y)的灰度值与周围像素点的灰度值均值产生联系。若在滤波过程中，像素点(x,y) 为噪声，则用邻域像素点的物理特性取代像素点(x,y)的物理特性，以消除噪声；
(1.3)、边缘检测分割：
边缘检测首先确认边缘的像素点，再将确认的像素点连接构成所需的区域边界；Sobel算子是一种结合了高斯平滑与微分求导的离散微分算子，用以计算灰度函数的近似梯度。对图像中任意一个像素点 (x,y)使用Sobel算子，Sobel算子会对该像素点在行方向与列方向求导，求得像素点(x,y)的梯度矢量或者法矢量；
步骤二：基于深度学习的钢材表面缺陷检测技术：
卷积神经网络是一种层次结构，由输入层，多个隐藏层如卷积层、池化层、激励层、全连接层及输出层构成；输入图像经过多次卷积、池化等操作将原始特征从图像中学习出来，最后通过全连接层和输出层将分类等任务转化为目标函数；利用反向传播算法，将网络预测值和训练集真实值之间的损失值从最后一层向前反馈以更新权重，经过多次前向反馈和反向传播以至模型收敛，得到训练好的模型；
步骤三：钢材表面缺陷检测系统设计：
(3.1)、钢材表面缺陷系统硬件设计：
钢材表面缺陷系统的硬件包括相机和镜头、光源；相机和镜头负责采集钢材表面图像，光源及控制器负责对钢材进行照明；
a.照明设备：选用LED环形光，并且直接安装在工业镜头同轴上；
b.相机与镜头：使用CMOS相机；
(3.2)、钢材表面缺陷系统软件设计：该系统包括图像采集与获取、图像处理、钢材表面缺陷检测、检测结果可视化功能。
作为优选，均值滤波方法的具体操作方法为：在像素点(x,y) 的位置选择一定范围的邻域，范围内包含m个的像素点f(x,y)，求得邻域包含的像素点f(x,y)的平均值，之后将求得的平均值，作为像素点(x,y)在进行均值滤波之后的像素值g(x,y)，计算公式如式(4)所示；
f(x,y)为处理前图像内像素的灰度值，g(x,y)为处理后的像素灰度值，m为图像中的像素的个数。
作为优选，所述步骤二的基于深度学习的钢材表面缺陷检测技术为基于FasterR-CNN的目标检测算法，具体如下：
(1)、将大小为H×D的输入图像变换成大小为h×d，然后输入到卷积神经网络(CNN)中提取特征，卷积神经网络采用的是VGG16网络，该网络共设计了13个标准卷积层13个Relu激活层，4个最大池化层，标准卷积层的卷积核大小为3×3，填充数为1，卷积步长为1，最大卷积层的池化核为2×2，池化步长为2，每经过一次池化操作得到的特征图大小为池化前的1/2，经过卷积神经网络后，输入图像大小变为(h/16)×(d/16)的特征图；
(2)、将得到的特征图(Feature map)输入到RPN网络中，通过 RPN网络获得候选框和每个框的得分；
(3)、将得到的候选框和卷积神经网络得到的特征图输入到RoI 池化层，通过RoI池化层对输入大小不一的特征图和候选区域进行归一化处理,得出大小固定的特征图；
(4)、最后经过两个全连接层处理后分为两路，分别通过一个全连接层后，利用Softmax分类器得到分类结果，通过回归损失层 (bbox_pred)得到回归结果。
作为优选，所述钢材表面缺陷系统软件设计包括图像采集与获取：需要将系统硬件设备所拍摄到的图片进行采集并且保存；图像处理；钢材表面缺陷检测：输入的钢材图像使用缺陷检测算法进行缺陷检测，并且将钢材表面是否存在缺陷以及缺陷的位置信息保存；钢材表面缺陷检测系统交互界面的设计：具有登录界面、图像处理、图像检测功能。
作为优选，所述钢材表面缺陷系统软件设计将系统分为五个模块，系统包括图像采集模块、登录模块、图像处理模块、图像检测模块四个模块：
a.图像采集模块：对硬件所拍摄的图像进行采集与保存；
b.登录模块：在输入正确的账号和密码之后可以登录到钢材缺陷检测系统；若账号或密码输入错误，则提示输入错误；若连续输入错误超过五次，则系统锁定，禁止登录；登录模块可以有效地防止非工作人员登录系统，保证整个系统的安全；
c.图像处理模块：利用图像处理算法，对图像采集模块所采集的图像进行处理；
d.图像检测模块：图像检测模块可以实现钢材图像表面缺陷检测；同时显示检测结果图像和是否存在缺陷等信息。
与现有技术相比，本发明的有益效果为：
一、通过对钢材表面缺陷分析得知，钢材表面存在例如裂纹、划痕、斑块、内含物、麻点、扎入氧化皮等各种缺陷，同时准确度高。
二、有效的解决了光照问题，且通过硬件与软件的结合来实现快速检测。
附图说明
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1为背景技术中基于图像处理的缺陷检测过程的流程图；
图2为背景技术中基于深度学习的缺陷检测过程的流程图；
图3为本发明中Faster R-CNN网络结构图；
图4为本发明中RPN网络运行流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本具体实施方式采用以下技术方案：
一、钢材表面缺陷图像预处理：
1.1、灰度矫正：
光照不均匀现象会影响缺陷目标在图像中的展示效果，会使得缺陷目标边缘模糊化，背景与缺陷目标的混淆，给后续的处理以及缺陷的检测增加难度。因此，对光照不均匀的缺陷图像进行灰度矫正十分重要。
使用直方图均衡化对图像进行灰度矫正，严格地说，图像的灰度直方图是一个一维的离散函数，可写成：
h(k)＝nk k＝0,1,…,L-1#(1)
式中，nk是图像f(x,y)中灰度级为k的像素的个数。直方图的每一列的高度对应nk。直方图提供了原图中各种灰度值分布的情况，也可以说直方图给出了一幅图像所有灰度值的整体描述。直方图的均值和方差也是图像灰度的均值和方差，图像的视觉效果与其直方图有对应关系。
在直方图的基础上，进一步定义归一化的直方图为灰度级出现的相对频率Pr(k)。即：
Pr(k)＝nk/N k＝0,1…,L-1#(2)
式(2)中，N表示图像f(x,y)的像素的总数，nk是图像f(x,y)中灰度级为k的像素的个数。
进一步计算图像的灰度累积分布频率sk。即
将归一化的sk乘以L-1再四舍五入，以使得均衡化后图像的灰度级与归一化前的原始图像一致。根据以上的映射关系，参照原始图像中的像素，可以写出直方图均衡化之后的图像。
1.2、图像滤波：
由于图像采集过程中存在的各种影响，采集到的图像会有一定的噪声，而采集到的图像在传输过程中也有可能产生各种噪声。通常噪声与图像信息无关，噪声不仅给图像带来多余的信息，而且会干扰图像本身的信息。噪声的存在，会引起图像的质量下降，对提取钢材表面缺陷特征产生很大的影响，严重的噪声会干扰算法对钢材表面缺陷的分类与定位。
为了消除噪声的影响，在提取钢材表面缺陷特征之前，需要对采集到的图片进行去噪。图像去燥可以提高图像的质量，减少噪声对提取缺陷特征时产生的干扰，使得检测算法的检测精度更高。下面介绍均值滤波方法：
均值滤波的基本原理是将当前处理的像素点(x,y)的灰度值与周围像素点的灰度值均值产生联系。若在滤波过程中，像素点(x,y) 为噪声，则用邻域像素点的物理特性取代像素点(x,y)的物理特性，以消除噪声。具体操作方法为：在像素点(x,y)的位置选择一定范围的邻域，范围内包含m个的像素点f(x,y)，求得邻域包含的像素点 f(x,y)的平均值，之后将求得的平均值，作为像素点(x,y)在进行均值滤波之后的像素值g(x,y)，计算公式如式(4)所示。
f(x,y)为处理前图像内像素的灰度值，g(x,y)为处理后的像素灰度值，m为图像中的像素的个数。
1.3、边缘检测分割：
通过灰度矫正与滤波处理，原图像中光照不均匀与存在噪声的问题得以解决，但是缺陷目标边缘与轮廓出现模糊。为了使模糊的缺陷目标边缘变清晰，需要图像边缘检测算法对滤波处理后的图像进行锐化，图像锐化可以使得图像边缘变得更清晰。边缘检测首先确认边缘的像素点，再将确认的像素点连接构成所需的区域边界。
Sobel算子是一种结合了高斯平滑与微分求导的离散微分算子，用以计算灰度函数的近似梯度。对图像中任意一个像素点(x,y)使用Sobel算子，Sobel算子会对该像素点在行方向与列方向求导，求得像素点(x,y)的梯度矢量或者法矢量。
在行方向求导时，该像素点附近的像素矩阵与一个行列均为奇数的卷积核进行卷积。当列方向求导时，该像素点附近的像素矩阵与一个行列均为奇数的卷积核进行卷积。当卷积核大小为3*3时，Sobel 算子常用的卷积核为：
其中h1为行方向常用的卷积核，h2为列方向常用的卷积核。
当使用h1，h2为卷积核时，行方向的导数计算结果为：
垂直方向的导数计算结果为：
其中Gx为行方向的导数，Gy为列方向的导数，I为原图像。然后在图像的每一点，结合行方向的导数Gx和列方向的导数Gy计算出近似梯度G：
二、基于深度学习的钢材表面缺陷检测技术：
卷积神经网络可用做图像识别、目标检测和语义分割等方面，要对钢材表面缺陷目标检测，卷积神经网络在精度和准确率上都是很好的选择。卷积神经网络是一种层次结构，由输入层，多个隐藏层如卷积层、池化层、激励层、全连接层及输出层构成。输入图像经过多次卷积、池化等操作将原始特征从图像中学习出来，最后通过全连接层和输出层将分类等任务转化为目标函数。利用反向传播算法，将网络预测值和训练集真实值之间的损失值从最后一层向前反馈以更新权重，经过多次前向反馈和反向传播以至模型收敛，得到训练好的模型。
2.1、基于Faster R-CNN的目标检测算法：
Faster R-CNN的提出是为了解决Fast R-CNN检测时间较长的问题。FasterR-CNN将R-CNN与RPN(Region Proposal Network)区域建议网络结合，这样的改进减少了神经网络在提取候选区域时的时间。Faster R-CNN网络对FastR-CNN网络的改进主要体现在两个方面：一方面，Faster R-CNN网络提出了区域建议网络(RPN网络)，能够更快的生成区域建议框；另一方面，使RPN网络和Fast-RCNN网络的参数共享。基于这两点改进，Faster R-CNN网络能够更快的对图像进行检测的同时，还能达到更高的精度。
Faster-RCNN网络进行目标检测共分为以下5步：
a.将大小为H×D的输入图像变换成大小为h×d，然后输入到卷积神经网络(CNN)中提取特征，卷积神经网络采用的是VGG16网络，该网络共设计了13个标准卷积层13个Relu激活层，4个最大池化层，标准卷积层的卷积核大小为3×3，填充数为1，卷积步长为1，最大卷积层的池化核为2×2，池化步长为2，每经过一次池化操作得到的特征图大小为池化前的1/2，经过卷积神经网络后，输入图像大小变为(h/16)×(d/16)的特征图；b.将得到的特征图(Feature map) 输入到RPN网络中，通过RPN网络获得候选框和每个框的得分；c. 将得到的候选框和卷积神经网络得到的特征图输入到RoI池化层，通过RoI池化层对输入大小不一的特征图和候选区域进行归一化处理, 得出大小固定的特征图；d.最后经过两个全连接层处理后分为两路，分别通过一个全连接层后，利用Softmax分类器得到分类结果，通过回归损失层(bbox_pred)得到回归结果。Faster R-CNN网络结构图如图3所示。
RPN网络：
经过VGG16卷积神经网络提取的共享特征图作为PRN的输入，输入后在特征图的每个点都会生成三种比例和三种尺寸的9个锚框 (anchors)。假设输入图片尺寸为H×D，经过卷积网络提取共享特征后，特征图尺寸变为(h/16)×(d/16),就会生成(h/16)×(d/16)×9个候选框。然后采用3×3的卷积核进行卷积来进一步提取边框特征，进而再送入两个卷积核为1×1的卷积层分别进行边框回归和分类，接下来就分两个支路对候选框进行处理，一方面是采用softmax 的方法进行锚框前景和背景的判别，主要判断锚框属于正类还是负类，另一方面是采用边界框回归修正锚框获得较准确的候选区域框。
对于候选框的筛选是采用预测框和真实框面积的交并比(IOU) 设置阈值的方法进行初步筛选，阈值一般设置为0.7，IOU的计算方法如公式(9)所示。
当IOU>0.7时为正样本，IOU<0.3时为负样本，0.3<IOU<0.7时为无关样本，其中只有正样本被筛选出来参与网络的训练。经过IOU 初步筛选后，再进一步通过3×3的卷积核进行卷积来进一步提取边框特征，进而再送入两个卷积核为1×1的全卷积层分别进行边框回归和分类。如下图4所示为RPN网络运行流程图。
ROI池化层：
由于全连接层需要输入固定尺寸，因此RoI池化层的作用就是收集VGG16特征提取网络得到的特征图以及RPN网络得到的候选区域框，将其调整为全连接层能接受的统一大小，送入后续网络进行分类和位置回归获得最后的结果。
级联检测网络：
FF R-CNN在Faster R-CNN的检测网络后增加了一个检测网络，并且将2个检测网络进行级联。由单个检测网络以固定的IoU阈值训练后获得的边界框比初始输入建议框更准确，即边界框的IoU高于原始输入区域建议框。同时，如果输入区域建议框的IoU接近于检测网络训练时设置的用于对正样本和负样本进行划分的阈值，则模型的准确性会更好。但是，在训练过程中盲目提高IoU阈值将导致负样本过多。该模型很难正确学习到真实的目标特征，并且容易发生拟合不足的问题。因此，盲目提高IoU阈值是对模型的检测效果是有负影响的。
因此，FFR-CNN在检测网络部分级联两个检测网络D1-net和 D2-net，并为D1-net和D2-net设置不同的IoU阈值。D1-net的IoU 阈值为0.5，D2-net的IoU阈值为0.6。D1-net与D2-net分别设置的IoU阈值，并且根据各自的IoU阈值划分正样本与负样本，D1-net 与D2-net分别根据各自正负样本训练。级联检测网络获得的训练数据的分布不同，并且随着检测网络的增加，检测网络获得的样本的IOU倾向于偏高分布，检测的效果更好。
FF R-CNN通过特征提取网络提取到特征图，之后由RPN网络生成区域建议框，将这些区域建议框与特征图结合送入IoU阈值为0.5的分类回归网络，得到经过修正的边界框，再将这些边界框送入IoU阈值为0.6的分类回归网络，得到更精确的边界框。
三、钢材表面缺陷检测系统设计：
3.1、钢材表面缺陷系统硬件设计：
钢材表面缺陷系统的硬件部分包括相机和镜头、光源。相机和镜头负责采集钢材表面图像，光源及控制器负责对钢材进行照明。
a.照明设备
图像包含了钢材表面的所有信息，图像质量的好坏是钢材表面缺陷检测的关键因素。选择的光源应该光线均匀柔和，同时亮度具有可调节性，本文光源选用LED环形光，并且直接安装在工业镜头同轴上。
b.相机与镜头
相机和镜头的质量直接影响采集图像的质量，目前，工业中使用的相机大多分为两种，CCD(电荷耦合元件)或CMOS(互补金属氧化物半导体)的相机。本文使用CMOS相机，CMOS相机的图像采集速度要优于CCD相机，且价格相对便宜。
3.2、钢材表面缺陷系统软件设计：
本次实验设计一个基于Windows平台的钢材缺陷检测系统，该系统主要包括图像采集与获取、图像处理、钢材表面缺陷检测、检测结果可视化等功能，下面将对这些功能需求进行分析。
本系统应该满足以下功能和性能：
a.图像采集与获取：本系统需要将系统硬件设备所拍摄到的图片进行采集并且保存。
b.图像处理：由于采集的钢材图像中包括存在噪声以及光照不均匀的现象，所以本系统应该包括图像处理算法部分。
c.钢材表面缺陷检测：钢材表面缺陷检测部分主要对输入的钢材图像使用缺陷检测算法进行缺陷检测，并且将钢材表面是否存在缺陷以及缺陷的位置信息保存。
d.钢材表面缺陷检测系统交互界面的设计：为了使检测结果可视化，需设计系统界面。整个软件系统应该具有登录界面、图像处理、图像检测功能。
针对以上的系统需求，将系统分为五个模块，采用各个模块组合的方式来实现整个系统，完成钢材缺陷检测的整体流程。整个系统包括图像采集模块、登录模块、图像处理模块、图像检测模块四个模块。下面依次对四个模块的功能进行简单介绍。
a.图像采集模块：对硬件所拍摄的图像进行采集与保存。
b.登录模块：在输入正确的账号和密码之后可以登录到钢材缺陷检测系统；若账号或密码输入错误，则提示输入错误；若连续输入错误超过五次，则系统锁定，禁止登录。登录模块可以有效地防止非工作人员登录系统，保证整个系统的安全。
c.图像处理模块：利用图像处理算法，对图像采集模块所采集的图像进行处理。
d.图像检测模块：图像检测模块可以实现钢材图像表面缺陷检测。同时显示检测结果图像和是否存在缺陷等信息。
本具体实施方式通过对钢材表面缺陷分析得知，钢材表面存在例如裂纹、划痕、斑块、内含物、麻点、扎入氧化皮等各种缺陷，这些缺陷影响钢材的力学性能、耐腐蚀性、美观性等。因此，本研究基于深度学习的钢材表面缺陷检测方法，并与深度学习的机器视觉领域相结合对其进行研究，主要研究内容包括：
1.研究钢材表面缺陷图像预处理技术：
由于钢材生产过程中光源的照明不均匀，环境光的存在，以及其他光线的干扰，采集到的图像容易产生光照不均匀的现象。光照不均匀的现象会影响钢材表面图像的质量，降低缺陷检测的精度，因此需要研究用图像处理技术对图像进行处理。
2.研究基于深度学习的钢材表面缺陷检测技术：
在钢材表面缺陷实际检测中，针对传统的人工检测精度低且检测效率低下的问题，研究基于深度学习的钢材表面缺陷目标检测技术。通过基于改进的级联检测网络的Faster R-CNN钢材缺陷检测算法来执行分类和定位，以提高检测精度。
3.钢材表面缺陷检测系统设计：
钢材表面缺陷系统模拟实际生产中的检测过程，系统的硬件部分包括相机和镜头、视觉系统用工控机、光源及控制器；软件部分主要负责采集的钢材表面图像。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种基于深度学习的钢材表面缺陷检测系统，其特征在于：它的检测方法如下：
步骤一：钢材表面缺陷图像预处理：
(1.1)、灰度矫正：
使用直方图均衡化对图像进行灰度矫正，严格地说，图像的灰度直方图是一个一维的离散函数，可写成：
h(k)＝nk k＝0,1,…,L-1#(1)
式中，nk是图像f(x,y)中灰度级为k的像素的个数；直方图的每一列的高度对应nk；直方图提供了原图中各种灰度值分布的情况，也可以说直方图给出了一幅图像所有灰度值的整体描述；直方图的均值和方差也是图像灰度的均值和方差，图像的视觉效果与其直方图有对应关系；
在直方图的基础上，进一步定义归一化的直方图为灰度级出现的相对频率Pr(k)；即：
Pr(k)＝nk/N k＝0,1…,L-1#(2)
式(2)中，N表示图像f(x,y)的像素的总数，nk是图像f(x,y)中灰度级为k的像素的个数；
进一步计算图像的灰度累积分布频率sk；即
将归一化的sk乘以L-1再四舍五入，以使得均衡化后图像的灰度级与归一化前的原始图像一致；根据以上的映射关系，参照原始图像中的像素，可以写出直方图均衡化之后的图像；
(1.2)、图像滤波：
均值滤波方法：
均值滤波的基本原理是将当前处理的像素点(x,y)的灰度值与周围像素点的灰度值均值产生联系；若在滤波过程中，像素点(x,y)为噪声，则用邻域像素点的物理特性取代像素点(x,y)的物理特性，以消除噪声；
(1.3)、边缘检测分割：
边缘检测首先确认边缘的像素点，再将确认的像素点连接构成所需的区域边界；Sobel算子是一种结合了高斯平滑与微分求导的离散微分算子，用以计算灰度函数的近似梯度；对图像中任意一个像素点(x,y)使用Sobel算子，Sobel算子会对该像素点在行方向与列方向求导，求得像素点(x,y)的梯度矢量或者法矢量；
步骤二：基于深度学习的钢材表面缺陷检测技术：
卷积神经网络是一种层次结构，由输入层，多个隐藏层如卷积层、池化层、激励层、全连接层及输出层构成；输入图像经过多次卷积、池化等操作将原始特征从图像中学习出来，最后通过全连接层和输出层将分类等任务转化为目标函数；利用反向传播算法，将网络预测值和训练集真实值之间的损失值从最后一层向前反馈以更新权重，经过多次前向反馈和反向传播以至模型收敛，得到训练好的模型；
步骤三：钢材表面缺陷检测系统设计：
(3.1)、钢材表面缺陷系统硬件设计：
钢材表面缺陷系统的硬件包括相机和镜头、光源；相机和镜头负责采集钢材表面图像，光源及控制器负责对钢材进行照明；
a.照明设备：选用LED环形光，并且直接安装在工业镜头同轴上；
b.相机与镜头：使用CMOS相机；
(3.2)、钢材表面缺陷系统软件设计：该系统包括图像采集与获取、图像处理、钢材表面缺陷检测、检测结果可视化功能。
2.根据权利要求1所述的一种基于深度学习的钢材表面缺陷检测系统，其特征在于：所述均值滤波方法的具体操作方法为：在像素点(x,y)的位置选择一定范围的邻域，范围内包含m个的像素点f(x,y)，求得邻域包含的像素点f(x,y)的平均值，之后将求得的平均值，作为像素点(x,y)在进行均值滤波之后的像素值g(x,y)，计算公式如式(4)所示；
f(x,y)为处理前图像内像素的灰度值，g(x,y)为处理后的像素灰度值，m为图像中的像素的个数。
3.根据权利要求1所述的一种基于深度学习的钢材表面缺陷检测系统，其特征在于：所述步骤二的基于深度学习的钢材表面缺陷检测技术为基于Faster R-CNN的目标检测算法，具体如下：
(1)、将大小为H×D的输入图像变换成大小为h×d，然后输入到卷积神经网络(CNN)中提取特征，卷积神经网络采用的是VGG16网络，该网络共设计了13个标准卷积层13个Relu激活层，4个最大池化层，标准卷积层的卷积核大小为3×3，填充数为1，卷积步长为1，最大卷积层的池化核为2×2，池化步长为2，每经过一次池化操作得到的特征图大小为池化前的1/2，经过卷积神经网络后，输入图像大小变为(h/16)×(d/16)的特征图；
(2)、将得到的特征图(Feature map)输入到RPN网络中，通过RPN网络获得候选框和每个框的得分；
(3)、将得到的候选框和卷积神经网络得到的特征图输入到RoI池化层，通过RoI池化层对输入大小不一的特征图和候选区域进行归一化处理,得出大小固定的特征图；
(4)、最后经过两个全连接层处理后分为两路，分别通过一个全连接层后，利用Softmax分类器得到分类结果，通过回归损失层(bbox_pred)得到回归结果。
4.根据权利要求1所述的一种基于深度学习的钢材表面缺陷检测系统，其特征在于：所述钢材表面缺陷系统软件设计包括图像采集与获取：需要将系统硬件设备所拍摄到的图片进行采集并且保存；图像处理；钢材表面缺陷检测：输入的钢材图像使用缺陷检测算法进行缺陷检测，并且将钢材表面是否存在缺陷以及缺陷的位置信息保存；钢材表面缺陷检测系统交互界面的设计：具有登录界面、图像处理、图像检测功能。
5.根据权利要求1所述的一种基于深度学习的钢材表面缺陷检测系统，其特征在于：所述钢材表面缺陷系统软件设计将系统分为五个模块，系统包括图像采集模块、登录模块、图像处理模块、图像检测模块四个模块：
a.图像采集模块：对硬件所拍摄的图像进行采集与保存；
b.登录模块：在输入正确的账号和密码之后可以登录到钢材缺陷检测系统；若账号或密码输入错误，则提示输入错误；若连续输入错误超过五次，则系统锁定，禁止登录；登录模块可以有效地防止非工作人员登录系统，保证整个系统的安全；
c.图像处理模块：利用图像处理算法，对图像采集模块所采集的图像进行处理；
d.图像检测模块：图像检测模块可以实现钢材图像表面缺陷检测；同时显示检测结果图像和是否存在缺陷等信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210463007.1A CN114926407A (zh) | 2022-04-28 | 2022-04-28 | 一种基于深度学习的钢材表面缺陷检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210463007.1A CN114926407A (zh) | 2022-04-28 | 2022-04-28 | 一种基于深度学习的钢材表面缺陷检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114926407A true CN114926407A (zh) | 2022-08-19 |
Family
ID=82805967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210463007.1A Pending CN114926407A (zh) | 2022-04-28 | 2022-04-28 | 一种基于深度学习的钢材表面缺陷检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926407A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375676A (zh) * | 2022-10-24 | 2022-11-22 | 微山三利特不锈钢有限公司 | 一种基于图像识别的不锈钢制品质量检测方法 |
| CN115496755A (zh) * | 2022-11-16 | 2022-12-20 | 南京云创大数据科技股份有限公司 | 基于结构光及梯度分析的类镜面缺陷检测方法及装置 |
| CN115775227A (zh) * | 2022-10-12 | 2023-03-10 | 浙江吉昌新材料有限公司 | 防裂匣钵的智能化生产方法及其控制系统 |
| CN117252864A (zh) * | 2023-11-14 | 2023-12-19 | 海澜智云科技有限公司 | 基于标识解析的钢铁生产器件光滑度检测系统 |
| CN117710377A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习算法的cmos的缺陷检测方法 |
-
2022
- 2022-04-28 CN CN202210463007.1A patent/CN114926407A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115775227A (zh) * | 2022-10-12 | 2023-03-10 | 浙江吉昌新材料有限公司 | 防裂匣钵的智能化生产方法及其控制系统 |
| CN115375676A (zh) * | 2022-10-24 | 2022-11-22 | 微山三利特不锈钢有限公司 | 一种基于图像识别的不锈钢制品质量检测方法 |
| CN115496755A (zh) * | 2022-11-16 | 2022-12-20 | 南京云创大数据科技股份有限公司 | 基于结构光及梯度分析的类镜面缺陷检测方法及装置 |
| CN115496755B (zh) * | 2022-11-16 | 2023-02-14 | 南京云创大数据科技股份有限公司 | 基于结构光及梯度分析的类镜面缺陷检测方法及装置 |
| CN117252864A (zh) * | 2023-11-14 | 2023-12-19 | 海澜智云科技有限公司 | 基于标识解析的钢铁生产器件光滑度检测系统 |
| CN117252864B (zh) * | 2023-11-14 | 2024-01-26 | 海澜智云科技有限公司 | 基于标识解析的钢铁生产器件光滑度检测系统 |
| CN117710377A (zh) * | 2024-02-06 | 2024-03-15 | 中国科学院长春光学精密机械与物理研究所 | 一种基于深度学习算法的cmos的缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310558B (zh) | 一种基于深度学习和图像处理法的路面病害智能提取方法 | |
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN108629775B (zh) | 一种热态高速线材表面图像处理方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| WO2019104767A1 (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN114820773B (zh) | 基于计算机视觉的筒仓运输车辆车厢位置检测方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN109242032B (zh) | 一种基于深度学习的目标检测方法 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
| CN116990323B (zh) | 一种高精密印刷版视觉检测系统 | |
| CN107945122A (zh) | 基于自适应直方图分段的红外图像增强方法及系统 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN110648330A (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN113537211A (zh) | 一种基于非对称iou的深度学习车牌框定位方法 | |
| CN112862744A (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| CN112288726B (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |