CN110349126A - 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 - Google Patents

一种基于卷积神经网络带标记的钢板表面缺陷检测方法 Download PDF

Info

Publication number
CN110349126A
CN110349126A CN201910536618.2A CN201910536618A CN110349126A CN 110349126 A CN110349126 A CN 110349126A CN 201910536618 A CN201910536618 A CN 201910536618A CN 110349126 A CN110349126 A CN 110349126A
Authority
CN
China
Prior art keywords
image
steel plate
neural networks
surface defects
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910536618.2A
Other languages
English (en)
Other versions
CN110349126B (zh
Inventor
戴超凡
牛会通
瞿华
王正
史梦成
马榕泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201910536618.2A priority Critical patent/CN110349126B/zh
Publication of CN110349126A publication Critical patent/CN110349126A/zh
Application granted granted Critical
Publication of CN110349126B publication Critical patent/CN110349126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8822—Dark field detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于卷积神经网络带标记的钢板表面缺陷检测方法，首先采集带有表面缺陷的钢板图像，构建图像库；将图像库中的图像分为训练样本集和测试样本集；然后进行钢板图像预处理，钢板图像边缘检测，钢板图像中钢板缺陷标记，构建卷积神经网络；最后进行钢板表面缺陷检测识别及分类。本发明先对采集的钢板图像进行预处理，边缘检测，再对其训练。在使用小样本的情况下，提升了钢板表面多类型缺陷检测的准确性及精度。

Description

一种基于卷积神经网络带标记的钢板表面缺陷检测方法
技术领域
本发明属于图像识别在钢板表面缺陷检测应用技术领域，涉及一种钢板表面缺陷检测方法，具体涉及一种基于卷积神经网络带标记的钢板表面缺陷检测方法。
背景技术
钢铁产业在我国经济发展中起着不可替代的作用，投入了大量的人力、物力资源。在国际上与其他钢铁企业竞争的过程中，钢板表面缺陷检测技术性仍然是一大瓶颈，传统厂家缺陷检测仅依靠人眼识别，局限性较大，随着缺陷检测技术的发展，催生了一系列的钢板表面缺陷检测方法。例如，AK Soni等提出基于锁相放大器的涡流检测仪检测钢板表面缺陷，能够快速有效检测多类型缺陷，但比如色差、轻微刮痕却不易检查。JingzhongHou等提出基于低秩多核支持向量机的带钢表面缺陷检测，此类方法检测准确率不高。KaixiangPeng等提出基于改进BP算法的钢带自动表面缺陷检测分类技术，涉及在标准BP算法的缓慢收敛中起重要作用的饱和区域，但BP神经网络收敛速度慢，不适用于小样本快速的检测。房敏等提出PSO算法优化BP网络的钢板表面检测技术，不容易陷入局部最优，更具有适用性，但准确率依然不高。以上研究的问题在于：识别精度不高，轻微缺陷无法检测；准确率不高，导致分类错误；识别钢板表面缺陷类型具有局限性。
发明内容
为了解决上述技术问题，本发明提供了一种基于卷积神经网络带标记的钢板表面缺陷检测方法，用于钢板缺陷检测上，自动将钢板缺陷区分并分离。
本发明所采用的技术方案是：一种基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于，包括以下步骤：
步骤1：采集带有表面缺陷的钢板图像，构建图像库；将图像库中的图像分为训练样本集和测试样本集；
步骤2：钢板图像预处理；
步骤3：钢板图像边缘检测；
步骤4：钢板图像中钢板缺陷标记；
步骤5：构建卷积神经网络；
步骤6：钢板表面缺陷检测识别及分类。
作为优选，步骤1中，采集带有表面缺陷的钢板图像，对图像进行关键信息裁剪，缩小识别范围，构建图像库；其中，所述表面缺陷包括色差、黑斑、磷化斑、翘皮、压痕、划痕、针眼、孔洞。
作为优选，步骤2中，采用双边滤波对图像进行预处理；
双边滤波后图像为：
其中，g(i,j)为双边滤波后图像，f()为双边滤波前图像，w(i,j,k,l)为图像f(i,j)与f(k,l)之间权重，(i,j)，(k,l)分别指两个像素点的坐标；σd为高斯函数的方差。
作为优选，步骤3中，采用canny改进算子进行图像边缘检测；
利用最大类间方差法Otsu，自适应确定高阈值、低阈值以及平滑滤波方差；其中，最大类间方差法Otsu是将图像像素分为背景和目标两类，通过搜索背景的最大值，得到最优阈值。
作为优选，步骤4中，所述钢板缺陷标记是在边缘检测的基础上，对一些优秀特征进行提取，在钢板图像边缘处补若干列优秀特征数据；
所述优秀特征，包括缺陷图像的灰度值一阶概率分布P(i)、x方向投影特征P(x)；
P(i)＝k/n；
其中，i表示钢板表面缺陷图像灰度等级；k表示灰度等级i时，钢板表面缺陷图像灰度和；n表示钢板表面缺陷图像灰度总和；f(x，y)表示为钢板表面缺陷图像的在x，y处的像素值。
作为优选，缺陷图像的灰度值一阶概率分布P(i)的标记具体过程如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)针对灰度图像，计算灰度值一阶概率分布P(i)；
3)其滤波后图像样本灰度值区间为0-255，则可算的缺陷区域熵的特征向量为256×1，将其数据均衡到0-255；
4)将所得灰度值一阶概率分布特征向量补在边缘提取后缺陷图像的宽度的上，第一列为240个特征向量，第二列为16个特征向量，第二列其余位置补零；
5)补零；补零列数为步长减一。
作为优选，对于x方向投影分布P(i)的标记具体过程如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)针对灰度图像，计算x方向投影分布P(x)；
3)样本图片x轴为768个像素点，可算的x方向投影的特征向量为256×1，将其数据均衡到0-255；
4)补零；补零列数为步长减一。
作为优选，步骤5中，所述卷积神经网络由3个卷积层和1个softmax输出层组成；网络结构中的第1个卷积层由卷积操作、激活函数映射、最大值池化操作组成；第2个卷积层与第1个卷积层的结构相同；第3个卷积层由卷积操作、激活函数映射组成；网络结构的输出层是1个6类别的softmax输出分类器；
卷积神经网络及参数信息见表1；
表1卷积神经网络及参数信息
其中，f表示卷积核或是池化核的大小，s为步长，d为卷积核的深度。
本发明采用卷积神经网络原理实现钢板表面缺陷的自动检测，但经典卷积神网络检测需要大量样本，采样十分困难。故先对采集的钢板图像进行预处理，边缘检测，再对其训练。在使用小样本的情况下，提升钢板表面多类型缺陷检测的准确性及精度。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例中色差处理效果对比示意图；
图3为本发明实施例中孔洞处理效果对比示意图；
图4为本发明实施例中划痕处理效果对比示意图；
图5为本发明实施例中磷化斑处理效果对比示意图；
图6为本发明实施例中针眼处理效果对比示意图；
图7为本发明实施例中白斑处理效果对比示意图；
图8为本发明实施例中钢板缺陷表面标记示意图；
图9为本发明实施例中卷积神经网络的结构图；
图10为本发明实施例中钢板表面缺陷样本训练交叉熵曲线示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于卷积神经网络带标记的钢板表面缺陷检测方法，包括以下步骤：
步骤1：采集带有表面缺陷的钢板图像，构建图像库；将图像库中的图像分为训练样本集和测试样本集；
本实施例中，钢板表面的缺陷主要分为色差、黑斑、磷化斑、翘皮、压痕、划痕、针眼、孔洞等，而这些缺陷对光的反射却不尽相同。其中色差、黑斑、磷化斑、翘皮等在光线的作用下表现为亮背景暗目标，称为明域缺陷；压痕、划痕、孔洞、针眼等则为暗背景亮目标，称为暗域缺陷。考虑到钢板表面的光线的反射情况，更好的检测出明域暗域钢板缺陷，因此，本实施例光源系统选用亮度稍强，价格低廉的荧光灯，采用狭缝式结构；相机选用为TEDTECH公司型号TM-C1582U、分辨率768(H)×494(V)。利用上述相机和光源拍摄带有表面缺陷的钢板，对图像进行关键信息(人工评判)裁剪(768×240)，缩小识别范围，构建图像库。本实施例将图库的相片分为训练样本集和测试样本集，如表1：
表1训练样本集和测试样本集
步骤2：钢板图像预处理；
本实施例采用双边滤波对图像进行预处理；双边滤波采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，所用的加权平均基于高斯分布。最重要的是，双边滤波的权重不仅考虑了像素的欧氏距离(如普通的高斯低通滤波，只考虑了位置对中心像素的影响)，还考虑了像素范围域中的辐射差异(例如卷积核中像素与中心像素之间相似程度、颜色强度，深度距离等)，在计算中心像素的时候同时考虑这两个权重：
其中：g(i,j)为双边滤波后图像，f()为双边滤波前图像，w(i,j,k,l)为图像f(i,j)与f(k,l)之间权重，(i,j)，(k,l)分别指两个像素点的坐标；σd为高斯函数的方差。
峰值信噪比是当前被应用最为广泛的量化评价图像质量的指标，且峰值信噪的值越大，图像的质量也就越高。
其中，MSE表示缺陷钢板图像滤波前后图像的均方差，n是图像中像素的比特数。
钢板的恶劣生产环境、图像的采集时光照不均以及图像传输损失等一系列因素，都会使图像产生噪音，严重影响钢板表面缺陷图像的质量。因此在对图像进行正式提取特征之前，需要对图像进行滤波去噪。本实施例采用均值滤波、高斯滤波、中值滤波、方框滤波、双边滤波进行比较，应用峰值信噪比(PSNR)选出更为适合的滤波方法。
在上文钢板各类缺陷图集中分别选取十张代表性图像，利用上述五种滤波方法进行去噪，计算各自PSNR，求其均值，可得如下实验结果：
表2五种滤波方法的PSNR值
根据PSNR计算结果，五种滤波质量由高到低依次为双边滤波、中值滤波、高斯滤波、均值滤波、方框滤波。因此，本实施例选取的滤波方式为双边滤波。在进行滤波去噪之后，对缺陷钢板图像的质量会有一定的影响，所以本实验对缺陷图像再进行直方图均衡化，增大像素值之间差异。
步骤3：钢板图像边缘检测；
本实施例采用Sobel算子、Laplacian算子、改进canny算子进行比较，选出最佳方案。在canny算子中，高阈值、低阈值以及平滑滤波方差这几个关键因素都需要人工设定，故该算子失去了实时性，在钢板的缺陷检测应用中存在一定的局限性。因此，本实施例采用的canny改进算子，基本思想如下：利用最大类间方差法(Otsu)，自适应确定高阈值、低阈值以及平滑滤波方差。Otsu算法是将图像像素分为背景和目标两类，通过搜索背景的最大值，得到最优阈值。在上文钢板各类缺陷图集中分别选取一张代表性图像，利用上述三种算子进行边缘检测，可得如图2-图7的结果。
通过对比上述三种算子的实验仿真结果，可以看出：在色差表面缺陷中，仅有改进canny算子能够提取特征；上述三种算子在边缘提取中，改进canny算子噪音斑点最少；上述三种算子在边缘提取中，laplacian算子特征最明显，但噪音线条较多。综上，本实施例采取改进canny算子进行边缘提取。
步骤4：钢板图像中钢板缺陷标记；
钢板缺陷的标记是在边缘检测的基础上，对一些优秀特征进行提取，在图像边缘处补一列或者几列优秀特征数据。
“优秀特征”能够较好的代表此张图像，一般评价标准为Fisher判别准则，优秀特征包括：缺陷图像的灰度值一阶概率分布、x方向投影特征、缺陷区域熵、缺陷图像峭度、缺陷图像歪度、缺陷范围等等。不同类型的图像优秀特征的表达不尽相同，依据实验和经验进行确定。
钢板表面缺陷特征主要分为灰度特征、几何特征、投影特征、纹理特征，根据文献[7][8]所述，通常使用Fisher判别准则对提取的特征进行比较，本实施例综合文献所述特征Fisher比和实验钢板缺陷样本特点，增加钢板表面缺陷图像的灰度值一阶概率分布、x方向投影特征作为标记。其灰度值一阶概率分布P(i)和x方向投影特征P(x)计算公式如(4)、(5)：
P(i)＝k/n (4)
其中，i表示钢板表面缺陷图像灰度等级；k表示灰度等级i时，钢板表面缺陷图像灰度和；n表示钢板表面缺陷图像灰度总和；f(x，y)表示为钢板表面缺陷图像的在x，y处的像素值。
对于灰度值一阶概率分布P(i)的标记具体如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)将灰度图像利用公式(4)计算灰度值一阶概率分布；
3)其滤波后图像样本灰度值区间为0-255，则可算的缺陷区域熵的特征向量为256×1，将其数据均衡到0-255；
4)将所得灰度值一阶概率分布特征向量补在边缘提取后缺陷图像的宽度的上，第一列为240个特征向量，第二列为16个特征向量，第二列其余位置补零；
5)补零；补零列数为步长减一。
对于x方向投影分布P(i)的标记具体如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)将灰度图像利用公式(5)计算x方向投影分布；
3)本实验样本图片其x轴为768个像素点，可算的x方向投影的特征向量为256×1，将其数据均衡到0-255；
4)补零；补零列数为步长减一。
依照以上步骤标记，我们可以得到如图8所示图片。
步骤5：构建卷积神经网络；
常见的卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层和最后的输出层构成。从输入层到全连接层之间连接方式为：卷积层-激活函数-池化层，一般为三个及三个以上上述循环；通过卷积神经网络层与层之间通过不同的计算方式建立神经元之间的联系；通过卷积层对原始数据提取特征；通过池化层降低数据维度；最后通过全连接层将特征分类并输出结果。与BP神经网络一样,卷积神经网络也是通过梯度下降和反向传播算法进行训练的,则全连接层的梯度公式与BP网络完全一样。卷积神经网络的结构如图9；
在CNN中，虽然也是卷积，但是其卷积公式和严格意义数学中的定义稍有不同,比如对于二维的卷积，定义为：
其中，s(i,j)为卷积后图像，X为原图像，W为个连接权值。
由于池化也称为下采样，用S＝down(C)表示，β和b为标量参数，则可得池化过程公式为：
S＝βdown(C)+b (7)
假设当前卷积层为l，下一层为池化层l+1，上一层也是池化层l-1。那么从l-1层到l层，其卷积层的反向求导公式为：
其中，f为激活函数，-conv代表卷积过程。
参数设计
本实施例的卷积神经网络由3个卷积层和1个softmax输出层组成.网络结构中的第1个卷积层由卷积操作、激活函数映射、最大值池化操作组成；第2卷积层与第1个卷积层的结构相同；第3个卷积层由卷积操作、激活函数映射组成：网络结构的输出层是1个6类别的softmax输出分类器。
详细的卷积神经网络及参数信息见表3。表3中f表示卷积核或是池化核的大小，s为步长，d为卷积核的深度。
其中solver.prototxt参数如下：test_iter:2，test_interval:50，base_lr:0.001，lr_policy:"step"，gamma:0.1，stepsize:100，display:20，max_iter:500，momentum:0.9，weight_decay:0.005，snapshot:1000，solver_mode:CPU。
表3卷积神经网络及参数信息
损失函数(loss function)通常被用来评估卷积神经网模型的输出值与实际值相接近的程度，是卷积神经网络模型准确性以及优化的一个重要的指标。而在损失函数中，交叉熵是当前应用最为普遍的。其主要计算公式如下：
其中，yk为像素分布概率。
步骤6：钢板表面缺陷检测识别及分类。
以下通过实验来对发明的准确定进行验证：
本实验所用电脑操作系统为64位win7、CPU型号为Intel(R)Core(TM)i5-8400、运行内存为8GB、GPU型号为影驰GTX1050Ti等。上文钢板表面缺陷检测及特征提所用平台为VS2013以及OpenCV3.0；卷积神经网络训练由开源框架Caff和其C++接口实现。本实验样本个数为970，分辨率为768×240，钢板表面缺陷检测系统对实时性要求没有特别严格，故本实验不采用GPU进行训练。
本实验为形成对比，先对未进行特征提取的钢板表面缺陷样本训练集应用上述方法进行训练，可得到如图10交叉熵曲线，在用测试集对其检测，可得其色差、孔洞、划痕、磷化斑、针眼、白斑检测的准确性依次为59.86％、78.64％、80.23％、73.19％、72.81％、74.32％；其次，对上述进行过特征提取的钢铁表面缺陷样本集进行训练，可得到如图10交叉熵曲线，其色差、孔洞、划痕、磷化斑、针眼、白斑检测的准确性依次为84.31％、90.95％、92.23％、89.65％、88.10％、87.36％；最后，对进行标记和特征提取的钢铁表面缺陷样本集进行训练，可得到如图10交叉熵曲线，其色差、孔洞、划痕、磷化斑、针眼、白斑检测的准确性依次为93.20％、95.69％、97.35％、94.52％、94.15％、95.71％。把上述实验结果汇总，可得表4：
表4钢板表面缺陷训练准确率
针对工业中钢板表面缺陷难以自动化检测、检测准确率低等问题，本发明提出基于卷积神经网络结构对其进行自动分类检测，首先利用TM-C1582U采集钢板缺陷图像；再利用方框滤波对图像进行去噪，减少检测干扰；其次利用改进canny算子进行边缘提取；最后设计相适应的卷积神经网络系统。将边缘提取前后的钢板表面缺陷图像导入卷积神经网络系统进行训练，分别得到如上的准确度以及损失函数交叉熵的变化曲线。但模型的精度和收敛速度仍达不到要求，故利用特征对钢板表面缺陷样本进行标记，加入灰度值一阶概率分布P(i)和x方向投影特征两个特征，导入卷积神经网络系统，性能有明显的提升。综上，图像的预处理及特征提取缺陷识别的准确性有着重要的作用，且加速了损失函数交叉熵的收敛，并能够降低损失函数初始值，增加钢板表面缺陷识别的准确性；钢板表面缺陷样本集不丰富的情况下，进行特征提取、对钢板表面缺陷进行标记明显有助提升检测的准确率、加快损失函数交叉熵的收敛，并能够降低损失函数初始值。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于，包括以下步骤：
步骤1：采集带有表面缺陷的钢板图像，构建图像库；将图像库中的图像分为训练样本集和测试样本集；
步骤2：钢板图像预处理；
步骤3：钢板图像边缘检测；
步骤4：钢板图像中钢板缺陷标记；
步骤5：构建卷积神经网络；
步骤6：钢板表面缺陷检测识别及分类。
2.根据权利要求1所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于：步骤1中，采集带有表面缺陷的钢板图像，对图像进行关键信息裁剪，缩小识别范围，构建图像库；其中，所述表面缺陷包括色差、黑斑、磷化斑、翘皮、压痕、划痕、针眼、孔洞。
3.根据权利要求1所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于：步骤2中，采用双边滤波对图像进行预处理；
双边滤波后图像为：
其中，g(i,j)为双边滤波后图像，f()为双边滤波前图像，w(i,j,k,l)为图像f(i,j)与f(k,l)之间权重，(i,j)，(k,l)分别指两个像素点的坐标；σd为高斯函数的方差。
4.根据权利要求1所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于：步骤3中，采用canny改进算子进行图像边缘检测；
利用最大类间方差法Otsu，自适应确定高阈值、低阈值以及平滑滤波方差；其中，最大类间方差法Otsu是将图像像素分为背景和目标两类，通过搜索背景的最大值，得到最优阈值。
5.根据权利要求1所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于：步骤4中，所述钢板缺陷标记是在边缘检测的基础上，对一些优秀特征进行提取，在钢板图像边缘处补若干列优秀特征数据；
所述优秀特征，包括缺陷图像的灰度值一阶概率分布P(i)、x方向投影特征P(x)；
P(i)＝k/n；
其中，i表示钢板表面缺陷图像灰度等级；k表示灰度等级i时，钢板表面缺陷图像灰度和；n表示钢板表面缺陷图像灰度总和；f(x，y)表示为钢板表面缺陷图像的在x，y处的像素值。
6.根据权利要求5所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于，缺陷图像的灰度值一阶概率分布P(i)的标记具体过程如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)针对灰度图像，计算灰度值一阶概率分布P(i)；
3)其滤波后图像样本灰度值区间为0-255，则可算的缺陷区域熵的特征向量为256×1，将其数据均衡到0-255；
4)将所得灰度值一阶概率分布特征向量补在边缘提取后缺陷图像的宽度的上，第一列为240个特征向量，第二列为16个特征向量，第二列其余位置补零；
5)补零；补零列数为步长减一。
7.根据权利要求5所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于，对于x方向投影分布P(i)的标记具体过程如下：
1)在图像样本进行双边滤波后，将其转化为灰度图像；
2)针对灰度图像，计算x方向投影分布P(x)；
3)样本图片x轴为768个像素点，可算的x方向投影的特征向量为256×1，将其数据均衡到0-255；
4)补零；补零列数为步长减一。
8.根据权利要求1-7任意一项所述的基于卷积神经网络带标记的钢板表面缺陷检测方法，其特征在于：步骤5中，所述卷积神经网络由3个卷积层和1个softmax输出层组成；网络结构中的第1个卷积层由卷积操作、激活函数映射、最大值池化操作组成；第2个卷积层与第1个卷积层的结构相同；第3个卷积层由卷积操作、激活函数映射组成；网络结构的输出层是1个6类别的softmax输出分类器；
卷积神经网络及参数信息见表1；
表1卷积神经网络及参数信息
其中，f表示卷积核或是池化核的大小，s为步长，d为卷积核的深度。
CN201910536618.2A 2019-06-20 2019-06-20 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 Active CN110349126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910536618.2A CN110349126B (zh) 2019-06-20 2019-06-20 一种基于卷积神经网络带标记的钢板表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910536618.2A CN110349126B (zh) 2019-06-20 2019-06-20 一种基于卷积神经网络带标记的钢板表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN110349126A true CN110349126A (zh) 2019-10-18
CN110349126B CN110349126B (zh) 2022-11-18

Family

ID=68182552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910536618.2A Active CN110349126B (zh) 2019-06-20 2019-06-20 一种基于卷积神经网络带标记的钢板表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110349126B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766689A (zh) * 2019-11-06 2020-02-07 深圳微品致远信息科技有限公司 基于卷积神经网络进行物品图像缺陷检测的方法及装置
CN110866895A (zh) * 2019-10-25 2020-03-06 广西电网有限责任公司电力科学研究院 一种检测输变电钢构架热镀锌层色差质量方法
CN110910372A (zh) * 2019-11-23 2020-03-24 郑州智利信信息技术有限公司 基于深度卷积神经网络的匀光板缺陷检测方法
CN111127344A (zh) * 2019-12-06 2020-05-08 昆明理工大学 一种基于bp神经网络的自适应双边滤波的超声图像降噪的方法
CN111402236A (zh) * 2020-03-17 2020-07-10 北京科技大学 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN111462046A (zh) * 2020-03-06 2020-07-28 国家能源集团谏壁发电厂 基于卷积神经网络和滑动窗口的水冷壁缺陷检测方法
CN111524114A (zh) * 2020-04-17 2020-08-11 哈尔滨理工大学 一种基于深度学习的钢板表面缺陷检测方法
CN111784670A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 基于计算机视觉的热轧钢板表面缺陷识别方法及装置
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN112116580A (zh) * 2020-09-22 2020-12-22 中用科技有限公司 用于摄像头支架的检测方法、系统及设备
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN112581001A (zh) * 2020-12-24 2021-03-30 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质
CN112597798A (zh) * 2020-11-23 2021-04-02 广州创品知识产权服务有限公司 一种使用神经网络鉴别商品真伪的方法
CN112907595A (zh) * 2021-05-06 2021-06-04 武汉科技大学 一种表面缺陷检测方法及装置
CN113112470A (zh) * 2021-04-08 2021-07-13 西安道法数器信息科技有限公司 一种基于人工智能的冷轧过程钢材弯曲检测分析方法
CN113240625A (zh) * 2021-03-31 2021-08-10 辽宁华盾安全技术有限责任公司 一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质
CN113376172A (zh) * 2021-07-05 2021-09-10 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
CN113538342A (zh) * 2021-06-25 2021-10-22 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN115151942A (zh) * 2021-01-28 2022-10-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
TWI787748B (zh) * 2021-03-03 2022-12-21 中國鋼鐵股份有限公司 帶狀產品之孔洞的缺陷預測方法及系統
TWI815492B (zh) * 2022-06-06 2023-09-11 中國鋼鐵股份有限公司 鋼帶表面缺陷辨識方法與系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN108021938A (zh) * 2017-11-29 2018-05-11 中冶南方工程技术有限公司 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866895A (zh) * 2019-10-25 2020-03-06 广西电网有限责任公司电力科学研究院 一种检测输变电钢构架热镀锌层色差质量方法
CN110866895B (zh) * 2019-10-25 2023-09-08 广西电网有限责任公司电力科学研究院 一种检测输变电钢构架热镀锌层色差质量方法
CN110766689A (zh) * 2019-11-06 2020-02-07 深圳微品致远信息科技有限公司 基于卷积神经网络进行物品图像缺陷检测的方法及装置
CN110910372A (zh) * 2019-11-23 2020-03-24 郑州智利信信息技术有限公司 基于深度卷积神经网络的匀光板缺陷检测方法
CN111127344A (zh) * 2019-12-06 2020-05-08 昆明理工大学 一种基于bp神经网络的自适应双边滤波的超声图像降噪的方法
CN111462046A (zh) * 2020-03-06 2020-07-28 国家能源集团谏壁发电厂 基于卷积神经网络和滑动窗口的水冷壁缺陷检测方法
CN111402236B (zh) * 2020-03-17 2023-04-28 北京科技大学 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN111402236A (zh) * 2020-03-17 2020-07-10 北京科技大学 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN111524114A (zh) * 2020-04-17 2020-08-11 哈尔滨理工大学 一种基于深度学习的钢板表面缺陷检测方法
CN111784670A (zh) * 2020-06-30 2020-10-16 平安国际智慧城市科技股份有限公司 基于计算机视觉的热轧钢板表面缺陷识别方法及装置
CN111784670B (zh) * 2020-06-30 2022-05-20 深圳赛安特技术服务有限公司 基于计算机视觉的热轧钢板表面缺陷识别方法及装置
CN112082999A (zh) * 2020-07-27 2020-12-15 深检数据科技(江苏)有限公司 一种工业产品缺陷检测方法和工业智能相机
CN112116580A (zh) * 2020-09-22 2020-12-22 中用科技有限公司 用于摄像头支架的检测方法、系统及设备
CN112116580B (zh) * 2020-09-22 2023-09-05 中用科技有限公司 用于摄像头支架的检测方法、系统及设备
CN112597798A (zh) * 2020-11-23 2021-04-02 广州创品知识产权服务有限公司 一种使用神经网络鉴别商品真伪的方法
CN112581001A (zh) * 2020-12-24 2021-03-30 成都安易迅科技有限公司 设备的评估方法及装置、电子设备、可读存储介质
CN112304960A (zh) * 2020-12-30 2021-02-02 中国人民解放军国防科技大学 一种基于深度学习的高分辨率图像物体表面缺陷检测方法
CN115151942B (zh) * 2021-01-28 2024-02-13 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
CN115151942A (zh) * 2021-01-28 2022-10-04 东莞职业技术学院 基于卷积神经网络模型训练的带钢表面缺陷检测方法
TWI787748B (zh) * 2021-03-03 2022-12-21 中國鋼鐵股份有限公司 帶狀產品之孔洞的缺陷預測方法及系統
CN113240625A (zh) * 2021-03-31 2021-08-10 辽宁华盾安全技术有限责任公司 一种基于深度学习的钢板检测方法、对尾预警方法、电子设备及计算机存储介质
CN113112470A (zh) * 2021-04-08 2021-07-13 西安道法数器信息科技有限公司 一种基于人工智能的冷轧过程钢材弯曲检测分析方法
CN113112470B (zh) * 2021-04-08 2023-12-15 揭阳市柏亿不锈钢有限公司 一种基于人工智能的冷轧过程钢材弯曲检测分析方法
CN112907595A (zh) * 2021-05-06 2021-06-04 武汉科技大学 一种表面缺陷检测方法及装置
CN113538342B (zh) * 2021-06-25 2023-08-18 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113538342A (zh) * 2021-06-25 2021-10-22 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113376172A (zh) * 2021-07-05 2021-09-10 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
TWI815492B (zh) * 2022-06-06 2023-09-11 中國鋼鐵股份有限公司 鋼帶表面缺陷辨識方法與系統

Also Published As

Publication number Publication date
CN110349126B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN110349126A (zh) 一种基于卷积神经网络带标记的钢板表面缺陷检测方法
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN110210362A (zh) 一种基于卷积神经网络的交通标志检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN103593670A (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN112907595B (zh) 一种表面缺陷检测方法及装置
CN110930390A (zh) 基于半监督深度学习的芯片管脚缺失检测方法
CN111161260A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN114792316B (zh) 一种盘刹车轴底板点焊缺陷检测方法
CN103439348A (zh) 基于差影法的遥控器按键缺陷检测方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN110197259A (zh) 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN109685030A (zh) 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN108629762A (zh) 一种骨龄评测模型减少干扰特征的图像预处理方法及系统
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN114092682A (zh) 基于机器学习的小金具类缺陷检测算法
CN110175614A (zh) 一种印刷电路板过孔内壁质量的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant