CN108154504A - 一种基于卷积神经网络的钢板表面缺陷的检测方法 - Google Patents

Abstract

一种钢板表面缺陷的检测分类方法，通过视觉设备获取钢板的图片，然后建立相应的CNN模型，利用稀疏自动编码器初始化权重，对CNN相关的算法的设计及优化，训练CNN模型，通过训练好的CNN判断钢板是否存在缺陷。该方法将卷积神经网络应用于钢板缺陷的图像处理，这样图像中的特征提取和各种缺陷的分类同时进行，而且卷积神经网络中的权值共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强，鲁棒性更好。

Description

一种基于卷积神经网络的钢板表面缺陷的检测方法

技术领域

本发明涉及深度学习领域，尤其涉及到基于卷积神经网络的钢板表面的缺陷检测和分类方法。

背景技术

钢板在工业制造中被广泛应用，其主要用于制造桥梁、船舶、车辆、锅炉、高压容器、输油输气管道、大型钢结构等。经济的快速发展促进了钢铁需求不断加大，钢铁的质量成为人们的首要关注问题。原材料、生产环境、生产工艺等各个方面的原因容易造成钢板在生产的过程中出现裂纹、划痕、黑斑、针孔、表面夹杂、擦伤和孔洞等多种缺陷，如果这些有质量问题的产品不能及时检测出来加以停止，会导致带有缺陷的产品批量生产，会产生不可估量的损失。另外，这些有缺陷的钢板在耐磨和防腐蚀性方面都会相对较弱，这样其生产的产品就会在使用性能方面存在一定的问题。因此，在钢板生产过程中，如果能及时的把有缺陷的产品检测出来，就会大大的提高钢板生产的质量。

随着工业自动化，常应用于钢板生产中的自动无损检测方法有涡流检测法和红外检测法。自动无损检测方法能检测钢坯表面的缺陷，部分还可以检测出钢坯内部的缺陷，但是，可检测的缺陷种类较少，不能将钢坯缺陷完全检测出来。随着计算机视觉和机器学习的发展，钢铁表面缺陷的机器视觉检测系统在钢铁工业中越来越普遍。机器视觉检测方法主要有激光扫描检测和CCD检测法。主要包括三阶段：1)定位表面缺陷位置(检测)。2)计算大量表面缺陷的特征表征。3)通过优化特征向量训练分类器，然后通过训练分类器(Classification)预测新模式。但是手工设计的功能取决于强大的专家知识和复杂的设计方法，而且特征的设计与分类器的设计分开完成会因任务而异，因此设计的特征可能不是分类器的最佳选择。

卷积神经网络(CNN)是这几年来发展迅速并引起广泛重视的一种高效深度学习识别算法，其已经成为当前语音分析和图像处理领域的研究热点。使用卷积神经网络能将图像中的特征提取和各种缺陷的分类同时进行，而且卷积神经网络中的权值共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强，鲁棒性更好。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于卷积神经网络的钢板表面缺陷的检测方法，采用卷积神经网络对钢板表面缺陷进行分类，通过监督学习，可以直接从标记的表面缺陷图像中学到更好的代表性特征。

为实现上述目的，本发明采用以下技术方案：

一种钢板表面缺陷的检测分类方法，包括如下步骤：

步骤一，通过视觉设备获取钢板的图片；

步骤二，建立CNN模型；

步骤三，利用稀疏自动编码器初始化权重；

步骤四，CNN相关的算法的设计及优化；

步骤五，对CNN进行训练；

步骤六，通过训练好的CNN判断钢板是否存在缺陷。

本发明将卷积神经网络应用于钢板缺陷的图像处理，这样图像中的特征提取和各种缺陷的分类同时进行，而且卷积神经网络中的权值共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强，鲁棒性更好。

本发明的原理是：

在获取目标图像之后，利用已经训练好的卷积神经网络进行钢板的缺陷识别和分类。卷积神经网络中构建了特征提取器和分类器的组合的可训练架构，并且可以直接对二维图像的原始像素进行操作。每层卷积层都使用ReLU激活函数，可大大降低计算的复杂度。分类层采用softmax回归，在输出类别上产生概率分布，并确保未标记的输入图像输出时对应其类。

本发明具有以下技术效果：

该发明方法可以准确的识别钢板缺陷并进行分类。

本发明的优点：不需要对获取的图像进行预处理即可以通过训练好的卷积神经网络进行缺陷别，而且卷积神经网络的算法分类精度高，复杂度小，具有很好的鲁棒性。

附图说明

图1为本发明的算法流程框图。

图2为本发明的工作流程框图。

具体实施方式

下面结合附图，进一步说明本发明的技术方案。

本发明的一种钢板表面缺陷的检测分类方法，包括如下步骤：

步骤一，通过视觉设备获取钢板的图片；

步骤二，建立卷积神经网络模型；

卷积神经网络模型是一个7层的结构。给出40×40的灰度图像输入到第一层卷积层，其中第一层卷积层Conv有20个5×5像素的内核。然后得到20个36×36像素的传递到第一个最大池化层Max-pooling，池化层采用2×2的采样窗口，步长为2.输出是一组18×18的20个特征图。然后是第二个卷积层，1000个5×5像素的滤波器内核，得到的14×14的50个特征图然后被传递到第二个最大池化层，采用2×2的采样窗口，步长为2，输出是一组7×7的50个特征图。它们之后是具有20,000个4×4像素的过滤器内核的第三个卷积层。所得到的4×4的400个特征图然后被连接成一个6400×1的1D特征向量。然后将该特征向量馈送到产生1D×1D输出向量的分类层输出分类结果。

2.1输入层直接使用图像的原始像素；

2.2卷积层实现了先前特征图的二维卷积运算。输出特征图的激活通过对通过像素方式的激活函数传递的一个或多个卷积响应相加来获得。每个卷积层都有许多滤波器内核生成一些不同的输出特征图，不同的滤波器内核可以提取不同的特征表示，如边缘，交叉点和拐角。如图2所示，激活函数有许多种，如S形，双曲正切和整流线性单位(ReLU).ReLU只受其最小值零的限制，可表示任何非负实数值。同时，ReLUs具有良好的稀疏性，因为具有零激活值，以及限制训练过程中输出的饱和度和渐变的扩散。与传统的CNN不同，我们的模型中采用ReLU激活函数。逻辑单元的导数可以大大降低计算复杂度；

2.3最大池化层即子采样层实现了“汇集”操作，其是降维和非线性的一种形式。特征池使功能映射的激活对图像的像素的确切位置和模型的特定结构不那么敏感。特征池允许更高层的特征表示，以保留最关键的特征信息并减少计算负担，而不会丢失太多的信息。子采样层的输出特征图由非重叠或重叠的正方形区域的一定的激活给出；

2.4分类层采用softmax回归。它在输出类别上产生概率分布，并确保每个输出可以被解释为属于某一类的特定输入的概率。对于给定的未标记输入图像，对其进行分类，判断其是钢板缺陷中裂纹、划痕、黑斑、针孔、表面夹杂、擦伤和孔洞的哪一类或者是没有缺陷；

步骤三稀疏自动编码器的权重初始化趋向于将模型设置为比随机初始化更好的初始状态，导致分类性能的惊人增益。CNN的训练是一个高度非凸优化问题，权重的初始化很大程度上影响了训练的准确性和收敛速度。使用三层的稀疏自动编码器来学习大量的滤波器内核。通过从钢板表面缺陷的图像中随机抽取5×5图像补丁生成训练集，总共采集24,000个补丁。正如我们预期的那样，学习的滤波器内核主要保留在不同位置和方向上的边缘或角落；这与以前的工作一致。自动编码器中的稀疏正则化对于学习这些边缘或角落是必要的。为了不局限于局部最小化并加速收敛，我们的模型中的卷积层的滤波器内核由这些学习的滤波器内核初始化；

步骤四CNN中的算法

4.1在正向传播过程中，对于单个训练样本，正向传播步骤由以下等式(1)，(2)，(3)和(4)给出：

其中，f(·)表示单位的激活函数，和分别表示层l中的单元j和层l+1中的单位k的偏差，和表示连接权重，和表示单元的输出值。

4.2为了更好地利用矩阵运算中的并行性，采用向量化。对于N个训练样本，矢量化形式由以下等式(5)和(6)给出:

A^(l)＝f(W^(l)A^(l-1)+B^(l)) (5)

A^(l+1)＝exp(W^(l+1)A^(l)+B^(l+1))/V (6)

其中，A^(l-1)，A^(l)，A^(l+1)，W^(l)，W^(l+1)，B^(l)和B^(l+1)分别是n_l-1×N，n_l×N，n_l+1×N，n_l×n_l-1，n_l+1×n_l，n_l×N，n_l+1×N的矩阵。每列偏置矩阵B^(l)和B^(l+1)相等，exp(W^(l+1)A^(l)+B^(l+1))/V表示两个矩阵的分割元素。

4.3在反向传播过程中，数据矩阵X通过连接每个训练样本x^(m)来形成X的列，包含整个训练数据集，因此X是d×N矩阵，X的第m列对应于第m训练样本。假设损失函数为softmax回归，N个训练样本的总体损失函数由式(7)给出：

其中，运算符⊙表示Hadamard方程(分量乘法)，||·||F表示Frobenius-norm，第一项是误差项，第二项是减小权重大小的正则化项，有助于防止模型的过度拟合，λ是在优化过程中平衡这两个项的相对重要性的权重衰减(稀疏正则化)参数。模型参数Θ(权重和偏差)在减小损失函数值的方向上改变。在训练过程中，将模型的实际输出与目标输出进行比较，通过整个网络中的差异来训练Θ。假设标签矩阵G是c×N矩阵，第m列g_m＝[0,···,1,···,0]^T∈R^C对应于第m个训练样本的目标输出向量(标签向量)，每列只有一个非零元素1，位置1表示其类标号。J的优化通常是非凸的，需要从数千或数百万个样本中进行培训。因此，J的最小化通常使用随机梯度下降的变量，这被称为小批次随机梯度下降。

4.4对于每层中的每个单元，我们要计算灵敏度，单位的灵敏度由以下等式(8)，(9)和(10)给出：

Δ^(l)＝(W^(l+1))^TΔ^(l+1)f'(Z^(l)) (9)

Δ^(l-1)＝(W^(l))^TΔ^(l)f'(Z^(l-1)) (10)

4.5权重的偏导数由以下等式(11)和(12)给出：

ΔW^(l+1)＝Δ^(l+1)(A^(l))^T+λW^(l+1) (11)

ΔW^(l)＝Δ^(l)(A^(l-1))^T+λW^(l) (12)

其中，Δ^(l+1)，Δ^(l)，Δ^(l-1)，ΔW^(l+1)和ΔW^(l)分别是n_l+1×N，n_l×N，n_l-1×N，n_l+1×n_l，n_l×n_l-1的矩阵。

因此，权重更新规则由以下等式(13)和(14)给出：

4.6对先前的特征图通过滤波器内核在激活函数f(·)作用下的计算公式如等式(15)所示：

其中和表示第l层的第j个特征图和第l-1层的第j个特征图，表示第l层的第j个特征图的基础。假设的大小为W×H，的大小为F×F，步幅为F，则的大小为(W-F+S)/S×(W-F+S)/S。假设输入特征图I是H×W×m的三维张量，其中H，W和m分别是输入特征图的高度，宽度和数量。卷积内核K是F×F×m×n的四维张量，其中F是卷积核的大小，n是输出特征图的数量。我们假设卷积没有填充零，步幅等于1.然后，卷积层O的输出特征图由下列等式(16)给出：

4.7令表示l+1层的第k个特征图，大小为W×H，R的大小为r×r，步幅为S，输出特征图由公式(17)给出：

其中运算符down(·)表示下采样操作，M_k表示输入特征图集，是l+1层的第k个特征图的基础。因此，的大小为(W-r+S)/S×(W-r+S)/S。

4.8计算梯度

假设l-1层是子采样层，层l是卷积层，层1+1是子采样层，和分别表示第l-1层的第i个特征图，第l层的第j个特征图，第l+1层的第k个特征图。

其中，运算符表示二维相关运算，运算符up(·)表示上采样运算，M_i表示连接第l-1层的第i个特征图和第l层的一些特征图，表示第l-1层的第i个特征图与第l-1层的第j个特征图之间的滤波核。

计算后，过滤器内核将通过梯度下降进行更新，如下所示：

其中η表示学习率。

步骤五对卷积神经网络进行实验训练，使用不同数量的训练样本，不同尺寸的图像，不同的批量大小，不同的时期图像来训练CNN模型。为了评估对图像缺陷检测的鲁棒性，将图像中的加法高斯噪声加到图像中，模拟图像的故障行为，为了处理随机影响，进行多次试验。第一个卷积层的滤波器内核通过稀疏自动编码器用学习的滤波器内核初始化，其他滤波器内核都通过从标准正态分布采样进行初始化，并将特征图的偏差全部初始化为零。该模型在整个训练数据集上使用小批次随机梯度下降进行了优化学习率初始化为0.001。

步骤六通过训练好的CNN判断钢板是否存在缺陷，如果钢板的图像被判断出属于裂纹、划痕、黑斑、针孔、表面夹杂、擦伤和孔洞七种中的一种即此钢板属于缺陷并对缺陷进行分类，如果属于另外一种则是完好的产品。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种钢板表面缺陷的检测分类方法，包括如下步骤：

步骤一，通过视觉设备获取钢板的图片；

步骤二，建立卷积神经网络模型；

卷积神经网络模型是一个7层的结构；给出40×40的灰度图像输入到第一层卷积层，其中第一层卷积层Conv有20个5×5像素的内核；然后得到20个36×36像素的传递到第一个最大池化层Max-pooling，池化层采用2×2的采样窗口，步长为2.输出是一组18×18的20个特征图；然后是第二个卷积层，1000个5×5像素的滤波器内核，得到的14×14的50个特征图然后被传递到第二个最大池化层，采用2×2的采样窗口，步长为2，输出是一组7×7的50个特征图；它们之后是具有20,000个4×4像素的过滤器内核的第三个卷积层；所得到的4×4的400个特征图然后被连接成一个6400×1的1D特征向量；然后将该特征向量馈送到产生1D×1D输出向量的分类层输出分类结果；

2.1输入层直接使用图像的原始像素；

2.2卷积层实现了先前特征图的二维卷积运算；输出特征图的激活通过对通过像素方式的激活函数传递的一个或多个卷积响应相加来获得；每个卷积层都有许多滤波器内核生成一些不同的输出特征图，不同的滤波器内核可以提取不同的特征表示；激活函数有S形，双曲正切和整流线性单位ReLU，.ReLU只受其最小值零的限制，可表示任何非负实数值；同时，ReLUs具有良好的稀疏性，因为具有零激活值，以及限制训练过程中输出的饱和度和渐变的扩散；与传统的CNN不同，我们的模型中采用ReLU激活函数；逻辑单元的导数大大降低计算复杂度；

2.3最大池化层即子采样层实现了“汇集”操作，其是降维和非线性的一种形式；特征池使功能映射的激活对图像的像素的确切位置和模型的特定结构不那么敏感；特征池允许更高层的特征表示，以保留最关键的特征信息并减少计算负担，而不会丢失太多的信息；子采样层的输出特征图由非重叠或重叠的正方形区域的一定的激活给出；

2.4分类层采用softmax回归；它在输出类别上产生概率分布，并确保每个输出可以被解释为属于某一类的特定输入的概率；对于给定的未标记输入图像，对其进行分类，判断其是钢板缺陷中裂纹、划痕、黑斑、针孔、表面夹杂、擦伤和孔洞的哪一类或者是没有缺陷；

步骤三稀疏自动编码器的权重初始化趋向于将模型设置为比随机初始化更好的初始状态，导致分类性能的惊人增益；CNN的训练是一个高度非凸优化问题，权重的初始化很大程度上影响了训练的准确性和收敛速度；使用三层的稀疏自动编码器来学习大量的滤波器内核；通过从钢板表面缺陷的图像中随机抽取5×5图像补丁生成训练集，总共采集24,000个补丁；正如我们预期的那样，学习的滤波器内核主要保留在不同位置和方向上的边缘或角落；这与以前的工作一致；自动编码器中的稀疏正则化对于学习这些边缘或角落是必要的；为了不局限于局部最小化并加速收敛，卷积神经网络模型中的卷积层的滤波器内核由这些学习的滤波器内核初始化；

步骤四CNN中的算法

4.1在正向传播过程中，对于单个训练样本，正向传播步骤由以下等式(1)，(2)，(3)和(4)给出：

其中，f(·)表示单位的激活函数，和分别表示层l中的单元j和层l+1中的单位k的偏差，和表示连接权重，和表示单元的输出值；

4.2为了更好地利用矩阵运算中的并行性，采用向量化；对于N个训练样本，矢量化形式由以下等式(5)和(6)给出:

A^(l)＝f(W^(l)A^(l-1)+B^(l)) (5)

A^(l+1)＝exp(W^(l+1)A^(l)+B^(l+1))/V (6)

其中，A^(l-1)，A^(l)，A^(l+1)，W^(l)，W^(l+1)，B^(l)和B^(l+1)分别是n_l-1×N，n_l×N，n_l+1×N，n_l×n_l-1，n_l+1×n_l，n_l×N，n_l+1×N的矩阵；每列偏置矩阵B^(l)和B^(l+1)相等，exp(W^(l+1)A^(l)+B^(l+1))/V表示两个矩阵的分割元素；

4.3在反向传播过程中，数据矩阵X通过连接每个训练样本x^(m)来形成X的列，包含整个训练数据集，因此X是d×N矩阵，X的第m列对应于第m训练样本；假设损失函数为softmax回归，N个训练样本的总体损失函数由式(7)给出：

其中，运算符⊙表示Hadamard方程，||·||F表示Frobenius-norm，第一项是误差项，第二项是减小权重大小的正则化项，有助于防止模型的过度拟合，λ是在优化过程中平衡这两个项的相对重要性的权重衰减参数；模型参数Θ在减小损失函数值的方向上改变；在训练过程中，将模型的实际输出与目标输出进行比较，通过整个网络中的差异来训练Θ；假设标签矩阵G是c×N矩阵，第m列g_m＝[0,···,1,···,0]^T∈R^C对应于第m个训练样本的目标输出向量，每列只有一个非零元素1，位置1表示其类标号；J的优化通常是非凸的，需要从数千或数百万个样本中进行培训；因此，J的最小化通常使用随机梯度下降的变量，这被称为小批次随机梯度下降；

4.4对于每层中的每个单元，要计算灵敏度，单位的灵敏度由以下等式(8)，(9)和(10)给出：

Δ^(l)＝(W^(l+1))^TΔ^(l+1)f'(Z^(l)) (9)

Δ^(l-1)＝(W^(l))^TΔ^(l)f'(Z^(l-1)) (10)

4.5权重的偏导数由以下等式(11)和(12)给出：

ΔW^(l+1)＝Δ^(l+1)(A^(l))^T+λW^(l+1) (11)

ΔW^(l)＝Δ^(l)(A^(l-1))^T+λW^(l) (12)

其中，Δ^(l+1)，Δ^(l)，Δ^(l-1)，ΔW^(l+1)和ΔW^(l)分别是n_l+1×N，n_l×N，n_l-1×N，n_l+1×n_l，n_l×n_l-1的矩阵；

因此，权重更新规则由以下等式(13)和(14)给出：

4.6对先前的特征图通过滤波器内核在激活函数f(·)作用下的计算公式如等式(15)所示：

其中和表示第l层的第j个特征图和第l-1层的第j个特征图，表示第l层的第j个特征图的基础；假设的大小为W×H，的大小为F×F，步幅为F，则的大小为(W-F+S)/S×(W-F+S)/S；假设输入特征图I是H×W×m的三维张量，其中H，W和m分别是输入特征图的高度，宽度和数量；卷积内核K是F×F×m×n的四维张量，其中F是卷积核的大小，n是输出特征图的数量；我们假设卷积没有填充零，步幅等于1.然后，卷积层O的输出特征图由下列等式(16)给出：

4.7令表示l+1层的第k个特征图，大小为W×H，R的大小为r×r，步幅为S，输出特征图由公式(17)给出：

其中运算符down(·)表示下采样操作，M_k表示输入特征图集，是l+1层的第k个特征图的基础；因此，的大小为(W-r+S)/S×(W-r+S)/S；

4.8计算梯度

假设l-1层是子采样层，层l是卷积层，层l+1是子采样层，δ_i ^(l-1)，和分别表示第l-1层的第i个特征图，第l层的第j个特征图，第l+1层的第k个特征图；

其中，运算符表示二维相关运算，运算符up(·)表示上采样运算，M_i表示连接第l-1层的第i个特征图和第l层的一些特征图，表示第l-1层的第i个特征图与第l-1层的第j个特征图之间的滤波核；

计算后，过滤器内核将通过梯度下降进行更新，如下所示：

其中η表示学习率；

步骤五对卷积神经网络进行实验训练，使用不同数量的训练样本，不同尺寸的图像，不同的批量大小，不同的时期图像来训练CNN模型；为了评估对图像缺陷检测的鲁棒性，将图像中的加法高斯噪声加到图像中，模拟图像的故障行为，为了处理随机影响，进行多次试验；第一个卷积层的滤波器内核通过稀疏自动编码器用学习的滤波器内核初始化，其他滤波器内核都通过从标准正态分布采样进行初始化，并将特征图的偏差全部初始化为零；该模型在整个训练数据集上使用小批次随机梯度下降进行了优化学习率初始化为0.001；

步骤六通过训练好的CNN判断钢板是否存在缺陷，如果钢板的图像被判断出属于裂纹、划痕、黑斑、针孔、表面夹杂、擦伤和孔洞七种中的一种即此钢板属于缺陷，如果属于另外一个种则是完好的产品。