CN111738338A - 基于级联膨胀fcn网络应用于马达线圈的缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，包括以下步骤，1)采集需要进行缺陷检测的目标区域的样本图像，即为大图；2)遍历所有样本图像，对每张图像的缺陷位置进行标记；3)采用滑动窗口的方法在大图上进行滑动切图，将标注完的大图切分成固定大小的小图用于训练；4)对滑动窗口切出的小图进行数据增强，并对切出的小图进行扩充；5)将扩充后的小图用于网络模型的训练，并评估缺陷检测效果，调整参数；6)获取网络模型最后一层输出的特征图，即是缺陷的分割位置，即最终的输出结果。本发明能够在工业生产机器上添加训练好的模型，自动识别产品是否存在缺陷，能够对缺陷产品自动分流，有助于提高检测效率，降低人工成本。

Description

基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法

技术领域

本发明涉及计算机视觉图像处理技术领域，尤其是一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法。

背景技术

深度神经网络模型是一类可以从低级特征构建出高级特征来学习特征层次结构的多层网络模型。通常，可训练滤波器与局部邻域池化操作交替作用于原始输入数据，其间会输出一系列抽象、复杂的特征；而后将深度神经网络提取的特征进行上采样融合，对像素的类别进行预测从而实现缺陷的检测。

目前，针对电动马达线圈的缺陷检测，传统的方法是针对电动马达线圈中的每种缺陷设计特征提取处理方法，但是人工设计提取的特征局限于特定的缺陷，对其他类型的缺陷检测效果不理想，系统鲁棒性差。工业生产图像采集设备的光照强度、光源的照射角度等不确定性因素对最终缺陷的检测效果同样有着很大的影响，并且一张图像如果存在多种缺陷，传统方法需要多个摄像头结合多种策略才能识别出来，流程繁琐，增加了系统的复杂度；因此，传统缺陷检测方法具有检测效果差、时效性差、模型鲁棒性差等弊端。

而基于深度学习分割网络的缺陷检测方法，常在缺陷边缘区域出现过杀现象，许多正常像素被误判为缺陷，出现这种现象的原因是FCN分割模型卷积层的感受野比较小，提取特征时只融合了局部像素区域信息，限制了模型的泛化能力。

发明内容

本发明要解决的技术问题是：提供一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，解决了传统缺陷检测方法依赖于特征选择与提取的弊端，可自动学习提取图像中的有效特征；同时，有效规避了现有深度学习分割模型缺陷边缘容易过杀的弊端。

本发明解决其技术问题所采用的技术方案是：一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，包括以下步骤，

1)采集需要进行缺陷检测的目标区域的样本图像，即为大图；

2)遍历所有样本图像，对每张图像的缺陷位置进行标记；

3)采用滑动窗口的方法在大图上进行滑动切图，将标注完的大图切分成固定大小的小图用于训练；

4)对滑动窗口切出的小图进行数据增强，并对切出的小图进行扩充；

5)将扩充后的小图用于网络模型的训练，并评估缺陷检测效果，调整参数；

6)获取网络模型最后一层输出的特征图，即是缺陷的分割位置，即最终的输出结果。

进一步的说，本发明所述的步骤2)中，缺陷位置的标记是对缺陷位置进行颜色填充，非缺陷区域不填充。

再进一步的说，本发明所述的步骤3)中，滑动窗口的大小即为网络模型读取图片的大小。

再进一步的说，本发明所述的步骤4)中，采用图像翻转、平移、颜色抖动和高斯噪声四种方式扩充切出的小图。

再进一步的说，本发明所述的步骤5)中，将扩充后的小图作为样本进行划分，分为训练集和测试集，随机选择样本中的80％作为训练集，剩余的20％作为测试集；将训练集用于网络模型的训练，设置迭代周期，训练完成后，用测试集测试训练好的模型的效果。

更进一步的说，本发明所述的步骤5)中，网络模型为级联膨胀全卷积神经网络，具有7个层级，具体结构为：

第1层级共有两个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；第一个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为100；第二个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第2层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用128个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第3层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用256个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第4层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；每个卷积核都使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；各层级最后使用步长为2，大小为2*2的池化层对特征进行降维；

第5层级包含五个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；其中，包含3个膨胀卷积，用于扩大局部感受野，融合不同感受野的特征；第一个卷积核使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；第一个卷积核的输出分别输入到3个膨胀卷积中，膨胀卷积使用256个3*3大小的滤波器，膨胀率分别设置为2，3，5；然后，使用512个3*3的滤波器压缩融合的膨胀特征；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第6层级包含三个卷积核，前两个卷积核后使用ReLU激活函数对特征进行非线性变换，第三个卷积后无操作；第一个卷积核使用4096个7*7大小的滤波器提取特征；第二个卷积核使用4096个1*1大小的滤波器提取特征；第三个卷积核使用2个1*1大小的滤波器提取特征，对特征进行压缩；

第7层级进行特征的融合；将第6层级的输出进行2倍上采样操作，将上采样后的特征与第4层级的输出特征进行融合拼接，合并后的特征再次进行2倍上采样，与第3层级的输出特征进行融合拼接；最后对融合后的特征进行8倍上采样，经softmax分类器输出每个像素的类别判别结果。

本发明结合深度学习分割网络模型的思想，同时详细分析了电动马达线圈实际场景的应用需求，对卷积结构进行改造，使用多层级联的膨胀卷积提取特征，基于FCN(FullyConvolutional Networks)网络模型分割架构进行像素级的特征分类，级联膨胀结构是将膨胀率为2,3,5的三种膨胀卷积进行并联融合不同感受野的特征，输入后续的层中进行训练。将学习到的特征进行上采样融合后输入分类器，计算输出每个像素点是缺陷的概率，从而检测出缺陷。训练完成后的模型能够实现对图像缺陷位置的实时检测，在工业缺陷检测领域有着广阔的应用前景。

本发明的有益效果是，解决了背景技术中存在的缺陷，能够在工业生产机器上添加训练好的模型，自动识别产品是否存在缺陷，能够对缺陷产品自动分流，有助于提高检测效率，降低人工成本。

附图说明

图1是本发明的缺陷检测流程图。

图2是采用本发明检测的缺陷原图与结果图的对比示意图。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示的一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，包括以下检测步骤：

首先，采集需要进行缺陷检测的目标区域样本图像；至少采集15张大图，一般图像像素较大，以2000*2000为例；本文中的大小均为像素大小；

其次，遍历所有样本图像，对每张图像的缺陷位置进行标记；缺陷标记时需在缺陷处外溢2像素，缺陷位置的像素点被标记为缺陷类别，缺陷外围未标记的区域则被标记为背景类别；缺陷位置进行颜色填充，非缺陷区域不需要填充；

然后，结合滑动窗口策略，采用滑动窗口的方法在大图上进行滑动切图，将大图滑动裁切成固定大小的缺陷小图；滑动窗口的大小有多个参数可选，具体参数有[32,64,128,256]，滑动窗口的大小即为网络模型读取图片的大小；本实施例以256*256的窗口大小在大图上进行滑动，滑动后生成的子图数目为2000/256取整再加1，每条边滑动8次，一共会生成64张子图；

接着，对滑动窗口切出的小图进行数据增强,通过使用不同的样本增强策略，如亮度增强、对比度增强、色度增强、随机错切变换、图像翻转、平移、颜色抖动和高斯噪声等策略扩充切出的小图；使训练出的分割网络模型具有更好的鲁棒性；本实施例大图切分后的子图大概为15*64＝960张，随后对样本进行扩充，采用图像翻转、对比度增强、颜色变换的方法扩充数据集到5000张以上，这边扩充的倍数为5000/960取整加1倍，即6倍，扩充到5760张；

最后，将扩充后的小图用于网络模型的训练，使用训练的网络模型测试部分样本，逐像素预测类别输出结果，调整参数，继续训练直至达到较好的分割效果；本实施例中，对样本进行划分，划分为训练集和测试集，随机选择5760张中的80％为训练集，剩余的20％为测试集。而后，将训练集用于网络模型的训练，迭代周期设置为50次，训练完成后，用测试集测试训练好的模型的效果；获取网络模型最后一层输出的特征图，即是缺陷的分割位置，即最终的输出结果。

网络模型采用级联膨胀卷积FCN网络结构，主要分为7个层级，具体结构如下：

第1层级共有两个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；第一个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为100；第二个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维。

第2层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用128个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维。

第3层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用256个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维。

第4层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；每个卷积核都使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；各层级最后使用步长为2，大小为2*2的池化层对特征进行降维。

第5层级包含五个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；其中，包含3个膨胀卷积，用于扩大局部感受野，融合不同感受野的特征；卷积核的具体参数为第一个卷积核使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；接着，第一卷积核的输出分别输入到3个膨胀卷积中，膨胀卷积使用512个3*3大小的滤波器，膨胀率分别设置为2,3,5；然后，使用512个3*3的滤波器压缩融合的膨胀特征；最后使用步长为2，大小为2*2的池化层对特征进行降维。

第6层级包含三个卷积核，前两个卷积核后使用ReLU激活函数对特征进行非线性变换，第三个卷积后无操作；第一个卷积核使用4096个7*7大小的滤波器提取特征；第二个卷积核使用4096个1*1大小的滤波器提取特征；第三个卷积核使用2个1*1大小的滤波器提取特征，对特征进行压缩。

第7层级进行特征的融合；将第6层级的输出进行2倍上采样操作，将上采样后的特征与第4层级的输出特征进行融合拼接，合并后的特征再次进行2倍上采样，与第3层级的输出特征进行融合拼接；最后对融合后的特征进行8倍上采样，经softmax分类器输出每个像素的类别判别结果。

本发明基于深度学习分割网络模型，结合深度学习强大的特征提取拟合能力，只需给网络模型少量缺陷样本数据，网络模型训练完成后便可以自动识别检测出图像中的缺陷。

针对传统缺陷检测方法中，图片采集设备的光照、拍摄角度差异，本发明中使用图像增强的策略，对缺陷图片进行色度增强与减弱、对比增强与减弱、亮度增强与减弱，随机错切变换等策略，模拟拍摄角度对图片照射效果的影响，使训练的网络模型具有更强的鲁棒性。

针对传统缺陷检测方法的繁琐流程，本发明在训练集采集阶段会将多种类型的缺陷用于网络的训练，训练完成的网络模型可以有效的识别出一张图像中多个位置多种类型的缺陷。这样可以批量的自动化检测工业生产图像中的缺陷，省去了人工检测过程，提高检测效率，节约检测成本。

针对FCN网络模型在缺陷检测附近区域常出现的过杀现象，采用级联膨胀卷积结构，增大滤波器的感受野，有助于融合更大像素范围内的特征，可以达到更精细的分割效果。

在针对FCN网络的改进方面，本发明对FCN网络结构中的第5层级中的第2、3、4个卷积核分别使用膨胀系数为2，3，5的三种级联膨胀结构，将它们经过ReLU函数非线性变换后的特征图进行级联。这种级联方法可以遍历图像中所有像素点信息，在特征提取时可以提取更大像素范围内的特征，将它们进行融合可以有效的增强缺陷边缘分割效果；网络模型的参数量只增加了一小部分，但边缘分割效果则有着明显的提升。

以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (6)

1.一种基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：包括以下步骤，

1)采集需要进行缺陷检测的目标区域的样本图像，即为大图；

2)遍历所有样本图像，对每张图像的缺陷位置进行标记；

3)采用滑动窗口的方法在大图上进行滑动切图，将标注完的大图切分成固定大小的小图用于训练；

4)对滑动窗口切出的小图进行数据增强，并对切出的小图进行扩充；

5)将扩充后的小图用于网络模型的训练，并评估缺陷检测效果，调整参数；

6)获取网络模型最后一层输出的特征图，即是缺陷的分割位置，即最终的输出结果。

2.如权利要求1所述的基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：所述的步骤2)中，缺陷位置的标记是对缺陷位置进行颜色填充，非缺陷区域不填充。

3.如权利要求1所述的基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：所述的步骤3)中，滑动窗口的大小即为网络模型读取图片的大小。

4.如权利要求1所述的基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：所述的步骤4)中，采用图像翻转、平移、颜色抖动和高斯噪声四种方式扩充切出的小图。

5.如权利要求1所述的基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：所述的步骤5)中，将扩充后的小图作为样本进行划分，分为训练集和测试集，随机选择样本中的80％作为训练集，剩余的20％作为测试集；将训练集用于网络模型的训练，设置迭代周期，训练完成后，用测试集测试训练好的模型的效果。

6.如权利要求5所述的基于级联膨胀FCN网络应用于马达线圈的缺陷检测方法，其特征在于：所述的步骤5)中，网络模型为级联膨胀全卷积神经网络，具有7个层级，具体结构为：

第1层级共有两个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；第一个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为100；第二个卷积核使用64个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第2层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用128个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第3层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；三个卷积核都使用256个3*3大小的滤波器提取特征，其中边界填充padding设置为1；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第4层级包含三个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；每个卷积核都使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；各层级最后使用步长为2，大小为2*2的池化层对特征进行降维；

第5层级包含五个卷积核，每个卷积核后都使用ReLU激活函数对特征进行非线性变换；其中，包含3个膨胀卷积，用于扩大局部感受野，融合不同感受野的特征；第一个卷积核使用512个3*3大小的滤波器提取特征，其中边界填充padding设置为1；第一个卷积核的输出分别输入到3个膨胀卷积中，膨胀卷积使用256个3*3大小的滤波器，膨胀率分别设置为2，3，5；然后，使用512个3*3的滤波器压缩融合的膨胀特征；最后使用步长为2，大小为2*2的池化层对特征进行降维；

第6层级包含三个卷积核，前两个卷积核后使用ReLU激活函数对特征进行非线性变换，第三个卷积后无操作；第一个卷积核使用4096个7*7大小的滤波器提取特征；第二个卷积核使用4096个1*1大小的滤波器提取特征；第三个卷积核使用2个1*1大小的滤波器提取特征，对特征进行压缩；

第7层级进行特征的融合；将第6层级的输出进行2倍上采样操作，将上采样后的特征与第4层级的输出特征进行融合拼接，合并后的特征再次进行2倍上采样，与第3层级的输出特征进行融合拼接；最后对融合后的特征进行8倍上采样，经softmax分类器输出每个像素的类别判别结果。

Images