CN107316295A - 一种基于深度神经网络的织物瑕疵检测方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的织物瑕疵检测方法，包括如下步骤，（1）、搭建图像采集系统，采集图像；（2）、将所图像分割为实验样本，同时增加织物样本图像数据，将增强后的织物图像作为训练样本，（3）、设计深度神经网络；（4）、设置参数并对所述深度神经网络进行初始化，将训练样本送入到深度神经网络进行训练，在网络训练完成之后，保存网络模型；（5）、将输入的新的织物样本送入网络模型进行检测。本发明提出的基于深度神经网络的织物瑕疵检测方法，以卷积神经网络为核心，通过卷积层进行特征提取，池化层保留有效特征并减少计算量，用全连接层进行分类。以mini‑batch梯度下降法进行优化，L2正则化增强泛化能力，通过确定分类器输出的最大分量的对应位置进行缺陷的识别，效果参见图4所示，其中Actual表示样本真实的类别，Pred表示样本预测的类别。

Description

一种基于深度神经网络的织物瑕疵检测方法

技术领域

本发明涉及一种基于深度神经网络的织物瑕疵检测方法，属于图像处理技术领域。

背景技术

现有技术中，布匹瑕疵检测已成为织物产品质量控制的重要环节，瑕疵检测方法对提高产品质量有着重要的作用，织物瑕疵检测已成为一个热门的研究领域。传统的人工检测方法存在着很大的局限性，如人工成本高，尺寸较小的缺陷难以分辨，长时间工作会造成视觉疲劳，容易产生误检和漏检。为了提高产品质量和减少生产成本，布匹瑕疵自动检测已成为提高布匹质量的一种有效方法。

布匹瑕疵自动检测系统中的关键部分是瑕疵检测方法，目前常见的瑕疵检测方法可以大致分为以下几类：统计、光谱、模型、学习和结构。由于织物和缺陷存在多样性，在实际应用中往往都是根据织物和缺陷的类型选择合适的检测方法。但这些方法的检测过程基本是相同的，即对图像进行预处理，人工提取特征，最后进行分类识别。其中最重要的阶段是特征提取，特征提取是对目标提取几何、灰度、纹理或频谱等能更好体现图像的特征。简单的特征提取易于实现且实时性较高，复杂的特征提取可以提高检测率但增加计算量。特征提取的好坏决定了检测系统的可靠性，如果特征选取的不完整或是错误的，对最终的分类结果会有很大的影响，传统的特征提取包括Gabor变换、数学形态学、傅里叶变换等特征提取技术。这些方法仅对特定的目标进行识别时可以取得良好的效果，不具有良好的适应性。而且在图像背景复杂与缺陷难以区别的时候，识别率有所下降，同时还会增加方法的复杂度。

深度神经网络是近年发展起来，并引起广泛重视的一种高效识别方法，常用的深度神经网络包括深度置信网络、自编码器网络以及卷积神经网络。其中，卷积神经网络已成为众多领域的研究热点，特别是在模式分类领域。因此，为了弥补现有检测方法的不足以及保持较高的检测率，本发明提出了一种基于深度神经网络的瑕疵检测方法。这种方法具有优异的特征学习能力，可以自主学习图像中的特征信息，从低级特征到高级特征逐渐提取。降低了人为提取特征的影响，同时减少了对图像的预处理过程。

发明内容

本发明的发明目的是提供一种基于深度神经网络的织物瑕疵检测方法。

为达到上述发明目的，本发明采用的技术方案是：一种基于深度神经网络的织物瑕疵检测方法，其特征在于：包括如下步骤，

(1)、搭建图像采集系统，将采集到的图像送至计算机；

(2)、采用图像变换和噪声扰动的方式增加织物样本图像数据，将增强后的织物图像作为训练样本，训练样本中包含不同织物的正常和缺陷图像，并对图像进行标定，’0’代表正常样本，’1’代表缺陷样本；

(3)、设计深度神经网络，所述深度神经网络包括9层，一层输入层、三层卷积层、三层池化层以及两层全连接层，其中输入层为获取的织物图像，卷积层用于特征提取，不同卷积层由不同数目的特征图组成，池化层采用max-pooling的方式对上一卷积层进行下采样，经过多层卷积和池化操作，将获取的特征向量输入到全连接层，得到最终输出向量，并使用softmax分类器进行分类；

(4)、设置参数并对所述深度神经网络进行初始化，将训练样本作为输入数据送入到所述深度神经网络进行训练，在网络训练完成之后，保存网络模型；

(5)、将输入的新织物样本送入网络模型进行检测，分类器输出的最大分量的位置为检测结果，将检测结果与定义的标签进行比较，检测结果输出为0时，表示图像为正常图片，结果为1时，则表示图像中存在缺陷；

上述步骤(3)中，对所述深度神经网络进行优化，采用softmax分类器的交叉熵函数作为目标函数，在后向传播中使用mini-batch梯度下降法来优化目标函数，即遍历完一个batch的样本就计算梯度和更新参数，其中目标函数定义如下：

其中1{.}是示性函数，即大括号内的表达式值为真的时候输出1，否则为0，m是训练样本总数，y⁽ⁱ⁾是第i个样本实际的标签值，是样本i分类为类别j的概率，即是经过softmax分类器处理之后的输出，使用mini-batch梯度下降法进行优化的计算方式如下：

优选地，在所述目标函数中加入L2正则化惩罚项，具体方式是在目标函数中添加权重衰减项定义方式如下：

在网络训练过程中在训练过程中使用指数衰减型学习速率，衰减型学习速率的计算方式如下：

η＝learning_rate*decay_rate^(global_step/decay_step)

其中learning_rate是初始学习速率，η是更新后的学习率，decay_rate是衰减系数，decay_step是衰减速度。

优选地，步骤(2)中，采用图像变换和噪声扰动的方式增加织物样本图像数据，所述图像变换为平移变换，即对图像的像素点同时进行一定距离的横向移动和纵向移动，改变缺陷所在的位置；所述噪声扰动为加入椒盐噪声，具体过程为复制一部分原始图像样本，对其进行平移变换和加入椒盐噪声处理，将处理后的图像也作为样本图像。

上述方案步骤(1)中具体的为：搭建图像采集系统，系统由光源、相机、镜头、图像采集卡和计算机等部分组成，LED光源对织物照明，镜头接收织物表面反射的光线，图像采集卡将CCD线阵相机输出的电信号送到计算机，即完成采集工作。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1.本发明通过将深度神经网络应用到织物瑕疵检测中，可以对不同织物进行有效地分类且达到了99％左右的准确率，具有良好的适应性。

2.本发明采用平移变换和加入椒盐噪声的方式增加织物图像数据，可以满足本发明所需的数据量。

3.本发明采用的L2正则化和衰减型学习速率方法可以提高检测方法的准确率以及加快收敛速度。

4.本发明无需对图像进行预处理，网络结构简单且性能优异，在降低算法的复杂度同时仍能保持较高的准确率，具有较高的时效性，在织物瑕疵检测上有着较高的应用价值。

附图说明

图1是本发明的流程示意图。

图2是本发明的网络结构图。

图3是本发明的训练准确率示意图。

图4是本发明的误差趋势曲线示意图。

图5是本发明的检测结果示意图。

图6是本发明的检测结果示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：参见图1所示，一种基于深度神经网络的织物瑕疵检测方法，包括如下步骤：

1.在织物生产过程中，通过工业线阵相机从卷布机上拍摄织物图像作为实验样本，并传送到计算机。

2.将所述采集到的图像从4096*4096像素分割为128*128像素的实验样本，采用图像变换和加入椒盐噪声的方式，对一部分原始图像进行数据增强，将增强后的织物图像作为训练样本，训练样本中包含不同织物的正常和缺陷图像。对图像进行标定，’0’代表正常样本，’1’代表缺陷样本。

3.参见图2所示，设计深度神经网络，深度神经网络的结构图如图二所示，包括一层输入层、三层卷积层、三层池化层和两层全连接层，其中1：输入图像2：第一层卷积3：第一层池化4：第二层卷积5：第二层池化6：第三层卷积7：第三层池化8：两层全连接层9：softmax分类器；输入层为128*128像素的织物图像，卷积层用于特征提取，不同卷积层由不同数目的特征图组成。池化层采用max-pooling的方式对上一卷积层进行下采样，用于保留有效特征及减少计算量。经过多层卷积和池化操作，将获取的特征向量输入到全连接层，得到最终输出向量，并使用softmax分类器进行分类。

4.设置参数并对网络进行初始化，在织物检测方法的网络优化过程中采用mini-batch梯度下降法进行参数优化，并加入L2正则化和衰减型学习速率。采用L2正则化和衰减型学习速率的方法训练结果如图三所示，分别是训练准确率曲线图以及误差下降趋势曲线图。

5.参见图3所示，accuracy表示训练准确率，图4中loss表示误差下降趋势曲线，将训练样本作为输入数据送入到所设计的深度神经网络进行训练，在网络训练完成之后，保存网络模型。将输入的新的织物样本送入网络进行检测，分类器输出的最大分量的位置就是检测结果。将检测结果与定义的标签进行比较，即可验证方法的性能。检测结果如图四所示，绝大多数结果是正确的，少数样本出现误检情况。

本发明提出的基于深度神经网络的织物瑕疵检测方法，以卷积神经网络为核心，通过卷积层进行特征提取，池化层保留有效特征并减少计算量，用全连接层进行分类。以mini-batch梯度下降法进行优化，L2正则化增强泛化能力，通过确定分类器输出的最大分量的对应位置进行缺陷的识别，效果参见图5、图6所示，其中Actual表示样本真实的类别，Pred表示样本预测的类别。

Claims (3)

1.一种基于深度神经网络的织物瑕疵检测方法，其特征在于：包括如下步骤，

(1)、搭建图像采集系统，将采集到的图像送至计算机；

(2)、采用图像变换和噪声扰动的方式增加织物样本图像数据，将增强后的织物图像作为训练样本，训练样本中包含不同织物的正常和缺陷图像，并对图像进行标定，’0’代表正常样本，’1’代表缺陷样本；

(3)、设计深度神经网络，所述深度神经网络包括9层，一层输入层、三层卷积层、三层池化层以及两层全连接层，其中输入层为获取的织物图像，卷积层用于特征提取，不同卷积层由不同数目的特征图组成，池化层采用max-pooling的方式对上一卷积层进行下采样，经过多层卷积和池化操作，将获取的特征向量输入到全连接层，得到最终输出向量，并使用softmax分类器进行分类；

(4)、设置参数并对所述深度神经网络进行初始化，将训练样本作为输入数据送入到所述深度神经网络进行训练，在网络训练完成之后，保存网络模型；

(5)、将输入的新织物样本送入网络模型进行检测，分类器输出的最大分量的位置为检测结果，将检测结果与定义的标签进行比较，检测结果输出为0时，表示图像为正常图片，结果为1时，则表示图像中存在缺陷；

上述步骤(3)中，对所述深度神经网络进行优化，采用softmax分类器的交叉熵函数作为目标函数，在后向传播中使用mini-batch梯度下降法来优化目标函数，即遍历完一个batch的样本就计算梯度和更新参数，其中目标函数定义如下：

其中1{.}是示性函数，即大括号内的表达式值为真的时候输出1，否则为0，m是训练样本总数，y⁽ⁱ⁾是第i个样本实际的标签值，是样本i分类为类别j的概率，即是经过softmax分类器处理之后的输出，

使用mini-batch梯度下降法进行优化的计算方式如下：

<mrow> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>J</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> </mrow> </mfrac> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mo>&amp;lsqb;</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>{</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <msup> <mi>e</mi> <mrow> <msubsup> <mi>w</mi> <mi>j</mi> <mi>T</mi> </msubsup> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> </mrow> </msup> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msup> <mi>e</mi> <mrow> <msubsup> <mi>w</mi> <mi>l</mi> <mi>T</mi> </msubsup> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> </mrow> </msup> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>.</mo> </mrow>

2.根据权利要求1所述的基于深度神经网络的织物瑕疵检测方法，其特征在于：在所述目标函数中加入L2正则化惩罚项，具体方式是在目标函数中添加权重衰减项定义方式如下：

<mrow> <mi>J</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mn>1</mn> <mo>{</mo> <msup> <mi>y</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>j</mi> <mo>}</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <msup> <mi>e</mi> <mrow> <msubsup> <mi>w</mi> <mi>j</mi> <mi>T</mi> </msubsup> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> </mrow> </msup> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msup> <mi>e</mi> <mrow> <msubsup> <mi>w</mi> <mi>l</mi> <mi>T</mi> </msubsup> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> </mrow> </msup> </mrow> </mfrac> <mo>&amp;rsqb;</mo> <mo>+</mo> <mfrac> <mi>&amp;lambda;</mi> <mn>2</mn> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mn>2</mn> </msubsup> <mo>,</mo> </mrow>

在网络训练过程中在训练过程中使用指数衰减型学习速率，衰减型学习速率的计算方式如下：

η＝learning_rate*decay_rate^(global_step/decay_step)

其中learning_rate是初始学习速率，η是更新后的学习率，decay_rate是衰减系数，decay_step是衰减速度。

3.根据权利要求1所述的基于深度神经网络的织物瑕疵检测方法，其特征在于：步骤(2)中，采用图像变换和噪声扰动的方式增加织物样本图像数据，所述图像变换为平移变换，即对图像的像素点同时进行一定距离的横向移动和纵向移动，改变缺陷所在的位置；所述噪声扰动为加入椒盐噪声，具体过程为复制一部分原始图像样本，对其进行平移变换和加入椒盐噪声处理，将处理后的图像也作为样本图像。