CN107123107A - 基于神经网络深度学习的布匹缺陷检测方法 - Google Patents

Abstract

本发明涉及基于神经网络深度学习的布匹缺陷检测方法，方法包括以下步骤：(1)高速线扫描成像；(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行准确检测；(3)通过卷积神经网络的深度学习布匹缺陷分类算法实现自动选取疵点多样的特征信息，进行非线性系统地处理分类。本发明将图像矫正，拼接，去噪等算法在成像系统中用GPU实现，实现高速高质量的图像采集；通过改进的BP神经网络布匹缺陷检测算法对诸如灰尘，脏污，棉球，褶皱等干扰因素进行检测与排除；通过卷积神经网络的深度学习布匹缺陷分类算法，能够实现对多种缺陷的实时监测，该分类算法能出色地自动选取疵点多样的特征信息，进行非线性系统地处理分类。

Description

基于神经网络深度学习的布匹缺陷检测方法

技术领域

本发明涉及缺陷检测的技术领域，尤其涉及到基于神经网络深度学习的布匹缺陷检测方法。

背景技术

纺织品生产过程中，布匹表面缺陷是影响布匹质量的关键因素。长期以来，布匹检测一般由人工完成。人工检测依赖验布人员的经验和熟练程度，评价标准不稳定也不一致，因而经常会产生误检和漏检，熟练的验布人员也只能发现约70％的疵点。另外，布匹缺陷检测对工人来说是一个繁重无味的体力劳动，且极大的伤害了验布工人的视力。所以采用机器视觉代替人工自动对布匹瑕疵进行识别，已经成为纺织业发展的必然趋势.

布匹质量检测虽然具有广阔的市场前景，但是由于布匹材质的特殊性，仍存在很多技术难点，譬如：

1、针对不同胚布有不同的成像标准。由于不同织布厂的坯布原料不同，所生产的坯布密度不同，坯布质量检测成像环节难以有量化的成像标准，包括光源强度，相机光圈大小，物距等参数都将是所研制检测装备调试过程中非常难以调节的参数。

2、缺陷种类众多，难以分辨。坯布缺陷有20多种，不同缺陷之间相似度高，即使是经验丰富的验布工也时常难以分辨。

3、缺陷成像影响因素太多。多数纺织厂生产条件较为恶劣，坯布表面不同程度的粘有脏污或棉球，这些物质在很大程度上会影响布匹缺陷检测算法的可靠性。同样的，部分坯布由于时间存放形成褶皱以及机床的震动也会影响算法的可靠性。

发明内容

本发明的目的在于克服现有技术的不足，提供人力成本低、能排除多种影响检测布匹缺陷的干扰因素、能对多种布匹缺陷进行分类并实时监测的基于神经网络深度学习的布匹缺陷检测方法。

为实现上述目的，本发明所提供的技术方案为：基于神经网络深度学习的布匹缺陷检测方法，其包括以下步骤：

(1)高速线扫描成像；

(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行准确检测；

(3)通过卷积神经网络的深度学习布匹缺陷分类算法实现自动选取疵点多样的特征信息，进行非线性系统地处理分类。

进一步地，步骤(1)中，高速线扫描成像系统基于GPU+FPGA结构而搭建，在GPU中进行图像矫正、拼接以及去噪算法，实现单元图像的高速输出，并根据图像质量实现对曝光时间和行频的自动实时计算和设置。

进一步地，步骤(1)高速线扫描成像包括以下步骤：

1)FPGA控制线性CCD传感器采集布匹图像数据；

2)线性CCD传感器将采集到的布匹图像数据传输至模数转换器，使将模拟信号转换成数字信号，转换后的图像信号存放于片外SDRAM中；

3)GPU经过EMIF存储器形式完成对双口RAM内部图像快速读取操作，完成图像矫正、拼接以及去噪功能；

4)千兆以太网完成图像传输工作。

进一步地，图像矫正包括图像平场矫正和红外图像非线性畸变矫正；

图像平场矫正通过灰度变换法、基于照明—发射的同态滤波法、Retinex增强法以及梯度域增强方法实现；

红外图像非线性畸变矫正通过标定的模板法，先对摄像机进行标定，找到系统的畸变参数，然后利用标定的参数进行图像畸变的校正；

图像拼接包括图像预处理、图像配准、建立变换模型、统一坐标变换和融合重构。其中，通过基于兴趣点方向特征的图像拼接方法，通过Harris检测器提取出图像的兴趣点，采用兴趣点方向特征和相关窗的方法提取出初始匹配特征对，根据相邻特征点之间的关系剔除掉无配对的点，通过此模型来实现图像的配准。

进一步地，步骤(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行检测，该算法采用具有反对称的tanh(·)函数作为激活函数，公式为：

其中，设a＝1.716和b＝2/3，保证f′(0)≈0.5，且-1<x<1时，f(x)近似线性，从而加快学习速率，检测流程包括以下步骤：

1))对输入样本进行尺度规范，使其在整个网络层之间的输入规范统一，相应的误差运算更加准确，网络健壮性提高；

2))初始化权值：根据输入层和中间层的个数对输入层到中间层的权值和中间层到输出层的权值赋初值，对学习率λ、动量系数α、θ、ε和ρ赋初值；

3))输入规范后的样本，计算中间层输出和输出层输出；

4))计算误差，根据接收信号T_k，输出层输入O_k，中间层到输出层权值V_jk，中间层输出H_k，求出误差δ_k和δ_j:

δ_k＝(O_k-T_k)*O_k*(1-O_K)

5))根据误差按自适应调整算法调整权值；

6))判断样本是否学习完毕，如果是，计算总误差，否则返回到3))；

7))根据总误差自适应调整权值，计算是否满足要求，如果满足，记录权值并结束学习，否则，返回到3))重新训练。

上述样本包括：缺陷布匹图像，无缺陷布匹图像和伪缺陷布匹图像三类。

进一步地，所述步骤1))规范化输入样本步骤如下：先找出样本空间的最大值x_imax和最小值x_imin，定义一个规范化区间[m_min，m_max],然后按以下公式对各个输入分量进行规范化处理，x_i作为规范后的输入样本。

进一步地，所述步骤5))权值调整公式为：ω(m+1)＝ω(m)+λ(1-a)Δω_bp(m)+αΔω(m-1)，式中，λ和α为单个的步长参数，λ为学习率，α为控制动量项的相对权值；

调整算法流程如下：平方误差因权值调整而增加，其增加超过给定范围，则权值调整取消，学习速度乘上一个因子ρ(0<ρ<1)，同时把动量系数α＝0；权值调整后平方误差减少，则接受权值调整，学习速度乘上一个因子θ(θ>1)；调整的权值不超过给定范围，则接受权值调整，学习速度保持不变，如果α＝0，则恢复为以前的值。

进一步地，所述对布匹缺陷进行准确检测的过程中，中间层节点数选取时，采用经验公式：其中n为输入层节点数，m为输出层节点数，a为1～10之间的整数。

进一步地，所述步骤(3)包括以下步骤：

(1使用多层卷积神经网络自动选取抽象高层布匹图像的特征向量；

(2利用Softmax分类器对提取到的抽象高层特征向量进行分类；

其中，步骤(2中Softmax分类过程包括训练过程和测试过程；

训练过程，利用训练好的卷积核,提取训练集的卷积特征；采用采样策略,对卷积后得到的特征图进行采样；将采样后的卷积特征串接在一起归一化后得到图像特征,并作为Softmax分类器的输入,用于训练Softmax分类器；

测试过程，利用基于多层神经网络学习到的抽象高层特征向量进行测试分类，得到最后的布匹缺陷分类结果。

与现有技术相比，本方案的原理以及相应的有益效果如下：

将图像矫正，拼接，去噪等算法在成像系统中用GPU实现，从而实现高速高质量的图像采集。

通过改进的BP神经网络布匹缺陷检测算法对诸如灰尘，脏污，棉球，褶皱等干扰因素进行检测与排除，使适合于生产环境恶劣，工况稳定性差的纺织工厂。

通过卷积神经网络的深度学习布匹缺陷分类算法，能够实现对多种缺陷的实时监测，该分类算法能出色地自动选取疵点多样的特征信息，进行非线性系统地处理分类。

附图说明

图1为线扫描成像系统结构图；

图2为检测算法流程图；

图3为缺陷检测流程图；

图4为多层卷积神经网络结构图；

图5为卷积策略模型图；

图6为采样策略模型图；

图7为布匹缺陷检测结果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1-6所示，本实施例所述的基于神经网络深度学习的布匹缺陷检测方法，包括以下步骤：

(1)高速线扫描成像；

高速线扫描成像系统基于GPU+FPGA结构而搭建，系统包括线型CCD传感器、FPGA、双口RAM、GPU、模数转换器以及多个存储装置，成像步骤如下：

1)FPGA控制线性CCD传感器采集布匹图像数据；

2)线性CCD传感器将采集到的布匹图像数据传输至模数转换器，使将模拟信号转换成数字信号，转换后的图像信号存放于片外SDRAM中；

3)GPU经过EMIF存储器形式完成对双口RAM内部图像快速读取操作，完成图像矫正、拼接以及去噪功能；

4)千兆以太网完成图像传输工作。

其中，上述图像矫正包括图像平场矫正和红外图像非线性畸变矫正；

图像平场矫正通过灰度变换法、基于照明—发射的同态滤波法、Retinex增强法以及梯度域增强方法实现；

红外图像非线性畸变矫正通过标定的模板法，先对摄像机进行标定，找到系统的畸变参数，然后利用标定的参数进行图像畸变的校正；

图像拼接包括图像预处理、图像配准、建立变换模型、统一坐标变换和融合重构。其中，通过基于兴趣点方向特征的图像拼接方法，通过Harris检测器提取出图像的兴趣点，采用兴趣点方向特征和相关窗的方法提取出初始匹配特征对，根据相邻特征点之间的关系剔除掉无配对的点，通过此模型来实现图像的配准。

(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行准确检测，该算法采用具有反对称的tanh(·)函数作为激活函数，公式为：

其中，设a＝1.716和b＝2/3，保证f′(0)≈0.5，且-1<x<1时，f(x)近似线性，从而加快学习速率，检测流程包括以下步骤：

1))对输入样本进行尺度规范，使其在整个网络层之间的输入规范统一，相应的误差运算更加准确，网络健壮性提高；规范化输入样本步骤如下：先找出样本空间的最大值x_imax和最小值x_imin，定义一个规范化区间[m_min，m_max],然后按以下公式对各个输入分量进行规范化处理，本实施例选规范区间为[-1，1]，则x_i作为规范后的输入样本。

2))初始化权值：根据输入层和中间层的个数对输入层到中间层的权值和中间层到输出层的权值赋初值，对学习率λ、动量系数α、θ、ε和ρ赋初值；

3))输入规范后的样本，计算中间层输出和输出层输出；

4))计算误差，根据接收信号T_k，输出层输入O_k，中间层到输出层权值V_jk，中间层输出H_k，求出误差δ_k和δ_j:

δ_k＝(O_k-T_k)*O_k*(1-O_K)

5))根据误差按自适应调整算法调整权值；

权值调整公式为：ω(m+1)＝ω(m)+λ(1-a)Δω_bp(m)+αΔω(m-1)，式中，λ和α为单个的步长参数，λ为学习率，α为控制动量项的相对权值；

如果α＝0，算法等同于标准反向传播；如果α较小，权值的变化与标准反向传播很接近，如果α较大，则变化将比较迟缓；如果α＝1，反向传播算法所提出的变化将被忽略，且权值向量以恒定的速度变化。

调整算法流程如下：平方误差因权值调整而增加，其增加超过给定范围，则权值调整取消，学习速度乘上一个因子ρ(0<ρ<1)，同时把动量系数α＝0；权值调整后平方误差减少，则接受权值调整，学习速度乘上一个因子θ(θ>1)；调整的权值不超过给定范围，则接受权值调整，学习速度保持不变，如果α＝0，则恢复为以前的值。

6))判断样本是否学习完毕，如果是，计算总误差，否则返回到3))；

7))根据总误差自适应调整权值，计算是否满足要求，如果满足，记录权值并结束学习，否则，返回到3))重新训练。

上述样本包括：缺陷布匹图像，无缺陷布匹图像和伪缺陷布匹图像三类。

对布匹缺陷进行准确检测的过程中，中间层节点数选取时，采用经验公式：其中n为输入层节点数，m为输出层节点数，a为1～10之间的整数。经测试表明，在判别网络中，n＝8，m＝1，a取1，则中间层节点数为4；在分类网络中，n＝9，m＝7，a取4，在中间层节点数为8，这样能达到很好效果。针对权值初始化，采用改进后在选取区间选取，在识别网络中，输入层到中间层权W_ij∈(-0.3536，0.3536)，中间层到输出层初始权值V_jk∈(-0.5，0.5)。

(3)通过卷积神经网络的深度学习布匹缺陷分类算法实现自动选取疵点多样的特征信息，进行非线性系统地处理分类。

包括以下步骤：

(1使用多层卷积神经网络(CNN)自动选取抽象高层布匹图像的特征向量；

CNN中每一层由多个map组成，每个map由多个神经单元组成，同一map的所有神经单元共用一个卷积核(即权重)，卷积核代表一个特征，CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积...这样卷积层提取出特征，再进行组合形成更抽象的特征。

本实施例中，选取布匹缺陷图像是28*28大小，图4为设计的多层卷积神经网络整体结构，其中，CNN的初始化主要包括初始化卷积层和输出层的权重和偏置，而对卷积核和权重进行随机初始化，而对偏置进行全0初始化。具体步骤如下：

A.输入层：输入层不设置输入值，只设置一个输出向量，该向量的大小即图片大小，本发明规定为28*28矩阵；

B.卷积层：由于卷积层的每一个map都有一个大小相同的卷积核，而本发明采用2*2的卷积核。由图4可知，上一层的特征map大小为4*4，将该卷积在图片上滚一遍，得到一个(4-2+1)*(4-2+1)＝3*3的特征map，卷积核每次移动一步。因此，卷积层的一个map与上层的所有map都关联，如图5的S2和C3，即C3共有6*12个卷积核。接着将卷积层的每一个特征map在前一层所有map上作卷积并将对应元素累加后再加一个偏置，最后由sigmoid激活函数得到输出。

C.采样层：采样层对上一层map进行采样处理，本发明的采样方式是对上一层map的相邻小区域进行聚合统计，规定区域大小为scale*scale。本发明采用2*2小区域的均值。由于卷积的计算窗口有重叠，而采用的计算窗口无重叠，在ToolBox中计算采样使用卷积(conv2(A,K,'valid'))来实现，由于卷积核是2*2，所以每个元素都是1/4，去掉计算得到的卷积结果中有重叠的部分，如图6所示.

D.输出层：输出层与最后的采样层S4全连接，提取布匹整体的特征信息，得到最终布匹图像的高层特征向量，用于后续的分类器的输入。

(2利用Softmax分类器对提取到的抽象高层特征向量进行分类；

Softmax分类过程包括训练过程和测试过程；

训练过程，利用训练好的卷积核,提取训练集的卷积特征；采用采样策略,对卷积后得到的特征图进行采样；将采样后的卷积特征串接在一起归一化后得到图像特征,并作为Softmax分类器的输入,用于训练Softmax分类器。训练模型的过程实质是一个不断优化模型参数的过程,训练目标是寻找到最优的模型参数,能够使代价函数的值最小，在布匹实际检测中,可在代价函数中添加一个权重衰减项,该权重衰减项可解决Softmax回归的"参数冗余"问题。

利用基于多层神经网络学习到的抽象高层特征向量进行测试分类，得到最后的布匹缺陷分类结果。

本实施例将图像矫正，拼接，去噪等算法在成像系统中用GPU实现，从而实现高速高质量的图像采集。通过改进的BP神经网络布匹缺陷检测算法对诸如灰尘，脏污，棉球，褶皱等干扰因素进行检测与排除，适合于生产环境恶劣，工况稳定性差的纺织工厂。通过卷积神经网络的深度学习布匹缺陷分类算法，能够实现对多种缺陷的实时监测，该分类算法能出色地自动选取疵点多样的特征信息，进行非线性系统地处理分类。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.基于神经网络深度学习的布匹缺陷检测方法，其特征在于：包括以下步骤：

(1)高速线扫描成像；

(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行准确检测；

(3)通过卷积神经网络的深度学习布匹缺陷分类算法实现自动选取疵点多样的特征信息，进行非线性系统地处理分类。

2.根据权利要求1所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤(1)中，高速线扫描成像系统基于GPU+FPGA结构而搭建，在GPU中实现图像矫正、拼接以及去噪算法。

3.根据权利要求2所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤(1)高速线扫描成像包括以下步骤：

1)FPGA控制线性CCD传感器采集布匹图像数据；

2)线性CCD传感器将采集到的布匹图像数据传输至模数转换器，使将模拟信号转换成数字信号，转换后的图像信号存放于片外SDRAM中；

3)GPU经过EMIF存储器形式完成对双口RAM内部图像快速读取操作，完成图像矫正、拼接以及去噪功能；

4)千兆以太网完成图像传输工作。

4.根据权利要求3所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述图像矫正包括图像平场矫正和红外图像非线性畸变矫正；其中，所述图像平场矫正通过灰度变换法、基于照明—发射的同态滤波法、Retinex增强法以及梯度域增强方法实现；所述红外图像非线性畸变矫正通过标定的模板法，先对摄像机进行标定，找到系统的畸变参数，然后利用标定的参数进行图像畸变的校正；

所述图像拼接包括图像预处理、图像配准、建立变换模型、统一坐标变换和融合重构。

5.根据权利要求1所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤(2)通过改进的BP神经网络布匹缺陷检测算法对布匹缺陷进行检测包括以下步骤：

1))规范化样本：输入层输入值范围在(-1,1)内；

2))初始化权值：根据输入层和中间层的个数对输入层到中间层的权值和中间层到输出层的权值赋初值，对学习率λ、动量系数α、θ、ε和ρ赋初值；

3))输入规范后的样本，计算中间层输出和输出层输出；

4))计算误差，根据接收信号T_k，输出层输入O_k，中间层到输出层权值V_jk，中间层输出H_k，求出误差δ_k和δ_j:

δ_k＝(O_k-T_k)*O_k*(1-O_K)

<mrow> <msub> <mi>&amp;delta;</mi> <mi>j</mi> </msub> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>k</mi> </munder> <msub> <mi>&amp;delta;</mi> <mi>k</mi> </msub> <mo>*</mo> <msub> <mi>V</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>*</mo> <msub> <mi>H</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>H</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

5))根据误差按自适应调整算法调整权值；

6))判断样本是否学习完毕，如果是，计算总误差，否则返回到3))；

7))根据总误差自适应调整权值，计算是否满足要求，如果满足，记录权值并结束学习，否则，返回到3))重新训练。

6.根据权利要求5所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述改进的BP神经网络布匹缺陷检测算法采用具有反对称的tanh(·)函数作为激活函数，公式为：

其中，设a＝1.716和b＝2/3，保证f′(0)≈0.5，且-1<x<1时，f(x)近似线性。

7.根据权利要求5所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤1))规范化输入样本步骤如下：先找出样本空间的最大值x_imax和最小值X_imin，定义一个规范化区间[m_min，m_max],然后按以下公式对各个输入分量进行规范化处理，

X_i作为规范后的输入样本。

8.根据权利要求5所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤5))权值调整公式为：

ω(m+1)＝ω(m)+λ(1-a)Δω_bp(m)+αΔω(m-1)，式中，λ和α为单个的步长参数，λ为学习率，α为控制动量项的相对权值；

调整算法流程如下：平方误差因权值调整而增加，其增加超过给定范围，则权值调整取消，学习速度乘上一个因子ρ(0<ρ<1)，同时把动量系数α＝0；权值调整后平方误差减少，则接受权值调整，学习速度乘上一个因子θ(θ>1)；调整的权值不超过给定范围，则接受权值调整，学习速度保持不变，如果α＝0，则恢复为以前的值。

9.根据权利要求5所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述对布匹缺陷进行准确检测的过程中，中间层节点数选取时，采用经验公式：其中n为输入层节点数，m为输出层节点数，a为1～10之间的整数。

10.根据权利要求1所述的基于神经网络深度学习的布匹缺陷检测方法，其特征在于：所述步骤(3)包括以下步骤：

(1使用多层卷积神经网络自动选取抽象高层布匹图像的特征向量；

(2利用Softmax分类器对提取到的抽象高层特征向量进行分类；

其中，步骤(2中Softmax分类过程包括训练过程和测试过程；

训练过程，利用训练好的卷积核,提取训练集的卷积特征；采用采样策略,对卷积后得到的特征图进行采样；将采样后的卷积特征串接在一起归一化后得到图像特征,并作为Softmax分类器的输入,用于训练Softmax分类器；

测试过程，利用基于多层神经网络学习到的抽象高层特征向量进行测试分类，得到最后的布匹缺陷分类结果。