CN104751472A - 基于b样条小波和深度神经网络的织物疵点检测方法 - Google Patents

Abstract

一种织物疵点自动检测方法包含深度神经网络模型训练和疵点图像检测两部分。深度神经网络模型训练主要是经过已有样本库的学习，实现在输入疵点图像的前提下，得到样本无疵点的重构图像。疵点图像检测如图所示。待测织物图像首先经过多次小波变换，得到保留大部分纹理信息的压缩图像并保存。然后把压缩图像输入到训练好的深度神经网络输入端，进行计算，在输出端得到重构的无疵点图像。随后把重构图像与保存的压缩图像做差值运算，得到只含有疵点的图像。最后通过对疵点图像的特征提取，分析出是否含有疵点及疵点的种类等。

Description

基于B样条小波和深度神经网络的织物疵点检测方法

技术领域

本发明涉及自动测量与控制领域，尤其涉及一种织物疵点在生产过程中的检测方法。

背景技术

传统的织物疵点检测是检验人员按照个人经验和织物评等标准对织物等级做出评定，这种方法存在检测速度低、漏检率高、检测结果受人的主观影响等诸多问题，无法满足快速、高品质的产品生产。因此，发展一种快速、准确的织物疵点自动检测方法是当前纺织或织物印刷企业的迫切需求。织物疵点自动检测是对织物质量进行控制、实现织造及验布工序自动化、无人化的关键环节。尤其是随着图像处理和人工智能技术的发展，以计算机视觉为基础的织物自动检测逐渐得到发展与应用。本发明即时一种快速的织物疵点视觉检测方法。

现有的计算机视觉检测方法主要是以图像处理技术为基础，通过对灰度或纹理的计算，得到面积、长度、中心矩、偏心距等几何或代数特征，并据此判断是否含有疵点，有何疵点等。这种方法在高分辨率图像的处理中计算量大，且随着织物中图案的变化，为了达到理想的检测效果，特征的选择必须有人来完成，不能实现完全意义上的自动化。

发明内容

本发明要克服现有技术的上述缺点，提出一种基于B样条小波和深度神经网络的织物疵点检测方法，解决现有技术中计算速度慢、对不同背景图案需要人工干预的缺点。

一种织物疵点自动检测方法包含模型训练阶段和检测阶段两步。

步骤一，模型训练阶段有如下实现步骤：

11，把样本库中图像的长、宽的像素数扩展为2ⁿ的正方形，扩展部分以0填充；

12，对图像进行多次B样条小波变换，具体实现如下：

12.1对图像进行B样条小波变换，分别得到对角线方向子图HH、竖直方向子图HL、水平方向子图LH和低频子图LL四幅图像。小波变换快速算法如式(1)如示：

$\left\{\begin{array}{c}{a}_{n,m}^{j+1}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{h}}_k{\stackrel{\‾}{k}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,1}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{h}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,2}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{h}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,3}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\end{array}\right.---\left(1\right)$

h,g,为小波滤波器，其中滤波器表示h^j的时序反转，即m为横坐标，n为纵坐标，k为小波横向宽度，p为小波纵向宽度，j为小波分解层数。

12.2对LL图像进行二进抽取，得到长、宽为2^n-1的图像；

12.3对12.2得到的图像重复12.1、12.2操作，直到结果为长、宽都为2⁶的图像；

13，建立深度为5层的神经网络，每层的神经元个数分别为4096、1000、500、200和50；

14，利用已有的图像库，对步骤13建立的网络用对比分歧快速算法进行学习，得到网络的初始权值。对比分歧算法的计算过程为

输入：训练样本x₀，学习率ε，隐藏层数m

初始化：可见层单元初始状态v₁＝x₀，可见层和隐藏层之间的连接权重w、可见层的偏置a和隐藏层的偏置b为随机的较小数值。

备注：隐藏层的P(h₂＝1|v₂)是隐藏层各单元P(h_2i＝1|v₂)的向量表示，为sigmoid激活函数；

训练过程：

Forj＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{1j}=1|v_1)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{1i}{w}_{\mathrm{ij}})---\left(2\right)$

从P(h_1j＝1|v₁)采样h_1j∈{0,1}

End

For i＝1,2,…,n(对可见层单元i)

计算 $P(h_{2i}=1|h_1)=\mathrm{\σ}(a_i+\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{h}_{1j})---\left(3\right)$

从P(h_2i＝1|h₁)采样v_2i∈{0,1}

End

For j＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{2j}=1|v_2)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{2i}{w}_{\mathrm{ij}})---\left(4\right)$

End

更新参数：

w←w+ε(h₁v'₁-P(h₂＝1|v₂)v'₂)    (5)

a←a+ε(v₁-v₂)    (6)

b←b+ε(h₁-P(h₂＝1|v₂))    (7)

15，将上面建立的网络展开连接成新的网络，且分成encoder和decoder两部分，并用步骤四得到的权值给这个新网络赋初值。

16，对得到的权值，用BP算法进行微调，期望输出等于输入。BP算法的计算过程为：

16.1前向传导计算，得出每一层神经元的激活值L₂,L₃,…,L_nl

16.2对输出层nl计算残差δ：

δ^(nl)＝-(y-a^(nl))·f'(z^(nl))    (8)

其中，y为期望输出，a^(nl)为实际输出，f'为激活函数，z^(nl)为输入；

16.3对以下各层l＝n_l-1,n_l-2,…,2，计算

δ^(l)＝((W^(l))^Tδ_i ^(l))·f'(z^(l))    (9)

其中，W为权值矩阵；

16.4计算所需的偏导数：

${\▿}_{W^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}{\left(a^{\left(l\right)}\right)}^T---\left(10\right)$

${\▿}_{b^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}---\left(11\right)$

步骤二，织物检测阶段，有如下实现步骤：

21，获得待检测织物图像，并转化为8位灰度表示方式；

22，把图像的长、宽扩展为2ⁿ的正方形，扩展部分以0填充；

23，对图像进行多次B样条小波变换，具体实现过程同模型训练阶段步骤12；

24，把步骤23获得的图像输入到建立的深度神经网络模型中，从输出端得到重构的织物图像；

25，把得到的重构图像与输入图像作差运算，得到织物疵点图像检测结果；

26，求取结果图像中纹理的面积、长度、宽度、中心矩等特征，据此判断是否有疵点，为何种疵点。

本发明使用B样条小波函数变换实现织物图像的纹理提取，并压缩到标准的64×64大小，既能保留了织物的纹理尺寸，又起到大小归一化的作用；

本发明使用深度神经网络对输入织物图像进行了重构，得到没有缺陷的模板图像，并通过与输入图像的差值对比，实现疵点的检测；

本发明把B样条小波函数变换与深度神经网络相结合，在图像压缩的同时，又最大限度地保留了织物图像的纹理信息，减少了深度神经网络的输入维度，缩短了训练时间，也加快了疵点检测速度；

本发明的特征还在于，本疵点检测方法与织物纹理图案无关。在检测时，只需要对检测样本图案进行短时间的学习，就可以实现疵点检测，无需参数的重新设置。

本发明的原理是：首先通过建立的样本库，训练出织物疵点图像的重构模型。然后再通过B样条小波变换得到尺寸归一化的待检测图像，通过深度神经网络的计算，得到重构后模板图像，最后通过与输入图像的差值对比，判断是否有疵点缺陷。

本发明能够通过C++编程语言实现，也可通过Matlab编程语言实现。

本发明可以作为应用软件独立运行，实现对静态织物图像的疵点检测；也可以嵌入到自动化生产的实时控制系统中，对机械臂进行控制，在完成疵点检测的同时，实现缺陷织物的实时质量鉴定与生产工艺调整。

本发明的优点是：精度高，计算速度快，应用范围广，使用方便，检测效果与背景图案无关。

附图说明

图1是本发明的深度神经网络训练过程示意图。

图2是本发明的工作流程图。

具体实施方式

一种织物疵点自动检测方法包含模型训练阶段和检测阶段两步。

步骤一，模型训练阶段有如下实现步骤：

11，把样本库中图像的长、宽的像素数扩展为2ⁿ的正方形，扩展部分以0填充；

12，对图像进行多次B样条小波变换，具体实现如下：

12.1对图像进行B样条小波变换，分别得到对角线方向子图HH、竖直方向子图HL、水平方向子图LH和低频子图LL四幅图像。小波变换快速算法如式(1)如示：

$\left\{\begin{array}{c}{a}_{n,m}^{j+1}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{h}}_k{\stackrel{\‾}{k}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,1}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{h}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,2}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{h}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,3}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\end{array}\right.---\left(1\right)$

h,g,为小波滤波器，其中滤波器表示h^j的时序反转，即m为横坐标，n为纵坐标，k为小波横向宽度，p为小波纵向宽度，j为小波分解层数。

12.2对LL图像进行二进抽取，得到长、宽为2^n-1的图像；

12.3对12.2得到的图像重复12.1、12.2操作，直到结果为长、宽都为2⁶的图像；

13，建立深度为5层的神经网络，每层的神经元个数分别为4096、1000、500、200和50；

14，利用已有的图像库，对步骤13建立的网络用对比分歧快速算法进行学习，得到网络的初始权值。对比分歧算法的计算过程为

输入：训练样本x₀，学习率ε，隐藏层数m

初始化：可见层单元初始状态v₁＝x₀，可见层和隐藏层之间的连接权重w、可见层的偏置a和隐藏层的偏置b为随机的较小数值。

备注：隐藏层的P(h₂＝1|v₂)是隐藏层各单元P(h_2i＝1|v₂)的向量表示

训练过程：

Forj＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{1j}=1|v_1)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{1i}{w}_{\mathrm{ij}})---\left(2\right)$

从P(h_1j＝1|v₁)采样h_1j∈{0,1}

End

For i＝1,2,…,n(对可见层单元i)

计算 $P(h_{2i}=1|h_1)=\mathrm{\σ}(a_i+\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{h}_{1j})---\left(3\right)$

从P(h_2i＝1|h₁)采样v_2i∈{0,1}

End

For j＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{2j}=1|v_2)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{2i}{w}_{\mathrm{ij}})---\left(4\right)$

End

更新参数：

w←w+ε(h₁v'₁-P(h₂＝1|v₂)v'₂)    (5)

a←a+ε(v₁-v₂)    (6)

b←b+ε(h₁-P(h₂＝1|v₂))    (7)

15，将上面建立的网络展开连接成新的网络，且分成encoder和decoder两部分，并用步骤四得到的权值给这个新网络赋初值。

16，对得到的权值，用BP算法进行微调，期望输出等于输入。BP算法的计算过程为：

16.1前向传导计算，得出每一层神经元的激活值L₂,L₃,…,L_nl

16.2对输出层nl计算残差δ：

δ^(nl)＝-(y-a^(nl))·f'(z^(nl))    (8)

其中，y为期望输出，a^(nl)为实际输出，f'为激活函数，z^(nl)为输入；

16.3对以下各层l＝n_l-1,n_l-2,…，2，计算

δ^(l)＝((W^(l))^Tδ_i ^(l))·f'(z^(l))    (9)

其中，W为权值矩阵；

16.4计算所需的偏导数：

${\▿}_{W^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}{\left(a^{\left(l\right)}\right)}^T---\left(10\right)$

${\▿}_{b^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}---\left(11\right)$

步骤二，织物检测阶段，有如下实现步骤：

21，获得待检测织物图像，并转化为8位灰度表示方式；

22，把图像的长、宽扩展为2ⁿ的正方形，扩展部分以0填充；

23，对图像进行多次B样条小波变换，具体实现过程同模型训练阶段步骤12；

24，把步骤23获得的图像输入到建立的深度神经网络模型中，从输出端得到重构的织物图像；

25，把得到的重构图像与输入图像作差运算，得到织物疵点图像检测结果；

26，求取结果图像中纹理的面积、长度、宽度、中心矩等特征，据此判断是否有疵点，为何种疵点。

本发明使用B样条小波函数变换实现织物图像的纹理提取，并压缩到标准的64×64大小，既能保留了织物的纹理尺寸，又起到大小归一化的作用；

本发明使用深度神经网络对输入织物图像进行了重构，得到没有缺陷的模板图像，并通过与输入图像的差值对比，实现疵点的检测；

本发明把B样条小波函数变换与深度神经网络相结合，在图像压缩的同时，又最大限度地保留了织物图像的纹理信息，减少了深度神经网络的输入维度，缩短了训练时间，也加快了疵点检测速度；

本发明的特征还在于，本疵点检测方法与织物纹理图案无关。在检测时，只需要对检测样本图案进行短时间的学习，就可以实现疵点检测，无需参数的重新设置。

本发明的原理是：首先通过建立的样本库，训练出织物疵点图像的重构模型。然后再通过B样条小波变换得到尺寸归一化的待检测图像，通过深度神经网络的计算，得到重构后模板图像，最后通过与输入图像的差值对比，判断是否有疵点缺陷。

本发明能够通过C++编程语言实现，也可通过Matlab编程语言实现。

本发明可以作为应用软件独立运行，实现对静态织物图像的疵点检测；也可以嵌入到自动化生产的实时控制系统中，对机械臂进行控制，在完成疵点检测的同时，实现缺陷织物的实时质量鉴定与生产工艺调整。

下面结合说明书附图对本发明做进一步的描述，参照附图：

如图1所示，深度神经网络的训练过程为：

1)首先训练第一个RBM网络，即输入层4096维和第一个隐藏层1000维构成的网络。采用RBM优化，计算得到训练样本在隐藏层的输出值。

2)利用1)的结果作为第2个网络训练的输入值，同样用RBM进行优化，并计算网络的输出值。用同样的方法训练第3个网络和第4个网络。以上两步即为图1中的预训练过程。

3)将上面4个网络展开连接成新的网络，且分成encoder和decoder两部分，用步骤1)和步骤2)得到的值给这个新网络赋初值。此步骤即为图1中的展开过程。

4)将最初的输入值作为网络理论的输出值，利用BP算法计算网络的代价函数和代价函数的偏导数，采用梯度下降法优化整个网络，得到最终的网络连接权值。此过程即为图1中的微调过程。

如图2所示，织物疵点检测过程为：待测织物图像首先经过多次小波变换，得到保留大部分纹理信息的压缩图像并保存。然后把压缩图像输入到训练好的深度神经网络输入端，进行计算，在输出端得到重构的无疵点图像。随后把重构图像与保存的压缩图像做差值运算，得到只含有疵点的图像。最后通过对疵点图像的特征提取，分析出是否含有疵点及疵点的种类等。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种织物疵点自动检测方法包含模型训练阶段和检测阶段两步

步骤一，模型训练阶段有如下实现步骤：

11，把样本库中图像的长、宽的像素数扩展为2ⁿ的正方形，扩展部分以0填充；

12，对图像进行B样条小波变换，具体实现如下：

12.1对图像进行B样条小波变换，分别得到对角线方向子图HH、竖直方向子图HL、水平方向子图LH和低频子图LL四幅图像。小波变换快速算法如式(1)如示：

$\left\{\begin{array}{c}{a}_{n,m}^{j+1}=\underset{k,p}{\mathrm{\Σ}}\stackrel{\‾}{h_k}\stackrel{\‾}{h_p}{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,1}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{h}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,2}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{h}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\\ d_{n,m}^{j+\mathrm{1,3}}=\underset{k,p}{\mathrm{\Σ}}{\stackrel{\‾}{g}}_k{\stackrel{\‾}{g}}_p{a}_{n-2^{j}k,m-2^{j}p}^j\end{array}\right.---\left(1\right)$

h，g，为小波滤波器，其中滤波器表示h^j的时序反转，即m为横坐标，n为纵坐标，k为小波横向宽度，p为小波纵向宽度，j为小波分解层数；

12.2对LL图像进行二进抽取，得到长、宽为2^n-1的图像；

12.3对12.2得到的图像重复12.1、12.2操作，直到结果为长、宽都为2⁶的图像；

13，建立深度为5层的神经网络，每层的神经元个数分别为4096、1000、500、200和50；

14，利用已有的图像库，对步骤13建立的网络用对比分歧快速算法进行学习，得到网络的初始权值；对比分歧算法的计算过程为

输入：训练样本x₀，学习率ε，隐藏层数m

初始化：可见层单元初始状态v₁＝x₀，可见层和隐藏层之间的连接权重w、可见层的偏置a和隐藏层的偏置b为随机的较小数值；

备注：隐藏层的P(h₂＝1|v₂)是隐藏层各单元P(h_2i＝1|v₂)的向量表示，为sigmoid激活函数；

训练过程：

Forj＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{1j}=1|v_1)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{1i}{w}_{\mathrm{ij}})---\left(2\right)$

从P(h_1j＝1|v₁)采样h_1j∈{0,1}

End

For i＝1,2,…,n(对可见层单元i)

计算 $P(h_{2i}=1|h_1)=\mathrm{\σ}(a_i+\underset{i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{h}_{1j})---\left(3\right)$

从P(h_2i＝1|h₁)采样v_2i∈{0,1}

End

For j＝1,2,…,m(对隐藏层单元j)

计算 $P(h_{2j}=1|v_2)=\mathrm{\σ}(b_j+\underset{i}{\mathrm{\Σ}}{v}_{2i}{w}_{\mathrm{ij}})---\left(4\right)$

End

更新参数：

w←w+ε(h₁v'₁-P(h₂＝1|v₂)v'₂)       (5)

a←a+ε(v₁-v₂)        (6)

b←b+ε(h₁-P(h₂＝1|v₂))       (7)

15，将上面建立的网络展开连接成新的网络，且分成encoder和decoder两部分，并用步骤14得到的权值给这个新网络赋初值；

16，对得到的权值，用BP算法进行微调，期望输出等于输入。BP算法的计算过程为：

16.1前向传导计算，得出每一层神经元的激活值L₂,L₃,…,L_nl

16.2对输出层nl计算残差δ：

δ^(nl)＝-(y-a^(nl))·f'(z^(nl))       (8)

其中，y为期望输出，a^(nl)为实际输出，f'为激活函数，z^(nl)为输入；

16.3对以下各层l＝n_l-1,n_l-2,…,2，计算

δ^(l)＝((W^(l))^Tδ_i ^(l))·f'(z^(l))      (9)

其中，W为权值矩阵；

16.4计算所需的偏导数：

${\▿}_{W^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}{\left(a^{\left(l\right)}\right)}^T---\left(10\right)$

${\▿}_{b^{\left(l\right)}}J(W,b;x,y)={\mathrm{\δ}}^{(l+1)}---\left(11\right)$

步骤二，织物检测阶段，有如下实现步骤：

21，获得待检测织物图像，并转化为8位灰度表示方式；

22，把图像的长、宽扩展为2ⁿ的正方形，扩展部分以0填充；

23，对图像进行多次B样条小波变换，具体实现过程同模型训练阶段步骤12；

24，把步骤23获得的图像输入到建立的深度神经网络模型中，从输出端得到重构的织物图像；

25，把得到的重构图像与输入图像作差运算，得到织物疵点图像检测结果；

26，求取结果图像中纹理的面积、长度、宽度、中心矩等特征，据此判断是否有疵点，为何种疵点。