CN108133473A - 基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法 - Google Patents

Abstract

本发明公开了基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，包含训练阶段和检测阶段两部分。模型训练阶段中采用无疵点织物图像，通过图像预处理得到训练样本集，然后训练深度神经网络中的参数。检测时，首先得到待测图像的检测样本集，然后采用深度神经网络得到网络输出，最后得到疵点检测结果。本发明采用Gabor滤波器提取织物纹理特征，根据Fisher准则计算代价函数值，能够提取图像中各个方向大小的纹理，提高检测准确率。采用深度神经网络自动选择图像特征，解决现有基于机器视觉疵点检测方法人为选择特征的缺陷和不足。

Description

基于Gabor滤波和深度神经网络的经编提花织物疵点检测 方法

技术领域：

本发明涉及纺织产品检测技术领域，特别涉及一种基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法。

背景技术：

在织物生产过程中，织物疵点的产生不可避免。传统的人工检测的方法存在检测结果受人的主观影响、漏检率高、人工成本高等问题，越来越成为企业发展的瓶颈。随着计算机技术的发展，依靠机器视觉对织物疵点进行自动检测的方法具有稳定性高、节约人工成本、提高生产效率等优点，逐渐得到发展与应用。

目前，基于机器视觉的织物疵点检测方法对经编平纹织物的检测比较有效，而对于提花织物的检测系统还不够完善，其主要的问题还是检测算法不够稳定，检测准确率不高，难以用于实际生产。如何有效提取经编提花织物的纹理特征，提高算法检测准确率成为迫切需要解决的难题。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容：

本发明的目的在于提供一种基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，利用深度学习自动选择特征的特点，将深度学习技术应用在织物疵点检测领域，解决现有疵点检测方法人为选择特征的缺陷和不足。

为实现上述目的，本发明提供了一种基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其步骤为：

(1)模型训练阶段；

(1.1)获取多幅无疵点织物图像，对图像进行预处理得到训练样本集；

(1.2)建立深度为七层的神经网络，前六层为限制玻尔兹曼机，第七层为聚类层，将步骤(1.1)得到的训练样本集作为网络的输入，训练得到网络的参数；

(2)模型检测阶段；

(2.1)获取待测织物图像，对图像进行预处理得到待测样本集；

(2.2)将图像预处理得到的待测样本集中每一样本向量分别作为深度神经网络的输入，得到每幅待测图像块的网络输出，最终得到疵点检测结果。

优选地，技术方案中，步骤(1.1)中预处理包括：

(1.1.1)在织物幅宽方向，用工业相机采集N幅无疵点织物图像，图像大小为2592×56，保存为原始训练图像；

(1.1.2)由每幅原始训练图像，按照从左至右方式，以步长1得到2537个56×56大小的样本图像块，则由N幅无疵点织物图像可得到M＝2537×N幅样本图像块；

(1.1.3)每幅样本图像块与一组Gabor滤波器卷积变换得到多幅滤波图像，计算每幅滤波图像的代价函数值；由每幅样本图像块可得到一个训练样本向量，由M幅样本图像块则得到M个训练样本向量。

优选地，技术方案中，步骤(1.1.3)中二维空间域Gabor滤波函数可表示为：

其中

x′＝x cosθ-y sinθ (12)

y′＝x sinθ+y cosθ (13)

σ_x和σ_y分别为高斯窗口在时域x轴与y轴上的标准差，λ为波长，θ为旋转角度；

根据σ_x、σ_y、λ和θ值的不同可构造一组K个Gabor滤波器，将这些滤波器分别与一幅样本图像块卷积变换，可得到K幅滤波后图像，计算得到K幅能量图像；假设滤波后图像为r(x，y)，一般情况下，该滤波后图像为复数图像，其能量图像E_r(x，y)可由下式得到：

其中r_Re(x，y)和r_Im(x，y)分别为图像r(x，y)的实部和虚部；

根据Fisher准则构造代价函数如下：

其中μ和σ分别为能量图像E_r(x，y)的均值和标准差；代价函数值的大小反映这幅样本图像块响应某个特定Gabor滤波器的程度；由此，每幅样本图像块对应得到K个代价函数值，构成一个K维向量；

对于一个K维向量，将代价函数值大于或等于30％范围以上的元素置为1，其余置为0，从而得到一个K维二值向量D_i＝{d_i1，d_i2，…，d_iK}；由M幅样本图像块可得到M个K维二值向量；

在M个K维二值向量中，压缩在所有样本中值均为0的分量，重新生成的M个K′维二值向量即为训练样本集；假如M个样本中第j维的所有分量均为0，即则表示M个样本图像块与第j个Gabor滤波器卷积后得到的代价函数值都是比较小的，那在后续的计算中就不考虑该Gabor滤波器。

优选地，技术方案中，步骤(1.2)中，训练步骤包括：

(1.2.1)第一层限制玻尔兹曼机RBM1的可见层结点数为K′，隐藏层结点数为N₁＝2048，能量函数定义为：

E⁽¹⁾(v⁽¹⁾，h⁽¹⁾)＝-(v⁽¹⁾)^T·W⁽¹⁾·h⁽¹⁾-(b⁽¹⁾)^T·v⁽¹⁾-(c⁽¹⁾)^T·h⁽¹⁾ (16)

其中T表示转置运算，为RBM1的可见层向量，为RBM1的隐藏层向量，为网络权值，为可见层偏置向量，为隐藏层偏置向量；对数似然函数为：

其中，θ⁽¹⁾＝{W⁽¹⁾，b⁽¹⁾，c⁽¹⁾}是RBM1的模型参数，v⁽¹⁾(t)是RBM1的第t个输入样本；

对于给定的训练样本集，用梯度上升法求解能使l(θ⁽¹⁾)取得极大值的模型参数值，其中l(θ⁽¹⁾)对各参数的梯度计算公式为：

其中，通过从P(v⁽¹⁾，h⁽¹⁾)中进行L次马尔可夫蒙特卡罗采样估计；

第二层至第六层限制玻尔兹曼机的可见层结点数分别为2048，1024,512,128,32，第二层至第六层隐藏层结点数分别为1024,512,128,32,8。第二层至第六层玻尔兹曼机的训练方式与第一层相同。

(1.2.2)第七层聚类层，对输入的由M个8维二值向量描述的样本集按其所表示的二进制值进行聚类，值相同的归为同一类，从而可将输入样本集分为C个类别，并可得这C个类别对应的二进制值分别为b₁，b₂，…，b_C。

优选地，技术方案中，步骤(2.1)中预处理包括：

(2.1.1)在织物幅宽方向，用工业相机采集待测织物图像，图像大小为2592×56；

(2.1.2)对于待测图像，按照从左至右方式得到Q幅56×56大小的待测图像块，各图像块间可不重叠，也可部分重叠，但必须覆盖整个待测图像区域；

(2.1.3)每幅待测图像块与步骤(1.1.3)中得到的K′个非全0分量所对应的Gabor滤波器卷积变换，然后得到能量图像，根据式(5)计算代价函数值，最后得到该幅待测图像块的K′维二值向量；

(2.1.4)由待测图像的所有图像块就可得到Q个K′维二值向量，作为待测样本集。

优选地，技术方案中，步骤(2.1.3)中为使检测时的每个K′维向量中1的个数与训练时一样，将代价函数值大于或等于范围以上的元素置为1，其余置为0，从而得到一幅图像块的K′维二值向量。

与现有技术相比，本发明具有如下有益效果：

采用Gabor滤波器提取织物纹理特征，根据Fisher准则计算代价函数值，能够提取图像中各个方向大小的纹理，提高检测准确率。采用深度神经网络自动选择图像特征，解决现有基于机器视觉疵点检测方法人为选择特征的缺陷和不足。

附图说明：

图1为本发明一种基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法的流程示意图；

图2为本发明模型训练阶段图像预处理过程示意图；

图3为本发明深度神经网络结构图；

图4为本发明模型检测阶段图像预处理过程示意图。

具体实施方式：

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

如图1所示，一种基于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，该方法分两部分组成，一是采集无疵点图像作为样本图像，对模型进行训练，二是用已训练好的模型对待测图像进行检测。

(1)模型训练阶段：

(1.1)获取多幅无疵点织物图像，对图像进行预处理得到训练样本集，图像预处理过程如图2所示，具体实现如下：

(1.1.1)在织物幅宽方向，用工业相机采集N幅无疵点织物图像，图像大小为2592×56，保存为原始训练图像；

(1.1.2)由每幅原始训练图像，按照从左至右方式，以步长1得到2537个56×56大小的样本图像块，则由N幅无疵点织物图像可得到M＝2537×N幅样本图像块；

(1.1.3)每幅样本图像块与一组Gabor滤波器卷积变换得到多幅滤波图像，计算每幅滤波图像的代价函数值。由每幅样本图像块可得到一个训练样本向量，由M幅样本图像块则得到M个训练样本向量；

二维空间域Gabor滤波函数可表示为：

其中

x′＝x cosθ-y sinθ (22)

y′＝x sinθ+y cosθ (23)

σ_x和σ_y分别为高斯窗口在时域x轴与y轴上的标准差，λ为波长，θ为旋转角度。根据σ_x、σ_y、λ和θ值的不同可构造一组K个Gabor滤波器，将这些滤波器分别与一幅样本图像块卷积变换，可得到K幅滤波后图像，计算得到K幅能量图像。假设滤波后图像为r(x，y)，一般情况下，该滤波后图像为复数图像，其能量图像E_r(x，y)可由下式得到：

其中r_Re(x，y)和r_Im(x，y)分别为图像r(x，y)的实部和虚部。

根据Fisher准则构造代价函数如下：

其中μ和σ分别为能量图像E_r(x，y)的均值和标准差。代价函数值的大小反映这幅样本图像块响应某个特定Gabor滤波器的程度。由此，每幅样本图像块对应得到K个代价函数值，构成一个K维向量。

受生物神经系统启发，即当对某个事物响应时，只刺激很少一些神经元，大部分神经元是处于受抑制状态。这样，在深度神经网络构造中，可引入稀疏性概念，即对于一个K维向量，将代价函数值大于或等于30％范围以上的元素置为1，其余置为0，从而得到一个K维二值向量D_i＝{d_i1，d_i2，…，d_iK}。由M幅样本图像块可得到M个K维二值向量。

在M个K维二值向量中，压缩在所有样本中值均为0的分量，重新生成的M个K′维二值向量即为训练样本集。假如M个样本中第j维的所有分量均为0，即则表示M个样本图像块与第j个Gabor滤波器卷积后得到的代价函数值都是比较小的，那在后续的计算中就不考虑该Gabor滤波器。

(1.2)建立深度为七层的神经网络，前六层为限制玻尔兹曼机，第七层为聚类层，将步骤(1.1)得到的训练样本集作为网络的输入，训练得到网络的参数；

如图3所示，构造的深度神经网络为七层，前六层为限制玻尔兹曼机，用于学习特征的压缩表示，隐藏层神经元数分别为2048、1024、512、128、32、8，第七层为聚类层，用于对样本图像块按学习到的特征表示进行聚类。网络训练具体实现如下：

(1.2.1)第一层限制玻尔兹曼机RBM1的可见层结点数为K′，隐藏层结点数为N₁＝2048，能量函数定义为：

E⁽¹⁾(v⁽¹⁾，h⁽¹⁾)＝-(v⁽¹⁾)^T·W⁽¹⁾·h⁽¹⁾-(b⁽¹⁾)^T·v⁽¹⁾-(c⁽¹⁾)^T·h⁽¹⁾ (26)

其中T表示转置运算，为RBM1的可见层向量，为RBM1的隐藏层向量，为网络权值，为可见层偏置向量，为隐藏层偏置向量。对数似然函数为：

其中，θ⁽¹⁾＝{W⁽¹⁾，b⁽¹⁾，c⁽¹⁾}是RBM1的模型参数，υ^(1)(t)是RBM1的第t个输入样本。

对于给定的训练样本集，用梯度上升法求解能使l(θ⁽¹⁾)取得极大值的模型参数值，其中l(θ⁽¹⁾)对各参数的梯度计算公式为：

其中，通过从P(v⁽¹⁾，h⁽¹⁾)中进行L次马尔可夫蒙特卡罗采样估计。

第二层至第六层限制玻尔兹曼机的可见层结点数分别为2048，1024,512,128,32，第二层至第六层隐藏层结点数分别为1024,512,128,32,8。第二层至第六层玻尔兹曼机的训练方式与第一层相同。

(1.2.2)第七层聚类层，对输入的由M个8维二值向量描述的样本集按其所表示的二进制值进行聚类，值相同的归为同一类，从而可将输入样本集分为C个类别，并可得这C个类别对应的二进制值分别为b₁，b₂，…，b_C。

(2)模型检测阶段的实现步骤为：

(2.1)获取待测织物图像，对图像进行预处理得到待测样本集，如图4所示，具体实现如下：

(2.1.1)在织物幅宽方向，用工业相机采集待测织物图像，图像大小为2592×56；

(2.1.2)对于待测图像，按照从左至右方式得到Q幅56×56大小的待测图像块，各图像块间可不重叠，也可部分重叠，但必须覆盖整个待测图像区域；

(2.1.3)每幅待测图像块与步骤(1.1.3)中得到的K′个非全0分量所对应的Gabor滤波器卷积变换，然后得到能量图像，根据式(15)计算代价函数值，最后得到该幅待测图像块的K′维二值向量；

与步骤(1.1.3)中类似，引入稀疏性概念，将代价函数值在一定范围内的元素置为1，其余置为0。为使检测时的每个K′维向量中1的个数与训练时一样，将代价函数值大于或等于范围以上的元素置为1，其余置为0，从而得到一幅图像块的K′维二值向量；

(2.1.4)由待测图像的所有图像块就可得到Q个K′维二值向量，作为待测样本集。

(2.2)将图像预处理得到的待测样本集中每一样本向量分别作为深度神经网络的输入，得到每幅待测图像块的网络输出，计算8维二值向量输出的二进制值，若该值与训练网络时得到的输出b₁，b₂，…，b_C中的任何一个值都不相等，则判定待检测图像块中含有疵点；否则，判定该待检测图像块中没有疵点。

本发明根据实际工厂生产过程中，织物疵点图像一时难以获取的实际情况，采取先采集无疵点织物图像对模型进行训练，然后使用训练后的模型对织物图像进行检测的方法，能够满足工厂实际生产需要。

本发明的疵点检测方法可对经编织物提花类产品进行检测，在对新产品进行检测前，只要先对模型进行训练，得到模型参数，然后就可进行检测。对已经训练过的产品，可保存模型参数，以便下次再生产该织物时将保存的参数导入模型就可直接进行检测，无需再进行训练过程。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其步骤为：

(1)模型训练阶段；

(1.1)获取多幅无疵点织物图像，对图像进行预处理得到训练样本集；

(1.2)建立深度为七层的神经网络，前六层为限制玻尔兹曼机，第七层为聚类层，将步骤(1.1)得到的训练样本集作为网络的输入，训练得到网络的参数；

(2)模型检测阶段；

(2.1)获取待测织物图像，对图像进行预处理得到待测样本集；

(2.2)将图像预处理得到的待测样本集中每一样本向量分别作为深度神经网络的输入，得到每幅待测图像块的网络输出，最终得到疵点检测结果。

2.根据权利要求1所述的于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其特征在于：步骤(1.1)中预处理包括：

(1.1.1)在织物幅宽方向，用工业相机采集N幅无疵点织物图像，图像大小为2592×56，保存为原始训练图像；

(1.1.2)由每幅原始训练图像，按照从左至右方式，以步长1得到2537个56×56大小的样本图像块，则由N幅无疵点织物图像可得到M＝2537×N幅样本图像块；

(1.1.3)每幅样本图像块与一组Gabor滤波器卷积变换得到多幅滤波图像，计算每幅滤波图像的代价函数值；由每幅样本图像块可得到一个训练样本向量，由M幅样本图像块则得到M个训练样本向量。

3.根据权利要求2所述的于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其特征在于：步骤(1.1.3)中二维空间域Gabor滤波函数可表示为：

其中

x′＝x cosθ-y sinθ (2)

y′＝x sinθ+y cosθ (3)

σ_x和σ_y分别为高斯窗口在时域x轴与y轴上的标准差，λ为波长，θ为旋转角度；

根据σ_x、σ_y、λ和θ值的不同可构造一组K个Gabor滤波器，将这些滤波器分别与一幅样本图像块卷积变换，可得到K幅滤波后图像，计算得到K幅能量图像；假设滤波后图像为r(x，y)，一般情况下，该滤波后图像为复数图像，其能量图像E_r(x，y)可由下式得到：

其中r_Re(x，y)和r_Im(x，y)分别为图像r(x，y)的实部和虚部；

根据Fisher准则构造代价函数如下：

其中μ和σ分别为能量图像E_r(x，y)的均值和标准差；代价函数值的大小反映这幅样本图像块响应某个特定Gabor滤波器的程度；由此，每幅样本图像块对应得到K个代价函数值，构成一个K维向量；

对于一个K维向量，将代价函数值大于或等于30％范围以上的元素置为1，其余置为0，从而得到一个K维二值向量D_i＝{d_i1，d_i2，…，d_iK}；由M幅样本图像块可得到M个K维二值向量；

在M个K维二值向量中，压缩在所有样本中值均为0的分量，重新生成的M个K′维二值向量即为训练样本集；假如M个样本中第j维的所有分量均为0，即则表示M个样本图像块与第j个Gabor滤波器卷积后得到的代价函数值都是比较小的，那在后续的计算中就不考虑该Gabor滤波器。

4.根据权利要求3所述的于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其特征在于：步骤(1.2)中，训练步骤包括：

(1.2.1)第一层限制玻尔兹曼机RBM1的可见层结点数为K′，隐藏层结点数为N₁＝2048，能量函数定义为：

E⁽¹⁾(v⁽¹⁾，h⁽¹⁾)＝-(v⁽¹⁾)^T·W⁽¹⁾·h⁽¹⁾-(b⁽¹⁾)^T·v⁽¹⁾-(c⁽¹⁾)^T·h⁽¹⁾ (6)

其中T表示转置运算，为RBM1的可见层向量，为RBM1的隐藏层向量，为网络权值，为可见层偏置向量，为隐藏层偏置向量；对数似然函数为：

其中，θ⁽¹⁾＝{W⁽¹⁾，b⁽¹⁾，c⁽¹⁾}是RBM1的模型参数，v^(1)(t)是RBM1的第t个输入样本；

对于给定的训练样本集，用梯度上升法求解能使l(θ⁽¹⁾)取得极大值的模型参数值，其中l(θ⁽¹⁾)对各参数的梯度计算公式为：

其中， 通过从P(v⁽¹⁾，h⁽¹⁾)中进行L次马尔可夫蒙特卡罗采样估计；

第二层至第六层限制玻尔兹曼机的可见层结点数分别为2048，1024,512,128,32，第二层至第六层隐藏层结点数分别为1024,512,128,32,8。第二层至第六层玻尔兹曼机的训练方式与第一层相同。

(1.2.2)第七层聚类层，对输入的由M个8维二值向量描述的样本集按其所表示的二进制值进行聚类，值相同的归为同一类，从而可将输入样本集分为C个类别，并可得这C个类别对应的二进制值分别为b₁，b₂，…，b_C。

5.根据权利要求4所述的于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其特征在于：步骤(2.1)中预处理包括：

(2.1.1)在织物幅宽方向，用工业相机采集待测织物图像，图像大小为2592×56；

(2.1.2)对于待测图像，按照从左至右方式得到Q幅56×56大小的待测图像块，各图像块间可不重叠，也可部分重叠，但必须覆盖整个待测图像区域；

(2.1.3)每幅待测图像块与步骤(1.1.3)中得到的K′个非全0分量所对应的Gabor滤波器卷积变换，然后得到能量图像，根据式(5)计算代价函数值，最后得到该幅待测图像块的K′维二值向量；

(2.1.4)由待测图像的所有图像块就可得到Q个K′维二值向量，作为待测样本集。

6.根据权利要求5所述的于Gabor滤波和深度神经网络的经编提花织物疵点检测方法，其特征在于：步骤(2.1.3)中为使检测时的每个K′维向量中1的个数与训练时一样，将代价函数值大于或等于范围以上的元素置为1，其余置为0，从而得到一幅图像块的K′维二值向量。