CN114022442B - 一种基于无监督学习的织物疵点检测算法 - Google Patents

Abstract

本发明公开了一种基于无监督学习的织物疵点检测算法，涉及织物疵点检测领域，现提出如下方案，包括如下步骤：S1、设计自动编码器的重构模型，用于实现正常布匹图像的重构；所述重构模型由编码器和解码器两部分组成，编码器用于查找训练数据的压缩表示方法，解码器用于通过压缩信息进行原始数据的重构；S2、基于S1中自动编码器设计出基于高斯噪声约束的变分自动编码器，引入结构相似性指标并对其进行改进，利用改进的结构相似性指标与高斯噪声约束对重构模型进行训练，生成结构相似性残差图；S3、采用Gabor小波滤波方法对残差图进行缺陷定位。本发明可以有效的分割目标缺陷图像，相对于传统算法以及其他网络组合模型有更好的检测精度。

Description

一种基于无监督学习的织物疵点检测算法

技术领域

本发明涉及织物瑕疵检测领域，尤其涉及一种基于无监督学习的织物疵点检测算法。

背景技术

织物是棉纺织工业最终成型的产品，由纺纱工序中生产的各类纱线通过交叉，绕结和粘结关系构成。织物上的疵点数量是影响织物质量的主要因素，织物疵点的检测是现代纺织工业的重要环节。传统的织物检测方法是工人在普通的带有照明和传动带的验布设备前通过肉眼发现布面疵点，这种方法由于人的肉眼局限，检出率较低，验布速度缓慢，效率也低下。在传统的棉纺行业中，熟练的验布工人极少，对如何判别织物疵点的相关培训也基本依赖于工人的经验。

随着计算机技术的发展，机器视觉在织物疵点的检测中也得到了大量应用。在计算机视觉的角度上，织物上的疵点对织物的整体纹理特征没有显著的影响，从色彩、亮度、形态上，几乎无法通过统一的数学模型来描述。研究人员一般通过疵点和正常织物之间的典型区别来设计图像处理算法，但是在实际的应用中，疵点的数量与正常织物相比过少，导致样本搜集困难。另外，织物的面料相差非常大，需要对不同纹理的织物面料定制对应的图像处理算法，导致目前基于机器视觉的织物疵点检测存在很大的难度。为此我们设计出一种基于无监督学习的织物疵点检测算法，来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于无监督学习的织物疵点检测算法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于无监督学习的织物疵点检测算法，包括如下步骤：

S1、设计自动编码器的重构模型，用于实现正常布匹图像的重构；所述重构模型由编码器和解码器两部分组成，编码器用于查找训练数据的压缩表示方法，解码器用于通过压缩信息进行原始数据的重构；

S2、基于S1中自动编码器设计出基于高斯噪声约束的变分自动编码器，引入结构相似性指标并对其进行改进，利用改进的结构相似性指标与高斯噪声约束对重构模型进行训练，生成结构相似性残差图；

S3、采用Gabor小波滤波方法对残差图进行缺陷定位；

所述S1中的自动编码器框架可以由式(4-1)组成：

其中z是编码器的输出，定义它为隐向量，输出数据是重构后的图片，编码器的输出并不可见，

是解码器的重构输出，f是编码器，g是解码器，它们的参数均是通过卷积神经网络训练得到，假定自动编码器的损失函数为最小均方误差函数(MMSE)，式(4-1)可以重新定义为式(4-2)：

所述变分自动编码器(VAE)不生成隐向量，而是生成两个向量，一个是均值(μ)，另一个是标准差(σ)，同时还增加了一个由高斯分布空间产生的误差；

所述变分自动编码器将编码器部分引入贝叶斯概率相关概念，定义为编码器模型为q_φ(z|x)，即给定样本x情况下，输出符合某种分布的编码信息z的概率，计算公式如式4-3所示：

从式4-3可以看出，每一个输入样本xⁱ在编码器下对应有特殊的高斯分布，高斯分布的两个关键参数μ与σ通过卷积神经网络在深度学习基础上训练得到，考虑到输入图像和重建图像之间的分布差异，变分自动编码器定义损失函数为公式4-4：

其中p_θ(z)是变量z的先验分布，p_θ(x⁽ⁱ⁾|z)是解码器中给定z的情况下，输入x⁽ⁱ⁾的分布情况，而D_KL是Kullback-Leibler散度，用于衡量近似后验分布q_φ(z|x⁽ⁱ⁾)与p_θ(z)，使用KL散度也是变分自动编码器中变分的意义所在，KL散度定义如式(4-5)：

其中q_φ(z|x⁽ⁱ⁾)＝N(z；μ⁽ⁱ⁾，σ⁽ⁱ⁾)，代表给定输入x⁽ⁱ⁾，变分自动编码器网络中的编码器的输出分布；z为高斯分布。

优选的，所述高斯分布的重采样过程可以简化为从标准高斯分布

中随机抽取一个值ε，并加入z分布，令

其中μ⁽ⁱ⁾和σ⁽ⁱ⁾的值通过网络训练得到，这样z分布即可加入反向传播，采用重采样策略后的变分自动编码器模型损失函数可以简化为式(4-6)：

其中j是编码器输出的高斯分布向量个数，L为网络层数，属于自定义超参数。

优选的，在基于高斯噪声约束的变分自动编码器训练框架中，用Lp距离来比较输入图像和重建图像之间的差异，定义如式(4-7)所示：

其中x代表输入图片数据，

是重构的输出图片，h与w分别代表图片中的像素位置，在实际的应用中，一般选择p为1或者2，对应L1与L2损失；

所述结构相似性指标中关于纹理结构信息的计算步骤如下：定义亮度信息L，对比度C，结构信息S以及综合评价结构相似性指标如式(4-8)，(4-9)，(4-10)，(4-11)所示，其中，当

以及

接近0时，除法运算可能出现未知的错误，故C₁，C₂以及C₃用于保证分母不为零：

其中，μ_x以及

分别代表输入图像和重构图像的平均值；

其中，d_x以及

代表输入图像和重构图像的方差；

其中，

代表输入图像和输出图像之间的协方差；

其中，α，β，γ是用于控制亮度，对比度以及结构信息对于综合指标的影响权重，为了简化计算，设定它们的值为1，简化后的SSIM评价指标，即结构相似性指标如式(4-12)所示：

优选的，通过滑动窗口将图像分割成块，选择高斯函数计算每个窗口的均值，方差以及协方差，然后用SSIM计算对应块的结构相似性，加入窗口的SSIM计算方法也称为平均结构相似度(MSSIM)，加入结构相似性指标的综合损失函数定义如式(4-13)：

其中，w₀和w₁是权重，取值为0或者1。

优选的，在织物纹理特征提取上，采用Gabor二维滤波器，二维Gabor基本函数定义如式(4-14)：

h(x，y)＝s(x，y)g(x，y) (4-14)

其中s(x，y)是复数正弦部分，g(x，y)是高斯核函数，复数正弦部分定义为式(4-15)，高斯核函数定义为式(4-16)：

其中u₀与v₀分别代表频域u，v轴上的二维Gabor函数中心频率，σ_x与σ_y分别为Gauss窗在时域x，y轴上的标准差，空域上的h(x，y)函数变换为式(4-17)：

应的频域Gabor滤波器为式(4-18)：

其中：

σ_x与σ_y决定了Gabor滤波器的大小，将Gabor函数分解为实部和虚部两个分量h_R与h_I，对图像I滤波处理后得到：

其中，h*I代表图像I与Gabor滤波器分量的卷积操作，最后得到特征图像I′。

优选的，为了进一步提升计算效率，引入基于多分辨率分析的织物疵点检测方法，多分辨率分析主要是通过图像的小波变换实现，函数定义如式(4-21)：

h_mn(x，y)＝a^-mh(x′，y′) (4-21)

其中x′与y′定义如式(4-22)：

其中：

a^-m是尺度因子，m＝0，1，...，S-1，n＝0，1，...，K-1，S和K为尺度和方向上的数目，通过改变m和n的值，可以得到若干项不同方向，不同尺度上的Gabor小波滤波器，加入小波特性后的Gabor滤波器实部分量主要用于图像的平滑滤波，虚部用于边缘检测。

本发明的有益效果为：

在经典的编码器损失函数上引入图像相似性比较函数，引入了包含亮度比较，对比度比较以及结构差异的结构相似性指标函数SSIM，在此基础上改进损失函数用于训练VAE传统网络，主要用于改善网络的纹理结构生成能力，加入了SSIM损失后的编解码器提升了网络重构能力；利用重构图片与输入图片之间的结构相似性残差图，基于Gabor小波滤波器，设计了一种织物疵点定位算法，可以有效的分割目标缺陷图像，相对于传统算法以及其他网络组合模型有更好的检测精度。

附图说明

图1为本发明中TILDA数据库典型样本：(a)-(b)C1类别、(c)-(d)C2类别、(e)-(f)C3类别；

图2为本发明中典型缺陷样本：(a)破洞、(b)节纱、(c)起球、(d)异纤、(e)TILDAC3R1、(f)并纬、(g)TILDAC1R1、(h)TILDAC3R3、(i)穿错、(j)断疵；

图3为本发明中正常样本及其缺陷样本(a)样本A(b)样本B；

图4为本发明中样本A以及样本B的训练损失曲线：(a)损失函数为L2、(b)损失函数为SSIM、(c)损失函数为L2SSIM；

图5为本发明中训练过程中的重构图像：(a)样本A的重构图像(L2损失)、(b)样本B的重构图像(L2损失)；

图6为本发明中样本A在不同重构函数下的检测精度；

图7为本发明中样本B的检测输出；

图8为本发明中典型样本检测示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

一种基于无监督学习的织物疵点检测算法，包括如下步骤：

S1、设计自动编码器的重构模型，用于实现正常布匹图像的重构；所述重构模型由编码器和解码器两部分组成，编码器用于查找训练数据的压缩表示方法，解码器用于通过压缩信息进行原始数据的重构；

S2、基于S1中自动编码器设计出基于高斯噪声约束的变分自动编码器，引入结构相似性指标并对其进行改进，利用改进的结构相似性指标与高斯噪声约束对重构模型进行训练，生成结构相似性残差图；

S3、采用Gabor小波滤波方法对残差图进行缺陷定位。

基于深度学习的自动编码器(AutoEncoder，AE)通过正常样本来进行无监督学习训练的神经网络模型。它由编码器和解码器两部分组成，如图4-3所示。编码器用于查找训练数据的压缩表示方法，解码器用于通过压缩信息进行原始数据的重构，在训练过程中，解码器会约束编码器选择信息量最大，表达能力最强的特征并保存在输出的压缩信息中。

所述S1中的自动编码器框架可以由式(4-1)组成：

其中z是编码器的输出，定义它为隐向量，输出数据是重构后的图片，编码器的输出并不可见，

是解码器的重构输出，f是编码器，g是解码器，它们的参数均是通过卷积神经网络训练得到，假定自动编码器的损失函数为最小均方误差函数(MMSE)，式(4-1)可以重新定义为式(4-2)：

自动编码器的训练目的和分类算法等经典网络结构类似，期望使输入和输出的分布差异最小，在反向传播框架下更新网络参数。

所述变分自动编码器(VAE)不生成隐向量，而是生成两个向量，一个是均值(μ)，另一个是标准差(σ)，同时还增加了一个由高斯分布空间产生的误差；

所述变分自动编码器将编码器部分引入贝叶斯概率相关概念，定义为编码器模型为q_φ(z|x)，即给定样本x情况下，输出符合某种分布的编码信息z的概率，计算公式如式4-3所示：

从式4-3可以看出，每一个输入样本xⁱ在编码器下对应有特殊的高斯分布，高斯分布的两个关键参数μ与σ通过卷积神经网络在深度学习基础上训练得到，考虑到输入图像和重建图像之间的分布差异，变分自动编码器定义损失函数为公式4-4：

其中p_θ(z)是变量z的先验分布，p_θ(x⁽ⁱ⁾|z)是解码器中给定z的情况下，输入x⁽ⁱ⁾的分布情况，而D_KL是Kullback-Leibler散度，用于衡量近似后验分布q_φ(z|x⁽ⁱ⁾)与p_θ(z)，使用KL散度也是变分自动编码器中变分的意义所在，KL散度定义如式(4-5)：

其中q_φ(z|x⁽ⁱ⁾)＝N(z；μ⁽ⁱ⁾，σ⁽ⁱ⁾)，代表给定输入x⁽ⁱ⁾，变分自动编码器网络中的编码器的输出分布；z为高斯分布，选择高斯分布主要原因是相对于其他分布，例如伯努利分布，均值分布等，高斯分布可以容纳更多的表达信息，而且计算简单，最主要的是可以在训练过程中使用重采样技巧使整体网络可以加入反向传播训练。

所述高斯分布的重采样过程可以简化为从标准高斯分布

中随机抽取一个值ε，并加入z分布，令

其中μ⁽ⁱ⁾和σ⁽ⁱ⁾的值通过网络训练得到，这样z分布即可加入反向传播，采用重采样策略后的变分自动编码器模型损失函数可以简化为式(4-6)：

其中j是编码器输出的高斯分布向量个数，L为网络层数，属于自定义超参数。通过式(4-6)简化的损失函数，VAE将高斯噪声也参与到卷积神经网络的训练中。

综上所述，VAE与AE之间的主要区别是VAE是具有概率性质的生成模型，AE结构为不具有概率基础的确定性判别模型。两者均通过训练编码器和解码器的网络参数，使损失函数误差最小化。利用该模型参数对输入图像重构，再对重构图像以及输入图像之间的残差图进一步处理，以检测是否存在缺陷。

在基于高斯噪声约束的变分自动编码器训练框架中，一般用Lp距离来比较输入图像和重建图像之间的差异，定义如式(4-7)所示：

其中x代表输入图片数据，

是重构的输出图片，h与w分别代表图片中的像素位置，在实际的应用中，一般选择p为1或者2，对应L1与L2损失。

式(4-7)中的Lp距离是在每个像素点之间进行比较，用于比较图像之间的像素级关系，计算简单，反向传播的求导也易实现，在图像差异评估中应用非常广泛。但是Lp距离对图像之间亮度差异非常敏感，不能准确地描述相邻像素间的关系，无法建立整体或局部间的纹理特征描述，只有当相邻像素完全独立或相关性较小时，Lp距离损失才有很大的参考价值。而织物的纹理特征与结构联系紧密，相邻像素相关性较强，不适合使用Lp距离来描述。

对织物疵点检测而言，期望的是输出的重构图片能够完全的构造输入样本的纹理特征，也就是在输入样本无缺陷情况下，输出的重构图片与输入样本纹理上，结构上、亮度上、色彩空间分布上越接近越好。如果输入的样本存在缺陷，重构网络没有重构缺陷特征的能力，只会在图像特征上进行正常纹理恢复处理，导致重构图片与缺陷输入图片存在差异。

在重构图像的评价上，使用结构相似性指标(Structuralsimilarityindexmeasurement，SSIM)可以更准确的描述重构与输入的相似性，SSIM从亮度，图像对比度，结构性三个方面来评估重建图片的质量指标，使用的是一种基于人眼视觉特征的度量方法。

所述结构相似性指标中关于纹理结构信息的计算步骤如下：首先，图片的结构信息不受光照影响，因此需要去除亮度信息，即减去图像亮度的平均值。其次，图像结构信息不受图像对比度的影响，因此在计算结构信息时，需要对图像的方差进行归一化处理。定义亮度信息L，对比度C，结构信息S以及综合评价结构相似性指标如式(4-8)，(4-9)，(4-10)，(4-11)所示，其中，当

以及

接近0时，除法运算可能出现未知的错误，故C₁，C₂以及C₃用于保证分母不为零：

其中，μ_x以及

分别代表输入图像和重构图像的平均值；

其中，d_x以及

代表输入图像和重构图像的方差；

其中，

代表输入图像和输出图像之间的协方差；

其中，α，β，γ是用于控制亮度，对比度以及结构信息对于综合指标的影响权重，为了简化计算，设定它们的值为1，简化后的SSIM评价指标，即结构相似性指标如式(4-12)所示：

通过整张图片的数据来计算SSIM会导致计算量过大，同时包含全部图像元素的均值与方差在SSIM计算中会引起细节的丢失，一般小的织物疵点差异特征无法凸显，导致后续检测困难。

我们使用滑动窗口将图像分割成块，考虑到窗口形状对于图像块数据的影响，选择高斯函数计算每个窗口的均值，方差以及协方差，然后用SSIM计算对应块的结构相似性。最后，以所有块的SSIM分布作为两幅图像的结构相似性残差图。

加入窗口的SSIM计算方法也称为平均结构相似度(MSSIM)，为简化讨论，下文涉及到的SSIM默认为MSSIM计算方法。加入结构相似性指标的综合损失函数定义如式(4-13)：

其中，w₀和w₁是权重，取值为0或者1。

如果将输出的残差图直接使用自适应二值化分割，会引入相当多的噪点，这是由于输入图像与重构图像之间的信息差异造成。在织物疵点属性上，与正常样本区别较多的是纹理差异，LBP^[102]因其计算简单，对光照变化不敏感，具有旋转不变特性，在人脸检测以及织物疵点检测中应用较多。但是实际的织物图像一般存在光照强度的变化，在这一类织物的纹理检测上，LBP就无法反应真实的纹理差异；另外，LBP对目标的方向特征依赖较强，根据不同的缺陷方向，需要修改LBP形状，导致算法应用存在局限性。

在织物纹理特征提取上，Gabor滤波器的应用非常广泛。Gabor滤波器能够兼容图像频率域以及空间域的分辨率分析，同时对局部图像的频域和时域提取特征。图像处理上主要使用Gabor二维滤波器处理，二维Gabor基本函数定义如式(4-14)：

h(x，y)＝s(x，y)g(x，y) (4-14)

其中s(x，y)是复数正弦部分，g(x，y)是高斯核函数，复数正弦部分定义为式(4-15)，高斯核函数定义为式(4-16)：

其中u₀与v₀分别代表频域u，v轴上的二维Gabor函数中心频率，σ_x与σ_y分别为Gauss窗在时域x，y轴上的标准差，空域上的h(x，y)函数变换为式(4-17)：

应的频域Gabor滤波器为式(4-18)：

其中：

σ_x与σ_y决定了Gabor滤波器的大小，将Gabor函数分解为实部和虚部两个分量h_R与h_I，对图像I滤波处理后得到：

其中，h*I代表图像I与Gabor滤波器分量的卷积操作，最后得到特征图像I′。

Gabor滤波器通过模拟人类视觉系统，将图像分解成一组滤波图像，每个分解图像在局部范围提取频率域与时空域的变化，用这种方式提取纹理特征。但是Gabor滤波器是非正交的，不同特征分量之间存在相当多的重复信息，导致在实际应用中计算效率不高，在细小疵点的检测上存在纹理信息丢失问题。

为了进一步提升计算效率，能够更深层次的分析残差图中的纹理细小差异。因良好的通用性，基于多分辨率分析的织物疵点检测方法在织物细小瑕疵的纹理检测上应用较多。多分辨率分析主要是通过图像的小波变换实现，函数定义如式(4-21)：

h_mn(x，y)＝a^-mh(x′，y′) (4-21)

其中x′与y′定义如式(4-22)：

其中：

a^-m是尺度因子，m＝0，1，...，S-1，n＝0，1，...，K-1，S和K为尺度和方向上的数目。通过改变m和n的值，可以得到若干项不同方向，不同尺度上的Gabor小波滤波器，加入小波特性后的Gabor滤波器实部分量主要用于图像的平滑滤波，虚部用于边缘检测。本发明主要使用的是Gabor滤波器边缘部分，利用方向特性，检测残差图中织物纹理差异。

Gabor小波变换具有多分辨率特性，即使用数学模型方法对图像变焦分析。利用多通道滤波器，设计不同时域频域特性的Gabor小波滤波器，从每个通道中获得残差图的局部特性，在粗细粒度不同的纹理差异中寻找目标信息。

本发明在Gabor小波滤波器参数σ的选择上，与训练损失函数的SSIM高斯窗标准差一致，并采用一个偏移阈值常数进行阈值误差校正。利用该Gabor小波滤波器(GaborWT)滑动窗的计算方式，解决二值化分割或LBP算子分割的不稳定问题，同时也可以保留每个图像块的细节信息，避免信息占比较少的织物疵点丢失。

为了验证上述算法的可行性，发明人进行大量试验对比与分析，并将实验数据记录如下：

织物疵点数据集

织物瑕疵由于种类过多，不同纹理下图像特征差异也很大，目前缺乏大量公开且具有代表性的织物疵点的数据集。

在公开数据集上，我们使用TILDA进行验证，TILDA(TextileTextureDatabase)是在德国研究团体DFG(Deustscheforschungsgeeminschaft)主要研究项目“技术对象的自动视觉检测”的纹理分析工作组框架内开发的，用于识别和区分不同种类的纹理。

TILDA公开数据集一共有8种具有代表性的纺织品，通过人工标记与实际比对，确定了7种错误类别。在本发明的瑕疵检测算法实验中，使用的主要是TILDA公开数据集中的C1，C2，C3三种类别。C1的织物共有两种，属于简单且平滑的纹理特征，C2是两种纺织较为粗糙的织物，其中C2的R3上交织的经纬线之间缝隙较大，纹理特征较复杂。C3主要有方格纹理以及斜条纹纹理的织物组成，特征重复性较强。

TILDA中每一类织物共包含8种缺陷情况，其中0号为无缺陷样本，1～4代表4种不同缺陷的样本数据，5～8是实际生产过程中可能产生的干扰样本，一般为光照阴影，或织布过程中由于机器不稳定产生的折痕等，用于测试算法稳定性。

典型的TILDA数据库无缺陷样本如图1所示。

我们还在现场采集了大量的样本，制作自己的数据集TF2113-12。该数据集包含缺陷样本共计430张图片，9种代表性的瑕疵类别。在实际生产线上，采集的瑕疵种类一般都会超过数据集中的类别，本发明选取的是其中最具代表性，也是目前棉纺织工艺中出现最多的几种缺陷。如表1-1所示。

表1-1自采数据集TF2113-12缺陷样本明细

从图2可以看出，自采数据集中大量缺陷的图像特征比较接近正常样本，例如竹节纱，主要是精纺车间的机械罗拉调整过紧引起，导致出现类似竹节状的瑕疵，本身它不产生新的色彩特征点，只是破坏了原有的织物纹理。破洞和TILDAC3R3系列较容易检测，它们直接在正常样本上增加了亮度的显著性变化。

经典疵点检测算法对比分析

本发明选取了具有一定在线实时检测能力的典型算法，包括常见的Gabor滤波器，Wavelet以及使用较广的ICA(独立成分分析)算法。

我们选择了一种简单的准确度描述方式，即检测准确率，它是信息检索和统计分类中最常用的一种度量方法，检测准确率的表达式如(4-24)。

其中Tp是所有检测到的缺陷目标总数，Fp是算法认为是缺陷，但是实际上属于正常样本的总数，即误检总数。计算结果Dp定义为检测准确率。式(4-24)中计算的检测准确率不关注每一个像素是否分类准确，关注的是算法检测到缺陷的能力，更符合实际应用场景。

表1-2和表1-3比较了经典算法与本发明算法在TILDA数据集和自采数据集上的检测结果。

表1-2TILDA数据集上的检测结果(最好的结果加粗显示)

表1-3自采数据集上的检测结果(最好的结果加粗显示)

从两个数据集的检测结果得到如下结论：(1)大多数缺陷类别使用L2SSIM做损失函数的网络检测准确率最高；(2)某些类别上SSIM的检测性能会超过L2SSIM，但是二者一般相差不大；(3)VAE的性能略高于AE，不过在很明显缺陷的类别上，比如自采数据集中的油污，异纤类别，VAE与AE结构在检测效果上非常接近；(4)在油污和破洞等产生了与正常样本亮度出现明显差异的类别中，使用L2也有不错的效果；(5)在断疵、粗纬等不产生亮度差异，而仅破坏了织物纹理的类别上，需使用SSIM才能有较好的检测准确率(93.3％与93.7％)。

本发明的算法(基于SSIM重构的无监督检测)在三类数据中均有不错的检测率，特别是在瑕疵不明显的数据集中，检测效果相对于经典图像处理算法，在检测稳定性以及性能上实现了较好的平衡。自采数据集上各算法性能表现与TILDA数据集一致，在某些缺陷较明显的数据类别中，例如油污、破洞等，ICA特征容易提取，检测效果也是最好的。而在瑕疵不明显的数据上，例如经纬线等相关类别上，ICA检测性能不佳，Gabor在这类方向特征明显的缺陷上有较好的检测率。而基于深度学习的检测算法检测较为稳定，特别是在某些瑕疵本身不存在色彩差异，而只破坏了背景纹理的数据类别上，有最佳的检测性能。

重构函数对检测结果的影响

本发明在网络框架上选择了GAN网络中应用较广的金字塔模型DCGAN。DCGAN的每层网络参数设计为2的幂级数，如果更改了第一层的参数个数，后续层可以自动修改。第一层参数越大，网络越深，训练收敛更快，性能也更优秀，但是会导致计算时间增加，而且很多简单的纹理并不需要过深的网络，容易出现过拟合现象。

表1-4和表1-5是实际运行过程中典型的两种不同网络，表1-4图像输入大小为128，初始层网络核数目为64，用于较复杂分布的织物纹理，表1-5输入图像也是128，但是修改初始层网络核数目为32，用于简单分布的织物纹理。

事实上，两者并不是一定严格对应纹理的复杂程度，表1-5也可用于复杂纹理的检测，只是相对于表1-4，网络参数更少，训练时间延长，但是减少了计算量，在检测精度未明显下降的情况下提升检测效率。在实际应用中，需要结合织物纹理特征，选择适合的网络参数。

表1-4复杂纹理检测使用的典型网络结构

表1-5简单纹理检测使用的典型网络结构

表1-4中的网络初始层的核数目较大，网络层次也较深，整体参数量要大于表1-5。我们使用了两种典型的样本来描述训练过程，样本A(图3.a)的纹理特征重复性强，变化简单，考虑系统处理时间要求，使用表作为样本A的训练网络，而样本B(图3.b)纹理特征更为复杂，变化的内容较多，故使用表1-5作为样本B的训练网络。

在训练过程中，为了在样本B上获取更多的全局纹理特征，可以使用多尺度训练方式，先使用较大的抓取尺寸生成采样样本，例如，使用512×512大尺度抓取图像，再下采样到固定的输入图像尺寸，获得不同尺度上的纹理特征分布，在训练阶段针对不同尺度特征进行学习，在检测阶段中增强重构能力。本发明比较了两个样本集在不同网络架构以及损失函数组合下的性能，包含它们的训练时间，预测阶段中的重构耗时以及检测精度。

图4展示了不同损失函数组合的情况下样本A和样本B的训练损失曲线。

从图4中得到结论如下：(1)当训练轮次达到设定的最大值200时，两个样本都可收敛。(2)VAE和AE在损失函数中加入SSIM可以使下降损失更加平滑和稳定，如图4.b和图4.c。(3)当损失函数仅仅使用L2时，如图4.a，VAE与AE都会出现较多的尖锐点，图5展示了这些尖锐点的重构图像。

如图5所示，在尖锐点出现之前，样本A训练模型输出的重建图像只有一个方向上的纹理得到重构，当模型在垂直方向重建特征时，会出现尖锐点。同样的过程也在样本B的训练过程出现，当重建图像出现对角线方向上的纹理时，也出现了尖锐点。

需要注意的是，这种现象并不是一定会发生。但在对样本A，样本B这种简单的纹理图像训练测试时，这种现象出现频率较高，图4的训练损失曲线非常具有代表性，可以观察到网络重构能力在训练过程中逐渐加强。

最后，图4的损失曲线分布上VAE的训练损失计算结果通常大于AF，这主要是由于VAE除了L2，SSIM等损失之外，还包含了KL散度损失计算，VAE通过KL散度约束训练图像样本的压缩编码特征分布，对噪声分布也进行了训练。当网络训练轮次到达一定次数时，损失曲线开始变得平滑，不再减少或者很缓慢的减少，此时认为系统可以进入检测阶段。或者当达到预定的阈值(根据用户指定参数计算)时，停止训练，保存编解码器模型参数，进入检测阶段。

评估过程中本发明使用样本集A以及样本集B中的已人工标记好的缺陷样本作为验证数据集，将有缺陷图像作为输入，再经过训练后的编解码器模型处理，得到重构后的图像，最后再使用Gabor小波滤波器处理重构图像与输入图像之间的残差图，确定缺陷位置。样本A以及样本B的检测结果如图6所示。网络结构使用VAE。

由图6与图7得到如下结论：(1)L2SSIM的组合在两种样本上的检测准确率最高。(2)当使用L2作为损失函数训练网络时，重构图像与输入图像的残差图主要体现在两者的像素亮度差异，如果缺陷部分的亮度与训练集样本亮度相差不大，则残差图所体现的差异不够明显，不利于下一步图像分割算法的设计。(3)当算法使用SSIM训练VAE时，残差图的缺陷部分相对于仅使用L2时更为明显。缺陷部分中除了少量的亮度差异之外，结构上的区别更多，主要原因是该缺陷样本对正常织物造成的影响集中在纹理特征上。(4)与仅使用L2作为损失函数进行织物疵点检测网络训练相比，使用SSIM的方法在检测上更具有优势。(5)L2可以有效地去除重建图像上的异常亮度像素点，因此使用L2SSIM可以综合二者的优点。与仅有SSIM的输出相比，L2SSIM的组合突出了纹理遭到破坏之后的缺陷特征，同时还有效地去除了重构产生的突变噪声点，使整体残差图在缺陷的特征上更集中，方便后续残差图缺陷定位。

图8展示了一些典型样本的检测输出结果。基于结构相似性的检测算法可以生成特征较明显的残差图，Gabor小波利用其纹理差异提取能力，能实现较好的检测效果。图8.e中，重构图像仍然可以看到输入图像的缺陷特征，主要原因是无监督网络学习的正样本与这类仅破坏了纹理结构的缺陷(节纱，经缩)图像分布接近，编码器一定程度上重构了缺陷。但是SSIM是在亮度、对比度和结构相似度三个指标上对重构图像进行评价，残差图上仍可得到较明显的差异，再基于Gabor小波缺陷定位方法，得到正确的检测结果。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于无监督学习的织物疵点检测算法，其特征在于，包括如下步骤：

S1、设计自动编码器的重构模型，用于实现正常布匹图像的重构；所述重构模型由编码器和解码器两部分组成，编码器用于查找训练数据的压缩表示方法，解码器用于通过压缩信息进行原始数据的重构；

S2、基于S1中自动编码器设计出基于高斯噪声约束的变分自动编码器，引入结构相似性指标并对其进行改进，利用改进的结构相似性指标与高斯噪声约束对重构模型进行训练，生成结构相似性残差图；

S3、采用Gabor小波滤波方法对残差图进行缺陷定位；

所述S1中的自动编码器框架可以由式(4-1)组成：

其中z是编码器的输出，定义它为隐向量，输出数据是重构后的图片，编码器的输出并不可见，

是解码器的重构输出，f是编码器，g是解码器，它们的参数均是通过卷积神经网络训练得到，假定自动编码器的损失函数为最小均方误差函数(MMSE)，式(4-1)可以重新定义为式(4-2)：

所述变分自动编码器(VAE)不生成隐向量，而是生成两个向量，一个是均值(μ)，另一个是标准差(σ)，同时还增加了一个由高斯分布空间产生的误差；

所述变分自动编码器将编码器部分引入贝叶斯概率相关概念，定义为编码器模型为q_φ(z|x)，即给定样本x情况下，输出符合某种分布的编码信息z的概率，计算公式如式4-3所示：

从式4-3可以看出，每一个输入样本xⁱ在编码器下对应有特殊的高斯分布，高斯分布的两个关键参数μ与σ通过卷积神经网络在深度学习基础上训练得到，考虑到输入图像和重建图像之间的分布差异，变分自动编码器定义损失函数为公式4-4：

其中p_θ(z)是变量z的先验分布，p_θ(x⁽ⁱ⁾|z)是解码器中给定z的情况下，输入x⁽ⁱ⁾的分布情况，而D_KL是Kullback-Leibler散度，用于衡量近似后验分布q_φ(z|x⁽ⁱ⁾)与p_θ(z)，使用KL散度也是变分自动编码器中变分的意义所在，KL散度定义如式(4-5)：

其中q_φ(z|x⁽ⁱ⁾)＝N(z；μ⁽ⁱ⁾，σ⁽ⁱ⁾)，代表给定输入x⁽ⁱ⁾，变分自动编码器网络中的编码器的输出分布；z为高斯分布。

2.根据权利要求1所述的一种基于无监督学习的织物疵点检测算法，其特征在于，所述高斯分布的重采样过程可以简化为从标准高斯分布

中随机抽取一个值ε，并加入z分布，令

其中μ⁽ⁱ⁾和σ⁽ⁱ⁾的值通过网络训练得到，这样z分布即可加入反向传播，采用重采样策略后的变分自动编码器模型损失函数可以简化为式(4-6)：

其中j是编码器输出的高斯分布向量个数，L为网络层数，属于自定义超参数。

3.根据权利要求1所述的一种基于无监督学习的织物疵点检测算法，其特征在于，在基于高斯噪声约束的变分自动编码器训练框架中，用Lp距离来比较输入图像和重建图像之间的差异，定义如式(4-7)所示：

其中x代表输入图片数据，

是重构的输出图片，h与w分别代表图片中的像素位置，在实际的应用中，一般选择p为1或者2，对应L1与L2损失；

所述结构相似性指标中关于纹理结构信息的计算步骤如下：定义亮度信息L，对比度C，结构信息S以及综合评价结构相似性指标如式(4-8)，(4-9)，(4-10)，(4-11)所示，其中，当

以及

接近0时，除法运算可能出现未知的错误，故C₁,C₂以及C₃用于保证分母不为零：

其中，μ_x以及

分别代表输入图像和重构图像的平均值；

其中，d_x以及

代表输入图像和重构图像的方差；

其中，

代表输入图像和输出图像之间的协方差；

其中，α,β,γ是用于控制亮度，对比度以及结构信息对于综合指标的影响权重，为了简化计算，设定它们的值为1，简化后的SSIM评价指标，即结构相似性指标如式(4-12)所示：

4.根据权利要求3所述的一种基于无监督学习的织物疵点检测算法，其特征在于，通过滑动窗口将图像分割成块，选择高斯函数计算每个窗口的均值，方差以及协方差，然后用SSIM计算对应块的结构相似性，加入窗口的SSIM计算方法也称为平均结构相似度(MSSIM)，加入结构相似性指标的综合损失函数定义如式(4-13)：

其中，w₀和w₁是权重，取值为0或者1。

5.根据权利要求1所述的一种基于无监督学习的织物疵点检测算法，其特征在于，在织物纹理特征提取上，采用Gabor二维滤波器，二维Gabor基本函数定义如式(4-14)：

h(x，y)＝s(x，y)g(x，y) (4-14)

其中s(x，y)是复数正弦部分，g(x，y)是高斯核函数，复数正弦部分定义为式(4-15)，高斯核函数定义为式(4-16)：

其中u₀与v₀分别代表频域u，v轴上的二维Gabor函数中心频率，σ_x与σ_y分别为Gauss窗在时域x，y轴上的标准差，空域上的h(x，y)函数变换为式(4-17)：

应的频域Gabor滤波器为式(4-18)：

其中：

σ_x与σ_y决定了Gabor滤波器的大小，将Gabor函数分解为实部和虚部两个分量h_R与h_I，对图像I滤波处理后得到：

其中，h*I代表图像I与Gabor滤波器分量的卷积操作，最后得到特征图像I′。

6.根据权利要求5所述的一种基于无监督学习的织物疵点检测算法，其特征在于，为了进一步提升计算效率，引入基于多分辨率分析的织物疵点检测方法，多分辨率分析主要是通过图像的小波变换实现，函数定义如式(4-21)：

h_mn(x，y)＝a^-mh(x′，y′) (4-21)

其中x′与y′定义如式(4-22)：

其中：

a^-m是尺度因子，m＝0，1，...，S-1，n＝0，1，...，K-1，S和K为尺度和方向上的数目，通过改变m和n的值，可以得到若干项不同方向，不同尺度上的Gabor小波滤波器，加入小波特性后的Gabor滤波器实部分量主要用于图像的平滑滤波，虚部用于边缘检测。

Images