CN110544253B - 基于图像金字塔和列模板的织物瑕疵检测方法 - Google Patents

Abstract

本发明涉及一种基于图像金字塔和列模板织物瑕疵检测方法，包括以下步骤：步骤S1：采集织物图像数据集，并构建无瑕疵样本的图像金字塔，得到多尺度图像块的集合作为训练集;步骤S2:将训练集进行预处理，并搭建和训练SDCAE图像重构模型;步骤S3:对待检图像进行分块操作，将待检图像块输入图像重构模型中，得到对应的重构图像块；步骤S4:对待检图像和重构图像进行更细粒度分块，计算出分块后的待检图像和重构图像的相似性度量矩阵，粗定位瑕疵图像块；步骤S5:构建待检分块图像的列模板集合，细定位瑕疵块，得到最终的检测结果。本发明可以应用于周期性织物瑕疵检测，纯色织物检测，检测效果好精度高。

Description

基于图像金字塔和列模板的织物瑕疵检测方法

技术领域

本发明涉及深度学习与计算机视觉领域，具体涉及一种基于图像金字塔和列模板的织物瑕疵检测方法。

背景技术

纺织品瑕疵检测是控制产品质量的重要内容,纺织品的质量好坏直接关系到纺织企业的生产成本与经济效益。目前很多企业仍然通过雇佣员工进行人工检测，人眼易疲劳，容易产生漏检的情况。由于纺织品种类繁多、疵点形状各异，导致检测难度增大。因此,研究计算机视觉等技术进行智能检测具有重要的意义,使得纺织品的质量得以提高，生产成本降低。

纺织品按照纹理不同可以分为2类织物类型:1)结构简单,纯色织物的纺织品。2)含有复杂的周期性图案信息。由于织物图像易受光照、角度等外在因素和周期图案复杂等内在因素影响，目前还没有一个完整能够有效检测出各类疵点的算法，因此实用的新算法开发是一个重要的研究课题。

发明内容

有鉴于此，本发明的目的在于提供一种基于图像金字塔和列模板织物瑕疵检测方法，可以提高织物瑕疵区域的定位精度。

为实现上述目的，本发明采用如下技术方案：

一种基于图像金字塔和列模板织物瑕疵检测方法，包括以下步骤：

步骤S1：采集织物图像数据集，并构建无瑕疵样本的图像金字塔，得到多尺度图像块的集合作为训练集；

步骤S2:将训练集进行预处理，并搭建和训练SDCAE图像重构模型；

步骤S3:对待检图像进行分块操作，将待检图像块输入图像重构模型中，得到对应的重构图像块；

步骤S4:对待检图像和重构图像进行更细粒度分块，计算出分块后的待检图像和重构图像的相似性度量矩阵，粗定位瑕疵图像块；

步骤S5:构建待检分块图像的列模板集合，细定位瑕疵块，得到最终的检测结果。

进一步的，所述步骤S1具体为：

步骤S11:收集公开的织物图像数据集，并获得相关的图像和人工标记；

步骤S12:将数据集中的无瑕疵图像集合I_train下采样成不同的尺寸大小的图像，构建每类纹理织物的无瑕疵图像的拉普拉斯图像金字塔；

步骤S13:采用固定大小(r*c)的滑动窗口等比例地在金字塔的各层级图像上随机提取图像块，得到图像块的集合，记为训练集X。

进一步的，所述步骤S2具体为：

步骤S21:将训练集X中的每个图像块x都加上随机噪声noise，得到预处理后的训练集X+noise，作为SDCAE图像重构模型训练集；

步骤S22:SDCAE图像重构模型使用堆栈式连接的多个卷积层来取代传统自编码器的隐藏层，图像重构模型包含必要的两个部分，编码器部分和解码器部分，编码器部分是具有三轮卷积、池化操作的卷积神经网络；解码器是对称的三轮上采样层与卷积层构成；

SDCAE图像重构模型如下式所示:

h⁽⁰⁾＝X+noise (1)

h^(l-1)＝U(h^(l-1)) l＝4,…6 (2)

h^(l)＝P(h^(l)) l＝1,2,…3 (4)

Y＝h⁽⁶⁾ (5)

其中h^(l)表示第l层卷积层的输出，

b^(l)表示第l层的卷积层的权重，偏移，σ(·)表示激活函数，U(·)表示上采样操作，P(·) 表示池化操作，*表示卷积操作，Y表示模型的输出；

步骤S23:微调预训练模型各个卷积层的参数和网络深度，网络训练阶段的损失函数定义为输入的图像块集合X和重构图像块集合Y的欧几里得距离，通过最小化该损失函数值来寻找局部最小点，使得模型收敛，完成模型权重的训练。

进一步的，所述步骤S3具体为：

步骤S31:对待检图像集合I_test中的每一张大小为R*C的图像 A都按照固定大小(r*c)分块，记为

其中

步骤S32:将A中的每一个r*c大小的图像块 A_i,j(1≤i≤m,1≤j≤n)送入SDCAE模型，得到对应的重构图像块A′_i,j，形成A的重构图像

进一步的，所述步骤S4具体为：

步骤S41:对A与A′重新按r′*c′(r′<r,c′<c)大小分块，分别记作

其中

步骤S42:计算A与A′的相似性度量矩阵

其中s_i,j＝SSIM(B_i,j,B′_i,j)，(1≤i≤m′,1≤j≤n′)，SSIM公式如下：

其中u_p、

分别是P的平均值、方差，u_R、

分别是Q的平均值、方差，δ_PQ是P和Q的协方差，c1、c2为常数；SSIM的取值范围为0到1，若SSIM的值等于1，则表示两个图像块高度相似；

步骤S43:设定阈值T_s，将S矩阵中小于T_s的s_i,j所对应的原始图像的图像块B_i,j粗定位为瑕疵块,记为C_i,j。

进一步的，所述T_s的选择方法如下：利用瑕疵块与无瑕疵块数目大致服从正态分布，依据所有待检图像分块的s_i,j构建相似性度量值分布直方图，寻找T_s使得直方图中的瑕疵图像块与无瑕疵图像块分隔开。

进一步的，所述步骤S5具体为：

步骤S51:计算待检图像A的列方向平均模板

步骤S52:利用瑕疵块和无瑕疵块同列模板的差异性来进一步区分粗定位瑕疵块是否为真正的瑕疵块，差异值越小说明该图像块为瑕疵块的概率越低；

步骤S53:对于粗定位瑕疵块C_i,j；需要计算其与对应的列模板

的差异值

dist(·)使用曼哈顿距离，若C_i,j为真正的瑕疵块,则

会大于预设值，反之，若C_i,j为误检的无瑕疵块，过滤掉那些差异值小于预设值的C_i,j降低误检率，从而得到最终的检测结果。

本发明与现有技术相比具有以下有益效果：

1、本发明可以提高织物瑕疵区域的定位精度，适用于第1类纯色织物与第2类周期纹理织物的瑕疵检测，在训练阶段每类织物仅需要几百张无瑕疵样本图像就能够完成模型训练，并提供基于图像块级别的检测结果。

2、本发明构建原始无瑕疵样本的拉普拉斯金字塔来提取图像块，作为图像重构模型的输入，由于来自金字塔不同层级的图像块保留了顶层图像的全局特征，同时还兼备底层图像丰富的细节特征，使得模型训练的权重更充分，重构效果优于传统的图像重构模型。

3、本发明既利用了无瑕疵图像块重构前后的自相似性来粗定位瑕疵块，又根据图像块在列方向上的局部相似性来进一步筛选粗定位瑕疵块，减少误检块，使得最终的检测精度显著提升。

附图说明

图1是本发明方法流程图；

图2是本发明方法框架示意图；

图3是本发明一实施例中的部分检测结果；

图4是本发明一实施例中在TILDA纯色织物数据集上的部分检测结果。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于图像金字塔和列模板织物瑕疵检测方法，包括以下步骤：

步骤S1：采集织物图像数据集，并构建无瑕疵样本的图像金字塔，得到多尺度图像块的集合作为训练集；

步骤S2:将训练集进行预处理，并搭建和训练SDCAE图像重构模型；

步骤S3:对待检图像进行分块操作，将待检图像块输入图像重构模型中，得到对应的重构图像块；

步骤S4:对待检图像和重构图像进行更细粒度分块，计算出分块后的待检图像和重构图像的相似性度量矩阵，粗定位瑕疵图像块；

步骤S5:构建待检分块图像的列模板集合，细定位瑕疵块，得到最终的检测结果。

在本实施例中，所述步骤S1具体为：

步骤S11:收集公开的织物图像数据集，并获得相关的图像和人工标记；

步骤S12:将数据集中的无瑕疵图像集合I_train下采样成不同的尺寸大小的图像，构建每类纹理织物的无瑕疵图像的拉普拉斯图像金字塔；

步骤S13:采用固定大小(r*c)的滑动窗口等比例地在金字塔的各层级图像上随机提取图像块，得到图像块的集合，记为训练集X。

在本实施例中数据集主要为中国 香港大学周期性织物数据库与德国TILDA纯色织物数据集，在步骤S1中构建的金字塔层级定为4 层，从下到上的图像分辨率依次为256、200、180、128，底层保留原始的图像分辨率大小，滑动窗口大小r、c分别取32、32,从各层均匀随机提取图像块10000块，作为X。

在本实施例中，所述步骤S2具体为：

步骤S21:将训练集X中的每个图像块x都加上随机噪声noise，得到预处理后的训练集X+noise，作为SDCAE图像重构模型训练集；

步骤S22:SDCAE(栈式降噪卷积自编码器)图像重构模型使用堆栈式连接的多个卷积层来取代传统AE(自编码器)的隐藏层，使模型兼备CNN结构优点:局部感知和权值共享。图像重构模型包含必要的两个部分，编码器部分和解码器部分，编码器部分是具有三轮卷积、池化操作的卷积神经网络；解码器是对称的三轮上采样层与卷积层构成；

SDCAE图像重构模型如下式所示:

h⁽⁰⁾＝X+noise (1)

h^(l-1)＝U(h^(l-1)) l＝4,…6 (2)

h^(l)＝P(h^(l)) l＝1,2,…3 (4)

Y＝h⁽⁶⁾ (5)

其中h^(l)表示第l层卷积层的输出，

b^(l)表示第l层的卷积层的权重，偏移，σ(·)表示激活函数，U(·)表示上采样操作，P(·) 表示池化操作，*表示卷积操作，Y表示模型的输出；

步骤S23:微调预训练模型各个卷积层的参数和网络深度，网络训练阶段的损失函数定义为输入的图像块集合X和重构图像块集合Y的欧几里得距离，通过最小化该损失函数值来寻找局部最小点，使得模型收敛，完成模型权重的训练。

在本实施例中，预处理的随机噪声矩阵noise为0.5的噪声因子乘上一个数值范围为[0,1]的随机数矩阵，SDCAE网络结构卷积层的卷积核大小都是3*3，步长为1，池化层采用2*2、步长为2 的最大池化，激活函数使用Relu激活函数，网络使用batch size 为200的SGD(随机梯度下降法)迭代30k次后loss值收敛,完成权重训练。

在本实施例中，所述步骤S3具体为：

步骤S31:对待检图像集合I_test中的每一张大小为R*C的图像 A都按照固定大小(r*c)分块，记为

其中

步骤S32:将A中的每一个r*c大小的图像块 A_i,j(1≤i≤m,1≤j≤n)送入SDCAE模型，得到对应的重构图像块A′_i,j，形成A的重构图像

本实施例中，为了使得待检图像能够匹配训练好的SDCAE图像重构模型的输入层大小，对256*256大小的待检图像也按32*32的大小分块,即r、c分别取32、32。

在本实施例中，，所述步骤S4具体为：

步骤S41:对A与A′重新按r′*c′(r′<r,c′<c)大小分块，分别记作

其中

步骤S42:计算A与A′的相似性度量矩阵

其中s_i,j＝SSIM(B_i,j,B′_i,j)，(1≤i≤m′,1≤j≤n′)，SSIM公式如下：

其中u_p、

分别是P的平均值、方差，u_R、

分别是Q的平均值、方差，δ_PQ是P和Q的协方差，c1、c2为常数；SSIM的取值范围为0到1，若SSIM的值等于1，则表示两个图像块高度相似；

步骤S43:设定阈值T_s，将S矩阵中小于T_s的s_i,j所对应的原始图像的图像块B_i,j粗定位为瑕疵块,记为C_i,j。

在本实施例的步骤S4中，r′、c′分别取16、16，即采用16*16 的分块大小重新对图像分块，使得瑕疵块定位更精确(按32*32 分块，检测结果不如16*16的精准)，Ts经实验检验，确定为0.865。

在本实施例中，所述T_s的选择方法如下：利用瑕疵块与无瑕疵块数目大致服从正态分布，依据所有待检图像分块的s_i,j构建相似性度量值分布直方图，寻找T_s使得直方图中的瑕疵图像块与无瑕疵图像块分隔开。

在本实施例中，所述步骤S5具体为：

步骤S51:计算待检图像A的列方向平均模板

步骤S52:利用瑕疵块和无瑕疵块同列模板的差异性来进一步区分粗定位瑕疵块是否为真正的瑕疵块，差异值越小说明该图像块为瑕疵块的概率越低；

步骤S53:对于粗定位瑕疵块C_i,j；需要计算其与对应的列模板

的差异值

dist(·)使用曼哈顿距离，若C_i,j为真正的瑕疵块,则

会大于预设值，反之，若C_i,j为误检的无瑕疵块，过滤掉那些差异值小于预设值的C_i,j降低误检率，从而得到最终的检测结果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于图像金字塔和列模板织物瑕疵检测方法，其特征在于，包括以下步骤：

步骤S1：采集织物图像数据集，并构建无瑕疵样本的图像金字塔，得到多尺度图像块的集合作为训练集；

步骤S2:将训练集进行预处理，并搭建和训练SDCAE图像重构模型；

步骤S3:对待检图像进行分块操作，将待检图像块输入图像重构模型中，得到对应的重构图像块；

步骤S4:对待检图像和重构图像进行更细粒度分块，计算出分块后的待检图像和重构图像的相似性度量矩阵，粗定位瑕疵图像块；

步骤S5:构建待检分块图像的列模板集合，细定位瑕疵块，得到最终的检测结果；

所述步骤S2具体为：

步骤S21:将训练集X中的每个图像块x都加上随机噪声noise，得到预处理后的训练集X+noise，作为SDCAE图像重构模型训练集；

步骤S22:SDCAE图像重构模型使用堆栈式连接的多个卷积层来取代传统自编码器的隐藏层，图像重构模型包含必要的两个部分，编码器部分和解码器部分，编码器部分是具有三轮卷积、池化操作的卷积神经网络；解码器是对称的三轮上采样层与卷积层构成；

SDCAE图像重构模型如下式所示:

h⁽⁰⁾＝X+noise (1)

h^(l-1)＝U(h^(l-1))l＝4,…6 (2)

h^(l)＝P(h^(l))l＝1,2,…3 (4)

Y＝h⁽⁶⁾ (5)

其中h^(l)表示第l层卷积层的输出，

b^(l)表示第l层的卷积层的权重，偏移，σ(·)表示激活函数，U(·)表示上采样操作，P(·)表示池化操作，*表示卷积操作，Y表示模型的输出；

步骤S23:微调预训练模型各个卷积层的参数和网络深度，网络训练阶段的损失函数定义为输入的图像块集合X和重构图像块集合Y的欧几里得距离，通过最小化该损失函数值来寻找局部最小点，使得模型收敛，完成模型权重的训练；

所述步骤S3具体为：

步骤S31:对待检图像集合I_test中的每一张大小为R*C的图像A都按照固定大小r*c分块，记为

其中

步骤S32:将A中的每一个r*c大小的图像块A_i,j(1≤i≤m,1≤j≤n)送入SDCAE模型，得到对应的重构图像块A′_i,j，形成A的重构图像

2.根据权利要求1所述的基于图像金字塔和列模板织物瑕疵检测方法，其特征在于，所述步骤S1具体为：

步骤S11:收集公开的织物图像数据集，并获得相关的图像和人工标记；

步骤S12:将数据集中的无瑕疵图像集合I_train下采样成不同的尺寸大小的图像，构建每类纹理织物的无瑕疵图像的拉普拉斯图像金字塔；

步骤S13:采用固定大小r*c的滑动窗口等比例地在金字塔的各层级图像上随机提取图像块，得到图像块的集合，记为训练集X。

3.根据权利要求1所述的基于图像金字塔和列模板织物瑕疵检测方法，其特征在于，所述步骤S4具体为：

步骤S41:对A与A′重新按r′*c′(r′<r,c′<c)大小分块，分别记作

其中

步骤S42:计算A与A′的相似性度量矩阵

其中s_i,j＝SSIM(B_i,j,B′_i,j)，(1≤i≤m′,1≤j≤n′)，SSIM公式如下：

其中u_p、

分别是P的平均值、方差，u_R、

分别是Q的平均值、方差，δ_PQ是P和Q的协方差，c1、c2为常数；SSIM的取值范围为0到1，若SSIM的值等于1，则表示两个图像块高度相似；

步骤S43:设定阈值T_s，将S矩阵中小于T_s的s_i,j所对应的原始图像的图像块B_i,j粗定位为瑕疵块,记为C_i,j。

4.根据权利要求3所述的基于图像金字塔和列模板织物瑕疵检测方法，其特征在于，所述T_s的选择方法如下：利用瑕疵块与无瑕疵块数目大致服从正态分布，依据所有待检图像分块的s_i,j构建相似性度量值分布直方图，寻找T_s使得直方图中的瑕疵图像块与无瑕疵图像块分隔开。

5.根据权利要求3所述的一种基于图像金字塔和列模板织物瑕疵检测方法，其特征在于，所述步骤S5具体为：

步骤S51:计算待检图像A的列方向平均模板

步骤S52:利用瑕疵块和无瑕疵块同列模板的差异性来进一步区分粗定位瑕疵块是否为真正的瑕疵块，差异值越小说明该图像块为瑕疵块的概率越低；

步骤S53:对于粗定位瑕疵块C_i,j；需要计算其与对应的列模板

的差异值

dist(·)使用曼哈顿距离，若C_i,j为真正的瑕疵块,则

会大于预设值，反之，若C_i,j为误检的无瑕疵块，过滤掉那些差异值小于预设值的C_i,j降低误检率，从而得到最终的检测结果。

Images