CN115661022A

CN115661022A - 一种织物瑕疵检测模型建立方法和织物瑕疵检测方法

Info

Publication number: CN115661022A
Application number: CN202210737185.9A
Authority: CN
Inventors: 张俊杰; 李小庆; 袁桦; 陈君; 刘凯旋; 何儒汉; 彭涛
Original assignee: Wuhan Textile University
Current assignee: Wuhan Textile University
Priority date: 2022-06-27
Filing date: 2022-06-27
Publication date: 2023-01-31

Abstract

本发明涉及一种织物瑕疵检测模型建立方法和织物瑕疵检测方法。包括：步骤1，获取分别与不同瑕疵类型对应的织物图片，并对织物图片进行频域增广处理，获得具有频域偏好特征的特征图片；步骤2，采用特征提取网络对特征图片进行特征提取，获得提取特征；步骤3，根据提取特征以及与瑕疵对应的目标区域对预选框进行筛选和尺寸调整，获得建议框；步骤4，基于提取特征以及建议框，通过预设级联网络对瑕疵进行分类与定位；步骤5，重复步骤2至步骤4，采用反向传播方法更新模型参数，获得织物瑕疵检测模型。本发明的技术方案有助于提高织物瑕疵检测的准确性和有效性。

Description

一种织物瑕疵检测模型建立方法和织物瑕疵检测方法

技术领域

本发明涉及计算机应用技术领域，具体而言，涉及一种织物瑕疵检测模型建立方法和织物瑕疵检测方法。

背景技术

在织物生产过程中，由于生产工艺等外部环境的影响，成品织物可能含有瑕疵，而瑕疵会导致织物价格下降45％-65％。传统的织物瑕疵大都经由经验丰富的员工进行人工检测，然而，人工检测方法不仅效率低、成本高，还会因检测人员的主观因素产生漏检，导致检测结果波动大等问题。

目前虽然出现了自动的织物瑕疵检测方法，但依然需要手动提取特征，普遍存在对噪声敏感、局限于纹理规整的织物或某些类型缺陷、适用性不高等问题。

发明内容

针对现有技术的不足，本发明提供一种织物瑕疵检测模型建立、织物瑕疵检测方法和装置、存储介质。

第一方面，本发明提供了一种织物瑕疵检测模型建立方法，该方法包括如下步骤：

步骤1，获取分别与不同瑕疵类型对应的织物图片，并对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片；

步骤2，采用特征提取网络对所述特征图片进行特征提取，获得提取特征，其中，所述特征提取网络包括结合频域通道注意力机制的卷积神经网络；

步骤3，根据所述提取特征以及与瑕疵对应的目标区域对预选框进行筛选和尺寸调整，获得建议框，其中，所述预选框为针对所述特征图片的各像素点设置的预设尺寸的选框；

步骤4，基于所述提取特征以及所述建议框，通过预设级联网络对瑕疵进行分类与定位；

步骤5，重复所述步骤2至所述步骤4，采用反向传播方法更新模型参数，获得织物瑕疵检测模型。

第二方面，本发明提供了一种织物瑕疵检测模型建立装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的织物瑕疵检测模型建立方法。

第三方面，本发明提供了一种织物瑕疵检测方法，该方法包括如下步骤：

获取织物图片，并对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片；

将所述特征图片输入根据如上所述的织物瑕疵检测模型建立方法建立的织物瑕疵检测模型，获得织物瑕疵检测结果。

第四方面，本发明提供了一种织物瑕疵检测装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的织物瑕疵检测方法。

第五方面，本发明提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的织物瑕疵检测模型建立方法，或者实现如上所述的织物瑕疵检测方法。

在本发明中，该方法适用于生产条件等方面发生变化而产生的织物瑕疵，能够克服当前织物疵点检测方法普遍存在样本数量不均衡、织物疵点检测准确率低和定位精准度差的问题，在数据匮乏的织物瑕疵检测中表现良好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的织物瑕疵检测模型建立方法的流程示意图；

图2为本发明实施例的织物瑕疵检测过程的示意图；

图3为本发明另一实施例的织物瑕疵检测模型建立方法的流程示意图；

图4为本发明实施例的织物瑕疵检测方法的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例的一种织物瑕疵检测模型建立方法包括如下步骤：

步骤1，获取分别与不同瑕疵类型对应的织物图片，并对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片。

具体地，在本实施例中，可选用天池雪浪制造数据集，其中包含1168张带疵点图片以及2163张正常图片。每张图片至少含有一种瑕疵，每张图片尺寸为2560×1920，涵盖纺织业中织物的各类瑕疵共59类，将某些相似类别进行合并以及丢弃数量极少的类别后，最终分为9个类别。同时，可将清洗后的样本按8:1:1的比例划分为训练集、验证集、测试集，训练样本在每个瑕疵类型不少于100张。

另外，对原始织物图片进行频域增广处理，使得到特征图片具有频域偏好，从而使深度学习模型能学到相关偏好，具有更好的表达效果。

步骤2，采用特征提取网络对所述特征图片进行特征提取，获得提取特征，其中，所述特征提取网络包括结合频域通道注意力机制的卷积神经网络。

具体地，将频域通道注意力机制与卷积神经网络融合，使模型提取的特征更具有多样性，且更集中于图像中的瑕疵部分，增强了在复杂背景下对细微特征的提取能力，从而进一步提高了织物瑕疵的检测性能。

步骤3，根据所述提取特征以及与瑕疵对应的目标区域对预选框进行筛选和尺寸调整，获得建议框，其中，所述预选框为针对所述特征图片的各像素点设置的预设尺寸的选框。

具体地，通过对预选框进行尺寸和比例调整及筛选，获得建议框，可以多尺度训练的方式裁剪到统一大小进行特征提取，提取网络结合频域通道注意力机制，使提取特征更多样性且更集中于目标区域，且在较小样本量下也能保证一定检测精度。

步骤4，基于所述提取特征以及所述建议框，通过预设级联网络对瑕疵进行分类与定位。

具体地，预设级联网络的输出也就是后续获得的织物瑕疵检测模型的输出，其体现对织物瑕疵的分类与定位，也就是织物瑕疵检测结果，可以帮助迅速、准确确定织物瑕疵的类型及位置。

具体地，训练模型时，可使用随机梯度下降法进行反向传播更新模型参数，重复迭代多次直至满足相应条件，保存模型所有参数，获得织物瑕疵检测模型。

在本实施例中，该方法适用于生产条件等方面发生变化而产生的织物瑕疵，能够克服当前织物疵点检测方法普遍存在样本数量不均衡、织物疵点检测准确率低和定位精准度差的问题，在数据匮乏的织物瑕疵检测中表现良好。

可选地，所述对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片包括：

对所述织物图片的单通道像素矩阵进行傅里叶变换并中心化处理，获得靠近中心的相对低频像素矩阵以及远离中心的相对高频像素矩阵。

具体地，通常织物图片含有RGB三通道，设其中某单通道像素矩阵为x。首先对x进行傅里叶变换并中心化处理，令靠近中心为相对低频像素矩阵，靠近四周为相对高频的像素矩阵y。

以所述相对高频像素矩阵的重心以及预设半径确定圆形区域，根据所述圆形区域确定相对低频信息和相对高频信息。

具体地，以y的重心为圆心，r为半径画圆，圆内即为相对低频信息y_l，圆外即为相对高频信息y_h，用公式描述为：

式中，(i,j)表示像素矩阵y中位置(i,j)的值，(I_i,I_j)表示y的重心，d()表示计算两个向量之间距离的函数。

对所述相对低频信息或所述相对高频信息进行逆傅里叶变换，获得具有频域偏好特征的所述特征图片。

具体地，将相对低频信息y_l(或相对高频信息y_h)经过逆傅里叶变换，可得到含有频域偏好的像素矩阵x'。分别对各通道进行相同操作，即可得到特征图片。

可选地，所述采用特征提取网络对所述特征图片进行特征提取包括：

对于通过所述卷积神经网络的下采样获取的特征映射，按照通道维度划分为可被通道整除的多个部分。

具体地，将标定数量，优选16张特征图片输入特征提取网络，特征提取网络由结合频域通道注意力机制的ResNet50组成，使用在ImageNet上的预训练权重进行参数的初始化。结合频域通道注意力机制指可使用二维离散余弦变换与通道注意力相结合。

更具体而言，对于卷积神经网络下采样中获取的特征映射X，首先按照通道维度划分为可被通道整除的n部分，各部分可表示为[X⁰,X¹,…,X^n-1]。

对于每一部分，利用二维离散余弦变换转换为多块频域分量。

具体地，对于每一部分Xⁱ，利用二维离散余弦变换转换为7×7块频域分量。

分别测试各所述频域分量作为通道注意力处理的结果，选择符合预设标准的频域结果作为最终通道注意力的预处理结果。

具体地，分别测试各频域分量作为通道注意力处理的结果，选择top-16性能频域结果Freqⁱ作为最终通道注意力的预处理结果。

按通道依次连接所有所述预处理结果，获得预处理频域分量。

具体地，按通道依次连接所有预处理结果即得到最终的预处理频域分量Freq，公式可表示为：

Freq＝cat([Freq⁰,Freq¹,…,Freq^n-1])。

可以看到，提取特征为频域特征。

可选地，所述预选框的长宽比包括：0.02，0.1，0.2，0.5，1，2，5，10和50。

具体地，对于输入图像的每个像素点会分别预设不同比例以及尺寸的预选框，预选框的长宽比根据样本目标框格式调整为0.02，0.1，0.2，0.5，1，2，5，10和50，根据步骤S2中的提取特征以及目标区域对与预选框进行筛选并调整，得到2000个调整后精度更高的建议框。

可选地，所述预设级联网络包括三个R-CNN网络，其中，三个所述R-CNN网络的IoU阈值各不相同。

可选地，三个所述R-CNN网络的IoU阈值分别为0.5，0.6和0.7。

具体地，如图2所示，输入图像首先经过频域增广处理，再经过结合频域通道注意力机制的卷积神经网络，获得提取特征，其结合预选框得到的最终建议框(Proposals)，进而进入级联网络，其包括三个R-CNN网络，数据进入各网络后，先经ROI池化层，再进行分类与回归，且相邻前一网络的回归结果进入相邻后一网络的ROI池化层。

在模型训练遇中，重复步骤S2到步骤S4以更新模型，使用随机梯度下降法进行反向传播更新模型参数，初始学习率为0.0025，权重衰减因子为0.0001，动量设置为0.9。基础模型进行70次迭代，并分别在第40及60代训练时降低学习率，后续模型可在基础模型上进行调整，根据情况选择12次或24次迭代。

如图3所示，下面以一个具体示例进行介绍。

将与不同瑕疵类型对应的织物图片，或者说将带标注的训练图片进行频域增广处理，初始化i＝0，判断i＞iteration是否成立，也就是是否重复迭代了iteration次，若否，则从训练集中抽取batch_size张样本图片，并将训练样本输入结合频域通道注意力的ResNet50提取特征，根据预设的预选框调整建议框，结合提取特征及建议框利用级联的方式生成瑕疵分类及回归结果，在迭代过程中，不断实现i+1，直至i＞iteration，此时保存模型相关参数，即获得织物瑕疵检测模型。

为了验证本发明所提出的基于频域处理的改进级联卷积神经网络的有效性，本方法分别在基础网络Faster R-CNN、Cascade R-CNN上设计消融实验，实验结果如表1所示，可以看到本发明方法可以在较少样本及较多种类的天池雪浪制造数据集上对基础网络进行检查精度的提升，在Faster R-CNN上提升了16.5％，在Cascade R-CNN上提升了8.4％，达到55.8mAP。本发明方法通过频域特征以及深度学习方法的优点，获得了显著的织物瑕疵检测性能。

表1

需要注意的是，表1中“√”表示模型采用了相应设置，例如，对训练集进行了频域增广处理，空白部分表示模型未采用相应设置。

在本发明另一实施例中，一种织物瑕疵检测模型建立装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的织物瑕疵检测模型建立方法。

需要注意的是，该装置可以为服务器、移动终端等计算机装置。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的织物瑕疵检测模型建立方法。

如图4所示，本发明实施例的一种织物瑕疵检测方法包括如下步骤：

获取织物图片，并对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片。

具体地，可对织物图片进行预处理，也就是如上所述的频域增广处理。此时，织物图片并不具有标签，而是可以为例如实时采集的带检测图片。另外，为了对模型进行验证和测试，也可以采用上述验证集和测试集。

具体地，织物瑕疵检测结果主要包括对织物瑕疵的分类与定位，可以帮助迅速、准确确定织物瑕疵的类型及位置。

在本发明另一实施例中，一种织物瑕疵检测装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的织物瑕疵检测方法。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的织物瑕疵检测方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种织物瑕疵检测模型建立方法，其特征在于，包括：

2.根据权利要求1所述的织物瑕疵检测模型建立方法，其特征在于，所述对所述织物图片进行频域增广处理，获得具有频域偏好特征的特征图片包括：

对所述织物图片的单通道像素矩阵进行傅里叶变换并中心化处理，获得靠近中心的相对低频像素矩阵以及远离中心的相对高频像素矩阵；

以所述相对高频像素矩阵的重心以及预设半径确定圆形区域，根据所述圆形区域确定相对低频信息和相对高频信息；

3.根据权利要求1所述的织物瑕疵检测模型建立方法，其特征在于，所述采用特征提取网络对所述特征图片进行特征提取包括：

对于通过所述卷积神经网络的下采样获取的特征映射，按照通道维度划分为可被通道整除的多个部分；

对于每一部分，利用二维离散余弦变换转换为多块频域分量；

分别测试各所述频域分量作为通道注意力处理的结果，选择符合预设标准的频域结果作为最终通道注意力的预处理结果；

4.根据权利要求1所述的织物瑕疵检测模型建立方法，其特征在于，所述预选框的长宽比包括：0.02，0.1，0.2，0.5，1，2，5，10和50。

5.根据权利要求1所述的织物瑕疵检测模型建立方法，其特征在于，所述预设级联网络包括三个R-CNN网络，其中，三个所述R-CNN网络的IoU阈值各不相同。

6.根据权利要求5所述的织物瑕疵检测模型建立方法，其特征在于，三个所述R-CNN网络的IoU阈值分别为0.5，0.6和0.7。

7.一种织物瑕疵检测模型建立装置，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1至6任一项所述的织物瑕疵检测模型建立方法。

8.一种织物瑕疵检测方法，其特征在于，包括：

将所述特征图片输入根据如权利要求1至6任一项所述的织物瑕疵检测模型建立方法建立的织物瑕疵检测模型，获得织物瑕疵检测结果。

9.一种织物瑕疵检测装置，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求8所述的织物瑕疵检测方法。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的织物瑕疵检测模型建立方法，或者实现如权利要求8所述的织物瑕疵检测方法。