CN114332086B - 基于风格迁移和人工智能的纺织品缺陷检测方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于风格迁移和人工智能的纺织品缺陷检测方法及系统。该方法获取简单纹理纺织品图像中的缺陷信息，获得初始缺陷分割图像。将初始分割图像分割为缺陷区域图像和正常区域图像。将属于不同初始分割图像且属于相同区域的缺陷区域图像和正常区域图像进行匹配，获得风格迁移图像组。将风格迁移图像组进行风格迁移获得风格迁移图像。将风格迁移图像进行拼接获得复杂纹理纺织品图像，利用复杂纹理纺织品图像训练最优缺陷检测网络，通过最优缺陷检测网络检测待检测纺织品图像的纺织品缺陷。本发明通过包含缺陷信息和多种风格信息的复杂纹理纺织品图像作为训练数据，提高了最优缺陷检测网络检测能力和适用性。

Description

基于风格迁移和人工智能的纺织品缺陷检测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于风格迁移和人工智能的纺织品缺陷检测方法及系统。

背景技术

纺织品应用于服装、工艺品等多个行业。纺织品的缺陷检测对于纺织品行业有这重要意义。以服装行业举例，纺织品的缺陷会导致服装的质量下降，口碑下跌，从而影响服装的销量。因此需要准确的筛选出纺织品的缺陷信息，避免因为包含缺陷信息的纺织品导致成品质量收到影响。

纺织品的缺陷主要通过人工进行检测，但是人工检测易出现漏检误检的情况，且效率低，检测速度缓慢。利用机器学习和深度学习算法可通过检测纺织品图像信息代替人工检测，但是对于纺织品而言，表面的纹理信息复杂，且不同纺织品存在不同的纹理风格，因此所需训练数据庞大，网络模型拟合时间长，且对于不同风格的纺织品无法获得准确的缺陷信息。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于风格迁移和人工智能的纺织品缺陷检测方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于风格迁移和人工智能的纺织品缺陷检测方法，所述方法包括：

采集简单纹理纺织品图像；将所述简单纹理纺织品图像送入预先处理好的初始缺陷检测网络中，输出初始缺陷分割图像；所述初始缺陷分割图像包含缺陷信息，若相邻缺陷信息的距离小于预设距离阈值，则将所述相邻缺陷信息合并为一个所述缺陷信息；

以所述初始缺陷分割图像的重心为起始点做分割线，获得多个分割区域图像；所述分割区域图像为缺陷区域图像或正常区域图像；所述缺陷区域图像中仅包含一个所述缺陷信息；

将属于不同所述初始缺陷分割图像且处于相同位置对应的所述缺陷区域图像和所述正常区域图像进行匹配，获得风格迁移图像组；通过预先训练好的风格迁移网络处理所述风格迁移图像组，输出多个风格迁移图像；

将多个所述风格迁移图像拼接，获得包含所述缺陷信息和多种风格信息的复杂纹理纺织品图像；以所述复杂纹理纺织品图像作为训练数据训练最优缺陷检测网络；获得待检测纺织品图像，将所述待检测纺织品图像送入所述最优缺陷检测网络获得纺织品缺陷。

进一步地，所述缺陷信息包括缺陷位置及其对应的缺陷概率。

进一步地，所述以所述初始缺陷分割图像的重心为起始点做分割线，获得多个分割区域图像包括：

在所述初始缺陷分割图像中，根据所述缺陷信息的数量设置所述分割线，使得所述缺陷信息数量相同的不同所述初始缺陷分割图像上对应位置处的所述分割区域图像之间区域形状相同。

进一步地，所述过预先训练好的风格迁移网络处理所述风格迁移图像组，输出多个风格迁移图像包括：

将多个所述风格迁移图像组与预设白噪声图像输入所述风格迁移网络中，输出多个所述风格迁移图像。

进一步地，所述风格迁移网络包括：

所述风格迁移网络的损失函数包括内容损失函数和风格损失函数；所述内容损失函数包括：

其中，

为所述内容损失函数，

为所述正常区域图像在所述风格迁移网络中第

层第

个特征图中第

个特征值，

为所述白噪声图像在所述风格迁移网络中第

层第

个特征图中第

个特征值；

所述风格损失函数包括：

其中，

为所述风格损失函数，

为所述风格迁移网络输出的特征图的数量，

为所述特征图中特征值的数量，

为所述缺陷区域图像经过所述风格迁移网络处理后的所述风格信息，

为所述缺陷区域图像在所述风格迁移网络中第

层第

个特征图中第

个特征值。

进一步地，所述将多个所述风格迁移图像拼接，获得包含所述缺陷信息和多种风格信息的复杂纹理纺织品图像包括：

将多个所述风格迁移图像送入预先训练好的图像拼接网络中，输出所述复杂纹理纺织品图像。

进一步地，所述图像拼接网络包括：设定缝隙损失函数，通过所述风格迁移图像的之间的缝隙面积调整网络损失值；所述缝隙损失函数包括：

其中，

为所述缝隙损失函数，

为所述图像拼接网络输出的所述缝隙面积，

为两个所述风格迁移图像之间的真实缝隙面积。

进一步地，所述最优缺陷检测网络包括：

以所述复杂纹理纺织品图像作为训练数据，以所述复杂纹理纺织品图像中的所述缺陷信息作为自标注信息，根据所述训练数据和所述自标注信息训练所述最优缺陷检测网络。

进一步地，所述最优缺陷检测网络包括：所述最优缺陷检测网络通过缺陷概率损失函数和交叉熵损失函数调整网络损失值，所述缺陷概率损失函数包括：

其中，

为所述缺陷概率损失函数，

为所述最优缺陷检测网络输出的所述复杂纹理纺织品图像中所述缺陷信息的所述缺陷概率，

为所述初始缺陷分割图像中的所述缺陷信息的所述缺陷概率。

本发明还提出了一种基于风格迁移和人工智能的纺织品缺陷检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于风格迁移和人工智能的纺织品缺陷检测方法的步骤。

本发明具有如下有益效果：

本发明实施例通过初始缺陷检测网络快速准确获得简单纹理纺织品图像的缺陷信息。通过将包含缺陷信息的初始缺陷分割图像分区并进行风格迁移，获得包含缺陷信息且包含多种风格信息的复杂纹理纺织品图像。以复杂纹理纺织品图像作为最优缺陷检测网络的训练数据，简化了训练数据的数据量，使得最优缺陷检测网络可以快速收敛，达到训练目标，能够完成各种表面纹理复杂度的纺织品的缺陷识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的种基于风格迁移和人工智能的纺织品缺陷检测方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于风格迁移和人工智能的纺织品缺陷检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于风格迁移和人工智能的纺织品缺陷检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于风格迁移和人工智能的纺织品缺陷检测方法流程图，该方法包括：

步骤S1：采集简单纹理纺织品图像；将简单纹理纺织品图像送入预先处理好的初始缺陷检测网络中，输出初始缺陷分割图像。

因为工艺的多样化，导致纺织品的纹理风格复杂多样。对于纹理风格复杂的纺织品，根据纺织品图像无法快速准确的获得缺陷信息。对于纹理风格简单的纺织品。根据纺织品图像可以快速准确的获得缺陷信息。因此在图像分析中可以将简单纹理纺织品的缺陷信息作为复杂纹理纺织品的标注信息。

在本发明实施例中，缺陷类别以压痕缺陷为例，纺织品图像的获取方法都为通过灰度相机采集放置在检测台上的纺织品。

为了获得简单纹理纺织品的缺陷信息，将简单纹理纺织品图像送入预先处理好的初始缺陷检测网络中，输出初始缺陷分割图像。初始缺陷分割图像中包含缺陷信息，若相邻缺陷信息的距离小于预设距离阈值，则将相邻缺陷信息合并为一个缺陷信息。通过初始缺陷检测网络可以快速的进行缺陷识别，网络标注简单，拟合快，在本发明实施例中初始缺陷检测网络具体训练方法包括：

（1）采集多个简单纹理纺织品图像作为训练数据。在图像中将压痕缺陷的像素点标注为1，其他区域标注为0，获得标签数据。以数据的80％

（2）初始缺陷检测网络采用编码-解码结构，初始缺陷检测编码器用于提取图像特征，输出特征图。初始缺陷检测解码器对特征图进行采样变换，输出图像的像素类别，根据像素类别获得包含缺陷信息的初始缺陷分割图像。缺陷信息经过网络处理后，可获得缺陷位置及其对应的缺陷概率，即初始缺陷分割图像也可视为缺陷概率分布图，方便缺陷信息的可视化及后续处理。

（3）采用交叉熵损失函数通过梯度下降法训练初始缺陷检测网络。

因为初始缺陷分割图像中缺陷信息分布的位置不同，若相邻缺陷信息的距离小于预设距离阈值，则将相邻缺陷信息合并为一个缺陷信息，方便后续的区域划分。在本发明实施例中，距离阈值设置为30个像素点。

步骤S2：以初始缺陷分割图像的重心为起始点做分割线，获得多个分割区域图像；分割区域图像为缺陷区域图像或正常区域图像。

在初始缺陷分割图像中，以缺陷信息的数量设置分割线，使得缺陷信息数量相同的不同初始缺陷分割图像上对应位置的分割区域图像之间区域形状相同。例如，当初始缺陷分割图像中仅包含一个缺陷信息时，将初始缺陷分割图像利用分割线均匀的分割成两个分割区域图像，其中缺陷区域图像包含了该缺陷信息；当初始缺陷分割图像中包含两个缺陷信息时，将初始缺陷分割图像利用分割线均匀的分割成三个分割区域图像，存在三条夹角均为120°的分割线分割初始缺陷分割图像。在分割区域图像中的一张缺陷区域图像中仅包含一个缺陷信息。

通过均匀分割初始缺陷分割图像，使得后续风格迁移学习中两张相关图片中的基础内容信息相同，例如纺织品的整体轮廓、纺织品的尺寸大小等。有利于加快风格迁移速度，减小图像内容损失。

步骤S3：将属于不同初始缺陷分割图像且处于相同位置对应的缺陷区域图像和正常区域图像进行匹配，获得风格迁移图像组；过预先训练好的风格迁移网络处理风格迁移图像组，输出多个风格迁移图像。

在传统的风格迁移学习中，通常是将两张不相关的内容图像和风格图像进行风格迁移学习，最终生成目标图像。在本发明实施例中为了能够将更多简单纹理纺织品的风格迁移到同一张复杂纹理纺织品图像上，使得一张复杂纹理纺织品图像能够包含多种信息，需要利用多个简单纹理纺织品图像参与风格迁移，在整体内容相似的情况下完成风格迁移学习，具体包括：

将属于不同初始缺陷分割图像且处于相同区域的缺陷区域图像和正常区域图像进行匹配，获得风格迁移图像组。在风格迁移图像组中，缺陷区域图像和正常区域图像都包含纺织品的基础内容信息，因为属于不同初始缺陷分割图像，即属于不同的简单纹理纺织品图像，所以包含的纹理风格信息不同，且缺陷区域图像中还包含缺陷信息。

将多个风格迁移图像组与预设白噪声图像输入预先训练好的风格迁移网络中，输出多个风格迁移图像。风格迁移图像为包含了缺陷信息且基础内容相同但存在不同纹理风格的纺织品的局部区域。风格迁移网络具体训练方法包括：

（1）以风格迁移图像组合白噪声图像作为训练数据。

（2）风格迁移网络采用编码-解码结构。风格迁移编码器对训练数据进行卷积，经过平均池化后获得特征图，将特征图展开成一维的格拉姆矩阵，以格拉姆矩阵特征值之间的均方误差表示缺陷区域图像经过风格迁移网络处理后的风格信息，然后计算特征图之间的损失函数，通过梯度下降法使得损失函数不断收敛。通过风格迁移解码器采样变换输出风格迁移图像。在本发明实施例中，风格迁移网络可选用VGG19网络，其中网络的层数不得少于三层。

（3）损失函数包括内容损失函数和风格损失函数：

，其中

为内容损失函数，

为内容损失权重，

为风格损失函数，

为风格损失权重，

和

可根据具体训练内容进行设置，在此不做限定。内容损失函数包括：

其中，

为内容损失函数，

为正常区域图像在风格迁移网络中第

层第

个特征图中第

个特征值，

为白噪声图像在风格迁移网络中第

层第

个特征图中第

个特征值。

风格损失函数包括：

其中，

为风格损失函数，

为风格迁移网络输出的特征图的数量，

为特征图中特征值的数量，

为缺陷区域图像经过风格迁移网络处理后的风格信息，

为缺陷区域图像在风格迁移网络中第

层第

个特征图中第

个特征值。

步骤S4：将多个风格迁移图像拼接，获得包含缺陷信息和多种风格信息的复杂纹理纺织品图像；以复杂纹理纺织品图像作为训练数据训练最优缺陷检测网络；获得实时纺织品图像，将实时纺织品图像送入最优缺陷检测网络获得纺织品缺陷。

风格迁移图像为分割区域图像的风格迁移结果，即为简单纹理纺织品图像的局部区域信息。为了获得纺织品的整体信息将风格迁移图像进行拼接，获得包含所述缺陷信息和多种风格信息的复杂纹理纺织品图像。需要说明的是，经过多组风格迁移图像处理后，可生成多张复杂纹理纺织品图像。

优选的，将多个风格迁移图像送入预先训练好的图像拼接网络中，输出复杂纹理纺织品图像。图像拼接网络具体训练方法包括：

（1）以多张风格迁移图像作为训练数据。

（2）图像拼接网络采用编码-全连接结构，通过图像拼接编码器计算多张风格迁移图像缝隙面积，设定缝隙损失函数，通过梯度下降法使得损失函数收敛，保证图像之间可以完整拼接，满足图像之间的缝隙大小约束。由全连接层输出复杂纹理纺织品图像。

（3）缝隙损失函数包括：

其中，

为所述缝隙损失函数，

为所述图像拼接网络输出的所述缝隙面积，

为两个所述风格迁移图像之间的真实缝隙面积。

复杂纹理纺织品图像中不仅包含纺织品的基础信息和缺陷信息还包含多种风格信息，因此以复杂纹理纺织品图像作为最优缺陷检测网络的训练数据可以提高最优缺陷网络训练样本质量，并且因为复杂纹理纺织品图像保留了简单纹理纺织品图像中的缺陷信息，可视为将缺陷信息对复杂纹理纺织品图像进行标注，避免了人为标注训练样本造成的时间长、存在标注误差的缺陷。并且简单纹理纺织品图像获取手段简单，处理过程简单，所以可以很快得到数据丰富的复杂纹理纺织品图像。最优缺陷检测网络具体训练方法包括：

（1）获取多张复杂纹理纺织品图像作为训练数据。因为复杂纹理纺织品图像中保留了缺陷信息，即在简单纹理纺织品图像上对应缺陷位置上的缺陷概率不变，所以无需进行人工标注，即复杂纹理纺织品图像自身包含自标注信息。

（2）最优缺陷检测网络采用编码-解码结构，通过最优缺陷检测编码器对训练数据进行网络卷积，池化提取特征图。设置缺陷概率损失函数，学习缺陷特征的分布，经过最优缺陷检测解码器对特征图进行反卷积输出最优缺陷图像。最优缺陷检测网络的损失函数包括交叉熵损失函数和缺陷概率损失函数：

，其中，

为交叉熵损失函数，交叉熵损失函数为常见损失函数在此不多赘述；

为缺陷损失函数，具体包括：

其中，

为缺陷概率损失函数，

为最优缺陷检测网络输出的复杂纹理纺织品图像中缺陷信息的缺陷概率，

为初始缺陷分割图像中的缺陷信息的缺陷概率。

最优缺陷检测网络可以学习更多的纹理风格复杂的纺织品图像中缺陷的分布，泛化能力强，适用性高。因此对于需要缺陷检测的纺织品图像，获得待检测纺织品图像，将待检测纺织品图像输入最优缺陷检测网络中即可获得纺织品缺陷。相关工作人员可根据对应的缺陷信息对纺织品进行筛选或修复。

综上所述，本发明实施例首先获取简单纹理纺织品图像中的缺陷信息，获得初始缺陷分割图像。以初始分割图像的重心为起始点做分割线，将初始分割图像分割为多个分割区域图像，分割区域图像包括缺陷区域图像和正常区域图像。将属于不同初始分割图像且属于相同区域的缺陷区域图像和正常区域图像进行匹配，获得风格迁移图像组。将风格迁移图像组进行风格迁移获得多个风格迁移图像。将风格迁移图像进行拼接获得复杂纹理纺织品图像，利用复杂纹理纺织品图像训练最优缺陷检测网络，通过最优缺陷检测网络检测待检测纺织品图像的纺织品缺陷。本发明实施例通过包含缺陷信息和多种风格信息的复杂纹理纺织品图像作为训练数据，提高了最优缺陷检测网络检测能力和适用性。

本发明还提出了一种基于风格迁移和人工智能的纺织品缺陷检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现任意一项一种基于风格迁移和人工智能的纺织品缺陷检测方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述方法包括：

采集简单纹理纺织品图像；将所述简单纹理纺织品图像送入预先处理好的初始缺陷检测网络中，输出初始缺陷分割图像；所述初始缺陷分割图像包含缺陷信息，若相邻缺陷信息的距离小于预设距离阈值，则将所述相邻缺陷信息合并为一个所述缺陷信息；

以所述初始缺陷分割图像的重心为起始点做分割线，获得多个分割区域图像；所述分割区域图像为缺陷区域图像或正常区域图像；所述缺陷区域图像中仅包含一个所述缺陷信息；

将属于不同所述初始缺陷分割图像且处于相同位置对应的所述缺陷区域图像和所述正常区域图像进行匹配，获得风格迁移图像组；通过预先训练好的风格迁移网络处理所述风格迁移图像组，输出多个风格迁移图像；

将多个所述风格迁移图像拼接，获得包含所述缺陷信息和多种风格信息的复杂纹理纺织品图像；以所述复杂纹理纺织品图像作为训练数据训练最优缺陷检测网络；获得待检测纺织品图像，将所述待检测纺织品图像送入所述最优缺陷检测网络获得纺织品缺陷。

2.根据权利要求1所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述缺陷信息包括缺陷位置及其对应的缺陷概率。

3.根据权利要求1所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述以所述初始缺陷分割图像的重心为起始点做分割线，获得多个分割区域图像包括：

在所述初始缺陷分割图像中，根据所述缺陷信息的数量设置所述分割线，使得所述缺陷信息数量相同的不同所述初始缺陷分割图像上对应位置处的所述分割区域图像之间区域形状相同。

4.根据权利要求1所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述通过预先训练好的风格迁移网络处理所述风格迁移图像组，输出多个风格迁移图像包括：

将多个所述风格迁移图像组与预设白噪声图像输入所述风格迁移网络中，输出多个所述风格迁移图像。

5.根据权利要求4所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述风格迁移网络包括：

所述风格迁移网络的损失函数包括内容损失函数和风格损失函数；所述内容损失函数包括：

其中，

为所述内容损失函数，

为所述正常区域图像在所述风格迁移网络中第

层第

个特征图中第

个特征值，

为所述白噪声图像在所述风格迁移网络中第

层第

个特征图中第

个特征值；

所述风格损失函数包括：

其中，

为所述风格损失函数，

为所述风格迁移网络输出的特征图的数量，

为所述特征图中特征值的数量，

为所述缺陷区域图像经过所述风格迁移网络处理后的所述风格信息，

为所述缺陷区域图像在所述风格迁移网络中第

层第

个特征图中第

个特征值。

6.根据权利要求1所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述将多个所述风格迁移图像拼接，获得包含所述缺陷信息和多种风格信息的复杂纹理纺织品图像包括：

将多个所述风格迁移图像送入预先训练好的图像拼接网络中，输出所述复杂纹理纺织品图像。

7.根据权利要求6所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述图像拼接网络包括：设定缝隙损失函数，通过所述风格迁移图像的之间的缝隙面积调整网络损失值；所述缝隙损失函数包括：

其中，

为所述缝隙损失函数，

为所述图像拼接网络输出的所述缝隙面积，

为两个所述风格迁移图像之间的真实缝隙面积。

8.根据权利要求1所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述最优缺陷检测网络包括：

以所述复杂纹理纺织品图像作为训练数据，以所述复杂纹理纺织品图像中的所述缺陷信息作为自标注信息，根据所述训练数据和所述自标注信息训练所述最优缺陷检测网络。

9.根据权利要求2所述的一种基于风格迁移和人工智能的纺织品缺陷检测方法，其特征在于，所述最优缺陷检测网络包括：所述最优缺陷检测网络通过缺陷概率损失函数和交叉熵损失函数调整网络损失值，所述缺陷概率损失函数包括：

其中，

为所述缺陷概率损失函数，

为所述最优缺陷检测网络输出的所述复杂纹理纺织品图像中所述缺陷信息的所述缺陷概率，

为所述初始缺陷分割图像中的所述缺陷信息的所述缺陷概率。

10.一种基于风格迁移和人工智能的纺织品缺陷检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~9任意一项所述方法的步骤。

Images