CN113222888A - 基于深度纹理特征的纺织品纱织尺寸检测方法 - Google Patents

Abstract

本发明属于纺织品检测技术领域，具体为一种基于深度纹理特征的纺织品纱织尺寸检测方法。本发明包括：使用光学显微镜获取待检测纺织品的纹理细节图像数据；设计一个多尺度字典学习的纹理编码网络模型，该模型包括特征提取层、多尺度字典学习层、多尺度字典注意力层、特征融合层以及分类层；训练该纹理编码网络模型；使用训练好的纹理编码网络模型对待检测图像进行纺织品纱织尺寸检测，得到分类结果，即为纺织品纱织纤维的尺寸范围。本发明可以更有效的提取纹理图像中不同粒度的纹理特征；同时将有序池化层提取的特征与字典学习获取的无序特征进行融合，在描述无序特征的同时充分考虑了纹理图像空间上下文的有序信息，使检测准确性更高。

Description

基于深度纹理特征的纺织品纱织尺寸检测方法

技术领域

本发明属于纺织品检测技术领域，具体涉及一种基于深度纹理特征的纺织品纱织尺寸检测方法。

背景技术

近年来，随着自动化技术的发展和应用，纺织行业取得了长足的进步。然而，纺织质量检测领域中的人工智能技术的应用还相对欠缺。阻碍纺织品质量检测产业技术革新的一个关键因素是纺织品原材料中的大部分基础物理信息难以数字化，使得纺织品的规格数据难以通过人工智能技术进行识别。当前，纺织品的纱织尺寸测量主要依靠人工进行观察和测量，存在着速度慢，错误率高，成本高等问题。显微镜下的拍摄的纺织品图像包含丰富的纹理信息，可以使用深度神经网络提取纹理特征来对纺织品的规格进行识别。当前的主流深度纹理网络在字典学习模块中使用固定尺度的字典获取纹理的无序特征进行分类，这种方法无法更科学的描述多样化的纹理图像分布，无法捕获不同粗细粒度的图像特征。

发明内容

本发明的目的在于提供一种纺织品纱织尺寸测量方法，以提高纺织品纱织规格检测的准确性。

本发明提供的纺织品纱织尺寸测量方法，包括：使用光学显微镜获取待检测纺织品的高放大倍数的纹理细节图像数据；设计一个多尺度字典学习的纹理编码网络模型，该纹理编码网络模型包括特征提取层、多尺度字典学习层、多尺度字典注意力层、特征融合层以及分类层；训练该纹理编码网络模型；使用训练好的纹理编码网络模型对待检测图像进行纺织品纱织尺寸检测，得到分类结果，即为纺织品纱织纤维的尺寸范围(单位为旦数，即9000m长的纤维或纱线在公定回潮率时的重量克数)。

本发明中，在使用训练好的模型对待检测图像纱织尺寸测量的步骤之前，包括：获取训练样本，所述训练样本包括包含各种尺寸区间的纺织品显微镜拍摄图像；对训练样本进行预处理；所述预处理包括裁剪、缩放、归一化、标准化中的至少一项基本操作；对训练样本中的图像进行灰度处理，保留三个通道的特征数据，作为缺陷图像分类模型的输入。

本发明中，使用训练好的模型对待检测图像进行纺织品纱织尺寸检测并得到分类结果，具体包括：利用显微镜获取高放大倍数的纺织品纹理细节图像数据，并进行预处理；将图像数据输入纹理编码网络模型的特征提取层(包括但不限于ResNet,VGGNet)，进行特征提取，获得2048个的特征图；将特征图输入到具有多个不同尺寸的字典编码层(即多尺度字典学习层)，分别用多个尺度的字典对特征图进行编码，获得多个字典编码向量，输出4个无序特征表示向量；多尺度字典注意力层，对每个字典编码向量计算其重要程度并与原向量相乘，得到注意力层向量；最后，将特征提取层获得的特征图进行有序池化处理得到有序特征；将有序特征和无序特征输入特征融合层，获得融合特征；将融合特征输入分类器获得分类结果。

本发明中，利用一个多尺度字典学习的纹理编码网络对图像进行处理步骤之前，包括：获取多个训练图像，并采用图像增强技术对每个训练图像进行图像处理。对每个训练图像标注该布匹的纱织尺寸信息，以获取训练集。对图像进行预处理，其中，预处理过程包括裁剪、缩放、归一化、标准化中的至少一项基本操作。

具体地，所述纹理编码网络模型中：

所述特征提取层，使用50层的卷积神经网络，对输入待检测图像进行特征提取，得到2048个7*7的特征图；

所述多尺度字典学习层，定义4个不同尺寸的字典，作为模型的可学习参数C＝{C1,C2,C3,C4}，其尺度分别为8*128、16*128、32*128、64*128。将特征提取层处理后得到2048个7*7尺寸的特征图转化为49个2048维度的特征描述子；再分别用不同尺寸的字典对这些特征描述子进行编码，获得向量E＝{e1,e2...ej}；用定义的四个字典分别进行编码获得4个编码输出向量E1,E2,E3,E4。

所述多尺度字典注意力层，用全局平均池化方法将获得的4个编码输出向量进行压缩，获得4个一维向量，将所述4个一维向量通过两层全连接网络进行计算，获得每个字典编码向量的重要程度，得到注意力向量，输出为维度为4；将获得的注意力向量与字典编码向量相乘，获得4个注意力编码特征；将四个注意力编码特征分别降维得到四个512维的向量，将四个向量相加获得一个维度为512的融合特征。

所述特征融合层，将特征提取层获得的2048个特征图输入到平均池化层中，获得一个维度为2048的一维有序向量，并通过一层全连接层将池化层输出的维度降低到512维，输出一个维度为512的一维向量；将多尺度字典学习层输出的无序向量和有序池化层输出的有序向量输入到特征融合层，将两个向量进行拼接，获得一个1024维度的一维向量；

所述分类层，通过一层全连接层并通过softmax方法计算出每个类别的概率，获取概率最大的类别为输出结果。

基于上述纺织品纱织尺寸测量方法，本发明还提供纺织品纱织尺寸测量系统。所述测量系统包括：

训练样本获取模块，用于获取训练样本，其中训练样本包括包含不同纱织尺寸的纺织品显微图像样本(尺寸范围为：0～20,20～50,50～70,70～90以及>100，单位为旦数，即9000m长的纤维或纱线在公定回潮率时的重量克数)。

预处理模块，用于对训练样本进行预处理，其中，预处理包括裁剪、缩放、归一化、标准化中的至少一项基本操作。

特征数据保留模块，用于对训练样本中的图像进行灰度处理后保留三个通道的特征数据，作为缺陷图像分类模型的输入。

还包括：模型建立模块，用于建立多尺度字典学习的纹理编码网络，其中包括：特征提取层、多尺度字典学习层、多尺度字典注意力层、特征融合层以及分类层。

本发明通过设置一组不同尺度的字典参数并融合注意力机制实现字典尺度的自动选择，可以更有效的提取纹理图像中不同粒度的纹理特征。同时将有序池化层提取的特征与字典学习获取的无序特征进行融合，在描述无序特征的同时充分考虑了纹理图像空间上下文的有序信息，使检测准确性更高。

附图说明

图1为本发明纺织品纱织尺寸测量方法的流程框图。

图2为本发明多尺度字典学习的纹理编码网络结构示意图。

图3为为模型的训练过程中测试集的测试准确率。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例和附图，对本发明技术方案作进一步具体描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

请参看图1，图1为本发明实施例提供的一种缺陷检测方法的流程框图，该缺陷检测方法包括以下步骤：

通过光学显微镜采集的高度放大倍数的图像可以清晰的观察到纺织品纱织显微的细节，包括其宽度、类别、纺织工艺等信息。可以达到通过肉眼进行规格分析的能力，但是传统的方式依靠人工进行计量和测算，容易产生误差，并且耗费较多的人力成本，因此通过大量的纺织品显微成像数据训练深度模型进行纺织品工艺规格的检测可以极大的提升效率。

步骤S1：利用显微镜获取高度放大倍数的纺织品纹理细节图像数据。

对所述光学显微镜获取的样本进行预处理，其中，所述预处理包括裁剪、缩放、归一化、标准化操作，使图片尺寸为224*224，并对样本图像进行灰度处理后保留三个通道的特征数据作为纺织品图像纹理模型的输入。

步骤S2：将处理后的待检测图像输入到特征提取层，利用卷积神经网络(包括但是不限于ResNet，VGGNet的骨干网络)中进行特征提取，经特征抽取模型处理后得到2048个7*7尺寸的特征图。

为了使模型更快达到收敛，使用经过ImageNet数据集预训练的50层ResNet网络作为骨干网络进行特征提取。

步骤S3：通过多尺度字典学习编码层获取一组无序的纹理特征表示。

首先在模型中定义4个不同尺寸的字典作为模型的可学习参数，4个字典分别定义为C＝{C1,C2,C3,C4}，其尺度分别为8*128、16*128、32*128、64*128。其中128为每个视觉词的维度，8,16,32,64为每个字典中视觉词的个数，其中词数少的字典可以表示粗粒度的纹理特征，而词数多的词典在编码过程中可以更好的提取细粒度的纹理特征。

在获得特征抽取层的输出后，先将特征抽取模型处理后得到2048个7*7尺寸的特征图转化为49个2048维度的特征描述子X＝{x1,x2...x49}。然后分别用不同尺寸的字典对这些特征描述子进行编码获得向量E＝{e1,e2...ej}，编码方式表示为：

其中，r表示为描述子与字典的聚类中心C的残差，即r＝x-c，N为样本个数a为可学习的赋值参数，表示为：

其中，s向量为平滑参数，K为字典的中心词个数。这样赋值向量a可以通过softmax进行计算，变成一个可导方法，可以在端到端的网络中进行训练和优化。我们用定义好的四个字典分别进行编码，最终获得4个编码输出向量E1,E2,E3,E4。

上述式中，x，c，r，a，s，E，等为向量形式，其带下标的，分别表示对应向量的分量。

步骤S4：通过多尺度字典学习编码注意力机制计算不同编码结果的重要程度，并获得结合注意力权重的表示向量。

使用全局平均池化方法将步骤3中获得的4个编码输出向量进行压缩，获得4个一维向量，所述池化方法具体为：

其中，D为向量的维度，K为编码字典中词的个数。将所述的4个一维向量通过两层全连接网络进行计算，获得每个字典编码向量的重要程度，输出为维度为4，所述全连接网络具体为：

s＝σ(W₂δ(W₁z))，

其中，δ表示ReLU激活函数，σ表示sigmoid激活函数。Z为池化层输出的向量，W1，W2为两个全连接层的参数。将获得的注意力向量与字典编码向量相乘，获得4个注意力编码特征。将四个注意力编码特征分别降维得到四个512维的向量，将四个向量相加获得融合特征。该特征融合了不同粒度的纹理细节并考虑了每种特征对分类结果的贡献程度，实现了对不同尺度字典的自动选择。

步骤S5：通过平均池化层获取有序信息。

将特征提取层获得的2048个特征图输入到全局平均池化层中，获得一个维度为2048的一维有序向量。然后通过一层全连接层将池化层输出的维度降低到512维，输出一个维度为512的一维向量。在这一步骤中，我们考虑到传统的纹理识别模型大都只通过字典学习来获取一个无序的特征表示，而忽略了纹理在局部空间中也有很多上下文相关性，所以本发明采用有序的池化层获得有序特征，用多尺度字典组抽取无序特征，然后使用特征融合的方式进行纹理识别。

步骤6：将有序特征与多尺度字典学习编码层获得的无序特征进行融合。

将步骤5中多尺度字典学习层输出的无序向量和有序池化层输出的有序向量输入到特征融合层，将两个向量进行拼接，获得一个1024维度的一维向量，将所获得的的一维向量通过一层全连接网络进行降维，输出一个256维度的一维向量。这种融合方式考虑到传统的双线性方式计算消耗量较大，而采用拼接的方式可以有效减少计算量并且识别准确率没有出现下降。

步骤7：将步骤6获得融合特征输入到分类器中，一层全连接层并通过softmax方法计算出每个类别的概率，获取概率最大的类别为输出结果。

参看图2所示，图2为本发明实施例提供的一种基于多尺度字典学习的纹理编码模型。模型包括特征提取模块、多尺度字典学习模块，多尺度字典注意力模块，有序池化模块、特征融合模块和分类模块。

特征提取模块的构建请参看图2中的方框201。使用了50层的ResNet网络并利用ImageNet数据集进行了500轮的预训练。然后在训练过程中再使用纺织显微数据对网络的所有参数进行优化。

多尺度字典学习模块和多尺度字典注意力模块的构建请参看图2中的方框202。首先在模型中定义4个不同尺寸的字典作为模型的可学习参数，4个字典分别定义为C＝{C1,C2,C3,C4}，其尺度分别为8*128、16*128、32*128、64*128。其中128为每个视觉词的维度，8,16,32,64为每个字典中视觉中心词的个数，其中词数少的字典可以表示粗粒度的纹理特征，而词数多的词典在编码过程中可以更好的提取细粒度的纹理特征。在获得特征抽取层的输出后，先将特征抽取模型处理后得到2048个7*7尺寸的特征图转化为49个2048维度的特征描述子X＝{x1,x2...x49}。然后分别用不同尺寸的字典对这些特征描述子进行编码获得向量E＝{e1,e2...ej}。我们用定义好的四个字典分别进行编码最终获得4个编码输出向量E1,E2,E3,E4。通过多尺度字典学习编码注意力机制计算不同编码结果的重要程度，并获得结合注意力权重的表示向量。使用全局平均池化方法将步骤3中获得的4个编码输出向量进行压缩，获得4个一维向量。将所述的4个一维向量通过两层全连接网络进行计算，获得每个字典编码向量的重要程度，输出为维度为4，将获得的注意力向量与字典编码向量相乘，获得4个注意力编码特征。将四个注意力编码特征分别降维得到四个512维的向量，将四个向量相加获得融合特征。该特征融合了不同粒度的纹理细节并考虑了每种特征对分类结果的贡献程度，实现了对不同尺度字典的自动选择。

检测模块有序池化模块203，用于获取有序的纹理特征，这里通过平均池化获对特征提取层的特征图进行处理，并用全连接网络进行一次降维，获得一个维度为512的一维向量。

特征融合模块204，用于将字典学习层获得的无序特征和池化层获得的有序特征进行融合，这里我们量两个512维度的输出进行拼接形成一个维度为1024的一维向量作为融合有序特征和无序特征的纹理特征向量。

分类模块205，通过softmax方法处理特征融合模块输出的特征融合向量，输出五类结果的概率，将概率最高的概率作为模型的分类输出，输出结果为纱织尺寸的区间(单位为旦数)。

综上，本申请实施例提供的一种纺织品纱织纤维测量方法，该方法包括：利用显微镜获取高度放大倍数的纺织品纹理细节图像数据并进行预处理。将数据输入卷积神经网络进行特征提取，获得2048个的特征图。设计具有多个不同尺寸的字典编码层，对特征图进行编码，获得多个纹理编码向量，作为一组无序特征表示。设计一个多尺度字典注意力机制，对中每个字典编码向量计算其重要程度并与原向量相乘。将特征提取层获得的特征图进行有序池化处理得到有序特征。将有序特征和无序特征输入特征融合层获得融合特征。将融合特征输入分类器获得分类结果。

参看图3，图3所示为模型的训练过程中测试集的测试准确率，其中MusTEN即本实施例设计的多尺度字典学习纹理编码模型，可以看到我们的模型相比于其他主流的纹理识别模型(DeepTEN、FV-CNN、DEP-Net)相比取得了更好的效果，在纺织品尺寸识别实验中准确率可以达到93.2％。从图3可以看出，相比于其他纹理识别模型的实验结果，我们的方法在纱织尺寸识别准确率的提升达到了3％(DeepTEN＝90.1％、DEPNet＝89.7、FV-CNN＝88.4％)。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种基于深度纹理特征的纺织品纱织尺寸检测方法，其特征在于，包括：使用光学显微镜获取待检测纺织品的高放大倍数的纹理细节图像数据；设计一个多尺度字典学习的纹理编码网络模型，该纹理编码网络模型包括特征提取层、多尺度字典学习层、多尺度字典注意力层、特征融合层以及分类层；训练该纹理编码网络模型；使用训练好的纹理编码网络模型对待检测图像进行纺织品纱织尺寸检测，得到分类结果，即为纺织品纱织纤维的尺寸范围；

在使用训练好的模型对待检测图像纱织尺寸测量的步骤之前，包括：

获取训练样本，所述训练样本包括包含各种尺寸区间的纺织品显微镜拍摄图像；

对训练样本进行预处理；所述预处理包括裁剪、缩放、归一化、标准化中的至少一项基本操作；

对训练样本中的图像进行灰度处理，保留三个通道的特征数据，作为缺陷图像分类模型的输入。

2.根据权利要求1所述的纺织品纱织尺寸检测方法，其特征在于，所述纹理编码网络模型中，所述特征提取层，使用50层的卷积神经网络，对输入待检测图像进行特征提取，得到2048个7*7的特征图。

3.根据权利要求2所述的纺织品纱织尺寸检测方法，其特征在于，所述纹理编码网络模型中，所述多尺度字典学习层，定义4个不同尺寸的字典，作为模型的可学习参数C＝{C1,C2,C3,C4}，其尺度分别为8*128、16*128、32*128、64*128；将特征提取层处理后得到2048个7*7尺寸的特征图转化为49个2048维度的特征描述子；再分别用不同尺寸的字典对这些特征描述子进行编码，获得向量E＝{e1,e2...ej}；用定义的四个字典分别进行编码获得4个编码输出向量E1,E2,E3,E4。

4.根据权利要求3所述的纺织品纱织尺寸检测方法，其特征在于，所述纹理编码网络模型中，所述多尺度字典注意力层，用全局平均池化方法将获得的4个编码输出向量进行压缩，获得4个一维向量，将所述4个一维向量通过两层全连接网络进行计算，获得每个字典编码向量的重要程度，得到注意力向量，输出为维度为4；将获得的注意力向量与字典编码向量相乘，获得4个注意力编码特征；将四个注意力编码特征分别降维得到四个512维的向量，将四个向量相加获得一个维度为512的融合特征。

5.根据权利要求4所述的纺织品纱织尺寸检测方法，其特征在于，所述纹理编码网络模型中，所述特征融合层，将特征提取层获得的2048个特征图输入到平均池化层中，获得一个维度为2048的一维有序向量，并通过一层全连接层将池化层输出的维度降低到512维，输出一个维度为512的一维向量；将多尺度字典学习层输出的无序向量和有序池化层输出的有序向量输入到特征融合层，将两个向量进行拼接，获得一个1024维度的一维向量。

6.根据权利要求5所述的纺织品纱织尺寸检测方法，其特征在于，所述纹理编码网络模型中，所述分类层，通过一层全连接层并通过softmax方法计算出每个类别的概率，获取概率最大的类别为输出结果。

7.根据权利要求3所述的纺织品纱织尺寸检测方法，其特征在于，所述多尺度字典学习层中，特征提取层处理后得到2048个7*7尺寸的特征图转化为49个2048维度的特征描述子，记为X＝{x1,x2...x49}，然后分别用不同尺寸的字典对这些特征描述子进行编码获得向量E＝{e1,e2...ej}，编码方式表示为：

其中，r表示为描述子与字典的聚类中心C的残差，即r＝x-c，N为所有训练样本个数，a为可学习的赋值参数，表示为：

其中，s向量为平滑参数，K为字典中定义的聚类中心个数；赋值向量a通过softmax进行计算，变成一个可导方法，可以在端到端的网络中进行训练和优化；用定义好的四个字典分别进行编码，最终获得4个编码输出向量E1,E2,E3,E4；

上述式中，x，c，r，a，s，E，为向量形式，其带下标的，分别表示对应向量的分量。

8.根据权利要求4所述的纺织品纱织尺寸检测方法，其特征在于，所述多尺度字典注意力层中，用全局平均池化方法将获得的4个编码输出向量进行压缩，获得4个一维向量；所述全局平均池化方法，具体为：

其中，D为向量的维度，K为编码字典中词的个数；将所述的4个一维向量通过两层全连接网络进行计算，获得每个字典编码向量的重要程度，输出为维度为4，所述全连接网络具体为：

s＝σ(W₂δ(W₁z))，

其中，δ表示ReLU激活函数，σ表示sigmoid激活函数，Z为池化层输出的向量，W1、W2为两个全连接层的参数；将获得的注意力向量与字典编码向量相乘，获得4个注意力编码特征。

Images