CN114220012A - 一种基于深度自注意力网络的纺织品棉麻鉴别方法 - Google Patents
一种基于深度自注意力网络的纺织品棉麻鉴别方法 Download PDFInfo
- Publication number
- CN114220012A CN114220012A CN202111544562.9A CN202111544562A CN114220012A CN 114220012 A CN114220012 A CN 114220012A CN 202111544562 A CN202111544562 A CN 202111544562A CN 114220012 A CN114220012 A CN 114220012A
- Authority
- CN
- China
- Prior art keywords
- dimension
- feature
- vector
- self
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 229920000742 Cotton Polymers 0.000 title claims abstract description 19
- 239000004753 textile Substances 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000003595 spectral effect Effects 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000002329 infrared spectrum Methods 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 3
- 238000001228 spectrum Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000011487 hemp Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度自注意力网络的纺织品棉麻鉴别方法设计了一个基于深度自注意力网络的模型进行纺织品棉麻组分分析,对光谱波形数据进行多次采样，并进行预处理；根据近红外光谱数据的特点设计了由自注意力模块集成的深度特征提取模块，获得二维的深度特征向量；设计了一个波段特征选择模块，将不同尺度的波段特征映射到同一特征空间；通过设计一个波段注意力机制对每个特征值赋予不同的权重，从而增强了模型对棉麻材质的分类能力。
Description
技术领域
本发明涉及纺织品成分分析技术领域，特别是涉及一种基于深度自注意力网络的纺织品棉麻鉴别方法。
背景技术
在经典的基于近红外光谱数据纺织品棉麻鉴别方法中，大多使用基于统计学习的方法中，首先对近红外光谱数据的预处理提取有效特征，然后通过随机森林、偏最小二乘、逻辑回归等方法获得定性或定量结果。当前已有方法没有针对棉麻组分分析任务对近红外光谱数据设计有效的深度分类模型。并且没有考虑到自注意力机制对近红外光谱波形的变化趋势感知能力。
上述现有技术中存在的缺陷：
(1)对于传统近红外光谱数据纺织品成分分析方法，其解决方案中往往依赖于光谱数据预处理、对数据纯净度要求很高，在工业应用场景下由于其检测性能较低已远无法满足当前检测需求。并且没有针对纺织品棉麻鉴别方法任务对近红外光谱数据设计有效的深度分类模型；
(2)对于同类深度学习方法而言，第一，这类方法通常使编解码器框架进行解混任务，然而这些方法虽然在遥感领域证明了有效性，但是迁移到近红外光谱数据纺织品成分分析任务上效果一般。第二，在纤维属性相似性比较高的棉麻材料分类任务中没有没有考虑到自注意力机制对近红外光谱波形的变化趋势感知能力。
发明内容
本发明的目的是克服了现有技术的问题，提供了一种基于深度自注意力网络的纺织品棉麻鉴别方法。
为了达到上述目的，本发明采用以下方案：
本发明提出的基于一种基于深度自注意力网络的纺织品棉麻鉴别方法设计了一个基于深度自注意力网络的模型进行纺织品棉麻组分分析。首先对光谱波形数据进行多次采样，并进行预处理，然后根据近红外光谱数据的特点设计了由自注意力模块集成的深度特征提取模块，获得二维的深度特征向量。然后设计了一个波段特征选择模块，将不同尺度的波段特征映射到同一特征空间，然后通过设计一个波段注意力机制对每个特征值赋予不同的权重，从而增强了模型对棉麻材质的分类能力。
本发明提出的多阶段定性分类网络包括如下步骤：
(1)给定输入光谱数据，对其进行归一化和标准化，每次输入的采样数据维度为p*2*3，其中p是近红外光谱数据维度，2是光谱数据的通道数，3是对一个样本进行三次重采样，并将数据处理成c*h*w的图像数据，其中c为输入的通道数，h,w为图像的长和宽。
(2)将图像数据进行切片，分割成若干个子图，子图大小为p1*p2，子图个数为n；
(3)将子图输入到特征编码表示层，通过一层全连接层，将每个p1*p2的子图映射到维度为1*d的特征空间中，其中d为全连接层输出维度，得到特征x1。
(4)设置一个可学习的位置变量参数pos，维度为(n+1)*d，其中n为子图个数，d为子图特征表示维度。设置一个用于分类的可学习参数t，维度为1*d。将位置编码参数x1与t进行拼接获得一个(n+1)*d维度的向量，再与特征pos相加获得特征x2。
(5)设计基于自注意力模块的特征提取网络，包括8层自注意力模块，得到特征向量x3，维度为N*d，其中N＝n+1,d为子图特征表示维度；其中每一次自注意力计算过程如为：
其中：Q、K、V分别是输分别是输入向量与可学习参数Wq、Wk、Wv三个权重相乘得到的可学习变量，然后定义h组自注意力模块并进行拼接得到多头自注意力计算结果，然后通过两层全连接网络得到一次自注意力计算的结果。
(6)将向量x3看做N个维度为d的特征描述子，其中d是经过自注意力特征提取后的向量维度的维度。将N个描述子分别输入到特征编码网络中，定义一个维度为8*64的可学习字典c，将描述子进行编码获得向量V，具体编码方式为：
其中V是k*v维度的编码层输出，x为N*d的特征描述子，c为维度为k*v的字典参数，a为赋值函数，a的具体描述形式为：
其中x为N*d的特征描述子，c为维度为k*v的字典参数，k为字典聚类中心个数，v为每个字典元素的维度，α是一个可学习的参数，用来控制向量与聚类中心的距离。
(7)将各个子模型获得的编码层向量V输入到一层全连接网络，输出维度为K，表示第网络分类个数。并计算损失函数loss，具体方法为：
其中K为分类个数，p为模型输出类别，y为标签类别。
附图说明
下面结合附图和具体实施方式对本申请作进一步详细的说明。
图1是本发明的方法整体流程示意图。
图2是本发明的基于深度自注意力网络的纺织品棉麻分类模型概览图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1：
请参看图1：给定输入光谱数据，对其进行归一化和标准化，每次输入的采样数据维度为192*2*3，其中192是近红外光谱数据维度，3是对一个样本进行三次重采样，并将数据处理成2*24*24的图像数据，其中2为输入的通道数，24为图像的长和宽。
将图像数据进行切片，分割成若干个子图，子图大小为2*2，子图个数为64；
将子图输入到特征编码表示层，通过一层全连接层，将每个2*2的子图映射到维度为1*48的特征空间中，其中48为全连接层输出维度，得到特征x1。
设置一个可学习的位置变量参数pos，维度为64*48，其中64为子图个数，d为子图特征表示维度。设置一个用于分类的可学习参数t，维度为1*48。将位置编码参数x1与t进行拼接获得一个65*48维度的向量，再与特征pos相加获得特征x2。
设计基于自注意力模块的特征提取网络，包括8层自注意力模块，得到特征向量x3，维度为65*48，其中N＝65，48为子图特征表示维度；其中每一次自注意力计算过程如为：
其中：Q、K、V分别是输分别是输入向量与可学习参数相乘得到的可学习变量，然后定义6组自注意力模块并进行拼接得到多头自注意力计算结果，然后通过两层全连接网络得到一次自注意力计算的结果。
将向量x3看做65个维度为48的特征描述子，其中48是经过自注意力特征提取后的向量维度x4的维度。将N个描述子分别输入到特征编码网络中，定义一个维度为8*64的可学习字典c，将描述子进行编码获得向量V，具体编码方式为：
其中V是k*v维度的编码层输出，x为65*48的特征描述子，c为维度为8*16的字典参数，a为赋值函数，a的具体描述形式为：
其中x为N*d的特征描述子，c为维度为65*48的字典参数，8为字典聚类中心个数，64为每个字典元素的维度，α是一个可学习的参数，用来控制向量与聚类中心的距离。
将各个子模型获得的编码层向量V输入到一层全连接网络，输出维度为K，表示第网络分类个数。并计算第二阶段损失函数loss，具体方法为：
其中K为分类个数，p为模型输出类别，y为标签类别。其中分类别个数K为3，分别为棉、麻、以及棉麻混合。
网络训练过程使用SGD作为优化器，输入波形尺寸为192*2*3，训练数据批次大小256。学习率从0.003开始，当误差趋于平稳时除以2，衰减率设置为0.0001，动量设置为0.9。
实施例2：
请参看图1，给定输入光谱数据，对其进行归一化和标准化，每次输入的采样数据维度为200*2*3，其中200是近红外光谱数据维度，3是对一个样本进行三次重采样，并将数据处理成2*20*20的图像数据，其中2为输入的通道数，20为图像的长和宽。
将图像数据进行切片，分割成若干个子图，子图大小为2*2，子图个数为128；
将子图输入到特征编码表示层，通过一层全连接层，将每个2*2的子图映射到维度为1*64的特征空间中，其中64为全连接层输出维度，得到特征x1。
设置一个可学习的位置变量参数pos，维度为128*64，其中128为子图个数，d为子图特征表示维度。设置一个用于分类的可学习参数t，维度为1*64。将位置编码参数x1与t进行拼接获得一个129*64维度的向量，再与特征pos相加获得特征x2。
设计基于自注意力模块的特征提取网络，包括8层自注意力模块，得到特征向量x3，维度为129*64，其中N＝129，64为子图特征表示维度；其中每一次自注意力计算过程如为：
其中：Q、K、V分别是输分别是输入向量与可学习参数相乘得到的可学习变量，然后定义6组自注意力模块并进行拼接得到多头自注意力计算结果，然后通过两层全连接网络得到一次自注意力计算的结果。
将向量x3看做129个维度为64的特征描述子，其中d是经过自注意力特征提取后的向量维度x4的维度。将129个描述子分别输入到特征编码网络中，定义一个维度为16*32的可学习字典c，将描述子进行编码获得向量V，具体编码方式为：
其中V是16*32维度的编码层输出，x为129*64的特征描述子，c为维度为16*32的字典参数，a为赋值函数，a的具体描述形式为：
其中x为129*64的特征描述子，c为维度为16*32的字典参数，64为每个字典元素的维度，α是一个可学习的参数，用来控制向量与聚类中心的距离。
将各个子模型获得的编码层向量V输入到一层全连接网络，输出维度为3，表示第网络分类个数。并计算损失函数loss，具体方法为：
其中K为分类个数(棉、麻和棉麻混合)，p为模型输出类别，y为标签类别。
网络训练过程使用SGD作为优化器，输入波形尺寸为200*2*3，训练数据批次大小1024。学习率从0.001开始，衰减率设置为0.0001，动量设置为0.9。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。
Claims (2)
1.一种基于深度自注意力网络的纺织品棉麻鉴别方法，其特征在于，所述纺织品棉麻鉴别方法包括：
S1：给定输入光谱数据，对其进行归一化和标准化，每次输入的采样数据维度为p*2*3，其中p是近红外光谱数据维度，2是光谱数据的通道数，3是对一个样本进行三次重采样，并将数据处理成c*h*w的图像数据，其中c为输入的通道数，h,w为图像的长和宽；
S2：将图像数据进行切片，分割成若干个子图，子图大小为p1*p2，子图个数为n；
S3：将子图输入到特征编码表示层，通过一层全连接层，将每个p1*p2的子图映射到维度为1*d的特征空间中，其中d为全连接层输出维度，得到特征x1；
S4：设置一个可学习的位置变量参数pos，维度为(n+1)*d，其中n为子图个数，d为子图特征表示维度；设置一个用于分类的可学习参数t，维度为1*d；将位置编码参数x1与t进行拼接获得一个(n+1)*d维度的向量，再与特征pos相加获得特征x2；
S5：设计基于自注意力模块的特征提取网络，包括8层自注意力模块，得到特征向量x3，维度为N*d，其中N＝n+1,d为子图特征表示维度；
S6：将向量x3看做N个维度为d的特征描述子，其中d是经过自注意力特征提取后的向量维度的维度；将N个描述子分别输入到特征编码网络中，定义一个维度为8*64的可学习字典c，将描述子进行编码获得向量V；
S7：将各个子模型获得的编码层向量V输入到一层全连接网络，输出维度为K，表示网络分类个数，并计算损失函数loss。
2.根据权利要求1所述的一种基于深度自注意力网络的纺织品棉麻鉴别方法，其特征在于，所述S6包括:
S61:将描述子进行编码获得向量V，具体编码方式为：
其中x为N*d的特征描述子，c为维度为k*v的字典参数，k为字典聚类中心个数，v为每个字典元素的维度，α是一个可学习的参数，用来控制向量与聚类中心的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111544562.9A CN114220012B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度自注意力网络的纺织品棉麻鉴别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111544562.9A CN114220012B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度自注意力网络的纺织品棉麻鉴别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114220012A true CN114220012A (zh) | 2022-03-22 |
| CN114220012B CN114220012B (zh) | 2024-05-31 |
Family
ID=80703036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111544562.9A Active CN114220012B (zh) | 2021-12-16 | 2021-12-16 | 一种基于深度自注意力网络的纺织品棉麻鉴别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114220012B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100481A (zh) * | 2022-08-25 | 2022-09-23 | 海门喜满庭纺织品有限公司 | 一种基于人工智能的纺织品定性分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020237188A1 (en) * | 2019-05-23 | 2020-11-26 | Google Llc | Fully attentional computer vision |
| CN112287978A (zh) * | 2020-10-07 | 2021-01-29 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113139512A (zh) * | 2021-05-14 | 2021-07-20 | 辽宁工程技术大学 | 基于残差和注意力的深度网络高光谱影像分类方法 |
| CN113222888A (zh) * | 2021-03-19 | 2021-08-06 | 复旦大学 | 基于深度纹理特征的纺织品纱织尺寸检测方法 |
| CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
-
2021
- 2021-12-16 CN CN202111544562.9A patent/CN114220012B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020237188A1 (en) * | 2019-05-23 | 2020-11-26 | Google Llc | Fully attentional computer vision |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN112287978A (zh) * | 2020-10-07 | 2021-01-29 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN113222888A (zh) * | 2021-03-19 | 2021-08-06 | 复旦大学 | 基于深度纹理特征的纺织品纱织尺寸检测方法 |
| CN113139512A (zh) * | 2021-05-14 | 2021-07-20 | 辽宁工程技术大学 | 基于残差和注意力的深度网络高光谱影像分类方法 |
| CN113674334A (zh) * | 2021-07-06 | 2021-11-19 | 复旦大学 | 基于深度自注意力网络和局部特征编码的纹理识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王家乾;龚子寒;薛云;庞士冠;古东宏;: "基于混合多头注意力和胶囊网络的特定目标情感分析", 中文信息学报, no. 05, 15 May 2020 (2020-05-15) * |
| 边小勇;费雄君;穆楠;: "基于尺度注意力网络的遥感图像场景分类", 计算机应用, no. 03, 31 December 2020 (2020-12-31) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100481A (zh) * | 2022-08-25 | 2022-09-23 | 海门喜满庭纺织品有限公司 | 一种基于人工智能的纺织品定性分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114220012B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259142B (zh) | 基于注意力编码和图卷积网络的特定目标情感分类方法 | |
| Abu-Jassar et al. | Some Features of Classifiers Implementation for Object Recognition in Specialized Computer systems. | |
| Tang et al. | Sparse unmixing of hyperspectral data using spectral a priori information | |
| CN112131383B (zh) | 特定目标的情感极性分类方法 | |
| Dias et al. | Using the Choquet integral in the pooling layer in deep learning networks | |
| CN113837308B (zh) | 基于知识蒸馏的模型训练方法、装置、电子设备 | |
| CN113283427A (zh) | 文本识别方法、装置、设备及介质 | |
| CN110427480B (zh) | 个性化文本智能推荐方法、装置及计算机可读存储介质 | |
| CN114332621A (zh) | 一种基于多模型特征融合的病虫害识别方法及系统 | |
| CN110059765B (zh) | 一种矿物智能识别分类系统与方法 | |
| CN113836928B (zh) | 文本实体生成方法、装置、设备及存储介质 | |
| CN111027636B (zh) | 基于多标签学习的无监督特征选择方法及系统 | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| US20240185582A1 (en) | Annotation-efficient image anomaly detection | |
| CN113536122A (zh) | 应用于大数据的业务数据压缩方法及云计算服务器 | |
| CN111461979A (zh) | 验证码图像去噪识别方法、电子装置及存储介质 | |
| CN114220012A (zh) | 一种基于深度自注意力网络的纺织品棉麻鉴别方法 | |
| CN113159211B (zh) | 用于相似图像检索的方法、计算设备和计算机存储介质 | |
| CN113052073B (zh) | 一种基于元学习的少样本行为识别方法 | |
| CN110674020A (zh) | App智能推荐方法、装置及计算机可读存储介质 | |
| Abdelli et al. | Risky event classification leveraging transfer learning for very limited datasets in optical networks | |
| CN113820291A (zh) | 基于多阶段卷积神经网络的纺织品无损环保定性方法 | |
| CN110717521A (zh) | 智能业务实现方法、装置及计算机可读存储介质 | |
| CN112766358A (zh) | 用于粉尘抽吸强度控制的神经网络的训练方法 | |
| CN111737469A (zh) | 数据挖掘方法、装置、终端设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |