CN115979973A - 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 - Google Patents

一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 Download PDF

Info

Publication number
CN115979973A
CN115979973A CN202310271270.5A CN202310271270A CN115979973A CN 115979973 A CN115979973 A CN 115979973A CN 202310271270 A CN202310271270 A CN 202310271270A CN 115979973 A CN115979973 A CN 115979973A
Authority
CN
China
Prior art keywords
hyperspectral
traditional chinese
honeysuckle
attention
chinese medicinal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310271270.5A
Other languages
English (en)
Other versions
CN115979973B (zh
Inventor
张辉
陈天才
陈煜嵘
刘立柱
毛建旭
袁小芳
王耀南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310271270.5A priority Critical patent/CN115979973B/zh
Publication of CN115979973A publication Critical patent/CN115979973A/zh
Application granted granted Critical
Publication of CN115979973B publication Critical patent/CN115979973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

一种基于双通道压缩注意力网络的高光谱中药材鉴别方法，包括：1、构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集；2、构建分组融合模块，将第一金银花中药材高光谱数据集输入到分组融合模块，最终生成空间通道的输入矩阵和光谱通道的输入矩阵；3、搭建空谱双通道压缩注意力网络模型，优化空谱双通道压缩注意力网络模型的参数；4、利用第二金银花中药材高光谱数据集对训练后的空谱双通道压缩注意力网络模型进行验证。本发明利用分组融合模块降低了高光谱数据的冗余程度，同时利用双通道压缩注意力网络学习金银花高光谱数据的空谱特征表示，减少了有效信息丢失，降低了注意力计算的资源消耗，提高了金银花的鉴别精度。

Description

一种基于双通道压缩注意力网络的高光谱中药材鉴别方法
技术领域
本发明涉及医药高光谱智能检测技术领域，特别涉及一种基于双通道压缩注意力网络的高光谱中药材鉴别方法。
背景技术
中医药学体现了中华民族的伟大智慧，是中国古代科学的瑰宝。金银花作为“三药三方”中连花清瘟胶囊和金花清感颗粒的主要药方成分，在抗击新冠疫情的治疗中起到重要作用。而山银花因其价格低廉，且外形与金银花极其相似，极易被掺入至金银花中。与金银花性热且具有清热解毒的功效不同，山银花性热，并且功效与金银花完全相反，如果金银花中掺入一定量的山银花，将会严重影响临床疗效甚至危及生命。由此可见，研究如何快速精确地进行金银花中药材真伪鉴别变得尤为重要，其具有十分重要的现实意义。
传统的中药鉴定识别的传统方法包括基原鉴定、性状鉴定、显微鉴定和理化鉴定四种手段。前三种方法过于依赖鉴定者的主观判断，且缺少确切的鉴定标准，往往需要鉴定者具备丰富的中药理论知识以及多年的经验积累，因此不能满足大规模的快速精确检测情况。而理化鉴定方法是利用化学分离技术进行相关中药材鉴定，会造成被测样品不可逆的破坏，同时由于中药材中包含复杂的化学成分，逐一分离其中的成分不仅耗时而且实验成本高。近年来，高光谱技术得到迅速发展，在所有过程分析手段中占有主流地位并在医药行业中的应用日趋广泛。同时由于深度学习可以从海量多元的数据中发掘隐含的具有潜在价值的特征知识，在中药材高光谱鉴别分析中得到广泛的应用。
然而传统的深度学习方法——卷积神经网络很难有效地捕获高光谱数据的光谱序列信息，特别是中长期的依赖关系，因此难免会遇到性能瓶颈。同时由于卷积神经网络过度关注空间内容信息，使得学习到的特征中序列信息失真。与卷积神经网络不同，Transformer作为目前最前沿的骨干网络之一，其自身的自注意力技术能够捕获全局信息，可以有效地分析序列数据，因此更适合对金银花中药材高光谱数据进行处理。然而，普通的Transformer方法缺乏捕获局部空间上下文信息的能力，同时未能充分利用高光谱数据的空间-光谱耦合结构，限制了金银花中药材的鉴别精度，并且由于模型参数规模大，推理速度也有待提升。
发明内容
本发明提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法，以解决现有中金银花中药材高光谱数据鉴别精度和速度不足，且鲁棒性和泛化性无法满足现实需求的技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法，包括如下步骤：
步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集，并对第一金银花中药材高光谱数据集进行数据处理，得到数据处理后的第一金银花中药材高光谱数据集；
步骤S2、构建分组融合模块GFM，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，最终生成空间通道的输入矩阵和光谱通道的输入矩阵；
步骤S3、搭建空谱双通道压缩注意力网络模型，利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数，得到参数优化后的空谱双通道压缩注意力网络模型；
步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。
进一步地，所述步骤S1具体包含如下步骤：
步骤S11、利用标准白板对高光谱成像系统进行白板矫正；
步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内，采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并构建金银花中药材高光谱数据集
Figure SMS_2
，且
Figure SMS_4
，其中
Figure SMS_8
、
Figure SMS_1
、
Figure SMS_3
分别为采集到的高光谱图像的长度、宽度和波段数，
Figure SMS_6
表示实数集；
Figure SMS_7
为第一金银花中药材高光谱数据集，
Figure SMS_5
为第二金银花中药材高光谱数据集；
步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注；
步骤S14、针对第一金银花中药材高光谱数据集的边缘像素：对第一金银花中药材高光谱数据集的所有边缘像素进行长度为
Figure SMS_9
的镜像Padding，再以每个边缘像素为中心划分构建多个第一三维数据块，其中第一三维数据块的空间维度大小为
Figure SMS_10
，
Figure SMS_11
为第一三维数据块长和宽的大小；
针对第一金银花中药材高光谱数据集的边缘之外的像素：以第一金银花中药材高光谱数据集边缘之外的每个像素为中心，并将其周围像素合在一起，划分构建多个第二三维数据块；
利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集
Figure SMS_12
，即
Figure SMS_13
，
Figure SMS_14
，其中
Figure SMS_15
为第一金银花中药材高光谱数据集的像素总个数，
Figure SMS_16
表示第
Figure SMS_17
个金银花中药材高光谱图像三维数据块；每个金银花中药材高光谱图像三维数据块
Figure SMS_18
的标签为该数据块中心像素的真实标签；
步骤S15、对金银花中药材高光谱图像三维数据块集
Figure SMS_19
进行数据增强预处理，得到预处理后的金银花中药材高光谱图像三维数据块集
Figure SMS_20
，即数据处理后的第一金银花中药材高光谱数据集。
进一步地，所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作，且每个三维数据块
Figure SMS_21
的数据增强预处理过程最多进行五种操作中的一种。
进一步地，所述步骤S2具体包含如下步骤：
步骤S21、构建分组融合模块GFM，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，得到金银花中药材高光谱分组融合特征块
Figure SMS_22
；
步骤S22、将得到金银花中药材高光谱分组融合特征块
Figure SMS_23
进行双通道词嵌入操作，生成空间通道的输入矩阵和光谱通道的输入矩阵。
进一步地，所述步骤S21具体包含如下步骤：
步骤S211、构建分组融合模块GFM，分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层；
分组融合模块GFM可表示为：
Figure SMS_24
其中
Figure SMS_25
表示卷积核为
Figure SMS_26
的分组卷积层，
Figure SMS_27
表示归一化层，
Figure SMS_28
表示高斯误差线性单元激活函数层；
步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块
Figure SMS_29
在波段维度
Figure SMS_30
上进行划分、生成
Figure SMS_31
个子数据块
Figure SMS_32
，即
Figure SMS_33
，
Figure SMS_34
；
步骤S213、分别对每个子数据块
Figure SMS_35
进行卷积操作，得到卷积操作后的多个子数据块
Figure SMS_36
；
步骤S214、将卷积操作后的所有子数据块
Figure SMS_37
重新拼接在一起，生成金银花中药材高光谱分组特征块
Figure SMS_38
，
Figure SMS_39
，其中
Figure SMS_40
为利用分组卷积层对金银花中药材高光谱图像三维数据块
Figure SMS_41
进行数据降维、信息融合后的波段数；
步骤S215、将金银花中药材高光谱分组特征块
Figure SMS_42
输入到归一化层，得到金银花中药材高光谱分组特征块
Figure SMS_43
；归一化层具体为：
Figure SMS_44
其中
Figure SMS_45
和
Figure SMS_46
分别是金银花中药材高光谱分组特征块
Figure SMS_47
的期望和方差，
Figure SMS_48
和
Figure SMS_49
是网络训练中可学习的参数；
步骤S216、将金银花中药材高光谱分组特征块
Figure SMS_50
输入到高斯误差线性单元激活函数层，得到金银花中药材高光谱分组融合特征块
Figure SMS_51
；
高斯误差线性单元激活函数层具体为：
Figure SMS_52
其中
Figure SMS_53
为概率论中的高斯误差函数，即高斯概率密度函数的积分。
进一步地，所述步骤S22具体包含如下步骤：
步骤S221、将金银花中药材高光谱分组融合特征块
Figure SMS_54
进行双通道词嵌入操作；
步骤S222、双通道词嵌入操作对金银花高光谱空谱特征块的每个像素分别进行两次线性映射，生成空间注意力向量
Figure SMS_55
和光谱注意力向量
Figure SMS_56
；
步骤S223、将每个像素的空间注意力向量
Figure SMS_57
均分三份，得到query1向量、key1向量和value1向量，将每个像素的query1向量、key1向量和value1向量进行纵向拼接，得到空间通道的输入矩阵，空间通道的输入矩阵包括
Figure SMS_58
矩阵、
Figure SMS_59
矩阵和
Figure SMS_60
矩阵；
步骤S224、将每个像素的光谱注意力向量
Figure SMS_61
均分三份，得到query2向量、key2向量和value2向量，将每个像素的query2向量、key2向量和value2向量进行均分和拼接，得到光谱通道的输入矩阵，光谱通道的输入矩阵包括
Figure SMS_62
矩阵、
Figure SMS_63
矩阵和
Figure SMS_64
矩阵。
进一步地，所述步骤S3具体包含如下步骤：
步骤S31、搭建空谱双通道压缩注意力网络模型，空谱双通道压缩注意力网络模型包括空-谱压缩融合注意力模块和高光谱金银花中药材鉴别模块；空-谱压缩融合注意力模块包括依次连接的压缩池化操作、空-谱双通道注意力机制和映射融合操作；高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层；
步骤S32、空-谱压缩融合注意力模块包含压缩池化操作、空-谱双通道注意力机制和最后的映射融合操作；将空间通道的输入矩阵、光谱通道的输入到压缩池化操作，得到空间压缩矩阵集
Figure SMS_65
、光谱压缩矩阵集
Figure SMS_66
；
步骤S33、将空间压缩矩阵集
Figure SMS_67
和光谱压缩矩阵集
Figure SMS_68
分别输入空间注意力机制和光谱注意力机制中，生成空间注意力特征
Figure SMS_69
和光谱注意力特征
Figure SMS_70
；
步骤S34、对空间注意力特征
Figure SMS_71
和光谱注意力特征
Figure SMS_72
分别进行线性映射，生成空间特征
Figure SMS_73
和光谱特征
Figure SMS_74
，将二者纵向拼接并重新线性映射回原始维度大小，得到高光谱金银花中药材的空-谱融合特征
Figure SMS_75
；
步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空-谱融合特征
Figure SMS_76
的空间维度平均值，得到特征分类向量
Figure SMS_77
，其维度大小为
Figure SMS_78
；
步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到
Figure SMS_79
维，
Figure SMS_80
是高光谱金银花中药材数据集中除背景外所有像素的类别数；将
Figure SMS_81
维中最大值的类别作为该高光谱三维数据块的分类预测标签；
步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练，得到参数优化后的空谱双通道压缩注意力网络模型。
进一步地，所述步骤S31中的空间注意力机制包括第一多头注意力层和第一多层感知机层；
第一多头空间注意力层计算公式具体为：
Figure SMS_82
Figure SMS_83
Figure SMS_84
其中，
Figure SMS_91
表示单头空间注意力，
Figure SMS_86
为归一化指数函数，
Figure SMS_90
表示矩阵
Figure SMS_87
的维度大小；
Figure SMS_97
表示多头空间注意力，用符号表示为
Figure SMS_92
；
Figure SMS_93
表示将多组单头空间注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure SMS_98
；其中
Figure SMS_101
为超参数，表示多头空间注意力中头的个数；
Figure SMS_85
表示多头空间注意力中第
Figure SMS_100
个头的空间注意力；
Figure SMS_94
、
Figure SMS_95
和
Figure SMS_96
分别表示
Figure SMS_99
矩阵，
Figure SMS_88
矩阵和
Figure SMS_89
矩阵对应的映射矩阵；
第一多层感知机层计算公式具体为：
Figure SMS_102
其中
Figure SMS_103
表示特征注意力，
Figure SMS_104
。
Figure SMS_105
表示多头注意力，且
Figure SMS_106
。
Figure SMS_107
和
Figure SMS_108
为全连接操作，即线性映射操作。
Figure SMS_109
与上文一致，为高斯误差线性单元（GELU）激活函数。
进一步地，所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层；第二多层感知机层和第一多层感知机层的结构相同；
第二多头注意力层的计算公式具体为：
Figure SMS_110
Figure SMS_111
Figure SMS_112
其中，
Figure SMS_125
表示单头光谱注意力，
Figure SMS_116
表示矩阵
Figure SMS_122
的维度大小。
Figure SMS_115
表示多头光谱注意力，用符号表示为
Figure SMS_117
。
Figure SMS_120
表示将多组单头光谱注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure SMS_124
。其中
Figure SMS_126
为超参数，表示多头光谱注意力中头的个数。
Figure SMS_128
表示多头光谱注意力中第
Figure SMS_114
个头的光谱注意力。
Figure SMS_119
，
Figure SMS_118
和
Figure SMS_121
分别表示
Figure SMS_123
矩阵，
Figure SMS_127
矩阵和
Figure SMS_113
矩阵对应的映射矩阵。
本发明的有益效果：
1、本发明通过分组融合模块，将金银花中药材高光谱数据的相邻波段映射至低维空间，提取高度相关波段间的有用特征，降低了中药材高光谱数据的波段冗余度，减少了网络训练与推理压力。
2、本发明通过空谱双通道压缩注意力网络模型，减少了单头注意力计算时的参数量，降低了网络模型训练和推理过程中的运算和内存资源的消耗，提高了金银花中药材的鉴别速度。同时利用空-谱压缩融合注意力模块充分融合金银花中药材高光谱数据集中的空间特征和光谱特征，增大了网络模型的泛化性和鲁棒性，提升了金银花中药材的鉴别精度，为金银花中药材的快速无损鉴别提供了技术支撑，具有较好的应用前景。
附图说明
图1为发明的流程图；
图2为本发明中掺杂山银花的金银花中药材高光谱图像数据；
图3为本发明中分组融合模块和空谱双通道压缩注意力网络示意图；
图4为本发明中第二金银花中药材高光谱图像数据的分类结果图；
图5为空-谱压缩融合注意力模块的结构示意图；
图6为分组融合模块的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
另外，在本发明中的“第一”、“第二”等描述，仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量或顺序。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多组”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
参照图1，本申请实施例提供了一种基于双通道压缩注意力网络的高光谱中药材鉴别方法，包括如下步骤：
步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集，并对第一金银花中药材高光谱数据集进行数据处理，得到数据处理后的第一金银花中药材高光谱数据集；
步骤S2、构建分组融合模块GFM，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，最终生成空间通道的输入矩阵和光谱通道的输入矩阵；
步骤S3、搭建空谱双通道压缩注意力网络模型，利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数，得到参数优化后的空谱双通道压缩注意力网络模型；
步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行验证。
下面就每个步骤的实现方式进行阐述；
步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集，并对第一金银花中药材高光谱数据集进行数据处理，得到数据处理后的第一金银花中药材高光谱数据集；
在本实施例中，所述步骤S1具体包含如下步骤：
步骤S11、利用标准白板对高光谱成像系统进行白板矫正；
步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内采集并两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并构建金银花中药材高光谱图像数据集
Figure SMS_131
，且
Figure SMS_132
，其中
Figure SMS_133
、
Figure SMS_130
、
Figure SMS_134
分别为采集到的高光谱图像的长度、宽度和波段数，
Figure SMS_135
表示实数集；
Figure SMS_136
为第一金银花中药材高光谱数据集，
Figure SMS_129
为第二金银花中药材高光谱数据集；
具体的，利用白板矫正后的高光谱成像系统在光谱波段400~1000nm范围内采集两张不同的掺杂有部分山银花的金银花中药材高光谱图像，并构建金银花中药材高光谱图像数据集
Figure SMS_138
，且
Figure SMS_142
。其中
Figure SMS_145
为第一金银花中药材高光谱数据集，
Figure SMS_139
为第二金银花中药材高光谱数据集，且
Figure SMS_143
。
Figure SMS_146
、
Figure SMS_148
、
Figure SMS_137
分别为采集到的高光谱图像数据的长度、宽度和波段数，
Figure SMS_141
表示实数集。本实施例中
Figure SMS_144
、
Figure SMS_147
、
Figure SMS_140
分别为612、838和600。图2即为拍摄的掺杂有山银花的金银花中药材高光谱数据可视化结果图，图2中（a）为第一金银花中药材高光谱数据集的数据图，（b）为第一金银花中药材高光谱数据集的真值图，（c）为第二金银花中药材高光谱数据集的数据图，（d）为第二金银花中药材高光谱数据集的真值图。
步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注；
步骤S14、针对第一金银花中药材高光谱数据集的边缘像素：对第一金银花中药材高光谱数据集的所有边缘像素进行长度为
Figure SMS_149
的镜像Padding，再以每个缘像素为中心划分构建多个第一三维数据块，其中第一三维数据块的空间维度大小为
Figure SMS_150
，
Figure SMS_151
为第一三维数据块长和宽的大小；
针对第一金银花中药材高光谱数据集的边缘之外的像素：以第一金银花中药材高光谱数据集边缘之外的每个像素为中心，并将其周围像素合在一起，划分构建多个第二三维数据块；
利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集
Figure SMS_153
，即
Figure SMS_154
，
Figure SMS_155
，保留高光谱数据原有结构，其中
Figure SMS_156
为第一金银花中药材高光谱数据集的像素总个数，即
Figure SMS_157
。
Figure SMS_158
表示第
Figure SMS_159
个金银花中药材高光谱图像三维数据块。每个高光谱三维数据块
Figure SMS_152
的标签为该数据块中心像素的真实标签；
步骤S15、对金银花中药材高光谱图像三维数据块集
Figure SMS_160
进行数据增强预处理，得到预处理后的金银花中药材高光谱图像三维数据块集
Figure SMS_161
，即数据处理后的第一金银花中药材高光谱数据集。
在本实施例中，所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作，且每个三维数据块
Figure SMS_162
的数据增强预处理过程最多进行五种操作中的一种。
步骤S2、构建分组融合模块GFM，分组融合模块GFM的结构如图6所示，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，最终生成空间通道的输入矩阵和光谱通道的输入矩阵；
在本实施例中，所述步骤S2具体包含如下步骤：
步骤S21、构建分组融合模块GFM，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，得到金银花中药材高光谱分组融合特征块
Figure SMS_163
；
在本实施例中，所述步骤S21具体包含如下步骤：
步骤S211、构建分组融合模块GFM，分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层；
分组融合模块GFM可表示为：
Figure SMS_164
其中
Figure SMS_165
表示卷积核为
Figure SMS_166
的分组卷积层，
Figure SMS_167
表示归一化层，
Figure SMS_168
表示高斯误差线性单元激活函数层；
步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块
Figure SMS_169
在波段维度
Figure SMS_170
上进行划分、生成
Figure SMS_171
个子数据块
Figure SMS_172
，即
Figure SMS_173
，
Figure SMS_174
，在本实施例中
Figure SMS_175
设置为32。
步骤S213、分别对每个子数据块
Figure SMS_176
进行卷积核为3、步长为1、padding为1的卷积操作，得到卷积操作后的多个子数据块
Figure SMS_177
；通过卷积操作可降低数据的冗余程度。
步骤S214、将卷积操作后的所有子数据块
Figure SMS_178
重新拼接在一起，生成金银花中药材高光谱分组特征块
Figure SMS_179
，
Figure SMS_180
，其中
Figure SMS_181
为利用分组卷积层对高光谱三维数据块
Figure SMS_182
进行数据降维、信息融合后的波段数；在本实施例中
Figure SMS_183
为32，即
Figure SMS_184
。
步骤S215、将金银花中药材高光谱分组特征块
Figure SMS_185
输入到归一化层，得到金银花中药材高光谱分组特征块
Figure SMS_186
；归一化层具体为：
Figure SMS_187
其中
Figure SMS_188
和
Figure SMS_189
分别是金银花中药材高光谱分组特征块
Figure SMS_190
的期望和方差，
Figure SMS_191
和
Figure SMS_192
是网络训练中可学习的参数；归一化层用于将每个波段的数据转换在均值为0，方差为1的状态，使每个波段的数据分布一致，加快网络训练的收敛速度，防止训练过程中出现梯度爆炸或梯度消失现象，同时避免训练结果出现过拟合。
步骤S216、将金银花中药材高光谱分组特征块
Figure SMS_193
输入到高斯误差线性单元激活函数层，得到金银花中药材高光谱分组融合特征块
Figure SMS_194
；
高斯误差线性单元激活函数层具体为：
Figure SMS_195
其中
Figure SMS_196
为概率论中的高斯误差函数，即高斯概率密度函数的积分；高斯误差线性单元激活函数层用于解决网络训练速度急剧下降导致的梯度饱和问题；
步骤S22、将金银花中药材高光谱分组融合特征块
Figure SMS_197
进行双通道词嵌入操作，生成空间通道的输入矩阵和光谱通道的输入矩阵。
在本实施例中，所述步骤S22具体包含如下步骤：
步骤S221、将金银花中药材高光谱分组融合特征块
Figure SMS_198
进行双通道词嵌入操作；
步骤S222、双通道词嵌入操作对金银花中药材高光谱分组融合特征块
Figure SMS_199
的每个像素分别进行两次线性映射，生成空间注意力向量
Figure SMS_200
和光谱注意力向量
Figure SMS_201
；空间注意力向量和光谱注意力向量的维度大小为金银花中药材高光谱分组融合特征块
Figure SMS_202
波段数的3倍，在本实施例中即为96。
步骤S223、将每个像素的空间注意力向量
Figure SMS_203
均分三份，得到query1向量、key1向量和value1向量，将每个像素的query1向量、key1向量和value1向量进行纵向拼接，得到空间通道的输入矩阵，空间通道的输入矩阵包括
Figure SMS_204
矩阵、
Figure SMS_205
矩阵和
Figure SMS_206
矩阵，作为双通道压缩注意力模块中光谱通道的输入；其中所有矩阵的维度都为
Figure SMS_207
，在本实施例中即为
Figure SMS_208
。
步骤S224、将每个像素的光谱注意力向量
Figure SMS_209
均分三份，得到query2向量、key2向量和value2向量，将每个像素的query2向量、key2向量和value2向量进行均分和拼接，得到光谱通道的输入矩阵，光谱通道的输入矩阵包括
Figure SMS_210
矩阵、
Figure SMS_211
矩阵和
Figure SMS_212
矩阵。
步骤S3、搭建空谱双通道压缩注意力网络模型，利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数，得到参数优化后的空谱双通道压缩注意力网络模型；
在本实施例中，所述步骤S3具体包含如下步骤：
步骤S31、如图3所示，搭建空谱双通道压缩注意力网络模型，空谱双通道压缩注意力网络模型包括空-谱压缩融合注意力模块和高光谱金银花中药材鉴别模块；空-谱压缩融合注意力模块包括依次连接的压缩池化操作、空-谱双通道注意力机制和映射融合操作，空-谱压缩融合注意力模块的结构如图5所示；高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层；
所述步骤S31中的空-谱双通道注意力机制包括空间注意力机制和光谱注意力机制；空间注意力机制包括第一多头注意力层和第一多层感知机层；
第一多头空间注意力层计算公式具体为：
Figure SMS_213
Figure SMS_214
Figure SMS_215
其中，
Figure SMS_225
表示单头空间注意力，
Figure SMS_218
为归一化指数函数，
Figure SMS_221
表示矩阵
Figure SMS_228
的维度大小，本实施例中即为32；
Figure SMS_231
表示多头空间注意力，用符号表示为
Figure SMS_229
；
Figure SMS_232
表示将多组单头空间注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure SMS_226
；其中
Figure SMS_230
为超参数，表示多头空间注意力中头的个数；
Figure SMS_219
表示多头空间注意力中第
Figure SMS_222
个头的空间注意力；
Figure SMS_216
、
Figure SMS_220
和
Figure SMS_224
分别表示
Figure SMS_227
矩阵，
Figure SMS_217
矩阵和
Figure SMS_223
矩阵对应的映射矩阵；
第一多层感知机层计算公式具体为：
Figure SMS_233
其中
Figure SMS_234
表示特征注意力，
Figure SMS_235
。
Figure SMS_236
表示多头注意力，且
Figure SMS_237
。
Figure SMS_238
和
Figure SMS_239
为全连接操作，即线性映射操作。
Figure SMS_240
与上文一致，为高斯误差线性单元（GELU）激活函数。
在本实施例中，所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层；第二多层感知机层和第一多层感知机层的结构相同；
第二多头注意力层的计算公式具体为：
Figure SMS_241
Figure SMS_242
Figure SMS_243
其中，
Figure SMS_253
表示单头光谱注意力，
Figure SMS_246
表示矩阵
Figure SMS_251
的维度大小，本实施例中即为32。
Figure SMS_244
表示多头光谱注意力，用符号表示为
Figure SMS_249
。
Figure SMS_250
表示将多组单头光谱注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure SMS_254
。其中
Figure SMS_252
为超参数，表示多头光谱注意力中头的个数，在本实施例中设置为8。
Figure SMS_256
表示多头光谱注意力中第
Figure SMS_245
个头的光谱注意力。
Figure SMS_248
，
Figure SMS_255
和
Figure SMS_258
分别表示
Figure SMS_257
矩阵，
Figure SMS_259
矩阵和
Figure SMS_247
矩阵对应的映射矩阵。
步骤S32、空-谱压缩融合注意力模块包含压缩池化操作、空-谱双通道注意力机制和最后的映射融合操作；将空间通道的输入矩阵、光谱通道的输入到压缩池化操作，得到空间压缩矩阵集
Figure SMS_260
、光谱压缩矩阵集
Figure SMS_261
；减少了空谱双通道注意力机制的参数量，降低了运算和内存资源的消耗，提高了金银花中药材的鉴定速度。
具体的，压缩池化操作的对象包括空间通道输入矩阵的
Figure SMS_269
矩阵和
Figure SMS_264
矩阵，以及光谱通道输入矩阵的
Figure SMS_266
矩阵和
Figure SMS_265
矩阵。别对四个矩阵进行自适应平均池化，输出大小设置为原始矩阵大小的一半，从而得到各自的压缩矩阵
Figure SMS_267
、
Figure SMS_270
、
Figure SMS_273
和
Figure SMS_272
矩阵，其中空间通道输入矩阵缩小的为空间维度，即
Figure SMS_275
和
Figure SMS_263
的维度大小为
Figure SMS_268
，光谱通道输入矩阵缩小的为波段维度，即
Figure SMS_271
和
Figure SMS_274
的维度大小为
Figure SMS_276
。此外，空间压缩矩阵集
Figure SMS_277
，光谱压缩矩阵集
Figure SMS_262
。
步骤S33、将空间压缩矩阵集
Figure SMS_278
和光谱压缩矩阵集
Figure SMS_279
分别输入空间注意力机制和光谱注意力机制中，生成空间注意力特征
Figure SMS_280
和光谱注意力特征
Figure SMS_281
；聚焦重要的有用特征信息，忽略不相关的特征信息，提高金银花中药材的鉴定精度。
步骤S34、对空间注意力特征
Figure SMS_282
和光谱注意力特征
Figure SMS_286
分别进行线性映射，生成空间特征
Figure SMS_288
和光谱特征
Figure SMS_284
，将二者纵向拼接并重新线性映射回原始维度大小，得到高光谱金银花中药材的空-谱融合特征
Figure SMS_285
；
Figure SMS_289
、
Figure SMS_290
和
Figure SMS_283
维度大小都为
Figure SMS_287
。
步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空-谱融合特征
Figure SMS_291
的空间维度平均值，得到特征分类向量
Figure SMS_292
，其维度大小为
Figure SMS_293
，在本实施例中即为32；
步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到
Figure SMS_294
维，
Figure SMS_295
是高光谱金银花中药材数据集中除背景外所有像素的类别数；将
Figure SMS_296
维中最大值的类别作为该高光谱三维数据块的分类预测标签；
步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练，其中初始学习率设置为0.001，动量设置为0.9，权重衰减设置为0.0001，网络训练迭代次数设置为100个epoch，Batch Size设置为128；得到参数优化后的空谱双通道压缩注意力网络模型。
步骤S4、利用第二金银花中药材高光谱数据集对训练后的空谱双通道压缩注意力网络模型进行验证。
在本实施例中，所述步骤S4具体包含如下步骤：
步骤S41、对第二金银花中药材高光谱数据集按照步骤S14和步骤S15的步骤，构建另一个金银花中药材高光谱图像三维数据块集
Figure SMS_297
，并对金银花中药材高光谱图像三维数据块集
Figure SMS_298
进行数据增强预处理，得到数据增强预处理后的金银花中药材高光谱图像三维数据块集
Figure SMS_299
；
步骤S42、利用数据增强预处理后的金银花中药材高光谱图像三维数据块集
Figure SMS_300
对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。
本实施例中实验结果如图4和表1所示：
表1：
Figure SMS_301
从上述实验结果可见，本实施例通过分组融合模块，将金银花中药材高光谱数据的相邻波段映射至低维空间，提取高度相关波段间的有用特征，降低中药材高光谱数据的波段冗余度，减少网络训练与推理压力。并通过双通道压缩注意力网络，减少单头注意力计算时的参数量，降低网络模型训练和推理过程中的运算和内存资源的消耗，提高金银花中药材的鉴别速度。同时利用空-谱压缩融合注意力模块充分融合金银花中药材高光谱数据集中的空间特征和光谱特征，增大网络模型的泛化性和鲁棒性，提升金银花中药材的鉴别精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于双通道压缩注意力网络的高光谱中药材鉴别方法，其特征在于：包括如下步骤：
步骤S1、采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并利用两张高光谱图像分别构建第一金银花中药材高光谱数据集和第二金银花中药材高光谱数据集，并对第一金银花中药材高光谱数据集进行数据处理，得到数据处理后的第一金银花中药材高光谱数据集；
步骤S2、构建分组融合模块GFM，将处理数据后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，最终生成空间通道的输入矩阵和光谱通道的输入矩阵；
步骤S3、搭建空谱双通道压缩注意力网络模型，利用空间通道的输入矩阵和光谱通道的输入矩阵优化空谱双通道压缩注意力网络模型的参数，得到参数优化后的空谱双通道压缩注意力网络模型；
步骤S4、利用第二金银花中药材高光谱数据集对参数优化后的空谱双通道压缩注意力网络模型进行泛化性验证。
2.根据权利要求1所述的高光谱中药材鉴别方法，其特征在于，所述步骤S1具体包含如下步骤：
步骤S11、利用标准白板对高光谱成像系统进行白板矫正；
步骤S12、利用白板矫正后的高光谱成像系统在指定光谱波段范围内，采集两张不同的掺杂有部分山银花的金银花中药材的高光谱图像，并构建金银花中药材高光谱数据集
Figure QLYQS_3
，且
Figure QLYQS_4
，其中
Figure QLYQS_7
、
Figure QLYQS_2
、
Figure QLYQS_5
分别为采集到的高光谱图像的长度、宽度和波段数，
Figure QLYQS_6
表示实数集；
Figure QLYQS_8
为第一金银花中药材高光谱数据集，
Figure QLYQS_1
为第二金银花中药材高光谱数据集；
步骤S13、借助MatLab软件对高光谱图像的每个像素进行标注；
步骤S14、针对第一金银花中药材高光谱数据集的边缘像素：对第一金银花中药材高光谱数据集的所有边缘像素进行长度为
Figure QLYQS_9
的镜像Padding，再以每个边缘像素为中心划分构建多个第一三维数据块，其中第一三维数据块的空间维度大小为
Figure QLYQS_10
，
Figure QLYQS_11
为第一三维数据块长和宽的大小；
针对第一金银花中药材高光谱数据集的边缘之外的像素：以第一金银花中药材高光谱数据集边缘之外的每个像素为中心，并将其周围像素合在一起，划分构建多个第二三维数据块；
利用多个第一三维数据块和多个第二三维数据块构建金银花中药材高光谱图像三维数据块集
Figure QLYQS_12
，即
Figure QLYQS_13
，
Figure QLYQS_14
，其中
Figure QLYQS_15
为第一金银花中药材高光谱数据集的像素总个数，
Figure QLYQS_16
表示第
Figure QLYQS_17
个金银花中药材高光谱图像三维数据块；每个金银花中药材高光谱图像三维数据块
Figure QLYQS_18
的标签为该数据块中心像素的真实标签；
步骤S15、对金银花中药材高光谱图像三维数据块集
Figure QLYQS_19
进行数据增强预处理，得到预处理后的金银花中药材高光谱图像三维数据块集
Figure QLYQS_20
，即数据处理后的第一金银花中药材高光谱数据集。
3.根据权利要求2所述的高光谱中药材鉴别方法，其特征在于，所述步骤S15中的数据增强预处理包括数据块上下翻转、数据块左右翻转、数据块顺时针旋转90°、数据块顺时针旋转180°、数据块逆时针旋转90°五种操作，且每个三维数据块
Figure QLYQS_21
的数据增强预处理过程最多进行五种操作中的一种。
4.根据权利要求2所述的高光谱中药材鉴别方法，其特征在于，所述步骤S2具体包含如下步骤：
步骤S21、构建分组融合模块GFM，将数据处理后的第一金银花中药材高光谱数据集输入到分组融合模块GFM中，得到金银花中药材高光谱分组融合特征块
Figure QLYQS_22
；
步骤S22、将得到金银花中药材高光谱分组融合特征块
Figure QLYQS_23
进行双通道词嵌入操作，生成空间通道的输入矩阵和光谱通道的输入矩阵。
5.根据权利要求4所述的高光谱中药材鉴别方法，其特征在于，所述步骤S21具体包含如下步骤：
步骤S211、构建分组融合模块GFM，分组融合模块GFM包括依次连接的分组卷积层、归一化层和高斯误差线性单元激活函数层；
分组融合模块GFM可表示为：
Figure QLYQS_24
其中
Figure QLYQS_25
表示卷积核为
Figure QLYQS_26
的分组卷积层，
Figure QLYQS_27
表示归一化层，
Figure QLYQS_28
表示高斯误差线性单元激活函数层；
步骤S212、分组卷积层首先将输入的金银花中药材高光谱图像三维数据块
Figure QLYQS_29
在波段维度
Figure QLYQS_30
上进行划分、生成
Figure QLYQS_31
个子数据块
Figure QLYQS_32
，即
Figure QLYQS_33
，
Figure QLYQS_34
；
步骤S213、分别对每个子数据块
Figure QLYQS_35
进行卷积操作，得到卷积操作后的多个子数据块
Figure QLYQS_36
；
步骤S214、将卷积操作后的所有子数据块
Figure QLYQS_37
重新拼接在一起，生成金银花中药材高光谱分组特征块
Figure QLYQS_38
，
Figure QLYQS_39
，其中
Figure QLYQS_40
为利用分组卷积层对金银花中药材高光谱图像三维数据块
Figure QLYQS_41
进行数据降维、信息融合后的波段数；
步骤S215、将金银花中药材高光谱分组特征块
Figure QLYQS_42
输入到归一化层，得到金银花中药材高光谱分组特征块
Figure QLYQS_43
；归一化层具体为：
Figure QLYQS_44
其中
Figure QLYQS_45
和
Figure QLYQS_46
分别是金银花中药材高光谱分组特征块
Figure QLYQS_47
的期望和方差，
Figure QLYQS_48
和
Figure QLYQS_49
是网络训练中可学习的参数；
步骤S216、将金银花中药材高光谱分组特征块
Figure QLYQS_50
输入到高斯误差线性单元激活函数层，得到金银花中药材高光谱分组融合特征块
Figure QLYQS_51
；
高斯误差线性单元激活函数层具体为：
Figure QLYQS_52
其中
Figure QLYQS_53
为概率论中的高斯误差函数，即高斯概率密度函数的积分。
6.根据权利要求5所述的高光谱中药材鉴别方法，其特征在于，所述步骤S22具体包含如下步骤：
步骤S221、将金银花中药材高光谱分组融合特征块
Figure QLYQS_54
进行双通道词嵌入操作；
步骤S222、双通道词嵌入操作对金银花高光谱空谱特征块的每个像素分别进行两次线性映射，生成空间注意力向量
Figure QLYQS_55
和光谱注意力向量
Figure QLYQS_56
；
步骤S223、将每个像素的空间注意力向量
Figure QLYQS_57
均分三份，得到query1向量、key1向量和value1向量，将每个像素的query1向量、key1向量和value1向量进行纵向拼接，得到空间通道的输入矩阵，空间通道的输入矩阵包括
Figure QLYQS_58
矩阵、
Figure QLYQS_59
矩阵和
Figure QLYQS_60
矩阵；
步骤S224、将每个像素的光谱注意力向量
Figure QLYQS_61
均分三份，得到query2向量、key2向量和value2向量，将每个像素的query2向量、key2向量和value2向量进行均分和拼接，得到光谱通道的输入矩阵，光谱通道的输入矩阵包括
Figure QLYQS_62
矩阵、
Figure QLYQS_63
矩阵和
Figure QLYQS_64
矩阵。
7.根据权利要求6所述的高光谱中药材鉴别方法，其特征在于，所述步骤S3具体包含如下步骤：
步骤S31、搭建空谱双通道压缩注意力网络模型，空谱双通道压缩注意力网络模型包括空-谱压缩融合注意力模块和高光谱金银花中药材鉴别模块；空-谱压缩融合注意力模块包括依次连接的压缩池化操作、空-谱双通道注意力机制和映射融合操作；高光谱金银花中药材鉴别模块包括依次连接的全局平均池化层和线性分类层；
步骤S32、空-谱压缩融合注意力模块包含压缩池化操作、空-谱双通道注意力机制和最后的映射融合操作；将空间通道的输入矩阵、光谱通道的输入到压缩池化操作，得到空间压缩矩阵集
Figure QLYQS_65
、光谱压缩矩阵集
Figure QLYQS_66
；
步骤S33、将空间压缩矩阵集
Figure QLYQS_67
和光谱压缩矩阵集
Figure QLYQS_68
分别输入空间注意力机制和光谱注意力机制中，生成空间注意力特征
Figure QLYQS_69
和光谱注意力特征
Figure QLYQS_70
；
步骤S34、对空间注意力特征
Figure QLYQS_71
和光谱注意力特征
Figure QLYQS_72
分别进行线性映射，生成空间特征
Figure QLYQS_73
和光谱特征
Figure QLYQS_74
，将二者纵向拼接并重新线性映射回原始维度大小，得到高光谱金银花中药材的空-谱融合特征
Figure QLYQS_75
；
步骤S35、利用高光谱金银花中药材鉴别模块的全局平均池化层计算空-谱融合特征
Figure QLYQS_76
的空间维度平均值，得到特征分类向量
Figure QLYQS_77
，其维度大小为
Figure QLYQS_78
；
步骤S36、利用高光谱金银花中药材鉴别模块的线性分类层将特征分类向量映射到
Figure QLYQS_79
维，
Figure QLYQS_80
是高光谱金银花中药材数据集中除背景外所有像素的类别数；将
Figure QLYQS_81
维中最大值的类别作为该高光谱三维数据块的分类预测标签；
步骤S37、采用随机梯度下降法对空谱双通道压缩注意力网络模型中的参数进行优化训练，得到参数优化后的空谱双通道压缩注意力网络模型。
8.根据权利要求7所述的高光谱中药材鉴别方法，其特征在于，所述步骤S31中的空间注意力机制包括第一多头注意力层和第一多层感知机层；
第一多头空间注意力层计算公式具体为：
Figure QLYQS_93
Figure QLYQS_83
Figure QLYQS_89
其中，
Figure QLYQS_86
表示单头空间注意力，
Figure QLYQS_90
为归一化指数函数，
Figure QLYQS_94
表示矩阵
Figure QLYQS_97
的维度大小；
Figure QLYQS_92
表示多头空间注意力，用符号表示为
Figure QLYQS_96
；
Figure QLYQS_82
表示将多组单头空间注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure QLYQS_87
；其中
Figure QLYQS_98
为超参数，表示多头空间注意力中头的个数；
Figure QLYQS_100
表示多头空间注意力中第
Figure QLYQS_99
个头的空间注意力；
Figure QLYQS_101
、
Figure QLYQS_85
和
Figure QLYQS_88
分别表示
Figure QLYQS_91
矩阵，
Figure QLYQS_95
矩阵和
Figure QLYQS_84
矩阵对应的映射矩阵；
第一多层感知机层计算公式具体为：
Figure QLYQS_103
其中
Figure QLYQS_105
表示特征注意力，
Figure QLYQS_108
，
Figure QLYQS_104
表示多头注意力，且
Figure QLYQS_106
，
Figure QLYQS_107
和
Figure QLYQS_109
为全连接操作，即线性映射操作，
Figure QLYQS_102
与上文一致，为高斯误差线性单元（GELU）激活函数。
9.根据权利要求7所述的高光谱中药材鉴别方法，其特征在于，所述步骤S31中的光谱注意力机制包括第二多头注意力层和第二多层感知机层；第二多层感知机层和第一多层感知机层的结构相同；
第二多头注意力层的计算公式具体为：
Figure QLYQS_120
Figure QLYQS_113
Figure QLYQS_116
其中，
Figure QLYQS_122
表示单头光谱注意力，
Figure QLYQS_126
表示矩阵
Figure QLYQS_127
的维度大小，
Figure QLYQS_128
表示多头光谱注意力，用符号表示为
Figure QLYQS_121
，
Figure QLYQS_124
表示将多组单头光谱注意力结果纵向拼接在一起，接着乘上对应的可学习的权重矩阵
Figure QLYQS_110
，其中
Figure QLYQS_117
为超参数，表示多头光谱注意力中头的个数，
Figure QLYQS_112
表示多头光谱注意力中第
Figure QLYQS_115
个头的光谱注意力，
Figure QLYQS_118
，
Figure QLYQS_123
和
Figure QLYQS_111
分别表示
Figure QLYQS_114
矩阵，
Figure QLYQS_119
矩阵和
Figure QLYQS_125
矩阵对应的映射矩阵。
CN202310271270.5A 2023-03-20 2023-03-20 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法 Active CN115979973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310271270.5A CN115979973B (zh) 2023-03-20 2023-03-20 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310271270.5A CN115979973B (zh) 2023-03-20 2023-03-20 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法

Publications (2)

Publication Number Publication Date
CN115979973A true CN115979973A (zh) 2023-04-18
CN115979973B CN115979973B (zh) 2023-06-16

Family

ID=85966894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310271270.5A Active CN115979973B (zh) 2023-03-20 2023-03-20 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法

Country Status (1)

Country Link
CN (1) CN115979973B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279907A (zh) * 2024-06-03 2024-07-02 菏泽学院 一种基于Transformer与CNN的中草药图像识别系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288551A (zh) * 2011-04-01 2011-12-21 尚振刚 利用高光谱数据鉴别中药材的方法
WO2017066825A1 (en) * 2015-10-19 2017-04-27 National Ict Australia Limited Spectral reconstruction
US20180365822A1 (en) * 2017-06-19 2018-12-20 ImpactVision, Inc. System and method for hyperspectral image processing to identify foreign object
CN111429234A (zh) * 2020-04-16 2020-07-17 电子科技大学中山学院 一种基于深度学习的商品序列推荐方法
CN112464891A (zh) * 2020-12-14 2021-03-09 湖南大学 一种高光谱图像分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN113138192A (zh) * 2021-05-19 2021-07-20 天津中医药大学 一种金银花和山银花的鉴别方法及系统
CN113269196A (zh) * 2021-07-19 2021-08-17 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
CN113989525A (zh) * 2021-12-24 2022-01-28 湖南大学 自适应随机块卷积核网络的高光谱中药材鉴别方法
US20220051074A1 (en) * 2018-10-10 2022-02-17 Zhejiang University Quantitative spectral data analysis and processing method based on deep learning
CN114398948A (zh) * 2021-12-13 2022-04-26 西安邮电大学 一种基于空-谱联合注意力网络的多光谱影像变化检测方法
WO2022126797A1 (zh) * 2020-12-17 2022-06-23 之江实验室 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台
CN115131313A (zh) * 2022-06-27 2022-09-30 浙江大学 基于Transformer的高光谱图像变化检测方法及装置
CN115222994A (zh) * 2022-08-12 2022-10-21 河海大学 一种基于混合光谱网络和多头自注意力机制的高光谱图像分类方法
US20220358755A1 (en) * 2019-08-30 2022-11-10 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Systems and methods for hyperspectral imaging and artificial intelligence assisted automated recognition of drugs
CN115713109A (zh) * 2022-10-25 2023-02-24 山东科技大学 一种用于图像分类的多头注意力模型压缩方法
US20230078459A1 (en) * 2021-09-10 2023-03-16 Beijing Seetrum Technology Co., Ltd. Spectral imaging device

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288551A (zh) * 2011-04-01 2011-12-21 尚振刚 利用高光谱数据鉴别中药材的方法
WO2017066825A1 (en) * 2015-10-19 2017-04-27 National Ict Australia Limited Spectral reconstruction
US20180365822A1 (en) * 2017-06-19 2018-12-20 ImpactVision, Inc. System and method for hyperspectral image processing to identify foreign object
US20220051074A1 (en) * 2018-10-10 2022-02-17 Zhejiang University Quantitative spectral data analysis and processing method based on deep learning
US20220358755A1 (en) * 2019-08-30 2022-11-10 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Systems and methods for hyperspectral imaging and artificial intelligence assisted automated recognition of drugs
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN111429234A (zh) * 2020-04-16 2020-07-17 电子科技大学中山学院 一种基于深度学习的商品序列推荐方法
CN112464891A (zh) * 2020-12-14 2021-03-09 湖南大学 一种高光谱图像分类方法
WO2022126797A1 (zh) * 2020-12-17 2022-06-23 之江实验室 基于多层级知识蒸馏预训练语言模型自动压缩方法及平台
CN113138192A (zh) * 2021-05-19 2021-07-20 天津中医药大学 一种金银花和山银花的鉴别方法及系统
CN113269196A (zh) * 2021-07-19 2021-08-17 湖南大学 一种图卷积神经网络高光谱医药成分分析的实现方法
US20230078459A1 (en) * 2021-09-10 2023-03-16 Beijing Seetrum Technology Co., Ltd. Spectral imaging device
CN114398948A (zh) * 2021-12-13 2022-04-26 西安邮电大学 一种基于空-谱联合注意力网络的多光谱影像变化检测方法
CN113989525A (zh) * 2021-12-24 2022-01-28 湖南大学 自适应随机块卷积核网络的高光谱中药材鉴别方法
CN115131313A (zh) * 2022-06-27 2022-09-30 浙江大学 基于Transformer的高光谱图像变化检测方法及装置
CN115222994A (zh) * 2022-08-12 2022-10-21 河海大学 一种基于混合光谱网络和多头自注意力机制的高光谱图像分类方法
CN115713109A (zh) * 2022-10-25 2023-02-24 山东科技大学 一种用于图像分类的多头注意力模型压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MIAOMIAO LIANG等: "A Dual Multi-Head Contextual Attention Network for Hyperspectral Image Classification", 《REMOTE SENSING》 *
欧阳宁等: "基于空-谱融合网络的高光谱图像分类方法", 《计算机应用》, vol. 38, no. 7 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118279907A (zh) * 2024-06-03 2024-07-02 菏泽学院 一种基于Transformer与CNN的中草药图像识别系统

Also Published As

Publication number Publication date
CN115979973B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111310676A (zh) 基于CNN-LSTM和attention的视频动作识别方法
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
CN112329721B (zh) 一种模型轻量化设计的遥感小目标检测方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
WO2021218238A1 (zh) 图像处理方法和图像处理装置
WO2023115682A1 (zh) 自适应随机块卷积核网络的高光谱中药材鉴别方法
CN115979973A (zh) 一种基于双通道压缩注意力网络的高光谱中药材鉴别方法
CN108932501B (zh) 一种基于多核关联集成降维的人脸识别方法
Fu et al. CCNet: CNN model with channel attention and convolutional pooling mechanism for spatial image steganalysis
CN113095305B (zh) 一种医药异物高光谱分类检测方法
CN110163156A (zh) 一种基于卷积自编码模型的唇部特征提取方法
CN110363072A (zh) 舌象识别方法、装置、计算机设备及计算机可读存储介质
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN107368819B (zh) 人脸识别方法及系统
CN111723759A (zh) 基于加权张量稀疏图映射的非约束人脸识别方法
CN113850182B (zh) 基于DAMR_3DNet的动作识别方法
CN118038428A (zh) 基于通道和空间协同注意的小目标害虫检测方法和系统
Rayhan et al. Classification of Grape Leaf Disease Using Convolutional Neural Network (CNN) with Pre-Trained Model VGG16
CN114429424B (zh) 一种适用于退化方式不定的遥感图像超分重建方法
CN113343770B (zh) 一种基于特征筛选的人脸防伪方法
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别系统
CN108647601A (zh) 一种基于卷积网络的火灾场景中烟雾的检测方法
CN110555342B (zh) 一种图像识别方法、装置和图像设备
CN112364773A (zh) 基于l1正则约束深度多示例学习的高光谱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant