CN116612334A - 一种基于空谱联合注意力机制的医学高光谱图像分类方法 - Google Patents

一种基于空谱联合注意力机制的医学高光谱图像分类方法 Download PDF

Info

Publication number
CN116612334A
CN116612334A CN202310876343.3A CN202310876343A CN116612334A CN 116612334 A CN116612334 A CN 116612334A CN 202310876343 A CN202310876343 A CN 202310876343A CN 116612334 A CN116612334 A CN 116612334A
Authority
CN
China
Prior art keywords
module
attention
convolution
feature
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310876343.3A
Other languages
English (en)
Other versions
CN116612334B (zh
Inventor
单彩峰
陈凯
陈宇
赵猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310876343.3A priority Critical patent/CN116612334B/zh
Publication of CN116612334A publication Critical patent/CN116612334A/zh
Application granted granted Critical
Publication of CN116612334B publication Critical patent/CN116612334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空谱联合注意力机制的医学高光谱图像分类方法，属于图像处理领域，该方法为：将全部N张高光谱图像数据构成数据集D，将数据集D划分为训练集和测试集；为高光谱图像的每个波段赋予重要性权重；构建可保留空间分辨率的高光谱图像重构网络，学习高光谱图像的低维特征；将低维特征输入到金字塔池化双注意力轻量化残差分类网络，计算得到最终的分类结果。本发明在图像降维和分类过程中充分利用高光谱图像的波段信息和空间信息，实现医学高光谱图像的准确分类，有效提升了最终的分类精度。

Description

一种基于空谱联合注意力机制的医学高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于空谱联合注意力机制的医学高光谱图像分类方法。
背景技术
高光谱成像作为一种新兴的生物医学可视化技术，在生物医学领域的研究正逐渐受到关注。相比于传统医学图像，高光谱医学图像可包括多达几百个光谱波段，能够提供更加丰富的人体组织信息。采用机器学习技术设计出的高性能高光谱图像分类模型，可以辅助专业医生进行病变区域和正常组织的快速、精确区分和定位，使得医学高光谱图像在癌症检测、疾病诊断、组织病理学和图像引导手术等方面得到了广泛应用。
目前典型的医学高光谱图像分类过程包括两个主要步骤：（1）波段降维，（2）目标分类。步骤（1）主要采用“深度神经网络+注意力模块”的方法。其中，深度神经网络主要使用3D或2D卷积神经网络，一般包括编码器和解码器两部分。实施过程中，先通过编码器对始高光谱图像进行卷积和池化操作，降低图像的空间尺寸和波段数量，将其变换为维度较低的特征向量，再通过解码器进行反卷积操作，将低维特征向量的尺寸逐步放大，直至恢复至原图像大小。通过缩小原始图像和恢复图像的均方根误差，使编码器得到的低维特征向量尽可能包括原始图像的信息，从而实现降维。步骤（1）中的注意力模块，一般采用光谱注意力模块或空间注意力模块。光谱注意力模块的实现过程如下：首先将原始高光谱图像的每个波段通道进行空间尺度的压缩，将其从W×H×C维度压缩为1×1×C维度的向量，其中W、H、C分别代表原始图像的长、宽、波段数量，空间尺度的压缩方法一般为全局平均池化操作或全局最大池化操作；然后，采用全连接网络对1×1×C维度的向量进行非线性变换，输出1×1×C维度的权重向量；最后，将1×1×C维度的权重向量的C个元素与原始图像的C个波段通道分别对应相乘，完成光谱注意力操作。空间注意力模块的实现过程如下：首先将原始高光谱图像的进行波段尺度的压缩，将其从W×H×C维度压缩为W×H×1维度的矩阵，光谱尺度的压缩方法一般为全局平均池化操作或全局最大池化操作；然后，通过卷积操作对W×H×1维度的矩阵进行非线性变换，输出W×H×1维度的权重矩阵；最后，将W×H×1维度的权重矩阵与原始图像每个W×H×1的波段矩阵进行逐个元素相乘，完成空间注意力操作。步骤（2）主要采用深度神经网络方法，具体过程如下：首先输入步骤（1）学习得到的低维特征向量，之后采用多层卷积神经网络模块（如残差网络）对特征向量进行非线性变换，再后将变换后的特征向量输入到1层或多层全连接网络，变为维度与输出类别数量相同的输出向量，最后使用softmax分类器计算输出向量对每个类别的判别概率，得到最终的分类结果。上述过程也未能充分结合高光谱图像的波段信息和空间信息，限制了最终的分类准确性。
当前方法存在两个主要缺点：（1）在波段降维过程中，现有技术或是仅采用光谱注意力模块进行波段重要性赋值，忽视了波段间的空间联系；或是独立地使用光谱注意力和空间注意力，未能综合空间与谱段信息，导致图像中有用信息的遗漏，不能充分筛选出有利于分类的重要波段。（2）在图像分类过程中，现有技术所大都采用了常规的图像分类模型，这些模型把降维后的高光谱图像作为普通图像处理，不能充分提取其中的空间与光谱特征，限制了图像分类性能的进一步提升。
针对步骤（1）和步骤（2）存在的空间-谱段信息理论不充分问题，本发明提出了一个基于空谱联合注意力机制的医学高光谱图像分类方法。在步骤（1）波段降维阶段，设计联合空谱注意力模块，在传统的光谱注意力模块中，加入了局部平均池化和局部最大池化操作，将图像空间信息融合到光谱注意力的计算过程，学习到联合了空谱信息的低维光谱表示，更加有利于后续分类任务；在步骤（2）的分类过程，本发明设计了一个“空间-光谱”双通道分类网络，使用空间金字塔池化和光谱注意力模块，进一步提取特征向量中的空间和光谱信息，有效提升了最终的分类精度。
发明内容
针对现有技术中存在的上述问题，本发明提出了一种基于空谱联合注意力机制的医学高光谱图像分类方法，设计合理，解决了现有技术的不足，具有良好的效果。
一种基于空谱联合注意力机制的医学高光谱图像分类方法，包括以下步骤：
S1、将全部N张高光谱图像数据构成数据集D，将数据集D划分为训练集和测 试集；
S2、利用空谱联合注意力模块为高光谱图像的每个波段赋予重要性权重；
S3、构建可保留空间分辨率的高光谱图像重构网络，学习高光谱图像的低维特征；
S4、将低维特征输入到金字塔池化双注意力轻量化残差分类网络，计算得到最终的分类结果。
进一步地，所述S2包括以下子步骤：
S21、取单幅原始高光谱图像，定义为，其中W、H、C分别代表原始图 像的长、宽、波段数量；
S22、将该原始图像输入到空谱联合注意力模块计算各波段的权重，该原始图像在 空谱联合注意力模块中，首先使用步长为2的局部平均池化操作和局部最大池化操作，将原 始图像X处理为中间特征图和，两个特征图的维度均为(H/2) ×(W/2) ×C；将和对应通道相加，得到一次融合特征图M1，并使用一个1×1大小的卷积核进行对 M1二维卷积操作，得到二次融合特组图M2，其维度为(H/2)×(W/2) ×C，其表达式为：
；（1）
其中，Conv2D表示2维卷积操作，代表通道相加；
S23、对M2进行光谱注意力操作，先使用全局平均池化将M2变为1×1×C特征向量V，然后使用长度为3的卷积核对向量w进行一维卷积操作，得到重要性权重w1，其表达式为：
；（2）
其中，表示一维卷积层，GAP表示全局平均值池化；
S24、对w1使用sigmod函数进行处理，得到数值大于等于零的最终权重向量w2，其维度为1×1×C，其表达式为：
；（3）
S25、使用通道级乘法操作，将原始图像的C个波段分别与最终权重向量w2的C个元 素相乘，得到加权后的高光谱图像X’。
进一步地，在S3中，所述高光谱图像重构网络包括编码器和解码器两大部分，其中编码器包括四个卷积层，分别为2D-Conv，2D-Conv1，2D-Conv2，2D-Conv3，其对应的卷积核大小分别为1×1，3×3，3×3，3×3；解码器包括3个反卷积层，分别为D-Deconv1，2D-Deconv2，2D-Deconv3，其对应的卷积核大小分别为3×3，3×3，3×3。
进一步地，利用高光谱图像重构网络进行低维特征学习的过程包括以下子步骤：
S31、将加权后的图像X’分割为11×11×C的小块图像z，小块图像的数量为S，将单 个图像输入编码器，经过四个卷积层依次生成四组特征图：，，，，S张小块图像共得到S组特征图；
S32、S组特征图分别经过反卷积层2D-Decon1得到第一组重构图，与进行通道级相加，再经过反卷积层2D-Decon2得到第二组重构图，与进行通 道级相加，再经过反卷积层2D-Decon3得到第三组重构图，与进行通道级相加，得到 最终的重构图；
S33、以式(4)所示的均方误差作为损失函数，迭代训练高光谱图像重构网络， 完成低维特征学习，表达式为：
（4）；
其中，代表第个小块图像，代表第个最终的重构图。
进一步地，所述金字塔池化双注意力轻量化残差分类网络包括金字塔池化双注意力模块和轻量化残差分类模块，所述金字塔池化双注意力模块包括4级空间金字塔模块、空间注意力模块和光谱注意力模块；
所述4级金字塔模块包括4个并联通道SP1~SP4，每个通道由2维自适应平均池化模块和大小为1×1的2维卷积模块串联组成，SP1~SP4中的2维自适应平均池化的步长分别为1×1、2×2、3×3、6×6；所述空间注意力模块包括上采样子模块和位置注意力子模块，上采样子模块为大小为1×1的反卷积模块，位置注意力子模块采用现有的PAM模块；所述光谱注意力模块由现有的CAM模块构成；
所述轻量化残差分类模块包括8个2维卷积层conv1~conv8和一个多通道卷积层mulconv，conv1~conv8的卷积核大小均为3×3；mulconv由四个分支组成，分支一包括三个卷积模块：mulconv11、mulconv12、mulconv13，其中mulconv11是卷积核大小为1×1的2维卷积，mulconv12是卷积核大小为3×3的2维卷积，mulconv13是两个并联的轻量化卷积，卷积核分别为1×3和3×1，分支二包括两个卷积模块：mulconv21、mulconv22，其中mulconv21是卷积核大小为1×1的2维卷积，mulconv22是两个并联的轻量化卷积，卷积核分别为1×3和3×1。分支三包括两个模块：mulmp31、mulconv32，其中mulmp31是步长为2的最大池化，mulconv32是卷积核大小为1×1的2维卷积，分支四包括1个卷积模块mulconv41，是卷积核大小为1×1的2维卷积。
进一步地，将S组特征图分别单独输入到金字塔池化双注意力轻量化残差分类 网络中，每组特征图在该网络中的具体过程为：特征图分别输入到4级空间金字塔模 块和光谱注意力模块中，在4级空间金字塔模块中，经过SP1~SP4的自适应平均池化操作后， 输出4组特征图F11~F14，维度均为6×6×16；F11~F14再分别经过1×1的2维卷积模块进行 非线性变换，输出四组新的特征图F21~F24，其维度均为6×6×4，再将F21~F24进行通道维 度的拼接，得到空间金字塔的输出特征图F；将输出特征图F输入到空间注意 力模块中，进行反卷积得到维度为11×11×16的特征图F4， PAM模块对F4进行空间注意力 操作，得到空间注意力特征F51；在光谱注意力模块中，首先对进行光谱注 意力操作，得到光谱注意力特征F52，将空间注意力特征F51和光谱注意力特 征F52进行通道级相加，得到处理后的特征图F；
S组特征图共得到S张特征图F6，将S张特征图F6分别单独输入到轻量化残差分 类模块中，每张特征图F6在该模块中的具体过程为：特征图F6经过conv1~conv8的卷积操作 输出特征图F7，将F7输入到mulconv中，四个分支分别输出四组特征图F81、F82、F83、F84，经过通道拼接变 为一组特征图F9，最后，使用全局平均池化操作，将F9压缩为1×512维度的 输出特征向量F10，使用softmax分类器计算输出特征向量对每个类别的判别概率，得到一 个分别分类结果，S张特征图共得到S个部分分类结果，S个部分分类结果共同构成最终的分 类结果。
进一步地，所述分类结果为向量形式，向量元素数量为需要识别的目标类别数量， 向量第个元素的数值为待识别样本被判别为第个类别的概率值。
本发明带来的有益技术效果：
本发明提出了一种医学高光谱图像分类方法，通过所设计的空谱联合注意力机制 和可保留空间分辨率的高光谱图像重构网络，更加充分地利用了原始高光谱图像所包括的 空间信息和光谱波段信息，从而学习到更能够代表原始图像的低维特征，有利于提升后续 分类任务的性能；另一方面，设计了金字塔池化双注意力轻量化残差分类网络，在具体的分 类过程中有效融合了低维特征中的空间与谱段信息，同时降低了分类模型的复杂度，提高 了最终的识别效果和计算效率。本发明在准确率、召回率与精确度方面分别获得了96.24%、 92.54%与95.39%，可训练参数量仅为2.34；最先进的技术在准确率、召回率与精确度 方面分别获得了96.69%、90.82%与92.69%，可训练参数量为17.55。本发明的优势在于 分析样本中各组织的召回率与精确度有明显提升，尤其是在对肿瘤组织错分类较小，其次， 本发明提出的模型与最先进的模型在可训练参数量缩小了7倍多。
附图说明
图1为本发明中医学高光谱图像分类方法实现流程图。
图2为本发明中空谱联合注意力模块结构图。
图3为本发明中高光谱图像重构网络结构图。
图4为本发明中金字塔池化双注意力轻量化残差分类网络结构图。
图5为本发明中金字塔池化双注意力模块结构图。
图6为本发明中轻量化残差分类模块结构图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
一种基于空谱联合注意力机制的医学高光谱图像分类方法，如图1所示，包括以下步骤：
S1、将全部N张高光谱图像数据构成数据集D，按照比例α将数据集D划分为训练集和测试集，训练集的图片数量为N*α，测试集的图片数量为N*（1-α）；
S2、利用空谱联合注意力模块为高光谱图像的每个波段赋予重要性权重；
S2包括以下子步骤：
S21、取单幅原始高光谱图像，定义为，其中W、H、C分别代表原始图 像的长、宽、波段数量；
S22、将该原始图像输入到空谱联合注意力模块计算各波段的权重，如图2所示，该 原始图像在空谱联合注意力模块中，首先使用步长为2的局部平均池化操作和局部最大池 化操作，将原始图像X处理为中间特征图和，两个特征图的维度均为(H/2)×(W/ 2)×C；将和对应通道相加，得到一次融合特征图M1，并使用一个1×1大小的卷积 核进行对M1二维卷积操作，得到二次融合特组图M2，其维度为(H/2)×(W/2)×C，其表达式 为：
；（1）
其中，Conv2D表示2维卷积操作，代表通道相加；
S23、对M2进行光谱注意力操作，先使用全局平均池化将M2变为1×1×C特征向量V，然后使用长度为3的卷积核对向量w进行一维卷积操作，得到重要性权重w1，其表达式为：
；（2）
其中，表示一维卷积层，GAP表示全局平均值池化；
S24、为保证权重值的非负性，对w1使用sigmod函数进行处理，得到数值大于等于零的最终权重向量w2，其维度为1×1×C，其表达式为：
；（3）
S25、使用通道级乘法操作，将原始图像的C个波段分别与最终权重向量w2的C个元 素相乘，得到加权后的高光谱图像X’。
S3、构建可保留空间分辨率的高光谱图像重构网络，学习高光谱图像的低维特征；
将高光谱图像重构网络命名为PSSR网络，包括编码器和解码器两大部分，其中编码器包括四个卷积层，分别为2D-Conv，2D-Conv1，2D-Conv2，2D-Conv3，其对应的卷积核大小分别为1×1，3×3，3×3，3×3；解码器包括3个反卷积层，分别为D-Deconv1，2D-Deconv2，2D-Deconv3，其对应的卷积核大小分别为3×3，3×3，3×3；
利用PSSR网络进行低维特征学习的过程包括以下子步骤：
S31、将加权后的图像Z分割为11×11×C的小块图像z，小块图像的数量为S，将单 个图像输入编码器，如图3所示，经过四个卷积层依次生成四组特征图：，，，；S张小块图像供得到S组特 征图；编码过程特点在于，学习到的特征图空间分辨率不变，但波段数量递减，在充分保留 空间信息的同时达到降维目的；
S32、之后进行解码操作，特征图经过反卷积层2D-Decon1得到第一组重构图，与进行通道级相加，再经过反卷积层2D-Decon2得到第二组重构图，与进行通道级相加，再经过反卷积层2D-Decon3得到第三组重构图，与进行 通道级相加，得到最终的重构图；
其中通道级相加操作是指，特征图Z的第i个通道与重构图Y对应的第i个通道中，每个对应位置的元素分别相加。解码过程的特点在于，每个解码输出与对应的编码输出进行了通道级相加的跨接操作，更好地保留了输入图像的空间信息，有利于后续图分类任务的实施。
S33、以式(4)所示的均方误差（MSE）作为损失函数，迭代训练高光谱图像重构 网络，完成低维特征学习；
；（4）
其中，代表第个小块图像，代表第个最终的重构图。
S4、将低维特征输入到金字塔池化双注意力轻量化残差分类网络，计算得到最终的分类结果；
金字塔池化双注意力轻量化残差分类网络命名为DAPPRNet网络，如图4所示，包括金字塔池化双注意力模块和轻量化残差分类模块；
金字塔池化双注意力模块包括4级空间金字塔模块、空间注意力模块和光谱注意力模块； 4级金字塔模块包括4个并联通道SP1~SP4，每个通道由2维自适应平均池化模块和大小为1×1的2维卷积模块串联组成，SP1~SP4中的2维自适应平均池化的步长分别为1×1、2×2、3×3、6×6；空间注意力模块包括上采样子模块和位置注意力子模块，上采样子模块为大小为1×1的反卷积模块，位置注意力子模块采用现有的PAM模块；光谱注意力模块由现有的CAM模块构成；
轻量化残差分类模块包括8个2维卷积层conv1~conv8和一个多通道卷积层mulconv，conv1~conv8的卷积核大小均为3×3；mulconv由四个分支组成，分支一包括三个卷积模块：mulconv11、mulconv12、mulconv13，其中mulconv11是卷积核大小为1×1的2维卷积，mulconv12是卷积核大小为3×3的2维卷积，mulconv13是两个并联的轻量化卷积，卷积核分别为1×3和3×1，分支二包括两个卷积模块：mulconv21、mulconv22，其中mulconv21是卷积核大小为1×1的2维卷积，mulconv22是两个并联的轻量化卷积，卷积核分别为1×3和3×1。分支三包括两个模块：mulmp31、mulconv32，其中mulmp31是步长为2的最大池化，mulconv32是卷积核大小为1×1的2维卷积，分支四包括1个卷积模块mulconv41，是卷积核大小为1×1的2维卷积。轻量化残差分类模块的特点在于：1）使用了四个不同分辨率的运算分支，进一步学习输入特征图的多尺度信息，提高最终分类精度；2）采用了两个轻量化卷积模块，降低了参数数量和计算复杂度，提高了运算效率。
通过金字塔池化双注意力轻量化残差分类网络得到分类结果的具体过程为：将S 组特征图分别单独输入到金字塔池化双注意力轻量化残差分类网络中，每组特征图 在该网络中的具体过程为：如图5所示，特征图分别输入到4级空间金字塔模块和光谱注 意力模块中，在4级空间金字塔模块中，经过SP1~SP4的自适应平均池化操作后，输出4组特 征图F11~F14，维度均为6×6×16；该操作的优势在于，经过1×1、2×2、3×3、6×6四个不同 的空间尺度变换，得到的特征图F11~F14包括了原始输入不同空间分辨率的信息，有利于提 取整体全局特征和局部细节特征，能够提升后续分类精度；
F11~F14再分别经过1×1的2维卷积模块进行非线性变换，输出四组新的特征图 F21~F24，其维度均为6×6×4，再将F21~F24进行通道维度的拼接，得到空间金字塔的输出 特征图F；将输出特征图F输入到空间注意力模块中，进行反卷积得到维度为 11×11×16的特征图F4， PAM模块对F4进行空间注意力操作，得到空间注意力特征F51；在光谱注意力模块中，首先对进行光谱注意力操作，得到光谱注意力特 征F52，将空间注意力特征F51和光谱注意力特征F52进行通道级相加，得到处 理后的特征图F；
S组特征图共得到S张特征图F6，将S张特征图F6分别单独输入到轻量化残差分 类模块中，每张特征图F6在该模块中的具体过程为：如图6所示，特征图F6经过conv1~conv8 的卷积操作输出特征图F7，将F7输入到mulconv中，四个分支分别输出四组 特征图F81、F82、F83、F84，经过 通道拼接变为一组特征图F9，最后，使用全局平均池化操作，将F9压缩为1× 512维度的输出特征向量F10，使用softmax分类器计算输出特征向量对每个类别的判别概 率，得到一个部分分类结果，S张特征图共得到S个部分分类结果，S个部分分类结果共同构 成最终的分类结果。
分类结果为向量形式，向量元素数量为需要识别的目标类别数量，向量第个元素 的数值为待识别样本被判别为第个类别的概率值。
本发明以国际公开的标准高光谱医学图像数据集——“In Vivo Human Brain”数据集为测对象，选取了多深度融合模型（FMDM）、混合光谱网络（HybridSN）、一维卷积神经网络（1D-CNN）、二维卷积神经网络（2D-CNN）四种典型方法作为本发明方法（SARNet）的对比，表1展示了各方法在脑组织分类任务上的性能，表1如下所示：
表1. 本发明与四种对比方法在标准数据集上的分类结果比较；
；
从表1中可以看出本发明在分类准确率、召回率、精确度三个指标上都具有更好的表现。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (7)

1.一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，包括以下步骤：
S1、将全部N张高光谱图像数据构成数据集D，将数据集D划分为训练集和测试集；
S2、利用空谱联合注意力模块为高光谱图像的每个波段赋予重要性权重；
S3、构建可保留空间分辨率的高光谱图像重构网络，学习高光谱图像的低维特征；
S4、将低维特征输入到金字塔池化双注意力轻量化残差分类网络，计算得到最终的分类结果。
2.根据权利要求1所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，所述S2包括以下子步骤：
S21、取单幅原始高光谱图像，定义为，其中W、H、C分别代表原始图像的长、宽、波段数量；
S22、将该原始图像输入到空谱联合注意力模块计算各波段的权重，该原始图像在空谱联合注意力模块中，首先使用步长为2的局部平均池化操作和局部最大池化操作，将原始图像X处理为中间特征图和/>，两个特征图的维度均为(H/2)×(W/2)×C；将/>和对应通道相加，得到一次融合特征图M1，并使用一个1×1大小的卷积核进行对M1二维卷积操作，得到二次融合特组图M2，其维度为(H/2)×(W/2) ×C，其表达式为：
；（1）
其中，Conv2D表示2维卷积操作，代表通道相加；
S23、对M2进行光谱注意力操作，先使用全局平均池化将M2变为1×1×C特征向量V，然后使用长度为3的卷积核对向量w进行一维卷积操作，得到重要性权重w1，其表达式为：
；（2）
其中，表示一维卷积层，GAP表示全局平均值池化；
S24、对w1使用sigmod函数进行处理，得到数值大于等于零的最终权重向量w2，其维度为1×1×C，其表达式为：
；（3）
S25、使用通道级乘法操作，将原始图像的C个波段分别与最终权重向量w2的C个元素相乘，得到加权后的高光谱图像X’。
3.根据权利要求1所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，在S3中，所述高光谱图像重构网络包括编码器和解码器两大部分，其中编码器包括四个卷积层，分别为2D-Conv，2D-Conv1，2D-Conv2，2D-Conv3，其对应的卷积核大小分别为1×1，3×3，3×3，3×3；解码器包括3个反卷积层，分别为D-Deconv1，2D-Deconv2，2D-Deconv3，其对应的卷积核大小分别为3×3，3×3，3×3。
4.根据权利要求3所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，利用高光谱图像重构网络进行低维特征学习的过程包括以下子步骤：
S31、将加权后的图像X’分割为11×11×C的小块图像Z，小块图像的数量为S，将单个图像输入编码器，经过四个卷积层依次生成四组特征图：，/>，，/>，S张小块图像共得到S组/>特征图；
S32、特征图经过反卷积层2D-Decon1得到第一组重构图/>，/>与/>进行通道级相加，再经过反卷积层2D-Decon2得到第二组重构图/>，/>与/>进行通道级相加，再经过反卷积层2D-Decon3得到第三组重构图/>，/>与/>进行通道级相加，得到最终的重构图/>；
S33、以式(4)所示的均方误差作为损失函数，迭代训练高光谱图像重构网络，完成低维特征学习，/>表达式为：
（4）；
其中，代表第/>个小块图像，/>代表第/>个最终的重构图。
5.根据权利要求4所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，所述金字塔池化双注意力轻量化残差分类网络包括金字塔池化双注意力模块和轻量化残差分类模块，所述金字塔池化双注意力模块包括4级空间金字塔模块、空间注意力模块和光谱注意力模块；
所述4级金字塔模块包括4个并联通道SP1~SP4，每个通道由2维自适应平均池化模块和大小为1×1的2维卷积模块串联组成，SP1~SP4中的2维自适应平均池化的步长分别为1×1、2×2、3×3、6×6；所述空间注意力模块包括上采样子模块和位置注意力子模块，上采样子模块为大小为1×1的反卷积模块，位置注意力子模块采用现有的PAM模块；所述光谱注意力模块由现有的CAM模块构成；
所述轻量化残差分类模块包括8个2维卷积层conv1~conv8和一个多通道卷积层mulconv，conv1~conv8的卷积核大小均为3×3；mulconv由四个分支组成，分支一包括三个卷积模块：mulconv11、mulconv12、mulconv13，其中mulconv11是卷积核大小为1×1的2维卷积，mulconv12是卷积核大小为3×3的2维卷积，mulconv13是两个并联的轻量化卷积，卷积核分别为1×3和3×1，分支二包括两个卷积模块：mulconv21、mulconv22，其中mulconv21是卷积核大小为1×1的2维卷积，mulconv22是两个并联的轻量化卷积，卷积核分别为1×3和3×1；分支三包括两个模块：mulmp31、mulconv32，其中mulmp31是步长为2的最大池化，mulconv32是卷积核大小为1×1的2维卷积，分支四包括1个卷积模块mulconv41，是卷积核大小为1×1的2维卷积。
6.根据权利要求5所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，将S组特征图分别单独输入到金字塔池化双注意力轻量化残差分类网络中，每组特征图/>在该网络中的具体过程为：特征图/>分别输入到4级空间金字塔模块和光谱注意力模块中，在4级空间金字塔模块中，经过SP1~SP4的自适应平均池化操作后，输出4组特征图F11~F14，维度均为6×6×16；F11~F14再分别经过1×1的2维卷积模块进行非线性变换，输出四组新的特征图F21~F24，其维度均为6×6×4，再将F21~F24进行通道维度的拼接，得到空间金字塔的输出特征图F/>；将输出特征图F/>输入到空间注意力模块中，进行反卷积得到维度为11×11×16的特征图F4， PAM模块对F4进行空间注意力操作，得到空间注意力特征F51/>；在光谱注意力模块中，首先对/>进行光谱注意力操作，得到光谱注意力特征F52/>，将空间注意力特征F51和光谱注意力特征F52进行通道级相加，得到处理后的特征图F/>；
S组特征图共得到S张特征图F6，将S张特征图F6分别单独输入到轻量化残差分类模块中，每张特征图F6在该模块中的具体过程为：特征图F6经过conv1~conv8的卷积操作输出特征图F7/>，将F7输入到mulconv中，四个分支分别输出四组特征图F81/>、F82/>、F83/>、F84/>，经过通道拼接变为一组特征图F9/>，最后，使用全局平均池化操作，将F9压缩为1×512维度的输出特征向量F10，使用softmax分类器计算输出特征向量对每个类别的判别概率，得到一个部分分类结果，S张特征图共得到S个部分分类结果，S个部分分类结果共同构成最终的分类结果。
7.根据权利要求6所述的一种基于空谱联合注意力机制的医学高光谱图像分类方法，其特征在于，所述分类结果为向量形式，向量元素数量为需要识别的目标类别数量，向量第个元素的数值为待识别样本被判别为第/>个类别的概率值。
CN202310876343.3A 2023-07-18 2023-07-18 一种基于空谱联合注意力机制的医学高光谱图像分类方法 Active CN116612334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310876343.3A CN116612334B (zh) 2023-07-18 2023-07-18 一种基于空谱联合注意力机制的医学高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310876343.3A CN116612334B (zh) 2023-07-18 2023-07-18 一种基于空谱联合注意力机制的医学高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN116612334A true CN116612334A (zh) 2023-08-18
CN116612334B CN116612334B (zh) 2023-10-10

Family

ID=87680387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310876343.3A Active CN116612334B (zh) 2023-07-18 2023-07-18 一种基于空谱联合注意力机制的医学高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN116612334B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990243A (zh) * 2023-09-26 2023-11-03 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN117422911A (zh) * 2023-10-20 2024-01-19 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
WO2022160771A1 (zh) * 2021-01-26 2022-08-04 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN115564996A (zh) * 2022-09-29 2023-01-03 安徽大学 一种基于注意力联合网络的高光谱遥感图像分类方法
WO2023019698A1 (zh) * 2021-08-16 2023-02-23 武汉大学 基于富上下文网络的高光谱图像分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
WO2022160771A1 (zh) * 2021-01-26 2022-08-04 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
WO2023019698A1 (zh) * 2021-08-16 2023-02-23 武汉大学 基于富上下文网络的高光谱图像分类方法
CN113822209A (zh) * 2021-09-27 2021-12-21 海南长光卫星信息技术有限公司 高光谱图像识别方法、装置、电子设备及可读存储介质
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
CN115564996A (zh) * 2022-09-29 2023-01-03 安徽大学 一种基于注意力联合网络的高光谱遥感图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
戴玉超;张静;FATIH PORIKLI;何明一;: "深度残差网络的多光谱遥感图像显著目标检测", 测绘学报, no. 06 *
杨晓莉;蔺素珍;: "一种注意力机制的多波段图像特征级融合方法", 西安电子科技大学学报, no. 01 *
齐永锋;陈静;火元莲;李发勇;: "基于多尺度卷积神经网络的高光谱图像分类算法", 红外技术, no. 09 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990243A (zh) * 2023-09-26 2023-11-03 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN116990243B (zh) * 2023-09-26 2024-01-19 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN117422911A (zh) * 2023-10-20 2024-01-19 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统
CN117422911B (zh) * 2023-10-20 2024-04-30 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统

Also Published As

Publication number Publication date
CN116612334B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN116612334B (zh) 一种基于空谱联合注意力机制的医学高光谱图像分类方法
Arad et al. Ntire 2022 spectral recovery challenge and data set
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN105761234A (zh) 一种基于结构稀疏表示的遥感影像融合方法
CN111127412A (zh) 一种基于生成对抗网络的病理图像识别装置
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN111080657A (zh) 基于卷积神经网络多维度融合的ct图像器官分割方法
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN110060225B (zh) 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
CN114511502A (zh) 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质
Lin et al. Batformer: Towards boundary-aware lightweight transformer for efficient medical image segmentation
CN116091916A (zh) 一种多尺度从rgb图像重建对应的高光谱图像算法及系统
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
CN109409413B (zh) X射线乳腺肿块影像自动分类方法
Hayat et al. Combined Channel and Spatial Attention-based Stereo Endoscopic Image Super-Resolution
CN117115132A (zh) 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法
CN113628111B (zh) 基于梯度信息约束的高光谱图像超分辨方法
CN115713535A (zh) 图像分割模型确定方法以及图像分割方法
CN115731444A (zh) 一种基于人工智能和超像素分割的医学影像融合方法
Dubey et al. Implementation of Autoencoder for Super Resolution of 3D MRI Imaging using Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant