CN116990243B - 一种基于gap框架的轻量化注意力高光谱计算重构方法 - Google Patents
一种基于gap框架的轻量化注意力高光谱计算重构方法 Download PDFInfo
- Publication number
- CN116990243B CN116990243B CN202311248481.3A CN202311248481A CN116990243B CN 116990243 B CN116990243 B CN 116990243B CN 202311248481 A CN202311248481 A CN 202311248481A CN 116990243 B CN116990243 B CN 116990243B
- Authority
- CN
- China
- Prior art keywords
- size
- tensor
- output
- layer
- medical hyperspectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004364 calculation method Methods 0.000 title abstract description 28
- 230000009977 dual effect Effects 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000000701 chemical imaging Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 60
- 238000010606 normalization Methods 0.000 claims description 48
- 230000004913 activation Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 35
- 238000005259 measurement Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000017105 transposition Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004804 winding Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 40
- 230000000694 effects Effects 0.000 description 16
- 230000014759 maintenance of location Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NOOLISFMXDJSKH-UTLUCORTSA-N (+)-Neomenthol Chemical compound CC(C)[C@@H]1CC[C@@H](C)C[C@@H]1O NOOLISFMXDJSKH-UTLUCORTSA-N 0.000 description 1
- NOOLISFMXDJSKH-UHFFFAOYSA-N DL-menthol Natural products CC(C)C1CCC(C)CC1O NOOLISFMXDJSKH-UHFFFAOYSA-N 0.000 description 1
- 235000006200 Glycyrrhiza glabra Nutrition 0.000 description 1
- 244000303040 Glycyrrhiza glabra Species 0.000 description 1
- 235000001466 Ribes nigrum Nutrition 0.000 description 1
- 241001312569 Ribes nigrum Species 0.000 description 1
- 239000010231 banlangen Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- LPLVUJXQOOQHMX-QWBHMCJMSA-N glycyrrhizinic acid Chemical compound O([C@@H]1[C@@H](O)[C@H](O)[C@H](O[C@@H]1O[C@@H]1C([C@H]2[C@]([C@@H]3[C@@]([C@@]4(CC[C@@]5(C)CC[C@@](C)(C[C@H]5C4=CC3=O)C(O)=O)C)(C)CC2)(C)CC1)(C)C)C(O)=O)[C@@H]1O[C@H](C(O)=O)[C@@H](O)[C@H](O)[C@H]1O LPLVUJXQOOQHMX-QWBHMCJMSA-N 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 235000011477 liquorice Nutrition 0.000 description 1
- 229940041616 menthol Drugs 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/15—Medicinal preparations ; Physical properties thereof, e.g. dissolubility
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Pharmacology & Pharmacy (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于GAP框架的轻量化注意力高光谱计算重构方法，包括医药高光谱图像在经过编码孔径快照式光谱成像后获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、医药高光谱测量值以及向量化后的函数关系；基于广义交替投影法和向量化后的函数关系对向量化后的医药高光谱图像进行优化求解得到优化求解表达式，进而得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，结合向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，达到预设迭代次数时，得到最终的医药高光谱图像的重构值。
Description
技术领域
本发明属于高光谱计算重构技术领域，特别是涉及一种基于GAP框架的轻量化注意力高光谱计算重构方法。
背景技术
高光谱成像技术分为扫描式成像和快照式成像，其中前者通过在时间或空间维度的扫描成像获取被测场景的全波段光谱信息，后者通过压缩感知技术在单次曝光成像中获取被测场景的压缩高光谱信息。相对而言，高光谱快照式成像能在单次曝光时间获取全部空间和光谱信息，相比与扫描式成像具有显著的优势，不仅可以采集静态场景的空谱数据，还能应用于医药试剂、医疗病理切片、内窥镜成像等动态场景，实现复杂场景的实时动态高光谱数据采集。
高光谱快照式成像主要原理在于压缩感知技术，通过对压缩测量值的计算重构获取高质量的高光谱图像。传统的计算重构方法多用迭代的形式，如TwIST、ADMM-TV、GAP-TV等，迭代优化的方法在重构时能保持稳定的重构效果，但受限于优化器的优化效果，一般很难达到较高的重构精度，对于高质量清晰计算重构的成像无法达到要求。而当前有许多基于深度学习的方法，如λ-net、TSA-net等方法，通过端到端的映射，可以实现高光谱数据的快速重构，然而，基于深度学习的方法受限于数据集数据量大、网络训练耗费时间长、计算资源占用量大、泛化性能差等缺点，无法在边缘设备端进行较好的部署和应用。
因此，将迭代优化方法与基于深度学习的方法进行有机结合可以较好的解决这个问题。在迭代优化方法中，优化器也可以称为去噪器，用于对迭代过程的中间变量进行优化去噪。去噪器可以选择任何具备去噪效果的方法，如最经典的总变分（TV）、低秩分解等方法，也可以选择当前效果最好的一些神经网络去噪方法，如MAC-Net等。这种可以随机替换去噪器的模型，有利于不断更新模型的计算重构效果，而且适用于各种不同构型的高光谱快照式系统，可复用性强，扩展性强。并且，模型的收敛性能在长时间的迭代过程中也可以保持稳定，在深度学习技术不断迭代进步的情况下，还可以不断地替换最新的去噪方法来提升计算重构的性能。
发明内容
针对以上技术问题，本发明提供一种基于GAP框架的轻量化注意力高光谱计算重构方法。
本发明解决其技术问题采用的技术方案是：
一种基于GAP框架的轻量化注意力高光谱计算重构方法，所述方法包括以下步骤：
S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像/>、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光谱波段数和编码孔径成像模型的光谱偏移度；
S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式；
S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light-Nonlocal注意力模块、数据重构层和第二Light-Nonlocal注意力模块；
S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；
S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>。
优选地，S100包括：
S110：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将编码矩阵定义为A，医药高光谱测量值Y与医药高光谱数据X之间的函数关系可以定义为：
（1）
其中，，/>；
S120：将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系：
（2）
令N=H×W×B，M=H×(W+d(B-1))，则，/>，/>表示向量化后的医药高光谱测量值，/>表示向量化后的医药高光谱图像。
优选地，S200包括：
（3）
其中，根据广义交替投影法，C表示L1范数球的半径，θ表示引入的对偶变量，表示满足约束条件/>，/>的重构医药高光谱图像最优值。
优选地，S400包括：
S410：采用迭代求解的方法，将（3）式表达为：
（4）
其中，k表示迭代的次数；
将其改写成拉格朗日形式，则有：
（5）
其中，λ表示平衡超参数，函数表示对中间变量的优化函数；
对于的子问题，可以写成：
（6）
其拉格朗日方程为：
（7）
其中b表示拉格朗日对偶变量，有；关于对偶变量b的拉格朗日方程为：
（8）
对方程求解可得：
（9）
因此，可得的表达式为：
（10）
将（10）式改写成迭代求解的形式为：
（11）
S420：采用轻量化非局部注意力网络的求解方法对对偶变量进行迭代求解：
（12）。
优选地，S500具体为：
S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；
S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；
S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light-Nonlocal注意力模块；
S540：第一Light-Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征图X4进行相加后输入至数据重构层；
S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light-Nonlocal注意力模块；
S560：第二Light-Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；
S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>。
优选地，S510具体为：
将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，X1数据尺寸为（H，W，Nλ），其中Nλ=B；
对于高光谱图像重构中间值X1，其图像噪声水平服从（0，Σ）分布，因此，用和X1相乘得到图像噪声水平独立分布的X2；
利用SVD分解，对X2进行矩阵分解：
（13）
其中K表示K阶矩阵，和/>分别表示SVD分解的左右正交矩阵，/>表示奇异值特征矩阵；
令，将/>输入到前馈特征提取层。
优选地，S520具体为：
第1步是3D张量批归一化，将X3中的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数，即：
（14）
第3步是3D张量卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为16；
经过前馈特征提取层后，原输入的张量数据大小为（1,H,W,K），输出的张量数据X4大小为（C,H,W,K），C=16，C表示张量数据的通道数；
经过前馈特征提取层输出的张量数据X4，送入自编码器模块进行光谱特征降维后的空间特征提取。
优选地，S530中的自编码器模块包括5层编码层和5层解码层，具体如下：
第1编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（C,H,W,K）；
第2编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第5编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第1解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第2解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第4编码层和第1解码层输出的和，大小为（4C,H/4,W/4,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第3编码层和第2解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第2编码层和第3解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（C,H,W,K）；
第5解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第1编码层和第4解码层输出的和，大小为（C,H,W,K），输出的张量数据X5大小为（C,H,W,K），将输出的张量数据X5送入第一Light-Nonlocal注意力模块。
优选地，S540具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子和空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，、对于轻量化核矩阵L_reduced= X5 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X5保持一致，第2维的尺寸在X5的基础上缩减nl_s倍，第3维的尺寸在X5的基础上缩减nl_s倍，第4维的尺寸在X5的基础上缩减nl_cs倍；
、/>、X5s =L_reduced，其中，X5c的尺寸为/>，X5sc的尺寸为/>，X5s的尺寸为（C, H/nl_s, W/nl_s, K/nl_cs）；
将X5sc和X5s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X5c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（C,H,W,K）；
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理，其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X6，数据尺寸为（C, H,W,K）；
X6与前馈特征提取层输出的张量数据X4相加后输入到数据重构层；
S550具体为：
第1步是3D张量批归一化，将输入的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数；
第3步是3D张量转置卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为1；
经过数据重构层后，原输入的张量数据大小为（C,H,W,K），输出的张量数据X7,尺寸大小为（1,H,W,K），C=16，C表示张量数据的通道数，将输出的张量数据X7送入第二Light-Nonlocal注意力模块。
优选地，S560具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子、空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，nl_c=1、nl_cs=1、nl_s=2、、对于轻量化核矩阵L_reduced= X7 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X7保持一致，第2维的尺寸在X7的基础上缩减nl_cs倍，第3维的尺寸在X7的基础上缩减nl_s倍，第4维的尺寸在X7的基础上缩减nl_s倍；
、/>、X7s =L_reduced；
其中，X7c的尺寸为，X7sc的尺寸为/>，X7s的尺寸为（1, H/nl_s, W/nl_s, K/nl_cs）；
将X7sc和X7s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X7c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（1,H,W,K）；
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理；其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X8，数据尺寸为（1, H,W,K）；
S570具体为：
将输出特征图X8与X3相加后得到最终的输出特征图X9；
根据最终的输出特征图得到对偶变量为：
（15）
将（15）式代入（12）式，可得
（16）
由（11）和（16）式依次迭代完成，直至迭代次数达到预设次数，输出最后的值得到医药高光谱图像的重构值/>。
上述一种基于GAP框架的轻量化注意力高光谱计算重构方法，利用交替投影（GAP）优化框架对计算成像的逆问题进行重构求解，轻量化非局部注意力神经网络作为GAP中的优化器，用于学习提取医药高光谱数据的深度空间与光谱维度特征，从而实现对压缩测量值的快速高质量重构。
附图说明
图1为本发明一实施例中提供的一种基于GAP框架的轻量化注意力高光谱计算重构方法流程图；
图2为本发明一实施例中提供的轻量化非局部注意力医药高光谱计算重构方法流程图；
图3为本发明一实施例中提供的非局部注意力网络模块方法示意图；
图4为本发明一实施例中中药材高光谱数据集示意图；
图5为本发明一实施例中部分实验效果图，其中图5（a）表示紫色波长的光谱图像计算重构效果图，图5（b）表示蓝色波长的光谱图像计算重构效果图，图5（c）表示青色波长的光谱图像计算重构效果图，图5（d）表示绿色波长的光谱图像计算重构效果图，图5（e）表示黄色波长的光谱图像计算重构效果图，图5（f）表示橙色波长的光谱图像计算重构效果图，图5（g）表示红色波长的光谱图像计算重构效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种基于GAP框架的轻量化注意力高光谱计算重构方法，所述方法包括以下步骤：
S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像/>、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光谱波段数和编码孔径成像模型的光谱偏移度。
在一个实施例中，S100包括：
S110：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将编码矩阵定义为A，医药高光谱测量值Y与医药高光谱数据X之间的函数关系可以定义为：
（1）
其中，，/>；
S120：将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系：
（2）
令N=H×W×B，M=H×(W+d(B-1))，则，/>，/>表示向量化后的医药高光谱测量值，/>表示向量化后的医药高光谱图像。
S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式。
在一个实施例中，S200包括：
（3）
其中，根据广义交替投影法，C表示L1范数球的半径，θ表示引入的对偶变量，表示满足约束条件/>，/>的重构医药高光谱图像最优值。
S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light-Nonlocal注意力模块、数据重构层和第二Light-Nonlocal注意力模块。
S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式。
在一个实施例中，S400包括：
S410：采用迭代求解的方法，将（3）式表达为：
（4）
其中，k表示迭代的次数；
将其改写成拉格朗日形式，则有：
（5）
其中，λ表示平衡超参数，函数表示对中间变量的优化函数；
对于的子问题，可以写成：
（6）
其拉格朗日方程为：
（7）
其中b表示拉格朗日对偶变量，有；关于对偶变量b的拉格朗日方程为：
（8）
对方程求解可得：
（9）
因此，可得的表达式为：
（10）
将（10）式改写成迭代求解的形式为：
（11）
S420：采用轻量化非局部注意力网络的求解方法对对偶变量进行迭代求解：
（12）。
S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>。
具体地，轻量化非局部注意力医药高光谱计算重构方法图如图2所示。
在一个实施例中，S500具体为：
S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；
S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；
S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light-Nonlocal注意力模块；
S540：第一Light-Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征图X4进行相加后输入至数据重构层；
S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light-Nonlocal注意力模块；
S560：第二Light-Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；
S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>。
在一个实施例中，S510具体为：
将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，X1数据尺寸为（H，W，Nλ），其中Nλ=B；
对于高光谱图像重构中间值X1，其图像噪声水平服从（0，Σ）分布，因此，用和X1相乘得到图像噪声水平独立分布的X2；
利用SVD分解，对X2进行矩阵分解：
（13）
其中K表示K阶矩阵，和/>分别表示SVD分解的左右正交矩阵，/>表示奇异值特征矩阵；
令，将/>输入到前馈特征提取层。
S520具体为：
第1步是3D张量批归一化，将X3中的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数，即：
（14）
第3步是3D张量卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为16；
经过前馈特征提取层后，原输入的张量数据大小为（1,H,W,K），输出的张量数据X4大小为（C,H,W,K），C=16，C表示张量数据的通道数；
经过前馈特征提取层输出的张量数据X4，送入自编码器模块进行光谱特征降维后的空间特征提取。
在一个实施例中，S530中的自编码器模块包括5层编码层和5层解码层，具体如下：
第1编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（C,H,W,K）；
第2编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第5编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第1解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第2解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第4编码层和第1解码层输出的和，大小为（4C,H/4,W/4,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第3编码层和第2解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第2编码层和第3解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（C,H,W,K）；
第5解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第1编码层和第4解码层输出的和，大小为（C,H,W,K），输出的张量数据X5大小为（C,H,W,K），将输出的张量数据X5送入第一Light-Nonlocal注意力模块。
在一个实施例中，S540具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子和空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，、对于轻量化核矩阵L_reduced= X5 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X5保持一致，第2维的尺寸在X5的基础上缩减nl_s倍，第3维的尺寸在X5的基础上缩减nl_s倍，第4维的尺寸在X5的基础上缩减nl_cs倍；
、/>、X5s =L_reduced，其中，X5c的尺寸为/>，X5sc的尺寸为/>，X5s的尺寸为（C, H/nl_s, W/nl_s, K/nl_cs）；
将X5sc和X5s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X5c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（C,H,W,K）；
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理，其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X6，数据尺寸为（C, H,W,K）；
X6与前馈特征提取层输出的张量数据X4相加后输入到数据重构层；
S550具体为：
第1步是3D张量批归一化，将输入的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数；
第3步是3D张量转置卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为1；
经过数据重构层后，原输入的张量数据大小为（C,H,W,K），输出的张量数据X7,尺寸大小为（1,H,W,K），C=16，C表示张量数据的通道数，将输出的张量数据X7送入第二Light-Nonlocal注意力模块。
具体地，Light-Nonlocal注意力网络模块的结构示意图如图3所示。
进一步地，X5 [:,::nl_s, ::nl_s, ::nl_cs]的第1维中的符号“:”表示矩阵X5第1维的所有元素的保留方式为：从开始以步长为1到最后结束，全部保留；第2维的“::nl_s”表示矩阵X5第2维的所有元素的保留方式为：从开始以步长为nl_s到最后结束，数量缩减nl_s倍，尺寸为原来的nl_s分之一；第3维的“::nl_s”表示矩阵X5第3维的所有元素的保留方式为：从开始以步长为nl_s到最后结束，数量缩减nl_s倍，尺寸为原来的nl_s分之一；第4维的“::nl_cs”表示矩阵X5第4维的所有元素的保留方式为：从开始以步长为nl_cs到最后结束，数量缩减nl_cs倍，尺寸为原来的nl_cs分之一。
的第1维中的符号“/>”表示矩阵X5第1维的所有元素的保留方式为：仅保留前/>个元素；第2、3、4维的“:”表示矩阵X5第2、3、4维的所有元素保留。/>的第1维中的符号“/>”表示矩阵L_reduced第1维的所有元素的保留方式为：仅保留前/>个元素；第2、3、4维的“:”表示矩阵L_reduced第2、3、4维的所有元素保留。
在一个实施例中，S560具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子、空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，nl_c=1、nl_cs=1、nl_s=2、、对于轻量化核矩阵L_reduced= X7 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X7保持一致，第2维的尺寸在X7的基础上缩减nl_cs倍，第3维的尺寸在X7的基础上缩减nl_s倍，第4维的尺寸在X7的基础上缩减nl_s倍；
、/>、X7s =L_reduced；
其中，X7c的尺寸为，X7sc的尺寸为/>，X7s的尺寸为（1, H/nl_s, W/nl_s, K/nl_cs）；
将X7sc和X7s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X7c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（1,H,W,K）；/>
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理；其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X8，数据尺寸为（1, H,W,K）；
S570具体为：
将输出特征图X8与X3相加后得到最终的输出特征图X9；
根据最终的输出特征图得到对偶变量为：
（15）
将（15）式代入（12）式，可得
（16）
由（11）和（16）式依次迭代完成，直至迭代次数达到预设次数，输出最后的值得到医药高光谱图像的重构值/>。
本发明采用的医药高光谱计算重构实验采用了图4所示的中药材高光谱数据集，包含板蓝根、薄荷脑、甘草等中药材成像数据。本发明采用图4所示的中药材高光谱数据，经过CASSI正向数学成像模型进行仿真测试后，将测量值重构的效果如图5所示。
上述一种基于GAP框架的轻量化注意力高光谱计算重构方法，医药高光谱图像在视觉传感器压缩感知环境信息时得到的测量值需要经过逆问题求解器迭代计算多次才能重构高光谱数据。传统的方法迭代次数多，重构效果差，而深度学习的方法需要耗费大量的计算资源，难以在设备端的高光谱相机上实现部署。结合传统逆问题求解广义交替投影（GAP）法和轻量化非局部注意力神经网络实现医药高光谱的高质量快速计算重构。其中广义交替投影法适用于多种模态的压缩感知逆问题求解，具有迭代性能稳定，重构效果鲁棒性强的特点。轻量化非局部注意力神经网络作为GAP中的优化器，用于学习提取医药高光谱数据的深度空间与光谱维度特征，从而实现对压缩测量值的快速高质量重构。
以上对本发明所提供的一种基于GAP框架的轻量化注意力高光谱计算重构方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (4)
1.一种基于GAP框架的轻量化注意力高光谱计算重构方法，其特征在于，所述方法包括以下步骤：
S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像/>、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光谱波段数和编码孔径成像模型的光谱偏移度；
S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式；
S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light-Nonlocal注意力模块、数据重构层和第二Light-Nonlocal注意力模块；
S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；
S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>；
S500具体为：
S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；
S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；
S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light-Nonlocal注意力模块；
S540：第一Light-Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征图X4进行相加后输入至数据重构层；
S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light-Nonlocal注意力模块；
S560：第二Light-Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；
S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值/>；
S510具体为：
将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，X1数据尺寸为（H，W，Nλ），其中Nλ=B；
对于高光谱图像重构中间值X1，其图像噪声水平服从（0，Σ）分布，因此，用和X1相乘得到图像噪声水平独立分布的X2；
利用SVD分解，对X2进行矩阵分解：
（13）
其中K表示K阶矩阵，和/>分别表示SVD分解的左右正交矩阵，/>表示奇异值特征矩阵；
令，将/>输入到前馈特征提取层；
S520具体为：
第1步是3D张量批归一化，将X3中的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数，即：
（14）
第3步是3D张量卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为16；
经过前馈特征提取层后，原输入的张量数据大小为（1,H,W,K），输出的张量数据X4大小为（C,H,W,K），C=16，C表示张量数据的通道数；
经过前馈特征提取层输出的张量数据X4，送入自编码器模块进行光谱特征降维后的空间特征提取；
S530中的自编码器模块包括5层编码层和5层解码层，具体如下：
第1编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（C,H,W,K）；
第2编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（2C,H/2,W/2,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第5编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第1解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H/4,W/4,K），输出的张量数据大小为（4C,H/4,W/4,K）；
第2解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第4编码层和第1解码层输出的和，大小为（4C,H/4,W/4,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第3解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第3编码层和第2解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（2C,H/2,W/2,K）；
第4解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第2编码层和第3解码层输出的和，大小为（2C,H/2,W/2,K），输出的张量数据大小为（C,H,W,K）；
第5解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第1编码层和第4解码层输出的和，大小为（C,H,W,K），输出的张量数据X5大小为（C,H,W,K），将输出的张量数据X5送入第一Light-Nonlocal注意力模块；
S540具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子和空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，、对于轻量化核矩阵L_reduced= X5 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X5保持一致，第2维的尺寸在X5的基础上缩减nl_s倍，第3维的尺寸在X5的基础上缩减nl_s倍，第4维的尺寸在X5的基础上缩减nl_cs倍；
、/>、X5s =L_reduced，其中，X5c的尺寸为/>，X5sc的尺寸为/>，X5s的尺寸为（C, H/nl_s, W/nl_s, K/nl_cs）；
将X5sc和X5s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X5c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（C,H,W,K）；
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理，其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X6，数据尺寸为（C, H,W,K）；
X6与前馈特征提取层输出的张量数据X4相加后输入到数据重构层；
S550具体为：
第1步是3D张量批归一化，将输入的所有元素归一化到0和1之间；
第2步是激活函数线性整流操作，通过ReLU函数；
第3步是3D张量转置卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为1；
经过数据重构层后，原输入的张量数据大小为（C,H,W,K），输出的张量数据X7,尺寸大小为（1,H,W,K），C=16，C表示张量数据的通道数，将输出的张量数据X7送入第二Light-Nonlocal注意力模块；
S560具体为：
定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子、空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；
其中，nl_c=1、nl_cs=1、nl_s=2、、对于轻量化核矩阵L_reduced= X7 [:,::nl_s, ::nl_s, ::nl_cs]，其中L_reduced矩阵的第1维的大小与X7保持一致，第2维的尺寸在X7的基础上缩减nl_s倍，第3维的尺寸在X7的基础上缩减nl_s倍，第4维的尺寸在X7的基础上缩减nl_cs倍；
、/>、X7s =L_reduced；
其中，X7c的尺寸为，X7sc的尺寸为/>，X7s的尺寸为（1, H/nl_s, W/nl_s, K/nl_cs）；
将X7sc和X7s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X7c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（1,H,W,K）；
对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理；其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X8，数据尺寸为（1, H,W,K）；
S570具体为：
将输出特征图X8与X3相加后得到最终的输出特征图X9；
根据最终的输出特征图得到对偶变量为：
（15）
其中，为S200中的广义交替投影法引入的变偶对量，/>为迭代次数；
将（15）式代入S400中得到的向量化后的医药高光谱图像与对偶变量之间的关系表达式/>，可得
（16）
其中，S表示轻量化非局部注意力网络，表示SVD分解的左正交矩阵；
由S400中得到的转换后的迭代求解表达式和（16）式依次迭代完成，直至迭代次数达到预设次数，输出最后/>的值得到医药高光谱图像的重构值/>；其中，A为编码矩阵，/>表示向量化后的医药高光谱测量值，/>表示向量化后的医药高光谱图像。
2.根据权利要求1所述的方法，其特征在于，S100包括：
S110：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值/>，将编码矩阵定义为A，医药高光谱测量值Y与医药高光谱数据X之间的函数关系可以定义为：
（1）
其中，，/>；
S120：将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值/>以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系：
（2）
令N=H×W×B，M=H×(W+d(B-1))，则，/>，/>表示向量化后的医药高光谱测量值，/>表示向量化后的医药高光谱图像。
3.根据权利要求2所述的方法，其特征在于，S200包括：
（3）
其中，根据广义交替投影法，C表示L1范数球的半径，θ表示引入的对偶变量。
4.根据权利要求3所述的方法，其特征在于，S400包括：
S410：采用迭代求解的方法，将（3）式表达为：
（4）
其中，k表示迭代的次数；
将其改写成拉格朗日形式，则有：
（5）
其中，λ表示平衡超参数，函数表示对中间变量的优化函数；
对于的子问题，可以写成：
（6）
其拉格朗日方程为：
（7）
其中b表示拉格朗日对偶变量，有；关于对偶变量b的拉格朗日方程为：
（8）
对方程求解可得：
（9）
因此，可得的表达式为：
（10）
将（10）式改写成迭代求解的形式为：
（11）
S420：采用轻量化非局部注意力网络的求解方法对对偶变量进行迭代求解：
（12）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311248481.3A CN116990243B (zh) | 2023-09-26 | 2023-09-26 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311248481.3A CN116990243B (zh) | 2023-09-26 | 2023-09-26 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116990243A CN116990243A (zh) | 2023-11-03 |
| CN116990243B true CN116990243B (zh) | 2024-01-19 |
Family
ID=88521736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311248481.3A Active CN116990243B (zh) | 2023-09-26 | 2023-09-26 | 一种基于gap框架的轻量化注意力高光谱计算重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116990243B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190036442A (ko) * | 2017-09-27 | 2019-04-04 | 한국과학기술원 | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 |
| CN115272078A (zh) * | 2022-08-01 | 2022-11-01 | 西安交通大学 | 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 |
| CN115424040A (zh) * | 2022-08-02 | 2022-12-02 | 大庆师范学院 | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 |
| CN115561182A (zh) * | 2022-11-09 | 2023-01-03 | 湖南大学 | 一种基于先验图像引导的快照式光谱成像系统重构方法 |
| CN115855839A (zh) * | 2023-02-22 | 2023-03-28 | 湖南大学 | 一种基于admm框架的改进空谱融合高光谱计算重构方法 |
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
| CN116091916A (zh) * | 2022-11-22 | 2023-05-09 | 南京信息工程大学 | 一种多尺度从rgb图像重建对应的高光谱图像算法及系统 |
| CN116595208A (zh) * | 2023-07-17 | 2023-08-15 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116665063A (zh) * | 2023-07-27 | 2023-08-29 | 南京信息工程大学 | 基于自注意力和深度卷积并行的高光谱重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9854221B2 (en) * | 2014-09-26 | 2017-12-26 | Xerox Corporation | Hyperspectral imaging devices using hybrid vector and tensor processing |
| US10861143B2 (en) * | 2017-09-27 | 2020-12-08 | Korea Advanced Institute Of Science And Technology | Method and apparatus for reconstructing hyperspectral image using artificial intelligence |
-
2023
- 2023-09-26 CN CN202311248481.3A patent/CN116990243B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190036442A (ko) * | 2017-09-27 | 2019-04-04 | 한국과학기술원 | 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치 |
| CN115272078A (zh) * | 2022-08-01 | 2022-11-01 | 西安交通大学 | 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法 |
| CN115424040A (zh) * | 2022-08-02 | 2022-12-02 | 大庆师范学院 | 一种基于改进自我注意力机制和张量rx的高光谱图像异常目标检测方法 |
| CN115561182A (zh) * | 2022-11-09 | 2023-01-03 | 湖南大学 | 一种基于先验图像引导的快照式光谱成像系统重构方法 |
| CN116091916A (zh) * | 2022-11-22 | 2023-05-09 | 南京信息工程大学 | 一种多尺度从rgb图像重建对应的高光谱图像算法及系统 |
| CN115855839A (zh) * | 2023-02-22 | 2023-03-28 | 湖南大学 | 一种基于admm框架的改进空谱融合高光谱计算重构方法 |
| CN115994983A (zh) * | 2023-03-24 | 2023-04-21 | 湖南大学 | 一种基于快照式编码成像系统的医药高光谱重构方法 |
| CN116595208A (zh) * | 2023-07-17 | 2023-08-15 | 云南大学 | 高光谱图像的分类方法、装置及电子设备 |
| CN116612334A (zh) * | 2023-07-18 | 2023-08-18 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116665063A (zh) * | 2023-07-27 | 2023-08-29 | 南京信息工程大学 | 基于自注意力和深度卷积并行的高光谱重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Data-driven Prior for Pharmaceutical Snapshot Spectral Imaging;Xuesan Su et al.;2022 IEEE 25th International Conference on Computational Science and Engineering (CSE);第38-44页 * |
| MAC-Net: Model-Aided Nonlocal Neural Network for Hyperspectral Image Denoising;Fengchao Xiong et al.;IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING;第第60卷卷;第1-14页 * |
| 基于图稀疏正则化多测量向量模型的高光谱压缩感知重建;孙玉宝等;电子与信息学报;第36卷(第12期);第2942-2948页 * |
| 编码孔径快照光谱成像重构算法综述;马祥天等;计算机学报;第1-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116990243A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3678059B1 (en) | Image processing method, image processing apparatus, and a neural network training method | |
| CN109147010B (zh) | 带属性人脸图像生成方法、装置、系统及可读存储介质 | |
| CN110706302B (zh) | 一种文本合成图像的系统及方法 | |
| Xue et al. | Nonlocal tensor sparse representation and low-rank regularization for hyperspectral image compressive sensing reconstruction | |
| CN112116065A (zh) | 一种rgb图像光谱重建方法、系统、存储介质及应用 | |
| Awange et al. | Hybrid imaging and visualization | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| He et al. | Spectral super-resolution meets deep learning: Achievements and challenges | |
| CN116228912B (zh) | 基于U-Net多尺度神经网络的图像压缩感知重建方法 | |
| CN111881920B (zh) | 一种大分辨率图像的网络适配方法及神经网络训练装置 | |
| CN110400276A (zh) | 高光谱图像去噪方法、装置 | |
| CN116612334B (zh) | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 | |
| Zhou et al. | Lensless cameras using a mask based on almost perfect sequence through deep learning | |
| Lin et al. | All-addition hyperspectral compressed sensing for metasurface-driven miniaturized satellite | |
| Gao et al. | DAFuse: a fusion for infrared and visible images based on generative adversarial network | |
| Chong et al. | End-to-end joint spectral–spatial compression and reconstruction of hyperspectral images using a 3D convolutional autoencoder | |
| CN116990243B (zh) | 一种基于gap框架的轻量化注意力高光谱计算重构方法 | |
| CN114549387A (zh) | 一种基于伪标签的人脸图像高光去除方法 | |
| CN115855839B (zh) | 一种基于admm框架的改进空谱融合高光谱计算重构方法 | |
| CN106780424A (zh) | 一种基于极少数优化选择波段的高光谱图像获取方法 | |
| CN116665063A (zh) | 基于自注意力和深度卷积并行的高光谱重建方法 | |
| Zeng et al. | U-net-based multispectral image generation from an rgb image | |
| CN105427351A (zh) | 基于流形结构化稀疏先验的高光谱图像压缩感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |