CN116563113A - 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 - Google Patents
基于转置卷积长短时记忆网络的高光谱图像超分辨方法 Download PDFInfo
- Publication number
- CN116563113A CN116563113A CN202310557390.1A CN202310557390A CN116563113A CN 116563113 A CN116563113 A CN 116563113A CN 202310557390 A CN202310557390 A CN 202310557390A CN 116563113 A CN116563113 A CN 116563113A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- resolution
- attention
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000015556 catabolic process Effects 0.000 claims abstract description 9
- 238000006731 degradation reaction Methods 0.000 claims abstract description 9
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 abstract description 11
- 241000522669 Parkia Species 0.000 description 6
- 235000017333 Parkia speciosa Nutrition 0.000 description 6
- 101150026393 NSA2 gene Proteins 0.000 description 3
- 101100133975 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) rbg-52 gene Proteins 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 101100442582 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) spe-1 gene Proteins 0.000 description 1
- 101100150045 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) spe-3 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
基于转置卷积长短时记忆网络的高光谱图像超分辨方法，对原始高光谱图像进行预处理；再进行退化处理，分别得到中分辨率高光谱图像、低分辨率高光谱图像；构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；构造训练样本集并训练网络；构造测试集后评估算法性能。本发明利用卷积双向长短期记忆网络作为特征探索网络，提出了一种转置卷积长短期记忆网络层来放大和重构高光谱图像，它具有强大的时空相关性和建模长序列数据建模的能力，充分利用了高光谱图像的图像和光谱特征。同时，提出多维注意力模块用于综合探索光谱、通道、局部和非局部空间特征，结合循环网络的参数共享特性，多维注意力模块的参数和存储大大减少。
Description
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法。
背景技术
高光谱图像由于其精细的光谱分辨率和空间-光谱协同检测能力，在传感器技术的快速发展下，已经成为遥感领域的强大工具，然而，由于能量限制，与具有较少光谱波段的高分辨率光学图像相比，高光谱图像往往具有较低的空间分辨率和混合像素，因此，在很多应用中，例如目标识别、异常检测等，超分辨率处理有时是不可或缺的。
技术上，图像超分辨率(SR)是指将低分辨率图像转换为相对高分辨率的空间域图像的技术。根据是否使用辅助图像，SR技术可以分为两类，即单图像SR方法和图像融合方法。高光谱图像融合技术面临一个主要障碍，即多个图像源的同步采集，因此，大多数研究使用模拟遥感数据进行实验，探索单幅高光谱图像SR技术对于实际应用来说无疑是有价值和必要的。
单幅图像超分辨率技术从理论上可以分为两类，即基于模型或正则化和基于深度学习的方法。基于正则化的SR方法广泛使用稀疏性和低秩正则化，例如高阶耦合张量环表示模型、可解释的张量建模方法、代价最小化算法和低秩逼近方法、低秩先验分组联合张量字典方法等。随着深度学习理论的发展和应用，研究者们利用大量深度卷积神经网络(CNN)方法来探索高光谱图像的空间和光谱特性。
发明内容
本发明提出一种多维注意力辅助的卷积长短期记忆网络用于高光谱图像超分辨率，卷积被用于提取丰富的空间特征，而带有双向长短期记忆的递归网络则用于建模全局相关性，为了得到扩展的图像，采用了转置卷积层，此外，还提出了多维注意力机制，以进一步提高网络学习能力。
一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法，包括如下步骤：
步骤S1：对原始高光谱图像进行预处理；
步骤S2：对步骤S1中生成的图像进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的中分辨率高光谱图像；
步骤S3：对步骤S2中生成的图像再次进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的低分辨率高光谱图像；
步骤S4：构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；
步骤S5：构造训练样本集：将步骤S3中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的P×P邻域数据块，构成训练样本；同时，对步骤S2中该低分辨率高光谱图像对应的中分辨率高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含N个样本的训练样本集；
步骤S6：训练网络：选择合适的损失函数和优化器，将准备好的数据输入网络中，计算损失函数，并使用自适应矩估计和反向传播算法进行训练更新网络参数；
步骤S7：构造测试集：从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤S1中的子像素空间像一致；再以步骤S2与步骤S4中相同的方式，生成测试样本集；
步骤S8：评估算法性能：评估算法性能；将步骤S7中测试样本集送入步骤S5中训练好的模型中，将生成的结果通过相评价指标来衡量算法的有效性。
优选的是，本发明步骤S4中构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；具体过程如下：
沿着光谱维度堆叠了两个ConvBiLSTM层和一个转置ConvBiLSTM层，每层包含c/2个大小为3*3的卷积核，分别用于正向和反向计算，堆叠后得到c个输出特征图，转置ConvBiLSTM层用于产生与高分辨率高光谱图像相同大小的输出图像，最后，采用s个1*1的卷积核的卷积层产生s个光谱波段；
为了捕捉空间-光谱-通道维度上的显著特征，使用多维注意力机制；其中，谱注意力模块首先将原始特征图在空间和通带维度上执行最大池化和平均池化，再依次通过三个卷积层，每个卷积层具有s个2*1大小的核，每个卷积层后跟着一个sigmoid函数，最终的谱注意力图通过累积卷积特征获得，并通过维度扩展元素乘法注入到原始特征中去；
通道注意力模块首先将原始特征图在我空间维度上执行最大值和平均值池化，然后通过三个全连接层，每层具有c个节点，分别进行sigmoid函数，最后FC层的输出被相加以获得通道注意力特征图被注入到原始特征图中去；
非局部空间注意力模块的结构，也包括三个全连接层和sigmoid函数，在获取重新调整的通道池化映射后执行；局部空间注意力模块首先将原始特征图通过最大池化和平均池化在通道维度上进行压缩，通过s个大小为3*3的卷积核进行三次空洞卷积，有效卷积核大小为3*3，膨胀因子分别为1、2、3，三个卷积的输出依次通过sigmoid函数，然后累加形成局部空间注意力图，最后将局部和非局部的注意力图相乘并送入另一个sigmoid函数层；
将注意力模块结合起来形成多维注意力模块加入总体框架模型中，其中非局部空间注意力模块在ConvBiLSTM层上进行，局部-非局部空间注意力模块在转置ConvBiLSTM层上进行。最后添加短连接直接将原始特征映射连接到输出特征映射。
本发明利用卷积双向长短期记忆网络作为特征探索网络，提出了一种转置卷积长短期记忆网络层来放大和重构高光谱图像，它具有强大的时空相关性和建模长序列数据建模的能力，充分利用了高光谱图像的图像和光谱特征。同时，提出多维注意力模块用于综合探索光谱、通道、局部和非局部空间特征，结合循环网络的参数共享特性，多维注意力模块的参数和存储大大减少，在不同分辨率比率下的SR实验表明了该方法的可行性和优越性。
附图说明
图1是本发明图像超分辨方法的流程图；
图2是本发明用于实验的高光谱图像；从左到右依次为：帕维亚大学、帕维亚市中心、休斯顿大学和圣迭戈；
图3是使用r＝2的超分辨率技术得到的帕维亚大学数据集的超分辨率图像；
图4是使用r＝2的超分辨率技术得到的帕维亚市中心数据集的超分辨率图像；
图5是使用r＝2的超分辨率技术得到的休斯顿大学数据集的超分辨率图像；
图6是使用r＝2的超分辨率技术得到的圣迭戈数据集的超分辨率图像；
图7是在r＝4的情况下，对于帕维亚大学数据集的绝对误差的带状均值；
图8是在r＝4的情况下，对于帕维亚市中心数据集的绝对误差的带状均值；
图9是在r＝4的情况下，对于休斯顿大学数据集的绝对误差的带状均值；
图10是在r＝4的情况下，对于圣迭戈数据集的绝对误差的带状均值。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法，包括如下步骤：
步骤S1：对原始高光谱图像进行预处理；
步骤S2：对步骤S1中生成的图像进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的中分辨率高光谱图像；
步骤S3：对步骤S2中生成的图像再次进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的低分辨率高光谱图像；
步骤S4：构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；具体过程如下：
沿着光谱维度堆叠了两个ConvBiLSTM层和一个转置ConvBiLSTM层，每层包含c/2个大小为3*3的卷积核，分别用于正向和反向计算，堆叠后得到c个输出特征图，转置ConvBiLSTM层用于产生与高分辨率高光谱图像相同大小的输出图像，最后，采用s个1*1的卷积核的卷积层产生s个光谱波段；
为了捕捉空间-光谱-通道维度上的显著特征，使用多维注意力机制；其中，谱注意力模块(SEAM)首先将原始特征图在空间和通带维度上执行最大池化和平均池化，再依次通过三个卷积层，每个卷积层具有s个2*1大小的核，每个卷积层后跟着一个sigmoid函数，最终的谱注意力图通过累积卷积特征获得，并通过维度扩展元素乘法注入到原始特征中去；
通道注意力模块(CAM)首先将原始特征图在我空间维度上执行最大值和平均值池化，然后通过三个全连接层，每层具有c个节点，分别进行sigmoid函数，最后FC层的输出被相加以获得通道注意力特征图被注入到原始特征图中去；
非局部空间注意力模块(NSAM)的结构类似于CAM，也包括三个全连接层和sigmoid函数，在获取重新调整的通道池化映射后执行；局部空间注意力模块首先将原始特征图通过最大池化和平均池化在通道维度上进行压缩，通过s个大小为3*3的卷积核进行三次空洞卷积，有效卷积核大小为3*3，膨胀因子分别为1、2、3，三个卷积的输出依次通过sigmoid函数，然后累加形成局部空间注意力图，最后将局部和非局部的注意力图相乘并送入另一个sigmoid函数层；
将注意力模块结合起来形成多维注意力模块加入总体框架模型中，其中非局部空间注意力模块NSAM在ConvBiLSTM层上进行，局部-非局部空间注意力模块(LNSAM)在转置ConvBiLSTM层上进行。最后添加短连接直接将原始特征映射连接到输出特征映射。
步骤S5：构造训练样本集：将步骤S3中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的P×P邻域数据块，构成训练样本；同时，对步骤S2中该低分辨率高光谱图像对应的中分辨率高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含N个样本的训练样本集；
步骤S6：训练网络：选择合适的损失函数和优化器，将准备好的数据输入网络中，计算损失函数，并使用自适应矩估计和反向传播算法进行训练更新网络参数；
步骤S7：构造测试集：从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤S1中的子像素空间像一致；再以步骤S2与步骤S4中相同的方式，生成测试样本集；
步骤S8：评估算法性能：评估算法性能；将步骤S7中测试样本集送入步骤S5中训练好的模型中，将生成的结果通过相评价指标来衡量算法的有效性。
以德国反射式成像光谱仪ROSIS获取的意大利帕维亚大学高光谱图像为例，该图像具有103个光谱波段，空间分辨率为1.3米，被才建成320*320像素以方便处理，将该图像采用7×7的高斯低通滤波器进行滤波，然后2倍下采样，具体实施例计算步骤如下：
步骤S1：将高光谱图像表示成其中，Λ表示高光谱图像的波段个数，H表示高光谱图像的像素个数；对高光谱图像进行裁剪，获得子像素空间图像/>N表示该子像素空间高光谱图像的像素个数；
步骤S2：对图像Y进行退化处理，即进行高斯滤波，以及比例系数为r'的临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与Y图像同样尺寸大小的中分辨率高光谱图像
步骤S3：对图像X'进行退化处理，即进行高斯滤波，以及比例系数为r的临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与X'图像同样尺寸大小的低分辨率高光谱图像
步骤S4：构建构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型：该模型包括两个ConvBiSTM层和一个转置ConvBiSTM层，其中还穿插有多维注意力机制模块。转置ConvBiSTM层的数学模型可表示为：
其中，表示转置卷积，/>表示逐元素乘法，σ表示sigmoid函数，r为步长。W和b分别表示卷积核与偏置，下标x和h分别代表输入层与隐藏层，下标i，o与f分别表示输入，输出和遗忘门，t表示时刻。
光谱注意力模块(SEAM)可以表示为：
其中，Wspe1,Wspe2,Wspe3,表示三个1×1卷积层的卷积核参数。表示卷积，Fspe表示对输入特征进行空间和通道维度的最大值与平均值池化得到的特征向量。
通道注意力模块(CAM)可以表示为：
Achn＝(σ(Wchn1Fchn)+σ(Wchn2σ(Wchn1Fchn))+σ(Wchn3σ(Wchn2σ(Wchn1Fchn))))
其中，Wchn1,Wchn2,Wchn3,表示三个全连接层的参数，Fchn表示对输入特征进行空间维度的最大值与平均值池化得到的特征图。
非局部空间注意力模块(NSAM)可以表示为：
Ansa＝(σ(Wnsa1Fnsa)+σ(Wnsa2σ(Wnsa1Fnsa))+σ(Wnsa3σ(Wnsa2σ(Wnsa1Fnsa))))
其中，Wnsa1,Wnsa2,Wnsa3,表示三个全连接层的参数，Fnsa表示对输入特征进行通道维度的最大值与平均值池化后，重排成二维的特征图。
局部-非局部空间注意力模块(LNSAM)可以表示为：
其中，Wlsa1,Wlsa2,Wlsa3,表示三个3×3空洞卷积层的卷积核参数，Flsa表示对输入特征进行通道维度的最大值与平均值池化得到的特征图。
步骤S5：构造训练样本集，将图像X作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的p×p邻域数据块，同时将对应中心像素的图像X'波段值作为训练样本的标签值，组合构成单个训练样本，一共得到含N个训练样本的训练样本集，记作训练样本。
步骤S6：训练模型：首先将训练样本以小批次的方式依次送入步骤S4中构建的模型，使用自适应矩估计和反向传播算法进行训练，调整模型参数，设置迭代更新次数为200。
步骤S7：构造测试样本集：从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤S1中的子像素空间图像一致；再以步骤S2，步骤S3与步骤S4中相同的方式，生成测试样本集。
步骤S8：评估算法性能：测试样本集送入步骤S6中训练好的模型中，将生成的结果通过相关评价指标来衡量算法的有效性。
图3为本发明实施例需采用的高光谱图像，自左向右依次为帕维亚大学、帕维亚市中心、休斯顿大学和圣地亚哥航空站。
其中休斯顿大学的高光谱图像是由CASI传感器获取，图像大小为1905×349，包含144个波段，地面分辨率为2.5米，本例中，取240×240大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后2倍下采样，进行两次相同操作得到仿真的低分辨率高光谱图像。
圣地亚哥航空站的高光谱图像，是由AVIRIS传感器获取，图像大小为400×400，包含189个波段，地面分辨率为3.5米，本例中，取200×200大小的局部图像作为参考图像，将该图像采用7×7的高斯低通滤波器进行滤波，然后4倍下采样，进行两次相同操作得到仿真的低分辨率高光谱图像。实验结果采用光谱角(SAM)、相对无量纲全局综合误差(ERGAS)、图像质量指数(UIQI)、峰值信噪比(PSNR)及结构相似度(SSIM)进行评价。
本发明设计的方法与三维全卷积网络超分辨率方法(3DFN)、深度特征矩阵分解超分辨率方法(DFMF)、谱间融合残差网络超分辨率方法(RIFN)、统一卷积神经网络(UCNN)、基于超分辨率的快速图像增强方法(ERCSR)、局部归一化卷积神经网络(LNaCNN)、多尺度空间注意力方法(MSMAN)、自适应卷积长短时记忆网络方法(ACLSTM)八种高光谱图像超分辨率方法进行了对比，本发明的基于转置卷积长短时记忆网络的高光谱图像超分辨方法记作MATCN，表1、表2分别为分辨率比值r＝2，4倍下采样时的评估结果。
表1分辨率比值为2倍下采样时的超分辨率结果
表2分辨率比值为4倍下采样时的超分辨率结果
四幅高光谱图像按照分辨率比r分别被降采样为2和4倍。从表1中可以看出，在大多数情况下，所提出的MATCN方法达到了最低的SAM和ERGAS值，并获得了最高的PSNR、UIQI和SSIM值，即超分辨率图像在整体角度和幅度误差方面最小，同时在光谱和空间结构方面具有最高的图像质量和保真度。在现有方法中，MSMAN和ACLSTM表现次优，而在某些情况下，ACLSTM与所提出的方法取得了有竞争力的结果，这表明ConvLSTM对于协同探索空间和光谱特征是有益的。相比之下，3DFN和DFMF的结果相对较差，这是由于它们网络结构的粗糙性造成的。表2列出了分辨率比为4时的结果，从中我们可以观察到类似的结果。例如，大多数情况下，所提出的方法达到了最佳表现，而MSMAN仍然提供了竞争性的结果。同时，由于样本数量和补丁大小的减少，所有网络的实现时间相应减少，包括我们提出的MATCN方法，其时间已降至相对可接受的范围。
图3-6显示了超分辨率图像，其中使用了相应波长的R/G/B波段来合成伪彩色图像。可以看出，图3是使用分辨率比值r＝2的超分辨率技术得到的帕维亚大学数据集的超分辨率图像，其中(a)对应3DFN；(b)对应DFMF；(c)对应RIFN；(d)对应UCNN；(e)对应ERCSR；(f)对应LNaCNN；(g)对应MSMAN；(h)对应ACLSTM；(i)对应MATCN；(j)对应Reference。在图3中，所有图像与参考图像相比具有高度的色彩相似性。RIFN显示了轻微的空间细节丢失，例如右上角的伪纹理，如表1中的SSIM所示。
图4是使用分辨率比值r＝2的超分辨率技术得到的帕维亚市中心数据集的超分辨率图像，其中(a)对应3DFN；(b)对应DFMF；(c)对应RIFN；(d)对应UCNN；(e)对应ERCSR；(f)对应LNaCNN；(g)对应MSMAN；(h)对应ACLSTM；(i)对应MATCN；(j)对应Reference。在图4中，DFMF相对模糊，这意味着它具有更大的重建误差，正如表1所示。
图5是使用分辨率比值r＝2的超分辨率技术得到的休斯顿大学数据集的超分辨率图像，其中(a)对应3DFN；(b)对应DFMF；(c)对应RIFN；(d)对应UCNN；(e)对应ERCSR；(f)对应LNaCNN；(g)对应MSMAN；(h)对应ACLSTM；(i)对应MATCN；(j)对应Reference。在图5中，UCNN有一点光谱扭曲，例如右下角的轨道颜色，这也反映在表1中的SAM上。
图6是使用分辨率比值r＝2的超分辨率技术得到的圣地亚哥航空站数据集的超分辨率图像，其中(a)对应3DFN；(b)对应DFMF；(c)对应RIFN；(d)对应UCNN；(e)对应ERCSR；(f)对应LNaCNN；(g)对应MSMAN；(h)对应ACLSTM；(i)对应MATCN；(j)对应Reference。在图6中，DFMF和ERCSR的空间方面表现略逊于其他方法。相比之下，下半部分的图像在空间和光谱方面都具有更好的质量
此外，图7-10展示了每种SR方法的误差图，图7是使用分辨率比值r＝4的情况下，对于帕维亚大学数据集的绝对误差的带状均值。图8是使用分辨率比值r＝4的情况下，对于帕维亚市中心数据集的绝对误差的带状均值。图9是使用分辨率比值r＝4的情况下，对于休斯顿大学数据集的绝对误差的带状均值。图10是使用分辨率比值r＝4的情况下，对于圣地亚哥航空站数据集的绝对误差的带状均值。其中从左到右依次为：3DFN，DFMF，RIFN，UCNN，ERCSR，LNaCNN，MSMAN，ACLSTM，MATCN。
图7到图10中的各附图是通过计算超分辨率图像与参考图像之间的绝对误差的带平均值得到。误差图提供了不同方法在幅度保真度和边缘保护方面的直观比较。可以看出，由于土地覆盖分布的复杂性，前两组数据集表现出明显的误差，特别是在建筑物的轮廓上。相比之下，在后两个数据集中，边缘上的误差比平坦区域的表面更加明显。这与预期一致，因为低分辨率图像的边缘细节缺失。然而，通过与其他方法进行比较，可以观察到所提出的网络的优势。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (2)
1.一种基于转置卷积长短时记忆网络的高光谱图像超分辨方法，其特征在于包括如下步骤：
步骤S1：对原始高光谱图像进行预处理；
步骤S2：对步骤S1中生成的图像进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的中分辨率高光谱图像；
步骤S3：对步骤S2中生成的图像再次进行退化处理，即先后进行高斯滤波、临近下采样操作；接着，对退化后的图像进行双三次上采样，得到与步骤S1中同样尺寸大小的低分辨率高光谱图像；
步骤S4：构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；
步骤S5：构造训练样本集：将步骤S3中获取的低分辨率高光谱图像作为训练图像，从第一个像素开始，以边界镜像的填充方式，依次取每个像素各波段上的P×P邻域数据块，构成训练样本；同时，对步骤S2中该低分辨率高光谱图像对应的中分辨率高光谱子像素空间图像进行相同的处理操作，以获得对应的训练标签样本，一共得到含N个样本的训练样本集；
步骤S6：训练网络：选择合适的损失函数和优化器，将准备好的数据输入网络中，计算损失函数，并使用自适应矩估计和反向传播算法进行训练更新网络参数；
步骤S7：构造测试集：从原始高光谱图像中裁剪出新的子像素空间图像，该图像尺寸与步骤S1中的子像素空间像一致；再以步骤S2与步骤S4中相同的方式，生成测试样本集；
步骤S8：评估算法性能：将步骤S7中测试样本集送入步骤S5中训练好的模型中，将生成的结果通过相评价指标来衡量算法的有效性。
2.根据权利要求1所述的基于转置卷积长短时记忆网络的高光谱图像超分辨方法，其特征在于上述步骤S4中构建基于多维注意力辅助转置卷积双向长短时记忆网络的模型；具体过程如下：
沿着光谱维度堆叠了两个ConvBiLSTM层和一个转置ConvBiLSTM层，每层包含c/2个大小为3*3的卷积核，分别用于正向和反向计算，堆叠后得到c个输出特征图，转置ConvBiLSTM层用于产生与高分辨率高光谱图像相同大小的输出图像，最后，采用s个1*1的卷积核的卷积层产生s个光谱波段；
为了捕捉空间-光谱-通道维度上的显著特征，使用多维注意力机制；其中，谱注意力模块首先将原始特征图在空间和通带维度上执行最大池化和平均池化，再依次通过三个卷积层，每个卷积层具有s个2*1大小的核，每个卷积层后跟着一个sigmoid函数，最终的谱注意力图通过累积卷积特征获得，并通过维度扩展元素乘法注入到原始特征中去；
通道注意力模块首先将原始特征图在我空间维度上执行最大值和平均值池化，然后通过三个全连接层，每层具有c个节点，分别进行sigmoid函数，最后FC层的输出被相加以获得通道注意力特征图被注入到原始特征图中去；
非局部空间注意力模块的结构，也包括三个全连接层和sigmoid函数，在获取重新调整的通道池化映射后执行；局部空间注意力模块首先将原始特征图通过最大池化和平均池化在通道维度上进行压缩，通过s个大小为3*3的卷积核进行三次空洞卷积，有效卷积核大小为3*3，膨胀因子分别为1、2、3，三个卷积的输出依次通过sigmoid函数，然后累加形成局部空间注意力图，最后将局部和非局部的注意力图相乘并送入另一个sigmoid函数层；
将注意力模块结合起来形成多维注意力模块加入总体框架模型中，其中非局部空间注意力模块在ConvBiLSTM层上进行，局部-非局部空间注意力模块在转置ConvBiLSTM层上进行。最后添加短连接直接将原始特征映射连接到输出特征映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310557390.1A CN116563113A (zh) | 2023-05-17 | 2023-05-17 | 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310557390.1A CN116563113A (zh) | 2023-05-17 | 2023-05-17 | 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116563113A true CN116563113A (zh) | 2023-08-08 |
Family
ID=87503216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310557390.1A Pending CN116563113A (zh) | 2023-05-17 | 2023-05-17 | 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563113A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726548A (zh) * | 2024-02-05 | 2024-03-19 | 南京信息工程大学 | 一种基于跨模态特征注意力交互的全色锐化方法 |
-
2023
- 2023-05-17 CN CN202310557390.1A patent/CN116563113A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726548A (zh) * | 2024-02-05 | 2024-03-19 | 南京信息工程大学 | 一种基于跨模态特征注意力交互的全色锐化方法 |
| CN117726548B (zh) * | 2024-02-05 | 2024-05-10 | 南京信息工程大学 | 一种基于跨模态特征注意力交互的全色锐化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Loncan et al. | Hyperspectral pansharpening: A review | |
| CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| Xu et al. | Hyperspectral-multispectral image fusion via tensor ring and subspace decompositions | |
| CN113327218B (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| CN111008936B (zh) | 一种多光谱图像全色锐化方法 | |
| CN110400276B (zh) | 高光谱图像去噪方法、装置 | |
| Al-Marzouqi et al. | Curvelet transform with learning-based tiling | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN116563113A (zh) | 基于转置卷积长短时记忆网络的高光谱图像超分辨方法 | |
| Lakshman et al. | Image interpolation using shearlet based iterative refinement | |
| Zhang et al. | Translate SAR data into optical image using IHS and wavelet transform integrated fusion | |
| Lei et al. | Remote sensing image denoising based on improved semi-soft threshold | |
| Liu et al. | Multi-filters guided low-rank tensor coding for image inpainting | |
| Witwit et al. | Satellite image resolution enhancement using discrete wavelet transform and new edge-directed interpolation | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN114998167A (zh) | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 | |
| Deshpande et al. | SURVEY OF SUPER RESOLUTION TECHNIQUES. | |
| Aburaed et al. | Complex-valued neural network for hyperspectral single image super resolution | |
| Sulaiman et al. | A robust pan-sharpening scheme for improving resolution of satellite images in the domain of the nonsubsampled shearlet transform | |
| Kannan et al. | Performance comparison of various levels of fusion of multi-focused images using wavelet transform | |
| Xiao et al. | Pixel-level image fusion | |
| Rostami et al. | Hyperspectral image super-resolution via learning an undercomplete dictionary and intra-algorithmic postprocessing | |
| Khateri et al. | A self-learning approach for pan-sharpening of multispectral images | |
| Tanaka | Graph spectral filtering | |
| CN117689579B (zh) | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |