CN115100075A - 基于光谱约束和残差注意力网络的高光谱全色锐化方法 - Google Patents
基于光谱约束和残差注意力网络的高光谱全色锐化方法 Download PDFInfo
- Publication number
- CN115100075A CN115100075A CN202210873617.9A CN202210873617A CN115100075A CN 115100075 A CN115100075 A CN 115100075A CN 202210873617 A CN202210873617 A CN 202210873617A CN 115100075 A CN115100075 A CN 115100075A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- channel
- module
- panchromatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000003595 spectral effect Effects 0.000 title claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 67
- 238000005070 sampling Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 abstract description 8
- 239000010410 layer Substances 0.000 description 63
- 230000004927 fusion Effects 0.000 description 22
- 238000004088 simulation Methods 0.000 description 12
- 238000000513 principal component analysis Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012821 model calculation Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，主要解决现有技术中无法完全利用全色图像空间信息，锐化结果失真严重的问题。本发明的具体步骤如下：(1)生成训练集；(2)对低分辨率高光谱图像块进行空间对齐；(3)对单通道全色图像块进行光谱对齐；(4)构建残差注意力网络；(5)使用含有光谱约束的损失函数训练残差注意力网络；(6)使用训练好的残差注意力网络对高光谱图像进行全色锐化。本发明使了三维注意力模块和卷积模块构建残差注意力网络，并使用光谱约束的损失函数进行优化训练，具有锐化结果失真低，光谱和空间信息保留性能平衡的优点。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及高光谱图像锐化技术领域中的一种基于光谱约束和残差注意力网络的高光谱全色锐化方法。本发明可用于增强高光谱图像的空间分辨率，从为基于高光谱图像的目标识别、地物分类等下游任务的提供更可靠的数据。
背景技术
高光谱图像是一种具有宽波段范围高光谱分辨率信息的遥感图像，其可分辨的目标地物种类数量相较于其他遥感图像大大增加，精细度也更高。然而，由于硬件限制高光谱图像的空间分辨率往往较低。与此同时，全色图像是一种仅具有单波段信息但是空间分辨率非常高的遥感图像。对基于高光谱图像的地物分类、图像分割、异常检测等任务而言，往往需要既具有高光谱分辨率，又具有高空间分辨率的遥感图像。因此，通过对高光谱图像和全色图像的融合获得高分辨率高光谱图像，即进行高光谱全色锐化，对于城市建设、铁路建设、桥梁建设等基础建设领域具有重要意义，在国家经济发展过程中具有重大价值。现有的基于深度学习的高光谱全色锐化算法通常是将全色图像中的高频细节信息提取出来作为辅助信息，或者直接将全色图像送入融合网络。无法充分利用全色图像中的高分辨率空间信息，往往融合结果的空间信息失真严重，造成了光谱和空间保留性能的不平衡问题。此外，高光谱全色锐化问题是一种涉及空间和光谱的高维问题，在图像融合过程中存在大量信息冗余，且需要的融合网络深度较深，容易出现梯度消失或梯度爆炸等问题，导致融合结果不理想。
西安理工大学在其申请的专利文献“基于深度细节注入网络的高光谱全色锐化方法”(专利申请号：CN202110602214.6，申请公布号：CN 113284067 A)中提出了一种基于深度细节注入网络的高光谱全色锐化方法。该方法使用人工构建的深度细节注入网络模型用于解决高光谱全色锐化问题，该方法实现的步骤为：(1)选取两种高光谱图像的数据集，两种高光谱图像的数据集分别覆盖室内场景和室外场景；(2)把数据集中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中提取联合图像的浅层特征；(3)将提取到的浅层特征再次送到卷积层中，进一步的提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合得到联合图像的层次特征；(4)将浅层特征和层次特征进行残差运算；最后进行一次卷积运算得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。该方法使用多层次特征进行细节特征提取，解决了高光谱全色锐化问题，但是，该方法仍然存在的不足之处是，虽然该方法网络设计的目的是注入空间细节，但是全色图像仍然以单层通道级联的方式输入网络，由于深度神经网络的训练近似一种黑盒过程，这种方式无法保证全色图像中的空间信息被完全利用，因此融合结果仍存在空间失真，导致空间和光谱保留性能不平衡。同时，该方法简单的上采样方式进行高光谱和全色图像的空间对齐，会在过程中损失大量的信息，影响融合性能。
Lin He等人在其发表的论文“HyperPNN：Hyperspectral Pansharpening viaSpectral Predictive Convoltional Neural Networks”(IEEE Journal of SelectedTopics in Applied Earth Observations and Remote Sensing,vol.12,no.8,pp.3092-3100,Aug.2019,doi:10.1109/JSTARS.2019.2917584.)中提出了一种基于残差学习和光谱预测网络的高光谱全色锐化方法。改方法通过不同大小卷积核的卷积运算针对性的进行光谱预测和空间特征提取，该方法的步骤为：(1)通过1*1大小卷积核构成的光谱预测网络对高光谱图像进行初步光谱特征提取；(2)将提取到的特征与全色图像进行通道连接，送入3*3大小卷积核构成的空铺联合预测网络中进行联合空谱预测；(3)最后再将联合预测结果和初步提取的光谱特征进行残差计算送入光谱预测网络中进行最终融合结果的重构生成。该方法使用光谱预测网络和空谱联合预测网络分别针对性的提取光谱和空间特征，并且加入了残差学习机制，缓解了深度网络中的梯度消失和爆炸问题。但是，高光谱图像本身存在大量的冗余信息，该方法不对信息进行区分，使得部分无用的冗余信息干扰了融合性能，计算效率大大降低。
发明内容
本发明的目的在于针对上述现有技术中的不足，提出了一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，用于解决现有技术中高光谱图像上采样过程信息损失量大，无法完全利用全色图像空间信息，网络模型融合结果空间失真严重，无法抑制冗余信息，模型计算效率低，空间和光谱保留性能不平衡的问题。
实现本发明目的的技术方案是：本发明首先使用现有技术训练好的深度反投影网络对低分辨率高光谱图像进行语义信息提取和空间上采样对齐，通过网络提取图像中不同语义层次的低分辨率空间特征和高分辨率空间特征，并最终对所有特征进行融合，通过多层次语义信息重构出贴合原始图像语义的高分辨率图像，使低分辨率高光谱图像与高分辨率全色图像在图像空间尺寸上对齐，同时能保持高光谱图像中的语义信息，以此解决高光谱图像上采样过程中信息损失量大的问题。本发明对单通道全色图像与多通道高光谱图像进行逐通道直方图匹配扩充通道和光谱对齐，使全色图像与高光谱图像在光谱通道上对齐，以对齐后的多通道全色图像作为融合基础，与上采样高光谱图像进行差分运算后送入人工构建的残差注意力网络中重构残差图像，再将残差图像与多通道全色加合，得到最终融合结果，以此解决现有技术中无法完全利用全色图像空间信息，网络模型融合结果空间失真严重的问题。本发明在所构建的残差注意力网络中使用含有不同大小卷积核的卷积模块，针对性地对光谱信息和空间信息进行提取与重建，并加入了三维注意力模块，以抑制高维特征图中的冗余信息，突出强调对任务有益的重要信息，以此解决现有技术无法抑制冗余信息，模型计算效率低的问题。本发明构造了同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，在网络的训练过程中同时约束和网络的光谱特征学习能力和空间特征学习能力，以此解决空间和光谱保留性能不平衡的问题。
实现本发明的具体步骤如下：
步骤1.生成训练集：
步骤1.1，将一张高光谱图像均分为N个互不重叠的标准高光谱图像块，N≥10；
步骤1.2，根据Wald协议要求，对每个标准高光谱图像块中可见光波段逐像素求均值得到均值图像，将均值图像块作为该标准高光谱图像块的单通道全色图像块；
步骤1.3，对每个标准高光谱图像下采样，得到低分辨率高光谱图像块；
步骤1.4，将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱图像块组成一个样本对，取T各样本对组成训练集，1≤T≤N；
步骤2.对低分辨率高光谱图像块进行空间对齐：
采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，得到T1个上采样高光谱图像块，T1＝T；
步骤3.对单通道全色图像块进行光谱对齐：
对单通道全色图像块与多通道高光谱图像块进行逐通道直方图匹配，得到光谱对齐后的T2多通道全色图像块，T2＝T；
步骤4.构建残差注意力网络：
步骤4.1，搭建一个用于抑制冗余信息的三维注意力模块，其结构依次为：通道注意力子模块、第一乘法器、空间注意力子模块、第二乘法器；
所述通道注意力子模块的结构依次为：平均池化层、最大池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层；将平均池化层和最大池化层的计算维度均设置为1，将第一、第二卷积层的卷积核大小均设置为1*1，卷积核数量分别为16和64，滑动步长均为1，填充宽度均为0；第一激活函数层采用线性整流函数实现；第二激活函数层采用Sigmoid函数实现；
所述空间注意力子模块的结构依次为：平均池化层、最大池化层、卷积层、激活函数层；将平均池化层和最大池化层的计算维度均设置为1；卷积层的卷积核大小设置为3*3，卷积核数量为1；激活函数层采用Sigmoid函数实现；
当数据输入到三维注意力模块处理时，第一乘法器将通道注意力子模块的输出与原始输入数据进行相乘操作的结果，输入到空间注意力子模块，空间注意力子模块的输出结果与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进行乘法运算，得到三维注意力模块的整体输出数据；
步骤4.2，搭建10个结构相同的卷积模块，每个卷积模块的结构依次为：卷积层、批标准化层、激活函数层；将第一、第二、第七、第八卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为64，滑动步长均为1，填充宽度均为0；将第三、第四、第五、第六卷积模块卷积层的卷积核大小均设置为3*3，卷积核数量均为64，滑动步长均为1，填充宽度均为2；将第九、第十卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为C，C为步骤1中高光谱图像的通道数，滑动步长均为1，填充宽度均为0；第一至第十批标准化层均采用批标准化函数实现；第一至第十激活函数层均采用线性整流函数实现；
步骤4.3，将第一卷积模块、第二卷积模块、三维注意力模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块级联组成残差注意力网络；
当数据输入三维注意力模块、第三、第四、第五、第六卷积模块进行处理时，使用残差运算，即将每个模块的输入特征数据和输出特征数据进行像素级数值加合作为下一模块的输入特征数据；
步骤5.训练残差注意力网络：
步骤5.1，用T1个上采样高光谱图像块逐像素减去与其对应的T2个多通道全色图像块中的像素值，得到T3张残差图像，T1、T2、T3的取值对应相等；
步骤5.2，将所有残差图像输入到残差注意力网络中，通过网络逐级前传，输出重构后的图像；
步骤5.3，用训练集样本对中的T4个标准高光谱图像块像逐素减去与其对应的T2个多通道全色图像块中的像素值，得到T5个目标图像，T4、T2、T5的取值对应相等；
步骤5.4，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数，得到训练好的残差注意力网络；
所述网络总损失函数L(·)如下：
其中，Θ为待训练的网络参数，LSAM(·)表示光谱约束损失函数,R和
分别表示重构图像和目标图像，β表示两个损失项之间的权重参数，其取值为[0,10]范围内的任意实数，LMSE(·)表示空间约束损失函数，K表示训练集样本对的总数，Σ表示求和操作，h表示目标图像的高，w表示目标图像的宽，arccos(·)表示反余弦操作，
和
分别表示第k张重构图像中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量，k和k'的取值对应相等，p和q的取值对应相等，<·,·>表示内积操作，||·||2表示取L2范数操作，c表示目标图像的通道数，
和
分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和第m'张目标图像中第u个像素对应向量的第d个维度的值，m和m'的取值对应相等，v和u的取值对应相等，b和d的取值对应相等；
步骤6.对高光谱图像进行全色锐化：
步骤6.1，采用与步骤2和步骤3相同的方法，对待全色锐化的高光谱图像进行处理，得到上采样高光谱图像和多通道全色图像；
步骤6.2，采用与步骤5.1相同的方法，对上采样高光谱图像和多通道全色图像进行处理，得到二者的残差图像；
步骤6.3，将残差图像输入到训练好的残差注意力网络中，输出重构图像，将重构图像与多通道全色图像加合，得到全色锐化后的高光谱图像。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明采用深度反投影网络对低分辨率高光谱图像进行语义信息提取和上采样对齐，在保持语义特征贴近原图像的前提下，将低分辨率高光谱图像与高分辨率全色图像空间对齐。克服现有技术上采样过程中信息损失量大的缺陷，使得本发明获得的高光谱全色锐化结果具有语义信息完整，锐化后图像内容不失真的优点。
第二，由于本发明使用直方图匹配对全色图像进行通道扩充和光谱对齐，并以对齐后的多通道全色图像作为融合基础，与上采样高光谱图像进行差分运算后送入人工构建的残差注意力网络中重构残差图像，再将残差图像与多通道全色图像加合，得到最终融合结果。克服现有技术中无法完全利用全色图像空间信息，网络模型融合结果空间失真严重，使得本发明中的高光谱全色锐化方法具有对全色图像的高分辨率空间信息保留能力强，空间失真度低的优点。
第三，由于本发明在所构建的残差注意力网络中使用含有不同大小卷积核的卷积模块和三维注意力模块，根据对融合性能的贡献程度有区别地对待不同的特征信息。克服了现有技术中无法抑制冗余信息，模型计算效率低的缺陷的不足，使得本发明中的高光谱全色锐化方法具有计算效率高，可锐化分辨率高的优点。
第四，由于本发明使用同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，克服现有技术中空间和光谱保留性能不平衡的缺陷，使得本发明具有网络模型空间信息和光谱信息联合学习能力强，空间和光谱信息保留性能平衡的优点。
附图说明
图1是本发明的流程图；
图2是本发明中残差注意力网络的结构图；
图3是本发明的仿真图。
具体实施方式
下面结合附图和实施例，对本发明做进一步的详细描述
参照图1、图2和实施例，对本发明实现的具体步骤做进一步的详细描述。
步骤1.生成训练集。
本发明的实施例中使用Pavia Center数据集，该数据集仅含有一张大小为960*640，通道数为102的高光谱图像。
步骤1.1，将Pavia Center数据集均等划分为24个互不重叠的标准高光谱图像块，每块图像的大小为160*160，通道数为102。
步骤1.2，根据Wald协议要求，对每个标准高光谱图像块的所有可见光波段求均值，利用该均值，将每个102维的标准高光谱图像块压缩为单通道的全色图像块，每块大小为160*160。
步骤1.3，使用高斯核函数，对每个标准高光谱图像块进行卷积，得到该图像块高斯模糊处理后的图像块。按照从左到右、从上到下的顺序遍历每个模糊后的图像块，每四个像素采样一次，得到四倍空间下采样处理后的低分辨率高光谱图像块，每个图像块大小为40*40，通道数为102。
步骤1.4，将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱图像块组成一个样本对，共得到24个样本对，随机选取其中的16个样本对作为训练集。
步骤2.对低分辨率高光谱图像块进行空间对齐。
将每个样本对中的低分辨率高光谱图像块，输入到现有技术训练好的深度反投影网络中，逐通道进行四倍上采样空间对齐，生成该低分辨率高光谱图像块的上采样高光谱图像块，其大小为160*160，具有102通道。所述现有技术训练好的深度反投影网络参见Muhammad Haris等人发表的论文“Deep Back-Projection Networks For Super-Resolution”(Proceedings of the IEEE conference on computer vision and patternrecognition.2018:1664-1673.)
步骤3.对单通道全色图像块进行光谱对齐。
按照下式，对每个样本对中的单通道全色图像块与其对应上采样高光谱图像块的各通道间进行直方图匹配，用上采样高光谱图像块各个通道的均值和方差替换对应单通道全色图像块的均值方差，对该单通道全色图像块进行通道扩充，实现光谱对齐：
其中，
表示第n个样本对中的单通道全色图像块Pn与其对应上采样高光谱图像块的图像块的第i个通道进行直方图匹配后的多通道全色图像块，Pn表示第n个样本对中的单通道全色图像块，μ(·)和std(·)分别表示均值和方差操作，
表示第n个样本对中单通道全色图像块对应上采样高光谱图像块的第i个通道。i＝1,2,…,102，n＝1,2,…,24。
步骤4.构建残差注意力网络。
步骤4.1，搭建一个用于抑制冗余信息的三维注意力模块，其结构依次为：通道注意力子模块、第一乘法器、空间注意力子模块、第二乘法器。
所述通道注意力子模块的结构依次为：平均池化层、最大池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层。将平均池化层和最大池化层的计算维度均设置为1，将第一、第二卷积层的卷积核大小均设置为1*1，卷积核数量分别为16和64，滑动步长均为1，填充宽度均为0；第一激活函数层采用线性整流函数实现；第二激活函数层采用Sigmoid函数实现。
所述空间注意力子模块的结构依次为：平均池化层、最大池化层、卷积层、激活函数层。将平均池化层和最大池化层的计算维度均设置为1；卷积层的卷积核大小设置为3*3，卷积核数量为1；激活函数层采用Sigmoid函数实现。
当数据输入到三维注意力模块处理时，第一乘法器将通道注意力子模块的输出与原始输入数据进行相乘操作的结果，输入到空间注意力子模块，空间注意力子模块的输出结果与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进行乘法运算，得到三维注意力模块的整体输出数据。
步骤4.2，搭建10个结构相同的卷积模块，每个卷积模块的结构依次为：卷积层、批标准化层、激活函数层。将第一、第二、第七、第八卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为64，滑动步长均为1，填充宽度均为0；将第三、第四、第五、第六卷积模块卷积层的卷积核大小均设置为3*3，卷积核数量均为64，滑动步长均为1，填充宽度均为2；将第九、第十卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为102，滑动步长均为1，填充宽度均为0；第一至第十批标准化层均采用批标准化函数实现；第一至第十激活函数层均采用线性整流函数实现。
步骤4.3，将第一卷积模块、第二卷积模块、三维注意力模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块级联组成残差注意力网络。
当数据输入三维注意力模块、第三、第四、第五、第六卷积模块进行处理时，使用残差运算，即将每个模块的输入特征数据和输出特征数据进行像素级数值加合作为下一模块的输入特征数据，以缓解深度网络中的梯度爆炸和梯度消失问题。
步骤5.训练残差注意力网络。
步骤5.1，用步骤2中得到的16个上采样高光谱图像块逐像素减去与其对应的16个多通道全色图像块中的像素值，得到16张残差图像。
步骤5.2，将所有残差图像输入到残差注意力网络中，通过网络逐级前传，输出重构后的图像。
步骤5.3，用训练集样本对中的16个标准高光谱图像块像逐素减去与其对应的16个多通道全色图像块中的像素值，得到16个目标图像。
步骤5.4，利用网络总损失函数对重构图像和目标图像之间的差异进行评估，利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数，直至网络总损失函数收敛，得到训练好的残差注意力网络。
所述网络总损失函数L(·)如下：
其中，Θ为待训练的网络参数，LSAM(·)表示光谱约束损失函数,R和
分别表示重构图像和目标图像，β表示两个损失项之间的权重参数，其取值为10，LMSE(·)表示空间约束损失函数，K表示训练集样本对的总数，本发明实施例中其取值为16，Σ表示求和操作，h表示目标图像的高，本发明实施例中其取值为160，w表示目标图像的宽，本发明实施例中其取值为160，arccos(·)表示反余弦操作，
和
分别表示第k张重构图像中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量，k和k'的取值对应相等，p和q的取值对应相等，<·,·>表示内积操作，||·||2表示取L2范数操作，c表示目标图像的通道数，由于本发明实施例中目标图像为高光谱图像，故其通道数为102，
和
分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和第m'张目标图像中第u个像素对应向量的第d个维度的值，m和m'的取值对应相等，v和u的取值对应相等，b和d的取值对应相等。
步骤6.对高光谱图像进行全色锐化。
步骤6.1，采用与步骤2和步骤3相同的方法，对待全色锐化的高光谱图像进行处理，得到上采样高光谱图像和多通道全色图像；
步骤6.2，采用与步骤5.1相同的方法，对上采样高光谱图像和多通道全色图像进行处理，得到二者的残差图像；
步骤6.3，将残差图像输入到训练好的残差注意力网络中，输出重构图像，将重构图像与多通道全色图像加合，得到全色锐化后的高光谱图像。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：CPU型号为AMD Ryzen 9 5950X 16-core，主频为3.4GHz，GPU型号为Nvidia GeForce RTX 3090，显存24GB。
本发明的仿真实验的软件平台为：Windows 10操作系统，Python 3.7，PyTorch1.12。
本发明仿真实验所使用的输入图像为：Pavia Center高光谱数据集，该高光谱数据由ROSIS传感器采集于意大利北部帕维亚上空，图像大小为960*640，共包含102个波段，每个像素的空间分辨率为1.3米。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明与五个现有技术(耦合非负矩阵分解CNMF锐化方法、主成分分析变换PCA锐化方法、散饱和变换IHS锐化方法、亮度平滑滤波调节SFIM锐化方法、高光谱泛锐化网络HyperPNN方法)分别对Pavia Center高光谱数据集样本进行全色锐化，得到锐化结果图，将本发明的仿真实验数据集样例图、五个现有技术方法在样例上的锐化结果图、本发明方法在样例上的锐化结果图组合得到图3。
在仿真实验中，采用的五个现有技术是指：
现有技术耦合非负矩阵分解CNMF锐化方法是指，Yokoya等人在“Couplednonnegative matrix factorization unmixing for hyperspectral and multispectraldata fusion,IEEE Transactions on Geoscience and Remote Sensing 50.2(2011):528-537.”中提出的一种全色锐化方法，简称CNMF。
现有技术主成分分析变换PCA锐化方法是指，Shah等人在“An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets,IEEEtransactions on geoscience and remote sensing 46.5(2008):1323-1335.”中提出的一种全色锐化方法，简称PCA。
现有技术散饱和变换IHS锐化方法是指，Carper等人在“The use of intensity-hue-saturation transformations for merging SPOT panchromatic andmultispectral image data,Photogrammetric Engineering and remote sensing 56.4(1990):459-467.”中提出的一种全色锐化方法，简称IHS。
现有技术亮度平滑滤波调节SFIM锐化方法是指，Liu等人在“Smoothing filter-based intensity modulation:A spectral preserve image fusion technique forimproving spatial details,International Journal of Remote Sensing 21.18(2000):3461-3472.”中提出的一种全色锐化方法，简称SFIM。
现有技术高光谱泛锐化网络HyperPNN方法是指，He等人在“HyperPNN:Hyperspectral pansharpening via spectrally predictive convolutional neuralnetworks,IEEE Journal of Selected Topics in Applied Earth Observations andRemote Sensing 12.8(2019):3092-3100.”中提出的一种全色锐化方法，简称HyperPNN。
下面结合图3对本发明的效果做进一步的描述。
图3(a)为Pavia Center数据集划分出的一个标准高光谱图像块，由该图像块中的第1个，第27个和第62个波段构成的伪彩色图像。图3(b)为标准高光谱图像块经过下采样的低分辨率高光谱图像。图3(c)为采用现有技术CNMF方法，对低分辨率高光谱图像进行全色锐化后的结果图。图3(d)为采用现有技术PCA方法，对低分辨率高光谱图像进行全色锐化后的结果图。图3(e)为采用现有技术IHS方法，对低分辨率高光谱图像进行全色锐化后的结果图。图3(f)为采用现有技术SFIM方法，对低分辨率高光谱图像进行全色锐化后的结果图。图3(g)为采用现有技术HyperPNN方法，对低分辨率高光谱图像进行全色锐化后的结果图。图3(h)为采用本发明方法，对低分辨率高光谱图像进行全色锐化后的结果图。
由图3(c)可以看出，现有技术的耦合非负矩阵分解CNMF锐化方法全色锐化结果与本发明方法全色锐化结果相比，空间和光谱失真严重，空间结构边缘模糊，锐化结果色度明显亮于标准高光谱图像，主要因为该方法没有提取全色图像中的深度空间信息，导致全色锐化结果不佳。
由图3(d)可以看出，现有技术的主成分分析变换PCA锐化方法全色锐化结果与本发明方法全色锐化结果相比，其光谱失真严重，主要因为该方法采取主成分变换，简单用全色图像中的空间信息替代高光谱图像中的空间信息，造成了过程中光谱信息的丢失，导致全色锐化结果不佳。
由图3(e)可以看出，现有技术的散饱和变换IHS锐化方法全色锐化结果与本发明方法全色锐化结果相比，空间和光谱失真严重，因为它采用了和PCA方法相似的成分替代方法，但是考虑了亮度特征，因此虽然光谱失真现象较PCA方法而言有所缓解，但全色锐化结果依然不佳。
由图3(f)可以看出，现有技术的亮度平滑滤波调节SFIM锐化方法全色锐化结果与本发明方法全色锐化结果相比，空间和光谱失真严重，空间结构出现严重的重影和模糊现象，这是因为该方法的物理性假设在实际中难以满足，导致全色锐化结果不佳。
由图3(g)可以看出，现有技术的高光谱泛锐化网络HyperPNN方法全色锐化结果与本发明方法全色锐化结果相比，空间细节失真度高，这是因为HyperPNN在网络融合图像的过程中，将单通道的全色图像简单与低分辩高光谱图像级联输入网络，无法保证其中的空间信息被完全利用，导致全色锐化结果不佳。
由图3(h)可以看出，本发明的分类结果相比于五个现有技术的分类结果，空间和光谱失真度更低，图像空间结构和边缘信息更清晰明显，色度也更接近标准高光谱图像，证明本发明的全色锐化效果优于前五种现有技术全色锐化方法。
利用五个评价指标(互相关系数CC、光谱角映射SAM、均方根误差RMSE、相对整体维数综合误差ERGAS、峰值信噪比PSNR)分别对六种方法的全色锐化结果进行评价。利用下面公式，计算五个指标，将所有评价结果绘制成表1：
其中，Σ表示求和操作，h表示标准高光谱图像的高，w表示标准高光谱图像的宽，Xi'表示全色锐化结果图像第i'个像素对应的向量，μ表示Xi'的均值，
表示全色锐化结果图像第j'个像素对应的向量，
表示
的均值，i'和j'的取值对应相等。
其中，Σ表示求和操作，h表示标准高光谱图像的高，w表示标准高光谱图像的宽，<·,·>表示内积操作，arccos(·)表示反余弦操作，||·||2表示取L2范数操作，Xp'表示全色锐化结果图像第p'个像素对应的向量，
表示全色锐化结果图像第q'个像素对应的向量，p'和q'的取值对应相等。
其中，h表示标准高光谱图像的高，w表示标准高光谱图像的宽，Σ表示求和操作，Xm'表示全色锐化结果图像第m'个像素对应的向量，
表示全色锐化结果图像第n'个像素对应的向量，m'和n'的取值对应相等。
其中，c表示标准高光谱图像的通道数，Σ表示求和操作，RMSEv'表示全色锐化结果图第v'个通道上的RMSE值，μu'表示标准高光谱图像第u'个通道上的均值，其中v'和u'的取值对应相等。
其中，c表示标准高光谱图像的通道数，Σ表示求和操作，maxd'表示标准高光谱图像第d'个通道上的最大值，RMSEb'表示全色锐化结果图第b'个通道上的RMSE值。
表1.仿真实验中本发明和各现有技术全色锐化结果的定量分析表
其中，CC值和PSNR值越高说明锐化结果越好，SAM值、RMSE值、ERGAS值越低说明锐化结果越好。
结合表1可以看出，本发明的互相关系数CC为0.9684，光谱角映射SAM为8.2033、均方根误差RMSE为0.0225、相对整体维数综合误差ERGAS为4.5922、峰值信噪比PSNR为33.0515。在五个评价指标上均优于现有技术方法，证明本发明可以得到空间失真和光谱失真更低的高光谱全色锐化结果。
以上仿真实验表明：本发明首先使用现有技术训练好的深度反投影网络对低分辨率高光谱图像进行语义信息提取和空间上采样对齐，解决了现有技术高光谱图像上采样过程中信息损失量大的问题，对单通道全色图像与多通道高光谱图像进行逐通道直方图匹配扩充通道和光谱对齐，以对齐后的多通道全色图像作为融合基础，解决了现有技术中无法完全利用全色图像空间信息，网络模型融合结果空间失真严重的问题，本发明在所构建的残差注意力网络中使用含有不同大小卷积核的卷积模块，针对性地对光谱信息和空间信息进行提取与重建，并加入了三维注意力模块，解决了现有技术无法抑制冗余信息，模型计算效率低锐化结果失真的问题，通过明构造的同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，解决了空间和光谱保留性能不平衡的问题。
Claims (3)
1.一种基于光谱约束和残差注意力网络的高光谱全色锐化方法，其特征在于，采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，对单通道全色图像与多通道高光谱图像进行逐通道直方图匹配扩充通道和光谱对齐，构建含有不同大小卷积核的卷积模块和三维注意力模块的残差注意力网络，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数；该高光谱全色锐化方法的步骤包括如下：
步骤1.生成训练集：
步骤1.1，将一张高光谱图像均分为N个互不重叠的标准高光谱图像块，N≥10；
步骤1.2，根据Wald协议要求，对每个标准高光谱图像块中可见光波段逐像素求均值得到均值图像，将均值图像块作为该标准高光谱图像块的单通道全色图像块；
步骤1.3，对每个标准高光谱图像下采样，得到低分辨率高光谱图像块；
步骤1.4，将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱图像块组成一个样本对，取T各样本对组成训练集，1≤T≤N；
步骤2.对低分辨率高光谱图像块进行空间对齐：
采用深度反投影网络对低分辨率高光谱图像块进行语义信息提取和空间上采样对齐，得到T1个上采样高光谱图像块，T1＝T；
步骤3.对单通道全色图像块进行光谱对齐：
对单通道全色图像块与多通道高光谱图像块进行逐通道直方图匹配，得到光谱对齐后的T2多通道全色图像块，T2＝T；
步骤4.构建残差注意力网络：
步骤4.1，搭建一个用于抑制冗余信息的三维注意力模块，其结构依次为：通道注意力子模块、第一乘法器、空间注意力子模块、第二乘法器；
所述通道注意力子模块的结构依次为：平均池化层、最大池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层；将平均池化层和最大池化层的计算维度均设置为1，将第一、第二卷积层的卷积核大小均设置为1*1，卷积核数量分别为16和64，滑动步长均为1，填充宽度均为0；第一激活函数层采用线性整流函数实现；第二激活函数层采用Sigmoid函数实现；
所述空间注意力子模块的结构依次为：平均池化层、最大池化层、卷积层、激活函数层；将平均池化层和最大池化层的计算维度均设置为1；卷积层的卷积核大小设置为3*3，卷积核数量为1；激活函数层采用Sigmoid函数实现；
当数据输入到三维注意力模块处理时，第一乘法器将通道注意力子模块的输出与原始输入数据进行相乘操作的结果，输入到空间注意力子模块，空间注意力子模块的输出结果与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进行乘法运算，得到三维注意力模块的整体输出数据；
步骤4.2，搭建10个结构相同的卷积模块，每个卷积模块的结构依次为：卷积层、批标准化层、激活函数层；将第一、第二、第七、第八卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为64，滑动步长均为1，填充宽度均为0；将第三、第四、第五、第六卷积模块卷积层的卷积核大小均设置为3*3，卷积核数量均为64，滑动步长均为1，填充宽度均为2；将第九、第十卷积模块中卷积层的卷积核大小均设置为1*1，卷积核数量均为C，C为步骤1中高光谱图像的通道数，滑动步长均为1，填充宽度均为0；第一至第十批标准化层均采用批标准化函数实现；第一至第十激活函数层均采用线性整流函数实现；
步骤4.3，将第一卷积模块、第二卷积模块、三维注意力模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块级联组成残差注意力网络；
当数据输入三维注意力模块、第三、第四、第五、第六卷积模块进行处理时，使用残差运算，即将每个模块的输入特征数据和输出特征数据进行像素级数值加合作为下一模块的输入特征数据；
步骤5.训练残差注意力网络：
步骤5.1，用T1个上采样高光谱图像块逐像素减去与其对应的T2个多通道全色图像块中的像素值，得到T3张残差图像，T1、T2、T3的取值对应相等；
步骤5.2，将所有残差图像输入到残差注意力网络中，通过网络逐级前传，输出重构后的图像；
步骤5.3，用训练集样本对中的T4个标准高光谱图像块像逐素减去与其对应的T2个多通道全色图像块中的像素值，得到T5个目标图像，T4、T2、T5的取值对应相等；
步骤5.4，构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失函数，利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数，得到训练好的残差注意力网络；
所述网络总损失函数L(·)如下：
其中，Θ为待训练的网络参数，LSAM(·)表示光谱约束损失函数,R和
分别表示重构图像和目标图像，β表示两个损失项之间的权重参数，其取值为[0,10]范围内的任意实数，LMSE(·)表示空间约束损失函数，K表示训练集样本对的总数，Σ表示求和操作，h表示目标图像的高，w表示目标图像的宽，arccos(·)表示反余弦操作，
和
分别表示第k张重构图像中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量，k和k'的取值对应相等，p和q的取值对应相等，<·,·>表示内积操作，||·||2表示取L2范数操作，c表示目标图像的通道数，
和
分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和第m'张目标图像中第u个像素对应向量的第d个维度的值，m和m'的取值对应相等，v和u的取值对应相等，b和d的取值对应相等；
步骤6.对高光谱图像进行全色锐化：
步骤6.1，采用与步骤2和步骤3相同的方法，对待全色锐化的高光谱图像进行处理，得到上采样高光谱图像和多通道全色图像；
步骤6.2，采用与步骤5.1相同的方法，对上采样高光谱图像和多通道全色图像进行处理，得到二者的残差图像；
步骤6.3，将残差图像输入到训练好的残差注意力网络中，输出重构图像，将重构图像与多通道全色图像加合，得到全色锐化后的高光谱图像。
2.根据权利要求1所述的基于光谱约束和残差注意力网络的高光谱全色锐化方法，其特征在于，步骤1.3中所述的对每个标准高光谱图像下采样指的是，使用高斯核函数，对每个标准高光谱图像块进行卷积，得到该图像块高斯模糊处理后的图像块；按照从左到右、从上到下的顺序遍历每个模糊后的图像块，每r个像素采样一次，得到l倍空间下采样处理后的低分辨率高光谱图像块，r和l的数值对应相等。
3.根据权利要求1所述的基于光谱约束和残差注意力网络的高光谱全色锐化方法，其特征在于，步骤3中所述的逐通道直方图匹配是由下式实现的：
其中，
表示第n个样本对中的单通道全色图像块Pn与其对应上采样高光谱图像块的图像块的第i个通道进行直方图匹配后的多通道全色图像块，Pn表示第n个样本对中的单通道全色图像块，μ(·)和std(·)分别表示均值和方差操作，
表示第n个样本对中单通道全色图像块对应上采样高光谱图像块的第i个通道，n＝1,2,…,N，i＝1,2,…,C。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873617.9A CN115100075A (zh) | 2022-07-24 | 2022-07-24 | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873617.9A CN115100075A (zh) | 2022-07-24 | 2022-07-24 | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100075A true CN115100075A (zh) | 2022-09-23 |
Family
ID=83299511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210873617.9A Pending CN115100075A (zh) | 2022-07-24 | 2022-07-24 | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100075A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188774A (zh) * | 2022-12-13 | 2023-05-30 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
-
2022
- 2022-07-24 CN CN202210873617.9A patent/CN115100075A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188774A (zh) * | 2022-12-13 | 2023-05-30 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
| CN116188774B (zh) * | 2022-12-13 | 2024-03-22 | 湖南大学 | 高光谱图像实例分割方法及建筑实例分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| Xie et al. | Hyperspectral image super-resolution using deep feature matrix factorization | |
| Zhong et al. | Remote sensing image fusion with convolutional neural network | |
| Loncan et al. | Hyperspectral pansharpening: A review | |
| CN110428387B (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
| Pradhan et al. | Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| US8699790B2 (en) | Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries | |
| CN111192193B (zh) | 一种基于1维-2维卷积神经网络高光谱单图超分辨方法 | |
| Li et al. | Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy | |
| Hu et al. | Pan-sharpening via multiscale dynamic convolutional neural network | |
| CN109636769A (zh) | 基于双路密集残差网络的高光谱和多光谱图像融合方法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN111161141B (zh) | 基于频带间注意力机制对抗学习高光谱单图超分辨率方法 | |
| CN113191325B (zh) | 一种图像融合方法、系统及其应用 | |
| CN106157269B (zh) | 基于方向多尺度群低秩分解的全色图像锐化方法 | |
| Yang et al. | Pansharpening for multiband images with adaptive spectral–intensity modulation | |
| CN113793289A (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| Dong et al. | Fusion of hyperspectral and panchromatic images using structure tensor and matting model | |
| CN115100075A (zh) | 基于光谱约束和残差注意力网络的高光谱全色锐化方法 | |
| Sulaiman et al. | A robust pan-sharpening scheme for improving resolution of satellite images in the domain of the nonsubsampled shearlet transform | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |