CN117252761A - 一种跨传感器遥感图像超分辨率增强方法 - Google Patents
一种跨传感器遥感图像超分辨率增强方法 Download PDFInfo
- Publication number
- CN117252761A CN117252761A CN202311167986.7A CN202311167986A CN117252761A CN 117252761 A CN117252761 A CN 117252761A CN 202311167986 A CN202311167986 A CN 202311167986A CN 117252761 A CN117252761 A CN 117252761A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- residual
- super
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001228 spectrum Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000002310 reflectometry Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 241000282326 Felis catus Species 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- QPGIGKMACFTHAH-UHFFFAOYSA-L NIR-4 dye Chemical compound [K+].[K+].[O-]S(=O)(=O)CCCCN1C2=CC=C(C(O)=O)C=C2C(C)(C)C1=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(S([O-])(=O)=O)C=C2C1(C)C QPGIGKMACFTHAH-UHFFFAOYSA-L 0.000 description 1
- 108700019146 Transgenes Proteins 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000179 transient infrared spectroscopy Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种跨传感器遥感图像超分辨率增强方法，属于遥感图像处理技术领域，包括：通过卷积层提取跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征；通过构建残差注意力组和残差卷积组提取预设低分辨率图像的深层特征；对提取的深层特征进行上采样，得到高分辨率重建图像；构建综合损失函数，计算重建图像与预设高分辨率图像之间的损失并反向传播，得到预设低分辨率图像对应的超分辨率重建图像。本发明通过在传统Transformer结构中添加全局通道注意模块，有效发掘全局关系和高阶空间交互，构建多层次的特征融合模块，全面捕捉来自不同分支的局部和全局信息，实现了CNNs局部性和平移不变性与Transformers的远程依赖建模的有机融合。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其涉及一种跨传感器遥感图像超分辨率增强方法。
背景技术
长时序遥感影像是地球科学领域一系列应用的重要数据源，包括土地利用/土地覆盖变化、环境监测、地理对象制图、生态系统服务评估以及全球气候变化监测等。由于不同的研究任务、预算和技术限制，不同卫星携带的传感器的空间分辨率存在显著差异。更高的空间分辨率能够揭示地球表面系统更精细的细节和动态，然而技术和成本方面的硬件相关限制使得很难进一步提高卫星传感器的空间分辨率。
鉴于上述挑战，在软件层面利用超分辨率技术(以下简称超分)成为增强遥感图像空间分辨率的可行方法。超分技术具有成本低、效率高等优势。超分技术的研究起源于20世纪60年代，主要目的是从单个低分辨率(LR)图像中恢复和重建高分辨率(HR)图像。随后，卷积神经网络(CNNs)的出现促进了超分技术的发展。基于CNNs的经典超分网络包括SRCNN、SRGAN、VDSR和EDSR等。这些网络具有相似的结构，由三个部分组成：浅层特征提取、深层特征提取和上采样。基于深度学习的超分技术依赖于训练大量的LR/HR图像对来建立映射模型。此外，可以通过结合残差连接、密集连接、注意力机制和生成对抗网络来提升超分网络的性能。然而，遥感图像上的地物结构复杂、尺寸差异大、噪声多、局部相似度高。此外，基于CNNs的模型本质上难以建模远程依赖关系，并且由于其感受野大小有限，在捕获全局上下文信息方面面临限制，上述问题对遥感图像超分辨率形成了极大阻碍。同时，自然语言处理(NLP)领域的Transformer架构已成功适应计算机视觉任务。基于自注意力机制，Transformers展示了捕获全局上下文信息的高效能力，并在各种计算机视觉应用中实现了最优的性能。其中最具代表性的是微软亚洲研究院于2021年提出的Swin Transformer，其主要贡献是构建了分层特征图，并采用移位窗口方法来计算自注意力。在此基础上，Liang等人将Swin Transformer应用于超分领域并提出了SwinIR。尽管基于SwinIR及其变体的超分模型已经在自然图像上进行了广泛实验，但它们对跨传感器遥感图像超分的有效性需要进一步论证。此外，通过研究发现，单个Transformer的性能不一定会超过CNNs，因为输入到Transformers的图像块会被压缩成一维序列，这可能会丢失图像结构信息，另外Transformers可能会破坏多光谱或高光谱遥感图像中存在的光谱相关性。
此外，自然图像和遥感图像超分任务之间也存在本质区别。目前，计算机视觉中大多数超分方法采用监督学习，然而在现实世界中很难获取配对的LR/HR训练样本。因此，普遍的做法是对现有高分辨率图像进行下采样并应用模糊核来模拟其在自然图像中观察到的退化过程，这种方法的缺陷是显而易见的。相反，不同卫星传感器在同一时间同一地点拍摄的不同空间分辨率的遥感图像为超分模型提供了真实且理想的LR/HR图像对。但是不同传感器的大气校正、观测几何和带通差异导致了这些遥感图像存在域偏移问题。
发明内容
本发明提供一种跨传感器遥感图像超分辨率增强方法，用以解决现有技术中针对遥感超分辨率重建过程存在的缺陷。
第一方面，本发明提供的一种跨传感器遥感图像超分辨率增强方法，包括：
获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；
通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；
通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征；
对所述深层特征进行上采样，得到高分辨率重建图像；
构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并反向传播，不断优化高分辨率重建图像，得到预设低分辨率图像对应的超分辨率重建图像。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间，包括：
其中，表示浅层特征图，W()表示卷积运算，ILR表示跨传感器多光谱遥感图像数据集中的预设低分辨率图像。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征，包括：
由全局通道注意模块GCAM与基于移位窗口的Transformer层STL进行并联构建增强型注意力模块EAB，将多个EAB进行串联构成所述残差注意力组，所述残差注意力组用于增强Transformer的平移不变性；
由连续残差单元构建所述残差卷积组，所述残差卷积组用于通过卷积神经网络获取图像细节和稳定模型训练；
采用特征融合模块FFM将所述残差注意力组和所述残差卷积组提取的特征进行融合，得到所述深层特征。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，采用GCAM对所述预设低分辨率图像的输入特征进行通道维度压缩以及通道维度扩展，并计算全局通道注意力，包括：
其中，A表示输入特征图，维度是B表示特征图A经过通道压缩和通道扩展后得到的特征图，σ表示GELU激活函数，W0()和W1()代表卷积运算，维度是和/>α表示通道压缩参数，C、D和E分别代表不同的中间特征图，f()表示维度变换函数，/>表示矩阵乘法，β表示从0开始自动学习和优化的尺度参数，GCAM表示GCAM最终计算结果。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，采用EAB对STL全局表达能力进行增强，优化辅助参数，包括：
其中，sl-1和sl分别表示第l-1个EAB特征图和第l个EAB特征图，(S)W-MSA是SwinTransformer提出的多头自注意力模块，包括基于窗口的多头自注意力W-MSA和基于移位窗口的自注意力SW-MSA，通过Attention(Q,K,V)计算得到，其中Q、K和V分别表示Query矩阵、Key矩阵和Value矩阵，d表示Query/Key的维度，b表示相对位置偏差，LN表示LayerNorm层，MLP表示多层感知器，参数γ用于稳定模型训练，表示EAB最终计算结果。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，将多个EAB进行串联构成所述残差注意力组，包括：
RAGk＝RAGk-1+Wsl(sl-1(…s1(RAGk-1)…))
其中，RAGk和RAGk-1分别表示第k个RAG和第k-1个RAG，sl表示第l个EAB，W表示增强Transformer平移不变性的卷积层。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，由连续残差单元构建所述残差卷积组，包括：
RCGk＝xN-1+W1σ(W0(xN-1)),N≥1
x0＝RCGk-1
其中，RCGk和RCGk-1分别表示第k个RCG和第k-1个RCG，xN-1表示第N-1个残差单元，N表示残差单元总数，σ表示Leaky ReLU激活函数。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，采用FFM将所述残差注意力组和所述残差卷积组提取的特征进行融合，得到所述深层特征，包括：
其中，CA和SA分别表示通道注意力和空间注意力，和/>分别表示基于宽和高的全局平均池化操作和全局最大池化操作，/>和/>分别表示基于通道的全局平均池化操作和全局最大池化操作，cat()表示串联操作，/>表示sigmoid函数，W2()和W3()分别表示学习CNN特征权重的卷积运算和学习Transformer特征权重的卷积运算。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，对所述深层特征进行上采样，得到高分辨率重建图像，包括：
其中，和/>分别代表通过RAG获取的深层特征和RCG获取的深层特征，/>表示预设浅层特征，FFM()表示全局残差连接，Up()代表上采样函数，ISR表示超分辨率重建图像。
根据本发明提供的一种跨传感器遥感图像超分辨率增强方法，构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并反向传播，不断优化高分辨重建图像，得到预设低分辨率图像对应的超分辨率重建图像，包括：
计算光谱损失：
SHR＝cat(NDVIHR,NDWIHR)
SSR＝cat(NDVISR,NDWISR)
其中，表示光谱损失，g、r和nir分别代表绿光反射率、红光反射率和近红外波段反射率，NDVI表示归一化植被指数，NDWI表示归一化水指数，NDVISR表示超分辨率重建图像的归一化植被指数，NDWISR表示超分辨率重建图像的归一化水指数，NDVIHR表示预设高分辨率图像的归一化植被指数，NDWIHR表示预设高分辨率图像的归一化水指数，cat()是串联操作，SHR是预设高分辨率图像的串联指数，SSR是超分辨率重建图像的串联指数，h和w分别表示图像的高和宽；
计算总体损失：
其中，表示图像重建损失，/>表示光谱损失，IHR和ISR分别代表预设高分辨率图像和超分辨率重建图像，λ表示光谱损失的权重，h、w和c分别表示图像的高、宽和通道数。
第二方面，本发明还提供一种跨传感器遥感图像超分辨率增强系统，包括：
构建模块，用于获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；
第一提取模块，用于通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；
第二提取模块，用于通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中低分辨率图像的深层特征；
上采样模块，用于对所述深层特征进行上采样，得到高分辨率重建图像；
计算模块，用于构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并进行反向传播，不断优化高分辨率重建图像，得到预设低分辨率图像对应的超分辨率重建图像。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述跨传感器遥感图像超分辨率增强方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述跨传感器遥感图像超分辨率增强。
本发明提供的跨传感器遥感图像超分辨率增强方法，通过在传统Transformer结构中添加并行的全局通道注意模块，解决SwinIR受窗口大小限制的问题，有效发掘全局关系和高阶空间交互，从而增强了传统Transformer结构的性能，还构建了多层次的特征融合模块，全面捕捉来自不同分支的局部和全局信息，实现CNNs的局部性和平移不变性与Transformers的远程依赖建模的有机融合。此外，本发明还设计了基于遥感比值指数的综合光谱损失函数，解决了不同传感器由光照变化、云阴影、地形变化和大气条件等各种因素引起的域偏移问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的跨传感器遥感图像超分辨率增强方法的流程示意图；
图2是本发明提供的两个数据集的地理位置及HR/LR样本示例图；
图3是本发明提供的融合Transformers和CNNs的跨传感器遥感图像超分辨率网络模型结构图；
图4是本发明提供的GCAM模块结构图；
图5是本发明提供的EAB模块结构图；
图6是本发明提供的RAG模块结构图；
图7是本发明提供的RCG模块结构图；
图8是本发明提供的FFM模块结构图；
图9是本发明提供的跨传感器遥感图像超分辨率增强系统的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术存在的诸多局限性，本发明提出一种融合Transformers和卷积神经网络的跨传感器遥感图像超分辨率技术。该超分框架的核心步骤在于深层特征提取，通过精心设计的残差注意力组(residual attention group，RAG)和残差卷积组(residualconvolution group，RCG)来捕获不同级别的高维度特征。随后采用特征融合模块(featurefusion module，FFM)有效地整合局部细节和全局上下文信息。
图1是本发明实施例提供的跨传感器遥感图像超分辨率增强方法的流程示意图，如图1所示，包括：
步骤100：获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率数据，构建跨传感器多光谱遥感图像数据集；
步骤200：通过卷积层提取所述预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；
步骤300：通过构建残差注意力组和残差卷积组提取所述预设低分辨率图像的深层特征；
步骤400：对所述深层特征进行上采样，得到高分辨率重建图像；
步骤500：构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并进行反向传播，得到预设低分辨率图像对应的超分辨率重建图像。
需要说明的是，本发明实施例涉及的数据为两个包含Landsat-8OLI和Sentinel-2MSI地表反射率的数据集，分别记为HLSSR-HH和HLSSR-GJ。神经网络构建工具选择PyTorch，编程语言选择Python，处理步骤如下：
根据实际业务需求，构建了两个协调统一的跨传感器多光谱遥感图像数据集，即HLSSR-HH和HLSSR-GJ。两个数据集中LR图像源自Landsat-8OLI/TIRS Level 2Collection2的大气校正地表面反射率图像，空间分辨率为30米。而HR图像则来源于时空邻近的Sentinel-2MSI Level-2A的大气校正表面反射率数据，空间分辨率为10米。HLSSR-HH数据集覆盖了国内某两个省份的部分地区，HLSSR-GJ数据集涵盖了国内另外两个省份的部分地区，这两个数据集的地理位置和示例如图2所示。分别将Landsat-8和Sentinel-2进行滑动窗口裁剪，生成LR/HR图像对，其中LR的尺寸为160×160像素，HR图像尺寸为480×480像素。最终，HLSSR-HH数据集中训练集包含2250LR/HR图像对，测试集包含1100LR/HR图像对。HLSSR-HH数据集中训练集包含2891LR/HR图像对，测试集包含1225LR/HR图像对。两个数据集的详细信息如表1所示。
表1
然后使用PyTorch构建融合Transformers和CNNs的跨传感器遥感图像超分辨率神经网络模型，模型结构图如图3所示，使用HLSSR-HH和HLSSR-GJ数据集的训练集作为模型输入，参与神经网络训练。本发明设计的深层特征提取模块主要包括残差注意力组RAG、残差卷积组RCG以及特征融合模块FFM三个部分。
进一步地，通过上采样重建步骤，该步骤采用亚像素卷积对提取的深层特征进行上采样，完成超分辨率重建。
最后，计算损失函数与反向传播，通过损失函数计算重建图像与高分辨率图像之间的损失，然后进行梯度反向传播以达到更新超分模型参数的目的，得到最终的超分辨率重建图像。
本发明通过在传统Transformer结构中添加并行的全局通道注意模块，解决SwinIR受窗口大小限制的问题，有效发掘全局关系和高阶空间交互，从而增强了传统Transformer结构的性能，还构建了多层次的特征融合模块，全面捕捉来自不同分支的局部和全局信息，实现CNNs的局部性和平移不变性与Transformers的远程依赖建模的有机融合。此外，本发明还设计了基于遥感比值指数的综合光谱损失函数，解决了不同传感器由光照变化、云阴影、地形变化和大气条件等各种因素引起的域偏移问题。
基于上述实施例，通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间，包括：
其中，表示浅层特征图，W()表示卷积运算，ILR表示跨传感器多光谱遥感图像数据集中的预设低分辨率图像。
具体地，本发明实施例采用一个卷积层提取LR的浅层特征，假设模型输入通道数量为4(即包含蓝、绿、红和近红外4个波段)，批处理大小Batch size为1，则输入特征维度可以表示为1×4×160×160。使用的卷积层输出维度为96，卷积核大小为3×3，步长为stride为1，填充padding为1，则经过浅层特征提取得到的特征图维度为1×96×160×160。
基于上述实施例，本发明实施例提出的深层特征提取模块主要包括残差注意力组RAG、残差卷积组RCG以及特征融合模块FFM三个部分。
首先通过残差注意力组RAG提取深层特征，计算全局通道注意模块(GlobalChannel Attention Module，GCAM)。GCAM通过先压缩再扩展通道维度，使得模型可以有效学习不同通道之间的非线性交互关系，同时限制模型的复杂度。随后，GCAM通过整合所有通道之间的相关特征来选择性地强调重要通道维度，具体计算方式如下：
其中，A表示输入特征图，维度是B表示特征图A经过通道压缩和通道扩展后得到的特征图，σ表示GELU激活函数，W0()和W1()代表卷积运算，维度是和/>α表示通道压缩参数，C、D和E分别代表不同的中间特征图，f()表示维度变换函数，/>表示矩阵乘法，β表示从0开始自动学习和优化的尺度参数，GCAM表示GCAM最终计算结果。
GCAM的模型结构如图4所示。输入和输出的维度可以表示为B×C×H×W，其中B表示Batch size，C表示通道数量，W和H分别表示特征图的宽度和高度。表2为GCAM特征提取过程各模块特征图尺寸。
表2
| 特征图 | 维度(B×C×H×W) |
| A | 1×96×160×160 |
| B | 1×96×160×160 |
| C | 1×96×25600 |
| D | 1×25600×96 |
| E | 1×96×96 |
| F | 1×96×25600 |
| G | 1×96×25600 |
| H | 1×96×160×160 |
| I | 1×96×160×160 |
其次通过增强型注意力模块EAB，将GCAM与STL并联，构建增强型注意力模块，增强STL的全局表达能力，同时辅助参数优化，具体计算方式如下：
其中，sl-1和sl分别表示第l-1个EAB特征图和第l个EAB特征图，(S)W-MSA是SwinTransformer提出的多头自注意力模块，包括基于窗口的多头自注意力W-MSA和基于移位窗口的自注意力SW-MSA，通过Attention(Q,K,V)计算得到，其中Q、K和V分别表示Query矩阵、Key矩阵和Value矩阵，d表示Query/Key的维度，b表示相对位置偏差，LN表示LayerNorm层，MLP表示多层感知器，参数γ用于稳定模型训练，表示EAB最终计算结果。
EAB的模型结构如图5所示，输入特征首先经过LayerNorm层，随后通过并列(S)W-MSA和GCAM提取深层次特征，GCAM的通道压缩比率α设定为3，GCAM的权重γ设定为0.01。(S)W-MSA中窗口大小设置为8，注意力头数量为6。经过EAB模块后，输出特征与输入特征维度一致。
接下来构建残差注意力组RAG，基于上述EAB，串联多个EAB模块构成一个RAG，具体计算方式如下：
RAGk＝RAGk-1+Wsl(sl-1(…s1(RAGk-1)…))
其中，RAGk和RAGk-1分别表示第k个RAG和第k-1个RAG，sl表示第l个EAB，W表示增强Transformer平移不变性的卷积层。
RAG的模型结构如图6所示，设定RAG由6个EAB模块和一个卷积层组成，最后使用残差连接。使用的卷积层输出维度为96，卷积核大小为3×3，步长为stride为1，填充padding为1。因此，经过一个RAG模块，输出特征与输入特征维度保持一致。
再次计算残差卷积组RCG，深度卷积网络可以提高超分性能，而残差结构可以避免网络退化。因此，本发明实施例构建具有连续残差单元的残差卷积组，以捕获图像细节，同时稳定模型训练，具体计算方式如下：
RCGk＝xN-1+W1σ(W0(xN-1)),N≥1
x0＝RCGk-1
其中，RCGk和RCGk-1分别表示第k个RCG和第k-1个RCG，xN-1表示第N-1个残差单元，N表示残差单元总数，σ表示Leaky ReLU激活函数。
RCG的模型结构如图7所示，假定RCG包含4个残差基本单元，每个残差基本单元包含2个卷积和1个LeakyReLU激活函数。2个卷积的输出维度为96，卷积核大小为3×3，步长为stride为1，填充padding为1。因此，经过一个RCG模块，输出特征与输入特征维度保持一致。
再计算特征融合模块FFM，CNNs可以充分挖掘感受野中的空间和通道信息，但缺乏通道之间的显式建模。相反，Transformers可以通过自注意力机制充分利用远程和全局信息，但由于缺乏空间归纳偏差，在捕获局部细节方面受到限制。因此，本发明实施例设计了FFM来融合CNNs和Transformers提取的不同维度的深层特征，具体计算方式如下：
其中，CA和SA分别表示通道注意力和空间注意力，和/>分别表示基于宽和高的全局平均池化操作和全局最大池化操作，/>和/>分别表示基于通道的全局平均池化操作和全局最大池化操作，cat()表示串联操作，/>表示sigmoid函数，W2()和W3()分别表示学习CNN特征权重的卷积运算和学习Transformer特征权重的卷积运算。
FFM的模型结构如图8所示，FFM对来自RAG的高维特征使用通道注意力，对来自RCG的高维特征使用空间注意力，然后使用两个卷积层学习他们的权重并求和，作为最终融合结果。FFM的空间注意力和通道注意力来源于CBAM注意力机制。给定输入特征图在通道注意力中，首先在宽度和高度方向进行全局最大池化和全局平均池化，得到两个新的特征图，维度为1×96×1×1，随后经过权值共享的全连接层，先压缩后扩展通道维度，得到/>和/>F1和F2求和运算，最后经过softmax函数得到通道注意力/>在空间注意力中，给定输入特征图首先在通道维度上进行全局最大池化和全局平均池化，得到两个新的特征图，维度为1×1×160×160，随后对两个特征图进行串联，得到给定卷积的输入维度为2，输出维度为1，卷积核大小为7×7，步长为stride为1，填充padding为1。则F1经过卷积后得到特征图/> 最后经过softmax函数得到空间注意力/>
基于上述实施例，对所述深层特征进行上采样，得到高分辨率重建图像，包括：
其中，和/>分别代表通过RAG获取的深层特征和RCG获取的深层特征，/>表示浅层特征，FFM()表示全局残差连接，Up()代表上采样函数，ISR表示超分辨率重建图像。
如图3所示，上采样模块中包含了前置卷积和激活函数、亚像素卷积、后置卷积三个部分。具体实施方式如下：前置卷积和激活函数用于实现降维，卷积的输入维度为160，输出维度为64，卷积核大小为3×3，步长为stride为1，填充padding为1。激活函数采用LeakyReLU。亚像素卷积先将特征图的通道数量扩展为上采样倍率的平方倍，这里上采样倍率为3，因此通道数量被扩展为576，随后通过亚像素卷积增加特征图的宽度和高度，同时特征图的通道数量恢复至64。后置卷积用于再次降维，保证输出通道数量与输入一致，因此卷积的输出维度设为4。
基于上述实施例，本发明实施例还通过计算重建图像与参考HR图像之间的损失，然后进行梯度反向传播以达到更新超分模型参数的目的，损失函数主要包括构建的光谱损失和重建损失两个部分。
一是计算光谱损失(Spectral Loss)。遥感归一化指数消除了大部分由光照差异、云阴影、地形变化和大气条件引起的乘性噪声，因此可以提供比表面反射率更一致的空间和时间标准。本发明引入了为遥感跨传感器超分任务量身定制的综合光谱损失函数，用于确保HR和LR图像之间的辐射一致性，同时解决由于成像变化和噪声引起的域偏移问题。具体计算方式如下：
SHR＝cat(NDVIHR,NDWIHR)
SSR＝cat(NDVISR,NDWISR)
其中，表示光谱损失，g、r和nir分别代表绿光反射率、红光反射率和近红外波段反射率，NDVI表示归一化植被指数，NDVI表示归一化水指数，NDVISR表示超分辨率重建图像的归一化植被指数，NDVISR表示超分辨率重建图像的归一化水指数，NDVIHR表示预设高分辨率图像的归一化植被指数，NDVIHR表示预设高分辨率图像的归一化水指数，cat()是串联操作，SHR是预设高分辨率图像的串联指数，SSR是超分辨率重建图像的串联指数，h和w分别表示图像的高和宽。
二是计算总体损失。本发明构建的超分框架的损失函数包含光谱损失和重建损失两个部分，具体计算方式如下：
其中，表示图像重建损失，/>表示光谱损失，IHR和ISR分别代表预设高分辨率图像和超分辨率重建图像，λ表示光谱损失的权重，h、w和c分别表示图像的高、宽和通道数。
需要说明的是，上述计算损失函数的过程中，首先计算超分重建图像的NDWI和NDVI指数，两者进行串联，构建一个新的特征图，记为SSR，同理，可以计算参考高分辨率图像的NDWI和NDVI指数，构建新的特征图SHR。根据定义的光谱损失公式，他们的平均绝对误差(L1损失)即为超分模型的光谱损失若定义超分重建图像与参考图像的各个波段的L1损失为/>光谱损失的权重为0.01，那么最终损失函数可以被表示为
本发明适用于跨传感器遥感图像超分辨率的场景，在具体实施时，可以根据试验区和数据集设置不同的超参数，并进行微调。通过Tensorflow或PyTorch等深度学习框架，设计计算机软件技术实现融合Transformers和卷积神经网络的跨传感器遥感图像超分辨率技术。
下面对本发明提供的跨传感器遥感图像超分辨率增强系统进行描述，下文描述的跨传感器遥感图像超分辨率增强系统与上文描述的跨传感器遥感图像超分辨率增强方法可相互对应参照。
图9是本发明实施例提供的跨传感器遥感图像超分辨率增强系统的结构示意图，如图9所示，包括：构建模块91、第一提取模块92、第二提取模块93、上采样模块94和计算模块95，其中：
构建模块91用于获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；第一提取模块92用于通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；第二提取模块93用于通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征；上采样模块94用于对所述深层特征进行上采样，得到高分辨率重建图像；计算模块95用于构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并反向传播，得到预设低分辨率图像对应的超分辨率重建图像。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行跨传感器遥感图像超分辨率增强方法，该方法包括：获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征；对所述深层特征进行上采样，得到高分辨率重建图像；构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并反向传播，得到预设低分辨率图像对应的超分辨率重建图像。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的跨传感器遥感图像超分辨率增强方法，该方法包括：获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征；对所述深层特征进行上采样，得到高分辨率重建图像；构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失并反向传播，得到预设低分辨率图像对应的超分辨率重建图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种跨传感器遥感图像超分辨率增强方法，其特征在于，包括：
获取预设低分辨率大气校正地表反射率图像和预设高分辨率大气校正地表反射率图像，构建跨传感器多光谱遥感图像数据集；
通过卷积层提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间；
通过构建残差注意力组和残差卷积组提取所述预设低分辨率图像的深层特征；
对所述深层特征进行上采样，得到超分辨率重建图像；
构建综合损失函数，计算所述重建图像与跨传感器多光谱遥感图像数据集中预设高分辨率图像之间的损失并进行反向传播，不断训练和优化所述重建图像，得到预设低分辨率图像对应的超分辨率重建图像。
2.根据权利要求1所述的跨传感器遥感图像超分辨率增强方法，其特征在于，通过卷积层提取预设低分辨率图像的浅层特征，将所述浅层特征映射至高维特征空间，包括：
其中，表示浅层特征图，W()表示卷积运算，ILR表示跨传感器多光谱遥感图像数据集中的预设低分辨率图像。
3.根据权利要求1所述的跨传感器遥感图像超分辨率增强方法，其特征在于，通过构建残差注意力组和残差卷积组提取所述跨传感器多光谱遥感图像数据集中预设低分辨率图像的深层特征，包括：
由全局通道注意模块GCAM与基于移位窗口的Transformer层STL进行并联构建增强型注意力模块EAB，将多个EAB进行串联构成所述残差注意力组，所述残差注意力组用于增强Transformer的平移不变性；
由连续残差单元构建所述残差卷积组，所述残差卷积组用于通过卷积神经网络获取图像细节和稳定模型训练；
采用特征融合模块FFM将所述残差注意力组和所述残差卷积组提取的特征进行融合，得到所述深层特征。
4.根据权利要求3所述的跨传感器遥感图像超分辨率增强方法，其特征在于，采用GCAM对所述预设低分辨率图像的输入特征进行通道维度压缩以及通道维度扩展，并计算通道注意力，包括：
其中，A表示输入特征图，维度是B表示特征图A经过通道压缩和通道扩展后得到的特征图，σ表示GELU激活函数，W0()和W1()代表卷积运算，维度是/>和α表示通道压缩参数，C、D和E分别代表不同的中间特征图，f()表示维度变换函数，/>表示矩阵乘法，β表示从0开始自动学习和优化的尺度参数，GCAM表示GCAM最终计算结果。
5.根据权利要求3所述的跨传感器遥感图像超分辨率增强方法，其特征在于，采用EAB对STL全局表达能力进行增强，优化辅助参数，包括：
其中，sl-1和sl分别表示第l-1个EAB特征图和第l个EAB特征图，(S)W-MSA是SwinTransformer提出的多头自注意力模块，包括基于窗口的多头自注意力W-MSA和基于移位窗口的自注意力SW-MSA，通过Attention(Q,K,V)计算得到，其中Q、K和V分别表示Query矩阵、Key矩阵和Value矩阵，d表示Query/Key的维度，b表示相对位置偏差，LN表示LayerNorm层，MLP表示多层感知器，参数γ用于稳定模型训练，表示EAB最终计算结果。
6.根据权利要求3所述的跨传感器遥感图像超分辨率增强方法，其特征在于，将多个EAB进行串联构成所述残差注意力组，包括：
RAGk＝RAGk-1+sl(sl-1(…s1(RAGk-1)…))
其中，RAGk和RAGk-1分别表示第k个RAG和第k-1个RAG，sl表示第l个EAB，W表示增强Transformer平移不变性的卷积层。
7.根据权利要求3所述的跨传感器遥感图像超分辨率增强方法，其特征在于，由连续残差单元构建所述残差卷积组，包括：
RCGk＝N-1+1σ(W0(xN-1)),N≥1
x0＝RCGk-1
其中，RCGk和RCGk-1分别表示第k个RCG和第k-1个RCG，xN-1表示第N-1个残差单元，N表示残差单元总数，σ表示Leaky ReLU激活函数。
8.根据权利要求3所述的跨传感器遥感图像超分辨率增强方法，其特征在于，采用FFM将所述残差注意力组和所述残差卷积组提取的特征进行融合，得到所述预设深层特征，包括：
其中，CA和SA分别表示通道注意力和空间注意力，和/>分别表示基于宽和高的全局平均池化操作和全局最大池化操作，/>和/>分别表示基于通道的全局平均池化操作和全局最大池化操作，cat()表示串联操作，/>表示sigmoid函数，W2()和W3()分别表示学习CNN特征权重的卷积运算和学习Transformer特征权重的卷积运算。
9.根据权利要求1所述的跨传感器遥感图像超分辨率增强方法，其特征在于，对所述深层特征进行上采样，得到高分辨率重建图像，包括：
其中，和/>分别代表通过RAG获取的深层特征和RCG获取的深层特征，/>表示浅层特征，FFM()表示全局残差连接，Up()代表上采样函数，ISR表示超分辨率重建图像。
10.根据权利要求1所述的跨传感器遥感图像超分辨率增强方法，其特征在于，构建综合损失函数，计算所述重建图像与预设高分辨率图像之间的损失函数并反向传播，得到预设低分辨率图像对应的超分辨率重建图像，包括：
计算光谱损失：
SHR＝at(NDVIHR,DWIHR)
SSR＝at(NDVISR,DWISR)
其中，表示光谱损失，g、r和nir分别代表绿光反射率、红光反射率和近红外波段反射率，NDVI表示归一化植被指数，NDWI表示归一化水指数，NDVISR表示超分辨率重建图像的归一化植被指数，NDWISR表示超分辨率重建图像的归一化水指数，NDVIHR表示预设高分辨率图像的归一化植被指数，NDWIHR表示预设高分辨率图像的归一化水指数，cat()是串联操作，SHR是预设高分辨率图像的串联指数，SSR是超分辨率重建图像的串联指数，h和w分别表示图像的高和宽；
计算总体损失：
其中，表示图像重建损失，/>表示光谱损失，IHR和ISR分别代表预设高分辨率图像和超分辨率重建图像，λ表示光谱损失的权重，h、w和c分别表示图像的高、宽和通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167986.7A CN117252761A (zh) | 2023-09-08 | 2023-09-08 | 一种跨传感器遥感图像超分辨率增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167986.7A CN117252761A (zh) | 2023-09-08 | 2023-09-08 | 一种跨传感器遥感图像超分辨率增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117252761A true CN117252761A (zh) | 2023-12-19 |
Family
ID=89125686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311167986.7A Pending CN117252761A (zh) | 2023-09-08 | 2023-09-08 | 一种跨传感器遥感图像超分辨率增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252761A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496358A (zh) * | 2023-12-29 | 2024-02-02 | 中国石油大学(华东) | 基于激光雷达数据进行特征增强的神经网络构建方法 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
-
2023
- 2023-09-08 CN CN202311167986.7A patent/CN117252761A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496358A (zh) * | 2023-12-29 | 2024-02-02 | 中国石油大学(华东) | 基于激光雷达数据进行特征增强的神经网络构建方法 |
| CN117496358B (zh) * | 2023-12-29 | 2024-03-22 | 中国石油大学(华东) | 基于激光雷达数据进行特征增强的神经网络构建方法 |
| CN117575915A (zh) * | 2024-01-16 | 2024-02-20 | 闽南师范大学 | 一种图像超分辨率重建方法、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN117252761A (zh) | 一种跨传感器遥感图像超分辨率增强方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN112991173B (zh) | 基于双通道特征迁移网络的单帧图像超分辨率重建方法 | |
| CN112750082A (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| CN109447898B (zh) | 一种基于压缩感知的高光谱超分辨计算成像系统 | |
| CN115345866B (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
| CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN104899835A (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN112767243A (zh) | 一种高光谱图像超分辨率的实现方法及系统 | |
| Liu et al. | Research on super-resolution reconstruction of remote sensing images: A comprehensive review | |
| CN114463172A (zh) | 一种面向视图一致性的光场图像超分辨率重建方法 | |
| CN114140357B (zh) | 一种基于协同注意力机制的多时相遥感图像云区重建方法 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN117079105B (zh) | 遥感图像空谱融合方法、装置、电子设备及存储介质 | |
| CN115731141A (zh) | 面向机动目标动态监测的天基遥感图像时空融合方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| Liu et al. | CNN-Enhanced graph attention network for hyperspectral image super-resolution using non-local self-similarity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |