CN112529828A - 参考数据非敏感的遥感影像时空融合模型构建方法 - Google Patents

参考数据非敏感的遥感影像时空融合模型构建方法 Download PDF

Info

Publication number
CN112529828A
CN112529828A CN202011561579.0A CN202011561579A CN112529828A CN 112529828 A CN112529828 A CN 112529828A CN 202011561579 A CN202011561579 A CN 202011561579A CN 112529828 A CN112529828 A CN 112529828A
Authority
CN
China
Prior art keywords
image
network
spatial
date
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011561579.0A
Other languages
English (en)
Other versions
CN112529828B (zh
Inventor
谭振宇
段洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202011561579.0A priority Critical patent/CN112529828B/zh
Publication of CN112529828A publication Critical patent/CN112529828A/zh
Application granted granted Critical
Publication of CN112529828B publication Critical patent/CN112529828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及参考数据非敏感的遥感影像时空融合模型构建方法，基于条件对抗生成网络架构进行模型构建，以预测日期低空间分辨率遥感影像及同一区域不同于预测日期的任意参考日期高空间分辨率影像作为生成器的输入；在生成器的残差主干网络中使用自适应标准化层从参考日期的高空间分辨率影像中提取样本高频特征，与来自残差分支网络从低空间分辨率遥感影像中提取的低频特征相加，合成预测日期的高空间分辨率影像；在判别器中以预测日期地表真实低空间分辨率观测影像为约束条件对输入预测高空间分辨率影像和地表高空间分辨率真实观测影像进行判别。本发明构建的模型减少了输入影像个数，降低了对参考影像的敏感度，从而显著降低了采集模型输入数据的难度。

Description

参考数据非敏感的遥感影像时空融合模型构建方法
技术领域
本发明属于遥感地理信息领域，特别涉及一种基于条件对抗生成网络的对于输入参考影像非敏感的光学遥感影像时空融合方法。
背景技术
随着遥感技术精细化程度的提高，实际遥感应用越来越趋向于使用高时间和高空间分辨率遥感影像序列。利用高时空分辨率影像序列在获取地物变化信息的同时也可以获得地表纹理细节特征，细粒度的地表时空信息可以为高层次分析决策提供更加准确的数据支持。然而，由于硬件技术和研发成本的限制，现阶段很难通过单一卫星传感器获得同时具有高时间和高空分辨率的遥感数据，现有卫星观测系统往往会选择性地在两者之间做出平衡。针对遥感数据时空精细度对于遥感应用的制约问题，遥感影像时空融合方法通过结合两种或多种传感器数据源，以多源数据信息互补融合的方式，生成具备其中最高时间与空间分辨率的数据序列，为细粒度高精度遥感应用提出一种可行的解决方案。
一般地，时空融合模型通过从一组给定日期的高时间低空间分辨率数据源(如MODIS影像，以下简称低空间分辨率影像)和至少一组光谱信息相对应的辅助参考日期的低时间高空间分辨率数据源(如Landsat影像，以下简称高空间分辨率影像)进行信息提取。然后从给定预测日期的低空间分辨率数据中获取该时刻的地物光谱信息，从临近预测日期的高空间分辨率参考数据中获取地表纹理细节信息，最后综合光谱和纹理信息重建生成该预测日期的高空间分辨率影像[1]。
现有时空融合模型建立的基础大都是假设输入数据完全无云雾覆盖，而光学遥感卫星在成像过程中易受云雨天气的影响，在某些研究区域还存在数据缺失的情况。此外，有些高—低空间分辨率的影像数据源日期不完全匹配，所以在实际应用中根据数据质量要求对研究区域的数据进行筛选过滤以后很难找到合适的临近预测日期的无云高质量参考影像进行时空融合[2][3]。
发明内容
本发明为了降低传统时空融合方法对输入影像的高度敏感性，提出了一种参考数据非敏感的遥感影像时空融合模型构建方法，基于条件对抗生成网络构建深度时空融合模型GAN-STFM，减少了模型输入影像个数，降低了模型对参考影像的敏感度。
为实现上述目的，本发明采用如下技术方案，
参考数据非敏感的遥感影像时空融合模型构建方法，基于条件对抗生成网络架构进行模型构建，以预测日期低空间分辨率遥感影像及同一区域不同于预测日期的任意参考日期高空间分辨率影像作为生成器的输入；
在生成器的残差分支网络中使用自适应标准化层从参考日期的高空间分辨率影像中提取样本高频特征，与来自残差主干网络从低空间分辨率遥感影像中提取的低频特征相加，合成预测日期的高空间分辨率影像
在判别器中以预测日期地表真实低空间分辨率观测影像为约束条件对预测的高空间分辨率影像和地表高空间分辨率真实观测影像进行判别。
作为本发明的进一步改进，本发明采用基于图像本身特性的损失和对抗损失形成的复合损失函数进行模型优化求解。
进一步地，采用如下所示的复合损失函数进行模型优化求解：
Figure BDA0002859516810000021
其中，
Figure BDA0002859516810000022
指基于图像本身特性的损失；
Figure BDA0002859516810000023
指特征损失；
Figure BDA0002859516810000024
指光谱角损失；
Figure BDA0002859516810000025
指视觉损失；
Figure BDA0002859516810000026
指对抗损失，基于最小二乘对抗损失计算(Least SquaresGenerative Adversarial Networks，LSGAN)[4]；α、β、λ指权重。
进一步地，所述光谱角损失通过计算预测影像和观测影像各个波段余弦相似度得到；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性得到；特征损失通过计算预测影像和观测真值影像经过预训练的自编码器编码特征的均方差得到。
作为本发明的进一步改进，所述生成器由特征提取子网络和特征重建子网络构成。特征提取子网络分别从预测日期的低空间分辨率影像和参考日期的高空间分辨率影像中提取特征，从高—低空间分辨率数据提取的高维特征张量进行叠加以后输入特征重建子网络，最后经卷积核为1的卷积层处理后输出。
作为本发明的进一步改进，生成器中特征提取子网络由四层GEncoder-ResBlock残差子模块相连组成。GEncoder-ResBlock残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由自适应标准化层(SwitchableNormalization)[5]、LeakyReLU激活函数、卷积核为3的卷积层、自适应标准化层、LeakyReLU激活函数依次连接形成。GEncoder-ResBlock残差子模块的输入为高—低空间分辨率影像或特征，高空间分辨率影像或特征经过残差主干网络，低空间分辨率影像或特征张量经过残差分支网络。自适应标准化层的使用可以有效提取非特定样本的共有高频地物细节信息。GEncoder-ResBlock残差子模块的输出为高—低空间分辨率影像或特征经张量过残差子模块处理以后的特征张量之和作为新的高空间分辨率特征，以及经过残差分支网络处理的低空间分辨率特征。
作为本发明的进一步改进，生成器中特征重建子网络由四层GDecoder-ResBlock残差子模块相连组成。GDecoder-ResBlock残差子模块同样由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由LeakyReLU激活函数、卷积核为3的卷积层以及LeakyReLU激活函数依次连接而成。GDecoder-ResBlock残差子模块的输入为上层输出的特征张量，输出为残差主干网络和分支网络输出特征张量结果之和。GDecoder-ResBlock和GEncoder-ResBlock区别在于残差主干网络中去掉了自适应标准化层，且GEncoder-ResBlock的输出包含高—低空间分辨率两个特征张量，而GEncoder-ResBlock输出为融合的高空间分辨率特征张量。
作为本发明的进一步改进，判别器是由多个结构相同的判别器网络组成的多尺度判别器，使用多尺度判别网络可以在不同尺度的特征上对生成影像进行鉴别[6]。训练过程中判别器的输入为由预测日期的地表真实低空间分辨率观测影像和地表真实高空间分辨率观测影像叠加的张量，以及预测日期的地表真实低空间分辨率观测影像和生成器生成的高空间分辨率影像叠加的张量，其中预测日期的地表真实低空间分辨率观测影像为条件对抗生成网络中的条件。对于每个判别器子网络分别将输入原始数据在不同尺度进行影像重采样，然后和未重采样的原始数据独立输入到多个多尺度判别网络，判别器最终输出结果为多尺度判别网络输出结果的平均值。
作为本发明的进一步改进，所述多尺度判别器的单个判别网络由若干相连的残差子模块组成，最后依次经卷积核为1的卷积层、分类激活函数Sigmoid处理后输出。
作为本发明的进一步改进，多尺度判别器单个判别网络中的残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差分支网络由批标准化层(Batch Normalization)[7]、激活函数、步长为2卷积核为3的卷积层、批标准化层、激活函数依次相连形成。在训练过程中，卷积层隐含的权重参数使用谱归一化(SpectralNormalization)[8]进行处理，使得网络满足利普希茨连续条件(Lipschitz Continuity)，以提高模型整体的稳定性。
作为本发明的进一步改进，在模型训练阶段，利用批量样本数据集同时对生成器和判别器进行训练，使用Adam优化器在反向传播过程中调整网络参数。在有限计算机资源环境下，训练过程中将遥感影像动态切割为大小相同的子块防止数据量过大造成内存或显存溢出。
作为本发明的进一步改进，将低空间分辨率影像进行影像配准并重采样到与高空间分辨率观测影像相同的空间分辨率后输入生成器。
本发明的方法构建的模型通过输入预测日期低分辨率遥感影像，以及同一区域不同于预测日期的任意参考日期高分辨率影像即可重建预测日期的高空间分辨率影像。相比于传统遥感影像时空融合模型，本发明打破了时空融合模型输入至少需要预测日期的低空间分辨率影像以及一组临近预测日期的高—低空间分辨率参考影像的限制，减少了时空融合模型的输入影像个数，降低了对参考影像的敏感度。由于光学遥感易受云雨天气的影响使得部分观测数据不可用，利用GAN-STFM模型进行时空融合生产高空间分辨率时序数据，可以显著降低采集模型输入数据的难度。
附图说明
图1是本发明GAN-STFM时空融合模型的概念图。
图2是本发明GAN-STFM时空融合网络的架构图。
图3是本发明GAN-STFM模型中的残差子模块示意图。
图4是用于计算特征损失的自编码器网络架构图。
图5是不同时空融合模型在CIA数据集预测2001年11月9日的融合结果对比图。
图6是不同时空融合模型在LGC数据集预测2005年3月2日的融合结果对比图。
图7是不同时空融合模型基于不同参考影像在CIA数据集预测2001年11月9日高空间分辨率影像的融合结果定量对比图。
图8是不同时空融合模型基于不同参考影像在LGC数据集预测2005年3月2日高空间分辨率影像的融合结果定量对比图。
具体实施方式
下面结合附图说明和具体实施方式对本发明的技术方案作进一步阐述。
实施例1
本发明方法设计的GAN-STFM时空融合模型形式化表示为公式(1)，通过输入预测日期低分辨率遥感影像Ct，以及同一区域不同于预测日期的任意参考日期高分辨率影像
Figure BDA0002859516810000042
即可重建预测日期的高空间分辨率影像Ft。图1给出了GAN-STFM时空融合模型的概念图。
Figure BDA0002859516810000044
GAN-STFM模型基于条件对抗生成网络，模型主体由生成器和判别器构成。生成器用于融合生成预测日期的高空间分辨率影像，由特征提取子网络和特征重建子网络构成。生成器特征提取子网络提取的高—低空间分辨率的特征张量叠加以后，输入到特征重建子网络，如图2所示，其中
Figure BDA0002859516810000041
表示特征叠加操作。判别器用于鉴别生成影像与观测真值的相似度，判别真假。GAN-STFM模型中的判别器由三个结构相同的判别器子网络组成，通过输入不同分辨率的数据在不同尺度上进行特征鉴别。
生成器网络和判别器网络都由残差子模块堆叠组成，如图2所示，每个残差子模块依次相连。其中Conv1表示卷积核大小为1的卷积层；GEncoder-ResBlock，GDecoder-ResBlock和D-ResBlock分别表示在生成器特征提取子网络、生成器特征重建子网络和判别器中使用的结构不同的残差子模块；Sigmoid表示用于分类的激活函数。残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；GEncoder-ResBlock残差分支网络由自适应标准化层(Switchable Normalization，SwitchNorm)、LeakyReLU激活函数、卷积核大小为3的卷积层Conv3以及SwitchNorm、LeakyReLU叠加组成，如图3a所示。GDecoder-ResBlock残差分支网络由LeakyReLU激活函数、卷积核大小为3的卷积层Conv3以及LeakyReLU叠加组成，如图3b所示。生成器网络接收一张预测日期的低空间分辨率影像和任意参考日期的高空间分辨率影像，在生成器特征提取子网络中，高空间分辨率影像通过残差主干网络的卷积层，低空间分辨率参考影像通过残差分支网络。通过在残差主干网络中引入自适应标准化层用于提取对特定参考影像不敏感的地物高频细节信息，而残差分支网络用于提取预测日期的地物低频近似信息，通过将残差主干网络和分支网络的输出张量进行元素相加得到该残差层的输出。在生成器特征重建子网络中，特征张量同时通过残差主干和分支网络以学习和地面观测真值的差异以得到最终的高空间分辨率预测输出。生成器特征重建子网络中残差子模块的结构完全一致，残差主干网络和分支网络的输入都是上一层残差子块的输出，如图3b所示。
GAN-STFM模型基于条件生成网络，将预测日期的地表真实低空间分辨率观测影像作为判别器附带的条件数据，每次训练过程中判别器的输入为由预测日期的地表真实低空间分辨率观测影像和预测日期的地表真实高空间分辨率观测影像(观测真值)叠加的张量，以及预测日期的地表真实低空间分辨率观测影像和生成器生成的高空间分辨率影像叠加的张量。判别器中使用的残差子模块和生成器中的类似，不同点在于：首先，使用批标准化(BatchNormalization，BatchNorm)替代自适应标准化层以降低模型计算量。其次，残差分支网络使用步长为2卷积核大小为3的卷积层StridedConv3逐层减小特征图尺寸。最后，判别器中的卷积层参数都进行谱归一化(SpectralNormalization)使得判别器网络满足Lipschitz连续性以提高对抗生成网络的稳定性，如图3c所示。判别器网络层数的设置与输入样本影像的尺寸相关，需要在实验中进行具体设置。此外，GAN-STFM模型中的判别器使用多尺度判别器网络，即判别器由三个结构相同的判别器网络组成。对于每个判别器，分别对原始输入数据以其空间分辨率以0.5，0.25倍进行影像重采样，然后和未重采样的原始数据分别独立输入到三个多尺度判别网络，判别器最终输出结果为三个多尺度判别网络输出结果的平均值。
GAN-STFM对抗生成网络的损失函数使用一种自定义的复合函数，如公式(2)所示，包括基于图像本身特性的损失
Figure BDA0002859516810000051
以及对抗损失
Figure BDA0002859516810000052
基于图像本身特性的损失由特征损失
Figure BDA0002859516810000061
光谱角损失
Figure BDA0002859516810000062
视觉损失
Figure BDA0002859516810000063
组成。特征损失通过计算预测影像和观测真值影像经过预训练的一个自编码器的编码特征的均方差得到，如公式(3)所示。预训练网络使用经典的“沙漏”型自编码器结构，由顺序连接的编码器和解码器组成，如图4所示。编码器的输入层由卷积核为3的卷积层和激活函数组成，编码器其他层由步长为2卷积核为3的卷积层和激活函数组成；解码器的每层由卷积核为3的卷积层、上采样层和激活函数组成，解码器输出层为卷积核为1的卷积层。编码器的卷积层和对应的解码器卷积层使用跳跃连接进行特征叠加。预训练自编码器需要使用高空间分辨率数据集进行训练，模型的输入为单景高空间分辨率影像，预期的输出也为该高空间分辨率影像。公式(3)中的fEncoder表示预训练网络编码器表示的隐含函数，x和y分别表示观测真值和预测结果。光谱角损失通过计算预测影像和观测影像各个波段余弦相似度得到；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性得到，如公式(4)所示，其中I表示元素全为1的多维张量；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性(MS-SSIM)得到，其中li、ci和si分别表示影像在i尺度的亮度对比、对比度对比、结构对比；αi、βi和γi是相对应的i尺度的权重参数。对抗损失
Figure BDA0002859516810000064
使用最小二乘对抗损失(LSGAN)进行计算，因为其在图像重建任务上表现良好，生成图像质量较高。带条件的最小二乘对抗损失的计算如公式(6)所示，其中，x，y和z分别表示观测真值，对抗网络的附加条件数据和输入数据；
Figure BDA0002859516810000065
表示对应数据分布的期望；a，b和c是常数参数，需要满足b-c＝1和b-a＝2的约束。
Figure BDA0002859516810000066
Figure BDA0002859516810000067
Figure BDA0002859516810000068
Figure BDA0002859516810000069
Figure BDA00028595168100000610
Figure BDA00028595168100000611
GAN-STFM模型采用监督学习方式进行模型训练。每一组训练数据包含用于模型输入的预测日期的一景低空间分辨率遥感影像和同一区域不同于预测日期的任意参考日期高空间分辨率影像，以及预测日期的地表真实高空间分辨率观测影像。低空间分辨率影像需要在数据预处理阶段进行影像配准并重采样到与高分辨率观测影像相同的空间分辨率。
在模型训练阶段，由于单景遥感影像数据量较大，一般需要将训练数据集动态裁剪为尺寸较小的小块影像输入网络，利用批量小块样本数据同时对生成器和判别器进行训练，使用Adam优化器在误差反向传播过程中调整网络参数。生成器和判别器网络在对抗学习中不断提升各自预测和判别精度，直到生成器可以生成接近观测真值的影像，而判别器无法区别生成影像和实际观测影像，达到一种纳什平衡状态，即可完成网络的训练过程。
在模型预测阶段，使用训练好的生成器，输入预测日期的低空间分辨率影像以及尽可能临近预测日期的高空间分辨率影像，可以直接得到预测日期高空间分辨率影像。
实施例2
在开源的时空融合公开数据集CIA和LGC上进行训练和测试[9]，选择经典时空融合模型STARFM[10]、FSDAF[11]以及深度时空融合模型EDCSTFN[12]进行对比。对CIA数据集按日期进行影像分组以后，2002年的10组影像作为训练数据，2001年的5组影像用作验证。对LGC数据集按日期进行影像分组以后，2004年的8组影像作为训练数据，2005年的4组影像用作精度验证。在利用不同模型得到预测结果以后，使用平均绝对误差函数(Mean AbsoluteError,MAE)、均方根误差(Root Mean Squared Error，RMSE)、光谱角相似度(SpectralAngle Mapper，SAM)、图像结构相似性(Structural SIMilarity，SSIM)四个指标分别从像素误差、光谱相似度、图像结构相似性三方面进行融合结果评价。其中MAE，RMSE和SAM值越小越接近0，表示融合结果越好；SSIM值越大越接近1，表示融合结果越好。
表1和表2分别给出了使用不同时空融合模型在CIA和LGC数据集上的定量测试结果。
表1使用不同时空融合模型在CIA数据集上的定量测试结果
Figure BDA0002859516810000071
Figure BDA0002859516810000081
表2使用不同时空融合模型在LGC数据集上的定量测试结果
Figure BDA0002859516810000082
在CIA数据集上，GAN-STFM模型在所有的指标上都优于其他模型；在LGC数据集上，在某些测试数据上EDCSTFN略优，在某些测试数据上GAN-STFM略优。
图5和图6分别给出了使用不同融合模型在CIA数据集预测2001年11月9日以及在LGC数据集预测2005年3月2日的结果对比图。图中第一行是使用标准假彩色合成的区域一览图；第二行是对应于第一行方框的区域放大图；第三行是预测结果和地面观测真值相减的误差分布图；第四行是计算的遥感应用中经常使用的归一化植被指数(NormalizedDifference Vegetation Index，NDVI)。从图中可以看出，基于深度学习的时空融合模型EDCSTFN和GAN-STFM略优于传统时空融合模型STARFM、FSDAF。所以GAN-STFM在只需要两张输入影像的前提下，可以达到甚至超越其他至少需要三张输入影像的时空融合模型，展现了GAN-STFM模型的优越性。
图7和图8是不同时空融合模型基于不同参考影像在CIA数据集预测2001年11月9日以及在LGC数据集预测2005年3月2日的定量对比结果。图中矩形的上下边界表示使用不同参考影像进行时空融合的结果在不同评价指标上的最大和最小值，矩形中间横线表示使用不同参考影像进行时空融合的结果指标的均值。从图中可以看出GAN-STFM对参考影像最不敏感，预测结果指标具有最小的波动性。综上所述，GAN-STFM仅需要最少的输入数据即可获得和其他深度融合模型相当的融合精度，而且对输入高空间分辨率参考数据不敏感，可以大大降低在使用时空融合模型过程中数据收集和准备的难度。
参考文献：
[1]黄波,赵涌泉.多源卫星遥感影像时空融合研究的现状及展望[J].测绘学报,2017,46(10):1492–1499.
[2]WANG Q,ATKINSON P M.Spatio-Temporal Fusion for Daily Sentinel-2Images[J].Remote Sensing of Environment,2018,204:31–42.DOI:10.1016/j.rse.2017.10.046.
[3]SHEN H,WU J,CHENG Q,et al.A Spatiotemporal Fusion Based CloudRemoval Method for Remote Sensing Images with Land Cover Changes[J].IEEEJournal of Selected Topics in Applied Earth Observations and Remote Sensing,2019,12(3):862–874.DOI:10.1109/JSTARS.2019.2898348.
[4]MAO X,LI Q,XIE H,et al.Least Squares Generative AdversarialNetworks[J/OL].Proceedings of the IEEE International Conference on ComputerVision,2016,2017-October:2813–2821[2020–12–15].http://arxiv.org/abs/1611.04076.
[5]LUO P,REN J,PENG Z,et al.Differentiable Learning-to-Normalize viaSwitchable Normalization[J/OL].ArXiv:1806.10779,2018[2020–12–15].http://arxiv.org/abs/1806.10779.
[6]KARNEWAR A,WANG O.MSG-GAN:Multi-Scale Gradients for GenerativeAdversarial Networks[J/OL].Proceedings of the IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,2019:7796–7805[2020–12–15].http://arxiv.org/abs/1903.06048.
[7]IOFFE S,SZEGEDY C.Batch Normalization:Accelerating Deep NetworkTraining by Reducing Internal Covariate Shift[C/OL]//32nd InternationalConference on Machine Learning,ICML 2015.International Machine LearningSociety(IMLS),2015:448–456[2020–12–15].https://arxiv.org/abs/1502.03167v3.
[8]MIYATO T,KATAOKA T,KOYAMA M,et al.Spectral Normalization forGenerative Adversarial Networks[J/OL].ArXiv:1802.05957,2018[2020–12–15].http://arxiv.org/abs/1802.05957.
[9]EMELYANOVA I V.,MCVICAR T R,VAN NIEL T G,et al.Assessing theAccuracy of Blending Landsat-MODIS Surface Reflectances in Two Landscapeswith Contrasting Spatial and Temporal Dynamics:A Framework for AlgorithmSelection[J].Remote Sensing of Environment,2013,133:193–209.DOI:10.1016/j.rse.2013.02.007.
[10]GAO F,MASEK J,SCHWALLER M,et al.On the Blending of the Landsatand MODIS Surface Reflectance:Predicting Daily Landsat Surface Reflectance[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(8):2207–2218.DOI:10.1109/TGRS.2006.872081.
[11]ZHU X,HELMER E H,GAO F,et al.A Flexible Spatiotemporal Method forFusing Satellite Images with Different Resolutions[J].Remote Sensing ofEnvironment,2016,172:165–177.DOI:10.1016/j.rse.2015.11.016.
[12]TAN Z,DI L,ZHANG M,et al.An Enhanced Deep Convolutional Model forSpatiotemporal Image Fusion[J/OL].Remote Sensing,2019,11(24):2898[2020–12–15].https://www.mdpi.com/2072-4292/11/24/2898.DOI:10.3390/rs11242898.

Claims (10)

1.一种参考数据非敏感的遥感影像时空融合模型构建方法，其特征是：基于条件对抗生成网络架构进行模型构建，以预测日期低空间分辨率遥感影像及同一区域不同于预测日期的任意参考日期高空间分辨率影像作为生成器的输入；
在生成器的残差主干网络中使用自适应标准化层从参考日期的高空间分辨率影像中提取样本高频特征，与来自残差分支网络从低空间分辨率遥感影像中提取的低频特征相加，合成预测日期的高空间分辨率影像；
在判别器中以预测日期地表真实低空间分辨率观测影像为约束条件对预测的高空间分辨率影像和地表高空间分辨率真实观测影像进行判别。
2.根据权利要求1所述的方法，其特征在于，采用基于图像本身特征的损失和最小二乘对抗损失形成的复合损失函数进行模型优化求解，复合损失函数如下所示：
Figure FDA0002859516800000011
其中，
Figure FDA0002859516800000012
指基于图像本身特性的损失；
Figure FDA0002859516800000014
指特征损失；
Figure FDA0002859516800000015
指光谱角损失；
Figure FDA0002859516800000016
指视觉损失；
Figure FDA0002859516800000013
指对抗损失；α、β、λ指权重。
3.根据权利要求2所述的方法，其特征在于，所述光谱角损失通过计算预测影像和观测影像各波段余弦相似度得到；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性得到；特征损失通过计算预测影像和观测真值影像经过预训练自编码器编码特征的均方差得到；对抗损失基于最小二乘对抗损失计算。
4.根据权利要求1所述的方法，其特征在于，所述生成器由特征提取子网络和特征重建子网络构成；特征提取子网络分别从预测日期的低空间分辨率影像和参考日期的高空间分辨率影像中提取特征，从高—低空间分辨率数据提取的高维特征张量进行叠加以后输入特征重建子网络，最后经卷积核为1的卷积层处理后输出得到预测日期的高空间分辨率影像。
5.根据权利要求1或4所述的方法，其特征在于，生成器中特征提取子网络由四层残差子模块相连组成；特征提取残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由自适应标准化层、激活函数、卷积核为3的卷积层、自适应标准化层、激活函数依次连接形成；生成器中特征提取模块由残差子模块相连组成。
6.根据权利要求1或4所述的方法，其特征在于，生成器中特征重建子网络由四层残差子模块相连组成；所述残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由激活函数、卷积核为3的卷积层以及激活函数依次连接而成。
7.根据权利要求1所述的方法，其特征在于，所述判别器是由多个结构相同的判别器网络组成的多尺度判别器；每个判别器网络由若干相连的残差子模块组成，最后依次经卷积核为1的卷积层、分类激活函数处理后输出。
8.根据权利要求1或7所述的方法，其特征在于，每次训练过程中判别器的输入为由预测日期的地表真实低空间分辨率观测影像和地表高空间分辨率观测影像叠加的张量，以及预测日期的地表真实低空间分辨率观测影像和生成器生成的高空间分辨率影像叠加的张量；通过对这两组数据进行空间重采样形成不同分辨率的多组输入数据，输入到多尺度判别器中进行判断。
9.根据权利要求1或7所述的方法，其特征在于，判别器中的残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差分支网络由批标准化层、激活函数、步长为2卷积核为3的卷积层、批标准化层、激活函数依次相连形成；训练过程中，判别器中卷积层隐含的权重参数使用谱归一化进行处理。
10.根据权利要求1所述的方法，其特征在于，在模型训练阶段，利用批量样本数据集同时对生成器和判别器进行训练，使用Adam优化器在反向传播过程中调整网络参数。
CN202011561579.0A 2020-12-25 2020-12-25 参考数据非敏感的遥感影像时空融合模型构建方法 Active CN112529828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011561579.0A CN112529828B (zh) 2020-12-25 2020-12-25 参考数据非敏感的遥感影像时空融合模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011561579.0A CN112529828B (zh) 2020-12-25 2020-12-25 参考数据非敏感的遥感影像时空融合模型构建方法

Publications (2)

Publication Number Publication Date
CN112529828A true CN112529828A (zh) 2021-03-19
CN112529828B CN112529828B (zh) 2023-01-31

Family

ID=74976433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011561579.0A Active CN112529828B (zh) 2020-12-25 2020-12-25 参考数据非敏感的遥感影像时空融合模型构建方法

Country Status (1)

Country Link
CN (1) CN112529828B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128586A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN116070119A (zh) * 2023-03-31 2023-05-05 北京数慧时空信息技术有限公司 基于小样本的多任务组合模型的训练方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288163A1 (en) * 2011-05-09 2012-11-15 Abengoa Bioenergia Nuevas Tecnologias, S.A. System for identifying sustainable geographical areas by remote sensing techniques and method thereof
US20140267654A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Comprehensive fixed pattern noise cancellation
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109685072A (zh) * 2018-12-22 2019-04-26 北京工业大学 一种基于生成对抗网络的复合降质图像高质量重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111008941A (zh) * 2019-11-29 2020-04-14 中国农业科学院农业资源与农业区划研究所 基于高分卫星遥感影像农业洪涝灾害范围监测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288163A1 (en) * 2011-05-09 2012-11-15 Abengoa Bioenergia Nuevas Tecnologias, S.A. System for identifying sustainable geographical areas by remote sensing techniques and method thereof
US20140267654A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Comprehensive fixed pattern noise cancellation
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109685072A (zh) * 2018-12-22 2019-04-26 北京工业大学 一种基于生成对抗网络的复合降质图像高质量重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111008941A (zh) * 2019-11-29 2020-04-14 中国农业科学院农业资源与农业区划研究所 基于高分卫星遥感影像农业洪涝灾害范围监测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUDONG MAO 等: "Least Squares Generative Adversarial Networks", 《ARXIV》 *
张永梅等: "基于深度学习与超分辨率重建的遥感高时空融合方法", 《计算机工程与科学》 *
沈安生: "利用高分辨率遥感影像提取建筑物方法研究", 《测绘与空间地理信息》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128586A (zh) * 2021-04-16 2021-07-16 重庆邮电大学 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN113128586B (zh) * 2021-04-16 2022-08-23 重庆邮电大学 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN116070119A (zh) * 2023-03-31 2023-05-05 北京数慧时空信息技术有限公司 基于小样本的多任务组合模型的训练方法
CN116070119B (zh) * 2023-03-31 2023-10-27 北京数慧时空信息技术有限公司 基于小样本的多任务组合模型的训练方法

Also Published As

Publication number Publication date
CN112529828B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN110070518B (zh) 一种基于双路径支持下的高光谱图像超分辨率制图方法
Gómez-Chova et al. Multimodal classification of remote sensing images: A review and future directions
CN111368896A (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
Wang et al. Land cover change detection at subpixel resolution with a Hopfield neural network
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN111625608B (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN103679675B (zh) 一种面向水质定量遥感应用的遥感影像融合方法
Ge Sub-pixel land-cover mapping with improved fraction images upon multiple-point simulation
Gao et al. Cross-scale mixing attention for multisource remote sensing data fusion and classification
Tong et al. A new genetic method for subpixel mapping using hyperspectral images
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
Shi et al. Object-level semantic segmentation on the high-resolution Gaofen-3 FUSAR-map dataset
Chen et al. SwinSTFM: Remote sensing spatiotemporal fusion using Swin transformer
Dai et al. A remote sensing spatiotemporal fusion model of landsat and modis data via deep learning
Li et al. Spatial-temporal super-resolution land cover mapping with a local spatial-temporal dependence model
Xie et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
Christophe et al. Open source remote sensing: Increasing the usability of cutting-edge algorithms
Jia et al. Diffused convolutional neural network for hyperspectral image super-resolution
Rangzan et al. Supervised cross-fusion method: a new triplet approach to fuse thermal, radar, and optical satellite data for land use classification
Long et al. Dual self-attention Swin transformer for hyperspectral image super-resolution
Shang et al. Spectral–spatial generative adversarial network for super-resolution land cover mapping with multispectral remotely sensed imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant