CN107945146B - 一种基于深度卷积神经网络的时空卫星图像融合方法 - Google Patents

Abstract

本发明提供了一种基于深度卷积神经网络的时空卫星图像融合方法。所述基于深度卷积神经网络的时空卫星图像融合方法包括如下步骤：训练阶段：选取对应的Landsat图像和MODIS图像形成Landsat‑MODIS图像对，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像，根据Landsat图像、MODIS图像和LSR Landsat图像的组合进行训练，并分别得到非线性映射CNN网络和超分辨率重建CNN网络；预测阶段：分别选取日期t₁和t₃的Landsat‑MODIS图像对，基于训练阶段得到的非线性映射CNN网络和超分辨率重建CNN网络，预测位于日期t₁和t₃之间的日期t₂的Landsat预测图像。

Description

一种基于深度卷积神经网络的时空卫星图像融合方法

技术领域

本发明属于图像信息处理技术领域，具体地涉及一种基于深度卷积神经网络的时空卫星图像融合方法。

背景技术

随着全球变化的加剧，遥感卫星技术在过去几十年来越来越受到人们的关注。举例来说，遥感数据在农作物生长监测，土地利用/覆盖率变化监测和灾害监测中有着不可替代的作用。因为持续不断地观测是动态监测的基本要求，所以高时间分辨率成为动态监测应用领域中遥感数据的重要特征。同时全球陆地景观的破碎性使得这些应用又要求遥感数据具有高空间分辨率。然而，由于技术和经济的限制，目前卫星平台难以同时获得高空间分辨率和时间分辨率的遥感数据。

例如，来自Landsat系列，SPOT和IRS卫星的遥感图片的空间分辨率范围在6m到30m，这就很适合生态系统的动态监测。然而这些卫星的重访周期很长(Landsat/TM：16天，SPOT/HRV：26天，IRS：24天)同时还有频繁的云盖和其他的糟糕的天气限制他们在快速改变的地表情况的探测方面的应用(例如季节内的生态分布)。另一方面，Terra/Aqua，SPOT-VGT和NOAA/AVHRR卫星上面的MODIS传感器适合提供每日的遥感观测。但是这些传感器的空间分辨率在250～1000m之间，这不足以监测地表覆盖的变化和生态系统的高度不均匀化。

为了解决上述问题，需要在地表动态监测中充分发掘目前的遥感数据的潜能。

发明内容

本发明的目的在于针对现有技术的缺陷，提供一种基于深度卷积神经网络的时空卫星图像融合方法，其可以更有效地提取和表达海量遥感数据中丰富的信息，能产生更准确的卫星图像融合结果。

本发明的技术方案如下：一种基于深度卷积神经网络的时空卫星图像融合方法包括如下步骤：训练阶段：选取对应的Landsat图像和MODIS图像形成Landsat-MODIS图像对，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像，根据Landsat图像、MODIS图像和LSR Landsat图像的组合进行训练，并分别得到非线性映射CNN网络和超分辨率重建CNN网络；预测阶段：分别选取日期t₁和t₃的Landsat-MODIS图像对，基于训练阶段得到的非线性映射CNN网络和超分辨率重建CNN网络，预测位于日期t₁和t₃之间的日期t₂的Landsat预测图像。

优选地，所述训练阶段具体包括如下步骤：选取Landsat-MODIS图像对：选取对应的Landsat图像和MODIS图像，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像；训练非线性映射模型：将MODIS图像作为训练集，LSR Landsat图像作为标签，通过非线性映射函数从MODIS图像中学习MODIS图像和LSR Landsat图像的残差，进而训练得到非线性映射CNN网络；训练超分辨率重建模型：将LSR Landsat图像作为训练集，Landsat图像作为标签，利用LSR Landsat和原始Landsat图像之间的相似性学习残差网络，进而训练得到超分辨率重建CNN网络。

优选地，将MODIS图像和LSR Landsat图像分别记为X和Y^l，定义真实的残差图像为：R＝Y^l–X；在训练非线性映射模型步骤中具体包括如下步骤：输入MODIS图像，并提取MODIS图像的特征图像；把MODIS图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；最小化重建的残差图像和真实的残差图像之间的损失，实现训练非线性映射CNN网络。

优选地，将训练样本LSR Landsat和Landsat图像记为Y^l和Y，定义真实的残差图像为：R^s＝Y–Y^l，在训练超分辨率重建模型步骤中具体包括如下步骤：输入LSR Landsat图像，并提取LSR Landsat图像的特征图像；把LSR Landsat图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；最小化重建的残差图像和真实的残差图像之间的损失，实现训练超分辨率重建CNN网络。

优选地，所述预测阶段具体包括如下步骤：获取LSR Landsat过渡图像：选取位于日期t₁和t₃之间的日期t₂的MODIS图像，把日期t₁、t₂、和t₃的MODIS图像通过训练阶段得到的非线性映射CNN网络，得到日期t₂的LSR Landsat过渡图像，将日期t₁、t₂、和t₃的MODIS图像分别记作：M₁，M₂，M₃；获取LSRLandsat预测图像：利用日期t₂的LSR Landsat过渡图像以及日期t₁和t₃的Landsat图像下采样得到的LSR Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的LSR Landsat预测图像；获取Landsat过渡图像：将日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSR Landsat图像输入到训练阶段得到的超分辨率重建CNN网络，得到日期t₂的Landsat过渡图像；获取Landsat预测图像：利用日期t₂的Landsat过渡图像以及日期t₁和t₃的Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的Landsat预测图像。

优选地，获取LSR Landsat预测图像的步骤包括：把日期t₁、t₂、和t₃的MODIS图像M₁,M₂,M₃通过非线性映射CNN网络映射得到的LSR Landsat过渡图像，记为

把经过双三次插值得到的LSR Landsat图像的下采样图像记为

通过高通调制等式进行LSR Landsat过渡图像和日期t₁的LSR Landsat图像的融合：

而且，高通调制等还应用到日期t₃得到另一个LSR Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的LSR Landsat预测图像：

优选地，获取Landsat预测图像的步骤包括：把日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSR Landsat图像输入超分辨率重建CNN网络得到的日期t₂的Landsat过渡图像，记为

通过高通调制等式进行Landsat过渡图像和日期t₁的Landsat图像的融合：

而且，高通调制等还应用到日期t₃得到另一个Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的Landsat预测图像：

此外，所述基于深度卷积神经网络的时空卫星图像融合方法还具有如下优势：

(1)在相同的实验条件下，经过相同的迭代次数，本发明的方法具有更好的融合结果；

(2)不需要对图像特征进行人工设计，算法结构简单，同时还能兼顾稳定性。算法实现较为简单；

(3)不仅可以应用与小规模研究区域的图像融合，也可以应用到大规模的遥感数据中去。

附图说明

图1为本发明实施例提供的基于深度卷积神经网络的时空卫星图像融合方法的流程示意图；

图2为图1所示的基于深度卷积神经网络的时空卫星图像融合方法的卷积神经网络结构示意图；

图3为图1所示基于深度卷积神经网络的时空卫星图像融合方法中融合模型示意图；

图4和图5为图1所示基于深度卷积神经网络的时空卫星图像融合方法的融合结果定量评估图；

图6和图7为图1所示基于深度卷积神经网络的时空卫星图像融合方法的实验图像对展示图；

图8和图9为图1所示基于深度卷积神经网络的时空卫星图像融合方法的融合结果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。

如图1所述，所述基于深度卷积神经网络的时空卫星图像融合方法包括如下步骤：

一、训练阶段：选取对应的Landsat图像和MODIS图像形成Landsat-MODIS图像对，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像，根据Landsat图像、MODIS图像和LSR Landsat图像的组合进行训练，并分别得到非线性映射CNN网络和超分辨率重建CNN网络。

具体地，所述训练阶段具体包括如下步骤：

1、选取Landsat-MODIS图像对：选取对应的Landsat图像和MODIS图像，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像；

2、训练非线性映射模型：将MODIS图像作为训练集，LSR Landsat图像作为标签，通过非线性映射函数从MODIS图像中学习MODIS图像和LSR Landsat图像的残差，进而训练得到非线性映射CNN网络；

3、训练超分辨率重建模型：将LSR Landsat图像作为训练集，Landsat图像作为标签，利用LSR Landsat和原始Landsat图像之间的相似性学习残差网络，进而训练得到超分辨率重建CNN网络。

需要说明的是，在选取Landsat-MODIS图像对步骤中，本发明选用LandsatEnhanced Thematic Mapper Plus(ETM+)和MODIS图像作为HSLT和LSHT数据的例子，来演示所提出的融合方法。由于土地覆盖类型的变化或各土地覆盖类型的比例不受限制，该方法既能处理物候变化，又能处理土地覆被类型变化。虽然该方法能够处理一对先验图像，但考虑到遥感数据的大规模应用的背景，本发明假设有两对先验的Landsat-MODIS图像。然后对Landsat图像进行下采样，为了在后面超分辨率重建的时候缩小分辨率的差距，Landsat图像的分辨率被减小了10倍最终得到一组和MODIS空间分辨率相似的低分辨率(LSR)Landsat图像。

在训练非线性映射模型步骤中，将MODIS图像和LSR Landsat图像分别记为X和Y^l，定义真实的残差图像为：R＝Y^l–X。在本实施例中，训练非线性映射模型步骤中具体包括如下步骤：

1、输入MODIS图像，并提取MODIS图像的特征图像；

2、把MODIS图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；

3、根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；

4、最小化重建的残差图像和真实的残差图像之间的损失，实现训练非线性映射CNN网络。

具体的，把MODIS和LSR Landsat图像分别记为X和Y^l，希望学习一种非线性映射函数F^M(X)，F^M(X)近似于Y^l。考虑到X和Y^l有很大的相似度，本发明从X中学习X和Y^l的残差。这样就可以重点学习Y^l的高频细节。这里的残差图像被定义为R＝Y^l–X。因此本发明希望学习一种映射函数F^M(X)使得F^M(X)近似于R。在预测了残差图像后，预测的LSR Landsat图像就可以通过输入的MODIS图像和残差图像相加来得到。

如图2所示，显示了非线性映射CNN网络的5层结构：输入层、三个隐藏的卷积层和输出层。其中三个隐藏层对应三个操作：特征提取操作、非线性映射操作和重建操作。为了提取输入的MODIS图像的特征，本发明采用了大小为k₁×k₁的n₁个滤波器。为了在加速收敛的同时保证准确度，还在非线性单元后面采用了线性激活单元(ReLU,max(0,·))，然后，从第一个隐藏层获得n₁个MODIS图像的特征映射图。本步骤可由以下式子表示：

F₁ ^M(X)＝max(0,W₁*X+b₁) (1)

其中

表示滤波器的权重，

是一个偏置向量，‘*’表示卷积操作。相比于稀疏表示方法显性地提取图像的特征来获取字典，CNN通过优化W₁和b₁自动地提取最有效的特征。

为了在MODIS和LSR Landsat图像之间建立联系，本发明把提取的MODIS特征映射到残差图像的特征上去，为此本发明在MODIS特征图像上采用n₂个大小为k₂×k₂的滤波器。在通过非线性单元ReLU之后，就可以从每一个输入中得到n₂个残差图像，其表达式如下：

F₂ ^M(X)＝max(0,W₂*F₁ ^M(X)+b₂) (2)在上述的特征提取中，滤波器卷积图像等价于以块的形式提取特征。为了确保特征块之间的连续性，这些滤波器会重叠提取图像块。因此，映射的特征块的残差图像也重叠。在基于稀疏表示的时空融合方法中，以取平均值的方式来处理预测的重叠块，但这只是一个近似的估计，不能保证最佳的结果。为了提高重叠区域预测的准确性，本发明在重叠区域采用了一个滤波器来得到预测值。这意味着本发明可以增加一个卷积层来重构残差图像。假设这个重构滤波器的尺寸为k₃×k₃，其表达式为：

F^M(X)＝W₃*F₂ ^M(X)+b₃ (3)结合等式(1)，(2)和(3)，F^M(X)可以看成一个参数为Θ＝{W₁,W₂,W₃,b₁,b₂,b₃}的函数。为了求解Θ，本发明最小化重建的残差图像F^M(X；Θ)和真实残差图像R之间的损失。给出N个MODIS图像和LSR Landsat图像作为训练样本

优化函数如下：

本发明采用随机梯度法最小化该损失函数。本发明设置前两个损失层的学习率为10^-4，最后一个损失层的学习率设为10^-5。

在训练超分辨率重建模型步骤中，将训练样本LSR Landsat和Landsat图像记为Y^l和Y，定义真实的残差图像为：R^s＝Y–Y^l。在本实施例中，训练超分辨率重建模型步骤中具体包括如下步骤：

1、输入LSR Landsat图像，并提取LSR Landsat图像的特征图像；

2、把LSR Landsat图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；

3、根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；

4、最小化重建的残差图像和真实的残差图像之间的损失，实现训练超分辨率重建CNN网络。

具体的，将低分辨率Landsat图像作为训练集，原始的Landsat图像作为标签来关联LSR Landsat图像和原始Landsat图像，本发明在他们之间学习一种超分辨率重建CNN模型。虽然其空间分辨率的差距有10倍(250m和25m)，但是本发明建立了一个类似于非线性CNN的5层结构，因为他们之间的降质过程和MODIS和LSR Landsat之间的过程类似。类似于非线性映射CNN网络，考虑到LSR Landsat图像和原始Landsat图像之间的相似性，本发明学习了一个残差网络。把训练样本LSR Landsat和原始Landsat图像记为Y^l和Y。本发明希望学习一种映射函数F^S(X)使得F^S(Y^l)相似于其残差图像R^s，其中R^s定义为R^s＝Y–Y^l，SRCNN包含有五个网络层，LSR Landsat图像输入层，三个卷积层和残差图像输出层。其中三个隐藏包含三种操作：特征提取、非线性映射和重建。

三个卷积层的网络参数定义为Θ'＝{W₁',W₂',W₃',b₁',b₂',b₃'}，本发明通过最小化重建图像F^S(Y^l；Θ')和相应的真实图像R^s之间的损失来求解参数Θ'。给出M个LSRLandsat图像和原始Landsat图像作为样本

其损失函数可表示为：

本发明采用随机梯度法最小化该损失函数。同非线性映射CNN一样本发明设置前两个损失层的学习率为10^-4，最后一个损失层的学习率为10^-5。

二、预测阶段：分别选取日期t₁和t₃的Landsat-MODIS图像对，基于训练阶段得到的非线性映射CNN网络和超分辨率重建CNN网络，预测位于日期t₁和t₃之间的日期t₂的Landsat预测图像。

具体的，所述预测阶段包括如下步骤：

1、获取LSR Landsat过渡图像：选取位于日期t₁和t₃之间的日期t₂的MODIS图像，把日期t₁、t₂、和t₃的MODIS图像通过训练阶段得到的非线性映射CNN网络，得到日期t₂的LSRLandsat过渡图像，将日期t₁、t₂、和t₃的MODIS图像分别记作：M₁，M₂，M₃；

2、获取LSR Landsat预测图像：利用日期t₂的LSR Landsat过渡图像以及日期t₁和t₃的Landsat图像下采样得到的LSR Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的LSR Landsat预测图像；

3、获取Landsat过渡图像：将日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSRLandsat图像输入到训练阶段得到的超分辨率重建CNN网络，得到日期t₂的Landsat过渡图像；

4、获取Landsat预测图像：利用日期t₂的Landsat过渡图像以及日期t₁和t₃的Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的Landsat预测图像。

在获取LSR Landsat过渡图像步骤中，给出两对先验的Landsat-MODIS图像和预测日期的MODIS图像，目的是将他们融合得到预测日期的Landsat图像。将先验的日期记为t₁和t₃，预测日期记为t₂，相对应的MODIS和Landsat图像记为M_i和L_i(i＝1,2,3)，基于学习的非线性映射CNN网络和超分辨率重建CNN网络，我们预测L₂。对于输入的MODIS图像，我们首先通过非线性映射CNN网络来映射到LSR Landsat图像，然后通过超分辨率重建CNN网络生成Landsat图像。

由于在获取卫星遥感图像时会受到大气、天气、地形等其他复杂因素的影响，很难在MODIS和LSR Landsat图像之间建立准确的对应关系；同时由于巨大的分辨率差距，重建Landsat图像也是十分的困难，因此把非线性映射和超分辨率重建得到的预测图像定义为过渡图像，然后通过一个融合模型，利用现有的信息来进一步提升图像质量。

在获取LSR Landsat预测图像步骤中，从过渡图像到LSR Landsat图像的融合模型的实施过程如图3所示。具体的，获取LSR Landsa预测图像的步骤包括：

把日期t₁、t₂、和t₃的MODIS图像M₁,M₂,M₃通过非线性映射CNN网络映射得到的LSRLandsat过渡图像，记为T_i ^l(i＝1,2,3)；

把经过双三次插值得到的LSR Landsat图像的下采样图像记为L^l _i(i＝1,3)，通过高通调制等式进行LSR Landsat过渡图像和日期t₁的LSR Landsat图像的融合：

而且，高通调制等还应用到日期t₃得到另一个LSR Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的LSR Landsat预测图像：

为了减小预测误差，公式(8)和(9)采用了9×9重叠的图像块。

在获取Landsat预测图像中，与获取LSR Landsat预测图像步骤类似，利用获取Landsa过渡图像步骤得到的过渡Landsat图像和t₁，t₃时刻的原始Landsat图像得到一个高通调制的等式，结合t₁和t₃的数据的加权策略通过高通调制得到最终的t₂时刻的Landsat预测图像。

具体的，获取Landsat预测图像的步骤包括：

把日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSR Landsat图像输入超分辨率重建CNN网络得到的日期t₂的Landsat过渡图像，记为T_i ^l(i＝1,2,3)；

通过高通调制等式进行Landsat过渡图像和日期t₁的Landsat图像的融合：

而且，高通调制等还应用到日期t₃得到另一个Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的Landsat预测图像：

为了便于公众理解本发明的技术方案，下面给出一个具体实施例。

本实例采用了两个研究点的数据。第一个研究地点是位于澳大利亚南部新南威尔士州南部的Coleambally灌溉区(CIA)，面积2193平方公里。在CIA中，2001-2002年南部夏季生长季节共有17个无云Landsat-MODIS对；所有的Landsat图像都是由Landsat-7ETM+获得的，并且通过使用MODTRAN4大气校正。另一个研究点是位于澳大利亚新南威尔士州北部的盖德维尔集水区(LGC)，面积达5440平方公里。在LGC中，2004年4月至2005年4月期间共有14个无云的Landsat-MODIS对；所有的Landsat图像都是由Landsat-5TM获得的，并且进行了大气校正。对于这两个研究点本实例使用MODIS Terra MOD09GACollection 5数据。使用最近邻算法将这些数据采样到与Landsat数据相同的空间分辨率(25m)。为了实现子像素精度，通过定义最大化两个图像之间的相关函数所需的最佳偏移量，将每个Landsat-MODIS对共同配准到一个25m像素内。

对于CIA数据集，时间动态主要与单个生长季节的作物物候相关，但周边农业和林地面积随时间变化较小。另一方面，CIA内田地尺寸相对较小。因此，我们可以将CIA视为更具空间异构的区域。对于LGC数据集，时间范围约为1年。2004年12月中旬发生大洪水，造成大面积淹没(约44％)。因为洪水事件导致不同的空间和时间变化，所以LGC可以被认为是时间上动态的区域。

本实施例的融合过程具体如下：

1、选取Landsat-MODIS图像对：

对于CIA数据集，共有6个图像大小为1720×2040的波段；对于LGC数据集，有6个图像大小为3200×2720的波段。对于Landsat图像，本实例选择1，2，3，4，5，7频段；对于MODIS图像，选择1，2，3，4，6，7频段。为了融合的目的，MODIS图像的波段顺序相应地调整为Landsat图像。

2、训练非线性映射模型：

对于CIA和LGC数据集，本实例按时间顺序安排所有Landsat-MODIS对。然后设置滤波器数量和滤波器大小。一般来说，如果我们增大这两个参数，性能将会改善，但运行的时间成本增加。因此，本实例设置参数以实现性能和速度之间的最佳权衡。在非线性映射CNN中，本实例设置参数如下：n₁＝64，n₂＝32，k₁＝9，k₂＝5，k₃＝5。在训练阶段，本实例选择第1，第6和第14图像对作为训练数据，并将CIA和LGC数据集的训练子图像的大小设置为33。对于CIA数据，提取12288个子图像，对于LGC数据，提取38016个子图像。考虑到MODIS和Landsat波段之间具有不同的波长中心和不同的带宽，本实例分别为每个波段学习一个非线性CNN模型。

3、训练超分辨率重建模型：

在超分辨率重建CNN中，本实例设置参数如下：n₁＝64，n₂＝32，k₁＝9，k₂＝5，k₃＝5。对于CIA数据，提取33664个子图像，对于LGC数据，提取87168个子图像。考虑到LSR Landsat图像通过对原始Landsat图像进行下采样获得，我们对所有波段学习一个SR CNN。

4、数据预测：

在预测阶段，本实例使用对应的MODIS图像和两个Landsat-MODIS对来预测在某一日期的Landsat图像，该两个Landsat-MODIS对是距离预测日期之前和之后的时间上最近的图像对。除去用于训练的图像对，对于CIA数据集本实例预测第3、4、8、9、10、11、12、16个Landsat图像，对于LGC数据集预测第3、4、8、9、10、11、12个Landsat图像。

为了验证本发明方法的效果，分别将本发明的结果与稀疏表示的方法进行了比较。通过评估融合结果的RMSE，UIQI，SAM和SSIM值来比较。

所有预测日期的平均值的定量评估分别在图4和图5中进行了展示。从这两个图可以看出，所提出的方法在CIA站点的所有8个预测日期和LGC站点的所有7个预测日期都能实现比稀疏表示方法更低的RMSE和SAM值以及更高的UIQI和SSIM值。这表明本发明所提出的方法能够产生在辐射度、空间结构和光谱方面具有更高保真度的融合结果。

为了展示融合结果的更多细节，我们分别对两个研究点选择一个关键日期展示融合结果。对于CIA站点，我们选择了第8个预测，因为在第8天到第9天之间零星灌溉领域具有颜色转换，如图6所示。对于LGC站点，我们也选择了第8个预测，因为发生了一个大的洪水造成的时间动力学和地表异常变化，如图7所示。在图6和图7中，显示了第7、8、9日的MODIS和Landsat图像，其中Landsat图像以5，4，3波段为RGB，MODIS图像以6,2,1波段为RGB。假设第8天的Landsat图像未知，我们从CIA和LGC站点的其他输入图像中预测。

图8和图9分别显示了稀疏表示的方法和本发明的方法对CIA和LGC站点的融合结果。实际观察到的Landsat图像和融合结果显示在第一行中，黑矩形中部分的缩放细节在第二行中演示。从图8可以看出，这两种方法都能够大概预测和先前日期之间的物候变化。然而，对于一些特殊的异质区域，例如图8的第二行中的缩放区域，在预测实际Landsat图像的光谱信息时，本发明优于稀疏表示的方法。从图9可以看出，由于低空间分辨率MODIS图像中的变化信息的丢失，两种方法都无法准确预测严重的淹水区域，但是可以较准确地预测大部分区域的光谱信息和空间结构信息。从图9第二行的缩放细节可以看出，与观测的Landsat图像相比，两个融合结果都会丢失一些空间细节，并具有一定程度的光谱失真，但是本发明在预测实际Landsat图像的光谱信息方面优于稀疏表示的方法。图8和图9的融合结果的RMSE，UIQI，SSIM和SAM的定量评估分别在表1和表2中进行了说明：

表1图8的融合定量评估值

表2图9的融合结果定量评估值

这两个表格表明，本发明方法在融合结果的所有波段上都比稀疏表示的方法好。综上可知，和稀疏表示的融合方法相比，本发明方法无论是从准确率还是从视觉效果上来看，都具有明显的优势。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于深度卷积神经网络的时空卫星图像融合方法，其特征在于：包括如下步骤：

训练阶段：选取对应的Landsat图像和MODIS图像形成Landsat-MODIS图像对，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像，根据Landsat图像、MODIS图像和LSR Landsat图像的组合进行训练，并分别得到非线性映射CNN网络和超分辨率重建CNN网络；

预测阶段：分别选取日期t₁和t₃的Landsat-MODIS图像对，基于训练阶段得到的非线性映射CNN网络和超分辨率重建CNN网络，预测位于日期t₁和t₃之间的日期t₂的Landsat预测图像；

所述训练阶段具体包括如下步骤：

选取Landsat-MODIS图像对：选取对应的Landsat图像和MODIS图像，并对Landsat图像进行下采样，得到接近MODIS空间分辨率的LSR Landsat图像；

训练非线性映射模型：将MODIS图像作为训练集，LSR Landsat图像作为标签，通过非线性映射函数从MODIS图像中学习MODIS图像和LSR Landsat图像的残差，进而训练得到非线性映射CNN网络；

训练超分辨率重建模型：将LSR Landsat图像作为训练集，Landsat图像作为标签，利用LSR Landsat和原始Landsat图像之间的相似性学习残差网络，进而训练得到超分辨率重建CNN网络；

所述预测阶段具体包括如下步骤：

获取LSR Landsat过渡图像：选取位于日期t₁和t₃之间的日期t₂的MODIS图像，把日期t₁、t₂、和t₃的MODIS图像通过训练阶段得到的非线性映射CNN网络，得到日期t₂的LSR Landsat过渡图像，将日期t₁、t₂、和t₃的MODIS图像分别记作：M₁，M₂，M₃；

获取LSR Landsat预测图像：利用日期t₂的LSR Landsat过渡图像以及日期t₁和t₃的Landsat图像下采样得到的LSR Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的LSR Landsat预测图像；

获取Landsat过渡图像：将日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSRLandsat图像输入到训练阶段得到的超分辨率重建CNN网络，得到日期t₂的Landsat过渡图像；

获取Landsat预测图像：利用日期t₂的Landsat过渡图像以及日期t₁和t₃的Landsat图像得到高通调制等式，结合日期t₁和t₃的预测数据的加权策略通过高通调制得到日期t₂的Landsat预测图像。

2.根据权利要求1所述的一种基于深度卷积神经网络的时空卫星图像融合方法，其特征在于：将MODIS图像和LSR Landsat图像分别记为X和Y^l，定义真实的残差图像为：R＝Y^l–X；在训练非线性映射模型步骤中具体包括如下步骤：

输入MODIS图像，并提取MODIS图像的特征图像；

把MODIS图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；

根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；

最小化重建的残差图像和真实的残差图像之间的损失，实现训练非线性映射CNN网络。

3.根据权利要求1所述的一种基于深度卷积神经网络的时空卫星图像融合方法，其特征在于：将训练样本LSR Landsat和Landsat图像记为Y^l和Y，定义真实的残差图像为：R^s＝Y–Y^l，在训练超分辨率重建模型步骤中具体包括如下步骤：

输入LSR Landsat图像，并提取LSR Landsat图像的特征图像；

把LSR Landsat图像的特征图像通过非线性映射函数映射形成残差图像的映射特征图像；

根据残差图像的映射特征图像重新构建残差图像，形成重建的残差图像；

最小化重建的残差图像和真实的残差图像之间的损失，实现训练超分辨率重建CNN网络。

4.根据权利要求1所述的一种基于深度卷积神经网络的时空卫星图像融合方法，其特征在于：获取LSR Landsa预测图像的步骤包括：

把日期t₁、t₂、和t₃的MODIS图像M₁,M₂,M₃通过非线性映射CNN网络映射得到的LSRLandsat过渡图像，记为T_i ^l(i＝1,2,3)；

把经过双三次插值得到的LSR Landsat图像的下采样图像记为

通过高通调制等式进行LSR Landsat过渡图像和日期t₁的LSR Landsat图像的融合：

而且，高通调制等式还应用到日期t₃得到另一个LSR Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的LSR Landsat预测图像：

5.根据权利要求1所述的一种基于深度卷积神经网络的时空卫星图像融合方法，其特征在于：获取Landsat预测图像的步骤包括：

把日期t₂的LSR Landsat预测图像以及日期t₁和t₃的LSR Landsat图像输入超分辨率重建CNN网络得到的日期t2的Landsat过渡图像，记为T_i ^l(i＝1,2,3)；

通过高通调制等式进行Landsat过渡图像和日期t₁的Landsat图像的融合：

而且，高通调制等还应用到日期t₃得到另一个Landsat预测图像：

结合日期t₁和t₃的预测数据采用加权的策略，其中，权重系数的计算下式：

得到日期t₂的Landsat预测图像：

Images