CN113012044A - 一种基于深度学习的遥感影像时空融合方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的遥感影像时空融合方法及系统。该方法包括：基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高‑低分辨率影像对；构建融合网络以及超分辨率重建网络；利用无云高‑低分辨率影像生成训练好的融合网络以及训练好的超分辨率重建网络；基于滑动窗口的线性加权方法确定前向预测结果以及后向预测结果；基于滑动窗口的线性加权方法对前向预测结果以及后向预测结果进行线性加权平均，确定最终的融合结果。本发明能够提高时空融合方法在云污染严重区域适用性以及同时适用于不同地表时间变化类型预测。

Description

一种基于深度学习的遥感影像时空融合方法及系统

技术领域

本发明涉及遥感影像时空融合领域，特别是涉及一种基于深度学习的遥感影像时空融合方法及系统。

背景技术

遥感影像时间序列在生态系统动态监测以及生态系统对气候变化的响应等领域应用广泛，然而单一传感器的遥感影像难以兼具高时间分辨率和高空间分辨率。时空融合是生成高时空分辨率遥感影像时间序列的可行方式，其通过融合高空间分辨率低时间分辨率遥感影像(下称高分辨影像)和低空间分辨率高时间分辨率遥感影像(下称低分辨影像)生成兼具高空间分辨率和高时间分辨率的密集遥感影像时间序列。现有的时空融合方法主要包含以下问题：(1)难以同时适用于不同地表时间变化类型预测，其中，地表时间变化类型包括渐变类型和突变类型。(2)现有时空融合方法需要至少一对无云的高-低分辨率影像对，然而在部分云污染严重的区域，甚至没有一景可用的无云影像，这一情况限制了时空融合在云污染严重区域的应用。

发明内容

本发明的目的是提供一种基于深度学习的遥感影像时空融合方法及系统，以解决现有时空融合方法在云污染严重区域适用性差以及难以同时适用于不同地表时间变化类型预测的问题。

为实现上述目的，本发明提供了如下方案：

一种基于深度学习的遥感影像时空融合方法，包括：

基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

可选的，所述基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对，具体包括：

从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

可选的，所述分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像，具体包括：

计算待重建高分辨率影像中的每个目标块P_t与辅助块数据集P_A内每一个辅助块相交的非缺失像元的相关系数，并取所述相关系数最大的辅助块作为目标辅助块；所述目标块为所述待重建高分辨率影像中的以缺失像元为中心的邻域块；所述辅助块为除所述待重建高分辨率影像外的所有高分辨率影像对应位置的邻域块；

根据所述目标辅助块以及所述目标块计算缺失像元值，并以所述缺失像元值替代缺失像元；

遍历所述待重建高分辨率影像中所有缺失像元，完成对所述待重建高分辨率影像中的缺失像元的重建，生成重建后的无云高分辨率影像。

可选的，所述训练好的融合网络具体包括：第一提取块、第一多尺度注意力块以及第一重建块；

将任一已知时期的高分辨影像输入至所述第一提取块，生成64个第一特征图；

获取两个不同时期的低分辨率影像，并将两个不同时期的低分辨率影像相减确定低分辨率影像增量；所述两个不同时期为所述任一已知时期相邻的前向已知时期以及后向已知时期；

将所述低分辨率影像增量以及所述任一已知时期的高分辨影像进行叠置后输入至所述第一多尺度注意力块，生成64个第二特征图；

将所述第一特征图以及所述第二特征图相加输入至所述第一重建块，生成渐变信息。

可选的，所述训练好的超分辨率重建网络具体包括：第二提取块、第三提取块、卷积层、第二多尺度注意力块以及第二重建块；

将任一已知时期的低分辨率影像输入至第二提取块，生成64个第三特征图；

将另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块，生成64个第四特征图；

将所述第三特征图以及所述第四特征图进行叠置后输入至所述卷积层，生成第五特征图；

将所述第五特征图输入至所述第二多尺度注意力块，生成第六特征图；

将所述第六特征图输入至所述第二重建块，生成突变信息。

可选的，所述前向预测结果为：

其中，

为前向预测结果，(x₀，y₀)为中心像元，B为影像波段，t₂为预测时期，p^spatial(x₀，y₀，B，t₂)为前向预测中的突变信息

的权重，p^temp(x₀，y₀，B，t₂)为前向预测中的渐变信息

的权重。

可选的，所述后向预测结果为：

其中，

为后向预测结果，p^spatial′(x₀，y₀，B，t₂)为后向预测中的突变信息

的权重，p^temp′(x₀，y₀，B，t₂)为后向预测中的渐变信息

的权重。

可选的，所述最终的融合结果为：

其中，

为最终融合结果，p^fw(x₀，y₀，B，t₂)为所述前向预测结果的权重，p^bw(x₀，y₀，B，t₂)为所述后向预测结果的权重。

一种基于深度学习的遥感影像时空融合系统，包括：

无云高-低分辨率影像对构建模块，用于基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

融合网络以及超分辨率重建网络构建模块，用于建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

训练模块，用于利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

前向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

后向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

最终的融合结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

可选的，所述无云高-低分辨率影像对构建模块具体包括：

筛选单元，用于从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

已知高分辨率影像获取单元，用于选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

重建后的无云高分辨率影像生成单元，用于分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

无云高-低分辨率影像对构建单元，用于获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于深度学习的遥感影像时空融合方法及系统，基于预测时段内的所有可利用的高分辨率影像生成无云高分辨率影像，进而与相同时期的低分辨率影像组成无云高-低分辨率影像对的策略，保证了时空融合方法在预测时段内没有无云影像时的有效性。本发明所提供的基于深度学习的遥感影像时空融合方法及系统适用于云污染严重区域的高时空分辨率遥感影像时间序列的构建任务，且适用于不同地表时间变化类型的预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于深度学习的遥感影像时空融合方法流程图；

图2为不同时期下高分辨率影像以及低分辨率影像示意图；

图3为本发明所提供的训练好的融合网络结构示意图；

图4为本发明所提供的第一多尺度注意力块或第二多尺度注意力块结构示意图；

图5为本发明所提供的训练好的超分辨率重建网络结构示意图；

图6为本发明所提供的基于深度学习的遥感影像时空融合系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度学习的遥感影像时空融合方法及系统，能够提高时空融合方法在云污染严重区域适用性以及同时适用于不同地表时间变化类型预测。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的基于深度学习的遥感影像时空融合方法流程图，如图1所示，一种基于深度学习的遥感影像时空融合方法，包括：

步骤101：基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

所述步骤101具体包括：从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像，具体包括：计算待重建高分辨率影像中的每个目标块P_t与辅助块数据集P_A内每一个辅助块相交的非缺失像元的相关系数，并取所述相关系数最大的辅助块作为目标辅助块；所述目标块为所述待重建高分辨率影像中的以缺失像元为中心的邻域块；所述辅助块为除所述待重建高分辨率影像外的所有高分辨率影像对应位置的邻域块；根据所述目标辅助块以及所述目标块计算缺失像元值，并以所述缺失像元值替代缺失像元；遍历所述待重建高分辨率影像中所有缺失像元，完成对所述待重建高分辨率影像中的缺失像元的重建，生成重建后的无云高分辨率影像。

步骤102：建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络。

步骤103：利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息。

所述训练好的融合网络具体包括：第一提取块、第一多尺度注意力块以及第一重建块；将任一已知时期的高分辨影像输入至所述第一提取块，生成64个第一特征图；获取两个不同时期的低分辨率影像，并将两个不同时期的低分辨率影像相减确定低分辨率影像增量；所述两个不同时期为所述任一已知时期相邻的前向已知时期以及后向已知时期；将所述低分辨率影像增量以及所述任一已知时期的高分辨影像进行叠置后输入至所述第一多尺度注意力块，生成64个第二特征图；将所述第一特征图以及所述第二特征图相加输入至所述第一重建块，生成渐变信息。

所述训练好的超分辨率重建网络具体包括：第二提取块、第三提取块、卷积层、第二多尺度注意力块以及第二重建块；将任一已知时期的低分辨率影像输入至第二提取块，生成64个第三特征图；将另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块，生成64个第四特征图；将所述第三特征图以及所述第四特征图进行叠置后输入至所述卷积层，生成第五特征图；将所述第五特征图输入至所述第二多尺度注意力块，生成第六特征图；将所述第六特征图输入至所述第二重建块，生成突变信息。

步骤104：基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果。

所述前向预测结果为：

其中，

为前向预测结果，(x₀，y₀)为中心像元，B为影像波段，t₂为预测时期，p^spatial(x₀，y₀，B，t₂)为前向预测中的突变信息

的权重，p^temp(x₀，y₀，B，t₂)为前向预测中的渐变信息

的权重。

步骤105：基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果。

所述后向预测结果为：

其中，

为后向预测结果，p^spatial′(x₀，y₀，B，t₂)为后向预测中的突变信息

的权重，p^temp′(x₀，y₀，B，t₂)为后向预测中的渐变信息

的权重。

步骤106：基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

所述最终的融合结果为：

其中，

为最终融合结果，p^fw(x₀，y₀，B，t₂)为所述前向预测结果的权重，p^bw(x₀，y₀，B，t₂)为所述后向预测结果的权重。

本发明所提出的时空融合方法基于预测时段内的所有可用的高分辨率影像和所有低分辨率影像生成具有与高分辨率影像相同的空间分辨率及与低分辨率影像相同的时间分辨率的遥感影像时间序列。

具体的，如图2所示，为了对该时间序列中由于重访周期限制等原因导致的某一时期(t₂)的缺失的高分辨率影像F₂进行预测，本发明所提出的时空融合方法首先基于预测时段内的所有可利用的高分辨率影像，生成两个已知时期t₁和t₃的无云高分辨率影像(F₁和F₃)，上述两个时期的高分辨率影像(F₁和F₃)与相同时期的低分辨率影像组成两个无云高-低分辨率影像对(F₁,C₁和F₃,C₃)，结合预测时期t₂的低分辨率影像C₂生成预测时期t₂的高分辨率影像F₂。由于利用了两对高-低分辨率影像对，所提出的方法可以同时考虑前向预测与后向预测从而得到更加鲁棒的融合结果。

基于本发明所提供的基于深度学习的遥感影像时空融合方法，作为可选的一种实施方式，将本发明应用于实际应用中，具体过程如下：

步骤1：生成模拟无云影像对。

A)对所有可用的高分辨率影像筛选出云覆盖率小于40％的影像。

B)从步骤A)中筛选出的高分辨率影像中选择距离预测时期t₂最近的前后两个时期t₁和t₃作为已知时期。

C)对上述时期t₁和t₃的影像中由于云覆盖导致的缺失像元进行重建从而生成无云的高分辨率影像F₁和F₃。以其中的一景高分辨率影像为例，简述其重建步骤：

首先定义相关符号如下：

P_t表示待重建影像中的以缺失像元为中心的邻域块(记作目标块)。P_A表示辅助块数据集，其由除了待重建影像外的该年份的所有高分辨率影像中的对应位置的邻域块组成。要求辅助块数据集P_A中的每一个辅助块的中心像元无缺失，并且每一个辅助块与目标块P_t中的相交的非缺失的像元个数大于30。基于以上定义简述步骤C)如下：

a)计算待重建影像中的每个目标块P_t与P_A中的每一个辅助块中的相交(共同位置)的非缺失像元的相关系数，其计算公式如下：

式中，

代表P_A中第i个辅助块的第j个相交的无云像元，

表示目标块中的第j个相交的无云像元，n代表相交的无云像元的总个数。

和

分别代表P_A中第i个辅助块和目标块中的相交无云像元的均值。

b)取相关系数最大的辅助块作为目标辅助块，记作P_a。

c)以下式基于P_a和P_t计算缺失像元值V^t(x,y)，以V^t(x,y)替代缺失像元从而对该缺失像元进行填补。

式中，V^a(x,y)表示目标辅助块中的对应于缺失像元处的像元值，

表示P_t中的相交的非缺失像元的标准差，

表示P_a中的相交的非缺失像元的标准差，

表示P_t中的相交的非缺失像元的均值，

表示P_a中的相交的非缺失像元的均值。

d)遍历待重建影像中的所有缺失像元，完成该影像的缺失像元的重建。

e)对b)中选出的高分辨率影像F₁和F₃重复步骤c)从而完成重建。

步骤2：构建时间变化映射，得到渐变信息

的预测。

时空融合方法的基本原理可表示为：

F₂＝F₁+ΔF

ΔF＝f(ΔC)

ΔC＝C₂-C₁

即待预测影像F₂可表示为已知时期t₁的高分辨率影像F₁与两个时期(t₁与t₂)之间高分辨率影像的增量ΔF之和。ΔF基于t₁与t₂之间的低分辨率影像增量ΔC进行估算。由上述可知，时空融合的关键在于构建ΔF与ΔC之间的转换函数f。传统的时空融合方法在构建转换函数f时常采用基于滑动窗口的线性加权等形式，此类人为预定义的转换函数缺乏可推广性。

本发明提出以深度学习构建自适应的转换函数f，用于实现渐变信息

的预测。为了便于描述，将转换函数f定义为时间变化映射M₁。基于此时间变化映射M₁可得到渐变信息

的预测：

上式可理解为，在进行预测时以低分辨率影像在t₁与t₂时期的增量C₁₂以及F₁为网络的输入，可得到渐变信息预测结果

式中Φ₁为网络的参数。为了学习Φ₁，假设时间变化映射M₁在t₁与t₃时期以及t₁与t₂时期间具有一致性，即参数Φ₁不变，基于上述假设，为了学习Φ₁，在训练阶段，网络的输入为t₁与t₃时期的低分辨率影像增量C₁₃以及F₁，输出为已知时期t₃的高分辨率影像F₃。以上学习参数Φ₁的过程可表示为：

式中，

代表均方误差loss函数。

为了进行映射参数Φ₁的学习，本发明设计了融合网络，该网络的核心任务是通过一个时期的高分辨率影像F₁与低分辨率影像增量C₁₂进行融合得到另一个时期的高分辨率影像F₂。

该网络结构包括：第一提取块、第一多尺度注意力块和第一重建块。网络结构具体如图3所示，高分辨影像F₁首先输入至提取块，经提取块处理后生成64个特征图。输入的不同时刻的低分辨率影像(C₁和C₃)首先进行相减得到两个时期的低分辨率影像的增量。上述低分辨率影像(C₁和C₃)的增量与输入的高分辨影像F₁进行叠置后输入至多尺度注意力块，经过处理后得到64个特征图，上述特征图与提取块输出的64个特征图相加后输入至重建块。为了加快收敛速度，网络采用跳跃连接策略。具体的，输入的高分辨率影像F₁与低分辨率影像(C₁和C₃)的增量相加后与重建块的输出相加。

a)第一提取块

第一提取块用于将输入的影像转换为高维非线性特征，从而为后续的多尺度注意力块提供足够的有效特征信息。提取块由两个卷积层组成并使用PReLU作为激活函数，每个卷积层包括64个卷积核，卷积核尺寸为3×3。

b)第一多尺度注意力块

由于提取的特征的有效性存在差异。设计基于空洞卷积inception模块和自注意力机制的第一多尺度注意力块用于进一步挖掘并利用有效的多尺度特征。其结构如图4所示，多特征输入至多尺度注意力块后首先输入至3个并联的空洞卷积层，三个空洞卷积层均包括64个卷积核，卷积核尺寸均为3×3，dilation factor分别设置为1、2和5。上述并联的三个空洞卷积层均产生64个特征图。上述特征图进行叠置后输入至一个卷积核大小为1×1的卷积层，该卷积层包括64个卷积核。经过该卷积层处理后产生64个特征图，该特征图与多尺度注意力块的输入进行跳跃连接，即该卷积层处理后产生的64个特征图与多尺度注意力块的输入相加。上述特征进一步采用多尺度注意力机制挖掘有效特征。具体的，多特征首先输入至平均池化层(Avgpool)，之后输入至全连接层，该全连接层以Relu为激活函数，后接另一个全连接层。之后输入至Sigmoid。Sigmoid的输出与注意力机制的输入的多特征相乘。最后，将多尺度注意力的输入与多尺度注意力的输出进行跳跃连接，即多尺度注意力的输入的多特征与多尺度注意力输出的多特征相加。

c)第一重建块

第一重建块由一个使用一个3×3大小卷积核的卷积层组成，其用于将提取的多特征转变为最终的预测影像。

基于此训练后的时间变化映射M₁的参数Φ₁，采用下式得到渐变预测

即在预测阶段，以C₁₂和F₁为输入。

步骤3：构建空间信息映射M₂得到突变预测

通过构建空间信息映射M₂进行突变信息

的预测其公式如下：

即在训练阶段，以已知时期t₃的低分辨率影像C₃和已知时期t₁的高分辨率影像和低分辨率影像的差F₁-C₁为输入，以F₃为输出。基于训练后的空间信息映射M₂的参数Φ₂，通过下式得到突变信息的预测结果

即在预测阶段以C₂和F₁-C₁为输入。

为了进行映射参数Φ₂的学习，本发明设计了超分辨率重建网络。

该网络包括：第二提取块，第三提取块，第二多尺度注意力块和第二重建块。超分辨率重建网络各部分与融合网络各部分结构一致。超分辨率重建网络结构如图5所示，输入的低分辨率影像C₃首先输入至第二提取块，经处理后生成64个特征图。相似地，另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块生成64个特征图。上述两个提取块输出的特征图进行叠置后输入至带有64个特征图的一个卷积核大小为3×3的卷积层，得到64个特征图，上述特征图进一步输入至第二多尺度注意力块得到64个特征图，上述特征图进一步输入至第二重建块，最后经重建块处理后得到重建影像。

步骤4：渐变预测

与突变预测

结合。

步骤2得到的突变预测结果

与步骤3得到的渐变预测结果

分别侧重于预测突变和渐变信息。为了进一步综合上述两个预测结果的优势，以基于3×3大小的滑动窗口对

和

进行线性加权平均得到时空融合结果

即前向预测结果：

式中，p^spatial与p^temp分别表示

和

的权重，其根据两个预测值

与预测时期低分辨率影像C₂在3×3滑动窗口内的总偏差的反距离加权确定，具体计算公式如下：

式中，σ^temp和σ^spatial的计算公式为：

步骤5：进行后向预测。

步骤2-4是完整的前向预测的执行过程。在前向预测的过程中，对于时间变化映射，在训练阶段以C₁₃,F₁为输入，以F₃为输出。在预测阶段以C₁₂,F₁为输入。对于空间信息映射，在训练阶段以C₃和F₁-C₁为输入，以F₃为输出，在预测阶段以C₂和F₁-C₁为输入。以下进一步阐述后向预测的过程，其步骤与前向预测的步骤完全一致，仅训练和预测阶段输入数据的顺序发生变化。前向预测和后向预测的训练和预测阶段的输入与输出如下表1所示：

表1前向预测和后向预测的训练和预测阶段的输入与输出示意表

具体如下：

后向预测的时间变化映射M₁的构建过程可表示为：

即为了学习后向预测的时间变化映射M₁的参数Φ′₁，在训练阶段以C₃₁和F₃为输入，F₁为输出。基于训练后得到的时间变化映射参数Φ′₁，在预测阶段以C₃₂和F₃为输入得到渐变预测

后向预测的空间信息映射M₂的构建表示为：

式中，Φ′₂为后向预测中空间信息映射的参数。采用与步骤3相同的超分辨率重建网络，在训练阶段以C₁和F₃-C₃为输入，F₁为输出。

基于此训练后的空间信息映射的参数Φ′₂，在预测阶段以C₂和F₃-C₃为输入得到突变预测

采用与步骤4完全相同的基于3×3大小的滑动窗口对

和

进行线性加权平均得到最终的后向预测结果

式中，p^spatial′与p^temp′分别表示

和

的权重，其根据两个预测值(

和

)与预测时期低分辨率影像C₂在3×3滑动窗口内的总偏差的反距离加权确定。

步骤6：前向预测与后向预测融合。

最后，将前向预测

与后向预测结果

进行加权平均得到最终的融合结果

其过程如下：

式中，

与

的权重系数p^fw及p^bw的计算方式与步骤4和步骤5的权重系数的计算方式完全一致。

具体计算公式如下：

式中，σ^fw和σ^bw的计算公式为：

整个流程描述的是针对时间序列中的一景缺失高分辨率影像的预测。对时间序列中的所有缺失的高分辨率影像重复上述步骤即完成时间序列数据集的重建。

图6为本发明所提供的基于深度学习的遥感影像时空融合系统结构图，如图6所示，一种基于深度学习的遥感影像时空融合系统，包括：

无云高-低分辨率影像对构建模块601，用于基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

所述无云高-低分辨率影像对构建模块601具体包括：筛选单元，用于从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；已知高分辨率影像获取单元，用于选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；重建后的无云高分辨率影像生成单元，用于分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；无云高-低分辨率影像对构建单元，用于获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

融合网络以及超分辨率重建网络构建模块602，用于建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络。

训练模块603，用于利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息。

前向预测结果确定模块604，用于基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果。

后向预测结果确定模块605，用于基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果。

最终的融合结果确定模块606，用于基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

综上，本发明提出了一种基于深度学习的遥感影像时空融合方法及系统用于构建高时空分辨率的遥感影像时间序列数据集。具体包括如下四个阶段：在第一阶段，首先基于预测时段内的所有可利用的高分辨率影像生成两个模拟的无云高分辨率影像，并与相同获取时期的低分辨率影像构建无云高-低分辨率影像对。在第二阶段，分别建立面向渐变预测和突变预测的时间变化映射和空间信息映射，针对上述映射分别构建融合网络和超分辨率重建网络，并基于生成的无云高-低分辨率影像对上述两个网络进行训练。在第三阶段，利用训练好的网络，分别对前向和后向预测中的渐变和突变信息进行预测。在第四阶段，采用两次基于滑动窗口的线性加权，分别用于综合渐变和突变预测结果以及结合前向预测和后向预测的结果得到最终的融合结果，从而能够达到以下效果：

1)本发明可实现不同地表时间变化情况下(包括渐变和突变)的预测，相较于现有的时空融合方法多针对一种特定时间变化情况下的融合，本发明具有更强的可推广性。

本发明可同时实现渐变和突变的预测，具体通过以下步骤实现的：

(1)突变预测：使时空融合适用于突变预测是时空融合的难点。注意到预测时期低分辨率影像C₂包含了突变信息，然而该影像较低的空间分辨率导致此部分突变信息存在明显的信息缺失。因此，突变信息预测的关键在于对低分辨率影像C₂的空间细节信息的恢复。现有基于深度学习的时空融合方法多基于深度学习的超分辨率重建，然而时空融合任务中高-低分辨率影像空间分辨率差异较大常导致超分辨率重建结果中存在信息缺失，进一步恢复空间细节常需要采用附加的步骤如高通滤波等。为了直接使超分辨率重建结果中具有足够的空间细节而无需借助其他的辅助模块，本发明提出将空间细节信息加入至原始的超分辨率重建映射中构建空间信息映射。相较于原始的超分辨率重建，本发明构建的空间信息映射可直接恢复预测时期低分辨率影像的空间细节，从而保证了突变预测的有效性。

(2)渐变预测：为了实现渐变预测，本发明构建了时间变化映射。其实质是以深度学习建立自适应的权重系数替代原有的人为预定义的线性权重系数。由于引入了先验信息，本发明提出的时间变化映射相较于时空融合常采用的线性权重函数的方式在渐变预测方面具有更强的泛化能力。

2)本发明所提出的方法可以有效适用于云污染严重区域的时空融合。

云污染严重区域在预测时段内可能没有可利用的无云高-低分辨率影像对。

对于该情况，时空融合无法执行。

本发明针对该情况，设计了基于预测时段内的所有可利用的高分辨率影像生成无云高分辨率影像，进而与相同时期的低分辨率影像组成无云高-低分辨率影像对的策略。该策略保证了时空融合方法在预测时段内没有无云影像时的有效性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习的遥感影像时空融合方法，其特征在于，包括：

基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

2.根据权利要求1所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对，具体包括：

从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

3.根据权利要求2所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像，具体包括：

计算待重建高分辨率影像中的每个目标块P_t与辅助块数据集P_A内每一个辅助块相交的非缺失像元的相关系数，并取所述相关系数最大的辅助块作为目标辅助块；所述目标块为所述待重建高分辨率影像中的以缺失像元为中心的邻域块；所述辅助块为除所述待重建高分辨率影像外的所有高分辨率影像对应位置的邻域块；

根据所述目标辅助块以及所述目标块计算缺失像元值，并以所述缺失像元值替代缺失像元；

遍历所述待重建高分辨率影像中所有缺失像元，完成对所述待重建高分辨率影像中的缺失像元的重建，生成重建后的无云高分辨率影像。

4.根据权利要求3所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述训练好的融合网络具体包括：第一提取块、第一多尺度注意力块以及第一重建块；

将任一已知时期的高分辨影像输入至所述第一提取块，生成64个第一特征图；

获取两个不同时期的低分辨率影像，并将两个不同时期的低分辨率影像相减确定低分辨率影像增量；所述两个不同时期为所述任一已知时期相邻的前向已知时期以及后向已知时期；

将所述低分辨率影像增量以及所述任一已知时期的高分辨影像进行叠置后输入至所述第一多尺度注意力块，生成64个第二特征图；

将所述第一特征图以及所述第二特征图相加输入至所述第一重建块，生成渐变信息。

5.根据权利要求4所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述训练好的超分辨率重建网络具体包括：第二提取块、第三提取块、卷积层、第二多尺度注意力块以及第二重建块；

将任一已知时期的低分辨率影像输入至第二提取块，生成64个第三特征图；

将另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块，生成64个第四特征图；

将所述第三特征图以及所述第四特征图进行叠置后输入至所述卷积层，生成第五特征图；

将所述第五特征图输入至所述第二多尺度注意力块，生成第六特征图；

将所述第六特征图输入至所述第二重建块，生成突变信息。

6.根据权利要求5所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述前向预测结果为：

其中，

为前向预测结果，(x₀,y₀)为中心像元，B为影像波段，t₂为预测时期，p^spatial(x₀,y₀,B,t₂)为前向预测中的突变信息

的权重，p^temp(x₀,y₀,B,t₂)为前向预测中的渐变信息

的权重。

7.根据权利要求6所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述后向预测结果为：

其中，

为后向预测结果，p^spatial′(x₀,y₀,B，t₂)为后向预测中的突变信息

的权重，p^temp′(x₀，y₀,B，t₂)为后向预测中的渐变信息

的权重。

8.根据权利要求7所述的基于深度学习的遥感影像时空融合方法，其特征在于，所述最终的融合结果为：

其中，

为最终融合结果，p^fw(x₀，y₀，B，t₂)为所述前向预测结果的权重，p^bw(x₀，y₀，B，t₂)为所述后向预测结果的权重。

9.一种基于深度学习的遥感影像时空融合系统，其特征在于，包括：

无云高-低分辨率影像对构建模块，用于基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

融合网络以及超分辨率重建网络构建模块，用于建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

训练模块，用于利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

前向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

后向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

最终的融合结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

10.根据权利要求9所述的基于深度学习的遥感影像时空融合系统，其特征在于，所述无云高-低分辨率影像对构建模块具体包括：

筛选单元，用于从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

已知高分辨率影像获取单元，用于选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

重建后的无云高分辨率影像生成单元，用于分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

无云高-低分辨率影像对构建单元，用于获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

Images