CN112598590B - 基于深度学习的光学遥感时间序列影像重建方法及系统 - Google Patents

基于深度学习的光学遥感时间序列影像重建方法及系统 Download PDF

Info

Publication number
CN112598590B
CN112598590B CN202011504916.2A CN202011504916A CN112598590B CN 112598590 B CN112598590 B CN 112598590B CN 202011504916 A CN202011504916 A CN 202011504916A CN 112598590 B CN112598590 B CN 112598590B
Authority
CN
China
Prior art keywords
clustering
image
backward
remote sensing
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011504916.2A
Other languages
English (en)
Other versions
CN112598590A (zh
Inventor
周亚男
杨先增
杨丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202011504916.2A priority Critical patent/CN112598590B/zh
Publication of CN112598590A publication Critical patent/CN112598590A/zh
Application granted granted Critical
Publication of CN112598590B publication Critical patent/CN112598590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了遥感影像技术领域的一种基于深度学习的光学遥感时间序列影像重建方法及系统，能够对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。包括：对光学遥感影像序列进行预处理；目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，得到像元时间序列并进行非监督聚类，生成多个聚类区域；分别构建每个聚类区域的前后向循环神经网络预测模型For‑backward LSTM，并将每个聚类区域的像元时间序列分别划分为预测模型的训练样本集和预测样本集；训练预测模型并以预测样本集输入对应训练后的预测模型分别获得各聚类区域的预测数据；将各预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。

Description

基于深度学习的光学遥感时间序列影像重建方法及系统
技术领域
本发明属于遥感影像时间序列数据处理与重建技术领域，具体涉及一种基于深度学习的光学遥感时间序列影像重建方法及系统。
背景技术
作为强大的监测地球表面工具，遥感影像已经广泛应用于水资源调查、国土优化管理、城市化监测和农业生产与管理等领域。同单一时相的遥感影像相比，多时相影像能够进一步展示地表的动态变化和揭示地物的演化规律。然而由于受气象成像条件的影响，卫星光学传感器获取的遥感影像往往被云层及其阴影覆盖(特别是在多云多雨地区，如我国西南地区)。在这些光学遥感影像上，由于云层及其阴影的遮挡而难以获取真实的地面信息；这严重限制了光学遥感影像的应用。特别是对于多时相影像的遥感应用(如森林退化、作物生长、城市扩张和湿地流失等监测)，云层及其阴影(以下简称为云/影)所导致的数据缺失将延长影像获取的时间间隔、造成时序间隔不规则的问题，加大后续时间序列处理与分析的难度。
发明内容
为解决现有技术中的不足，本发明提供一种基于深度学习的光学遥感时间序列影像重建方法及系统，能够对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。
为达到上述目的，本发明所采用的技术方案是：一种基于深度学习的光学遥感时间序列影像重建方法，包括：对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；对像元时间序列进行非监督聚类，生成多个聚类区域；以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
进一步地，所述预处理包括对光学遥感影像序列进行几何配准、像元对齐和公共区域裁剪。
进一步地，所述掩膜值取像元值域范围外的数值。
进一步地，以循环神经网络LSTM为编码核心构建自动编码网络Autoencoder，对像元时间序列进行非监督聚类，具体包括：编码处理，将像元时间序列TS经由掩膜层后输入到层叠LSTM网络，生成时间序列的隐含的高层次特征z；解码处理，将隐含特征z输入到另一个层叠LSTM网络，在重建损失Lr最小的约束下还原输入的时间序列TS；聚类处理，将隐含特征z输入到一个聚类层，并在聚类损失Lc最小的约束下计算特征z的聚类概率；最后综合重建损失Lr与聚类损失Lc得到复合损失L，用于进行联合训练，实现对像元时间序列的非监督聚类。
进一步地，所述复合损失L为：
L＝Lr+αLc (3)
其中，α≥0是用于平衡重建损失和聚类损失的系数。
进一步地，所述聚类损失Lc为P与Q两个分布之间的KL散度，其中Q为t分布测定的软标签分布，P为衍生于Q的目标分布：
Figure GDA0003702768380000031
其中，pij是目标分布，qij是由t分布测定的隐含特征z与聚类中心μ之间的相似程度。
进一步地，重建损失Lr由均方误差表示：
Figure GDA0003702768380000032
其中，f和g分别为编码器和解码器的映射函数，n为聚类个数。
进一步地，所述根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集，具体为：若时序值不等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的训练样本集；若时序值等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的预测样本集。
一种基于深度学习的光学遥感时间序列影像重建系统，包括：第一模块，用于对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；第二模块，用于在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；第三模块，用于对像元时间序列进行非监督聚类，生成多个聚类区域；第四模块，用于以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；第五模块，用于分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；第六模块，用于将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
与现有技术相比，本发明所达到的有益效果：本发明通过引入掩膜技术来解决时序分析中间隔不等与时相不对其的问题，进而利用(前后向)LSTM循环神经网络提取时间序列的深层次的长时间依赖时序特征，提高时间序列修复的精度；实现对光学遥感影像上由于云层及其阴影的遮挡而导致的数据缺失进行准确重建。
附图说明
图1是本发明实施例提供的基于深度学习的光学遥感时间序列影像重建的主要流程框图；
图2是本发明实施例提供的基于深度学习的光学遥感时间序列影像重建的详细实现流程图；
图3是以LSTM为编码核心的自动编码网络LSTM-AE的非监督聚类的流程图；
图4是像元时间序列训练与预测样本集的划分示意图；
图5是前后向LSTM网络预测时间序列缺失值的流程图；
图6是采用本实施所述方法对某地Landsat影像时间序列修复的效果示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的思路为：首先对实验区的光学遥感时间序列影像进行预处理，并目视绘制每一帧影像的云/影掩膜，构建每个像元含有缺失值的时间序列曲线；然后利用以循环神经网络为编码核心的自动编码网络对时间序列像元进行非监督聚类，生成多个相似的影像区域；接着对每个聚类影像区域和缺失时相，构建前后向循环神经网络模型，并预测像元时间序列中的缺失值；最后将每一帧影像中云/影区域的预测值与无云/影像区域进行合并，重建实验区的时间序列影像。
实施例一：
一种基于深度学习的光学遥感时间序列影像重建方法，包括：对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；对像元时间序列进行非监督聚类，生成多个聚类区域；以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
步骤一：对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；需要选定某一时间段内的时间序列光学影像(本实施例选用2015年覆盖某区域的22帧LandsatOLI时间序列影像)，并对多时相影像进行几何配准、像元对齐以及公共(重叠)区域裁剪等预处理。
步骤二：在预处理影像序列的每一帧影像上目视绘制掩膜区域(即云/影覆盖区域)，并将掩膜区域的像元值设为掩膜值(掩膜值取像元值域范围外的数值，如9999)并保持非掩膜区域(即非云/影覆盖区域)的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列。
步骤三：对像元时间序列进行非监督聚类，生成多个聚类(相似像元)区域；以循环神经网络LSTM为编码核心构建自动编码网络Autoencoder(LSTM-AE)，将深度学习掩膜层(Mask Layer)引入到LSTM-AE网络来突破时序分析中等时间间隔与时相对齐的限制，对像元时间序列进行非监督聚类，实现含有缺失值的时间序列聚类(寻找相似像元)。
步骤四：以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；
训练样本集和预测样本集的划分，具体为：若时序值不等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的训练样本集；若时序值等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的预测样本集。
步骤五：分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；通过预测数据对预测样本集的缺失时相值进行修补。
步骤四和步骤五需要为所有聚类区域与所有缺失时相分别建立预测模型、划分样本、训练模型与预测缺失值；步骤五中将掩膜层(Mask Layer)技术引入到For-backwardLSTM网络来突破时序分析中等时间间隔与时相对齐的限制，实现含有缺失值的时间序列预测(时序缺失值修复)；在步骤五中需要结合前向LSTM模型与后向LSTM模型来整合特定时相的前向时间序列趋势信息与后向时间序列趋势信息来提高模型预测的精度。
步骤六：将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
在遥感影像时间序列修复的查找(聚类)相似像元和预测缺失时序值两个主要步骤中，引入掩膜层来解决时序分析中间隔不等与时相不对其的问题，进而利用(前后向)LSTM循环神经网络提取时间序列的深层次的长时间依赖时序特征，提高时间序列修复的精度。本实施例所涉及的光学影像时间序列修复方法不仅适用于Landsat系列影像，也适用于其他多时相光学影像，如欧空局哨兵2号光学影像、国产高分1/6号宽视场光学影像等。
如图1、图2所示，是光学遥感影像时间序列重建的方法示意图，其中在影像预处理与云掩膜绘制步骤中，对每帧影像依次进行辐射校正、影像几何配准、像元对齐、公共区域裁剪等处理，并目视绘制其云/影掩膜(作为新的波段，1表示无云/影覆盖、0表示被云/影覆盖)；在像元时间序列聚类步骤中，以LSTM为编码核心的自动编码网络对含有缺失值的像元时间序列进行聚类，生成多个聚类区域(每个聚类区域都将独立地进行后续的时序修复)；在像元时间序列缺失值预测步骤中，根据待修复时相的时序值划分聚类区域的时间序列像元为训练集与预测集，并利用训练集训练For-backward LSTM网络，预测每个预测集的时序缺失值。
如图2所示，包含序列影像预处理与云掩膜绘制、像元时间时间序列(含缺失值)构建、像元时间序列聚类、前后向For-backward LSTM时序预测模型与时序缺失值预测、预测值与无云/影区域合并等五个实现单元。
在序列影像预处理与云掩膜绘制中。影像预处理中，首先对每帧影像进行辐射校正以降低辐射误差对后续处理的影响；然后选择时间序列中某一时相影像为参考影像，利用人工或自动选择的同名点与多项式模型对其他时相影像进行几何配准，并将其他时相影像重采样到与参考影像相同的像元网格中实现多时相影像像元坐标对齐；最后对时间序列影像的公共区域进行裁剪，生成待修复的影像区域。云/影掩膜绘制中，对预处理后的多时相影像进行云/影检测、目视绘制影像的云/影区域，并生成掩膜波段(像元值1表示无云/影覆盖、0表示被云/影覆盖)附加到影像上。
在像元时间序列构建中。在云/影掩膜中利用掩膜波段m表示像元p是否被云/影覆盖，则对时相为j的影像的第i波段的(x,y)位置上像元p的掩膜像元值定义为mp：
Figure GDA0003702768380000091
其中，mv为时序影像的掩膜值，本实施例中将其设定为一个极大值以表示被云/影覆盖(比如9999)。到此构建了影像第i波段的(x,y)位置像元的时间序列TS。在后续的处理中，这将作为时间序列重构的基本单元：
Figure GDA0003702768380000092
如图3所示，在以LSTM为编码核心的自动编码网络LSTM-AE的非监督时序聚类中。聚类主要包括编码、解码和聚类三个部分：
编码处理，将像元时间序列TS经由掩膜层后输入到层叠LSTM网络(本实施例中设置为4层)，生成时间序列的隐含的高层次特征z；
解码处理，将隐含特征z输入到另一个层叠LSTM网络(本实施例中设置为4层)，在重建损失Lr最小的约束下还原输入的时间序列TS；
聚类处理，将隐含特征z输入到一个聚类层，并在聚类损失Lc最小的约束下计算特征z的聚类概率；
最后综合重建损失Lr与聚类损失Lc得到复合损失L，用于进行联合训练，实现对像元时间序列的非监督聚类。
复合损失L为：
L＝Lr+αLc (3)
其中，α≥0是用于平衡重建损失和聚类损失的系数。
聚类损失Lc为P与Q两个分布之间的KL散度，其中Q为t分布测定的软标签分布，P为衍生于Q的目标分布：
Figure GDA0003702768380000101
其中，pij是目标分布，qij是由t分布测定的隐含特征z与聚类中心μ之间的相似程度。
重建损失Lr由均方误差表示：
Figure GDA0003702768380000102
其中，f和g分别为编码器和解码器的映射函数，n为聚类个数。
如图4所示，在像元时间序列训练与预测样本集的划分中。由于云/影出现的随机性，需要对像元时间序列的任意时相t进行数据预测以重建时序；为修复某一像元聚类区域的时间序列，需将该聚类的时序像元划分到训练集与预测集。对于像元(x,y)的时间序列TS，根据其时相t的云/影掩膜波段值mp(x,y)进行划分；如果mp！＝mv，表明像元t时相未被云/影覆盖，将该像元时间序列划分到训练；如果mp＝mv，表明像元t时相被云/影覆盖而需要修复，将该像元时间序列划分到测试集。
如图5所示，在前后向For-backward LSTM网络预测时间序列缺失值中。For-backward LSTM模型将综合利用时间序列中t时相的前向趋势信息和后向趋势信息，因此需在t时相将像元时间序列划分为两个子序列。对训练集与预测集中任意像元时间序列TS，将其在时相t处分割为长度为t的前向子序列fTS、长度为T-t-1的后向子序列bTS和训练/预测值mp。划分后的像元时间序列如下所示：
Figure GDA0003702768380000111
在For-backward LSTM网络预测模型中。首先在前向预测中，将前向时间子序列fTS顺次输入经过一个掩膜层、一个层叠LSTM网络和一个全连接层，生成前向时序特征ff；然后依照相似的网络结构，利用后向时间子序列bTS生成后向时序特征bf；最后将前向时序特征ff和后向时序特征bf进行连接并输入到一个全连接层，生成最终的预测值。在本发明的层叠LSTM网络含有4个LSTM层、每层含有32个隐神经元，前向和后向时序特征长度分别设定为前向和后向时间子序列长度的8倍。
图6示意了利用本实施例的方法实施的某地Landsat影像时间序列修复的效果，其中(a)-(l)影像的云/影覆盖率分别为0.25、0.43、0.92、0.89、0.42、0.32、0.62、0.26、0.10、0.66、0.91、0.55。从整体修复效果来看，本实施例方法的时间序列重建影像能够表达地表的动态变化，也能修复不同云/影覆盖率和不同分布位置的时序缺失值。
本发明的实例是在PC平台上实现的。经实验证明，本发明方法能够准确预测和修复多时相影像中的缺失值，并生成更高精度的时间序列影像(本发明所给实例时间序列影像的重建精度可达相关系数0.96)。本实施例所提及的方法可广泛应用于光学遥感影像的时间序列处理与分析、时间序列分类与识别等过程中，如作物种植结构调查、作物产量预估等遥感应用。
实施例二：
基于实施例一所述的基于深度学习的光学遥感时间序列影像重建方法，本实施例提供一种基于深度学习的光学遥感时间序列影像重建系统，包括：
第一模块，用于对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；
第二模块，用于在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；
第三模块，用于对像元时间序列进行非监督聚类，生成多个聚类区域；
第四模块，用于以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；
第五模块，用于分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；
第六模块，用于将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于深度学习的光学遥感时间序列影像重建方法，其特征是，包括：
对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；
在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；
对像元时间序列进行非监督聚类，生成多个聚类区域；
以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集；
分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；
将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
2.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述预处理包括对光学遥感影像序列进行几何配准、像元对齐和公共区域裁剪。
3.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述掩膜值取像元值域范围外的数值。
4.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，以循环神经网络LSTM为编码核心构建自动编码网络Autoencoder，对像元时间序列进行非监督聚类，具体包括：
编码处理，将像元时间序列TS经由掩膜层后输入到层叠LSTM网络，生成时间序列的隐含的高层次特征z；解码处理，将隐含特征z输入到另一个层叠LSTM网络，在重建损失Lr最小的约束下还原输入的时间序列TS；聚类处理，将隐含特征z输入到一个聚类层，并在聚类损失Lc最小的约束下计算特征z的聚类概率；最后综合重建损失Lr与聚类损失Lc得到复合损失L，用于进行联合训练，实现对像元时间序列的非监督聚类。
5.根据权利要求4所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述复合损失L为：
L＝Lr+αLc (3)
其中，α≥0是用于平衡重建损失和聚类损失的系数。
6.根据权利要求4或5所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述聚类损失Lc为P与Q两个分布之间的KL散度，其中Q为t分布测定的软标签分布，P为衍生于Q的目标分布：
Figure FDA0003702768370000021
其中，pij是目标分布，qij是由t分布测定的隐含特征z与聚类中心μ之间的相似程度。
7.根据权利要求4或5所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，重建损失Lr由均方误差表示：
Figure FDA0003702768370000031
其中，f和g分别为编码器和解码器的映射函数，n为聚类个数。
8.根据权利要求1所述的基于深度学习的光学遥感时间序列影像重建方法，其特征是，所述根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backward LSTM的训练样本集和预测样本集，具体为：若时序值不等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的训练样本集；若时序值等于掩膜值，则将该像元时间序列划分为对应聚类区域的前后向循环神经网络预测模型For-backward LSTM的预测样本集。
9.一种基于深度学习的光学遥感时间序列影像重建系统，其特征是，包括：
第一模块，用于对给定区域的光学遥感影像序列进行预处理，得到预处理影像序列；
第二模块，用于在预处理影像序列的每一帧影像上目视绘制掩膜区域，并将掩膜区域的像元值设为掩膜值并保持非掩膜区域的像元值不变，为每一个像元构建含有掩膜值的时间序列曲线，得到像元时间序列；
第三模块，用于对像元时间序列进行非监督聚类，生成多个聚类区域；
第四模块，用于以每个聚类区域的特定时相影像的重建为目标，分别构建每个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并根据特定时相是否为掩膜值将每个聚类区域的像元时间序列分别划分为前后向循环神经网络预测模型For-backwardLSTM的训练样本集和预测样本集；
第五模块，用于分别利用各自的训练样本集来训练各个聚类区域的前后向循环神经网络预测模型For-backward LSTM，并以各自的预测样本集输入对应训练后的前后向循环神经网络预测模型For-backward LSTM分别获得各聚类区域的预测数据；
第六模块，用于将各聚类区域的预测数据与对应的非掩膜区域合并，生成多时相遥感影像的重建序列。
CN202011504916.2A 2020-12-18 2020-12-18 基于深度学习的光学遥感时间序列影像重建方法及系统 Active CN112598590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011504916.2A CN112598590B (zh) 2020-12-18 2020-12-18 基于深度学习的光学遥感时间序列影像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011504916.2A CN112598590B (zh) 2020-12-18 2020-12-18 基于深度学习的光学遥感时间序列影像重建方法及系统

Publications (2)

Publication Number Publication Date
CN112598590A CN112598590A (zh) 2021-04-02
CN112598590B true CN112598590B (zh) 2022-08-12

Family

ID=75199363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011504916.2A Active CN112598590B (zh) 2020-12-18 2020-12-18 基于深度学习的光学遥感时间序列影像重建方法及系统

Country Status (1)

Country Link
CN (1) CN112598590B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392166B (zh) * 2021-06-11 2022-10-21 河南工业大学 一种遥感时序数据聚类方法
CN115565085B (zh) * 2022-12-05 2023-03-17 中国科学院空天信息创新研究院 遥感图像密集时间序列数据构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524064A (zh) * 2020-03-11 2020-08-11 浙江大学 基于深度学习的荧光显微图像超分辨重建方法
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN111898503A (zh) * 2020-07-20 2020-11-06 中国农业科学院农业资源与农业区划研究所 基于云覆盖遥感影像和深度学习的作物识别方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664979B2 (en) * 2018-09-14 2020-05-26 Siemens Healthcare Gmbh Method and system for deep motion model learning in medical images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524064A (zh) * 2020-03-11 2020-08-11 浙江大学 基于深度学习的荧光显微图像超分辨重建方法
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN111898503A (zh) * 2020-07-20 2020-11-06 中国农业科学院农业资源与农业区划研究所 基于云覆盖遥感影像和深度学习的作物识别方法和系统

Also Published As

Publication number Publication date
CN112598590A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
Veillette et al. Sevir: A storm event imagery dataset for deep learning applications in radar and satellite meteorology
CN112598590B (zh) 基于深度学习的光学遥感时间序列影像重建方法及系统
CN114926746A (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
Dai et al. RADANet: Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images
CN116309150B (zh) 一种sar辅助下光学遥感影像修复方法
CN111982822A (zh) 一种长时间序列高精度植被指数改进算法
CN116486255A (zh) 自注意力特征融合的高分辨率遥感影像语义变化检测方法
Yang et al. MSFusion: Multistage for remote sensing image spatiotemporal fusion based on texture transformer and convolutional neural network
CN116484189A (zh) 一种基于深度学习的era5降水产品降尺度方法
CN115240066A (zh) 基于深度学习的遥感影像矿区复绿监测方法及系统
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114140357A (zh) 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN113223065A (zh) Sar卫星图像与光学图像自动匹配方法
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN113642676B (zh) 基于异构气象数据融合的区域电网负荷预测方法和装置
CN111666849B (zh) 多视角深度网络迭代进化的多源遥感影像水体检测方法
CN112967309A (zh) 一种基于自监督学习的视频目标分割方法
CN114764880B (zh) 多成分gan重建的遥感图像场景分类方法
Chen et al. Statistic Ratio Attention Guided Siamese U-Net for SAR Image Semantic Change Detection
CN114298945B (zh) 一种基于构建虚拟影像的光学遥感影像厚云去除方法
CN117528233B (zh) 变焦倍数识别及目标重识别数据集制作方法
Xu et al. High–Low frequency reduction model for real-time change detection and coregistration in location discrepancy sensing images
CN118227985A (zh) 基于马尔科夫扩散方式的新能源负荷数据重建方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant