CN118135213A - 基于时序遥感迭代的实时外推去云方法和系统 - Google Patents

基于时序遥感迭代的实时外推去云方法和系统 Download PDF

Info

Publication number
CN118135213A
CN118135213A CN202410163632.3A CN202410163632A CN118135213A CN 118135213 A CN118135213 A CN 118135213A CN 202410163632 A CN202410163632 A CN 202410163632A CN 118135213 A CN118135213 A CN 118135213A
Authority
CN
China
Prior art keywords
cloud
image
remote sensing
images
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410163632.3A
Other languages
English (en)
Inventor
闪耀
张锦水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Publication of CN118135213A publication Critical patent/CN118135213A/zh
Pending legal-status Critical Current

Links

Abstract

本申请涉及图像数据处理技术领域，提供一种基于时序遥感迭代的实时外推去云方法和系统。该方法针对历史时序遥感影像，通过执行基于时序遥感迭代的实时外推去云策略，每一次迭代均执行：通过训练数据更新时序外推模型，并利用该模型预测下一时间点处的遥感影像，然后将预测得到的下一时间点处的遥感影像动态追加到训练数据中，以更新训练数据的内容，进而能够推测出当前时刻下的无云影像。通过时间序列上的迭代，能够在云覆盖频率下高的地区，实时、准确地获取当前时刻的多云影像重建结果，并能够有效地增加样本的时空可利用性，得到具有更长时间序列的样本，获得更好的去云效果。

Description

基于时序遥感迭代的实时外推去云方法和系统
技术领域
本申请涉及图像数据处理技术领域，特别涉及一种基于时序遥感迭代的实时外推去云方法、系统、计算机可读存储介质和电子设备。
背景技术
长期以来，云与云造成的云阴影是制约光学遥感影像完备性的一大自然因素。
在遥感影像缺失数据重建、云和云阴影的去除领域，从方法论上，当前可以分为空间和时间两类。基于空间维度的方法，是在空间上重建缺失影像数据可以在单幅影像的基础上，通过寻找相似像素、或建立像素与像素之间的关系来实现重建，比如线性加权回归(Weighted Linear Regression，WLR)、局部最小直方图匹配(Local Linear HistogramMatch，LLHM)、邻近相似像元插值(Neighborhood Similar Pixel Interpolator，NSPI；Modified Neighborhood Similar Pixel Interpolator，mNSPI)等，但在地表异质性较高、相似像元不足情况下，仅以单景影像为基础进行缺失数据重建较为困难。基于时间维度的重建则通过时间序列曲线的特征，利用时间序列平滑和插值的方法可以对缺失像素值进行估计，主流的方法有Savitzky-Golay滤波、双逻辑斯蒂函数拟合、非对称高斯(AsymmetricGaussian，AG)函数拟合、最佳指数斜率提取(Best Index Slope Extraction，BISE)方法等，可以先基于平滑函数对时间序列进行处理，再根据相邻时刻进行缺失时刻插值。
然而，现有的上述方法对整个时间序列进行插值，需要获得从开始到结束整个时间序列的特征，来实现云去除、以获取更加密集的时间序列，因此需要收集缺失时相前后两侧的时间序列信息。但在实际业务应用中，人们往往希望实时地重建当前含云时相的影像，以快速地获得当前时刻下含云的修复数据。在这种需求背景下，利用缺失时相以后的时间序列是不现实的，所需要修复的缺失像素只能从该时相之前的时间序列样本中推导得到。
为此，一些技术中，利用深度学习方法，通过时间序列的趋势信息，外推预测时间序列在未来的变化。在多数的研究区，该深度学习方法能够及时预测出当前时间需要的无云影像，但是，在一些特殊的区域，例如亚热带湿润气候区域，由于纬度位置和气候因素的影响，导致这些区域全年的无云影像景数过少，无法为深度学习方法提供大量的训练样本，进而无法及时获得当前时刻下准确的云修复数据。
因此，需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本申请的目的在于提供一种基于时序遥感迭代的实时外推去云方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。
为了实现上述目的，本申请提供如下技术方案：
本申请提供了一种基于时序遥感迭代的实时外推去云方法，所述方法用于去除目标研究区当前时间点的有云影像中的云区域，包括：
获取测试研究区、目标研究区的历史时序遥感影像；所述测试研究区的时序遥感影像中有云影像出现的频率小于所述目标研究区的历史时序遥感影像中有云影像出现的频率；
根据所述目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从所述测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将所述测试研究区的历史时序遥感影像中除所述第一时序无云影像之外的其他遥感影像记为测试有云影像；
基于所述目标研究区的历史时序遥感影像中有云影像提取所述目标研究区的云掩膜数据；
基于所述目标研究区的云掩膜数据，在所述测试研究区的所述测试有云影像中生成模拟的云掩膜，并记录所述模拟的云掩膜的区域内的各个像元的原始值，作为所述模拟的云掩膜的区域内的各个像元的真实值；
针对所述测试研究区的历史时序遥感影像，以所述第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，所述第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
将所述训练数据输入到时序外推模型中进行训练；所述时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
依据所述测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；
若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的所述时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中所述云掩膜的区域内的各个像元的预测值；
将预测后的遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
当获得所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行所述时序迭代步骤；
根据所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；
若所述误差小于预设的误差阈值，则针对所述目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行所述时序迭代步骤，以获得所述目标研究区的当前时间点的无云影像。
优选地，所述目标研究区的历史时序遥感影像中，有云影像的数量与全部历史时序遥感影像的数量的比例大于等于90％。
优选地，所述测试研究区有多个。
优选地，所述测试研究区、目标研究区的历史时序遥感影像均为中分辨率影像(空间分辨率10-100m，时间分辨率1-20d)，且所述测试研究区、目标研究区的历史时序遥感影像至少包括红、绿、蓝、近红外和短波红外波段。
优选地，所述时序外推模型的编码器包括第一LSTM细胞单元，所述编码器用于将所述训练数据转换为语义编码；
所述时序外推模型的解码器包括第二LSTM细胞单元，所述解码器用于将所述语义编码解码为输出结果。
优选地，在将所述训练数据输入到时序外推模型中进行训练之前，该方法还包括：对所述测试研究区、目标研究区的历史时序遥感影像进行归一化处理。
优选地，在根据所述模拟云掩膜的区域内的各个像元的真实值和预测值，计算误差之后，所述方法还包括：
将所述误差与传统LSTM模型的预测误差进行对比分析，以确定所述误差满足预设精度需求。
本申请实施例提供一种基于时序遥感迭代的实时外推去云系统，所述系统用于去除目标研究区当前时间点的有云影像中的云区域，包括：
获取单元，配置为获取测试研究区、目标研究区的历史时序遥感影像；所述测试研究区的时序遥感影像中有云影像出现的频率小于所述目标研究区的历史时序遥感影像中有云影像出现的频率；
选择单元，配置为根据所述目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从所述测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将所述测试研究区的历史时序遥感影像中除所述第一时序无云影像之外的其他遥感影像记为测试有云影像；
提取单元，配置为基于所述目标研究区的历史时序遥感影像中有云影像提取所述目标研究区的云掩膜数据；
模拟云单元，配置为基于所述目标研究区的云掩膜数据，在所述测试研究区的所述测试有云影像中生成模拟的云掩膜，并记录所述模拟的云掩膜的区域内的各个像元的原始值，作为所述模拟的云掩膜的区域内的各个像元的真实值；
迭代执行单元，配置为针对所述测试研究区的历史时序遥感影像，以所述第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，所述第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
将所述训练数据输入到时序外推模型中进行训练；所述时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
依据所述测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；
若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的所述时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；
将预测后的遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
当获得所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行时序迭代步骤；
误差分析单元，配置为根据待预测影像序列中所有云掩膜的区域内的各个像元的预测值和的真实值，计算误差；若所述误差小于预设的误差阈值，则针对所述目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行所述时序迭代步骤，以获得所述目标研究区的当前时间点的无云影像。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一实施例所述的方法。
本申请实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一实施例所述的方法。
本申请实施例的技术方案具有如下有益效果：
本申请提供的基于时序遥感迭代的实时外推去云方法中，针对有云影像出现的频率较大目标研究区，通过选择与该目标研究区的种植作物类型、土地覆盖类型或者地貌类型相同或者相近似的测试研究区，在测试研究区生成模拟云掩膜，以模拟出目标研究区的有云影像，同时记录测试研究区的各个像元的原始值，作为真实值，进而得到测试研究区的大量训练样本，为验证所述方法的准确性、可行性奠定基础。在此基础上，针对测试研究区的历史时序遥感影像进行时序遥感迭代，每一次迭代均执行：通过训练数据更新时序外推模型，并利用该模型预测下一时间点处的遥感影像，然后将预测得到的下一时间点处的遥感影像动态追加到训练数据中，以更新训练数据的内容，进而能够推测出当前时刻下的无云影像，并在误差收敛的情况下将该方法应用到目标研究区。这样，即便是目标研究区因气候、纬度等因素终年被云覆盖，也能够使用该方法及时推测得到准确的无云影像，为高云频率、无云影像获取困难现实背景下的遥感应用奠定数据基础。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
图1为根据本申请的一些实施例提供的在测试研究区使用基于时序遥感迭代的实时外推去云方法的流程示意图。
图2为根据本申请的一些实施例提供的在目标研究区使用基于时序遥感迭代的实时外推去云方法的流程示意图。
图3为根据本申请的一些实施例提供的时序外推模型的结构示意图。
图4为根据本申请的一些实施例提供的LSTM细胞单元的逻辑示意图。
图5为传统LSTM的迭代外推的逻辑示意图。
图6为根据本申请的一些实施例提供的时序外推模型的迭代外推的逻辑示意图。
图7为根据本申请的一些实施例提供的在测试研究区A使用传统LSTM方法与本申请的时序外推模型误差对比示意图。
图8为根据本申请的一些实施例提供的在测试研究区B使用传统LSTM与本申请的时序外推模型误差对比示意图。
图9为根据本申请的另一些实施例提供的在测试研究区B使用传统LSTM与本申请的时序外推模型误差对比示意图。
图10为根据本申请的一些实施例提供的在目标研究区使用本申请的时序外推模型的去云效果示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。
在以下描述中，所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。
示例性方法
本申请实施例提供一种基于时序遥感迭代的实时外推去云方法，该方法用于去除目标研究区当前时间点的有云影像中的云区域，如图1～2所示，该方法包括：
步骤S1、获取测试研究区、目标研究区的历史时序遥感影像。
其中，测试研究区与目标研究区的种植作物类型、土地覆盖类型或者地貌类型相同或者相近似，且测试研究区的时序遥感影像中有云影像出现的频率小于目标研究区的历史时序遥感影像中有云影像出现的频率。
步骤S2、根据目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将测试研究区的历史时序遥感影像中除第一时序无云影像之外的其他遥感影像记为测试有云影像。
步骤S3、基于目标研究区的历史时序遥感影像中有云影像提取目标研究区的云掩膜数据。
步骤S4、基于目标研究区的云掩膜数据，在测试研究区的测试有云影像中生成模拟的云掩膜，并记录模拟的云掩膜的区域内的各个像元的原始值，作为模拟的云掩膜的区域内的各个像元的真实值。
步骤S5、针对测试研究区的历史时序遥感影像，以第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
步骤S51、将训练数据输入到时序外推模型中进行训练；时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
步骤S52、依据历史时序遥感影像确定下一时间点处的遥感影像；
步骤S53、若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤，即步骤S51；
步骤S54、若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；
步骤S55、将预测后的遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤，即步骤S51；
步骤S56、当获得待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行时序迭代步骤。
步骤S6、根据待预测影像序列中所有云掩膜的区域内的各个像元的真实值和预测值，计算误差。
步骤S7、若误差小于预设的误差阈值，则针对目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行步骤S51～步骤S56的时序迭代步骤，以获得目标研究区的当前时间点的无云影像。
需要说明的是，本申请所述无云影像，指的是不受云层/云阴影遮挡的遥感影像，相应地，有云影像指的是部分区域被云层/云阴影遮挡的遥感影像。云层对地表光谱反射产生遮挡、使遥感器获取不到云覆盖下的地表信息，云带来的阴影也会造成地表反射率改变，给地表信息的准确获取带来困难，使得以光学时间序列为基础的地表变化的应用研究面临严重数据制约。
获取无云影像通常需要在合适的气象条件下拍摄影像，若气象条件不佳，云层过多，受阻的区域无法获得准确的遥感信息，因此，如何获取无云的、高质量的影像，以提供清晰的地表信息，是遥感图像处理领域长期关注的问题。
本申请实施例提供的上述方法，主要应用于去除目标研究区当前时间点的有云影像中的云区域，特别是在指定时期内有云影像出现的频率较大或者被云/云阴影覆盖的面积较大的区域，例如，本申请提供的方法特别适合用于目标研究区属于亚热带湿润气候的区域，例如，我国贵州、云南等省份，这些地区全年湿热多雨，导致很多遥感影像几乎完全被云覆盖，不可利用，并且使用现有的方法也无法获得理想的去云效果。
例如，在大部分季风气候、亚热带湿润气候区的农作物种植区的遥感应用场景中，作物生长期集中于夏季，此时既是作物物候转变和长势变化迅速的时期，也是阴雨频繁，遥感影像受云阴影影响显著的时期，云阴影的影响带来了光学影像的数据缺失，制约了农作物生长期内的遥感监测。
此外，本申请的目标还包括及时获取当前时间点的无云影像，传统的基于时间或空间的预测方法无法达到该目标，故，本申请提出基于时序遥感迭代的实时外推去云方法是基于时间循环神经网络方法来对当前时间点云/云阴影覆盖的影像进行预测。
为解决神经网络因训练数据不足导致预测不准确的问题，本申请采用时序遥感迭代的实时外推策略，该策略的基本思想是：将无云影像和有云影像构成的时序影像序列输入到时间循环神经网络中，使用当前时刻的测试样本的输出作为下一时刻训练样本的一部分，用于预测下一时刻的有云影像。这样，通过时间序列上的迭代，解决多云区域遥感影像时间序列过于稀疏、样本利用程度不足的问题，将原有的样本从稀疏的、无云的时间序列扩大到密集的、含云的时间序列。
由于目标研究区存在大量被云层遮挡的影响，直接将时序遥感迭代的实时外推策略应用到目标研究区，将无法确定该方法预测结果的准确性和可行性，故，本申请实施例在将该策略应用到目标研究区之前，先选择测试研究区对目标研究区的情况进行模拟。
这里，为确保该方法能够应用于目标研究区，测试研究区与目标研究区之间应当满足一定的条件，例如，可以是种植作物类型相同或者相近似，比如二者均种植双季稻，或者二者均大面积种植玉米等；也可以是土地覆盖类型相同或相近似，例如二者均包含一定面积的湿地、林地等，还可以是地貌类型相同或者相近似，例如二者均为丘陵地貌等。
其中，为了能够进行预测准确度和精度分析，测试研究区还应当分布在气候条件较好的地区，这样能够确保在测试研究区大部分时间能够获得高质量无云影像，换言之，良好的气候条件能够保证测试研究区的时序遥感影像中有云影像出现的频率小于目标研究区的历史时序遥感影像中有云影像出现的频率。
需要说明的是，本实施例所述的频率，指的是一段时间范围内的遥感影像中，有云影像的数量相对于该时间范围内遥感影像总数的比值。目标研究区的历史时序遥感影像中有云影像在时间轴上出现的频率相对较高，云覆盖频繁，也可以理解为，在目标研究区的历史时序遥感影像中，无云影像的数量占总影像数量的比例相对较低，有云影像的数量占比相对较高。
还应当注意，在目标研究区的各幅遥感影像中，可能存在一些完全被云遮挡或者绝大部分被云遮挡、例如单幅遥感影像被云遮挡的面积达到60％以上，对该类遥感影像，由于缺乏足够的训练样本，在云区难以进行像素级的地表反射率预测，不容易开展实验，需要通过目视判断进一步将其删除。
本实施例中，测试研究区、目标研究区的历史时序遥感影像可以是哨兵-2遥感影像，也可以是Landsat遥感影像，还可以是其他类型的遥感影像，对于遥感影像的类型，需能够有效识别有云与无云的特征，本申请对具体类型不作限定。且，上述遥感影像的获取方法是本领域常识，在此不作赘述。
在步骤S2中，首先分析目标研究区的历史时序遥感影像中无云影像的情况，包括无云影像的数量、占比、时序分布等。其中，无云影像的数量、占比可以通过统计分析的方法获得，时序分布可以通过时序分析方法，例如时间序列图、趋势分析方法等获得，本申请对上述属性的获取方式不作限定。
在时序预测过程中，无云影像的分布以及影像质量对预测结果的精度存在较大的影响，因此，本实施例在获取目标研究区的历史时序遥感影像中无云影像的情况后，根据目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，以使得二者的无云影像数量以及时序分布相匹配。
上述从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像，测试研究区的历史时序遥感影像中其余的影像记为测试有云影像，测试有云影像用于模拟目标研究区的云/云阴影遮挡区域。
为了准确模拟目标研究区的云形态和云分布，步骤S3对目标研究区的云掩膜进行提取，以获得目标研究区的云掩膜数据。
本实施例中，使用目标研究区的历史时序遥感影像相应时间段的云掩膜产品来生成云掩膜数据，例如，可以使用Google Earth Engine平台中发布的Sentinel-2云掩膜产品，该云掩膜产品是s2cloudless算法生产的云概率图像。
本实施例中，提取目标研究区的云掩膜数据可以通过如下步骤实现：首先，确定一个云掩膜概率阈值，该阈值例如可以是15，然后，基于该云掩膜概率阈值对云概率图像进行二值化处理，通过目视判读，确保完全去除影像中的云和云阴影，接着，对二值化后的云概率图像进行严格的人工目视解译，以确保目标研究区内所有含云和云阴影的像素都已被制作成云掩膜数据。
在获得云掩膜数据之后，通过步骤S4在测试研究区生成模拟云掩膜，以实现目标研究区与测试研究区的有云影像分布与云形态的同步，保证测试研究区的预测结论与目标研究区相匹配。
具体地，将目标研究区的云掩膜数据应用到测试研究区，可以直接将二者的历史时序遥感影像中时间段相互匹配的云掩膜数据应用至测试研究区，同时，为了使测试研究区与目标研究区的历史时序遥感影像能够更好地在时间上对齐，还可以先对云掩膜数据进行翻转、镜像、平移等操作。
在生成模拟云掩膜的同时，还需要记录测试研究区模拟云掩膜覆盖区域范围内各个像元的原始值，该原始值作为模拟云掩膜的区域内的各个像元的真实值，用于后续计算预测结果的误差，以评估该方法的预测精度。
实际应用中，由于目标研究区存在大量被云遮挡的区域，想要获取目标研究区的遥感影像的真实像素值几乎是不可能的，故本实施例通过选取与目标研究区地形地貌、土地覆盖和/或农作物种植相近或相同，且气候条件好、能够获得高质量无云影像的地区作为测试研究区，通过测试研究区来模拟目标研究区的场景，使用本实施例提供的方法对测试研究区进行时序遥感迭代，来研究通过时间序列信息去云、重建缺失像素的可行性。
在步骤S5中，将测试研究区的历史时序遥感影像作为时序外推模型的输入数据，通过时序外推模型的时序迭代，并在训练的过程中不断使用测试样本扩充训练数据，进而获得当前时间点的预测影像，即去云影像。
应当理解，这里的测试研究区的历史时序遥感影像，包括第一时序无云影像以及测试有云影像，第一时序无云影像用于模拟目标研究区中的无云影像分布，测试有云影像用于模拟目标研究区的有云影像的分布和形态等特征。不是一般性地，将第一时序无云影像称为无云影像序列，将测试有云影像称为待预测影像序列，待预测影像序列包括云覆盖区域，即云掩膜区，对于测试研究区而言，该云掩膜区是模拟出来的，对于目标研究区而言，该云掩膜区是真实存在的云覆盖区，需要使用时序外推模型来获得云掩膜区内各个像元的预测值。
本实施例中，时序外推模型是一个时间循环神经网络，具体地，该时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型，也就是说，该模型为Encoder-Decoder结构的LSTM，其中，编码器用于对输入的数据编码为固定长度的语义向量，该语义向量作为中间表示传递给解码器，而解码器用于将语义向量解码为预期的输出结果，LSTM通过引入门控单元，能够克服传统网络在时序后向传播中的误差，能够避免梯度消失与爆炸，即使在噪声，不可压缩的输入序列，也不会出现短时损失。
迭代开始时，首先查找无云影像序列中的第一幅无云影像，将该第一幅无云影像对应的时间点作为初始的迭代时间点，该第一幅无云影像中所有的像元作为初始的训练数据，输入时序外推模型进行训练，获得该本轮迭代的训练后的模型。
然后，依据历史时序遥感影像中的时间顺序，确定下一个时间点处的遥感影像，主要是需要确定该遥感影像的类别是属于无云影像还是有云影像。
若下一个时间点处的遥感影像属于无云影像，则直接将该无云影像追加到训练数据中，以扩充训练数据的内容，并进入下一个时间点执行模型训练和预测的迭代过程。
若下一个时间点处的遥感影像属于有云影像，即待预测影像，使用该训练后的模型对下一个时间点的遥感影像进行预测，获得该有云影像中云掩膜所覆盖的区域像素级的预测结果，获得各个像元的预测值。然后将预测后的有云影像中所有的像素值(包括原始数据即无云的像素以及原始数据有云、经过预测得到的无云像素)追加至训练数据，得到新的训练数据，以扩充训练数据的内容，并使用该新的训练数据作为输入，继续迭代训练所述时序外推模型，并在迭代训练中将预测值动态追加到训练数据，直至所有的有云影像均被预测，或者达到预设的终止时间点，停止迭代。
需要说明的是，预测后的有云影像中包括云掩膜区域的像素的预测值和未被云掩膜区域覆盖的像素的原始值，这类像素均被追加至训练数据中，能够有效利用时序迭代过程中新预测的像素来增加训练样本数量，进而提高后续迭代中模型的预测精度。
在停止迭代后，可以根据步骤S4记录的云掩膜的区域内的各个像元的真实值和以及步骤S5所包含的时序迭代过程中模型得到的预测值，计算模型的预测误差，并判断该误差是否符合预设的误差阈值，若是，表明该方法能够对云覆盖频繁、单幅遥感影像中云覆盖区域占比较大的现实场景进行去云，并获得可靠的去云效果，进而将步骤S5所包含的时序迭代步骤应用到目标研究区的历史时序遥感影像，以获得目标研究区当前时间点的无云影像。
图5为传统LSTM的迭代外推的逻辑示意图，图6为根据本申请的一些实施例提供的时序外推模型的迭代外推的逻辑示意图。为了说明本申请的时序迭代步骤与传统的LSTM之间区别，下面参照图5、图6进行详细说明。
在图5中包括两个时序遥感序列，上方为预测前的历史时序遥感影像；下方为LSTM预测后的时序遥感影像。
预测前的历史时序遥感影像包括无云影像和有云影像，无云影像分布在时间轴的上方，有云影像分布在时间轴的下方。4幅无云影像的编号为1、2、3、4，有云影像下方垂直排列的数字表示预测该有云影像时所能够使用的无云影像，训练和预测过程中，模型从这些能够使用的无云影像提取训练样本，作为训练数据对模型施加训练。从图中可以看出，在传统LSTM方法中，当需要预测任一时间点的有云影像时，只使用历史时序遥感影像中的无云影像作为其训练数据的来源。
也就是说，传统LSTM方法中，进行LSTM时间序列插补云图像的过程是利用完全无云的影像进行，但这会造成含云影像中非云区域像素的浪费。
LSTM预测后的时序遥感影像包括无云影像和预测得到的影像，这里，预测得到的影像中云区域已通过预测去除，本质上也是没有云遮挡、完全无云的影像，但为了便于描述，将自始无云遮挡的影像称为无云影像，将预测后无云遮挡的影像称为预测影像。
LSTM预测后的时序遥感影像中，无云影像编号仍为1、2、3、4。预测影像编号为“a.b”的形式，a表示预测该影像时使用的无云影像的数量，b为该影像的预测序号，例如，a＝1，b＝1表示使用1幅无云影像作为训练数据进行预测，且使用该幅无云影像进行预测的第一幅影像，b＝2表示被预测的第二幅影像，以此类推。再比如，当预测影像编号为“4.3”时，表示该影像是使用4幅无云影像进行预测得到的，并且在时序上是4幅无云影像进行预测得到的第三个被预测的影像，其他的编号以此类推。
在图6示出的迭代外推过程是一种扩大样本的可利用性迭代方法，当需要预测任一时间点的有云影像时，其训练数据的来源既包括历史时序遥感影像中的无云影像，也包括当前时间点的测试样本的输出，也即，该过程将当前时间点获得的预测后无云遮挡的影像作为新的训练数据进行追加，使得每一个时刻的训练样本不仅包含无云影像的数据，也包含在之前时刻、无云影像所预测得到的有云区域的数据，还包含了有云影像中原本无云覆盖的区域的数据，以达到迅速扩充训练数据的效果。
具体的，参见图6，图6也包括两个时序遥感序列，上方为预测前的历史时序遥感影像，下方为LSTM预测后的时序遥感影像。
预测前的历史时序遥感影像包括无云影像和有云影像，无云影像分布在时间轴的上方，有云影像分布在时间轴的下方。4幅无云影像的编号为1、2、3、4，有云影像下方垂直排列的数字表示预测该有云影像时所能够使用的无云影像，从图上可以看出，随着时间的推进，预测得到的影像被不断追加到训练数据，作为训练样本参与下一个时间点的训练和预测。
LSTM预测后的时序遥感影像中，无云影像编号和预测影像的编号方法与图5相同，但是，在图6所示的方式中，由于预测时使用的训练数据不同，预测精度也完全不同，关于预测精度将在后续步骤中讨论。
综上，本实施例中，利用所提供的基于时序遥感迭代的实时外推去云方法，通过在时间序列上的迭代，并在每一步迭代中将预测得到的图像或者无云影像追加到训练数据，增加了样本的时空可利用性，相较于传统的LSTM去云方法，能够有效提升影像外推的预测精度。并且，该方法能够实现仅利用单侧遥感影像即可实现准确外推，也就是说，该方法在对云覆盖区域进行预测时，仅需要参考当前时间点之前的时序遥感影像、无需参考当前时间点之后的影像，通过过去时间序列就能够实时、准确地外推(重建)当前遥感影像的云覆盖区域的像素预测值，进而获得该区域的无云影像。
该方法以遥感实际即时需求为应用背景，结合亚热带湿润气候下影像高云频率、影像获取困难的现实背景，在现有通过时间序列外推、基于时间序列重建影像研究的基础上，通过在时间序列上迭代的深度学习重建方法，有利于快速修复当前时刻下含云的Sentinel-2影像。
一些可选实施例中，目标研究区的历史时序遥感影像中，有云影像的数量与全部历史时序遥感影像的数量的比例大于等于90％。在上述区域中，无云影像低于10％，采用传统的方法难以获得符合要求的无云影像，而通过本实施例提供的方法，能够可靠的实现上述区域的遥感影像去云，获得相应的无云影像。
可选地，测试研究区有多个。例如，可以使用测试研究区A来模拟目标研究区的地形地貌情况，使用测试研究区B来模拟目标研究区的农作物种植情况，使用测试研究区C来模拟目标研究区的土地覆盖情况。通过选用多个测试研究区来分别、独立地模拟目标研究区的不同影响因素，能够针对性分析不同因素与云覆盖情况之间的相互关系，进而获得各个影响因素对预测结果的贡献，为模型的进一步优化提供前提。
可选地，测试研究区、目标研究区的历史时序遥感影像均为中分辨率影像(空间分辨率10-100m，时间分辨率1-20d)，本实施例以哨兵2影像为例进行说明，且测试研究区、目标研究区的历史时序遥感影像至少包括红、绿、蓝、近红外和短波红外波段，其中，可见光包括B3和B4波段，近红外B8用于反映植被生长，短波红外波段B11和B12用于反映下垫面水分含量。
可选地，时序外推模型的编码器包括第一LSTM细胞单元，编码器用于将训练数据转换为语义编码；时序外推模型的解码器包括第二LSTM细胞单元，解码器用于将语义编码解码为输出结果。
本实施例中，时序外推模型是Encoder-Decoder结构的LSTM，如图3所示，该模型由2个神经网络构建，即编码器-LSTM(Encoder-LSTM)和解码器-LSTM(Decoder-LSTM)，其中编码器-LSTM包括1个层(Layer)、64个神经元，解码器-LSTM同样包括1个层(Layer)、64个神经元。本实施例将上述部分构成一个整体的模型(简称ED-LSTM)进行训练，具体来说，在ED-LSTM中给定输入时间序列(x1，x2……xt)下，Encoder-LSTM中的层(也称Encoder层)对时间序列信息进行特征提取，转为语义编码信息后输入到Decoder-LSTM的层中(也称Decoder层)，由Decoder层输出得到下一个时刻的预测值xt+1。
时间序列Xt＝(x1，x2……xt)包括t个时间步，每个时间步都会由图4所示的LSTM细胞单元进行处理，其中，Encoder-LSTM包括第一LSTM细胞单元，用于将训练数据转换为语义编码；Decoder-LSTM包括第二LSTM细胞单元，用于将语义编码解码为输出结果。对于LSTM细胞单元而言，Ct表示当前时刻的细胞状态，Ct-1表示上一时刻的细胞状态，Ht表示当前时刻的隐层状态，Ht-1表示上一时刻的隐层状态，σ为全连接层及激活函数。Xt为当前时间步的输入变量，在与Ht-1执行合并(merge)后，使用全连接层以及tanh函数激活，然后与上一时刻的细胞状态Ct-1执行矩阵加法后得到当前时刻的细胞状态Ct，在最终，会由全连接层对细胞单元输出的Ht进行降维，将其转换为1个时间步的输出值。
本实施例将Encoder-Decoder结构的LSTM作为一个整体的时序外推模型(简称ED-LSTM)进行训练，相比较使用LSTM网络直接训练，Encoder-Decoder结构的LSTM具有更加简洁的张量传输，通过编码器输出的固定长度的向量能够更好地捕获序列的上下文信息，提升模型对于序列的理解和生成能力。
可选地，在将训练数据输入到时序外推模型中进行训练之前，该方法还包括：对测试研究区、目标研究区的历史时序遥感影像进行归一化处理。
将ED-LSTM模型应用于影像去云之前先进行归一化处理，使得梯度尽可能稳定，以提升模型收敛效果。
一些可选实施例中，还包括：结合目标研究区的云掩膜数据，在多云影像中使用非云区域的对预测结果进行直方图调整，使得预测结果与真实的含云影像相匹配。
可选地，在根据待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差之后，方法还包括：将误差与传统LSTM模型的预测误差进行对比分析，以确定误差满足预设精度需求。
具体地，可以使用归一化均方根误差(NMSE)、相关系数(CC)、结构相似性指数(SSIM)、峰值信噪比(PSNR)，以预测后的图像全局为基础，评价图像重建的效果。
示例性，以测试研究区A位于黑龙江某地区，测试研究区B位于山西某地区、目标研究区位于贵州省某地区为例进行说明。
测试研究区A、测试研究区B、目标研究区自东北向西南分布，其中目标研究区为山地的农作物种植区，主要作物是玉米和水稻，由于气象条件的限制导致该地区难以获得高质量的无云影像，进而限制了遥感技术在农业调查中的应用。测试研究区A为平原的农作物种植区，主要作物是水稻、玉米和大豆，用于模拟目标研究区的农作物种植特征；测试研究区B为山地的农作物种植区，主要作物为小麦，用于模拟目标研究区的地形地貌特征。
获取测试研究区A、测试研究区B、目标研究区的哨兵-2(Sentinel-2)影像的时序数据集，作为历史时序遥感影像。其中，测试研究区A、测试研究区B的历史时序遥感影像的时间范围分别为2021年3-9月、3-10月，目标研究区的历史时序遥感影像的时间范围是2022年全年。
测试研究区A、测试研究区B的哨兵-2影像由两条重访轨道重复拍摄，相对于目标研究区的哨兵-2影像，重访周期提高了一倍，能够为本实施例开展模拟提供更多的、高质量的无云影像。
表1云在时间序列上的出现频率
表1分别示出了测试研究区A、测试研究区B、目标研究区的历史时序遥感影像中，云在时间序列上的出现频率。由于测试研究区A、测试研究区B位于温带季风区，降水相对较少，所获取的数据集中，无云影像(云覆盖率为0％)占比分别为24.2％和18.8％。而目标研究区位于亚热带湿润气候区，全年获取的69景影像中，无云影像只有4景，占比为5.80％，除无云影像外，云量(云覆盖率)在60％以下的影像只占20.6％，很多影像几乎完全被云覆盖不可利用。
可以看出，由于云的影响，目标研究区的时间序列影像大量缺失，按照哨兵的重访周期推算，平均大约3个月才能获取一景可以利用的无云影像，在这一现实背景下，使用遥感数据进行季节性的变化监测和研究是非常困难的。故，通过测试研究区A的数据集反映目标研究区水稻等灌水期作物的时间序列特征，通过测试研究区B的数据集反映目标研究区山地的土地覆盖时间序列特征。
在上述时间序列数据集的基础上，使用目标研究区的云掩膜数据在测试研究区A、B生成模拟云区域，然后，分别对测试研究区A、B进行基于时序遥感迭代的实时外推去云，预测云覆盖下的缺失像素值。
最后，计算预测误差，并将误差与传统LSTM模型的预测误差进行对比分析，比较其去云效果，以确定误差满足预设精度需求。
图7～图9分别示出了不同精度评价指标下的误差对比，图7、图8使用结构相似性指数SSIM作为精度评价指标，对比分析了两种方法下测试研究区A、B的预测精度，图9则使用归一化均方根误差NMSE作为精度评价指标，对比分析了两种方法下测试研究区B的预测精度。
对比分析了传统LSTM方法(简称General-LSTM-CR)与本申请方法(简称TsIR-LSTM-CR)，其中，General-LSTM-CR使用了测试研究区A、B历史时序遥感影像中四幅无云影像作为训练数据，每次预测随机采样5000个点作为时间序列外推预测的训练样本，建立样本集。本申请的方法中，利用了完全无云影像通过General-LSTM-CR的预测结果，使用该预测结果，能够制作比原始的样本具有更长的时间序列的样本，且同时包含无云的样本General-LSTM-CR预测后的样本。将该样本集再输入LSTM迭代一次，能够得到云区的预测结果。
在预测结果的基础上，使用NMSE计算像素值之间的差异，使用相关系数计算像素值之间的相关性大小。图7～9中可以看出，TsIR-LSTM-CR和General-LSTM-CR的精度在多数时间上表现出相似的震荡规律，在绝大多数时相下，TsIR-LSTM-CR的结果相比较于General-LSTM-CR，都能够取得了更低的NMSE和更高的相关系数，在像素级上的预测值更接近真实像素值。
分析结果表明，即TsIR-LSTM-CR在远离无云时相的影像上，能够取得相比General-LSTM-CR更高的预测精度，适合于在长期云覆盖的区域开展云恢复工作。
在对测试研究区A、测试研究区B模拟的成功和经验基础上，对有云影像出现频率更高、云覆盖率高的目标研究区开展基于时序遥感迭代的实时外推去云试验。图10为根据本申请的一些实施例提供的在目标研究区使用本申请的时序外推模型的去云效果示意图。由于云的遮挡，无法获得真实的遥感数据验证TsIR-LSTM-CR恢复结果的可靠性，定量地评价恢复结果的误差是难以做到的，只能通过目视检查修文县的恢复后的图像质量。目标研究区全年14景可利用的Sentinel-2数据，利用其中4幅无云影像，恢复了目标研究区全年的10景有云影像，从视觉效果上，目标研究区的图像恢复质量较高，通过时间序列的外推，对于薄云和厚云覆盖下的地表影像都能实现有效预测。
总之，本申请提供的方法，通过基于时序遥感迭代之后，能够有效延长时间序列，充分利用有云影像中无云区域的像素信息，增强样本的时空可利用性，获得比传统方法更好的效果。
本申请提供的方法，数据利用程度高，能够充分利用样本，取得更高的精度，且对于距离无云影像所在时间点较远的有云影像，能够获得比无云影像所在时间点较近的时相更好的提升效果，适合于常年云频繁地区的云修复工作，同时，该方法不依赖时间点以后的时间序列，能够实现实时预测。
示例性系统
本申请实施例提供一种基于时序遥感迭代的实时外推去云系统，该系统用于去除目标研究区当前时间点的有云影像中的云区域，包括：
获取单元，配置为获取测试研究区、目标研究区的历史时序遥感影像；测试研究区与目标研究区的种植作物类型、土地覆盖类型以及地貌类型相同或者相近似，且测试研究区的时序遥感影像中有云影像出现的频率小于目标研究区的历史时序遥感影像中有云影像出现的频率；
选择单元，配置为根据目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将测试研究区的历史时序遥感影像中除第一时序无云影像之外的其他遥感影像记为测试有云影像；
提取单元，配置为基于目标研究区的历史时序遥感影像中有云影像提取目标研究区的云掩膜数据；
模拟云单元，配置为基于目标研究区的云掩膜数据，在测试研究区的测试有云影像中生成模拟的云掩膜，并记录模拟的云掩膜的区域内的各个像元的原始值，作为模拟的云掩膜的区域内的各个像元的真实值；
迭代执行单元，配置为针对测试研究区的历史时序遥感影像，以第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
将训练数据输入到时序外推模型中进行训练；时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
依据测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；
若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；
若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；
将预测后的遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；
当获得待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行时序迭代步骤；
误差分析单元，配置为根据待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；若误差小于预设的误差阈值，则针对目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行时序迭代步骤，以获得目标研究区的当前时间点的无云影像。
本申请实施例提供的基于时序遥感迭代的实时外推去云系统，能够实现上述任一实施例提供的基于时序遥感迭代的实时外推去云方法的步骤、流程，并达到相同的技术效果，在此不再一一赘述。
示例性设备
本申请的一些实施例提供一种电子设备，该电子设备包括：
一个或多个处理器；
计算机可读存储介质，可以配置为存储一个或多个程序，一个或多个处理器执行一个或多个程序时，实现如下步骤：
获取测试研究区、目标研究区的历史时序遥感影像；测试研究区与目标研究区的种植作物类型、土地覆盖类型或者地貌类型相同或者相近似，且测试研究区的时序遥感影像中有云影像出现的频率小于目标研究区的历史时序遥感影像中有云影像出现的频率；根据目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将测试研究区的历史时序遥感影像中除第一时序无云影像之外的其他遥感影像记为测试有云影像；基于目标研究区的历史时序遥感影像中有云影像提取目标研究区的云掩膜数据；基于目标研究区的云掩膜数据，在测试研究区的测试有云影像中生成模拟的云掩膜，并记录模拟的云掩膜的区域内的各个像元的原始值，作为模拟的云掩膜的区域内的各个像元的真实值；针对测试研究区的历史时序遥感影像，以第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：将训练数据输入到时序外推模型中进行训练；时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；依据测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；将预测得到的遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；当获得待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行时序迭代步骤；根据待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；若误差小于预设的误差阈值，则针对目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行时序迭代步骤，以获得目标研究区的当前时间点的无云影像。
本申请的一些实施例还提供的电子设备的硬件结构；该电子设备的硬件结构可以包括：处理器、通信接口、计算机可读存储介质(也称为存储器)和通信总线。
其中，处理器、通信接口、计算机可读存储介质通过通信总线完成相互间的通信。
计算机可读存储介质，可以配置为存储一个或多个程序。
可选地，通信接口可以为通信模块的接口，如GSM模块的接口。
其中，处理器执行一个或多个程序，该程序用于去除目标研究区当前时间点的有云影像中的云区域，实现如下步骤：
获取测试研究区、目标研究区的历史时序遥感影像；测试研究区与目标研究区的种植作物类型、土地覆盖类型或者地貌类型相同或者相近似，且测试研究区的时序遥感影像中有云影像出现的频率小于目标研究区的历史时序遥感影像中有云影像出现的频率；根据目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将测试研究区的历史时序遥感影像中除第一时序无云影像之外的其他遥感影像记为测试有云影像；基于目标研究区的历史时序遥感影像中有云影像提取目标研究区的云掩膜数据；基于目标研究区的云掩膜数据，在测试研究区的测试有云影像中生成模拟的云掩膜，并记录模拟的云掩膜的区域内的各个像元的原始值，作为模拟的云掩膜的区域内的各个像元的真实值；针对测试研究区的历史时序遥感影像，以第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：将训练数据输入到时序外推模型中进行训练；时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；依据测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；将预测得到的遥感影像的所有像元作为追加训练样本与训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将训练数据输入到时序外推模型中进行训练的步骤；当获得待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行时序迭代步骤；根据待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；若误差小于预设的误差阈值，则针对目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行时序迭代步骤，以获得目标研究区的当前时间点的无云影像。
处理器可以是通用处理器，包括中央处理器(central processing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

Claims (10)

1.一种基于时序遥感迭代的实时外推去云方法，其特征在于，所述方法用于去除目标研究区当前时间点的有云影像中的云区域，所述方法包括：
获取测试研究区、目标研究区的历史时序遥感影像；所述测试研究区与所述目标研究区的种植作物类型、土地覆盖类型或者地貌类型相同或者相近似，且所述测试研究区的时序遥感影像中有云影像出现的频率小于所述目标研究区的历史时序遥感影像中有云影像出现的频率；
根据所述目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从所述测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将所述测试研究区的历史时序遥感影像中除所述第一时序无云影像之外的其他遥感影像记为测试有云影像；
基于所述目标研究区的历史时序遥感影像中有云影像提取所述目标研究区的云掩膜数据；
基于所述目标研究区的云掩膜数据，在所述测试研究区的所述测试有云影像中生成模拟的云掩膜，并记录所述模拟的云掩膜的区域内的各个像元的原始值，作为所述模拟的云掩膜的区域内的各个像元的真实值；
针对所述测试研究区的历史时序遥感影像，以所述第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，所述第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
将所述训练数据输入到时序外推模型中进行训练；所述时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
依据历史时序遥感影像确定下一时间点处的遥感影像；
若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的所述时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；
将预测后的遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
当获得所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行所述时序迭代步骤；
根据所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；
若所述误差小于预设的误差阈值，则针对所述目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行所述时序迭代步骤，以获得所述目标研究区的当前时间点的无云影像。
2.根据权利要求1所述的方法，其特征在于，所述目标研究区的历史时序遥感影像中，有云影像的数量与全部历史时序遥感影像的数量的比例大于等于90％。
3.根据权利要求1所述的方法，其特征在于，所述测试研究区有多个。
4.根据权利要求3所述的方法，其特征在于，所述测试研究区、目标研究区的历史时序遥感影像均为中分辨率影像，且所述测试研究区、目标研究区的历史时序遥感影像至少包括红、绿、蓝、近红外和短波红外波段。
5.根据权利要求1所述的方法，其特征在于，所述时序外推模型的编码器包括第一LSTM细胞单元，所述编码器用于将所述训练数据转换为语义编码；
所述时序外推模型的解码器包括第二LSTM细胞单元，所述解码器用于将所述语义编码解码为输出结果。
6.根据权利要求1所述的方法，其特征在于，在将所述训练数据输入到时序外推模型中进行训练之前，该方法还包括：对所述测试研究区、目标研究区的历史时序遥感影像进行归一化处理。
7.根据权利要求1所述的方法，其特征在于，在根据所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差之后，所述方法还包括：
将所述误差与传统LSTM模型的预测误差进行对比分析，以确定所述误差满足预设精度需求。
8.一种基于时序遥感迭代的实时外推去云系统，其特征在于，所述系统用于去除目标研究区当前时间点的有云影像中的云区域，所述系统包括：
获取单元，配置为获取测试研究区、目标研究区的历史时序遥感影像；所述测试研究区与所述目标研究区的种植作物类型、土地覆盖类型以及地貌类型相同或者相近似，且所述测试研究区的时序遥感影像中有云影像出现的频率小于所述目标研究区的历史时序遥感影像中有云影像出现的频率；
选择单元，配置为根据所述目标研究区的历史时序遥感影像中无云影像的数量以及无云影像的时序分布，从所述测试研究区的历史时序遥感影像中选择相应数量和时序分布的无云影像，记为第一时序无云影像；将所述测试研究区的历史时序遥感影像中除所述第一时序无云影像之外的其他遥感影像记为测试有云影像；
提取单元，配置为基于所述目标研究区的历史时序遥感影像中有云影像提取所述目标研究区的云掩膜数据；
模拟云单元，配置为基于所述目标研究区的云掩膜数据，在所述测试研究区的所述测试有云影像中生成模拟的云掩膜，并记录所述模拟的云掩膜的区域内的各个像元的原始值，作为所述模拟的云掩膜的区域内的各个像元的真实值；
迭代执行单元，配置为针对所述测试研究区的历史时序遥感影像，以所述第一时序无云影像作为无云影像序列，以测试有云影像作为待预测影像序列，并以无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，所述第一幅无云影像的所有像元作为初始的训练数据，执行如下时序迭代步骤：
将所述训练数据输入到时序外推模型中进行训练；所述时序外推模型是基于编码器-解码器结构的长短期记忆网络LSTM模型；
依据所述测试研究区的历史时序遥感影像确定下一时间点处的遥感影像；
若下一时间点处的遥感影像属于无云影像序列，则将该遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
若下一时间点处的遥感影像属于待预测影像序列，则利用训练后的所述时序外推模型预测该遥感影像中云掩膜的区域内的各个像元的取值，得到该遥感影像中云掩膜的区域内的各个像元的预测值；
将预测后的遥感影像的所有像元作为追加训练样本与所述训练数据进行合并，得到新的训练数据，并将下一时间点作为新的迭代时间点，同时转到将所述训练数据输入到时序外推模型中进行训练的步骤；
当获得所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值，停止执行所述时序迭代步骤；
误差分析单元，配置为根据所述待预测影像序列中所有云掩膜的区域内的各个像元的预测值和真实值，计算误差；若所述误差小于预设的误差阈值，则针对所述目标研究区的历史时序遥感影像，将目标研究区的所有无云影像作为无云影像序列、将目标研究区的所有有云影像作为待预测影像序列，并以该无云影像序列中第一幅无云影像所处时间点作为初始的迭代时间点，第一幅无云影像的所有像元作为初始的训练数据，执行所述时序迭代步骤，以获得所述目标研究区的当前时间点的无云影像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序为如权利要求1～7任一所述的方法。
10.一种电子设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1～7任一所述的方法。
CN202410163632.3A 2024-02-05 基于时序遥感迭代的实时外推去云方法和系统 Pending CN118135213A (zh)

Publications (1)

Publication Number Publication Date
CN118135213A true CN118135213A (zh) 2024-06-04

Family

ID=

Similar Documents

Publication Publication Date Title
CN110298211B (zh) 一种基于深度学习和高分辨率遥感影像的河网提取方法
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN107230197B (zh) 基于卫星云图和rvm的热带气旋客观定强方法
CN111046773B (zh) 一种基于图像技术判定路面积滞水的方法
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN114648705A (zh) 一种基于卫星遥感的碳汇监测系统及方法
Liu et al. Thick cloud removal under land cover changes using multisource satellite imagery and a spatiotemporal attention network
CN108966042A (zh) 一种基于最短路径的视频摘要生成方法及装置
Ji et al. CLGAN: a generative adversarial network (GAN)-based video prediction model for precipitation nowcasting
CN112464172A (zh) 生长参数主被动遥感反演方法及装置
CN118135213A (zh) 基于时序遥感迭代的实时外推去云方法和系统
CN116310871A (zh) 融合空洞空间金字塔池化的内陆水体提取方法
CN102621075A (zh) 一种水稻抽穗期自动检测的方法
CN115797501A (zh) 一种结合森林干扰与恢复事件的时间序列林龄制图方法
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN111768101B (zh) 一种顾及物候特征的遥感耕地变化检测方法及系统
Bakkay et al. Precipitaion Nowcasting using Deep Neural Network
CN113160345A (zh) 一种基于ConvLSTM的时间序列影像重建方法
Khandelwal et al. Cloudnet: A deep learning approach for mitigating occlusions in landsat-8 imagery using data coalescence
CN103871065A (zh) 一种基于半球影像的植被冠层聚集效应定量评估方法
Telkenaroglu et al. Deforestation due to urbanization: A case study for Trabzon, Turkey

Legal Events

Date Code Title Description
PB01 Publication