CN113160345A - 一种基于ConvLSTM的时间序列影像重建方法 - Google Patents

Abstract

一种基于ConvLSTM的时序序列影像重建方法，包含：步骤1：构造时间序列影像；步骤2：提取地表同质影像对象；步骤3：对同质影像对象进行分类，根据地物覆盖类型的不同，建立地物分类体系CL，根据分类体系CL选择分类样本，然后构建特征空间也就是参与分类的特征，将其应用到所有类别中，最后执行分类，实现根据地物不同覆盖类型对图斑进行分类的效果；步骤4：构建ConvLSTM网络框架；ConvLSTM在FC‑LSTM的基础上将输入到状态，状态到状态的前馈式计算方式转换为卷积形式；步骤5：制作训练样本，进行模型训练；步骤6：模型预测；将P_t ¹与M作差集运算得到带有缺失部分需要重建的数据集M'，利用模型捕获到的时间变化趋势和空间信息特征对M'进行预测，实现了对缺失部分的重建。

Description

一种基于ConvLSTM的时间序列影像重建方法

技术领域

本发明属于遥感影像处理技术领域，具体地说，涉及一种基于卷积长短记忆时间网络(ConvLSTM)实现时间序列影像重建方法，该方法利用卷积(Conv)网络实现影像空间特征，利用长短时记忆(LSTM)网络实现影像时间维度特征，根据时间空间特征的规律，实现遥感时间序列数据重建。

背景技术

卫星遥感作为大尺度，长时序陆表变化观测的手段，在全球变化、城市监测等应用中发挥着重要作用，受大气状况，云污染以及复杂地表状况等多方面的影响，遥感影像存在大量噪声或者数据丢失现象，使其不能真实准确地记录地表状况。因而对数据缺失区域进行重建，为各种应用提供更可靠的时序数据集，已成为数据预处理的重要研究内容。目前时序数据集重建的方法主要包括从时间域、空间域和时空协同等角度入手，来达到最终重建效果。

时间域方面，常见方法有最大值合成，该方法基于噪声导致NDVI被低估的假设，选取一段时间内最大值作为有效观测。该时段内存在晴空观测的情况下，能够有效排除受云和大气影响，实现缺失区域重建，该方法处理过程简单，但未能充分考虑地表的双向反射，损失了很多有用信息且残差保留过多。S-G滤波是遥感时间序列重建最常用的方法之一，但该方法以拟合为前提，适合平滑的、规则等间距的时间序列，对于不等间距的时间序列的平滑效果有待改进。

空间域方面，常见方法有Cokriging(Chuanrong Zhang,Weidong Li&DavidJ.Travis(2009).Restoration of clouded pixels in multispectral remotely sensedimagery with cokriging.International Journal of Remote Sensing,2009,30(9):2173-2195)。Cokriging将缺失区域重建视为一种空间差值，它使用不同属性的最小和已知误差的无偏估计，通过结合相关的二次信息，考虑主要和次要变量之间的空间互相关，从而提高了插值精度，实现缺失区域重建。但获得有用的核心化模型所需的额外建模和分析是Cokriging方法的缺点。此外有超限中值平滑滤波方法，根据距离越近的地物其相似性也较高这一原理，利用邻域像素信息对影像进行平滑，为了克服一般空间平滑造成边界模糊和信息失真问题，只对超限像素进行处理。但由于地物分布的空间异质性，超限值的设定存在难度。

时空协同方法用于时序遥感影像重建较少，针对医学影像中的缺失块提出了一种基于M-RNN网络来估计时间序列中的缺失值。该网络包含插值块和插补块，并同时训练这些块，可以有效地捕获数据流内和数据流之间的相关性来填补缺失值(Jinsung Yoon,William R.Zame,and Mihaela van der Schaar.Estimating Missing Data in TemporalData Streams Using Multi-directional Recurrent Neural Networks.IEETransactions on Biomedical Engineering,2017)。但该网络是针对医疗数据集的特性而设计的，是否适用其他时序数据仍有待评价。

时序遥感数据集作为一种典型的空间数据，具备了地物时空相关的特性，但现有的时序重建方法，往往只利用某一方面的特性。利用单一特性对时间序列进行重建，大大降低了地理空间上的时空相关性，导致大量有价值信息的丢失。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于ConvLSTM的时序序列影像重建方法，将时间特性和空间特性二者联合应用到单一网络中进行重建。

时间序列遥感影像具有强烈的时空相关特性，但现有重建方法只利用了其中一方面的特征。对此，本发明提出了一种基于ConvLSTM的时间序列遥感影像重建方法。该方法首先将时间序列影像通过影像分割技术划分为同质影像块(图斑)，在此基础上根据地物类别差异对图斑进行分类。针对同种类型地物，以图斑为单位构建时间序列特征，输入到ConvLSTM网络模型训练，不仅捕获图斑间的时间变化规律，而且提取到图斑间的空间信息，实现缺失时间序列数据重建。

根据以上原理，本发明的一种基于ConvLSTM的时序序列影像重建方法，包含以下步骤：

步骤1：构造时间序列影像；

选取研究区的遥感时间序列影像，记作I：

I＝{I₁,I₂,...,I_m} (1)

共有m景影像，每景按照时间递增的顺序进行排列。

利用标记工具标识出影像上云覆盖区域，将影像划分为互不相交的无云区域和有云区域。然后，将云区域标记为缺失值，再将部分区域缺失的时间序列影像表示为

步骤2：提取地表同质影像对象；

从遥感时序影像I中选取一景无云或少云影像，利用影像分割方法将像元按照同质性进行聚类，形成同质影像对象(图斑)。该过程可以进一步分解为以下两个子步骤：

步骤2-1：初步分割；

利用分割软件eCognition中常用的多尺度分割算法对影像进行分割，分割参数的确定由人工试错的办法来选定，获得初步分割结果。

步骤2-2：分割结果优化；

初分割结果往往不理想，存在过分割现象，利用相邻分割区域的光谱相似性进行区域合并来优化分割结果。相邻分割区域的光谱相似性通过两者平均光谱矢量间的欧式距离E(C_i,C_j)来度量：

其中，C_i和C_j是分割区域的平均光谱向量，M是影像的波段数。若E(C_i,C_j)小于阈值T，实现分割结果优化。

步骤3：对同质影像对象(图斑)进行分类；

在步骤2基础上，根据地物覆盖类型的不同，建立地物分类体系CL，假设研究区共有n种不同类别：

CL＝{cl₁,cl₂,...,cl_n} (4)

同样利用eCognition软件，在获得图斑的基础上，根据分类体系CL选择分类样本，然后构建特征空间也就是参与分类的特征，将其应用到所有类别中，最后执行分类，实现根据地物不同覆盖类型对图斑进行分类的效果。

步骤4：构建ConvLSTM网络框架；

ConvLSTM在FC-LSTM的基础上将输入到状态，状态到状态的前馈式计算方式转换为卷积形式，更好地模拟了时空关系。

基于上述时空序列预测问题，构建网络框架分为以下两个子步骤：

步骤4-1:构建编码网络；

编码网络通过堆叠多个ConvLSTM层形成，将整个输入序列压缩为隐藏状态张量。

步骤4-2：构建预测网络；

预测网络同样通过堆叠多个ConvLSTM层形成，而预测网络会展开编码网络生成的隐藏状态以给出最终预测结果。

步骤5：制作训练样本，进行模型训练；

在步骤3基础上得到已分类好的n种图斑P：

P＝{P¹,P²,...,Pⁿ} (5)

同种类型图斑Pⁱ∈P根据时间顺序构成时间序列数据P_t ⁱ:

对于第一种类型图斑构成的时间序列数据P_t ¹进行筛选，选择出在时间戳t内所有元素都无缺失部分的图斑形成新的时间序列，也就是训练样本集M∈P_t ¹，假设共有l个训练样本：

如果筛选后样本数目不足，可通过数据增强的方式提高样本数量。设置训练超参数后，将样本集M中的元素进行模型训练，得到第一种地物覆盖类型的时空序列模型f¹。

按照上述方式对Pⁱ∈P,i＝2,3,...,n图斑进行训练，得到多个时空序列预测模型f²,f³,...,fⁿ。

步骤6：模型预测；

在步骤5得到，将P_t ¹与M作差集运算得到带有缺失部分需要重建的数据集M'，利用模型捕获到的时间变化趋势和空间信息特征对M'进行预测，实现了对缺失部分的重建。

根据不同类型下的时空序列模型对具有缺失域的时间序列数据进行预测，达到重建效果。

本发明的优点是：

1)利用ConvLSTM网络在重建时不仅考虑了时间序列的相关性，而且还将空间信息的相关性考虑在内，弥补了时空互补信息利用不足的缺点，并且计算效率高，实用性强。

2)进行重建前利用影像分割技术，将像元按照同质性进行聚类，形成同质影像对象(图斑)，再根据地物不同覆盖类型进行分类，这样使得同质影像对象内的像素具有相似的时间变化趋势，相较于直接按照W*W窗口大小划分影像块，模型训练时更能准确捕获到整体的变化趋势和空间特征。

附图说明

图1是本发明方法的流程图。

图2是安徽省寿县地区时间序列影像。

图3是本发明的影像分割结果图。

图4是本发明的网络结构图。

图5是本发明重建之后的时间序列影像。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例和附图对本发明作进一步的详细描述。应当理解，此处描述的具体实施例仅用于解释本发明，并不用于限定本发明，及所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。因而，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明的流程图，本发明的实施例流程如下：

步骤1：构造时间序列影像

本实施例选取的研究区为安徽省淮南市寿县，获取的影像为Sentinel-2光学影像，共有24景，每月2景，时间上均匀分布，每景按照时间递增的顺序进行排列，形成时间序列影像，如图2所示。

使用ArcGIS或其他GIS软件标识出影像中云覆盖区域，将影像划分为互不相交的无云区域和有云区域。并对影像进行云掩膜，无云区域内像素值保持不变，有云区域内像素值设为0，由此构成含缺失区域时间序列影像。

步骤2：提取地表同质影像对象

从时序影像中选取一景无云或少云影像，利用影像分割方法将像元按照同质性进行聚类，形成同质影像对象(图斑)。

进一步，步骤2中，提取地表同质影像对象包含以下两个子步骤：

步骤2-1：初步分割

利用分割软件eCognition中常用的多尺度分割算法对影像进行分割，分割时只选择蓝，绿，红，近红外四个波段参与分割，即将其权重设为1，其它层设为0。分割参数包括尺度参数，颜色、形状参数，光滑度和紧致度等，它们的确定由人工试错的办法来选定，多次测试后本实施例选取尺度参数为10，颜色、形状参数分别为0.7、0.3，光滑度和紧致度分别为0.5，0.5。由此获得初步分割结果。

步骤2-2：分割结果优化

初分割结果往往不理想，存在过分割现象，可利用相邻分割区域的光谱相似性进行区域合并来优化分割结果。相邻分割区域的光谱相似性通过两者平均光谱矢量间的欧式距离见式(3)来度量。在本实施例中，选取34.5作为平均光谱矢量距离阈值，当小于该阈值时合并相邻两个区域，大于则不合并。由此达到分割优化的效果，如图3所示。

步骤3：对同质影像对象(图斑)进行分类

在步骤2基础上，根据寿县研究区地物覆盖类型的不同，建立包含水体、道路、植被、作物、建筑等类型的地物分类体系。

同样利用eCognition软件，在获得图斑的基础上，根据建立好的地物分类体系，选择不同类型图斑作为分类样本。然后构建特征空间也就是参与分类的特征，在此实例中选取波段的标准差、亮度等光谱特征，形状指数等形状特征，以及植被指数、水体指数、建筑指数等，将其应用到所有类别中。最后根据选择的分类样本和构建的特征执行分类，实现根据地物不同覆盖类型对图斑进行分类的效果。

步骤4：构建ConvLSTM网络框架

ConvLSTM在FC-LSTM的基础上通过在输入到状态和状态到转态部分的前馈式计算方式转换为卷积形式，来捕获空间数据的局部特征，更好地模拟了时空关系。

本实施例采用的网络结构如图4所示，该网络结构由一个编码网络和一个预测网络组成。

步骤4-1:构建编码网络

本实施例中编码网络采用两层ConvLSTM组成，每层在输入到状态，状态到状态两个方向上都具备卷积结构，如图4中黄色框代表输入-状态的卷积，蓝色框代表转态-状态的卷积，并且卷积内核的大小都定为3×3，ConvLSTM层中隐藏状态数目设为128。

为了确保状态与输入之间具有相同的行列数，在应用卷积操作前可通过用零填充的方式保证每个卷积单元的输出形状与输入形状相同。

步骤4-2：构建预测网络

预测网络也采用两层ConvLSTM组成，将编码网络最终的状态输入到预测模块，作为预测网络的初始状态和单元输出。两层ConvLSTM卷积内核的大小和隐藏状态数目的设定与编码网络一致。最终将预测网络中的所有输出状态串联起来，输入到内核大小为1×1的卷积层中以生成和输入一样维度的最终预测。

为了避免训练过程中出现过拟合现象，在ConvLSTM层之间添加Dropout层。此外，在每个ConvLSTM层之前添加BatchNormalization层，负责加速训练，调整数据竞争方向，具备快速收敛特征。

步骤5：制作训练样本，进行模型训练

在步骤3基础上得到已分类好的5种图斑类型，同种类型图斑根据时间递增顺序构成时间序列数据。

由于LSTM本身对数据值敏感，且为了保证模型训练时收敛速度加快，对同种类型图斑构成的时间序列数据进行归一化的预处理。首先统计同种类型图斑直方图，得到像素值数目达到1％时的像素值m和数目达到99％时的像素值n，将小于m的像素值都设为m，大于n的像素值都设为n，[m,n]区间内像素值线性拉伸到[1,255]。预处理后得到5种类型图斑构成的时间序列数据。

对于第一种类型的时间序列数据进行筛选，选择出在所有时刻都无缺失部分的图斑，形成训练样本集。

训练样本集中每组样本长度都为24，将其同时作为输入数据和预测结果输入到步骤4构建好的网络框架中，进行训练。

设置超参：学习效率为0.001，迭代次数为200，每个批次的大小为8。利用交叉损失函数计算实际结果与预测结果间的损失，通过BP神经网络将误差反向传播，调整模型参数，如此不断的进行训练，直到网络收敛，得到第一种地物覆盖类型的时空序列模型。

同样的方式对剩余4种类型图斑进行模型训练，得到不同类型下时空序列模型。

步骤6：模型预测

在步骤5得到第一种地物覆盖类型的时空序列模型条件下，利用模型捕获到的时间变化趋势和空间信息特征对筛选后剩余的带有缺失部分的同类型时间序列数据进行预测，实现了对缺失部分的重建。

其他类型图斑也采用上述方式，根据不同类型下的时空序列模型对具有缺失域的同类型时间序列数据进行预测，达到最终的重建效果，如图5所示。

以上仅是对本发明实施例的描述，但本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于ConvLSTM的时序序列影像重建方法，包含以下步骤：

步骤1：构造时间序列影像；

选取研究区的遥感时间序列影像，记作I：

I＝{I₁,I₂,...,I_m} (1)

共有m景影像，每景按照时间递增的顺序进行排列。

利用标记工具标识出影像上云覆盖区域，将影像划分为互不相交的无云区域和有云区域。然后，将云区域标记为缺失值，再将部分区域缺失的时间序列影像表示为

步骤2：提取地表同质影像对象；

从遥感时序影像I中选取一景无云或少云影像，利用影像分割方法将像元按照同质性进行聚类，形成同质影像对象(图斑)。该过程可以进一步分解为以下两个子步骤：

步骤2-1：初步分割；

利用分割软件eCognition中常用的多尺度分割算法对影像进行分割，分割参数的确定由人工试错的办法来选定，获得初步分割结果。

步骤2-2：分割结果优化；

初分割结果往往不理想，存在过分割现象，利用相邻分割区域的光谱相似性进行区域合并来优化分割结果。相邻分割区域的光谱相似性通过两者平均光谱矢量间的欧式距离E(C_i,C_j)来度量：

其中，C_i和C_j是分割区域的平均光谱向量，M是影像的波段数。若E(C_i,C_j)小于阈值T，实现分割结果优化。

步骤3：对同质影像对象(图斑)进行分类；

在步骤2基础上，根据地物覆盖类型的不同，建立地物分类体系CL，假设研究区共有n种不同类别：

CL＝{cl₁,cl₂,...,cl_n} (4)

同样利用eCognition软件，在获得图斑的基础上，根据分类体系CL选择分类样本，然后构建特征空间也就是参与分类的特征，将其应用到所有类别中，最后执行分类，实现根据地物不同覆盖类型对图斑进行分类的效果。

步骤4：构建ConvLSTM网络框架；

ConvLSTM在FC-LSTM的基础上将输入到状态，状态到状态的前馈式计算方式转换为卷积形式，更好地模拟了时空关系。

基于上述时空序列预测问题，构建网络框架分为以下两个子步骤：

步骤4-1:构建编码网络；

编码网络通过堆叠多个ConvLSTM层形成，将整个输入序列压缩为隐藏状态张量。

步骤4-2：构建预测网络；

预测网络同样通过堆叠多个ConvLSTM层形成，而预测网络会展开编码网络生成的隐藏状态以给出最终预测结果。

步骤5：制作训练样本，进行模型训练；

在步骤3基础上得到已分类好的n种图斑P：

P＝{P¹,P²,...,Pⁿ} (5)

同种类型图斑Pⁱ∈P根据时间顺序构成时间序列数据P_t ⁱ:

对于第一种类型图斑构成的时间序列数据P_t ¹进行筛选，选择出在时间戳t内所有元素都无缺失部分的图斑形成新的时间序列，也就是训练样本集M∈P_t ¹，假设共有l个训练样本：

如果筛选后样本数目不足，可通过数据增强的方式提高样本数量。设置训练超参数后，将样本集M中的元素进行模型训练，得到第一种地物覆盖类型的时空序列模型f¹。

按照上述方式对Pⁱ∈P,i＝2,3,...,n图斑进行训练，得到多个时空序列预测模型f²,f³,...,fⁿ。

步骤6：模型预测；

在步骤5得到，将P_t ¹与M作差集运算得到带有缺失部分需要重建的数据集M'，利用模型捕获到的时间变化趋势和空间信息特征对M'进行预测，实现了对缺失部分的重建。

根据不同类型下的时空序列模型对具有缺失域的时间序列数据进行预测，达到重建效果。

Images