CN112101664B - 基于堆叠lstm-gru的多参数大气环境数据生成方法 - Google Patents

Abstract

本发明公开了一种基于堆叠LSTM‑GRU的多参数大气环境数据生成方法，由于大气环境数据样本具有特征多，数据量巨大的特点，单独使用LSTM模型训练需要大量时间。GRU与LSTM相比结构更简单，网络参数减少进而收敛速度更快。将LSTM和GRU相结合，在LSTM有效处理大量大气环境数据的前提下，加快网络训练速度。同时由于单层的网络结构过于简单，远远不能满足处理大气环境数据多特征的需求，采用多层的网络结构实现多参数大气环境数据生成。

Description

基于堆叠LSTM-GRU的多参数大气环境数据生成方法

技术领域

本发明涉及气象监测技术领域，更具体的说是涉及一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法。

背景技术

目前，准确的大气环境数据在当今世界中起着重要作用，伴随着计算机技术迅猛发展。武器装备的运行与使用都要在自然环境中完成，其所处的综合自然环境对武器装备的作战性能有着复杂且深入的影响。大气环境作为综合自然环境的重要组成部分，与空间，地形等环境相比具有多天气现象、多要素和时变等特点。大气环境中的风速、风向、降水、温度、压力、湿度等等都会对武器装备产生影响，因此大气环境数据对评估武器装备性能有着重要作用。

由于真实试验会受到人力、物力等各方面资源的限制，近些年来，通过建立虚拟环境和虚拟实体来完成测试。但如果只构建理想环境而不添加真实环境数据，其试验结果将大打折扣，为提高虚拟试验的真实性和准确度，将真实大气环境加入虚拟试验中成为一种有效的虚拟试验方法。通过测试可以深入了解大气环境影响武器装备的机制，同时可以根据结果进一步提高武器装备对其所处大气环境的适应性。因此，为了研究大气环境数据对武器装备性能的影响，需要研究大气环境数据特征，建立准确的大气环境模型，提供正确全面丰富的大气环境数据。但是，目前国内外应用深度学习技术进行大气环境建模的方法较少，大多数方法为对大气环境中的单一参数，没有考虑同时对多个大气环境参数同时生成；并且由于大气环境数据样本具有特征多，数据量巨大的特点，现有的模型训练方法需要大量时间完成模型训练。

因此，如何高效率生成多参数大气环境数据是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法，由于大气环境数据样本具有特征多，数据量巨大的特点，单独使用LSTM模型训练需要大量时间。GRU与LSTM相比结构更简单，网络参数减少进而收敛速度更快。将LSTM和GRU相结合，在LSTM有效处理大量大气环境数据的前提下，加快网络训练速度。同时由于单层的网络结构过于简单，远远不能满足处理大气环境数据多特征的需求，采用多层的网络结构实现多参数大气环境数据生成。

为了实现上述目的，本发明采用如下技术方案：

一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法，包括以下具体步骤：

步骤1：获取大气环境数据集；

步骤2：根据所述大气环境数据集建立堆叠LSTM-GRU模型；

步骤3：向所述堆叠LSTM-GRU模型输入历史大气环境数据，利用所述堆叠LSTM-GRU模型获得预测的未来时间多参数大气环境数据。

优选的，所述堆叠LSTM-GRU模型包括输入层、隐藏层和全连接输出层，所述隐藏层堆叠使用LSTM层和GRU层进行循环连接；在所述隐藏层增加repeat_vector层，在所述全连接层增加time_distributed层；所述repeat_vector层的形式为Keras.layers.RepeatVector(n)，将输入重复n次，改变每一步的维数，同时不改变步长；所述time_distributed层实现从二维向三维的过渡；所述全连接层输出所述多参数大气环境数据。

优选的，对所述大气环境数据集进行时间滑窗处理获得训练集，用于结合LSTM网络和GRU网络训练所述堆叠LSTM-GRU模型，获得所述训练集的过程为：

步骤21：以时间序列将所述大气环境数据分为若干组；

步骤22：将每一组数据划分为历史窗口数据和未来窗口数据；根据未来窗口长度划分所述未来窗口数据，所述未来窗口长度根据预测需求设定；

步骤23：所有所述历史窗口数据和所述未来窗口构成所述训练集。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法，将LSTM和GUR相结合，以LSTM和GRU网络层为基本架构，在LSTM有效处理大量大气环境数据的前提下，加快网络训练速度，同时将中间的隐藏层堆叠使用LSTM层和GRU层进行循环连接，利用全连接层输出多参数大气环境数据，解决了由于单层网络结构过于简单，不能满足处理大气环境数据多特征的需求问题。LSTM和GRU都具有保持先前激活状态的能力，从而能够长时间记住特征并允许通过多个有界非线性进行反向传播，降低了消失的梯度。由于GRU中门数减少了，进而参数的减少，使用GRU的模型收敛速度更快，性能更好。当数据量巨大时，LSTM的强大表达能力会产生更好的结果。本发明在LSTM模型的保证生成数据准确性的基础上，GRU负责加快网络训练速度，减少生成时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的堆叠LSTM-GRU模型结构示意图；

图2附图为本发明提供的堆叠LSTM-GRU模型层数堆叠及输入输出形状示意图；

图3附图为本发明提供的耶拿数据集多参数大气环境数据随时间变化示意图；

图4附图为本发明提供的耶拿数据集中数据形式示意图；

图5附图为本发明提供的耶拿数据集时间滑窗处理示意图；

图6附图为本发明提供的模型训练集数据和验证集数据损失函数随迭代次数变化图；

图7附图为本发明提供的模型生成的某一组测试集温度结果图；

图8附图为本发明提供的模型对同一组测试集生成未来24小时气压数据结果图；

图9附图为本发明提供的模型生成的未来24小时空气密度结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法，包括以下具体步骤：

S1：获取大气环境数据集；

S2：根据大气环境数据集建立堆叠LSTM-GRU模型；

对大气环境数据集进行时间滑窗处理获得训练集，用于结合LSTM网络和GRU网络训练堆叠LSTM-GRU模型，获得训练集的过程为：

S21：以时间序列将大气环境数据分为若干组；

S22：将每一组数据划分为历史窗口数据和未来窗口数据；根据未来窗口长度划分未来窗口数据，未来窗口长度根据预测需求设定；

S23：所有历史窗口数据和未来窗口构成训练集；

采用训练集训练获得堆叠LSTM-GRU模型；

S3：向堆叠LSTM-GRU模型输入历史大气环境数据，利用堆叠LSTM-GRU模型获得预测的未来时间多参数大气环境数据。

优选的，堆叠LSTM-GRU模型包括输入层、隐藏层和全连接输出层，隐藏层堆叠使用LSTM层和GRU层进行循环连接；在隐藏层增加repeat_vector层，在全连接层增加time_distributed层；repeat_vector层的形式为Keras.layers.RepeatVector(n)，将输入重复n次，改变每一步的维数，同时不改变步长；time_distributed层实现从二维向三维的过渡；全连接层输出多参数大气环境数据。

实施例

由多层的长短时记忆网络和门控循环单元结合的堆叠LSTM-GRU模型，以LSTM和GRU网络层为基本架构，中间的隐藏层堆叠使用LSTM层和GRU层进行循环连接，利用全连接层输出多参数大气环境数据，如图1所示。构建的堆叠LSTM-GRU模型层结构如图2所示。

为了实现多个参数同时输出，增加了repeat_vector层和time_distributed层。Repeat_vector层的形式为Keras.layers.RepeatVector(n)，主要作用是将输入重复n次。如果输入的形状为(None,32)，经过添加RepeatVector(3)层之后，输出变为(None,3,32)，RepeatVector不改变步长，改变每一步的维数。

Time_distributed层给予了模型一种一对多，多对多的能力，增加了模型的维度，通过这个层我们可以实现从二维像三维的过渡。TimeDistributed和全连接层Dense一起配合使用，例如，input_shape＝(10,6)，表示步长是10，每一步的维度为16，首先使用TimeDistributed(Dense(8)，input_shape＝(10,6))把每一步的维度从16变成8，不改变步长的大小，若该层的批输入形状为(50,10,16)，则经过这一层之后的输出为(50,10,8)。在增加了上述的两种层结构后，LSTM-GRU-multi模型层数堆叠及其输入输出形状如图2所示。

1)获取数据集

下载并使用公用数据集—德国耶拿数据集：Jena_climate_2009_2016.csv，它是由德国耶拿马克斯·普朗克生物地球化学研究所气象站记录的数据集。该数据集包含14个不同的特征，包含相对湿度、气压、每日降水量、水蒸气浓度、空气密度、风速、风向、全球辐射、光合有效辐射、地球的净辐射、二氧化碳浓度、表面温度、土壤温度等，它是从2003年开始，每10分钟收集一次。选取2009到2016年间记录的数据。

图3为耶拿数据集中气压、温度、水蒸气浓度、空气密度、相对湿度随时间变化示意图。从图中可以看出，温度、水蒸气浓度和空气密度随时间变化具有很明显的规律性。图3中横轴代表时间，从2009.1.1-2016.12.31，图中曲线自上而下分别表示气压、温度、水蒸气浓度、空气密度和相对湿度。

如图4所示为耶拿数据集中数据的具体形式，经过预处理后，共有420551条数据，数据为每十分钟记录一个数据点，假设每小时内大气环境数据发生的变化很小，对原始数据每隔5个点取一个点，即以小时为单位。训练集，验证集和测试集的比例设置为6:2:2，随机选择样本构建训练集，验证集和测试集，本实施例中所记录的实验结果均为10次实验所取的平均值。

为了构建训练集，验证集和测试集，对原始的耶拿数据集进行时间滑窗处理。时间序列预测问题的本质是利用过去的数据来生成未来一段时间的目标参数数据，需要构造过去特征和未来特征，未来特征作为数据的目标值。构造训练集的过程如下：

首先，对耶拿数据集而言，利用大小可调的时间窗口对过去2009年到2016年的数据进行截取。以2010年1月到12月耶拿市的大气环境数据为例，可以截取3组数据，如图5所示：2010年1月到10月的数据为第一组，2010年2月到11月的数据为第二组，2010年3月到12月的数据为第三组。将每一组数据划分为历史窗口和未来窗口两部分，如图5中深蓝色和浅蓝色部分。接下来构造训练集，将所有历史窗口中的数据合并起来作为训练集特征，将未来窗口数据合并起来作为目标值。两个时间窗口大小可调，历史窗口的大小将决定训练集的大小，未来窗口大小根据课题需求而定。

测试集的构建过程与上述方式基本相同，不同的是，测试集在网络中只输入历史窗口中数据，生成的结果即为所要生成的大气环境数据，将其与未来窗口中数据(即真实值)相比，评估网络性能。

1.1)模型评价指标

使用均方误差MSE作为网络模型性能的评价指标，来衡量不同网络模型性能的好坏。均方误差，MSE(mean squared error)，是预测值与真实值之差的平方和的平均值，如公式1所示：

其中x代表测得的真实值，x'作为生成模型输出的生成值。两个时间序列都有N个样本。MSE是对模型质量的度量，它始终是非负的，并且接近零的值更好，越接近零说明生成模型生成的结果精度越高。

2)进行对比试验，获得对比实验结果及分析

使用耶拿数据集中2009年到2016年的数据，数据共有420551条，训练集，验证集与测试集比例为6:2:2，随机打乱数据，生成训练集，验证集和测试集，得到的均方误差为进行十次实验结果的平均值。利用过去24小时的温度、气压和空气密度数据来生成未来24小时的温度、气压和空气密度数据。

实验中采用五种网络模型，分别为RNN-multi模型、LSTM-multi模型、GRU-multi模型、RNN-GRU-multi模型和本发明的堆叠LSTM-GRU模型(LSTM-GRU-multi模型)。

在LSTM-multi模型中，实现了由一层具有32个神经元的LSTM层，一层具有32个神经元的GRU层和一个具有24个神经元的完全连接的隐藏层组成的多层模型，作为LSTM-GRU-multi模型的基础架构。利用RepeatVector()将输入数据重复，利用TimeDistributed层实现多输入多输出。选择MSE作为损失函数，RMSprop作为优化器，固定学习率为0.001，dropout率设置为0.05，batch_size大小为256，epochs为100次，选择relu作为激活函数，为保证模型稳定，使用-0.05和0.05之间的均匀分布初始化所有LSTM参数。

2.1)损失函数随迭代次数变化

图6是五种模型训练集数据和验证集数据损失函数随迭代次数变化图，横轴代表迭代次数epochs，纵轴代表损失函数值。蓝线表示训练集数据损失函数，红线表示验证集数据损失函数，从图中可以看出损失函数呈收敛状态，损失函数可以衡量模型预测的好坏，损失函数越小，模型就越好。

2.2)生成温度数据的结果

图7为五种网络模型生成的某一组测试集温度结果图，横坐标为时间，纵坐标为去归一化后的温度值。其中实线为真实温度数据，虚线为生成温度数据。从图中可以看出温度值变化具有很明显的规律性，从图7(a)中可以看出，RNN-multi网络对前10小时温度生成较准确，曲线重合度较高，在10小时之后偏差较大；从图7(b)中可以看出LSTM-multi模型对前15小时温度生成比较准确，两曲线十分接近，在15小时后出现一点偏差，生成的温度值大于真实值。从图7(c)(d)中可以看出，GRU-multi模型和RNN-GRU-multi模型生成的温度值略低于真实温度值，GRU-multi模型真实值曲线与生成值曲线更接近，结果更准确。从图7(e)中可以看出，LSTM-GRU-multi模型生成值在温度最高点与真实温度具有一定偏差，在10小时之前，两曲线基本重合，总体来说较为准确。对比五个模型结果图，LSTM-GRU-multi模型生成结果整体与真实值更接近，说明LSTM-GRU-multi模型性能更好。

2.3)生成气压数据的结果

图8为五种模型对同一组测试集生成未来24小时气压数据的结果图，横坐标为时间，纵坐标为去归一化后的气压值。其中实线为真实气压数据，虚线为模型生成气压数据。从图8(a)(c)(d)中可以看出，RNN-multi，GRU-multi和RNN-GRU-multi模型生成的气压值均低于真实值，其中GRU-multi模型表现稍好，两曲线更接近一点；从图8(b)中可以看出，LSTM-multi模型生成的气压值大于真实气压值，生成的气压曲线与真实气压曲线变化趋势相同，曲线之间有微小距离。从图8(e)可以看出LSTM-GRU-multi模型生成气压值曲线与真实气压值曲线走势基本一致，两曲线重合度很高，对比五种模型生成结果图，LSTM-GRU-multi模型表现最好。

2.4)生成空气密度数据的结果

图9为五种模型生成的未来24小时空气密度结果图，图中横坐标代表时间，纵坐标代表去标准化后的空气密度。实线为真实空气密度值，虚线为模型生成空气密度值。从图中可以看出24小时的空气密度变化具有很明显的规律性，从图9(a)中可以看出，RNN-multi模型生成结果在未来10小时内结果较为准确，在温度最低处存在一定的偏差；从图9(b)(c)中可以看出，LSTM-multi和GRU-multi模型生成的空气密度值均大部分高于真实值，在20小时后，真实值曲线与预测值曲线较吻合，生成结果较准确，具体哪个模型性能更好，需要具体数据说话。从图9(d)(e)中可以看出，RNN-GRU-multi和LSTM-GRU-multi模型生成曲线与真实曲线走势一致，在温度最低点存在一定偏差，LSTM-GRU-multi模型生成曲线与真实曲线重合度很高，相比较而言，LSTM-GRU-multi模型误差更小，模型更准确。

表1为五种模型训练所需时间和最终生成结果的均方误差。从表1中可以知道，在生成多大气环境参数模型中，LSTM-GRU-multi模型的MSE最低，比GRU-multi网络降低了6.4％，比LSTM-multi网络降低了17％，与RNN-GRU-multi相比也具有明显优势，降低了8.4％。

从时间上比较，LSTM-GRU-multi训练网络所需时间较长，但与只含有LSTM层的LSTM-multi模型相比，仍然快了0.75分钟，即45秒。与GRU-multi网络模型相比，训练时间多了2.22分钟，说明LSTM层处理数据速度低于GRU层。在准确度方面，LSTM-GRU-multi性能最好。在时间方面，RNN-multi表现最好，需根据实际需求选择具体网络。

表1各模型生成未来24小时温度、气压和空气密度所需时间和均方误差

根据上述的试验验证可知本发明中提出的LSTM-GRU-multi模型，巧妙的结合了LSTM模型生成结果准确和GRU网络模型简单，生成速度快的优点，可同时生成温度，气压和空气密度。在两组试验中，LSTM-GRU-multi模型比最新的LSTM-multi方法的MSE至少降低了11.65％，同时在训练时间上也具有2.3％的优势。解决了准确且快速生成多参数大气环境数据的问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于堆叠LSTM-GRU的多参数大气环境数据生成方法，其特征在于，包括以下具体步骤：

步骤1：获取大气环境数据集；

步骤2：根据所述大气环境数据集建立堆叠LSTM-GRU模型；

所述堆叠LSTM-GRU模型包括输入层、隐藏层和全连接输出层，所述隐藏层堆叠使用LSTM层和GRU层进行循环连接；在所述隐藏层增加repeat_vector层，在所述全连接层增加time_distributed层；所述repeat_vector层的形式为Keras.layers.RepeatVector(n)，将输入重复n次，改变每一步的维数，同时不改变步长；所述time_distributed层实现从二维向三维的过渡；所述全连接层输出所述多参数大气环境数据；

步骤3：向所述堆叠LSTM-GRU模型输入历史大气环境数据，利用所述堆叠LSTM-GRU模型获得多参数大气环境数据。

2.根据权利要求1所述的基于堆叠LSTM-GRU的多参数大气环境数据生成方法，其特征在于，对所述大气环境数据集进行时间滑窗处理获得训练集，用于结合LSTM网络和GRU网络训练所述堆叠LSTM-GRU模型，获得所述训练集的过程为：

步骤21：以时间序列将所述大气环境数据分为若干组；

步骤22：将每一组数据划分为历史窗口数据和未来窗口数据；根据未来窗口长度划分所述未来窗口数据，所述未来窗口长度根据预测需求设定；

步骤23：所有所述历史窗口数据和所述未来窗口构成所述训练集。

Images