CN115343784A - 一种基于seq2seq-attention模型的局部气温预测方法 - Google Patents

Abstract

本发明公开一种基于seq2seq‑attention模型的局部气温预测方法，属于计算机深度学习领域。解决了局部气温长时精准预测问题。本发明的技术方案为：收集气象站点数据；对气象站点数据进行预处理(处理缺失值、归一化等)，建立数据集；建立seq2seq(LSTM‑Attention)模型；设置编码器层，注意力层与解码器层的输入维度、隐藏层数、隐藏状态大小、损失函数以及激活函数；训练神经网络模型，直到模型中的气象数据拟合；将数据集放入模型中进行预测。本发明通过在seq2seq中引入注意力机制，可以有效的解决长序列输入数据的“记忆”能力问题，更好的分配网络权重，从而极大的提高气温预测的准确性和稳定性。

Description

一种基于seq2seq-attention模型的局部气温预测方法

技术领域

本发明涉及一种基于seq2seq-attention模型的局部气温预测方法，属于计算机深度学习领域。

背景技术

近年来，伴随着信息处理，数据监测等技术的不断发展，各气象站点监测到的气象数据的准确性和多样性也得到了很大的提升。随着农业生产等活动对气象数据的要求不断提高，在未来的生产和生活实践中，各地区的气象地面观测站点可能会继续扩增(监测频率进一步缩短，这对气象数据的分析与处理技术提出了更高的要求，短时局部性微小气候预测也将成为未来天气预报的发展方向。然而，在现阶段的气象预报模式下，对中小范围内的实时气象预报需求还难以满足，尤其是在特定环境中，例如在园区试验站内，研究人员虽然可以获取到大量园区气象站点实时监测数据，却缺乏有效的手段进行园区范围内的气象预测，一般凭借自身经验对园区气象进行估测，这种方法具有很强的主观性，难以达到更高的预测标准。

在近些年的研究中，时间序列分析法变得越来越受欢迎。时间序列预测是对于按时间顺序获得的一系列观测值进行预测，对气温的预测是一种典型的时间序列预测问题。近年来，深度学习在非线性时间序列预测任务上得到了广泛的应用。基于深度学习的时间序列分析方法可以解决时间序列的动态不稳定性，同时也会提取数据项的不同特征通过学习参数之间的长期依赖关系。但是如何处理长序列输入数据的“记忆”能力问题以及长时预测(24小时及其之上)以达到精准预测成为现阶段研究的难题。

发明内容

针对如何处理长序列输入数据的“记忆”问题，丢失数据之间的联系，本发明提出了一种基于seq2seq-attention模型的局部气温预测方法，其是一种基于注意力机制的局部气温预测方法，能够高效率，精准的预测局部气温。

本发明的一种基于seq2seq-attention模型的局部气温预测方法，其包括以下步骤：

步骤1：收集气象站点的气象数据，气象数据包括气温、相对湿度、露点温度、水气压、站点气压、海平面气压和有效能见度；

步骤2：对收集的气象数据进行缺失值补齐和归一化处理；采用滑动窗口法获取训练样本，每个训练样本包含时间长度为T、时间间隔为t的气象数据；

步骤3：以LSTM神经网络为神经元，编码器采用双向LSTM进行编码输入训练样本，利用双向LSTM神经网络中特有的两个隐藏状态记录输入训练样本中未来时间点与过去时间点之间的关系，并加入Bahdanau注意力构建，解码器采用单向LSTM神经网络加线性层对训练样本进行输出，构建了编码器-解码器-自注意力机制神经网络模型；

步骤4：将步骤2处理后的训练样本输入到步骤3构建好的神经网络模型中进行训练，神经网络模型的解码输出为时间长度为T’、时间间隔为t的未来气温数据；神经网络模型利用特有的注意力机制捕捉对训练样本各个时间点之间的依赖关系进行加权、求和，获取最佳的权重，得到训练好的神经网络模型；

步骤5：将最近实际采集的时间长度为T、时间间隔为t的气温、相对湿度、露点温度、水气压、站点气压、海平面气压以及有效能见度输入步骤4训练好的神经网络模型中，进行多变量预测，得到该气象站点对应的局部区域未来时间长度为T’、时间间隔为t的气温数据。

作为本发明的优选方案，所述训练样本的时间长度为7*24h，以1小时为时间间隔，神经网络模型的解码输出为未来24小时、以1小时为时间间隔的气温数据，也就是采用之前148小时的气象数据去预测未来24小时的气温。

作为本发明的优选方案，所述步骤2中的缺失值补齐为：将当前缺失值替换为上、下若干个值的平均值；归一化处理的公式为

其中X_归一化后为归一化后的数据，x为原始收集数据，max为单变量数据最大值，min为单变量数据最小值。

作为本发明的优选方案，所述步骤3中将气象站点数据中的相对湿度、露点温度、水气压、站点气压、海平面气压、有效能见度以及气温作为神经网络编码器的输入，双向LSTM的编码输入序列为：X＝{x₁,x₂,x₃...x_t-1x_t}，解码器的输出序列为

其中编码器注意力机制采用的是Bahdanau注意力，Bahdanau注意力计算公式为

其中

是当前时间点的权重和，α是注意力权重，t为当前时间点，时间步

时的解码器状态

是查询，编码器隐状态h_t即是键，又是值。

作为本发明的优选方案，所述步骤4中采用Adam优化算法对神经网络模型的参数进行优化，将均方损失函数作为重构误差；其中

MSE为均方差误根，体现的是真实值与预测值之间的差距，其中：n为预测时间区间，t代表当前时刻，

为t时刻日小时气温预测值；X_t为t时刻日小时气温真实值。

本发明的有益效果为：与传统预测方法相比，本发明考虑了影响气温的综合数据因素，准确率高；利用加入注意力机制的seq2seq，能够更好的处理长序列输入的“记忆”问题，更好的分配网络权重，同时选用Adam优化算法，提高计算效率，提高准确率；并且本发明的seq2seq结构使用LSTM解决了传统RNN模型中存在的梯度爆炸或者梯度消失问题，增强了模型的鲁棒性与准确度。

附图说明

图1是本发明基于seq2seq-attention模型的局部气温预测方法的流程图；

图2是本发明基于seq2seq-attention模型的局部气温预测方法采集数据集的预处理流程图；

图3是本发明基于seq2seq-attention模型的局部气温预测方法的LSTM神经网络结构图；

图4是本发明基于seq2seq-attention模型的局部气温预测方法的seq2seq-attention神经网络的结构图；

图5是本发明基于seq2seq-attention模型的局部气温预测方法的原始数据的气温影响因素图；

图6是本发明基于seq2seq-attention模型的局部气温预测方法的数据预处理后的气温影响因素图；

图7是LSTM预测模型的24h真实值与预测值对比图；

图8是本发明基于seq2seq-attention模型的局部气温预测方法的24h小时的真实值与预测值对比图。

具体实施方式

下面结合附图对本发明的实施方式进行具体介绍，可以使本发明的目的、技术方案和优点更加清楚，更容易被本领域的技术人员所理解。在此，本发明的示意性实施方式以及其说明用于解释本发明，但并不作为本发明的限定。

如图1所示，其中LSTM模型为本模型的对比模型，本发明提供一种基于注意力机制seq2seq-attention模型的局部气温预测方法，包括以下步骤：

步骤1：数据收集步骤；按照预设的时间周期，收集该周期内的气象数据；具体为：

本发明的气象数据指气温、相对湿度、露点温度、水气压、站点气压、海平面气压、有效能见度，实际研究表明以上气象因素对未来气温影响作用最大。本发明使用多变量预测单一变量的方式，更能有效的提高气温预测准确率。本实施例采用的气象站点数据为某气象站点时间周期在1991年-2020年的气象数据。

步骤2：如图2所示为数据预处理步骤；本发明对收集的数据进行缺失值补齐与归一化处理；具体为：

原始的收集数据总是存在缺失数据或者多余的混乱数据，如果不进行预处理步骤，直接输入模型进行训练，训练效果必然会误差很大，大大降低的预测的准确性，所以需要对这些数据进行缺失值补齐、归一化处理。

首先进行数据清洗，通过绘图删除数据集中的异常值即超出各因素理论范围的值，接着对历史数据进行缺失值补齐，采用滑动平均窗口法补差，一个影响因子列表中的第i个数据缺失，则取前、后n个数据的平均值，作为插补数据。例如：列表[10，2，3，none，5，6，7]，其中none为缺失数据，选择n＝2；则none处的缺失数据补齐为：(2+3+5+6)/4＝4。

最后使用Min-max方法对其输入的数据进行标准化，以加快模型收敛速度和提高模型精度。标准化范围为[1,0]，其表达式如下式(1)

式(1)中，min为单个气象因素数据序列中的最小值，max为单个气象因素数据序列中的最大值，x表达单个气象因素数据序列中的原始值。

定义输入序列x₁＝{T₁,R₁,D₁,W₁,S₁,U₁,V₁}；其中T₁是日小时气温数据，R₁是日小时相对湿度，D₁是日小时露点温度，W₁是日小时水气压，S₁是日小时站点气压，U₁是日小时海平面气压，V₁是日小时有效能见度。分别对这些数据做上述预处理操作。处理前后对比如图5与图6所示。从比较结果来看，预处理提高的数据的可用性，为提升精度度打下了重要的基础。

采用滑动窗口法获取训练样本，所述训练样本的时间长度为7*24h，以1小时为时间间隔。本发明涉及的神经网络模型的解码输出为未来24小时、以1小时为时间间隔的气温数据，也就是采用之前148小时的气象数据去预测未来24小时的气温。

步骤3：构建神经网络模型步骤；以单一的LSTM模型作为对比模型，以LSTM神经网络作为神经元，构建seq2seq-attention神经网络；具体为：

如图3所示LSTM神经网络包括遗忘门、记忆门与输出门。所述遗忘门函数表达式为下式(2)：

式(2)中，w_f为隐藏层与输入特征向量的权重向量，无量纲量；h_t-1为t-1时刻隐藏层向量，无量纲量；x_t为t时刻的输入特征向量，无量纲量；b_f为偏置量向量，无量纲量；e为自然对数的底数，常数；f_t为遗忘门函数处理后的数据向量，无量纲量。

所述记忆门函数其表达式为下式(3)：

式(3)W_U为隐藏层与输入特征向量的权重向量，无量纲量；h_t-1为t-1时刻隐藏层向量，无量纲量；x_t为t时刻的输入特征向量，无量纲量；b_U为偏置量向量，无量纲量；U_t为记忆门函数处理后的数据向量，无量纲量。

所述输出门函数其表达式为下式(4)：

C_t＝f_t·C_t-1+f_t·U_t (4)

式(4)中，f_t为遗忘门函数处理后的数据向量，无量纲量；C_t-1为t-1时刻的输出数据向量，无量纲量；C_t为t时刻的输出数据向量，无量纲量；U_t为记忆门函数处理后的数据向量，无量纲量。

构建神经网络过程中，是以LSTM神经网络为神经元构建seq2seq神经网络LSTM-seq2seq-attention，选用sigmoid与tanh两种激活函数作为输出层激活函数，起到减少梯度爆炸的效果，增加模型训练的稳定性,其中sigmoid与tanh激活函数的表达式如下式(5)-(6):

式(5)-(6)中，n为一个常数。

如图4所示神经网络主要由编码器与解码器组成，编码器由双向LSTM神经网络组成，解码器由单向LSTM加线性层组成。在编码器与解码器之间加入注意力层，编码器对输入数据进行编码，并输出编码后的状态；注意力层的输出作为上下文向量和编码器的输出拼接起来作为解码器的输入，同时以每一步的输出值作为下一步的输入值。具体为：

从数据集的第一天的数据开始，采用7*24h输入方式，为seq2seq神经网络结构的输入数据，即x₁＝{T₁,R₁,D₁,W₁,S₁,U₁,V₁}。当前时间的隐藏状态由上一时间和当前时间的输入共同决定，即h₁＝f(h₀,x₁)，其中h是隐藏状态，x₁为输入数据，f为一个函数。

编码部分得到各个隐藏层的输出然后汇总，生成语义向量C，其表达式如下式(7)

C＝q(h₁,h₂,h₃,...,h₁) (7)

其中q是用来控制隐藏层输出汇总大小的常量。

解码部分根据给定的语义向量C和输出序列

来估计下一个输出的

即

其中g()代表非线性激活函数，

代表对应的输出数据。

其中注意力机制将编码部分得到的各个隐藏向量h₁,h₂,h₃...h₁按权重相加，生成语义向量c_i。其表达式如下式(8)

其中a_ij为权重值，h_j为隐藏向量，C_i为语义向量。

在解码器定义条件概率，权重值a_ij由i-1个输出隐藏状态si-1和输入状态共同决定的，即a_ij的表达式为下式(9)

e_ij＝a(s_i-1,h_j)

其中e_ij是对齐模型，a是一个对s_i-1和h_j的求值函数，代表位置j的输入和位置i的输出程度的分数，这个分数是基于i-1位置的隐含状态s_i-1和j位置的h_j计算得到。通过softmax函数将e_ij概率归一化为a_ij，权重值a_ij的值越高，表示在第i个输出在第j个输入上分配的注意力越多，在生成第i个输出受第j个输入的影响也越大。由此计算出解码器的下一个隐藏状态

以及该位置的输出

步骤4：神经网络模型训练步骤；利用上述步骤2中预处理后的数据对步骤3构建的神经网络进行训练，获取最佳权重文件，用于验证集。

其中采用Adam优化算法对模型的参数进行优化，Adam表达式如下式(10)-(15)

m_t＝μ*m_t-1+(1-μ)*g_t (11)

n_t＝v*n_t-1+(1-v)*g_t (12)

其中t为时间步，初始化为0，g_t为时间步为t时的梯度，θ为要更新的参数，f(θ_t)为参数θ的随机目标函数，u,v分别为一阶矩阵和二阶矩阵的指数衰减率，m_t对梯度的一阶矩阵的估计，n_t对梯度二阶矩阵的估计，

为对m_t的校正，

对n_t的校正，

为学习率，∈为维持数值稳定性而添加的常数。

其中采用MSE作为损失函数，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度，MSE表达式如下式(16)

其中：n为预测时间区间即为预测24小时的区间长度为24，t代表当前时刻，

为t时刻日小时气温预测值；X_t为t时刻日小时气温真实值；MSE值越大，代表着预测效果越差。

步骤5：气温数据估计步骤；以步骤4训练过程中取得的最佳权重以及步骤4的数据进行输入，得到预测气温，并将其与真实值进行对比，结果如图8所示。

通过图7与图8的对比可以看出本发明所采用的方法拟合度对其他模型有了一定的提高，预测的准确率与稳定性更高，便于预测局部气温的变化。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.一种基于seq2seq-attention模型的局部气温预测方法，其特征在于，包括以下步骤：

步骤1：收集气象站点的气象数据，气象数据包括气温、相对湿度、露点温度、水气压、站点气压、海平面气压和有效能见度；

步骤2：对收集的气象数据进行缺失值补齐和归一化处理；采用滑动窗口法获取训练样本，每个训练样本包含时间长度为T、时间间隔为t的气象数据；

步骤3：以LSTM神经网络为神经元，编码器采用双向LSTM进行编码输入训练样本，利用双向LSTM神经网络中特有的两个隐藏状态记录输入训练样本中未来时间点与过去时间点之间的关系，并加入Bahdanau注意力构建，解码器采用单向LSTM神经网络加线性层对训练样本进行输出，构建了编码器-解码器-自注意力机制神经网络模型；

步骤4：将步骤2处理后的训练样本输入到步骤3构建好的神经网络模型中进行训练，神经网络模型的解码输出为时间长度为T’、时间间隔为t的未来气温数据；神经网络模型利用特有的注意力机制捕捉对训练样本各个时间点之间的依赖关系进行加权、求和，获取最佳的权重，得到训练好的神经网络模型；

步骤5：将最近实际采集的时间长度为T、时间间隔为t的气温、相对湿度、露点温度、水气压、站点气压、海平面气压以及有效能见度输入步骤4训练好的神经网络模型中，进行多变量预测，得到该气象站点对应的局部区域未来时间长度为T’、时间间隔为t的气温数据。

2.根据权利要求1所述的基于seq2seq-attention模型的局部气温预测方法，其特征在于，所述训练样本的时间长度为7*24h，以1小时为时间间隔，神经网络模型的解码输出为未来24小时、以1小时为时间间隔的气温数据，也就是采用之前148小时的气象数据去预测未来24小时的气温。

3.根据权利要求1所述的基于seq2seq-attention模型的局部气温预测方法，其特征在于，所述步骤2中的缺失值补齐为：将当前缺失值替换为上、下若干个值的平均值；归一化处理的公式为

其中X_归一化后为归一化后的数据，x为原始收集数据，max为单变量数据最大值，min为单变量数据最小值。

4.根据权利要求1所述的基于seq2seq-attention模型的局部气温预测方法，其特征在于，所述步骤3中将气象站点数据中的相对湿度、露点温度、水气压、站点气压、海平面气压、有效能见度以及气温作为神经网络编码器的输入，双向LSTM的编码输入序列为：X＝{x₁,x₂,x₃...x_t-1x_t}，解码器的输出序列为

其中编码器注意力机制采用的是Bahdanau注意力，Bahdanau注意力计算公式为

其中

是当前时间点的权重和，α是注意力权重，t为当前时间点，时间步

时的解码器状态

是查询，编码器隐状态h_t即是键，又是值。

5.根据权利要求4所述的基于seq2seq-attention模型的局部气温预测方法，其特征在于，所述步骤4中采用Adam优化算法对神经网络模型的参数进行优化，将均方损失函数作为重构误差；其中

MSE为均方差误根，体现的是真实值与预测值之间的差距，其中：n为预测时间区间，t代表当前时刻，

为t时刻日小时气温预测值；X_t为t时刻日小时气温真实值。

Images