CN113360848A

CN113360848A - 一种时序数据预测方法及装置

Info

Publication number: CN113360848A
Application number: CN202110624018.9A
Authority: CN
Inventors: 金学波; 郑维振; 苏婷立; 白玉廷; 孔建磊
Original assignee: Beijing Technology and Business University
Current assignee: Beijing Technology and Business University
Priority date: 2021-06-04
Filing date: 2021-06-04
Publication date: 2021-09-07

Abstract

本发明提出了一种时序数据预测方法，所述方法包括：构建编解码器预测模型，所述编解码器预测模型包括编码器和解码器；所述编码器接收时间序列数据的输入序列，并将所述输入序列进行处理后输出编码向量；通过注意力机制将所述编码器输出的编码向量经过处理后发送至解码器；所述解码器对接收到的处理后的编码向量进行特征提取，并对提取的特征进行学习，获得预测结果。本发明使用了更为新颖的编解码器模型框架，并融合注意力机制，构建时间序列预测模型，提高了时间序列预测模型的整体性能。在时间序列预测任务更加实用，模型的稳定性更好、准确度更高。

Description

一种时序数据预测方法及装置

技术领域

本申请涉及统计计算领域，尤其涉及一种时序数据预测方法及装置。

背景技术

随着计算机技术、传感器技术、存储技术的不断发展，时间序列数据以爆炸式增长。海量的时间序列数据存在于各个领域，如农业中温室大棚的温度、湿度、二氧化碳浓度和土壤湿度等，工业中电力负荷数据、风力电站输出功率、轴承性能等，商业中股票数据、销售额数据等。这些数据即反映了历史数据变化，又隐含数据潜在规律，如趋势、周期等。挖掘时间序列数据隐含的规律。很好的掌握和运用这些规律，对未来做出估计，可以为规划、决策提供参考，避免风险，优化配置，节约资源。

时间序列预测是一个受各种因素影响的非常复杂的非线性序列，这使得准确预测数据的变化趋势成为一个挑战。对于时间序列预测方法有很多，大致可以分为统计模型、机器学习模型和深度学习模型。

在统计预测方法中，通过统计学计算复杂序列的数学相关性和物理信息，实现输入到输出的映射。这些模型通常有一个完整的理论推导过程和建模步骤，需要先验知识进行经验假设，才能挖掘数据并确定参数，然而当处理复杂的非线性数据或数据分布与模型假设不匹配时，往往很难预测结果。

与统计模型相比，具有参数自学习和非线性自适应的机器学习方法通常更适合于复杂的时间序列问题。基于机器学习的方法对非线性时间序列的性能有限，仍然存在一些缺点。所有这些方法都需要太多的人为干预，而且模型性能有限，因此很难根据可用的训练数据适当地捕捉重要的非线性关系以及输出和输入之间潜在的时间依赖关系。

发明内容

为解决上述技术问题之一，本发明提供了一种时序数据预测方法及装置。

本发明实施例第一方面提供了一种时序数据预测方法，所述方法包括：

构建编解码器预测模型，所述编解码器预测模型包括编码器和解码器；

所述编码器接收时间序列数据的输入序列，并将所述输入序列进行处理后输出编码向量；

通过注意力机制将所述编码器输出的编码向量经过处理后发送至解码器；

所述解码器对接收到的处理后的编码向量进行特征提取，并对提取的特征进行学习，获得预测结果。

优选地，所述编码器和解码器均由多层门控循环单元构成，所述时间序列数据的输入序列通过多层门控循环单元后，将门控循环单元每个时间步的隐态作为所述编码器输出的编码向量。

优选地，所述通过注意力机制将所述编码器输出的编码向量经过处理后发送至解码器的过程包括：

计算所述解码器的隐藏状态与编码器输出的每一个编码向量之间的相似度；

计算每一个相似度在所有相似度中的百分比，获得注意力权重；

通过所述注意力权重对所述编码器输出的所有编码向量进行加权求和，获得加权编码向量；

将所述加权编码向量与所述时间序列数据的输入序列进行拼接后，获得处理后的编码向量，并将所述处理后的编码向量发送至解码器。

优选地，所述解码器对接收到的处理后的编码向量进行特征提取，并对提取的特征进行学习，获得预测结果的过程包括：

根据所述注意力权重对所述处理后的编码向量进行特征提取，并对所述提取的特征进行学习后输出学习结果；

对所述学习结果经过线性变化后获得预测结果。

优选地，所述方法还包括：

通过贝叶斯优化算法对所述编解码器预测模型的超参数进行优化获得最优超参数；

根据所述最优超参数对所述编解码器预测模型进行训练获得最优预测模型；

根据所述最优预测模型对所述时间序列数据的输入序列进行时序数据预测获得预测结果。

本发明实施例第二方面提供了一种时序数据预测装置，所述装置包括处理器，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

优选地，所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：

对所述学习结果经过线性变化后获得预测结果。

本发明的有益效果如下：本发明使用了更为新颖的编解码器模型框架，并融合注意力机制，构建时间序列预测模型，提高了时间序列预测模型的整体性能。在时间序列预测任务更加实用，模型的稳定性更好、准确度更高。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例1所述的时序数据预测方法的流程图；

图2为本发明实施例1所述的门控循环单元的网络结构示意图；

图3为传统的编解码器框架示意图；

图4为本发明实施例1所述的基于注意力机制的编解码器预测模型结构示意图；

图5为实验中不同模型的RMSE箱须图；

图6为实验中不同模型的MAE箱须图；

图7为实验中不同模型的电力负荷预测结果示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提出了一种时序数据预测方法，该方法包括：

S101、构建编解码器预测模型，所述编解码器预测模型包括编码器和解码器；

S102、所述编码器接收时间序列数据的输入序列，并将所述输入序列进行处理后输出编码向量；

S103、通过注意力机制将所述编码器输出的编码向量经过处理后发送至解码器；

S104、所述解码器对接收到的处理后的编码向量进行特征提取，并对提取的特征进行学习，获得预测结果。

具体的，本实施例所提出的编解码器预测模型由编码器和解码器两部分组成，这两部分均由多层循环神经网络、长短期记忆网络或门控循环单元组成。本实施例采用门控循环单元构建编解码器预测模型。

门控循环单元是长短期记忆网络的一个变体，它将长短期记忆网络的遗忘门和输入门融合成了一个单一的更新门，同样混合了细胞状态和隐藏状态，参数更少，模型结构更简单，效率更高。其网络结构如附图2所示。

门控循环单元前向传播过程为：

z_t＝σ(W_z·[h_t-1,x]+b_z)

r_t＝σ(W_r·[h_t-1,x]+b_r)

其中，

分别是更新门、重置门、候选状态和输出隐藏状态，x是输入序列，h_t-1是上一个GRU单元的隐藏状态，将输入序列数据和上一单元隐藏状态拼接得到[h_t-1,x]，W_z,W_r,W_h和b_z,b_r,b_h是网络需要学习的参数。·表示矩阵外积，⊙表示两个矩阵对应位置相乘。σ和tanh分别是两个激活函数：

编码器中的门控循环单元将输入的时间序列数据转换为编码矢量。然后，基于门控循环单元的解码器在预测阶段传输编码向量以获得预测值。

传统的编解码器框架非常经典，如图3所示，但是它的信息表示受到定长编码和信息丢失的限制，因为中间的编码向量是固定长度的，对于较长的输入序列，它不能完全表达整体信息，随着输入序列的增长，前面的关键特征会被后面的特征覆盖，导致信息丢失。注意力机制的产生主要是受到认知神经学的启发，人们会把主要的精力用于关注一些重要事务，而会淡化处理一些不重要的事务。相比于编解码器模型，注意力机制通过编码器的输出和解码器的隐藏状态实现对序列的关注。如图4所示为本实施例所提出的基于注意力机制的编解码器预测模型结构示意图。

时间序列数据的输入序列为X＝[X₁,X₂,...,X_t]^T。在输入数据通过多层门控循环单元后，将门控循环单元每个时间步的隐态h＝[h₁,h₂,…,h_j,…,h_t]^T作为编码器的输出，而不是传统的编解码网络最后一个时间步的隐态的输出h_t作为编码器的输出。编码器的初始状态s为编解码网络最后一个时间步的隐态的输出h_t。注意力层首先分别计算隐藏单元状态s与编码器输出h_j之间的相似度：

其中，e_j表示解码器隐藏状态与编码器输出的第j个时间步向量的相似度，v_e，w_e，u_e是需要学习的参数，且v_e的维度是1，w_e，u_e的维度是相同的且需要优化的超参数。

在获得解码器隐藏状态与编码器输出每一时间步的相似度后，计算每个相似度在整体中的百分比，即注意力权重：

其中，α_j表示解码器隐藏状态与第j步编码器输出的隐藏状态的权重。该计算式为了确保所有注意权重总和为1。得到注意力权重之后，对编码器输出进行加权求和，得到编码向量c：

在进行解码器解码之前，将编码向量与输入数据X'＝[X_t-n,...,X_t]^T进行拼接，作为编码器的输入数据。解码器由多层门控循环单元组成，其初始隐藏状态为编码器的输出隐藏状态s，经过多层多层门控循环单元的解码后，解码器输出o经过线性变化后获得最终的预测值

其中，W_o和b_o是需要学习的参数。整个过程可以理解为：编码器对时间步长为t的输入的数据进行特征提取，得到每个时间步对应的特征向量，注意力层计算最后一个时间步特征向量与之前时间步特征向量之间的相似度，相似度越高，权重越大，重点提取该时间步的特征，相似度越低，权重越小，则忽略该时间步的特征。解码器对有关注了的特征进行特征提取，并对特征进行学习，最终得到预测结果。

此外，本实施例在采用编解码器预测模型对时间序列数据进行预测之前，还对该编解码器预测模型的超参数进行优化以保证预测模型的性能。

具体的，基于经验和大量尝试的网络超参数的选择不仅耗时且计算量大，而且并不总是使模型的性能最大化。贝叶斯优化算法有效地利用了完整的历史信息来提高搜索效率，通过先验点不断地预测后验知识，得到最优的参数组合。

贝叶斯优化首先假设超参数和需要优化的损失函数之间存在函数关系：

其中，P是超参数集和，p是中一组超参数组合，p^*是最终优化获得的最优参数组合，loss(·)是需要优化的目标函数，argmin表示目标函数取最小值时的超参数组合。

在我们的模型中，超参数包括注意层相似矩阵维数、编码器网络层数、解码器网络层数、编码器网络单元数、解码器网络单元数、解码器输入的原始数据数、训练数据的批量大小、训练迭代次数，模型训练优化器。损失函数为均方根误差(RMSE)：

其中p_j是第j个超参数组合，y是真实值，

是使用第j个超参数组合p_j得到的预测结果。

贝叶斯优化的过程如下：首先，构建数据集D＝[(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…]，其中,x_i是第i组超参数，y_i是该组超参数下模型预测结果的误差，计算公式为：

y_i＝loss(p_i)

根据数据集D得出后验概率P(y|x,D)。替代模型M是服从高斯分布p(loss)＝gp(loss；μ,K)，gp表示高斯过程，其均值为μ，协方差为K，因此，可通过数据集D拟合得到M具体函数表达式：

p(loss|D)＝gp(loss；μ_loss|D,K_loss|D)

在得到的替代模型M的基础上，使用采集函数选择下一次的观测点

在贝叶斯决策理论中，捕获函数可以解释为在超参数空间上估计与之相关的期望损失。得到参数后，计算模型在该参数作用下的输出误差，并将其并入数据集D，不断重复该过程以获得最佳参数。

首先对实验所用数据进行说明，研究表明，电力负荷序列数据具有强非线性、波动性和随机性的特征，因此本实验使用来自美国电力公司的电力负荷数据集，该数据集记录了2017年1月1日至2019年12月31日的电力负荷数据，采样频率为1小时，总计26280为条。将模型预测周期设为24步，即模型实现的功能为前一天24小时的历史数据预测未来24小时的数值，这样设置模型更具现实意义，预测未来一天的电力负荷，可以安排日调度计划，包括确定机组起停、水火电协调、联络线交换功率、负荷经济分配、水库调度和设备检修等。将电力数据按照7：3的比例划分为训练集和测试集，并进行归一化处理。

该模型采用有监督学习方法进行训练，通过滑动窗口将电力负荷数据划分为多组输入值和目标值。滑动窗口后的每组数据按时间顺序排列，这种模式可能会被神经网络学习到。为了提高模型的泛化能力，对滑动窗口后的每一组数据进行随机打乱，然后送入神经网络进行训练。利用贝叶斯优化算法确定超参数后，对模型进行训练，通过贝叶斯优化算法确定超参数后，利用最优超参数训练模型。

为了充分验证发明方法的有效性和稳定性，设置了Dense网络、循环神经网络(RNN)、长短期记忆网络(LSTM)、门控循环单元(GRU)、使用LSTM构建的解码模型(LstmSeq)、使用GRU构建的解码模型(GruSeq)、使用LSTM构建的注意力编解码模型(LstmSeqAtt)和使用GRU构建的注意力编解码模型(GruSeqAtt)进行比较，其中GruSeqAtt是我们提出的模型。对比模型的具体参数为Dense、RNN、LSTM和GRU的网络层数设置为4层，每层的网络单元数为24；Lstmseq、Gruseq、LstmSeqAtt和GruSeqAtt的编码器层数设置为2，解码器层数设置为2，编码器和解码器的每层单元数为24，注意层相似矩阵维数为4，解码器输入的原始数据数为1，训练数据的批量大小为4、训练迭代次数为200，模型训练优化器为Adam。我们将每种方法独立重复20次，以确保结果的客观性。统计结果如附图5和附图6所示。

从附图4和附图5可以看出，RNN模型结果的分布最为离散，模型的稳定性最差。LstmSeq模型的稳定性不如LSTM模型，但预测误差小于LSTM模型。在融合注意机制后，模型的稳定性比以前有所提高。GruSeq模型比GRU网络更不稳定，更不准确，这可能是因为编码器只使用最后一个时间步的隐藏状态作为编码输出，当输入数据变长时会导致编码信息丢失，而后面的特征信息会掩盖以前有用的特征信息。这也是顺序到顺序模型的瓶颈。结合注意机制的编解码模型在每个时间步对信息进行加权，克服了信息丢失的问题。GruSeqAtt模型箱体最小，RMSE和MAE分布最集中，平均模型误差最小。与其他模型相比，保持了较高的精度和稳定性。

基于注意力机制的编解码预测模型的超参数包括注意层相似矩阵维数、编码器网络层数、解码器网络层数、编码器网络单元数、解码器网络单元数、解码器输入的原始数据数、训练数据的批量大小、训练迭代次数，模型训练优化器。采用贝叶斯优化算法对模型参数进行优化，分别用门控循环单元和长短期记忆网络建立模型。表1显示了贝叶斯优化算法的超参数空间。最后一列是注意机制的编解码预测模型经过选择200次优化后的到的模型最优参数。

使用所提出的方法和对比方法对测试集的预测如附图6所示。图为2019年5月5日至2019年5月11日的预测结果曲线。局部缩放部分显示2019年5月7日的电力负荷预测曲线。由于电力负荷数据的波动性和随机性，模型不可能准确预测每个时间点的电力负荷值。从附图6的局部放大部分可以看出，本发明提出的方法的预测结果最接近真实值。

设置模型性能的评估标准为均方根误差(RMSE)、归一化均方误差(NRMSE)、平均绝对误差(MAE)、对称平均绝对百分比误差(SMAPE)以及皮尔逊相关系数(R)作为模型性能的评估标准。表2给出对比模型的5个评估指标。

从表2可以看出，融合了注意力机制的序列到序列模型的RMSE和MAE较传统的循环神经网络模型和未融合注意力机制的序列到序列模型都有提升。使用LSTM网络构建模型时，融合了注意力的模型的RMSE较BP、RNN、LSTM和LstmSeq分别提高了5.4％、6.4％、4.4％和0.6％，MAE提高了5.7％、7.1％、4.5％和0.6％。使用GRU网络构建模型时，融合了注意力的模型的RMSE较MLP、RNN、GRU和GruSeq分别提高了6.6％、7.6％、3.4％和1.5％；MAE提高了6.8％、8.2％、3.6％和1.7％。对比GRU网络构建的模型和LSTM网络构建的模型，GRU比LSTM模型RMSE和MAE分别提高了2.2％和2.1％，GruSeq比LstmSeq的RMSE和MAE分别提高了0.4％和0.1％，GruSeqAtt比LstmSeqAtt的RMSE和MAE分别提高了1.2％和1.2％，GRU拥有更好的预测性能。使用贝叶斯优化对超参数优化后，LstmSeqAtt模型比未优化前RMSE提高了2.3％，MAE提高了2.2％；GruSeqAtt模型比未优化前RMSE提高了2.8％，MAE提高了2.4％。使用贝叶斯优化对提升模型预测性能有帮助。

结果分析：通过实施例可以看出，本发明提出模型稳定性和准确性最好。

短期电力负荷预测对电力生产调度过程的安全性、稳定性和可持续性起着重要的作用。更好的预测结果可以帮助电力行业和供电企业做出可靠的决策，控制运行状态，管理电力系统，方便生产，降低成本，防止污染。本发明提出的基于注意力机制的基于贝叶斯优化的编解码短期电力负荷预测模型，充分发挥了GRU编解码神经网络对时间序列数据建模的强大特征提取和学习能力。针对输入数据关键特征的注意层提高了预测模型的预测精度和鲁棒性。本发明的模型在采样频率为1小时的电力预测任务上，预测准确度和模型稳定性优于其他模型，这验证了本发明提出的模型在短期电力负荷预测上的应用价值。

表1

表2

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。