CN116432697A

CN116432697A - 一种融合长短期记忆网络与注意力机制的时间序列预测方法

Info

Publication number: CN116432697A
Application number: CN202310027489.0A
Authority: CN
Inventors: 李卫榜; 温显昀; 李玲; 崔梦天
Original assignee: Southwest Minzu University
Current assignee: Southwest Minzu University
Priority date: 2023-01-09
Filing date: 2023-01-09
Publication date: 2023-07-14

Abstract

本发明公开了一种融合长短期记忆网络与注意力机制的时间序列预测方法，包括：(1)输入数据编码，对输入的时间序列数据使用长短期记忆网络LSTM进行编码处理，并对输出向量进行批量归一化处理；(2)注意力权重计算，对编码层输出的当前时刻的隐藏状态数据，计算当前时刻的注意力权重，得到注意力层的输出向量；(3)时间序列数据预测，对注意力层输出向量通过解码器计算得到初始输入时间序列所对应的预测输出值，再通过全连接层的relu激活函数计算得到预测时间序列；(4)在真实时间序列数据集上使用本发明融合长短期记忆网络与注意力机制的时间序列的模型与主流时间序列预测模型进行对比，以此验证本发明时间序列预测模型的性能优劣。研究结果表明，本发明提出的融合长短期记忆网络与注意力机制的时间序列预测模型比目前主流的时间序列预测模型预测效果要好。

Description

一种融合长短期记忆网络与注意力机制的时间序列预测方法

技术领域

本发明涉及时间序列预测领域，具体涉及一种融合长短期记忆网络与注意力机制的时间序列预测方法。

背景技术

在工业大数据领域中，因为物联网设备产生的数据越来越多，而这些产生的数据往往是以时间序列数据为主，所以需要研究一些新的方法来对时间序列数据进行处理和预测，这些方法可以更好地对于一些实际的场景进行预测，比如日常生活中的交通情况、天气情况和股票的价格波动情况等等。然而对于这些时间序列数据的预测却并不简单，由于时间序列数据在产生的过程中往往包含噪音和缺失值，所以这对于数据的质量将会大打折扣，数据质量将影响到数据的预测。此外，对于时间序列的研究还需要使用高性能的GPU服务器，一方面GPU的昂贵导致研究成本很高；另一方面，由于计算资源和数据规模的影响，暂时还无法实现实时计算，这就导致运行效率较慢。

目前对于时间序列数据的预测的方法有很多，可以分为传统方法和非传统方法这两类。典型的传统方法有自回归(AR)模型、移动平均(MA)模型、自回归移动平均(ARMA)模型和差分自回归移动平均(ARIMA)模型等，然而这些传统的方法在预测中通常存在缺陷，这些方法往往对于数据的要求相对严格，因为这些方法都只能处理一些平稳的数据，但是在现实生活中的时间序列数据基本都是不平稳的，所以传统的方法对于数据的预测的准确性不高。非传统方法包括机器学习和深度学习，机器学习中主流的有支持向量机(SVM)、聚类和神经网络等。深度学习中有循环神经网络(RNN)、长短期记忆网络(LSTM)和门控循环单元网络(GRU)等。这些非传统的方法相比于传统方法预测性能虽然有所提升，但是预测的准确率普遍不高。

发明内容

要解决的技术问题

为解决目前的方法对于时间序列预测的准确率不高的问题，本发明提出一种融合长短期记忆网络与注意力机制的时间序列预测方法，从而解决了现有技术中存在的前述问题。

技术方案

一种融合长短期记忆网络与注意力机制的时间序列预测方法，其特征在于步骤如下：

步骤1：获取时间序列预测问题的样本数据集，包括输入时间序列X和预测输出的时间序列Y，作为时间序列预测的初始阶段。

步骤2：对步骤1获取的原始的时间序列数据进行最大最小归一化处理，并将数据转化成[样本，时间步长，特征]样式的三维数据，对其中的异常值和缺失值进行处理。

步骤3：超参数初始化，随机初始化一组超参数，包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率。

步骤4：根据设定的超参数，建立LSTM-attention-LSTM模型的候选模型；LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层。本发明编码层选用的是LSTM模型，就是将输入序列转化成多个时间序列向量。首先对输入的三维向量X进行编码处理，经过编码层之后会对输出的向量进行丢弃处理和批量归一化处理，丢弃处理的做法是在模型训练时随机选出部分神经元将其设置为0；批量归一化主要是利用小批量上的均值和标准差，不断调整模型的中间输出，从而使各层的中间输出数值更稳定，两者的都是为了防止模型过拟合。编码层处理完成后结果输出到注意力层。在注意力层，注意力机制会计算序列j时刻对i时刻的注意力权重α_ij，再根据注意力权重得到输出向量C’_i。通过注意力机制得到的C’_i作为输入序列输入到下一层的解码层当中，本发明使用LSTM作为解码器，通过解码层计算得到i时刻的预测输出值y_i，y_i再通过全连接层的relu激活函数计算得到最终预测序列Y。

步骤5：对本发明提出的时间序列预测模型进行性能验证，在真实时间序列数据集上使用本发明融合长短期记忆网络与注意力机制的时间序列的模型与主流时间序列预测模型进行对比，以此验证本发明时间序列预测模型的性能优劣。

有益效果

本发明提出的一种融合长短期记忆网络与注意力机制的时间序列预测方法，基于LSTM-attention-LSTM模型用于时间序列预测，该模型依次包括编码层、注意力层和解码层，其中编码层和解码层为LSTM网络，注意力层为注意力机制。一方面，LSTM-attention-LSTM模型是一个非线性模型，所以能够学习时间序列的非线性特征，可以处理非平稳的时间序列数据。另一方面，输入的特征向量不止一个，可以是多个变量，因此能够为预测提供更多的数据，大大提高了模型预测的准确率。本发明所提出的融合长短期记忆网络与注意力机制的时间序列预测方法，在利用模型预测前，首先会对时间序列进行预处理，包括最大最小归一化处理和时间步长设置。通过归一化处理将数据映射在0～1之间，使得模型的误差降低更快；通过调整时间步长，能够扩充训练数据，提高数据质量。本发明采用了编码器解码器的结构，并在编码器解码器的基础上引入了注意力机制，从而解决了模型中注意力不集中的问题。本发明提出的LSTM-attention-LSTM模型在均方根误差(RMSE)指标上表现良好，比LSTM、堆叠LSTM(stacked-LSTM)、双向LSTM(BiLSTM)和编码解码LSTM(encoder-decoder-LSTM)等主流模型泛化性更好。

附图说明

图1为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测方法流程图

图2为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测模型结构图

图3为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测的注意力分配概率计算示意图

图4-图7与主流时间序列预测模型的均方根误差(RMSE)对比图

图8为本发明提出的模型与主流时间序列预测模型的均方根误差(RMSE)值对比图

具体实施方式

现结合实施例、附图对发明作进一步描述：

本发明提出一种基于LSTM和注意力机制的时间序列预测方法，LSTM-attention-LSTM模型的流程图见图1，解决其技术问题所采用的技术方案包括以下内容：

1.获取时间序列预测问题的样本数据集

样本数据集的获取，具体包括输入时间序列X＝{X₁,X₂,…,X_t}和预测输出的时间序列Y＝{Y₁,Y₂,…,Y_t}，其中t为截止时刻。

2.最大最小归一化处理

对原始的时间序列数据进行最大最小归一化处理，并将数据转化成[样本，时间步长，特征]样式的三维数据。然后对其中的异常值和缺失值进行处理，对于缺失值的处理使用均值填充的方法，对于异常值直接删除。最大最小归一化的方法如下：

其中X_max，X_min分别表示序列中的最大值和最小值，X’表示归一化后的结果。

3.超参数初始化

随机初始化一组超参数，包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率。

4.时间序列模型构建

根据设定的超参数，建立LSTM-attention-LSTM模型的候选模型；LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层。

编码层：本发明编码层选用的是LSTM模型，就是将输入序列转化成多个时间序列向量。LSTM-attention-LSTM模型首先对输入的三维向量X＝{X₁,X₂,…,X_t}进行编码处理，本发明中编码层使用的是LSTM模型。在LSTM中，当前时间的隐藏状态是由上一时间的状态和当前时间输入决定的，具体：

f_i＝δ(W_f[h_t-1,X_i]+b_f) (2)

i_t＝δ(W_i[h_t-1,X_t]+b_i) (3)

L_t＝tanh(W_c[h_t-1,X_t]+b_c) (4)

C_i＝f_i*C_i-1+i_i*L_i (5)

O_i＝δ(W_o[h_i-1,X_i]+b_o) (6)

h_i＝O_i*tanh(C_i) (7)

其中h_i表示经过编码层计算输出i时刻的隐藏状态,h_i-1表示i-1时刻的隐藏状态，f_i、i_i和O_i分别表示遗忘门、输入门和输出门，L_i和C_i表示细胞状态的更新，C_i-1为i-1时刻的细胞状态，δ为sigmoid激活函数，W_f、W_i、W_c、W_o和b_f、b_i、b_c、b_o分别表示输入的权重和偏置值。

注意力层,将注意力机制加入到encoder-decoder模型当中,加入了注意力机制之后，模型就不再将编码器的输出序列都输入进一个固定的向量中，而是有多个向量来分担这一份工作，解决了模型中注意力不集中的问题。

原始的编码解码模型本身存在一些局限性的，就是在编码和解码模型之间只有一个联系，而且这个联系是一个固定长度的向量，所以这就会导致当输入的序列很长时，前面先输入的序列会被后面输入的序列遗忘掉，另外该固定长度的向量无法完全表示整个的序列。为了解决这个问题，本发明将注意力机制加入到编码解码模型当中。

经过编码层之后会对输出的向量进行丢弃处理和批量归一化处理，丢弃处理的做法是在模型训练时随机选出部分神经元将其设置为0；批量归一化主要是利用小批量上的均值和标准差，不断调整模型的中间输出，从而使各层的中间输出数值更稳定，两者的都是为了防止模型过拟合。之后就进入到注意力层，注意力机制会计算序列j时刻对i时刻的注意力权重α_ij，再根据注意力权重得到输出向量C’_i。

在引入了注意力机制后，那么在时间序列预测时就会体现出某个时间点的序列对于预测当前时间点的序列不同的影响程度。假设首先输入一个时间步长为4的时间序列X(X₁,X₂,X₃,X₄)，一开始序列X经过编码层中的输入门、遗忘门和输出门的计算得出i时刻的输出向量h_i。然后需要先计算每个时刻该序列的注意力分配概率分布值，注意力分配概率分布值的计算如图3所示。

因为本发明使用LSTM作为解码器，那么在预测i时刻的值y_i时，是可以知道在y_i之前由解码器得到的隐藏层节点的输出值H_i，所以就可以用i时刻的隐藏层节点状态H_i去和输入序列中的编码器得到的j时刻的隐藏层状态h_j进行对比，也就是通过函数F(h_j,H_i)来计算每个时刻序列的注意力权重α_ij，注意力权重α_ij的计算公式如下所示：

e_ij＝a(h_i-1,h_j) (8)

其中α_ij表示注意力权重，e_ij表示j时刻对i时刻的注意力互相关系数。非线性函数a的作用是把编码器中j时刻输入序列X_j对应的隐藏状态h_j和解码器中生成序列y_i的前一时刻的隐藏状态h_i-1进行对比，从而计算出每个输入序列X_j和生成序列y_i之间的匹配程度。匹配程度越高，e_ij和α_ij就越大，就表示i时刻输出在j时刻输入上分配的注意力越多，那么i受j的影响也会越大，通过加入注意力机制对于编码解码模型的优化提升明显。

例如通过计算得出序列X(X₁,X₂,X₃,X₄)的注意力权重α_4j：(X₁,0.2)(X₂,0.2)(X₃,0.2)(X₄,0.4)，即表示注意力分配模型分配给每个时间点对于预测时间点序列X₄的注意力大小。同理，目标序列中的每个时间点序列也会学习其对应的原序列的注意力分配概率信息，所以在生成每个时间点序列y_i的时候，之前的固定语义向量C就会被替换成根据当前生成序列而不断变化的C’_i。所以对于概率分布{(X₁,0.2)(X₂,0.2)(X₃,0.2)(X₄,0.4)}来说，其对应的时间点序列X₄的信息为：

C’₄＝g(0.2*h₁,0.2*h₂,0.2*h₃,0.4*h₄) (10)

其中，h₁、h₂、h₃和h₄为编码层在每个时间点的输出值，g函数则代表编码器将每个时间点的序列整合成一个时间步长时间序列的变换函数，可以表示为：

所以g函数本质上就是一个加权求和函数，C’_i为i时刻的注意力层的输出向量，h_j为j时刻的隐藏状态，α_ij表示j时刻对i时刻的注意力权重，t为时间步长。

解码层：本发明解码层选用的也是LSTM模型，将注意力层的输出向量作为解码层的输入值，计算得到预测值和评估分数RMSE，具体如下：

通过注意力机制得到的C’_i将作为输入序列输入到下一层的解码层当中，通过解码层计算得到y_i,公式表示为：

f_i＝δ(W_f[y_i-1,h_i,C’_i]+b_f) (12)

i_i＝δ(W_i[y_i-1,h_i,C’_i]+b_i) (13)

L_i＝tanh(W_c[y_i-1,h_i,C’_i]+b_c) (14)

C_i＝f_i*C_i-1+i_i*L_i (15)

O_i＝δ(W_o[y_i-1,h_i,C’_i]+b_o) (16)

y_i＝O_i*tanh(C_i) (17)

其中f_i、i_i和O_i分别表示遗忘门、输入门和输出门，L_i和C_i表示细胞状态的更新，C_i-1为i-1时刻的细胞状态，δ为sigmoid激活函数，W_f、W_i、W_c、W_o和b_f、b_i、b_c、b_o分别表示输入的权重和偏置值，y_i-1为解码器中i-1时刻的预测输出值，h_i为解码器中i时刻的隐藏状态，C’_i为i时刻的注意力层的输出向量。通过解码器输出得到i时刻的预测输出值y_i，y_i再通过全连接层的relu激活函数计算得到最终预测序列Y(Y₁,Y₂,Y₃,Y₄)。

通过解码层计算得到预测值Y，然后使用均方根误差(RMSE)作为评估标准，RMSE的计算计算公式如下：

其中，Y_real,i为序列中第i个数据的真实值，Y_pre,i为序列中第i个数据的预测值，T为序列的长度。因此RMSE值越小，说明该模型的预测效果越好。

5.对融合长短期记忆网络与注意力机制的时间序列预测模型进行性能验证

通过均方根误差(RMSE)指标进行比较，分析本发明的LSTM-attention-LSTM模型与LSTM、堆叠LSTM(stacked-LSTM)、双向LSTM(BiLSTM)、编码解码LSTM(encoder-decoder-LSTM)模型的性能优劣。图8可以看出本发明的模型在四个数据集中的RMSE数值都是最小的，并且明显优于其他当前流行的模型，尤其是在Electricity、Stock和Gold这三个数据集中效果十分明显，比其他模型中最低的RMSE还分别降低了0.13、0.127和2.094。

通过图4、图5、图6和图7对比本发明提出模型的RMSE和其它几个主流模型每个时间点的RMSE分布，容易看出LSTM-attention-LSTM在大部分时间点的RMSE都是比其他模型更小，说明本发明的模型的预测准确率比其它模型高，表现出了良好的鲁棒性，这对于现实的实际应用，如天气预测和交通规划有一定的意义。总体来说，本发明提出的LSTM-attention-LSTM模型比目前主流的时间序列预测模型预测效果更好。

Claims

1.一种融合长短期记忆网络与注意力机制的时间序列预测方法，其特征在于步骤如下：

步骤1：获取时间序列预测问题的样本数据集，包括输入时间序列X＝{X₁,X₂,…,X_t}和预测输出的时间序列Y＝{Y₁,Y₂,…,Y_t}，其中t为截止时刻；

步骤2：对原始的时间序列数据进行最大最小归一化处理，并将数据转化成[样本，时间步长，特征]样式的三维数据，对其中的异常值和缺失值进行处理；

步骤3：随机初始化一组超参数，包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率；

步骤4：根据设定的超参数，建立LSTM-attention-LSTM模型的候选模型；LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层；

步骤5：时间序列数据编码，对输入一定时间步长的时间序列数据使用长短期记忆网络LSTM进行编码处理，并对输出向量进行丢弃处理和批量归一化处理，得到当前时刻的隐藏状态；

步骤6：注意力权重计算，对编码层输出的当前时刻的隐藏状态数据和解码层计算得到的隐藏状态进行对比，计算当前时刻的注意力权重，最后得到注意力层的输出向量；

步骤7：时间序列数据预测，对注意力层输出向量通过解码器计算得到初始输入时间序列所对应的预测输出值，再通过全连接层的relu激活函数计算得到最终的预测时间序列。

2.根据权利要求1所述的输入数据编码方法，其特征在于，模型首先对输入的时间序列三维向量X进行编码处理，编码器由LSTM构成，通过遗忘门、输入门、输出门计算，对计算结果即输出的向量进行丢弃处理和批量归一化处理，得到处理后的当前时刻i的隐藏状态向量h_i。

3.根据权利要求1所述的注意力权重计算方法，其特征在于，首先计算待预测时刻i时间序列向量X的注意力分配概率分布值，用解码层计算得到的i时刻的隐藏层节点状态H_i去和输入序列X中的编码器得到的j时刻的隐藏层状态h_j进行对比，通过注意力权重计算函数F计算每个时刻序列的注意力权重α_ij，使用α_ij对向量H_i的每个元素加权求和，得到注意力层的输出向量C’_i。

4.根据权利要求1所述的时间序列数据预测方法，其特征在于，以上一时刻的预测输出值y_i-1和解码器i时刻的隐藏状态h_i和注意力层的输出向量C’_i作为输入，经过遗忘门、输入门、输出门计算，并对细胞状态更新，将更新后的细胞状态作为激活函数tanh的输入，通过计算激活函数tanh的结果与输出门的结果的乘积得到i时刻预测输出值y_i，以y_i为输入通过全连接层的relu激活函数计算得到最终预测序列Y。