CN109919364A - 基于自适应降噪和集成lstm的多变量时间序列预测方法 - Google Patents

Abstract

本发明公开了基于自适应降噪和集成LSTM的多变量时间序列预测方法，用以解决现有方法对具有非平稳、非线性和含噪特点的多变量时间序列预测时性能不稳定以及预测精度低的问题。所述方法包括：采用具有自适应噪声的完全集合经验模式分解方法对含噪混沌多变量时间序列分解得到一系列频率由高到底的本征模函数；采用排列熵的思想区分含噪高频本征模函数和低频不含噪本征模函数；构造自适应阈值和自适应阈值函数对含噪本征模函数降噪；构造堆叠自动编码器对降噪后的多变量时间序列提取特征；基于LSTM神经网络构造多变量时间序列弱预测器；构造考虑验证集预测误差的集成算法组合多个LSTM弱预测器得到强预测器。

Description

基于自适应降噪和集成LSTM的多变量时间序列预测方法

技术领域

本发明属于计算机应用技术领域，尤其涉及一种基于自适应降噪和集成LSTM的多变量时间序列预测方法。

背景技术

在实际生产和科学研究中，通过对某一个或一组指标进行观察测量得到按照时间先后序列排列的观察值称为时间序列数据，时间序列模型能够拟合并学习时间序列数据的时间变化规律，例如随机性变化、周期性变化或者趋势性变化。多变量时间序列预测模型是针对多个变量时间序列，充分考虑各个变量时间序列之间的关系，并且对某一个或多个目标时间序列进行预测。多变量时间序列预测已广泛应用于许多领域，例如金融市场预测、能源预测和环境污染预测等。根据历史观察预测未来的新趋势或潜在的危险事件具有重要意义，然而，如何预处理复杂的混沌多变量时间序列，捕获这些变量之间的特征，并做出准确的预测仍然是主要的挑战。

针对多变量时间序列预测的问题，很多研究提出了相关的预测模型，主要分为两类，第一类是基于随机过程理论和数理统计的传统模型，例如自回归移动平均模型(ARIMA)、向量自回归模型(VAR)和高斯过程(GP)等，这类模型通常使用预定义的线性或非线性模型，然后根据输入数据动态调整模型的参数，难以发掘非线性时间序列中的复杂模式以及多变量之间的依赖关系。第二类是神经网络模型，这类结构不固定，可以根据输入数据灵活地探索线性或非线性特征，并学习相应的函数映射，例如循环神经网络(RNN)、卷积神经网络(CNN)和长短期记忆(LSTM)等。在处理复杂的多变量时间序列时，神经网络尤其是循环神经网络及其变种具有明显的优越性。

发明内容

本发明的目的在于提供一种基于自适应降噪和集成LSTM的多变量时间序列预测方法，用以解决现有方法对具有非平稳、非线性和含噪特点的多变量时间序列预测时性能不稳定以及预测精度低的问题。

本发明通过如下技术方案实现。

基于自适应降噪和集成LSTM的多变量时间序列预测方法分为降噪阶段、特征提取阶段以及集成预测三个阶段。降噪阶段对多变量时间序列里的目标序列进行降噪，以去除目标序列里的噪声因素，提高后续分析的效率和有效性；特征提取阶段对所有变量时间序列进行特征提取，充分考虑每个变量序列之间的相互依赖关系，以寻找更为合理的数据输入格式，提高模型训练时间和收敛速度；集成预测阶段，基于神经网络构造预测器，并使用改进的集成算法组合多个集成预测器得到强预测器，提高预测精度的同时防止过拟合。

进一步地，降噪阶段，采用具有自适应噪声的完全集合经验模式分解方法(CEEMDAN)分解目标时间序列的层次结构，得到一系列频率由高到底的本征模函数(IMF)。然后采用排列熵的思想得到每一个本征模函数排列熵，排列熵高的IMF含噪高，反之含噪少，通过确定排列熵的阈值，从而区分含噪的高频IMF和不含噪的低频IMF。最后构造自适应阈值来划分每一个含噪的高频本征模函数中的含噪数据点和不含噪数据点，并且构造自适应阈值函数来对含噪的高频本征模函数降噪。

进一步地，特征提取阶段，采用堆叠自动编码器神经网络对多变量时间序列进行无监督的特征提取，在每一层自动编码器中，输入的是整个多变量时间序列，先对多变量时间序列编码，映射到隐藏层，然后再解码为原多变量时间序列，隐藏层即为多变量时间序列的特征。通过堆叠多层自动编码器，逐层提取更深层次的特征，并且充分考虑各个变量序列之间的关系和降低维度。

进一步地，集成预测阶段，基于LSTM神经网络构造多变量时间序列弱预测器，并使用考虑验证集预测误差的AdaBoost集成算法组合多个LSTM弱预测器得到强预测器。考虑验证集的AdaBoost集成算法对原数据集划分为训练集，验证集和测试集。训练集用来用于训练模型和更新参数；验证集用于调整模型的超参数，并调整在AdaBoost算法的每次迭代中获得的LSTM预测器的权重；测试集用于评估模型的预测性能。考虑验证集的AdaBoost集成算法先初始化训练集和验证集的权重分布，然后在每一轮迭代中根据弱预测器在训练集以及在验证集上的预测误差决定是否选取该弱预测器以及赋予选取的弱LSTM预测器权重，每一轮迭代结束后更新训练集和验证集的权重分布。全部迭代结束后，加权求和每个弱LSTM预测器得到强预测器。

与现有技术相比，本发明具有如下的优点与技术效果：

1、降噪阶段，构造的自适应排列熵阈值来划分高频含噪本征模函数和低频不含噪本征模函数能够有效分离原始序列的层次结构，而所构造的自适应阈值和自适应阈值函数有效的对目标时间序列降噪，在降噪的同时最大程序减少对有效序列的影响。

2、特征提取阶段，采用无监督的方法，充分考虑了多变量时间序列之间的依赖关系，通过使用堆叠自动编码器神经网络逐层提取到高层次的、降维的和具有鲁棒性的特征。

3、集成预测阶段，提出了考虑验证集预测误差的AdaBoost集成算法，在集成过程中选取的LSTM弱预测器具有更高的预测精度和泛化能力，最后通过加权求和每个弱LSTM预测器得到的强预测器，从而提高了预测的精度以及避免了过拟合的风险。

附图说明

图1为本发明方法的具体实施例中基于自适应降噪和集成LSTM的多变量时间序列预测方法的流程示意图。

图2为本发明方法具体实施例中自适应降噪方法的示意图。

图3为本发明方法具体实施例中堆叠自动编码器的示意图。

图4为本发明方法具体实施例中长短期记忆神经网络示意图。

图5为本发明方法具体实施例中考虑验证集预测误差的AdaBoost集成算法示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图，进行进一步的详细说明，但本发明的实施和保护不限于此。

基于自适应降噪和集成LSTM的多变量时间序列预测方法分为降噪阶段、特征提取阶段以及集成预测三个阶段，流程示意图如图1所示。以下就每个阶段的具体实施方式详细说明。

1.降噪阶段

图2展示了自适应时间序列降噪的流程示意图，其步骤如下：

1)目标时间序列分解

使用具有自适应噪声的完全集合经验模式分解方法(CEEMDAN)分解目标时间序列，得到一系列频率由高到底的本征模函数IMF和余量R。设目标序列为x＝{x₁，x₂，…，x_m}，E_j(·)是由集成经验分解(EMD)方法分解得到的第j个IMF，wⁱ是分布为N(0，1)的高斯噪声，k是IMF的序号，具体分解过程如下：

步骤1：添加高斯白噪声ε₀wⁱ(i＝1，...，I)到原来的时间序列，并使用EMD分解X+ε₀wⁱ得到第一个本征模函数IMF₁：

其中ε₀是自适应系数，I是添加高斯白噪声的次数。

步骤2：当k＝1时，计算第一个余量r₁＝X-IMF₁，然后使用EMD分解r₁+ε₁E₁(wⁱ)(i＝1，...，I)得到第一个EMD本征模函数，则分解出时间序列的第二个本征模函数IMF₂为：

步骤3：当k＝2，...，K，计算第k个余量r_k＝r_k-1-IMF_k，然后使用EMD分解r_k+8_kE_k(wⁱ)(i＝1，...，I)得到第一个EMD本征模函数，则分解出时间序列的第k+1个本征模函数IMF_k+1表示为：

步骤4：重复步骤3到4，直到余量不能再分解，最后的余量可以表示为

其中K是本征模函数IMF的个数，则分解后的时间序列可以表示为：

2)本征模函数分类

排列熵(PE)是一种时间序列复杂度的度量，它通常用于从噪声时间序列中发现复杂结构。排列熵的大小测量时间序列的随机性。排列熵越大，时间序列包含的噪声越多。

通过计算分解出本征模函数IMF的排列熵的值，可以区分含噪的高频IMF和不含噪的低频IMF。假设IMF表示为X＝{x₁，x₂，…，x_m}，将其重构为矩阵：

其中d是嵌入的维度，τ是嵌入延迟时间，M＝m-(d-1)τ。矩阵中的矩阵中的每一行都是重构向量组件，共有M个，将每个组件元素X(j)按照升序排列，即：

x[j+(j₁-1)τ]≤x[j+(j₂-1)τ]≤…≤x[j+(j_d-1)τ] (7)

其中j₁，j₂，...，j_d表示重构组件中列的索引号，升序排列后每一行都能得到一组符号序列，记录为：

S(l)＝(j₁，j₂，...，j_d) (8)

计算每一种符号序列出现的可能性，得到P₁，P₂，…，P_M，则根据香农熵的形式，排列熵的值可以表示为：

选择排列熵阈值为P，则分解后的时间序列可以分类为：

3)高频含噪本征模函数去噪

为了对高频含噪的本征模函数去噪，构造自适应阈值λ以及自适应阈值函数w_λ，表示为：

其中σ表示时间序列的标准差，m表示时间序列的长度，K是分解出本征模函数的数量，w是时间序列中的某个时间点的值，即如果该值的绝对值大于或等于λ，则取[sgn(w)](|w|-λ)，否则取0。

4)重建序列

通过将高频去噪后的本征模函数，低频不含噪的本征模函数以及余量相加重建降噪后的时间序列，即：

其中IMF′^(k)(k＝P，P+1，…，K)是去噪后的高频本征模函数，IMF^(k)(k＝1，2，…，P-1)是低频不含噪的本征模函数，R代表余量。

2.特征提取阶段

图3展示了特征提取阶段使用的堆叠自动编码器的网络结构，该堆叠自动编码的输入层包括n个神经元，对应着多变量时间序列变量的个数，共有四个单层的自动编码器。自动编码器(AE)是通过编码和解码重建原始输入的神经网络，在编码阶段，AE通过将输入矢量X映射到隐藏层来获得a(X)。在解码阶段，AE将a(X)映射到重建层以重建X，当重建后的矢量和输入矢量相近时则可以认为隐藏层矢量a(X)是输入矢量X的一种抽象表达。编码和解码的过程可以表示为：

a(X)＝f(W₁X+b₁) (14)

X′＝f(W₂a(X)+b₂) (15)

其中W₁，W₂分别表示隐藏层和重建层的权重矢量，b₁，b₂分别表示隐藏层和重建层的偏置单元。f是激活函数，在所提出的方法中使用的激活函数是tanh。训练单层AE的目的是最小化输入向量和输出矢量之间的误差，误差表示为：

其中m是时间序列的长度，n是多变量时间序列变量的个数。优化函数表示为：

由于单层的自动编码器只能够构造简单的数学映射关系，因此很难处理复杂的多变量时间序列。在本方法中，使用堆叠自动编码器(SAEs)，SAEs在训练第一单层AE之后放弃第一单层AE的重建层，隐藏层变为第二单层AE的输入层，其他层也一样。在本方法使用的SAEs中，SAEs的深度设置为5，每个隐藏层的神经元数分别设置为12，10，8和6。

3.集成预测阶段

预测阶段使用了长短期记忆神经网络LSTM来构造基础的弱预测器。图4展示了LSTM的网络结构图。LSTM是一种回归神经网络(RNN)的变种，使用存储单元来替代传统神经网络中隐藏层的神经元，LSTM包括存储单元(C_t)、输入门(i_t)、输出门(o_t)和遗忘门(f_t)。W_i，W_f，W_c，W_o，U_i，U_f，U_c和U_o是权重向量。在时间t，定义LSTM输入是x_t以及隐藏层的状态是h_t，是存储单元的候选状态。对每个门、输入候选状态、隐藏层状态以及存储单元状态的计算如下所示：

i_t＝σ(W_i*x_t+U_i*h_t-1+b_i) (18)

f_t＝σ(W_f*x_t+U_f*h_t-1+b_f) (20)

o_t＝σ(W_o*x_t+U_o*h_t-1+b_o) (22)

h_t＝o_t*tan(C_t) (23)

图5展示了集成预测的流程示意图。集成预测阶段采用了改进的AdaBoost集成算法，该算法将验证集的权重分布添加到迭代过程中，样本的权重分布和每个弱预测器的权重不仅由训练集上的预测误差确定，而且还由验证集上的预测误差确定，验证集上的预测误差对LSTM预测器进行样本外评估。如果验证集上的预测误差小，则它对LSTM预测器的权重具有正面影响，否则具有负面影响，这可以在很大程度上防止过度拟合并增强LSTM预测器的泛化能力。

设原始的时间序列为X＝{x₁，x₂，…，x_m}，将其分成训练集、验证集和测试集三个部分，长度分别为l₁，l₂和l₃，分别可以表示为Train＝{x₁，x₂，…，x_l1}，Validate＝{x_l1+1，x_l1+2，…，x_l1+l2}和Test＝{x_l1+l2+1，x_l1+l2+2，…，x_m}。训练集用来训练LSTM模型，验证集用来调整LSTM模型的超参数，而测试集用来评估LSTM预测模型最终的预测性能。将训练集和验证集都作为AdaBoost算法的输入，并初始化训练集的权重分布为验证集的权重分布定义第k轮迭代中选取的LSTM预测器定义为ξ_k(·)，共迭代N次，AdaBoost的第k次迭代中LSTM的预测误差E_k定义为：

其中表示第k次迭代下训练集第i个数据点的权重，代表第k次迭代下验证集第i个数据点的权重。LSTM预测误差由训练集的预测误差和验证集的预测误差之和。和分别表示训练集预测误差和验证集预测误差所占的比例。是第k次迭代下选择的LSTM预测器对第i个数据点的预测误差，表示为θ是一个阈值，J(·)是一个判别式，可以定义为：

当大于阈值θ时则I(·)取1，表示对误差产生正向影响，反之产生反向影响。

为了保证每一次迭代中，训练出的LSTM预测器具有较高的预测能力以及防止过拟合，给出双重条件判别式：

η_T和乃分别是训练集和验证集的的平均预测误差，条件表示该轮迭代中选择的LSTM预测器的错误率在50％以下，这个条件能保证选取的LSTM预测器具有较高的预测能力，表示在LSTM预测器在验证集上的平均预测误差要比在测试集上的平均预测误差要小，这个条件能够很大程度上防止过拟合。

Adaboost算法在第k轮迭代中根据数据的权重分布训练的LSTM预测器的权重定义为：

由该式子可以看出，LSTM预测器的总误差越小，其在最后的集成预测器中所占的权重越大，反之亦然。

第k次迭代结束之后，将训练集和验证集的权重分布分别更新为：

其中ZT_k和ZV_k是归一化因子，分别可以表示为：

由权重更新公式可以看出，预测误差大的数据点，权重更新后会增大，反之亦然。这样子就能在新一轮迭代中，更加关注预测误差大的数据

经过N次迭代后，共训练出N个弱LSTM预测器，并且根据每个弱LSTM预测器的预测误差的大小赋予其不同的权重，最后组合成的强预测器P_final定义为：

其中w_k是归一化权重，定义为：

上述流程为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，包括步骤：

自适应时间序列降噪：自适应时间序列降噪方法包括三个阶段，第一阶段采用具有自适应噪声的完全集合经验模式分解方法对含噪混沌多变量时间序列分解到一系列频率由高到底的本征模函数；第二阶段使用排列熵的思想区分含噪高频本征模函数和低频不含噪本征模函数；第三阶段构造自适应阈值和自适应阈值函数对含噪本征模函数降噪；

多变量时间序列特征提取：构造堆叠自动编码器对降噪后的多变量时间序列提取特征，以得到高层次以及降维后的多变量时间序列特征；

多变量时间序列集成预测：基于LSTM神经网络构造多变量时间序列弱预测器，构造考虑验证集预测误差的集成算法组合多个LSTM弱预测器得到强预测器，在提高预测精度的同时也避免了过拟合的风险。

2.根据权利要求1所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的自适应时间序列降噪采用自适应噪声的完全集合经验模式分解方法分解含噪混沌时间序列的层次结构，即分解出一系列频率由高到底的本征模函数。

3.根据权利要求1所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的自适应时间序列降噪采用了排列熵的熵值越大，时间序列越混乱的思想来区分含噪的高频本征模函数以及不含噪的低频本征模函数。

4.根据权利要求1所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的自适应时间序列降噪使用自适应阈值来划分每一个含噪的高频本征模函数中的含噪数据点和不含噪数据点，并且构造了自适应阈值函数来对含噪本征模函数降噪。

5.根据权利要求1所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的多变量时间序列特征提取，采用了堆叠自动编码器，逐层提取并降维的方式获得多变量时间序列的高级特征。

6.根据权利要求1所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的多变量时间序列集成预测，采用于LSTM构造多变量时间序列弱预测器，并使用考虑验证集预测误差的AdaBoost集成算法组合多个LSTM弱预测器得到强预测器。

7.根据权利要求6所述的基于自适应降噪和集成LSTM的多变量时间序列预测方法，其特征在于，所述的考虑验证集的AdaBoost集成算法在每一轮迭代中选取LSTM弱预测器时既考虑到了在训练集上的预测误差，也考虑到了在验证集上的预测误差，这样选取的弱LSTM预测器具有更强的泛化能力并且避免了过拟合的风险。