CN108764460A - 一种基于时间卷积和lstm的时间序列预测方法 - Google Patents

Abstract

本发明公开了一种基于时间卷积和LSTM的时间序列预测方法，包括：获取时间序列预测问题的样本数据，包括时间序列和预测目标序列；采用不同的超参数组合，建立基于TC‑LSTM模型的多个候选模型；对时间序列进行预处理，得到窗口序列和目标集，并通过划分得到训练集和测试集；利用训练集对候选模型进行训练；利用训练好的候选模型对测试集中的窗口序列子集进行预测，并计算每一个候选模型的预测结果与测试集中的目标集子集的均方根误差；选取均方根误差最小的候选模型作为预测模型；对待预测的时间序列进行预处理，得到待预测的窗口序列，然后利用预测模型对待预测的窗口序列进行预测，得到预测目标值。本发明能够提高时间序列预测的准确度。

Description

一种基于时间卷积和LSTM的时间序列预测方法

技术领域

本发明属于深度学习和时间序列预测领域，更具体地，涉及一种基于时间卷积和LSTM的时间序列预测方法。

背景技术

时间序列是一个现象随着时间推移而体现出来的不同数据表示，因此它是一系列的线性序列数据，时间序列预测也就是对这一类型数据分析，处理，发现其变化规律并预测未来走势的方法。时间序列预测应用广泛，与现实生活中多种场景息息相关，例如商品销量的短期和长期预测，金融市场股票价格的波动趋势分析等。

传统的时间序列预测主要以ARIMA(Autoregressive Integrated MovingAverage Model，ARIMA)模型为主，ARIMA模型将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归建立模型，从而对未来趋势进行预测。但是以ARIMA为主的一系列算法本质上还是属于线性模型，然而时间序列数据大多数存在非线性的成分，并且仅仅从历史数据中的规律来对未来进行预测得出的结构过于片面，这些都限制了线性模型的实用性。

LSTM(Long Short Term Memory Network，长短时记忆网络)[Hochreiter S,Schmidhuber J.Long Short-Term Memory[J].Neural Computation,1997,9(8):1735-1780.]和GRU[Cho K,Van Merrienboer B,Gulcehre C,et al.Learning PhraseRepresentations using RNN Encoder-Decoder for Statistical Machine Translation[J].Computer Science,(2014)]等深度学习结构可用于时间序列预测，这些模型都能学习到数据中时间上的依赖关系，但是时间序列预测需要的数据更长，同时数据呈现一定的规律，例如趋势，周期性，以及噪声因素难以有效的挖掘。

总体而言，传统的以ARIMA模型为主的方法难以获取到序列数据中的非线性因素，而LSTM和GRU等常用的循环神经网络模型无法提取到时间序列的长期模式特征，因此，现有的用于时间序列预测的方法的预测精度上都有所限制。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于时间卷积和LSTM的时间序列预测方法，其目的在于，解决现有的用于时间序列预测的方法预测精度不高的问题。

为实现上述目的，本发明提供了一种基于时间卷积和LSTM的时间序列预测方法，包括如下步骤：

(1)获取时间序列预测问题的样本数据，包括时间序列X＝{X₀,X₁,…X_t}和预测目标序列Y＝{y₁,y₂,…y_t+1}；其中，t为截止时刻，X_i和y_i+1分别为i,0≤i≤t时刻的特征向量和预测目标；

(2)随机初始化一组超参数，包括模型迭代次数、时间卷积层输入序列长度p以及模型学习率；

(3)根据设定的超参数，建立基于TC-LSTM模型的候选模型；TC-LSTM模型依次包括时间卷积层、LSTM层以及线性变换层；时间卷积层为一个卷积神经网络，其输入为时间序列中t时刻之前长度为p的一段特征向量序列，用于提取区域性特征向量Con_t；LSTM层为一个长短时记忆网络，其输入为特征向量Con_t和时间序列中t时刻的特征向量，用于学习数据在时间上的依赖关系；线性变换层用于通过线性变换将LSTM层的输出向量转换为预测目标值；

(4)对时间序列X进行预处理得到窗口序列W＝{Z₀,Z₁,…Z_t-p}，并截取预测目标序列的子集{y_p,y_p+1,…y_t+1}作为目标集T，其中，窗口序列W中的元素Z_j用于预测目标集中的元素y_j+p+1，j的取值范围为0～t-p；在时间维度上将窗口序列W和目标集T均按照比例r进行划分，得到训练集和测试集，训练集和测试集均包括一个窗口序列子集和对应的目标集子集；利用训练集对候选模型进行训练；

其中，r为根据经验设定的比例值；比例r的常用取值为7:3；

(5)利用训练好的候选模型对测试集中的窗口序列子集进行预测，并计算每一个候选模型的预测结果与测试集中的目标集子集的均方根误差；

(6)调整模型迭代次数、时间卷积层输入序列长度p以及模型学习率，并执行步骤(3)～(5)，得到多个训练好的候选模型及每个候选模型对应的均方根误差，选取其中均方根误差最小的候选模型作为预测模型；

(7)对待预测的时间序列进行预处理，得到待预测的窗口序列，然后利用预测模型对待预测的窗口序列进行预测，得到预测目标值。

进一步地，TC-LSTM模型中，构成时间卷积层的卷积神经网络，其卷积层为8个卷积长度为14的卷积核，池化层为8个极大化池化，全连接层的节点数为120；通过上述设计，能够保证时间卷积层提取区域性特征时同时具有较高的速度和精度。

进一步地，步骤(4)和所述步骤(7)中，对时间序列的预处理，包括如下步骤：

(41)对时间序列中的每一个特征向量进行归一化处理，对于一个特征向量中的一个特征x，其归一化方法为：

其中，x_max和x_min分别对应特征x的最小值和最大值，x`是归一化之后的结果；

(42)使用窗口大小为p且步长为1的滑动窗口在时间序列上滑动，得到对应的窗口序列。

进一步地，步骤(4)中，利用训练集训练候选模型时，使用均方根误差作为损失函数，并通过RMSProp算法不断迭代循环学习模型的参数，至到均方根误差不再下降。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明所提供的基于时间卷积和LSTM的时间序列预测方法，所建立的用于时间序列预测的TC-LSTM模型依次包括时间卷积层、LSTM层以及线性变换层，其中时间卷积层为一个卷积神经网络，LSTM层为一个长短时记忆网络。一方面，由于TC-LSTM模型是一个非线性模型，因而能够学习到时间序列的非线性特征，并且可以处理非稳定性序列；另一方面，用于预测的输入量不限于一个特征向量，而可以是一个特征向量序列，因此能够为预测提供更多的数据，进而能够提高预测的精度，并有利于对时间序列中所隐含的规律进行挖掘。

(2)本发明所提供的基于时间卷积和LSTM的时间序列预测方法，TC-LSTM模型中，构成时间卷积层的卷积神经网络，其卷积层包括8个卷积长度为14的卷积核，池化层包括8个极大化池化，全连接层的节点数为120，这样的设计能够保证时间卷积层提取区域特征时同时具有较高的速度和精度。

(3)本发明所提供的基于时间卷积和LSTM的时间序列预测方法，在利用模型进行时间序列预测前，会对时间序列进行预处理，包括归一化处理和滑动窗口处理，通过对时间序列进行归一化处理，将数据映射到0到1之间，可以加快神经网络模型误差的降低速度；通过滑动窗口处理，能够扩充训练数据，提高数据利用率。

(4)本发明所提供的基于基于时间卷积和LSTM的时间序列预测方法，先建立多个候选模型并分别利用训练集进行训练和优化，之后利用测试集从多个候选模型中选取预测结果与实际结果的均方根误差最小的作为最终的预测模型，由此保证了预测模型的性能最优，并进一步保证了时间预测的精度。

附图说明

图1为本发明实施例提供的基于时间卷积和LSTM的时间序列预测方法流程图；

图2为本发明实施例提供的TC-LSTM模型的时间卷积层示意图；

图3为本发明实施例提供的TC-LSTM模型的单元示意图；

图4为本发明实施例提供的TC-LSTM模型训练的展开示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明所提供的基于时间卷积和LSTM的时间序列预测方法，如图1所示，包括如下步骤：

(1)获取时间序列预测问题的样本数据，包括时间序列X＝{X₀,X₁,…X_t}和预测目标序列Y＝{y₁,y₂,…y_t+1}；其中，t为截止时刻，X_i和y_i+1分别为i,0≤i≤t时刻的特征向量和预测目标；

对于某些时间序列预测问题，预测目标序列Y为时间序列X中的一列，例如使用股票t时刻的收盘价、开盘价、最高价、最低价等特征预测t+1时刻的开盘价；时间序列X实际上是一个二维特征矩阵，其形式如下：

其中n为每个时刻特征向量的维度，以股票数据为例，可以包括当天的开盘价，收盘价，最高价，最低价等n个指标；

(2)随机初始化一组超参数，包括模型迭代次数、时间卷积层输入序列长度p以及模型学习率；

(3)根据设定的超参数，建立基于TC-LSTM模型的候选模型；TC-LSTM模型依次包括时间卷积层、LSTM层以及线性变换层；时间卷积层为一个卷积神经网络，其输入为时间序列中t时刻之前长度为p的一段特征向量序列，用于提取区域性特征向量Con_t；LSTM层为一个长短时记忆网络，其输入为特征向量Con_t和时间序列中t时刻的特征向量，用于学习数据在时间上的依赖关系；线性变换层用于通过线性变换将LSTM层的输出向量转换为预测目标值；

(4)对时间序列X进行预处理得到窗口序列W＝{Z₀,Z₁,…Z_t-p}，并截取预测目标序列的子集{y_p,y_p+1,…y_t+1}作为目标集T，其中，窗口序列W中的元素Z_j用于预测目标集中的元素y_j+p+1，j的取值范围为0～t-p；在时间维度上将窗口序列W和目标集T均按照比例r进行划分，得到训练集和测试集，训练集和测试集均包括一个窗口序列子集和对应的目标集子集；利用训练集对候选模型进行训练；

其中，r为根据经验设定的比例值；比例r的常用取值为7:3；

(5)利用训练好的候选模型对测试集中的窗口序列子集进行预测，并计算每一个候选模型的预测结果与测试集中的目标集子集的均方根误差；

(6)调整模型迭代次数、时间卷积层输入序列长度p以及模型学习率，并执行步骤(3)～(5)，得到多个训练好的候选模型及每个候选模型对应的均方根误差，选取其中均方根误差最小的候选模型作为预测模型；

(7)对待预测的时间序列进行预处理，得到待预测的窗口序列，然后利用预测模型对待预测的窗口序列进行预测，得到预测目标值。

在本实施例中，构成时间卷积层的卷积神经网络，如图2所示，其卷积层包括8个卷积长度为14的卷积核，池化层包括8个极大化池化，全连接层的节点数为120，以保证时间卷积层提取区域特征时同时具有较高的速度和精度。

在上述步骤(4)中，对时间序列X进行预处理得到窗口序列W＝{Z₀,Z₁,…Z_t-p+1}，具体包括如下步骤：

(41)对时间序列X中的每一个特征向量进行归一化处理，归一化处理之后数据将映射到0到1之间，从而可以加快神经网络模型误差的降低速度；对于一个特征向量中的一个特征x，其归一化方法为：

其中，x_max和x_min分别对应特征x的最小值和最大值，x`为归一化之后的结果；

(42)使用窗口大小为p且步长为1的滑动窗口在时间序列X上滑动，得到窗口序列W＝{Z₀,Z₁,…Z_t-p+1}；其中，窗口序列中的元素Z_i＝[X_i,X_i+1,…,X_i+p-1]，用于预测目标值y_i+p+1，i的取值范围为0～t-p+1。

上述步骤(7)中，对待预测的时间序列进行预处理的过程与上述步骤(4)中对时间序列X进行预处理的过程相同，在此不做赘述。

上述步骤(4)中，利用训练集训练候选模型时，使用均方根误差作为损失函数，并通过RMSProp算法不断迭代循环学习模型的参数，至到均方根误差不再下降。

在本发明所提供的基于时间卷积和LSTM的时间序列预测方法中，TC-LSTM模型由长短时记忆网络改进而来，同样使用遗忘门来控制细胞状态，输出门来确定下一步的输出，不同的是，在输入门中引入一维卷积来提取序列长期特征。单个TC-LSTM模型结构图如图3所示。基于所建立的TC-LSTM模型，时间序列中t时刻之前长度为p的特征向量序列输入时间卷积层后，卷积神经网络的卷积层采用多通道卷积长度为14的8个卷积核f提取特征向量序列的特征，池化层采用8个极大化池化操作，然后通过全连接层变换为120维的高维特征向量Con_t；特征向量Con_t的计算公式为：Con_t＝Conv(V,[X_t,X_t-1,…,X_t-p])，其中，Conv表示整个卷积神经网络的计算操作，V表示通过训练得到的卷积神经网络的参数集合；

时间卷积层输出的特征向量Con_t会输入到LSTM层的长短时记忆网络中，TC-LSTM的遗忘门由sigmoid函数输出0到1之间的阈值，以此来判断上一层的细胞状态中需要保留多少信息继续传递，遗忘门的定义公式为：f_t＝sigmoid(W_f·[Con_t,h_t-1,X_t]+b_f)，其中，h_t-1是上一次训练的模型输出，W_f，b_f是当前门电路的需要学习到的参数，X_t为当前t时刻状态的输入特征向量；

从旧的细胞状态C_t-1更新为新的细胞状态C_t，主要由两部分组成，一部分为通过遗忘门后旧的细胞状态中的剩余信息C_t-1，另一部分为根据当前输入信息提取出来的新的数据i_t为使用sigmoid函数判断的加入多少新的数据到细胞状态中去，这两部分通过一个加法门电路综合起来，得到新的细胞状态，计算公式如下：

i_t＝sigmoid(W_i·[Con_t,h_t-1,x_t]+b_i)；

模型参数的更新是在时间维度上进行的，对模型计算过程在时间维度上展开图如图4所示，模型以这种串行的方式计算，但是每个神经单元之间参数共享；

LSTM层的输出向量h_t由三方面共同控制，即卷积层提取到的信息Con_t，当前的数据信息X_t以及上一次的细胞状态h_t-1，输出门定义公式如下：

o_t＝sigmoid(W_o·[Con_t,h_t-1,x_t]+b_o)；

h_t＝o_t*tanh(C_t)；

其中W_i，b_i，W_c，b_c，W_o，b_o是对应门电路中的参数；

通过前向计算得到LSTM层的输出向量h_t，然后通过线性变换层对向量h_t进行线性变换，得到预测值y_t'₊₁；这里我们使用均方根误差(root-mean-square error，RMSE)作为损失函数，RMSE的计算公式如下：

其中，y_t+1是需要预测的真实值；

本发明使用RMSProp算法[Tran D,Ranganath R,Blei D M.The VariationalGaussian Process[J].Computer Science,2015.]来最小化损失RMSE，使用测试集来训练模型，通过梯度下降的方式不断迭代循环学习模型的参数，直到RMSE不再下降。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于时间卷积和LSTM的时间序列预测方法，其特征在于，包括如下步骤：

(1)获取时间序列预测问题的样本数据，包括时间序列X＝{X₀,X₁,…X_t}和预测目标序列Y＝{y₁,y₂,…y_t+1}；

其中，t为截止时刻，X_i和y_i+1分别为i,0≤i≤t时刻的特征向量和预测目标；

(2)随机初始化一组超参数，包括模型迭代次数、时间卷积层输入序列长度p以及模型学习率；

(3)根据设定的超参数，建立基于TC-LSTM模型的候选模型；

所述TC-LSTM模型依次包括时间卷积层、LSTM层以及线性变换层；所述时间卷积层为一个卷积神经网络，其输入为时间序列中t时刻之前长度为p的一段特征向量序列，用于提取区域性特征向量Con_t；所述LSTM层为一个长短时记忆网络，其输入为所述特征向量Con_t和时间序列中t时刻的特征向量，用于学习数据在时间上的依赖关系；所述线性变换层用于通过线性变换将所述LSTM层的输出向量转换为预测目标值；

(4)对所述时间序列X进行预处理得到窗口序列W＝{Z₀,Z₁,…Z_t-p}，并截取预测目标序列的子集{y_p,y_p+1,…y_t+1}作为目标集T，其中，所述窗口序列W中的元素Z_j用于预测目标集中的元素y_j+p+1，j的取值范围为0～t-p；在时间维度上将所述窗口序列W和所述目标集T均按照比例r进行划分，得到训练集和测试集，所述训练集和所述测试集均包括一个窗口序列子集和对应的目标集子集；利用所述训练集对所述候选模型进行训练；

其中，r为根据经验设定的比例值；

(5)利用训练好的候选模型对所述测试集中的窗口序列子集进行预测，并计算每一个候选模型的预测结果与测试集中的目标集子集的均方根误差；

(6)调整模型迭代次数、时间卷积层输入序列长度p以及模型学习率，并执行步骤(3)～(5)，得到多个训练好的候选模型及每个候选模型对应的均方根误差，选取其中均方根误差最小的候选模型作为预测模型；

(7)对待预测的时间序列进行预处理，得到待预测的窗口序列，然后利用所述预测模型对所述待预测的窗口序列进行预测，得到预测目标值。

2.如权利要求1所述的基于时间卷积和LSTM的时间序列预测方法，其特征在于，所述TC-LSTM模型中构成时间卷积层的卷积神经网络，其卷积层包括8个卷积长度为14的卷积核，池化层包括8个极大化池化，全连接层的节点数为120。

3.如权利要求1所述的基于基于时间卷积和LSTM的时间序列预测方法，其特征在于，所述步骤(4)和所述步骤(7)中，对时间序列的预处理，包括如下步骤：

(41)对时间序列中的每一个特征向量进行归一化处理，对于一个特征向量中的一个特征x，其归一化方法为：

其中，x_max和x_min分别对应特征x的最小值和最大值，x`是归一化之后的结果；

(42)使用窗口大小为p且步长为1的滑动窗口在时间序列上滑动，得到对应的窗口序列。

4.如权利要求1所述的基于时间卷积和LSTM的时间序列预测方法，其特征在于，所述步骤(4)中，利用训练集训练候选模型时，使用均方根误差作为损失函数，并通过RMSProp算法不断迭代循环学习模型的参数，至到均方根误差不再下降。