CN106952161A - 一种基于长短期记忆深度学习网络的股票近期走势预测方法 - Google Patents

Abstract

本发明公开提出了一种基于长短期记忆深度学习网络的股票近期走势预测方法。方法分为训练和预测两个阶段。对于某只股票，方法首先对股票时间序列以一定的步长循环重叠截取，形成短序列，进行标准化处理后，选取一定比例的短序列作为训练数据，其余部分作为验证数据。在训练阶段，定义模型的结构，构建长短期记忆深度学习网络,选择损失函数及优化器后，输入训练数据，经过多轮模型训练后，以验证数据验证模型的性能。在预测阶段，以该股票近期的走势类似构建短序列和标准化处理后，输入模型进行预测，预测是逐步进行的，将第二天预测结果放到原输入后，再进行下一天的预测，以此类推形成近期的预测序列。最后对预测结果进行反标准化处理并输出。

Description

一种基于长短期记忆深度学习网络的股票近期走势预测方法

技术领域

本发明涉及股票数据挖掘技术领域，尤其是涉及一种基于长短期记忆深度学习网络的股票近期走势预测方法。

背景技术

股票市场在今天的金融市场中起着很重要的作用。近年来，股票市场吸引了越来越多人的关注。股票投资是为了获得更大的收益，有效地进行股票价格的预测，最大程度规避股票风险，增加投资收益，是股票投资者最关注的热点问题。

目前，股票预测方法主要有回归分析法、时间序列法、马尔柯夫预测等传统方法，还有就是支持向量机、神经网络等人工智能的预测方法等。为了进一步提高股票价格预测的精度，一些改进的算法和学习策略也被应用到股票价格预测的问题上。

深度学习是目前机器学习领域一个新的研究方向，它可以学习多个表示和抽象层次，较好的提取样本的特征，在人工智能的相关领域已取得了广泛的应用成果。在本发明中，将基于长短期记忆深度学习网络，对股票的近期走势进行预测。

发明内容

本发明公开提出了一种基于长短期记忆深度学习网络的股票近期走势预测方法。方法是一个通用的模型，可进行不同项目的预测，可预测项目包括收盘价、涨跌幅、开盘价、最高价、最低价、成交量、换手率等。不同项目之间没有关联，每个项目单独训练，单独预测。

以收盘价预测为例，方法分为训练和预测两个阶段。

对于某只股票，方法首先获取该股票某个时间点以来至今的所有收盘价，形成一个时间序列；之后以一定的步长循环重叠截取该时间序列，形成短序列，对每个短序列进行标准化处理后，选取一定比例的短序列作为训练数据，其余部分作为验证数据。

在训练阶段，定义模型的结构，构建长短期记忆深度学习网络,选择损失函数及优化器后，输入训练数据，经过多轮模型训练后，以验证数据验证模型的性能。

在预测应用阶段，以该股票近期的收盘价走势类似构建短序列和标准化处理后，输入模型进行预测，预测是逐步进行的，将第二天的预测结果放到原输入后，再进行下一天的预测，以此类推形成近期的预测序列。最后对预测结果进行反标准化处理并输出。

本发明方法的步骤如下：

（1）获取某只股票待预测项目相关数据的时间序列；

（2）以固定步长循环重叠截取时间序列，构建短序列并进行标准化处理；

（3）构建长短期记忆深度学习网络，并进行模型训练和性能验证；

（4）以近期待预测项目的数据输入模型后进行单步预测；

（5）将单步预测结果与之前输入加在一起后，作为下一步预测的输入，以此类推形成近期的预测序列；

（6）对预测结果进行反标准化处理后并输出。

其中，步骤(1)中获取某只股票待预测项目相关数据的时间序列，具体为：待预测项目以收盘价预测为例，获取该只股票获取某个时间点以来（如2005年1月1日），到当前交易日的前L个交易日的收盘价，形成一个数组，记为A，A=[a₁,a₂,…,a_i,…a_k]。数组A是一个时间序列。

其中，步骤(2)中以固定步长循环重叠截取时间序列，构建短序列并进行标准化处理，具体为从数组A中第一个元素开始，到k-t+1结束，以步长t循环重叠截取时间序列，最终形成如下的二维数组。

Data=[[ a₁,a_2，…，a_t], [ a₂,a_3，…，a_t+1], [ a₃,a_4，…，a_t+2],…, [ a_k-t+1,a_{k-t+2，…，}a_k]]。

数组是由一序列的短序列组成的。接着对短序列进行标准化处理，有两种可选方式进行标准化处理方式。（A）以短序列的第一个元素作为基准的标准化处理过程。以短序列[ a₁,a_2，…，a_t]为例，处理结果为：[0, a₂/ a₁-1, a₃/ a₁-1_，…，a_t/ a₁-1] 。（B）以整个时间序列的均值和方差为基础的标准化处理过程。处理结果为：[(a₁-μ)/ σ, (a₂-μ)/ σ,…, (a_t-μ)/ σ]。

对所有的短序列都进行标准化处理。之后根据二维数组Data的长度len大小，取个比例p，如p=0.9,将0.9*len之前的短序列作为训练集，之后的短序列作为验证集。

其中，步骤(3)中构建长短期记忆深度学习网络，并进行模型训练和性能验证，具体为长短期记忆深度学习网络(LSTM) 单个神经单元cell的模型包括三个控制门，分别是输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate）。在单个神经元的基础上，构建基于长短期记忆深度学习模型的结构。模型由两层LSTM层和一层全连接层Dence组成。第一层LSTM层的输入为（None,Step,1）型的数组，输出为（None,Step,30）型的数组；第二层LSTM层的输入为（None,Step,30）型的数组，输出为（None,30）型的数组；第三层全连接层Dence的输入为（None,30）型的数组，输出为（None,1）型的数组；另外在每个LSTM层里带了Dropout操作。模型的损失函数定义为最小均方误差mse，模型的优化过程使用RMSprop。对于每个短序列，转置后输入到模型中进行多轮的训练，最后得到优化模型。

其中，步骤(4)中以近期待预测项目的数据输入模型后进行单步预测，具体为以收盘价预测为例，获取该只股票近L个交易日的收盘价，形成一个数组，记为B，B=[b₁,b₂,…,b_i,…b_L]。数组B是一个短序列，直接应用步骤二的标准化处理方法对其进行标准化处理。处理后对其进行转置，作为模型的输入，通过模型计算后，可得一步预测结果的输出。

其中，步骤(5)中将单步预测结果与之前输入加在一起后，作为下一步预测的输入，以此类推形成近期的预测序列，具体为假设当前的测试输入短序列B，对其进行标准化处理后的结果为: C= [c₁,c₂,…,c_i,…c_L]，将其输入到模型中，得到一个单步的预测输出o₁；将其添加到短序列C的后面，并顺序移除第一个元素，得到新的输入短序列C= [c₂,…,c_i,…c_L,o₁] 继续输入给优化模型，得到第二步预测输出o₂；以此类推，假设想要预测的交易日数N=10，则进行10次的循环预测。最后O=[o_1,o₂ ,…,o_N]即为初步的输出结果。

其中，步骤(6)中对预测结果进行反标准化处理后并输出，具体为对于初步的输出序列O=[o₁,o₂,…,o_N]，如第（2）步骤中采用以短序列的第一个元素作为基准的标准化处理，则输出序列O的反标准化处理过程和结果为：O_final=[ b₁(1+o₁),b₁(1+o₂) ,…, b₁(1+o_N)]。如第（2）步骤中采用以整个时间序列的均值和方差为基础的标准化处理，则输出序列O的反标准化处理过程和结果为：O_final =[μ+σo₁,μ+σo₂,…,μ+σo_N]。

附图说明

图1 是本发明基于长短期记忆深度学习网络的股票近期走势预测方法流程图。

图2长短期记忆深度学习网络单个神经单元的模型构成。

图3本发明构建的基于长短期记忆的深度学习网络模型。

图4 是基于本发明方法输出的某一股票近期走势的预测结果。图中预测项目为上证指数。其它不同项目，如涨跌幅、开盘价、收盘价、最高价、最低价、成交量、换手率等，通过构造相应的数据输入进行模型训练和预测后，类似可得。这里序列长度t取30，预测交易日数N取20。

具体实施方式

下面结合附图和实例，对本发明进行详细的描述。

本发明方法是一个通用的模型，可进行不同项目的预测，可预测项目包括收盘价、涨跌幅、开盘价、最高价、最低价、成交量、换手率等。不同项目之间没有关联，每个项目单独训练，单独预测。方法近期预测的长度一般为5-20天，可作为近期走势的一个趋势。

假设股票列表为S,S=[S₁, S₂,…,S_i,…,S_n],n为股票池中股票的数量，如中国上市股票的数量或美国上市股票的数量。

对于每只股票，假设待预测的股票为S_m,m=1,…,n ，以收盘价预测为例，具体预测步骤如下。其它项目的预测，如收盘价、涨跌幅、开盘价、最高价、最低价、成交量、换手率等，类似可得。

一、获取某只股票待预测项目相关数据的时间序列。

假设对于股票列表S中的每只股票有如下数据字段：开盘价Open,收盘价Close,最高价High,最低价Low,涨跌幅Change,成交量Volume，换手率Turnover等，这些数据字段每项将作为单独的预测项目。以收盘价预测为例，其中收盘价Close为前复权价格。

获取该只股票获取某个时间点以来（如2005年1月1日），到当前交易日的前L个交易日的收盘价，形成一个数组，记为A,

A=[a₁,a₂,…,a_i,…a_k]，

其中，k为该股票数组的长度，每只股票的长度k是不一定相等的，因为股票中间有停牌等因素的影响。

数组中每个元素都有对应的交易日期，数组A是一个时间序列。

二、以固定步长循环重叠截取时间序列，构建短序列并进行标准化处理。

假设序列的步长为t，该值为一整数，一般取值范围在10-30区间。下面构建短序列。从数组A中第一个元素开始，到k-t+1结束，以步长t循环重叠截取时间序列，最终形成如下的二维数组，数组由一序列的短序列组成，

Data=[[ a₁,a_2，…，a_t], [ a₂,a_3，…，a_t+1], [ a₃,a_4，…，a_t+2],…, [ a_k-t+1,a_{k-t+2，…，}a_k]]。

接下来对短序列进行标准化处理，为适应后续步骤中长短期记忆深度学习网络的输入，这里有两种可选方式进行标准化处理。

（1）以短序列的第一个元素作为基准的标准化处理过程。

以短序列[ a₁,a_2，…，a_t]为例，将每个元素除以第一个元素并减1，标准化处理结果为：

[0, a₂/ a₁-1, a₃/ a₁-1_，…，a_t/ a₁-1] 。

（2）以整个时间序列的均值和方差为基础的标准化处理过程。

假设数组A的均值为μ，方差为σ，以短序列[ a₁,a_2，…，a_t]为例，将每个元素减去均值后，除以方差，标准化处理结果为：

[(a₁-μ)/ σ, (a₂-μ)/ σ,…, (a_t-μ)/ σ]。

所有的短序列都进行如上的标准化处理。

之后，根据二维数组Data的长度len大小，取个比例p，如p=0.9,将0.9*len之前的短序列作为训练集，之后的短序列作为验证集。

三、构建长短期记忆深度学习网络，并进行模型训练和性能验证。

长短期记忆深度学习网络(Long Short-Term Memory,LSTM) 是一种时间递归神经网络。相对于传统的循环神经网络（Recurrent Neural Network, RNN）,LSTM模型通过在隐层引入多个阈值变量来存储信息，因此其在模型训练的过程中，梯度不会很快消失。LSTM模型单个神经单元cell的模型构成如图2所示，包括三个控制门，分别是输入门（InputGate）、遗忘门（Forget Gate）和输出门（Output Gate）。输入门用于表示是否允许历史的信息加入到当前记忆单元中；遗忘门表示是否保留当前隐藏节点存储的历史信息；输出门表示是否将当前节点的输出值输出到下一层。关于LSTM模型的介绍可参考其他文献。

接下来构建基于长短期记忆深度学习模型的结构。模型结构如图3所示。模型基于Keras神经网络库进行构建，Keras由纯Python编写而成并基Tensorflow或Theano。模型由两层LSTM层和一层全连接层Dence组成。每层的输入输出设置如图中所示。Step代表序列的步长为t，None代表数组在该维度的数值是动态的，根据上一步骤的输入设置，该维度的数值将为短序列二维数组Data的长度。Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来。 其数值代表不工作节点的比例，模型根据该数值在每个批次的训练过程中自动随机让部分节点不工作。

模型的损失函数定义为最小均方误差mse，模型的优化过程使用RMSprop，RMSprop是一种改进的随机梯度下降算法。

对于每个短序列，转置后输入到模型中。对所有短序列数据经过几轮的训练后，得到优化后的模型。将验证数据输入到模型中验证模型的性能，直到获得满意的优化模型。

四、以近期待预测项目的数据输入模型后进行单步预测。

以收盘价预测为例，获取该只股票近L个交易日的收盘价，形成一个数组，记为B,

B=[b₁,b₂,…,b_i,…b_L]，

其中，b_i代表近L-i的交易日的收盘价。L的取值为前面序列定义的步长t。

数组B是一个短序列，直接应用步骤二的标准化处理方法对其进行标准化处理。处理后对其进行转置，作为模型的输入，通过模型计算后，可得一步预测结果的输出。

五、将单步预测结果与之前输入加在一起后，作为下一步预测的输入，以此类推形成近期的预测序列。

假设当前的测试输入短序列B，对其进行标准化处理后的结果为:

C= [c₁,c₂,…,c_i,…c_L]。

将其输入到模型中，经过优化模型计算后得到第一次单步的预测输出，记为o₁。将其添加到短序列C的后面，并顺序移除第一个元素，得到新的输入短序列，为:

C= [c₂,…,c_i,…c_L,o₁]。

继续输入给优化模型，得到第二步预测输出o₂。以此类推，假设想要预测的交易日数N=5，则进行5次的循环预测。最后O=[o_1,o₂ ,…,o_N]即为初步的输出结果。

六、对预测结果进行反标准化处理后并输出。

对于初步的输出序列O=[o₁,o₂,…,o_N]，根据第二步骤中所采用的标准化处理方式，相应的有对应的反标准化处理过程。

（1）以短序列的第一个元素作为基准的反标准化处理过程。

这种情况下，这时的基准元素是测试输入短序列B的第一个元素b₁，反标准化过程和最终输出为：

O_final=[ b₁(1+o₁),b₁(1+o₂) ,…, b₁(1+o_N)]。

（2）以整个时间序列的均值和方差为基础的反标准化处理过程。

假设数组A的均值为μ，方差为σ，反标准化过程和最终输出为：

O_final =[μ+σo₁,μ+σo₂,…,μ+σo_N]。

综上所述，本发明公开了一种基于长短期记忆深度学习网络的股票近期走势预测方法。方法首先基于历史数据，通过巧妙的构建短序列来作为长短期记忆深度学习网络的输入；之后构建并训练优化模型；最后以近期的短序列数据，通过应用模型，逐步循环获取输出的预测结果。方法可为用户股票的短线操作提供决策支持。

本发明方法同样可应用于证券类具有时间序列特征的数据，如基金、期货等。因此，尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是不可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。

Claims (6)

1.一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于所述方法包括如下步骤：

（1）获取某只股票待预测项目相关数据的时间序列；

（2）以固定步长循环重叠截取时间序列，构建短序列并进行标准化处理；

（3）构建长短期记忆深度学习网络，并进行模型训练和性能验证；

（4）以近期待预测项目的数据输入模型后进行单步预测；

（5）将单步预测结果与之前输入加在一起后，作为下一步预测的输入，以此类推形成近期的预测序列；

（6）对预测结果进行反标准化处理后并输出。

2.根据权利要求1所述的一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于步骤（2）中输入短序列的构建过程，通过以固定步长循环重叠截取时间序列来构造适合LSTM深度学习神经网络的进行学习的案例库。

3.根据权利要求1所述的一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于步骤(2)中对短序列的标准化处理方法，为了使所有短序列具有统一的标准，在模型输入上具有同等的地位，构造了两种可选的标准化处理方法：以短序列的第一个元素作为基准的标准化处理和以整个时间序列的均值和方差为基础的标准化处理。

4.根据权利要求1所述的一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于步骤(3)中长短期记忆深度学习网络模型的构建，构建的模型是专门针对股票预测进行设计的，两层LSTM层加一层全连接层Dence，其中LSTM层训练时需要进行Dropout；序列的步长取为30，股票序列既作为输入，又作为其预测输出的比较基础；损失函数定义为最小均方误差mse；模型的优化过程使用RMSprop随机梯度下降算法。

5.根据权利要求1所述的一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于步骤(5)中为形成近期走势预测序列所采用的方式：先进行单步的预测，之后将该结果拼接到原输入短序列之后，移除短序列的头元素；将短序列重新作为输入到模型中，预测下一个输出；如此循环完成一个时间段的预测，即近期走势的预测。

6.根据权利要求1所述的一种基于长短期记忆深度学习网络的股票近期走势预测方法，其特征在于步骤(6)中的反标准化处理方式，该步骤是步骤(2)中处理的逆操作，同样也包括两种可选方式：以短序列的第一个元素作为基准的反标准化处理和以整个时间序列的均值和方差为基础的反标准化处理；通过该步骤将预测数据恢复到实际的数值区间范围。