CN110991604A - 一种基于小波循环神经网络的时序金融数据预测方法 - Google Patents

Abstract

一种基于小波循环神经网络的时序金融数据预测方法，包括如下步骤：步骤1:收集原始数据并进行预处理。收集股票日期、开盘价、收盘价、最低价、最高价、成交量、成交额等原始数据，并进行预处理，计算出其他相应指标，生成网络的输入和输出数据集；步骤2:设计网络结构，并确定网络中相应参数；步骤3:训练神经网络；步骤4:用训练好的网络进行预测。本发明可以从预测精度和网络训练速度上提高了网络的性能。

Description

一种基于小波循环神经网络的时序金融数据预测方法

技术领域

本发明属于时间序列数据挖掘技术领域，尤其涉及金融时序数据的预测问题。

技术背景

随着互联网信息时代的到来，每时每刻都会产生海量的数据，其中许多数据都是时间序列数据。对这些数据的处理、分析和预测，可以对很多领域产生很大的帮助。尤其在金融领域中的应用更为重要。许多决策都依赖于预测其不确定性，如果能充分利用已知数据中的信息进行预测，可以节约成本，提高生产效率。

对于时序数据的预测而言，当前的研究证明使用循环神经网络(RNN)来预测这些时序数据未来的走势是一个非常不错的方法。相比于传统的神经网络，RNN的特点是实现了网络中的隐藏层状态的共享。在某一次输入计算得到的状态值会在网络的下一次输入时能够继续使用，这样的优势是在时序数据处理中，更好的体现序列的特性，因此RNN适用于处理时序数据。但是RNN也会存在长期依赖问题，即梯度消失或梯度爆炸的问题。RNN的衍生网络GRU(Gated Recurrent Unit)通过基于门机制解决了上述两个问题，即通过更新门(Update gate)和重置门(Reset gate)来控制隐藏层的状态更新，从而解决长期依赖问题。

但是在GRU处理多维时序数据预测时，会将每个维度上的信息作为一个整体输入GRU。而每个维度的信息中，包含了许多的细节和噪声的特征信息，而这些信息直接参与并且保留在GRU的隐藏层中，对训练的影响会贯穿整个训练周期。在实际过程中，这样做并不合理。本发明的思路是首先对每个维度拆分，分解成代表信息变化趋势的特征和代表信息中噪声与细节的特征。并降低后一部分特征在训练时的权重，使反应信号变化趋势的特征能够更准确的参与网络的训练，控制拟合过程。

发明内容

为了克服上述多维时序数据预测的不足，本发明提出了一种新的基于小波变换的循环神经网络(GRU-SD，GRU Split Dimension)的时序数据预测方法，它是一种基于GRU的循环神经网络的结构，具体的网络结构如图1所示。将多维度的时序数据中的每个维度通过小波变换进行分解，拆分成了高频特征和低频特征，分别反映了信息的变化趋势和信息的噪声与细节。将高频和低频特征分别作为主维度和次维度输入网络，主次维度在GRU-SD中以不同的计算方式参与训练，降低高频特征在网络中的影响。从而从预测精度和网络训练速度上提高了网络的性能。

本发明适用于金融股票数据的场景。将大盘中个股数据进行预处理后，按照规定的输入和输出，对神经网络进行训练，将训练完的网络模型运用于需要预测的数据集中，则可对数据未来的趋势进行预测。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于小波循环神经网络的时序金融数据预测方法，包括如下步骤：

步骤1:收集原始数据并进行预处理，收集原始数据，包括股票日期、开盘价、收盘价、最低价、最高价、成交量和成交额等，并进行预处理，计算出其他相应指标，生成网络的输入和输出数据集；

步骤2:数据设计网络结构，并确定网络中相应参数；

步骤3:训练神经网络。

步骤4:用训练好的网络进行预测。

进一步，所述步骤1的处理过程为：

步骤11:搜集一段时间(一般是几年)内股票数据(一般是每天的数据)并储存成csv格式的文件，其中包括，每个周期的开始日期，开盘价，收盘价，最低价，最高价，成交量和成交额；

步骤12:再将转换过后的csv文件数据进行处理，进一步生成更多的指标数据，包括RSV(未成熟随机值)，相邻两个周期之间的时间间隔，每个价格对比前一周期的价格波动百分比和滑动平均，并将其保存到新的csv文件中；

步骤13:步骤12生成的csv文件中的17个指标数据(k＝17)作为网络的训练所用到的指标，这些指标的数据作为网络的输入，需要预测的是下个周期的收盘价，将其作为网络的输出。同时确定合适的周期(m＝30)作为循环神经网络的输入长度，则一个输入是一个形状为m×k的矩阵，每个输入矩阵对应一个输出值。

步骤14:将训练数据划分为训练集、验证集和测试集。

再进一步，所述步骤2的处理过程包括以下分步骤：

步骤21:设计网络中小波变幻的结构。小波变幻的小波函数为db4，分解层数为level＝1；

步骤22:用训练集中对矩阵m×k每一列(即每一维度)的数据进行1层小波变换，得到高频部分和低频部分，变换后的数据长度为m’＝17，则可以得到2个m’×k的矩阵；

步骤23:设计循环神经网络结构，如图1所示，其输入分主维度和次维度两部分，分别为小波变换后的低频部分和高频部分。设置循环神经网络循环次数epoch＝200，GRU部分的接受输入周期的长度为m’＝17，隐藏层单元数目为128，输出层使用一个网络单元数为64的linear层，linear层上的dropout设置为0.2。

再进一步，所述步骤3的处理过程包括以下分步骤：

步骤31:将步骤1生成的数据输入到步骤2设定的网络中进行训练；

步骤32:设定允许误差θ，在计算验证集上的误差，查看验证结果，若验证集误差>θ，则重复步骤31，若误差<θ，网络训练完成；或者循环次数达到epoch，则停止训练。

更进一步，所述步骤4的处理过程为：

步骤41:将想要预测的周期内的数据，根据步骤1预处理，生成n×m的矩阵；

步骤42:将获得矩阵输入到步骤3中已经训练完成的神经网络中，获得最终的预测结果。

本发明的有益效果为：可以相较于现有方法预测有更高的准确性，并且训练所需的迭代数目次数更少。

附图说明

图1神经网络的模型图。

具体实施方式

下面结合附图对本发明进行进一步说明：

参照图1，一种基于小波循环神经网络的时序金融数据预测方法，其基本思想是拆分数据中的每个维度，将其分解成代表该维度的整体变化趋势的部分，和代表该维度上信息的细节和噪声的部分。再将这两部分特征分别输入神经网络的主维度和次维度进行训练。

本发明设计了多维度输入的循环网络结构，通过小波变换把多维输入数据分解成低频特征和高频特征，分别作为主维度和次维度作为网络的输入。这样的结构可以有效的使拆分后不同维度上的特征以不同的权重来训练网络，更加符合实际情况，并且提高网络的预测准确性和网络的训练速度。

所述基于小波循环神经网络的时序金融数据预测方法包括如下步骤：

步骤1：收集原始数据并预处理，所述步骤1包含如下分步骤：

步骤11:收集的原始数据是5年的股票每日数据，储存成csv格式的文件，数据项从左到右分别为，交易周期开始时间(trade date)，开盘价(open)，最高价(high)，最低价(low)，收盘价(close)，成交量(volume)，成交金额(amount)；

步骤12：计算其他指标，对数据进行预处理，数据按照时间顺序递增排序。进一步对数据进行处理，计算出相邻两个交易周期之间的时间间隔；

每个价格对比上个周期的涨跌幅p_i，公式为：

其中，v_i表示第i周期的收盘价；

计算RSV公式：

RSV＝(close-low)/(high-low)

其中close为当前周期的收盘价，low为当前周期的最低价，high为当前周期的最高价，RSV代表周期中未成熟随机指标；

第i个周期的n日的滑动平均：

其中，v_i表示第i个周期的收盘价，此处n取5、10和15；

计算KDJ三个指标公式：

其中

分别代表了KDJ三个指标第i个周期的值，当i＝1时，

和

均取50。KDJ为周期随机指标，可以反映价格走势强弱和超买超卖现象；

AR、BR指标计算：

其中high_i、open_i、close_i、low_i分别代表了第i个周期的最高价、开盘价、收盘价、最低价，AR、BR代表了长度为n的周期内股票的人气指标。此处n取5、10和15；

ASI指标计算：

A_i＝|high_i-close_i-1|

B_i＝|low_i-close_i-1|

C_i＝|high_i-low_i-1|

D_i＝|close_i-1-open_i-1|

其中，下标i代表第i个周期。ASI代表了n个周期市场真实波动此处n取5、10和15，ASI同时考虑了当天的交易价格和前一天的交易价格，能够代表市场的方向性；

ROC指标计算：

ROC为n个周期的变动率，此处n取5、10和15。ROC可以表示价格变动快慢的程度；

RSI指标计算：

其中n取5，10和15，RSI指标能够反映市场供需关系和买卖强度；

W&R(威廉指标)指标计算：

HY(n)_i为周期i之前n个周期中的最高价，LY(n)_i为周期i之前n个周期中的最低价。

Q(n)_i＝HY(n)_i-close_i

R(n)_i＝HY(n)_i-LY(n)_i

此处n取5,10和15，W&R指标是利用震荡点来反映市场超买超卖现象；

计算完毕所有的指标数据后，为了控制输入值不超出神经网络的训练范围，对实际值部分的数据通过一个f(x)＝ln(x)函数,对变化幅度的数据通过一个f(x)＝tanh(x)函数，转换后的输入数据的数值范围在神经网络可处理的范围之内；

将计算完成的指标数据都存入一个新的csv文件中；

步骤13:选取要预测的列y(这里我们取收盘价)的下个周期的值，同时根据要预测的指标来选取输入列，需要用到k个指标(k＝17)，并且确定合适的序列长度m(m＝30)，即使用m个周期的数据来预测下个周期的收盘价y；

一支股票所有数据一共有N行，则首先会生成一个N×k的矩阵，通过滑动窗口的方式，其窗口大小为m，一共生成N-m个m×k的矩阵，其中k列的值分别为预测的周期之前m个周期中各个维度的值。每一个输入的m×k矩阵对应一个输出的y值；

步骤14：将数据的前80％作为训练集合，接下来的10％作为验证集合，余下的10％作为测试集合；

步骤2：确定网络中小波变换的逻辑结构，对数据进行小波变换，分离出低频和高频特征，分别作为网络的主维度和次维度输入，确定GRU-SD的网络各项参数，其具体步骤如下:

步骤21:设计网络中小波变换的逻辑结构(如图1所示)，确定小波变换函数及相应参数，其中确定选取小波变换函数为db4，以及分解层数level＝1；

步骤22：用训练集中对矩阵m×k每一列的数据进行1层小波变换。将m×k矩阵的每一列单独取出，组成一个长度为m的数组，记为A，对A通过小波函数db4进行一次小波变换，得到高频特征H和低频特征L，记H,L＝wavelet(A)。高频特征代表了数据的波动情况和数据中的噪声信息，低频特征代表了数据的整体趋势。高频特征H和低频特征L的长度为m’(m′＝17)，用于确定GRU-SD训练一个迭代所的循环的周期长度。低频特征为网络的主维度，高频特征为网络的次维度；

步骤23:设计多维循环神经网络结构，用步骤22分离出的高频和低频特征训练神经网络的隐藏层参数，GRU部分接受的输入周期的长度为m′＝17；

设计循环神经网络结构，如图1所示，其输入分主维度和次维度两部分。设置循环神经网络循环次数epoch＝200，主维度数据是参与了隐藏层状态单元的计算，次维度只参与重置门和更新门的参数的更新，门的参数是每个时刻的隐藏层状态参与下一时刻隐藏层状态计算时的权重；

根据训练数据的数据规模，确定网络隐藏层单元个数h＝128；

GRU-SD的正向传播的结构如图1所示，其中x_t为主维度，x′_t为次维度，其具体的网络结构如下：

重置门由三个来源共同计算得到，当前t时刻的主维度输入和次维度输入，前一层t-1时刻的隐藏层，用于控制前一层的记忆：

r_t＝σ(W_rx_t+U_rh_t-1+V_rx′t+b_r)

＝σ(W_r·[h_t-1,x_t,x′_t]+b_r)

更新门与重置门相同，由三个来源共同计算得到，当前t时刻的主信息维度输入和次信息维度输入，前一层t-1时刻的隐藏层，用于控制前一层的遗忘：

z_t＝σ(W_zx_t+U_zh_t-1+V_zx′_t+b_z)

＝σ(W_z·[h_t-1,x_t,x′_t]+b_z)

GRU-SD的当前输入的单元状态，由当前t时刻的主维度输入，前一层t-1时刻迭代的隐藏层经过重置门后的结果共同计算得到，即计算前一次迭代的隐藏层信息有多少保留到当前次：

GRU-SD的对隐藏层的更新则由上一层t-1时刻迭代的隐藏层经过更新门，当前t时刻对隐藏层的输入经过更新门共同计算得到，即计算需要遗忘多少的前一个迭代的隐藏层信息：

最后从隐藏层到输出层的计算：

其中，x_t代表当前的主信息维度的输入，x′_t代表当前的次信息维度的输入，h_t-1和h_t是前一个的隐层状态和当前更新后的隐层状态。r_t，z_t分别是GRU中的重置门和更新门。参数{W_r,U_r,V_r,b_r}，{W_z,U_z,V_z,b_z}，{W,U,b}分别是重置门、更新门和隐藏层的网络单元参数，σ(·)是向量中逐个元素的Sigmoid(x)计算，⊙代表了矩阵的哈达玛积；

再在输出层后连接一个linear层来做输出层回归计算，以及一个dropout层来防止网络过拟合；

步骤3:GRU-SD的训练，其具体过程如下：

当定义好网络的正向传播后，就可以利用反向传播算法调整网络参数的值，每一个迭代周期，网络都会根据输入得到一个输出值，将网络得到的输出值和实际的值相比较，利用它们之间的误差，对网络中的各个隐藏层单元进行更新调整，调整时使用梯度下降算法，使得下次网络的输出值尽量与实际值接近，反向传播算法调整重置门、更新门和隐藏层的网络单元参数{W_r,U_r,V_r,b_r}，{W_z,U_z,V_z,b_z}，{W,U,b}；

将步骤1中生成的训练部分数据输入网络，全部数据训练一次记为一个迭代周期，当一个周期训练完毕后，使用平均绝对误差(MAE，Mean Absolute Error)分别计算出训练集与验证集上的误差，验证集上误差小于设定值θ，或者迭代周期总数大于设定值epoch时，网络训练完成；

平均绝对误差计算过程如下：

步骤4:使用训练完成的GRU-SD来进行预测，其具体步骤如下：

步骤41:准备需要预测的收盘价的时间的前m个周期的数据，所选择的数据项和网络训练时选择的数据项相同，根据步骤1中数据预处理的规则预处理相应数据，得到一个矩阵X_m×k作为网络输入；

步骤42:将其输入到步骤3训练完毕的网络模型中，得到预测结果。

Claims (5)

1.一种基于小波循环神经网络的时序金融数据预测方法，其特征在于，所述方法包括如下步骤：

步骤1:收集原始数据并进行预处理，收集原始数据，所述原始数据包括股票日期、开盘价、收盘价、最低价、最高价、成交量和成交额，并进行预处理，计算出其他相应指标，生成网络的输入和输出数据集；

步骤2:设计网络结构，并确定网络中相应参数；

步骤3:训练神经网络；

步骤4:用训练好的网络进行预测。

2.根据权利要求1所述的小波循环神经网络的时序金融数据预测方法，其特征在于，所述步骤1的处理过程为：

步骤11:搜集一段时间内股票数据并储存成csv格式的文件，包括每个周期的开始日期、开盘价、收盘价、最低价、最高价、成交量和成交额；

步骤12:将转换过后的csv文件数据进行处理，进一步生成更多的指标数据，包括未成熟随机值RSV、相邻两个周期之间的时间间隔、每个价格对比前一周期的价格波动百分比和滑动平均，并将其保存到新csv文件；

步骤13:步骤12生成的csv文件中的17个指标数据作为网络的训练所用到的指标，即k＝17，这些指标的数据作为网络的输入，需要预测的是下个周期的收盘价，将其作为网络的输出，同时确定周期m＝30作为循环神经网络的输入长度。则一个输入是一个形状为m×k的矩阵，每个输入矩阵对应一个输出值；

步骤14:将训练数据划分为训练集、验证集和测试集。

3.根据权利要求1或2所述的小波循环神经网络的时序金融数据预测方法，其特征在于，所述步骤2的处理过程为：

步骤21:设计网络中小波变幻的结构，小波变幻的小波函数为db4，分解层数为level＝1；

步骤22:用训练集中对矩阵m×k每一列的数据进行1层小波变换，得到高频部分和低频部分，变换后的数据长度为m’＝17，则可以得到2个m’×k的矩阵；

步骤23:设计循环神经网络结构，输入分主维度和次维度两部分，分别为小波变换后的低频部分和高频部分，设置循环神经网络循环次数epoch＝200，维度拆分的循环神经网络(GRU-)部分的接受输入周期的长度为m’＝17，隐藏层是一个128维的向量，输出层使用一个64维的linear层，linear层上dropout设置为0.2，防止网络过拟合，最后得到一个1维的输出结果，为下一个周期的收盘价。

4.根据权利要求1或2所述的小波循环神经网络的时序金融数据预测方法，其特征在于，所述步骤3的处理过程为：

步骤31:将步骤1生成的数据输入到步骤2设定的网络中进行训练；

步骤32:设定允许误差θ，在计算验证集上的误差，查看验证结果，若验证集误差>θ，则重复步骤31，若误差<θ，网络训练完成；或者循环次数达到epoch，则停止训练。

5.根据权利要求1或2所述的小波循环神经网络的时序金融数据预测方法，其特征在于，所述步骤4的处理过程为：

步骤41:将想要预测的周期内的数据，根据步骤1预处理，生成n×m的矩阵；

步骤42:将获得矩阵输入到步骤3中已经训练完成的神经网络中，获得最终的预测结果。

Images