CN106384166A - 一种结合财经新闻的深度学习股市预测方法 - Google Patents

Abstract

本发明涉及一种结合财经新闻的深度学习股市预测方法，主要包含如下步骤：S1：针对财经新闻，利用网络爬虫技术，从新浪财经新闻与网易财经新闻中爬取相应股票对应的相关财经信息，存储在本地数据库中，形成财经新闻文档数据库。S2：处理财经新闻信息，进行新闻情绪分析。S3：基于LSTM的RNN深度学习网络。S4：训练特征提取。S5：模型训练以及预测。本发明利用了新闻情绪分析技术，采用了基于LSTM的RNN深度学习预测，同时在本发明中结合了金融市场投资者最常用的技术指标作为特征向量预测，起到了很好的效果。

Description

一种结合财经新闻的深度学习股市预测方法

技术领域

本发明涉及深度学习预测领域，特别涉及一种结合财经新闻的深度学习股市预测方法。

背景技术

证券市场与金融投资在现代社会中占有重要的地位。股票市场的建模和预测研究对我国的经济发展和金融建设具有重要意义，一直为人们所关注，股市行情受国家政策、经济形势、公司发展状况以及投资者心理等诸多因素的影响。

常见的股市预测方法包括证券投资分析方法、时间序列预测分析法、非线性预测法。证券投资分析法包括基本分析法和技术分析法。基本分析法主要包括宏观经济分析和产业周期分析等，技术分析法是根据股市行情变化进行分析的方法。时间序列预测分析法是根据股市行情的历史数据来预测股票价格未来的发展趋势和特点。非线性预测法包括基于统计学理论的预测方法、神经网络方法、模糊逻辑预测法等等，但是这些方法往往对于过去的拟合效果非常好，但是对于未来实时的股票价格预测却不准，因为股票的价格受实时新闻以及公司公告影响，所以根据过去数据训练出来的模型并不能很好的适用于实时的股票价格。

随着互联网技术的迅速发展和广发普及，普通投资者有越来越多的渠道获得更多的互联网信息。越来越多的财经网站每天都会推送大量的有关于各个公司的财经新闻以及很多媒体或者专家对于各个公司近来状况的解读，所以投资者会受到来自各个方面新闻信息的影响，这些新闻信息会影响投资者的判断。

文本情感分析是指用自然语言处理、文本挖掘以及计算机语言学等方法来识别和提取原素材中的主观信息。现有的文本情感分析的途径大致可以集合成三类：关键词识别、词汇关联、统计方法。关键词识别是利用文本中出现的清楚定义的影响词，例如“开心”、“难过”、“伤心”等等，来影响分类；词汇关联是找到互相影响的词汇进而进行分析；统计方法通过调控机器学习中的元素，比如潜在语意分析，SVM，词袋模型等等，但是单纯的文本情感分析并不能直接应用到股票预测上，因为股票价格的变动是受很多复杂因素的影响。

在本发明，提出结合新闻信息的深度学习股票预测方法，基于LSTM的RNN深度学习算法虽然可以发现股票波动的内在规律，但是金融市场中，股价是受一些实时信息影响的，所以结合财经新闻与公司公告的深度学习技术可以有效的对股价做出涨跌的判断。

发明内容

本发明的目的是针对上述问题，提供一种结合财经新闻的深度学习股市预测方法，结合了财经新闻信息，利用了新闻情绪分析技术，采用了基于LSTM的RNN深度学习预测，同时在本专利中结合了金融市场投资者最常用的技术指标作为特征向量预测，起到了很好的效果。

本发明的技术方案是：

一种结合财经新闻的深度学习股市预测方法，其特征在于包括以下步骤：

S1：针对财经新闻，利用网络爬虫技术，从财经新闻中爬取相应股票对应的相关财经信息，形成财经新闻文档数据库；

S2：处理财经新闻信息，进行新闻情绪分析；

S3：构建基于LSTM的RNN深度学习网络；

S4：训练特征提取；

S5：模型训练以及预测。

进一步的，步骤S1中新闻来源端可以是新浪财经新闻或者网易财经新闻，并将所述财经新闻文档数据库存储在本地数据库中。

进一步的，步骤S2具体包括以下步骤：

采用积极词频与消极词频比例的方式得到新闻所代表的乐观与悲观情绪，一个新闻情绪的量化计算方法如下：

$senti=log\frac{1+\mathrm{\Σ}Pos}{1+\mathrm{\Σ}Neg}$

其中∑Pos代表新闻中词性为积极词汇的个数，∑Neg代表新闻中词性为消极词汇的个数，sentiment代表新闻文本的情绪倾向，sentiment越大，代表表面上该财经新闻信息看好未来金融市场或者相关股票的发展，认为股价会上涨，反之，则看衰未来金融市场或者金融股票的发展，认为股价会下跌。

进一步的，步骤S2中获取每一个新闻的情绪后，针对于股票市场中的每一支股票，依据如下公式，可以获得当日财经新闻对于这只股票的总的情绪倾向：

${\mathrm{sentiment}}_s=\frac{{\mathrm{\Σsenti}}_i}{{\mathrm{\Σnews}}_i}$

其中sentiment_s代表当日有关于股票s的财经新闻对于股票s的总的情绪倾向，∑news_i代表关于当前股票s的所有新闻的个数。其中总的情绪影响sentiment_s越大并且为正则说明有关财经新闻对于未来股票s的发展持积极情绪，认为股价会上涨，越小而且为负则说明有关财经新闻对于未来股票s的发展持消极情绪，认为股价会下跌。

进一步的，步骤S4具体包括以下步骤：包括8个输入信号以及1个输出信号，其中8个输入信号为x₁表示当天的收盘、x₂表示当天的成交额、x₃表示当天的成交量、x₄表示当天的涨跌、x₅表示当天的换手率，以上输入信号通过爬虫或者证券资讯网站直接爬取得到，另外结合市场上普通投资者经常利用的投资信号，3个市场上常用的技术指标，具体为：

第一个是简单的移动平均线(SMA)，平均数为：M_i，

$M_i=\frac{{\mathrm{\Σ}}_{i-N}^i{P}_i}{N}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_6=\ln \left(\frac{P}{M}\right)$

其中P代表当天的收盘价，M代表移动平均数。

第二个是指数移动平均线(EMA)，指数移动平均数为：E_i，

$E_i=\frac{2}{N+1}\×(P_i-E_{i-1})+E_{i-1}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_7=ln\left(\frac{P}{E}\right)$

其中P代表当天的收盘价，E代表移动平均数。

第三个是指数平滑异同平均线(MACD)，指数平滑异同平均为：D_i

D_i＝E[12]_i-E[26]_i

其中E[12]_i表示12天的指数移动平均，E[26]_i表示26天的指数移动平均。

$x_8=ln\left(\frac{E{\[12\]}_i}{E{\[26\]}_i}\right)$

输出信号为y₁，y₁＝(后5天收盘价的平均值-当天的收盘价)/当天的收盘价，其中y₁越大表示今后5天的股票涨的可能性越大，否则跌的可能性越大。

进一步的，步骤S5采用八个输入作为特征向量(x₁，x₂，x₃，x₄，x₅，x₆，x₇，x₈)，一个输出y₁的RNN训练，其中隐层与输出层采用激活函数Sigmoid型函数LSTM中的三个门的阈值开关也使用Sigmoid函数作为激活函数。

进一步的，步骤S5训练的基本过程为：

(1)系统初始化：在t＝0时刻，随机初始化RNN-LSTM网络参数，并将各LSTM单元置零；

(2)t时刻，输入t-1时刻获得的各个因子，通过RNN-LSTM计算t时刻的输出值；

(3)基于t时刻输出的真值与t时刻输出预测值的差值，利用BPTT算法更新RNN-LSTM参数；

(4)基于训练的参数进行预测。

进一步的，步骤S5学习过程为BPTT(Backpropagation through time)算法，利用梯度下降法依据错误修改每次的权重，当更新到LSTM区块时，误差也随着倒回计算，从输出影响回输入阶段的每一个gate，直到这个误差减少到最少。

本发明的有益效果是，通过结合互联网上的财经新闻以及投资者常用的技术分析指标，对于后市的涨跌做出判断，可以为金融市场的投资者做出合理的指导。

附图说明

图1为一种结合财经新闻的深度学习股票预测方法流程图；

图2为典型的RNN网络图；

图3为LSTM模型图。

具体实施方式

以下对本发明进行详细说明。

一种结合财经新闻的深度学习股票预测方法，具体实现示意图如图1所示。具体步骤如下：

S1：针对财经新闻，利用网络爬虫技术，从财经新闻中爬取相应股票对应的相关财经信息，形成财经新闻文档数据库。

其中新闻来源端可以是新浪财经新闻或者网易财经新闻，并将所述财经新闻文档数据库存储在本地数据库中。

S2：处理财经新闻信息，进行新闻情绪分析：

采用积极词频与消极词频比例的方式得到新闻所代表的乐观与悲观情绪，一个新闻情绪的量化计算方法如下：

$senti=log\frac{1+\mathrm{\Σ}Pos}{1+\mathrm{\Σ}Neg}$

其中∑Pos代表新闻中词性为积极词汇的个数，∑Neg代表新闻中词性为消极词汇的个数，sentiment代表新闻文本的情绪倾向，sentiment越大，代表表面上该财经新闻信息看好未来金融市场或者相关股票的发展，认为股价会上涨，反之，则看衰未来金融市场或者金融股票的发展，认为股价会下跌。

获取每一个新闻的情绪后，我们针对于股票市场中的每一支股票，依据如下公式，可以获得当日财经新闻对于这只股票的总的情绪倾向：

${\mathrm{sentiment}}_s=\frac{{\mathrm{\Σsenti}}_i}{{\mathrm{\Σnews}}_i}$

其中sentiment_s代表当日有关于股票s的财经新闻对于股票s的总的情绪倾向，∑news_i代表关于当前股票s的所有新闻的个数。其中总的情绪影响sentiment_s越大并且为正则说明有关财经新闻对于未来股票s的发展持积极情绪，认为股价会上涨，越小而且为负则说明有关财经新闻对于未来股票s的发展持消极情绪，认为股价会下跌。

S3：构建基于LSTM的RNN深度学习网络：

回流神经网络(Recurrent Neural Network，RNN)是一种处理序列数据的深度学习方法，RNN之所以称为回流神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。图2便是一个典型的RNN网络。

虽然传统的RNN结构可以通过数据回流的方式记忆历史信息，但是由于权重更新算法与一般的神经网络类似，所以当回流次数增多的时候，很容易在梯度下降的过程中，造成题都消失，从而使得权重更新停滞不前，所以这中传统的RNN方法记忆时间比较短，一般不会超过5个，为了解决这个问题，人们提出了基于长短期记忆(Long Short-Term Memory，LSTM)的RNN网络。基于LSTM的模型，通过在隐层引入多个阈值变量来储存信息，从而使得在权重更新过程中梯度不会消失，具体的LSTM模型如图3所示。

在图3所示的LSTM模型中，其中的黑点代表点乘，各个门代表一次sigmoid转换。

在基于LSTM的RNN中，每一个隐层节点由一个LSTM组成，而每个LSTM包括三个控制门单元，分别是输入门、遗忘门和输出门，其中具体描述为：

输入门：代表是否允许信息加入到记忆单元中。

遗忘门：表示是否保留当前隐层节点存储的历史信息。

输出门：表示是否将当前结点的输出值输出给下一层。

由于在LSTM模型中设置了多重阈值以及参数保存功能，所以能够记忆长时间的时间序列，有利于更好的训练股票市场的数据以及记忆股票特征。

S4:训练特征提取：

由于需要对股票市场进行预测，所以结合相应的基本特征变量以及技术指标也是非常重要的，以此设置相应的输入信号与输出信号，本发明实验包括8个输入信号以及1个输出信号，其中8个输入信号：

x₁表示当天的收盘；

x₂表示当天的成交额；

x₃表示当天的成交量；

x₄表示当天的涨跌；

x₅表示当天的换手率；

以上输入信号均可以通过爬虫或者证券资讯网站直接爬取得到，另外结合市场上普通投资者经常利用的投资信号，3个市场上常用的技术指标，具体为：

第一个是简单的移动平均线(SMA)，平均数为：M_i，

$M_i=\frac{{\mathrm{\Σ}}_{i-N}^i{P}_i}{N}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_6=\ln \left(\frac{P}{M}\right)$

其中P代表当天的收盘价，M代表移动平均数。

第二个是指数移动平均线(EMA)，指数移动平均数为：E_i，

$E_i=\frac{2}{N+1}\×(P_i-E_{i-1})+E_{i-1}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_7=ln\left(\frac{P}{E}\right)$

其中P代表当天的收盘价，E代表移动平均数。

第三个是指数平滑异同平均线(MACD)，指数平滑异同平均为：D_i

D_i＝E[12]_i-E[26]_i

其中E[12]_i表示12天的指数移动平均，E[26]_i表示26天的指数移动平均。

$x_8=ln\left(\frac{E{\[12\]}_i}{E{\[26\]}_i}\right)$

输出信号为y₁，y₁＝(后5天收盘价的平均值-当天的收盘价)/当天的收盘价，其中y1越大表示今后5天的股票涨的可能性越大，否则跌的可能性越大。

S5:模型训练以及预测：

采用八个输入作为特征向量(x₁，x₂，x₃，x₄，x₅，x₆，x₇，x₈)、一个输出y₁的RNN训练，其中隐层与输出层采用激活函数Sigmoid型函数LSTM中的三个门的阈值开关也使用Sigmoid函数作为激活函数。

学习过程为BPTT(Backpropagation through time)算法。基本原理与BP算法类似，利用梯度下降法依据错误修改每次的权重，当更新到LSTM区块时，误差也随着倒回计算，从输出影响回输入阶段的每一个gate，直到这个误差减少到最少。

训练的基本过程为：

(1)系统初始化：在t＝0时刻，随机初始化RNN-LSTM网络参数，并将各LSTM单元置零。

(2)t时刻，输入t-1时刻获得的各个因子，通过RNN-LSTM计算t时刻的输出值。

(3)基于t时刻输出的真值与t时刻输出预测值的差值，利用BPTT更新RNN-LSTM参数。

(4)基于训练的参数进行预测。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种结合财经新闻的深度学习股市预测方法，其特征在于包括以下步骤：

S1：针对财经新闻，利用网络爬虫技术，从财经新闻中爬取相应股票对应的相关财经信息，形成财经新闻文档数据库；

S2：处理财经新闻信息，进行新闻情绪分析；

S3：构建基于LSTM的RNN深度学习网络；

S4：训练特征提取；

S5：模型训练以及预测。

2.根据权利要求1所述的方法，其特征在于步骤S1中新闻来源端可以是新浪财经新闻或者网易财经新闻，并将所述财经新闻文档数据库存储在本地数据库中。

3.根据权利要求1所述的方法，其特征在于步骤S2具体包括以下步骤：

采用积极词频与消极词频比例的方式得到新闻所代表的乐观与悲观情绪，一个新闻情绪的量化计算方法如下：

$senti=\log \frac{1+\ΣPos}{1+\ΣNeg}$

其中∑Pos代表新闻中词性为积极词汇的个数，∑Neg代表新闻中词性为消极词汇的个数，sentiment代表新闻文本的情绪倾向，sentiment越大，代表表面上该财经新闻信息看好未来金融市场或者相关股票的发展，认为股价会上涨，反之，则看衰未来金融市场或者金融股票的发展，认为股价会下跌。

4.根据权利要求3所述的方法，其特征在于步骤S2中获取每一个新闻的情绪后，针对于股票市场中的每一支股票，依据如下公式，可以获得当日财经新闻对于这只股票的总的情绪倾向：

${\mathrm{sentiment}}_s=\frac{\Σ{\mathrm{senti}}_i}{\Σ{\mathrm{news}}_i}$

其中sentiment_s代表当日有关于股票s的财经新闻对于股票s的总的情绪倾向，∑news_i代表关于当前股票s的所有新闻的个数。其中总的情绪影响sentiment_s越大并且为正则说明有关财经新闻对于未来股票s的发展持积极情绪，认为股价会上涨，越小而且为负则说明有关财经新闻对于未来股票s的发展持消极情绪，认为股价会下跌。

5.根据权利要求1所述的方法，其特征在于步骤S4具体包括以下步骤：包括8个输入信号以及1个输出信号，其中8个输入信号为x₁表示当天的收盘、x₂表示当天的成交额、x₃表示当天的成交量、x₄表示当天的涨跌、x₅表示当天的换手率，以上输入信号通过爬虫或者证券资讯网站直接爬取得到，另外结合市场上普通投资者经常利用的投资信号，3个市场上常用的技术指标，具体为：

第一个是简单的移动平均线(SMA)，平均数为：M_i，

$M_i=\frac{{\mathrm{\Σ}}_{i-N}^i{P}_i}{N}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_6=\ln \left(\frac{P}{M}\right)$

其中P代表当天的收盘价，M代表移动平均数。

第二个是指数移动平均线(EMA)，指数移动平均数为：E_i，

$E_i=\frac{2}{N+1}\×(P_i-E_{i-1})+E_{i-1}$

其中P_i代表第i天的收盘价，N代表基于当天收盘价的前N天。

$x_7=\ln \left(\frac{P}{E}\right)$

其中P代表当天的收盘价，E代表移动平均数。

第三个是指数平滑异同平均线(MACD)，指数平滑异同平均为：D_i

D_i＝E[12]_i-E[26]_i

其中E[12]_i表示12天的指数移动平均，E[26]_i表示26天的指数移动平均。

$x_8=\ln \left(\frac{E{\[12\]}_i}{E{\[26\]}_i}\right)$

输出信号为y₁，y₁＝(后5天收盘价的平均值-当天的收盘价)/当天的收盘价，其中y₁越大表示今后5天的股票涨的可能性越大，否则跌的可能性越大。

6.根据权利要求1所述的方法，其特征在于步骤S5采用八个输入作为特征向量(x₁，x₂，x₃，x₄，x₅，x₆，x₇，x₈)，一个输出y₁的RNN训练，其中隐层与输出层采用激活函数Sigmoid型函数LSTM中的三个门的阈值开关也使用Sigmoid函数作为激活函数。

7.根据权利要求1所述的方法，其特征在于步骤S5训练的基本过程为：

(1)系统初始化：在t＝0时刻，随机初始化RNN-LSTM网络参数，并将各LSTM单元置零；

(2)t时刻，输入t-1时刻获得的各个因子，通过RNN-LSTM计算t时刻的输出值；

(3)基于t时刻输出的真值与t时刻输出预测值的差值，利用BPTT算法更新RNN-LSTM参数；

(4)基于训练的参数进行预测。

8.根据权利要求6所述的方法，其特征在于学习过程为BPTT(Backpropagationthrough time)算法，利用梯度下降法依据错误修改每次的权重，当更新到LSTM区块时，误差也随着倒回计算，从输出影响回输入阶段的每一个gate，直到这个误差减少到最少。