CN108460679B - 融合注意力机制的深度网络智能投资系统数据分析方法 - Google Patents
融合注意力机制的深度网络智能投资系统数据分析方法 Download PDFInfo
- Publication number
- CN108460679B CN108460679B CN201810168662.8A CN201810168662A CN108460679B CN 108460679 B CN108460679 B CN 108460679B CN 201810168662 A CN201810168662 A CN 201810168662A CN 108460679 B CN108460679 B CN 108460679B
- Authority
- CN
- China
- Prior art keywords
- attention
- financial
- field
- network
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Technology Law (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Game Theory and Decision Science (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了融合注意力机制的深度网络智能投资系统数据分析方法,包括如下步骤:步骤1:从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段,筛选整合成字段X;步骤2:将字段X输入到编码器模块Encoder中,Encoder模块由长短期记忆网络构成,X进行编码;步骤3:编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值;步骤4:解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测;步骤5:通过训练完成的深度网络输出某交易日预测结果与设定的阈值进行比较,判断该金融产品的风险。
Description
技术领域
本发明属于信息处理技术领域,具体涉及融合注意力机制的深度网络智能投资系统数据分析方法。
背景技术
自1991年成立证券交易所至今,中国金融市场已获得长足发展,股票交易规模不断扩大,股票价格以及各类基金的购买已成为中国绝大多数公民关心的问题,也是经济,系统科学领域研究的热点问题。金融市场的预测研究对我国经济发展具有重要意义。
金融产品(股票,基金)预测是经济预测的一个分支,指以准确的调查统计资料和市场信息为依据,从股票市场的历史,现状和规律性出发,运用科学的方法,对各类金融产品的价格未来走势做出测定。
传统的金融产品走势预测方法有证券投资分析法,时间序列预测分析法,非线性预测法等。这样的缺点是算法依据比较单一,这样的计算结果往往会让评估结果的风险比较高,会让投资的不确定性更高,让投资者的投资也变得不够理性。
随着近几年,神经网络,深度学习等技术的兴起,基于神经网络的股票预测方法也随之产生,主要是用神经网络进行股票价格的数据学习训练,然后使用训练模型去进行估计预测。股票预测的神经网络主要是递归神经网络。人们迫切需要一种融合注意力机制的深度网络智能投资顾问是在长短期记忆网络中加入注意力机制,并融入其他的相关创新性操作的方法,使得金融产品前景预测更加准确,并具有更强的鲁棒性,并能够合理配置最优投资组合,使投资决策变得更加理性。
发明内容
本发明的目的在于:针对上述的算法依据单一,使得计算结果的预测准确性低的问题,提出融合注意力机制的深度网络智能投资系统数据分析方法以增加算法的准确性。
本发明采用的技术方案如下:
融合注意力机制的深度网络智能投资系统数据分析方法,包括如下步骤:
步骤1:从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段,并进行筛选整合成输入字段X:
X=<x1,x2,…,xn>
X包含n个时间点,xn为第n个时间点的金融字段;
输入到由Encoder-Decoder组成的框架中,注意力模块附着在Encoder-Decoder框架之中;
步骤2:将输入字段X输入到编码器模块Encoder中,Encoder模块由长短期记忆网络构成,对输入字段X进行编码;
步骤3:编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值;
步骤4:解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测,同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格波动率的真实值与进行比较,使用损失函数得到预测误差,并利用误差反向传播算法BP更新所述整体网络的参数直至深度网络训练完成;
步骤5:通过训练完成的深度网络输出某交易日预测结果与设定的阈值进行比较,判断该金融产品是否存在风险。
首先注意力模块附着在Encoder-Decoder框架之中,对金融字段X进行编码,输入端接收金融字段,将输入字段通过非线性变换转化为中间语义表示C,采用多层网络实现,将所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及Softmax进行归一化得到输入字段X每个时刻符合概率分布取值区间的注意力权重,来分配注意力。具体过程如图2所示,即通过记忆力分配模块将固定的中间语义表示C换成了根据当前输出调整成加入注意力变化的中间语义表示Ct,接着解码器Decoder中的LSTM网络通过字段X的中间语义表示Ct和之前已经生成的历史信息y1,y2,…,yt-1来生成t时刻要生成的金融产品走势预测yt,同时将下一交易日金融产品价格的波动率的预测值与下一交易日的波动率的真实值与进行比较,使用损失函数得到预测误差,并利用误差反向传播算法BP更新整体网络的参数直至网络训练完成。通过训练完成的深度网络输出某交易日预测结果,并与设定的阈值进行比较,判断该金融产品是否存在风险。
优选地,步骤1所述的编码器Encoder和解码器Decoder皆由长短期记忆网络(LSTM)构成,长短期记忆网络能处理和预测时间序列中间隔和延迟非常长的重要事件,这完全适应了金融数据的量大而且时间跨度大,延迟比较高的问题,会让预测的结果更为准确与理性,能降低风险。整体网络将下一交易日股市的波动率的预测值与下一交易日股市的波动率的真实值进行比较,使用损失函数得到计算误差,并利用误差反向传播算法BP训练该神经网络的参数,损失函数如下:
其中,N为输入LSTM网络的金融字段总的交易天数,g为价格波动率真实值,y为价格波动率的预测值,有此函数为理论依据,让预测的计算有一个标准,结果更为准确更为理性。
优选地,所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及softmax操作得到输入字段X每个时刻的权重at,来分配注意力,即通过注意力分配模块函数Fatt(Ht-1)来获得预测输出Yt和每个时刻输入字段对应的对齐可能性,从而分配给不同时刻字段的注意力大小,能够合理的根据数据情况来分配注意力,不会造成注意力的分配不均而导致分析速度变慢或是分析结果不够准确的问题。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.本发明中,与传统的股市预测方法相比,本发明所提出的深度模型为Encoder-Decoder框架,通过使用长短期记忆网络对股市进行预测,充分考虑到金融市场的动态特性,有效克服了传统方法因股票市场环境或者上市公司经营状况发生显著变化导致的预测不稳定性;
2.本发明中,与传统的深度学习框架相比,本发明在原有的递归神经网络框架上融合注意力机制,让预测的结果更为准确。
3.本发明中,对比没有引入注意力的网络模型,在输入金融字段交易日总量比较小时影响不大,但是如果输入金融字段交易日总量比较,此时所有金融字段完全通过一个中间向量来表示,该时间点金融字段自身的信息已经消失,此时会丢失很多细节信息,从而导致最终的预测结果不够准确,所以本发明提供的方法预测结果更为准确。
附图说明
图1为本发明提出的融合注意力机制的深度网络智能投资顾问的模型框架图;
图2为本发明中注意力网络结构图;
图3为中本发明中注意力机制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1-3所示,融合注意力机制的深度网络智能投资系统数据分析方法,包括如下步骤:
步骤1:从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段;其中金融字段包括开盘价,收盘价,最高价,最低价,成交量,成交额,涨跌额,涨跌幅,净资产收益率,市净率,指数平滑异同平均线。选取几种字段组合构成输入向量X,同时预测输出为Y,X,Y分别由不同交易日的序列构成。n代表交易日,其中xt为t时刻D维向量(D为金融字段组合选择的个数),yt为一维向量,表示预测值,m代表预测的交易日:
X=<x1,x2,…,xn>
Y=<y1,y2,…,yn>
步骤2:将金融字段输入到编码器模块Encoder中,Encoder模块由长短期记忆网络(LSTM)构成,长短期记忆网络是一种时间递归神经网络,由于独特的设计结构,LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。对字段X进行编码,输入端接收字段,将输入字段通过非线性变换转化为中间向量表示C:
C=F(x1,x2,…,xn)
步骤3:Decoder模块由长短期记忆网络与注意力网络构成。函数Fatt(Ht-1)为注意力分配函数,采用多层网络实现,如图2所示。利用LSTM网络前一时刻的隐藏状态Ht-1通过多个全连接层得到注意力权重。即通过注意力分配模块函数Fatt(Ht-1)来获得预测输出Yi和输入字段对应时刻的对齐可能性,然后函数Fatt的输出经过Softmax进行归一化就得到了符合概率分布取值区间的注意力概率分布数值。具体过程如图2所示,即通过记忆力分配模块将固定的中间语义表示C换成了根据当前输出调整成加入注意力变化的中间语义表示Ct。这意味着在生成每个时刻的预测yt的时候,原先都是相同的中间向量表示C会替换成根据当前生成的预测结果而不断变化的Ct。注意力分配模块如图3所示。
步骤4:接着解码器Decoder根据句子X的中间语义表示Ct和之前已经生成的历史信息y1,y2,…,yt-1来生成t时刻要生成的价格预测yt。
y1=g(C1)
y2=g(C2,y1)
y3=g(C3,y2)
其中,g函数为LSTM单元。每个Ct对应着不同时刻源金融字段的注意力分配概率分布,同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格的波动率的真实值与进行比较,使用损失函数得到预测误差,并利用误差反向传播算法BP训练所述长短期记忆循环神经网络的参数。损失函数如下
其中N为输入LSTM网络金融字段总的交易天数,g为价格波动率真实值,y为价格波动率的预测值。
步骤5:通过步骤5将网络训练完毕,此时可以将需要预测的金融产品数据输入模型中,将输出的下一交易日金融产品价格波动率的预测值与设定的阈值范围进行比较。此时如果价格波动率的预测值超出了阈值的范围,表明该金融产品有风险,将该金融产品放入黑名单中。如果股市波动率的预测值在阈值范围内,表明该金融产品投资风险较低,将该金融产品放入适合购买的名单中。其中,阈值的设定可以由金融领域的技术人员采用任意适当方式进行设定。
步骤6:最后根据用户现有资产以及预测结果,从适合购买名单中筛选合适金融产品,从而配置最优投资组合,同时为用户定期进行合理投资决策以及投资产品管理,更为合理,风险更低。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.融合注意力机制的深度网络智能投资系统数据分析方法,其特征在于,包括如下步骤:
步骤1:从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段,并进行筛选整合成输入字段X;
X=<x1,x2,…,xn>
X包含n个时间点,xi为第i个时间点的金融字段;
步骤2:将输入字段X输入到编码器模块Encoder中,Encoder模块由长短期记忆网络构成,对输入字段X进行编码;
步骤3:编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值;
步骤4:接着解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测;同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格波动率的真实值与进行比较,使用损失函数得到预测误差,并利用误差反向传播算法BP更新所述长短期记忆网络的参数直至深度网络训练完成;
步骤5:通过训练完成的深度网络输出某交易日预测结果。
3.根据权利要求1所述的融合注意力机制的深度网络智能投资系统数据分析方法,其特征在于:所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及softmax操作得到输入字段X每个时刻的权重at来分配注意力。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810168662.8A CN108460679B (zh) | 2018-02-28 | 2018-02-28 | 融合注意力机制的深度网络智能投资系统数据分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810168662.8A CN108460679B (zh) | 2018-02-28 | 2018-02-28 | 融合注意力机制的深度网络智能投资系统数据分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460679A CN108460679A (zh) | 2018-08-28 |
CN108460679B true CN108460679B (zh) | 2021-02-26 |
Family
ID=63216652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810168662.8A Active CN108460679B (zh) | 2018-02-28 | 2018-02-28 | 融合注意力机制的深度网络智能投资系统数据分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460679B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886747A (zh) * | 2019-02-22 | 2019-06-14 | 网易(杭州)网络有限公司 | 销量预测方法、介质、装置和计算设备 |
CN110705736A (zh) * | 2019-05-28 | 2020-01-17 | 软通智慧科技有限公司 | 宏观经济预测方法、装置、计算机设备及存储介质 |
CN110287951B (zh) * | 2019-06-21 | 2022-04-12 | 北京百度网讯科技有限公司 | 一种文字识别的方法及装置 |
CN110490746A (zh) * | 2019-08-19 | 2019-11-22 | 福建工程学院 | 一种股市量化投资的金融科技人工智能优化方法及装置 |
CN110490304B (zh) * | 2019-08-21 | 2023-10-27 | 上海哲锦信息科技有限公司 | 一种数据处理方法及设备 |
CN111192144A (zh) * | 2020-01-03 | 2020-05-22 | 湖南工商大学 | 一种金融数据预测方法、装置、设备及存储介质 |
CN111427935B (zh) * | 2020-02-28 | 2023-05-30 | 中信建投证券股份有限公司 | 量化交易指标的预测和显示方法、电子设备和介质 |
CN111818093B (zh) * | 2020-08-28 | 2020-12-11 | 支付宝(杭州)信息技术有限公司 | 用于进行风险评估的神经网络系统、方法及装置 |
CN112967739B (zh) * | 2021-02-26 | 2022-09-06 | 山东省计算中心(国家超级计算济南中心) | 一种基于长短期记忆网络的语音端点检测方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10614361B2 (en) * | 2015-09-09 | 2020-04-07 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
CN107145518B (zh) * | 2017-04-10 | 2020-04-14 | 同济大学 | 一种社交网络下基于深度学习的个性化推荐系统 |
-
2018
- 2018-02-28 CN CN201810168662.8A patent/CN108460679B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108460679A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460679B (zh) | 融合注意力机制的深度网络智能投资系统数据分析方法 | |
Tang et al. | Short‐term power load forecasting based on multi‐layer bidirectional recurrent neural network | |
CN113905391B (zh) | 集成学习网络流量预测方法、系统、设备、终端、介质 | |
Shao et al. | Nickel price forecast based on the LSTM neural network optimized by the improved PSO algorithm | |
Wei | A GA-weighted ANFIS model based on multiple stock market volatility causality for TAIEX forecasting | |
CN106384166A (zh) | 一种结合财经新闻的深度学习股市预测方法 | |
Lv et al. | [Retracted] An Economic Forecasting Method Based on the LightGBM‐Optimized LSTM and Time‐Series Model | |
CN112215604A (zh) | 交易双方关系信息识别方法及装置 | |
Zhu et al. | Short‐Term Electricity Consumption Forecasting Based on the EMD‐Fbprophet‐LSTM Method | |
CN111127104A (zh) | 一种商品销量预测方法及系统 | |
CN112016616A (zh) | 一种高频金融时序序列多类别预测方法 | |
Stergiou et al. | Application of deep learning and chaos theory for load forecasting in Greece | |
Zhang | Prediction of Purchase Volume of Cross‐Border e‐Commerce Platform Based on BP Neural Network | |
Wang et al. | An electricity load forecasting model based on multilayer dilated LSTM network and attention mechanism | |
CN107704944B (zh) | 一种基于信息论学习的股市波动区间预测模型的构建方法 | |
Jia et al. | A Hybrid Model Based on Wavelet Decomposition‐Reconstruction in Track Irregularity State Forecasting | |
Yuan et al. | Human resource planning and configuration based on machine learning | |
Gao et al. | Establishment of Economic Forecasting Model of High‐tech Industry Based on Genetic Optimization Neural Network | |
Srinivasan et al. | Stock price prediction using fuzzy time-series population based gravity search algorithm | |
CN116702976A (zh) | 基于建模动态企业关系的企业资源预测方法以及装置 | |
Chang et al. | [Retracted] Application of Hidden Markov Model in Financial Time Series Data | |
Lin | [Retracted] Big Data Technology in the Macrodecision‐Making Model of Regional Industrial Economic Information Applied Research | |
Wang et al. | Machine learning-based quantitative trading strategies across different time intervals in the American market | |
Xu et al. | Research on Multistage Dynamic Trading Model Based on Gray Model and Auto‐Regressive Integrated Moving Average Model | |
Chen et al. | Analysis of marketing forecasting model based on genetic neural networks: taking clothing marketing as an example |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |