CN108460679A - 融合注意力机制的深度网络智能投资系统数据分析方法 - Google Patents

融合注意力机制的深度网络智能投资系统数据分析方法 Download PDF

Info

Publication number
CN108460679A
CN108460679A CN201810168662.8A CN201810168662A CN108460679A CN 108460679 A CN108460679 A CN 108460679A CN 201810168662 A CN201810168662 A CN 201810168662A CN 108460679 A CN108460679 A CN 108460679A
Authority
CN
China
Prior art keywords
field
financial
network
shot
long term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810168662.8A
Other languages
English (en)
Other versions
CN108460679B (zh
Inventor
董乐
张宁
董文普
叶俊贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810168662.8A priority Critical patent/CN108460679B/zh
Publication of CN108460679A publication Critical patent/CN108460679A/zh
Application granted granted Critical
Publication of CN108460679B publication Critical patent/CN108460679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了融合注意力机制的深度网络智能投资系统数据分析方法，包括如下步骤：步骤1：从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段，筛选整合成字段X；步骤2：将字段X输入到编码器模块Encoder中，Encoder模块由长短期记忆网络构成，X进行编码；步骤3：编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值；步骤4：解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测；步骤5：通过训练完成的深度网络输出某交易日预测结果与设定的阈值进行比较，判断该金融产品的风险；步骤6：根据用户资金，筛选合适金融产品，配置最优投资组合。

Description

融合注意力机制的深度网络智能投资系统数据分析方法
技术领域
本发明属于信息处理技术领域，具体涉及融合注意力机制的深度网络智能投资系统数据分析方法。
背景技术
自1991年成立证券交易所至今，中国金融市场已获得长足发展，股票交易规模不断扩大，股票价格以及各类基金的购买已成为中国绝大多数公民关心的问题，也是经济，系统科学领域研究的热点问题。金融市场的预测研究对我国经济发展具有重要意义。
金融产品(股票，基金)预测是经济预测的一个分支，指以准确的调查统计资料和市场信息为依据，从股票市场的历史，现状和规律性出发，运用科学的方法，对各类金融产品的价格未来走势做出测定。
传统的金融产品走势预测方法有证券投资分析法，时间序列预测分析法，非线性预测法等。这样的缺点是算法依据比较单一，这样的计算结果往往会让评估结果的风险比较高，会让投资的不确定性更高，让投资者的投资也变得不够理性。
随着近几年，神经网络，深度学习等技术的兴起，基于神经网络的股票预测方法也随之产生，主要是用神经网络进行股票价格的数据学习训练，然后使用训练模型去进行估计预测。股票预测的神经网络主要是递归神经网络。人们迫切需要一种融合注意力机制的深度网络智能投资顾问是在长短期记忆网络中加入注意力机制，并融入其他的相关创新性操作的方法，使得金融产品前景预测更加准确，并具有更强的鲁棒性，并能够合理配置最优投资组合，使投资决策变得更加理性。
发明内容
本发明的目的在于：针对上述的算法依据单一而致的投资评估风险高让投资者的投资不够准确和不够理性的问题，提出融合注意力机制的深度网络智能投资系统数据分析方法以增加算法的准确性，让投资变得理性降低投资风险。
本发明采用的技术方案如下：
融合注意力机制的深度网络智能投资系统数据分析方法，包括如下步骤：
步骤1：从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段，并进行筛选整合成输入字段X。
X＝<x1,x2,…,xn>
X包含n个时间点，xi为第i个时间点的金融字段。
输入到由Encoder-Decoder组成的框架中，注意力模块附着在Encoder-Decoder框架之中；
步骤2：将输入字段X输入到编码器模块Encoder中，Encoder模块由长短期记忆网络构成，对输入字段X进行编码；
步骤3：编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值；
步骤4：解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测，同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格波动率的真实值与进行比较，使用损失函数得到预测误差，并利用误差反向传播算法BP更新所述整体网络的参数直至深度网络训练完成；
步骤5：通过训练完成的深度网络输出某交易日预测结果与设定的阈值进行比较，判断该金融产品是否存在风险；
步骤6：根据用户现有资金，筛选合适金融产品，从而配置最优投资组合
首先注意力模块附着在Encoder-Decoder框架之中，对金融字段X进行编码，输入端接收金融字段，将输入字段通过非线性变换转化为中间语义表示C，采用多层网络实现，将所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及Softmax进行归一化得到输入字段X每个时刻符合概率分布取值区间的注意力权重，来分配注意力。具体过程如图2所示，即通过记忆力分配模块将固定的中间语义表示C换成了根据当前输出调整成加入注意力变化的中间语义表示Ct，接着解码器Decoder中的LSTM网络通过字段X的中间语义表示Ct和之前已经生成的历史信息y1,y2…yt-1来生成t时刻要生成的金融产品走势预测yt，同时将下一交易日金融产品价格的波动率的预测值与下一交易日的波动率的真实值与进行比较，使用损失函数得到预测误差，并利用误差反向传播算法BP更新整体网络的参数直至网络训练完成。通过训练完成的深度网络输出某交易日预测结果，并与设定的阈值进行比较，判断该金融产品是否存在风险。最后根据用户现有资产以及预测结果，筛选合适金融产品，从而配置最优投资组合，为用户定期进行合理投资决策以及投资产品管理，更为合理，风险更低。
优选地，步骤1所述的编码器Encoder和解码器Decoder皆由长短期记忆网络(LSTM)构成，长短期记忆网络能处理和预测时间序列中间隔和延迟非常长的重要事件，这完全适应了金融数据的量大而且时间跨度大，延迟比较高的问题，会让预测的结果更为准确与理性，能降低风险。整体网络将下一交易日股市的波动率的预测值与下一交易日股市的波动率的真实值进行比较，使用损失函数得到计算误差，并利用误差反向传播算法BP训练该神经网络的参数，损失函数如下：
其中N为输入LSTM网络的金融字段总的交易天数,g为价格波动率真实值，y为价格波动率的预测值。有此函数为理论依据，让预测的计算有一个标准，结果更为准确更为理性。
优选地，所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及softmax操作得到输入字段X每个时刻的权重at，来分配注意力，即通过注意力分配模块函数Fatt(Ht-1)来获得预测输出Yt和每个时刻输入字段对应的对齐可能性，从而分配给不同时刻字段的注意力大小，能够合理的根据数据情况来分配注意力，不会造成注意力的分配不均而导致分析速度变慢或是分析结果不够准确的问题。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，与传统的股市预测方法相比，本发明所提出的深度模型为Encoder-Decoder框架，通过使用长短期记忆网络对股市风险进行预测，充分考虑到金融市场的动态特性，有效克服了传统方法因股票市场环境或者上市公司经营状况发生显著变化导致的预测不稳定性。
2、本发明中，与传统的深度学习框架相比，本发明在原有的递归神经网络框架上融合注意力机制，让预测的结果更为准确。
3、本发明中，对比没有引入注意力的网络模型，在输入金融字段交易日总量比较小时影响不大，但是如果输入金融字段交易日总量比较，此时所有金融字段完全通过一个中间向量来表示，该时间点金融字段自身的信息已经消失，此时会丢失很多细节信息，从而导致最终的预测结果不够准确，所以本发明提供的方法预测结果更为准确。
附图说明
图1为本发明提出的融合注意力机制的深度网络智能投资顾问的模型框架图；
图2为本发明中注意力网络结构图；
图3为中本发明中注意力机制示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1-3所示，融合注意力机制的深度网络智能投资系统数据分析方法，包括如下步骤：
步骤1：从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段；其中金融字段包括开盘价，收盘价，最高价，最低价，成交量，成交额，涨跌额，涨跌幅，净资产收益率，市净率，指数平滑异同平均线。选取几种字段组合构成输入向量X，同时预测输出为Y。X,Y分别由不同交易日的序列构成。n代表交易日,其中xt为t时刻D维向量(D为金融字段组合选择的个数),yt为一维向量，表示预测值,m代表预测的交易日：
X＝<x1,x2,…,xn>
Y＝<y1,y2,…,ym>
步骤2：将金融字段输入到编码器模块Encoder中，Encoder模块由长短期记忆网络(LSTM)构成，长短期记忆网络是一种时间递归神经网络，由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。对字段X进行编码，输入端接收字段，将输入字段通过非线性变换转化为中间向量表示C：
C＝F(x1,x2,…,xn)
步骤3：Decoder模块由长短期记忆网络与注意力网络构成。函数Fatt(Ht-1)为注意力分配函数，采用多层网络实现，如图2所示。利用LSTM网络前一时刻的隐藏状态Ht-1通过多个全连接层得到注意力权重。即通过注意力分配模块函数Fatt(Ht-1)来获得预测输出Yi和输入字段对应时刻的对齐可能性，然后函数Fatt的输出经过Softmax进行归一化就得到了符合概率分布取值区间的注意力概率分布数值。具体过程如图2所示，即通过记忆力分配模块将固定的中间语义表示C换成了根据当前输出调整成加入注意力变化的中间语义表示Ct。这意味着在生成每个时刻的预测yt的时候，原先都是相同的中间向量表示C会替换成根据当前生成的预测结果而不断变化的Ct。注意力分配模块如图3所示。
步骤4：接着解码器Decoder根据句子X的中间语义表示Ct和之前已经生成的历史信息y1,y2,…,yt-1来生成t时刻要生成的价格预测yt。
y1＝g(C1)
y2＝g(C2,y1)
y3＝g(C3,y2)
其中g函数为LSTM单元。每个Ct对应着不同时刻源金融字段的注意力分配概率分布，同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格的波动率的真实值与进行比较，使用损失函数得到预测误差，并利用误差反向传播算法BP训练所述长短期记忆循环神经网络的参数。损失函数如下
其中N为输入LSTM网络金融字段总的交易天数,g为价格波动率真实值，y为价格波动率的预测值。
步骤5：通过步骤5将网络训练完毕，此时可以将需要预测的金融产品数据输入模型中，将输出的下一交易日金融产品价格波动率的预测值与设定的阈值范围进行比较。此时如果价格波动率的预测值超出了阈值的范围，表明该金融产品有风险，将该金融产品放入黑名单中。如果股市波动率的预测值在阈值范围内，表明该金融产品投资风险较低，将该金融产品放入适合购买的名单中。其中，阈值的设定可以由金融领域的技术人员采用任意适当方式进行设定。
步骤6：最后根据用户现有资产以及预测结果，从适合购买名单中筛选合适金融产品，从而配置最优投资组合，同时为用户定期进行合理投资决策以及投资产品管理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.融合注意力机制的深度网络智能投资系统数据分析方法，其特征在于，包括如下步骤：
步骤1：从金融网站以及股票数据库中获取足量本地设备端所需调用的金融字段，并进行筛选整合成输入字段X：
X＝<x1,x2,…,xn>
X包含n个时间点，xn为第n个时间点的金融字段。
步骤2：将输入字段X输入到编码器模块Encoder中，Encoder模块由长短期记忆网络构成，对输入字段X进行编码；
步骤3：编码后的字段X向量通过注意力分配模块获取符合概率分布取值区间的注意力分配概率分布数值；
步骤4：接着解码器Decoder中的长短期记忆网络根据包含注意力概率分布的字段编码和之前已经生成的历史信息来生成的价格预测；同时将下一交易日金融产品价格的波动率的预测值与下一交易日的价格波动率的真实值与进行比较，使用损失函数得到预测误差，并利用误差反向传播算法BP更新所述长短期记忆网络的参数直至深度网络训练完成；
步骤5：通过训练完成的深度网络输出某交易日预测结果与设定的阈值进行比较，判断该金融产品是否存在风险；
步骤6：根据用户现有资金，筛选合适金融产品，从而配置最优投资组合。
2.根据权利要求1所述的融合注意力机制的深度网络智能投资系统数据分析方法，其特征在于：步骤1所述的编码器Encoder和解码器Decoder皆由长短期记忆网络(LSTM)构成。长短期记忆网络是一种时间递归神经网络，利于处理时序数据。模型通过将下一交易日股市的波动率的预测值与下一交易日股市的波动率的真实值进行比较，使用损失函数得到计算误差，并利用误差反向传播算法BP训练该神经网络的参数，损失函数如下：
其中N为输入LSTM网络的金融字段总的交易天数,g为价格波动率真实值，y为价格波动率的预测值。
3.根据权利要求1所述的融合注意力机制的深度网络智能投资系统数据分析方法，其特征在于：所述长短期记忆网络前一时刻的隐藏状态Ht-1经过多个全连接层以及softmax操作得到输入字段X每个时刻的权重at来分配注意力，即通过注意力分配模块函数Fatt(Ht-1)来获得预测输出Yt和每个时刻对应输入字段的对齐可能性，从而分配给不同时刻字段的注意力大小。
CN201810168662.8A 2018-02-28 2018-02-28 融合注意力机制的深度网络智能投资系统数据分析方法 Active CN108460679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810168662.8A CN108460679B (zh) 2018-02-28 2018-02-28 融合注意力机制的深度网络智能投资系统数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810168662.8A CN108460679B (zh) 2018-02-28 2018-02-28 融合注意力机制的深度网络智能投资系统数据分析方法

Publications (2)

Publication Number Publication Date
CN108460679A true CN108460679A (zh) 2018-08-28
CN108460679B CN108460679B (zh) 2021-02-26

Family

ID=63216652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810168662.8A Active CN108460679B (zh) 2018-02-28 2018-02-28 融合注意力机制的深度网络智能投资系统数据分析方法

Country Status (1)

Country Link
CN (1) CN108460679B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886747A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 销量预测方法、介质、装置和计算设备
CN110287951A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 一种文字识别的方法及装置
CN110490746A (zh) * 2019-08-19 2019-11-22 福建工程学院 一种股市量化投资的金融科技人工智能优化方法及装置
CN110490304A (zh) * 2019-08-21 2019-11-22 上海哲锦信息科技有限公司 一种数据处理方法及设备
CN110705736A (zh) * 2019-05-28 2020-01-17 软通智慧科技有限公司 宏观经济预测方法、装置、计算机设备及存储介质
CN111192144A (zh) * 2020-01-03 2020-05-22 湖南工商大学 一种金融数据预测方法、装置、设备及存储介质
CN111427935A (zh) * 2020-02-28 2020-07-17 中信建投证券股份有限公司 量化交易指标的预测和显示方法、电子设备和介质
CN111818093A (zh) * 2020-08-28 2020-10-23 支付宝(杭州)信息技术有限公司 用于进行风险评估的神经网络系统、方法及装置
CN112967739A (zh) * 2021-02-26 2021-06-15 山东省计算中心（国家超级计算济南中心） 一种基于长短期记忆网络的语音端点检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017044189A1 (en) * 2015-09-09 2017-03-16 Intel Corporation Cost-sensitive classification with deep learning using cost-aware pre-training
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017044189A1 (en) * 2015-09-09 2017-03-16 Intel Corporation Cost-sensitive classification with deep learning using cost-aware pre-training
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886747A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 销量预测方法、介质、装置和计算设备
CN110705736A (zh) * 2019-05-28 2020-01-17 软通智慧科技有限公司 宏观经济预测方法、装置、计算机设备及存储介质
CN110287951A (zh) * 2019-06-21 2019-09-27 北京百度网讯科技有限公司 一种文字识别的方法及装置
CN110287951B (zh) * 2019-06-21 2022-04-12 北京百度网讯科技有限公司 一种文字识别的方法及装置
CN110490746A (zh) * 2019-08-19 2019-11-22 福建工程学院 一种股市量化投资的金融科技人工智能优化方法及装置
CN110490304A (zh) * 2019-08-21 2019-11-22 上海哲锦信息科技有限公司 一种数据处理方法及设备
CN111192144A (zh) * 2020-01-03 2020-05-22 湖南工商大学 一种金融数据预测方法、装置、设备及存储介质
CN111427935A (zh) * 2020-02-28 2020-07-17 中信建投证券股份有限公司 量化交易指标的预测和显示方法、电子设备和介质
CN111427935B (zh) * 2020-02-28 2023-05-30 中信建投证券股份有限公司 量化交易指标的预测和显示方法、电子设备和介质
CN111818093A (zh) * 2020-08-28 2020-10-23 支付宝(杭州)信息技术有限公司 用于进行风险评估的神经网络系统、方法及装置
CN112967739A (zh) * 2021-02-26 2021-06-15 山东省计算中心（国家超级计算济南中心） 一种基于长短期记忆网络的语音端点检测方法及系统

Also Published As

Publication number Publication date
CN108460679B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN108460679A (zh) 融合注意力机制的深度网络智能投资系统数据分析方法
CN106384166A (zh) 一种结合财经新闻的深度学习股市预测方法
Leigh et al. Stock market trading rule discovery using technical charting heuristics
CN107832897A (zh) 一种基于深度学习的股票市场预测方法
Barua et al. Dynamic Black Litterman portfolios with views derived via CNN-BiLSTM predictions
Kondratenko et al. Using recurrent neural networks to forecasting of forex
CN111027745A (zh) 一种基于自适应特征提取的股票指数预测方法
Vidya et al. Gold price prediction and modelling using deep learning techniques
Yan et al. Selection of machine learning models for oil price forecasting: Based on the dual attributes of oil
Chen [Retracted] Deep Neural Network Model Forecasting for Financial and Economic Market
Raheem et al. Forecasting foreign exchange rate: Use of FbProphet
Atoyebi et al. Forecasting Currency in Circulation in Nigeria Using Holt-Winters Exponential Smoothing Method
Mittal et al. Electricity price forecasting using convolution and LSTM models
Pinter et al. Risk news shocks and the business cycle
Lee et al. Currency exchange rate prediction with long short-term memory networks based on attention and news sentiment analysis
Al-Thelaya et al. Forecasting of bahrain stock market with deep learning: Methodology and case study
Yeh et al. Fuzzy rule-based stock trading system
Jiao et al. Multi-step traffic flow prediction method based on the Conv1D+ LSTM
Azizi Ganzagh et al. Comparing Inflation Forecasting Models in Iran: New Evidences from ARDL-D-LSTM Model
Guo et al. A Deep Neural Network Based Model For Jane Street Market Prediction
Jia et al. A prediction model for the secure issuance scale of Chinese local government bonds
Huang Forecasting Stock Prices Using Multi-Macroeconomic Regressors Based on the Facebook Prophet Model
Zhang et al. Research on stock prediction model based on deep learning
Zhao et al. External stimuli predict financial market behavior from the brain perception perspective
Du Integrated Evaluation of Corporate Investment Decision Performance Based on Fuzzy Sets and BP Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant