CN111626785A - 一种基于结合注意力的cnn-lstm网络基金价格预测方法 - Google Patents

一种基于结合注意力的cnn-lstm网络基金价格预测方法 Download PDF

Info

Publication number
CN111626785A
CN111626785A CN202010477965.5A CN202010477965A CN111626785A CN 111626785 A CN111626785 A CN 111626785A CN 202010477965 A CN202010477965 A CN 202010477965A CN 111626785 A CN111626785 A CN 111626785A
Authority
CN
China
Prior art keywords
fund
layer
price
prediction
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010477965.5A
Other languages
English (en)
Inventor
孙亮
陈烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202010477965.5A priority Critical patent/CN111626785A/zh
Publication of CN111626785A publication Critical patent/CN111626785A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种基于结合注意力的CNN‑LSTM网络基金价格预测方法，Step1：基金平台数据收集；Step2：基金数据预处理；Step3：样本特征提取；Step4：建立基金价格预测网络模型；Step5：基金预测模型的训练与预测。本发明提供一种基于结合注意力的CNN‑LSTM网络基金价格预测方法，预测精度高，能够实现基金价格的多步预测，为投资人员提供可靠的参考信息。

Description

一种基于结合注意力的CNN-LSTM网络基金价格预测方法
技术领域
本发明属于基金价格预测领域，特别涉及一种基于结合注意力的CNN-LSTM网络基金 价格预测方法。
背景技术
随着经济的发展和国民观念的转变，基金投资已经逐渐成为了人们生活 的重要内容之一。分析影响基金价格的各种因素，掌握基金价格的变化规律 并对价格进行预测，从而有效规避价格风险，对基金投资者来说具有十分重 要的意义。然而，基金价格数据具有高噪声、动态、复杂、多因素影响和非 参数等特点，显然准确的预测基金价格是一个具有开放性挑战的难题。
伴随着金融理论与数理工具的日渐完善，各种各样的基金价格预测方法应运而生。
传统的基金价格预测模型是利用平均线理论、K线图分析法、回归分析法、灰色预测方 法、ARIMA模型、多核支持向量机和马尔柯夫链等，然而由于基金价格受多因素交叉影响，而且这些因素之间表现出较强的非线性特征，致使这些传统的线性基金预测模型的 精度不高。此外，大多数研究或方法针对于基金价格的单时步预测(即只预测下一天或 月或年的基金价格)，并不具有太大的实际意义，因为投资者关注的是未来较长一段时期 内的价格。因此，亟待提出一种预测精度高的基金价格预测方法，能同时表达经济数据 在空间维度和时间维度上的特征，从而实现基金价格的多步预测，为投资人员提供可靠 的参考信息。
发明内容
为了解决上述存在问题，本发明提供一种基于结合注意力的CNN-LSTM网络基金价格预 测方法，预测精度高，能够实现基金价格的多步预测，为投资人员提供可靠的参考信息。为 达此目的：
本发明提供一种基于结合注意力的CNN-LSTM网络基金价格预测方法，具体步骤如下：
Step1：基金平台数据收集
从网络基金平台上搜集该基金股在过去两年内的历史数据，日期类型是基金价格的 重要影响因素之一，由于基金周末是休市的事实上，投资者会有选择的调整投资策略，因此将日期类型作为重要考量之一，并将周一到周五分别编码为1～5。
Step2：基金数据预处理
采用的归一化处理方式为Min-Max归一化方法，使得所有的输入向量元素取值都在 0-1之间。具体计算公式为
Figure BDA0002516445330000021
其中，xi *为归一化后的基金价格特征值；xi为第i个基金价格特征值，xmax，xmin分别为xi中的最大值和最小值。
Step3：样本特征提取
参考自然语言处理中的词向量表示方法，将每天归一化后的基金价格收盘价与其相 关的特征串联成向量表示，进而形成一个全新的时间序列数据。设历史时域为Γhistory＝11， 预测时域为Γprediction，即采用前Γhistory天的基金数据预测未来Γprediction的基金收盘价格。 遍历以时间排列的基金序列，采用滑动窗口方式(滑动窗口大小为Γhistory+Γprediction日， 时步长为1日)，将数据转化为样本集，样本集输入量格式为X_size＝[样本数，Γhistory， 特征属性数]，输出量格式为Y_size＝[样本数，Γprediction]。取Γprediction＝5，即采用前11 天的基金数据预测未来5天的基金收盘价格。
Step4：建立基金价格预测网络模型
本发明所构建基于结合注意力机制的卷积-长短时记忆混合神经网络的基金价格预测 模型有以卷积神经网络层构成的第一通道、长短时记忆网络层构成的第二通道、注意力 层、输出层组成。
Step4.1搭建第一通道网络
为提取出特征参数的有效特征，构建卷积神经网络获取它们的高维信息向量。根据 第一步骤生成的样本输入量，CNN输入特征图的大小为11*11。卷积神经网络的主要结构为2个卷积层，1个最大池化层、1个扁平层和1个全连接层，流程为第一卷积层→池 化层→第二卷积层→扁平层→全连接层，最终获取基金价格第一通道的高层次特征向量 Cr＝[cr 1，cr 2，......，cr 11]。
Step4.2搭建第二通道网络
第二通道部分包含了2层LSTM网络层，所述的LSTM网络由四个部分组成，分别 为输入门(决定让多少新信息加入到细胞状态中)，忘记门(决定从细胞状态中丢弃什么 信息)、输出门(决定最终输出什么信息)和细胞状态(在整个循环周期内定义和维护一 个内部记忆单元状态)。其中LSTM神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure BDA0002516445330000031
记忆细胞的输出：
Figure BDA0002516445330000032
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵； bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量； tanh为双曲正切激活函数，最终获得基金价格第二通道的高层次特征向量 Hc＝[hc 1，hc 2，......，hc 11]。
Step4.3结合注意力机制双通道联立
分别得到了第一通道和第二通道基金价格特征参数的高层次表达后，计算第二通道 与第一通道基金价格特征向量融合注意力权重值
Figure BDA0002516445330000033
其中， Wa为连接权重，ba为偏置量，Cr T为Cr的转置。并将每个注意力权重值进行归一化得到归一化后的注意力权重值
Figure BDA0002516445330000034
与第二通道每个时步LSTM的隐含层输出值 点乘获得注意力矩阵
Figure BDA0002516445330000035
基金价格预测模型的输出层以一个输出单元个数为 5的全连接层和sigmoid层组成，最后由sigmoid层输出未来5天的基金收盘价格未去归 一化的预测值。
Step5：基金预测模型的训练与预测
本发明基于Keras深度学习框架，使用Keras框架中的CNN与LSTM网络、Attention相关模块构建模型算法，选取每批训练大小N为50，即每个Epoch选取50个样本；弃 权系数选取0.2进行训练。收集历史11天的基金价格影响的11个影响属性，基于训练好 的最优模型，并对未来5天的基金收盘价格进行实时预测，并去归一化得到预测的5天 的基金收盘价格。
作为本发明进一步改进，步骤1中每天基金的收盘价、开盘价、日最高价、日最低价、成交量、成交额、换手率、成交次数、日涨幅、日振幅以及日期类型11个特征参数 作为基金预测的初始数据。
作为本发明进一步改进，步骤4.1中卷积层计算方法为
Figure BDA0002516445330000036
其中，Hi，Hi为第i-1，i层特征图；f(x)为非线性激励函数Relu，
Figure BDA0002516445330000041
为卷积核与特征图的卷积操作， wi为第i层卷积核的权值向量，bi为第i层的偏置量。池化层采用最大池化层，计算方法为 Hj＝f(maxpooling(Hj-1)+bj)，其中，Hj-1，Hj为第j，j-1层特征图；f(x)为非线性激励函数Relu，maxpooling(x)为最大池化操作，bj为第j层的偏置量。
作为本发明进一步改进，步骤4.1中第一卷积层为Conv1D，含有32个大小为1*3 的卷积核，激活函数为Relu，第一卷积层Conv1D的输出大小为(9,32)；最大池化层后 输出大小为(4,32)；第二卷积层为Conv1D，含有16个大小为1*3的卷积核，激活函数 为Relu，第二卷积层Conv1D的输出大小为(2,16)；由扁平层将数据扁平化，将数据转 化为(1,32)。
作为本发明进一步改进，步骤4.2中第二通道两个LSTM层的神经元数量分别为16和32个。
作为本发明进一步改进，步骤5中训练采用Adam为优化器，以最小化 均方根误差为目标对预测模型进行训练，均方根误差可表达为
Figure RE-GDA0002553121280000043
其中yij为第i个样本第j天的真实值，
Figure RE-GDA0002553121280000044
为第 i个样本第j天的预测值。直到测试集的均方根误差小于一定阈值RMSEΓ，可
本发明提出一种基于结合注意力的CNN-LSTM网络基金价格预测方法，有益效果如下：
(1)使用基金价格的多维特征参数，建立的预测模型更可靠，算法鲁棒性更好。
(2)本发明采用深度学习方法，可以表征未来的基金价格和多维特征参数的非线性关 系。
(3)本发明为结合注意力机制，充分发挥CNN和LSTM的优点，能同时表达数据在空间 维度和时间维度上的特征，提高了预测精度。
(4)本方法可以实现基金价格的多步预测，为投资人员提供有效的参考信息，实用性更 好。
(5)本发明的方法给出了详细的网络参数，算法泛化性较高，复用性较好。
附图说明
图1本发明基金样本特征提取方式；
图2本发明一种基于结合注意力的CNN-LSTM网络基金价格预测方法框架；
图3本发明LSTM单元结构图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提供一种基于结合注意力的CNN-LSTM网络基金价格预测方法，预测精度高， 能够实现基金价格的多步预测，为投资人员提供可靠的参考信息。
作为本发明一种实施例，其中基金样本特征提取方式如图1，一种基于结合注意力的 CNN-LSTM网络基金价格预测方法框架如图2所示，具体步骤如下；
Step1：基金平台数据收集
从网络基金平台上搜集该基金股在过去两年内的历史数据，选择每天基金的收盘价、 开盘价、日最高价、日最低价、成交量、成交额、换手率、成交次数、日涨幅、日振幅 以及日期类型11个特征参数。日期类型是基金价格的重要影响因素之一，由于基金周末 是休市的事实上，投资者会有选择的调整投资策略，因此将日期类型作为重要考量之一， 并将周一到周五分别编码为1～5。将过去两年中的前一年半的历史数据作为训练集，后半 年的历史数据作为测试集。
Step2：基金数据预处理
针对停盘等出现的基金数据完全空缺情况，采取删除操作并重新按照时间序列对数 据进行排序。由于影响基金价格的特征参数在数值上差异性大，故需要进行归一化处理。 采用的归一化处理方式为Min-Max归一化方法，使得所有的输入向量元素取值都在0-1之间。具体计算公式为
Figure BDA0002516445330000051
其中，xi *为归一化后的基金价格特征值；xi为第i个 基金价格特征值，xmax，xmin分别为xi中的最大值和最小值。
Step3：样本特征提取
参考自然语言处理中的词向量表示方法，将每天归一化后的基金价格收盘价与其相 关的特征串联成向量表示，进而形成一个全新的时间序列数据。设历史时域为Γhistory＝11， 预测时域为Γprediction，即采用前Γhistory天的基金数据预测未来Γprediction的基金收盘价格。 遍历以时间排列的基金序列，采用滑动窗口方式(滑动窗口大小为Γhistory+Γprediction日， 时步长为1日)，将数据转化为样本集，样本集输入量格式为X_size＝[样本数，Γhistory， 特征属性数]，输出量格式为Y_size＝[样本数，Γprediction]。为方便说明，取Γprediction＝5， 即采用前11天的基金数据预测未来5天的基金收盘价格。
Step4：建立基金价格预测网络模型
本发明所构建基于结合注意力机制的卷积-长短时记忆混合神经网络的基金价格预测 模型有以卷积神经网络层构成的第一通道、长短时记忆网络层构成的第二通道、注意力 层、输出层组成。
Step4.1搭建第一通道网络
为提取出特征参数的有效特征，构建卷积神经网络获取它们的高维信息向量。根据 第一步骤生成的样本输入量，CNN输入特征图的大小为11*11。卷积神经网络的主要结构为2个卷积层，1个最大池化层、1个扁平层和1个全连接层，流程为第一卷积层→池 化层→第二卷积层→扁平层→全连接层。卷积层计算方法为
Figure BDA0002516445330000061
其中， Hi，Hi为第i-1，i层特征图；f(x)为非线性激励函数Relu，
Figure BDA0002516445330000062
为卷积核与特征图的卷积操作， wi为第i层卷积核的权值向量，bi为第i层的偏置量。池化层采用最大池化层，计算方法为 Hj＝f(maxpooling(Hj-1)+bj)，其中，Hj-1，Hj为第j，j-1层特征图；f(x)为非线性激励函数 Relu，maxpooling(x)为最大池化操作，bj为第j层的偏置量。第一卷积层为Conv1D，含有 32个大小为1*3的卷积核，激活函数为Relu，第一卷积层Conv1D的输出大小为(9,32)； 最大池化层maxpooling后输出大小为(4,32)；第二卷积层为Conv1D，含有16个大小为 1*3的卷积核，激活函数为Relu，第二卷积层Conv1D的输出大小为(2,16)；由扁平层 将数据扁平化，将数据转化为(1,32)，并通过全连接层，最终获取基金价格第一通道的 高层次特征向量Cr＝[cr 1，cr 2，......，cr 11]。
Step4.2搭建第二通道网络
第二通道部分包含了2层LSTM网络层，所述的LSTM网络由四个部分组成，分别 为输入门(决定让多少新信息加入到细胞状态中)，忘记门(决定从细胞状态中丢弃什么 信息)、输出门(决定最终输出什么信息)和细胞状态(在整个循环周期内定义和维护一 个内部记忆单元状态)。其中LSTM神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure BDA0002516445330000063
记忆细胞的输出：
Figure BDA0002516445330000064
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵； bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量； tanh为双曲正切激活函数。两个LSTM层的神经元数量分别为16和32个，最终获得基 金价格第二通道的高层次特征向量Hc＝[hc 1，hc 2，......，hc 11]。
Step4.3结合注意力机制双通道联立
分别得到了第一通道和第二通道基金价格特征参数的高层次表达后，计算第二通道 与第一通道基金价格特征向量融合注意力权重值
Figure BDA0002516445330000071
其中， Wa为连接权重，ba为偏置量，Cr T为Cr的转置。并将每个注意力权重值进行归一化得到归一化后的注意力权重值
Figure BDA0002516445330000072
与第二通道每个时步LSTM的隐含层输出值 点乘获得注意力矩阵
Figure BDA0002516445330000073
基金价格预测模型的输出层以一个输出单元个数为 5的全连接层和sigmoid层组成，最后由sigmoid层输出未来5天的基金收盘价格未去归 一化的预测值。
Step5：基金预测模型的训练与预测
本发明基于Keras深度学习框架，使用Keras框架中的CNN与LSTM 网络、Attention相关模块构建模型算法，选取每批训练大小N为50，即每 个Epoch选取50个样本；弃权系数选取0.2；采用Adam为优化器，以最小 化均方根误差为目标对预测模型进行训练，均方根误差可表达为
Figure RE-GDA0002553121280000084
其中yij为第i个样本第j天的真实值，
Figure RE-GDA0002553121280000085
为第 i个样本第j天的预测值。直到测试集的均方根误差小于一定阈值RMSETΓ，可 认定训练出最优的基金价格预测模型。收集历史11天的基金价格影响的11 个影响属性，基于训练好的最优模型，并对未来5天的基金收盘价格进行实 时预测，并去归一化得到预测的5天的基金收盘价格。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制， 而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (6)

1.一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于，具体步骤如下：
Step1：基金平台数据收集
从网络基金平台上搜集该基金股在过去两年内的历史数据，日期类型是基金价格的重要影响因素之一，由于基金周末是休市的事实上，投资者会有选择的调整投资策略，因此将日期类型作为重要考量之一，并将周一到周五分别编码为1～5。
Step2：基金数据预处理
采用的归一化处理方式为Min-Max归一化方法，使得所有的输入向量元素取值都在0-1之间。具体计算公式为
Figure FDA0002516445320000011
其中，xi *为归一化后的基金价格特征值；xi为第i个基金价格特征值，xmax，xmin分别为xi中的最大值和最小值。
Step3：样本特征提取
参考自然语言处理中的词向量表示方法，将每天归一化后的基金价格收盘价与其相关的特征串联成向量表示，进而形成一个全新的时间序列数据。设历史时域为Γhistory＝11，预测时域为Γprediction，即采用前Γhistory天的基金数据预测未来Γprediction的基金收盘价格。遍历以时间排列的基金序列，采用滑动窗口方式(滑动窗口大小为Γhistory+Γprediction日，时步长为1日)，将数据转化为样本集，样本集输入量格式为X_size＝[样本数，Γhistory，特征属性数]，输出量格式为Y_size＝[样本数，Γprediction]。取Γprediction＝5，即采用前11天的基金数据预测未来5天的基金收盘价格。
Step4：建立基金价格预测网络模型
本发明所构建基于结合注意力机制的卷积-长短时记忆混合神经网络的基金价格预测模型有以卷积神经网络层构成的第一通道、长短时记忆网络层构成的第二通道、注意力层、输出层组成。
Step4.1搭建第一通道网络
为提取出特征参数的有效特征，构建卷积神经网络获取它们的高维信息向量。根据第一步骤生成的样本输入量，CNN输入特征图的大小为11*11。卷积神经网络的主要结构为2个卷积层，1个最大池化层、1个扁平层和1个全连接层，流程为第一卷积层→池化层→第二卷积层→扁平层→全连接层，最终获取基金价格第一通道的高层次特征向量Cr＝[cr 1，cr 2，......，cr 11]。
Step4.2搭建第二通道网络
第二通道部分包含了2层LSTM网络层，所述的LSTM网络由四个部分组成，分别为输入门(决定让多少新信息加入到细胞状态中)，忘记门(决定从细胞状态中丢弃什么信息)、输出门(决定最终输出什么信息)和细胞状态(在整个循环周期内定义和维护一个内部记忆单元状态)。其中LSTM神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure FDA0002516445320000021
记忆细胞的输出：
Figure FDA0002516445320000022
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵；bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量；tanh为双曲正切激活函数，最终获得基金价格第二通道的高层次特征向量Hc＝[hc 1，hc 2，......，hc 11]。
Step4.3结合注意力机制双通道联立
分别得到了第一通道和第二通道基金价格特征参数的高层次表达后，计算第二通道与第一通道基金价格特征向量融合注意力权重值
Figure FDA0002516445320000023
其中，Wa为连接权重，ba为偏置量，Cr T为Cr的转置。并将每个注意力权重值进行归一化得到归一化后的注意力权重值
Figure FDA0002516445320000024
与第二通道每个时步LSTM的隐含层输出值点乘获得注意力矩阵
Figure FDA0002516445320000025
基金价格预测模型的输出层以一个输出单元个数为5的全连接层和sigmoid层组成，最后由sigmoid层输出未来5天的基金收盘价格未去归一化的预测值。
Step5：基金预测模型的训练与预测
本发明基于Keras深度学习框架，使用Keras框架中的CNN与LSTM网络、Attention相关模块构建模型算法，选取每批训练大小N为50，即每个Epoch选取50个样本；弃权系数选取0.2进行训练。收集历史11天的基金价格影响的11个影响属性，基于训练好的最优模型，并对未来5天的基金收盘价格进行实时预测，并去归一化得到预测的5天的基金收盘价格。
2.根据权利要求1所述的一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于：步骤1中每天基金的收盘价、开盘价、日最高价、日最低价、成交量、成交额、换手率、成交次数、日涨幅、日振幅以及日期类型11个特征参数作为基金预测的初始数据。
3.根据权利要求1所述的一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于：步骤4.1中卷积层计算方法为
Figure FDA0002516445320000031
其中，Hi，Hi为第i-1，i层特征图；f(x)为非线性激励函数Relu，
Figure FDA0002516445320000032
为卷积核与特征图的卷积操作，wi为第i层卷积核的权值向量，bi为第i层的偏置量。池化层采用最大池化层，计算方法为Hj＝f(maxpooling(Hj-1)+bj)，其中，Hj-1，Hj为第j，j-1层特征图；f(x)为非线性激励函数Relu，maxpooling(x)为最大池化操作，bj为第j层的偏置量。
4.根据权利要求1所述的一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于：步骤4.1中第一卷积层为Conv1D，含有32个大小为1*3的卷积核，激活函数为Relu，第一卷积层Conv1D的输出大小为(9,32)；最大池化层后输出大小为(4,32)；第二卷积层为Conv1D，含有16个大小为1*3的卷积核，激活函数为Relu，第二卷积层Conv1D的输出大小为(2,16)；由扁平层将数据扁平化，将数据转化为(1,32)。
5.根据权利要求1所述的一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于：步骤4.2中第二通道两个LSTM层的神经元数量分别为16和32个。
6.根据权利要求1所述的一种基于结合注意力的CNN-LSTM网络基金价格预测方法，其特征在于：步骤5中训练采用Adam为优化器，以最小化均方根误差为目标对预测模型进行训练，均方根误差可表达为
Figure RE-FDA0002553121270000033
其中yij为第i个样本第j天的真实值，
Figure RE-FDA0002553121270000034
为第i个样本第j天的预测值,直到测试集的均方根误差小于一定阈值RMSEΓ，可认定训练出最优的基金价格预测模型。
CN202010477965.5A 2020-05-29 2020-05-29 一种基于结合注意力的cnn-lstm网络基金价格预测方法 Withdrawn CN111626785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010477965.5A CN111626785A (zh) 2020-05-29 2020-05-29 一种基于结合注意力的cnn-lstm网络基金价格预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477965.5A CN111626785A (zh) 2020-05-29 2020-05-29 一种基于结合注意力的cnn-lstm网络基金价格预测方法

Publications (1)

Publication Number Publication Date
CN111626785A true CN111626785A (zh) 2020-09-04

Family

ID=72260788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477965.5A Withdrawn CN111626785A (zh) 2020-05-29 2020-05-29 一种基于结合注意力的cnn-lstm网络基金价格预测方法

Country Status (1)

Country Link
CN (1) CN111626785A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257847A (zh) * 2020-10-16 2021-01-22 昆明理工大学 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法
CN112561148A (zh) * 2020-12-09 2021-03-26 北京京航计算通讯研究所 基于一维卷积神经网络和lstm的船舶轨迹预测方法及系统
CN112667912A (zh) * 2021-01-14 2021-04-16 广东工业大学 一种边缘服务器的任务量预测方法
CN112906673A (zh) * 2021-04-09 2021-06-04 河北工业大学 一种基于注意力机制的下肢运动意图预测方法
CN112948969A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于lstmc混合网络的船舶横摇预测方法
CN113792258A (zh) * 2021-09-18 2021-12-14 广东电网有限责任公司广州供电局 一种电网企业信息化投资的贡献率确定方法
CN113837464A (zh) * 2021-09-22 2021-12-24 浙大城市学院 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法
CN114239417A (zh) * 2021-12-23 2022-03-25 四创科技有限公司 一种供水系统中氨氮含量的综合评估方法与终端
CN114279494A (zh) * 2021-12-16 2022-04-05 金陵科技学院 基于改进lstm的光纤光栅高炉炉壳温度补偿检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257847A (zh) * 2020-10-16 2021-01-22 昆明理工大学 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112561148B (zh) * 2020-12-09 2021-11-30 北京京航计算通讯研究所 基于一维卷积神经网络和lstm的船舶轨迹预测方法及系统
CN112561148A (zh) * 2020-12-09 2021-03-26 北京京航计算通讯研究所 基于一维卷积神经网络和lstm的船舶轨迹预测方法及系统
CN112434891A (zh) * 2020-12-18 2021-03-02 中国计量大学上虞高等研究院有限公司 基于wcnn-alstm的太阳辐照度时间序列的预测方法
CN112667912A (zh) * 2021-01-14 2021-04-16 广东工业大学 一种边缘服务器的任务量预测方法
CN112948969A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于lstmc混合网络的船舶横摇预测方法
CN112948969B (zh) * 2021-03-01 2022-07-15 哈尔滨工程大学 一种基于lstmc混合网络的船舶横摇预测方法
CN112906673A (zh) * 2021-04-09 2021-06-04 河北工业大学 一种基于注意力机制的下肢运动意图预测方法
CN113792258A (zh) * 2021-09-18 2021-12-14 广东电网有限责任公司广州供电局 一种电网企业信息化投资的贡献率确定方法
CN113837464A (zh) * 2021-09-22 2021-12-24 浙大城市学院 一种基于CNN-LSTM-Attention的热电联产锅炉负荷预测方法
CN114279494A (zh) * 2021-12-16 2022-04-05 金陵科技学院 基于改进lstm的光纤光栅高炉炉壳温度补偿检测方法
CN114279494B (zh) * 2021-12-16 2023-05-26 金陵科技学院 基于改进lstm的光纤光栅高炉炉壳温度补偿检测方法
CN114239417A (zh) * 2021-12-23 2022-03-25 四创科技有限公司 一种供水系统中氨氮含量的综合评估方法与终端

Similar Documents

Publication Publication Date Title
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
Althelaya et al. Stock market forecast using multivariate analysis with bidirectional and stacked (LSTM, GRU)
CN108182259B (zh) 基于深度长短期记忆神经网络对多变量时间序列分类方法
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
Sisodia et al. Stock market analysis and prediction for NIFTY50 using LSTM Deep Learning Approach
CN109784471A (zh) 一种基于多预测模型的95598话务工单预测与异动预警方法
CN111222992A (zh) 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法
CN113129148A (zh) 一种融合生成对抗网络与二维注意力机制的股票预测方法
Su et al. Multi-factor RFG-LSTM algorithm for stock sequence predicting
CN111210089A (zh) 基于kalman滤波的门控循环单元神经网络的股票价格预测方法
CN113627070A (zh) 一种短期光伏功率预测方法
Liu et al. Stock price trend prediction model based on deep residual network and stock price graph
Kumar et al. Stock Price Prediction Using Machine Learning
Alp et al. Prediction of bist price indices: a comparative study between traditional and deep learning methods
CN110659767A (zh) 一种基于lstm-cnn深度学习模型的股票趋势预测方法
CN107704944A (zh) 一种基于信息论学习的股市波动区间预测方法
Kale et al. Forecasting Indian stock market using artificial neural networks
CN116542701A (zh) 一种基于cnn-lstm组合模型的碳价预测方法及系统
Zhuang et al. Research on Quantitative Stock Selection Strategy Based on CNN-LSTM
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
Zhang et al. Improving Stock Price Forecasting Using a Large Volume of News Headline Text.
CN114819343A (zh) 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法
Goyal Financial Time Series Stock Price Prediction using Deep Learning
Myint et al. Predictive Analytics System for Stock Data: methodology, data pre-processing and case studies
Alamsyah et al. Comparison of Predictions Foreign Currency Exchange Rates (USD, JPY, EUR, GBP, CHF, CAD) to Rupiah (IDR) using Artificial Neural Network and Long Short-Term Memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200904