CN111222992A - 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 - Google Patents

一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 Download PDF

Info

Publication number
CN111222992A
CN111222992A CN202010052169.7A CN202010052169A CN111222992A CN 111222992 A CN111222992 A CN 111222992A CN 202010052169 A CN202010052169 A CN 202010052169A CN 111222992 A CN111222992 A CN 111222992A
Authority
CN
China
Prior art keywords
neural network
long
term memory
short term
memory neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010052169.7A
Other languages
English (en)
Inventor
王宾
邱佳玉
周士华
张强
魏小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University
Original Assignee
Dalian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University filed Critical Dalian University
Priority to CN202010052169.7A priority Critical patent/CN111222992A/zh
Publication of CN111222992A publication Critical patent/CN111222992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

一种基于注意力机制的长短期记忆神经网络的股票价格预测方法，属于深度学习和股票预测领域。包括以下步骤：S1：获取股票历史数据，对其进行数据预处理，并将其分为训练集和测试集；S2：对训练集和测试集进行数据标准化，同时对训练集的数据进行小波变换处理以去除金融序列的噪声；S3：初始化长短期记忆神经网络预测模型所需的参数，构建长短期记忆神经网络预测模型，并在其中加入注意力机制层，使用训练集数据对其进行训练；S4：使用训练好的预测模型对测试集进行预测，得到预测结果。本发明能够更好的预测股票价格的非线性变化。

Description

一种基于注意力机制的长短期记忆神经网络的股票价格预测 方法
技术领域
本发明涉及深度学习和股票预测领域，尤其涉及一种基于注意力机制的长短期记忆神经网络的股票价格预测方法。
背景技术
股票市场因其波动性大、市场种类繁多、数据冗余等特性，使得股票预测具有相当大的挑战性，股票价格的预测也一直是人们关心的问题之一；在过去一段时间里，传统的技术分析方法在股票分析与预测上发挥了非常重要的作用，但是随着股票数据量级增大，传统的技术方法可能无法满足股票价格走势的变化速度，另外，股票市场的波动性是一个非线性的多变量动态系统，仅仅依靠个人的直觉和判断对其进行预测具有一定的主观性，非常容易受个人主观想法的影响，致使预测结果不具有客观性。
金融时间序列具有非平稳、非线性、高噪声的特点，我们看到的股票价格序列也是包含噪声的，这会使得有用的序列与噪声相重叠，使得传统的预测方式不能产生理想的预测结果。
在互联网技术不断发展的进程中，也出现了不少股票价格预测的模型；例如，采用支持向量机模型来进行特征选择以及价格预测；有人提出了使用具有误差反向传播的前馈多层感知机的人工神经网络来预测股价；但是都不能产生理想的预测结果。
发明内容
为解决现有股票价格预测模型不能产生理想的预测结果的问题，本发明提供了一种基于注意力机制的长短期记忆神经网络的股票价格预测方法。
为实现上述目的，本发明采用的技术方案是：一种基于注意力机制的长短期记忆神经网络的股票价格预测方法，包括以下步骤：
S1：获取股票历史数据，对其进行数据预处理，并将其分为训练集和测试集；
S2：对训练集和测试集进行数据标准化，同时对训练集的数据进行小波变换处理以去除金融序列的噪声；
S3：初始化长短期记忆神经网络预测模型所需的参数，构建长短期记忆神经网络预测模型，并在其中加入注意力机制层，使用训练集数据对其进行训练；
S4：使用训练好的预测模型对测试集进行预测，得到预测结果。
进一步的，预测方法还包括步骤S5：对预测结果使用均方根误差和决定系数评估预测模型性能。
进一步的，所述步骤S1具体为：获取包括开盘价、最高价、最低价、收盘价、调整收盘价以及成交量的股票历史数据，对其进行包括数据标准化和转化为预测模型所需的输入序列格式的数据预处理，用以作为预测模型的输入数据序列，并将其分为训练集和测试集。
进一步的，所述预测模型所需的输入序列格式为：
Figure BDA0002371565270000021
其中T是时间步长，D是输入数据的维度。
进一步的，所述步骤S2的小波变换处理包括小波分解，阈值处理和信号重建。
进一步的，所述步骤S3中预测模型所需的参数包括：hidden_size，batchsize，train_time，lr；其中hidden_size是隐藏层神经元的个数，batchsize是批处理的个数，train_time是训练次数，lr是学习率。
进一步的，所述步骤S3的预测模型包括输入层，隐含层和输出层；输入层网络节点个数为N，隐含层为LSTM结构，且隐含层数为H，隐含层内部激活函数为Tanh函数，输出层采用全连接层，输出节点为1。
进一步的，所述均方根误差的计算公式为：
Figure BDA0002371565270000031
其中RMSE为均方根误差，N为真实值和预测值对比次数，
Figure BDA0002371565270000035
为预测模型的预测结果值，yi为真实值。
进一步的，所述决定系数的计算公式为：
Figure BDA0002371565270000032
其中R2为决定系数，N为真实值和预测值对比次数，
Figure BDA0002371565270000033
为预测模型的预测结果值，yi为真实值，
Figure BDA0002371565270000034
为yi的均值。
本发明的有益效果是：能够更好的预测股票价格的非线性变化；同时，由于加入注意力机制层，从而可以使预测模型学习到提高预测结果准确的特征；此外，小波变换处理可以对输入的股票历史数据金融序列去噪，得到更加纯净的金融序列，为后续的预测结果提供更清晰的输入数据序列。
附图说明
图1为本发明的流程示意图；
图2为本发明使用的长短期记忆神经网络单元的原理图。
具体实施方式
一种基于注意力机制的长短期记忆神经网络的股票价格预测方法，包括以下步骤：
S1：获取股票历史数据，包括开盘价、最高价、最低价、收盘价、调整收盘价以及成交量，对其进行数据预处理，具体包括数据标准化和将数据转化为预测模型所需的输入序列格式，并将其分为训练集和测试集，训练集用于训练长短期记忆神经网络模型，测试集用于检验生成的测试模型是否理想；其中预测模型所需的输入序列格式为：
Figure BDA0002371565270000041
其中T是时间步长，D是输入数据的维度。
S2：使用标准差标准化法对训练集和测试集进行数据标准化，同时对训练集的数据进行小波变换处理以去除金融序列的噪声；其中小波变换处理包括小波分解，阈值处理和信号重建；
S3：初始化长短期记忆神经网络预测模型所需的参数，所需的参数包括：hidden_size，batchsize，train_time，lr；其中hidden_size是隐藏层神经元的个数，batchsize是批处理的个数，train_time是训练次数，lr是学习率；构建长短期记忆神经网络预测模型，预测模型包括输入层，隐含层和输出层；输入层网络节点个数为N，隐含层为LSTM结构，且隐含层数为H，隐含层内部激活函数为Tanh函数，输出层采用全连接层，输出节点为1；并在预测模型中加入注意力机制层，使用训练集数据对其进行训练；
S4：使用训练好的预测模型对测试集进行预测，得到预测结果；
S5：对预测结果使用均方根误差和决定系数评估预测模型性能，同时建立三种对比模型与预测模型进行对比，三种对比模型分别是长短期记忆神经网络模型、加入小波变换的长短期记忆神经网络模型以及门控循环单元神经网络模型；
均方根误差的计算公式为：
Figure BDA0002371565270000051
其中RMSE为均方根误差，N为真实值和预测值对比次数，
Figure BDA0002371565270000052
为预测模型的预测结果值，yi为真实值；
决定系数的计算公式为：
Figure BDA0002371565270000053
其中R2为决定系数，N为真实值和预测值对比次数，
Figure BDA0002371565270000054
为预测模型的预测结果值，yi为真实值，
Figure BDA0002371565270000055
为yi的均值。
本方案采用了长短期记忆神经网络(LSTM)，长短期记忆神经网络(LSTM)是递归神经网络(RNN)常见的形式之一，其能够避免长期依赖问题，故而适用于处理和预测时间序列。
实施例1
本实施例采用标准普尔500指数(S&P500)、道琼斯工业平均指数(DJIA)以及恒生指数(HSI)三种股票指数作为历史数据集，其中S&P 500和DJIA的数据为2000年1月3日至2019年7月1日，HSI的数据为2002年1月2日至2019年7月1日，每个数据集中有6个基础变量，包括开盘价、收盘价、最高价、最低价、调整收盘价、成交量，并将历史数据集分为训练集和测试集；
将训练集和测试集进行数据标准化，使用小波变换对标准化后的数据进一步处理，其中小波基函数采用coif 3，并通过调参确定分解层数、阈值和阈值功能；
初始化参数，构建具有9个隐藏神经元的长短期记忆神经网络预测模型(如附图2所示)，并使用步长为steptime的数据长度的训练集对其训练并进行迭代，输入数据的序列格式为：
Figure BDA0002371565270000061
其中，T是时间步长，D是输入数据的维度；得到训练好的预测模型后，将最优的模型节点存储；
将测试集数据输入到训练好的预测模型中，得到预测序列y＝{y1,y2,......,yt}作为预测结果；
使用均方根误差公式和决定系数公式计算模型的性能评价指标，将预测模型与长短期记忆神经网络模型、加入小波变换的长短期记忆神经网络模型以及门控循环单元神经网络模型进行对比发现，预测模型的预测结果表现更好，如下表所示在S&P500数据集上四个模型的评估指标比较结果，明显可以看出基于注意力机制的长短期记忆神经网络(WLSTM+Attention)模型(即预测模型)的拟合程度更高，效果更理想。
Figure BDA0002371565270000071
本实施例是在Intel(R)CPU3.7GHz、64.0GB内存、Ubuntu16.04运行环境下，借助Python对该模型进行仿真实验，实验结果表明本实例的方法结果优于其他算法的实验结果。
基于注意力机制的长短期记忆神经网络的股票价格预测方法，使用LSTM对历史数据提取特征生成预测模型，解决了长期依赖问题，比传统时间序列模型调参更加灵活，自适应性更强；通过小波变换对输入的股票历史数据进行去除噪声，以得到更加准确的预测结果；用加入注意力机制的长短期记忆神经网络对股票价格的历史数据进行分析训练，最终得到的预测序列作为输出结果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，包括以下步骤：
S1：获取股票历史数据，对其进行数据预处理，并将其分为训练集和测试集；
S2：对训练集和测试集进行数据标准化，同时对训练集的数据进行小波变换处理以去除金融序列的噪声；
S3：初始化长短期记忆神经网络预测模型所需的参数，构建长短期记忆神经网络预测模型，并在其中加入注意力机制层，使用训练集数据对其进行训练；
S4：使用训练好的预测模型对测试集进行预测，得到预测结果。
2.根据权利要求1所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，还包括步骤S5：对预测结果使用均方根误差和决定系数评估预测模型性能。
3.根据权利要求1所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述步骤S1具体为：获取包括开盘价、最高价、最低价、收盘价、调整收盘价以及成交量的股票历史数据，对其进行包括数据标准化和转化为预测模型所需的输入序列格式的数据预处理，用以作为预测模型的输入数据序列，并将其分为训练集和测试集。
4.根据权利要求3所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述预测模型所需的输入序列格式为：
Figure FDA0002371565260000021
其中T是时间步长，D是输入数据的维度。
5.根据权利要求1所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述步骤S2的小波变换处理包括小波分解，阈值处理和信号重建。
6.根据权利要求1所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述步骤S3中预测模型所需的参数包括：hidden_size，batchsize,train_time,lr；其中hidden_size是隐藏层神经元的个数，batchsize是批处理的个数，train_time是训练次数，lr是学习率。
7.根据权利要求1所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述步骤S3的预测模型包括输入层，隐含层和输出层；输入层网络节点个数为N，隐含层为LSTM结构，且隐含层数为H，隐含层内部激活函数为Tanh函数，输出层采用全连接层，输出节点为1。
8.根据权利要求2所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述均方根误差的计算公式为：
Figure FDA0002371565260000022
其中RMSE为均方根误差，N为真实值和预测值对比次数，
Figure FDA0002371565260000023
为预测模型的预测结果值，yi为真实值。
9.根据权利要求2所述的基于注意力机制的长短期记忆神经网络的股票价格预测方法，其特征在于，所述决定系数的计算公式为：
Figure FDA0002371565260000031
其中R2为决定系数，N为真实值和预测值对比次数，
Figure FDA0002371565260000032
为预测模型的预测结果值，yi为真实值，
Figure FDA0002371565260000033
为yi的均值。
CN202010052169.7A 2020-01-17 2020-01-17 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法 Pending CN111222992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010052169.7A CN111222992A (zh) 2020-01-17 2020-01-17 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010052169.7A CN111222992A (zh) 2020-01-17 2020-01-17 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法

Publications (1)

Publication Number Publication Date
CN111222992A true CN111222992A (zh) 2020-06-02

Family

ID=70832352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010052169.7A Pending CN111222992A (zh) 2020-01-17 2020-01-17 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法

Country Status (1)

Country Link
CN (1) CN111222992A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859784A (zh) * 2020-06-24 2020-10-30 天津大学 一种基于深度学习神经网络的rcs时间序列特征提取方法
CN111950784A (zh) * 2020-08-04 2020-11-17 广东工业大学 一种融合注意力机制的产能预测方法
CN113763184A (zh) * 2021-08-26 2021-12-07 甘肃同兴智能科技发展有限责任公司 一种碳资产评估方法
CN113793217A (zh) * 2021-09-10 2021-12-14 上海卡方信息科技有限公司 一种基于卷积神经网络的股票交易反转点与异常点检测方法
CN114944057A (zh) * 2022-04-21 2022-08-26 中山大学 一种路网交通流量数据的修复方法与系统
CN116861202A (zh) * 2023-09-05 2023-10-10 青岛哈尔滨工程大学创新发展中心 基于长短期记忆神经网络的船舶运动包络预报方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859784A (zh) * 2020-06-24 2020-10-30 天津大学 一种基于深度学习神经网络的rcs时间序列特征提取方法
CN111859784B (zh) * 2020-06-24 2023-02-24 天津大学 一种基于深度学习神经网络的rcs时间序列特征提取方法
CN111950784A (zh) * 2020-08-04 2020-11-17 广东工业大学 一种融合注意力机制的产能预测方法
CN111950784B (zh) * 2020-08-04 2023-06-09 广东工业大学 一种融合注意力机制的产能预测方法
CN113763184A (zh) * 2021-08-26 2021-12-07 甘肃同兴智能科技发展有限责任公司 一种碳资产评估方法
CN113793217A (zh) * 2021-09-10 2021-12-14 上海卡方信息科技有限公司 一种基于卷积神经网络的股票交易反转点与异常点检测方法
CN114944057A (zh) * 2022-04-21 2022-08-26 中山大学 一种路网交通流量数据的修复方法与系统
CN114944057B (zh) * 2022-04-21 2023-07-25 中山大学 一种路网交通流量数据的修复方法与系统
CN116861202A (zh) * 2023-09-05 2023-10-10 青岛哈尔滨工程大学创新发展中心 基于长短期记忆神经网络的船舶运动包络预报方法及系统
CN116861202B (zh) * 2023-09-05 2023-12-19 青岛哈尔滨工程大学创新发展中心 基于长短期记忆神经网络的船舶运动包络预报方法及系统

Similar Documents

Publication Publication Date Title
CN111222992A (zh) 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法
CN112101480B (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN112488415A (zh) 基于经验模态分解和长短时记忆网络的电力负荷预测方法
CN113283588B (zh) 一种基于深度学习的近岸单点海浪浪高预报方法
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
CN109583565A (zh) 基于注意力模型长短时记忆网络的洪水预测方法
Yu et al. Oil price forecasting with an EMD-based multiscale neural network learning paradigm
CN111210089A (zh) 基于kalman滤波的门控循环单元神经网络的股票价格预测方法
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
Li et al. A novel multichannel long short-term memory method with time series for soil temperature modeling
CN114912077B (zh) 一种融合随机搜索与混合分解误差订正的海浪预报方法
Cacciola et al. Aspects about air pollution prediction on urban environment
CN114580545A (zh) 一种基于融合模型的风电机组齿轮箱故障预警方法
CN116050621A (zh) 一种集成提升模式的多头自注意力海上风电超短时功率预测方法
CN114862032A (zh) 一种基于XGBoost-LSTM的电网负荷预测方法及装置
CN115358437A (zh) 基于卷积神经网络的供电负荷预测方法
CN111292121A (zh) 一种基于园区画像的园区负荷预测方法及系统
CN114461791A (zh) 一种基于深度量子神经网络的社交文本情感分析系统
Feng et al. A dual-staged attention based conversion-gated long short term memory for multivariable time series prediction
CN116483036B (zh) 一种基于Transformer的自编码器软测量建模方法
CN107704944A (zh) 一种基于信息论学习的股市波动区间预测方法
CN114970745B (zh) 物联网智能安防与环境大数据系统
CN115062764B (zh) 光照度智能调节与环境参数物联网大数据系统
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
Bi et al. Integrated spatio-temporal prediction for water quality with graph attention network and WaveNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination