CN114819343A - 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法 - Google Patents

一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法 Download PDF

Info

Publication number
CN114819343A
CN114819343A CN202210441352.5A CN202210441352A CN114819343A CN 114819343 A CN114819343 A CN 114819343A CN 202210441352 A CN202210441352 A CN 202210441352A CN 114819343 A CN114819343 A CN 114819343A
Authority
CN
China
Prior art keywords
news
data
input
attention mechanism
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210441352.5A
Other languages
English (en)
Inventor
刘文杰
葛业波
顾雨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210441352.5A priority Critical patent/CN114819343A/zh
Publication of CN114819343A publication Critical patent/CN114819343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,包括步骤如下：获取相关股票指数的历史新闻数据和交易数据；将非结构化新闻数据转换为结构化的情感指数数据；将结构化的新闻情感指数数据与股票指数交易数据按照交易日期进行数据融合，并进行归一化处理，构造数据集；构建TrellisNet和注意力机制神经网络预测模型，并利用测试数据集对预测模型进行测试修正；将待预测日的新闻情感指数数据和待预测日前一日的股票指数数据作为输入，用训练好的预测模型进行预测，得到待预测股票指数的涨跌情况。本发明通过对相关指数新闻的情感进行量化分析，能提高股票指数的预测准确度，预测股票指数的未来趋势。

Description

一种基于TrellisNet和注意力机制的新闻驱动股票指数预测 方法
技术领域
本发明涉及新闻驱动股票指数预测方法，尤其涉及一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法。
背景技术
金融市场作为一个非线性、变化频繁的复杂动态，风险与回报并存，股票作为金融市场内最为活跃的投资之一，收到了众多投资者的青睐。然而，由于股票市场本质上是一个动态的、非平稳的、嘈杂和混乱的系统，加之投资者对股价走势的错误判断，常常导致市场出现危机。因此，对于股市是否能预测以及股市怎样预测的问题，学术界与金融业界一直有着极大的兴趣。随着人工智能的发展，将以深度学习方法为例的AI技术与金融业结合，特别是时序神经网络的应用，在模拟对象的具体特征、处理复杂且大量的数据时有着优秀的表现，这一优点十分适合金融大数据领域的研究，也为股票的预测提供了理论支撑和验证方法。
股票市场受多方因素影响，如政治、经济、市场因素以及新闻和投资者行为等。针对这些影响股价变动的各种因素，研究者们希望可以借助科技的力量对股价进行预测，从而最大程度的降低投资的风险。虽然研究人员将深度学习技术和股市预测进行了较好的结合，但在以往的股指预测方法中，常常选用单一的股票技术指标作为影响股价波动的特征参数结合神经网络进行预测，忽视了股价波动存在多种影响因素的特性，造成预测结果不理想。
发明内容
发明目的：本发明的目的是提供一种能实现新闻情感与股指数据的结合，预测股票指数的未来趋势情况的一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法。
技术方案：本发明的新闻驱动股票指数预测方法,包括步骤如下：
S1，获取相关股票指数的历史新闻数据和交易数据；
S2，通过LSTM-CNN文本情感分析模型，将非结构化新闻数据转换为结构化的情感指数数据；
S3，将获取的结构化的情感指数数据与股票指数交易数据按照交易日期进行相对应的数据融合，并进行归一化处理，构造数据集，并将数据集分为训练数据集和测试数据集；
S4，构建TrellisNet和注意力机制神经网络预测模型，将训练数据按照时间序列输入到预测模型中进行训练，并利用测试数据集对预测模型进行测试修正；
S5，将待预测日的新闻情感指数数据和待预测日前一日的股票指数数据作为输入，用步骤S4中训练好的预测模型进行预测，得到待预测股票指数的涨跌情况。
进一步，所述步骤S1中，获取的新闻数据特征包括：新闻日期、新闻标题和新闻主要内容；获取的交易数据特征包括：交易日期、最低价、最高价、收盘价、开盘价和交易量。
进一步，所述步骤S2中，对获取的新闻数据进行情感分析，具体过程如下：
S21，使用word2vec将文本中每个词映射成词向量，这些词向量组成了一个词向量矩阵M∈Rd，词向量矩阵的计算公式如下：
M＝{w1,w2,w3,…,wn}∈Rn*d
其中，wt表示文本的第t个词，wt∈Rd，t＝1,2,3,…,n；
S22，采用基于负采样的CBOW模型为基础训练词向量，通过词wt的上下文content(wt)来预测wt，其中wt是一个正样本，其余词为负样本；利用输入上下文词向量的平均与输入层到隐藏层权重的积作为输入，上下文词向量的平均作为输出；输入层计算公式如下：
Figure BDA0003614086420000021
其中，X1,…,XC是一个用one-hot方式编码的单词向量，其中只有一个Xi为1，其余均为0；C是上下文的单词个数；w1,…,wc是上下文中的单词；Vw是单词w的输入向量；
对应的损失函数计算公式如下:
Figure BDA0003614086420000022
其中，wo是实际观察词，v'wj来自w'的第j列，是隐含层到输出层的权重。
S23，基于LSTM-CNN的情感分析模型包括文本词汇向量化、特征提取和情感分类：文本词汇的向量化通过word2vec方法进行预处理；特征提取部分，利用LSTM的强大序列处理能力对词向量进行重新编码，编码后的词向量拥有更为丰富的上下文表达，再利用CNN来进一步提取局部语义特征；情感分类通过使用softmax分类器得到不同新闻情感倾向的分类；
S24，通过LSTM-CNN模型对选取的新闻文本进行情感分析，分别得到文本对应的正向情感值P、负向情感值N和中性情感值M，则得到每一条文本的正向情感指数V＝P-N。
进一步，所述步骤S3中，对交易数据全部使用归一化操作,把取值范围限定在[0,1]区间，交易数据x归一化处理的公式为：
Figure BDA0003614086420000031
其中，y为转换后的交易数据，xmin为样本的最小值，xmax为样本的最大值。
进一步，所述步骤S4中，将获取到的结构化的新闻情感指数和归一化后的股票交易值进行融合，形成的数据样本分为训练样本和测试样本，训练样本用于训练预测模型，测试样本用于检验预测模型；
使用LSTM作为TrellisNet的激活函数，同时加入注意力机制；当神经网络预测模型训练至预设的Epoch次数或损失函数小于预设值时，预测模型停止训练；
构建TrellisNet和注意力机制神经网络预测模型的实现过程如下：
输入经过前馈线性变换后和前一层t时刻的隐藏状态一起传给非线性激活函数f：
Figure BDA0003614086420000032
其中，输入经过前馈线性变换的计算公式如下：
Figure BDA0003614086420000033
其中，t表示时刻，i表示网络层，W1、W2分别表示权重，xt表示t时刻的序列输入、xt+1表示t+1时刻的序列输入，z表示隐藏状态；
输入序列的线性变换：
Figure BDA0003614086420000034
将TrellisNet的每一层，都视为对隐藏状态序列进行一维卷积运算，然后将卷积输出传给激活函数，则TrellisNet的网络层i的运算为：
Figure BDA0003614086420000035
Figure BDA0003614086420000036
每个时间步长的计算公式如下：
ct＝ft⊙ct-1+it⊙si
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot⊙tanh(ct)
其中，ct和ct-1是LSTM在t时刻、t-1时刻的传递状态；σ表示Sigmoid函数；ft表示遗忘门，ft∈[0,1]；it表示输入门，ot表示输出门；si是根据输入门添加的新的记忆单元，ht表示隐藏节点在t时刻的输出；⊙表示矩阵乘法；
将LSTM内核作为TrellisNet的非线性激活函数的数学实现：
Figure BDA0003614086420000041
由此，TrellisNet每一层的线性变换都会产生一个带有r＝4q的特征通道的预激活特征
Figure BDA0003614086420000042
结合LSTM的激活函数得到：
Figure BDA0003614086420000043
Figure BDA0003614086420000044
最后，通过元素变换和Hadamard乘积产生这一层的最终输出为：
Figure BDA0003614086420000045
将TrellisNet网络的隐藏层作为注意力机制的输入，与注意力机制生成的权重相乘，生成权重矩阵，计算公式如下：
ei＝Dot(hi,hk)
Figure BDA0003614086420000046
Figure BDA0003614086420000047
其中，xt表示TrellisNet网络的输入层，et表示相似度得分，ht表示xt经过模型后得到的隐藏层的输出，at表示注意力机制对隐藏层输出的注意力权重。
本发明与现有技术相比，其显著效果如下：
1、本发明通过对相关指数新闻的情感进行量化分析，实现新闻情感与股指数据的结合，提高股票指数的预测准确度，来预测股票指数的未来趋势情况；
2、通过自然语言处理技术对非结构化新闻文本进行情感分析，用LSTM-CNN的复合神经网络提高了情感分析的准确率，同时引入了最新的时序神经网络并结合注意力机制来进行预测，提高了神经网络对数据的敏感度和重要数据的关注度，从而提高神经网络的预测能力。
附图说明
图1为本发明的整体流程示意图；
图2为本发明的模型LSTM-CNN神经网络示意图；
图3为本发明的注意力机制结构图；
图4为本发明的TrellisNet模型的单元结构图；
图5为本发明的TrellisNet模型的序列平铺图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
本发明基于TrellisNet(Trellis Networks网格网络)和注意力机制的新闻驱动股票指数预测方法，通过对相关股票指数的新闻进行情感分析，获取对应的情感指数，再结合股票指数的基本特征数据，利用时间序列神经网络和注意力机制进行模型训练，从而达到对股票指数的预测效果。
如图1所示，本发明的新闻驱动的股票指数预测方法，包括如下步骤：
步骤一，获取相关股票指数的历史新闻数据和交易数据
通过爬虫从财经网站采集股票指数的新闻数据和交易数据，获取的新闻数据特征包括：新闻日期、新闻标题和新闻主要内容；获取的交易数据特征包括：交易日期、最低价、最高价、收盘价、开盘价和交易量。具体数据如下表1所示：
表1
Figure BDA0003614086420000051
步骤二，通过LSTM-CNN文本情感分析模型，将非结构化新闻数据转换为结构化的情感指数数据；对获取的新闻文本数据进行情感分析，具体过程如下：
(i)使用word2vec将文本中(即新闻数据)每个词映射成词向量的形式，这些词向量组成了一个词向量矩阵M∈Rd，在用词向量对文本进行表示时，用wt表示文本的第t个词，其中wt∈Rd，t＝1,2,3,…,n；词向量矩阵的计算公式如下：
M＝{w1,w2,w3,…,wn}∈Rn*d (1)
(ii)采用基于负采样的CBOW模型为基础训练词向量，主要是通过词wt的上下文content(wt)来预测wt，其中wt是一个正样本，其余词为负样本；它利用输入上下文词向量的平均与输入层到隐藏层权重的积作为输入，上下文词向量的平均作为输出，输入层计算公式如下：
Figure BDA0003614086420000061
其中，X1,…,XC是一个用one-hot方式编码的单词向量，其中只有一个Xi为1，其余均为0；C是上下文的单词个数；w1,…,wc是上下文中的单词；Vw是单词w的输入向量。
对应的损失函数计算公式如下:
Figure BDA0003614086420000062
其中，wo是实际观察词，v'wj来自w'的第j列，是隐含层到输出层的权重。
(iii)如图2所示，基于LSTM-CNN的情感分析模型主要分为文本词汇向量化、特征提取和情感分类三个步骤。文本词汇的向量化通过word2vec方法进行预处理。特征提取部分，利用LSTM的强大序列处理能力对词向量进行重新编码，编码后的词向量拥有更为丰富的上下文表达，再利用CNN来进一步提取局部语义特征。情感分类通过使用softmax分类器得到不同新闻情感倾向的分类；
(iv)通过LSTM-CNN模型对选取的新闻文本进行情感分析，分别得到文本对应的正向情感值P、负向情感值N和中性情感值M，再通过计算得到每一条文本的正向情感指数V＝P-N，V值可以为正数，也可以为负数，也可以为0。
步骤三，将获取的结构化的新闻情感指数数据与股票指数交易数据按照交易日期进行相对应的数据融合，并进行归一化处理，构造数据集，并将数据集分为训练数据集和测试数据集。
(3)由于交易数据包含开盘价、收盘价、最高价、最低价和交易量,不同维度的数据有不同的取值范围,全部使用归一化操作,把取值范围限定在[0,1]区间，交易数据x归一化处理的公式为：
Figure BDA0003614086420000071
其中，y为转换后的值，xmin为样本的最小值，xmax为样本的最大值。
步骤四，构建TrellisNet和注意力机制神经网络预测模型，将训练数据按照时间序列输入到预测模型中进行训练，并利用测试数据集对预测模型进行测试修正。
将获取到的新闻情感指数和归一化后的股票交易值进行融合，形成的数据样本分为训练样本和测试样本，训练样本用于训练预测模型，测试样本用于检验预测模型。使用LSTM作为TrellisNet的激活函数，同时为了提高TrellisNet网络的准确率，加入了图3所示的注意力机制。当神经网络预测模型训练至预设的Epoch次数或损失函数小于预设值时，预测模型停止训练。
如图4、图5所示，TrellisNet的结构融合了CNN和RNN，因此可以直接吸收许多为CNN和RNN设计的技术，从而在多项序列建模问题上要优于当前的CNN、RNN和自注意力模型，因此为了提取股票序列之间的关系，采用基于注意力机制的TrellisNet网络。
如图4中所示，t表示时刻，i表示网络层，W表示权重，x表示序列输入，z表示隐藏状态。可以看到，这一基本构件的输入是前一层i在t、t+1时刻的隐藏状态，以及t、t+1时刻的输入向量。这些输入经过前馈线性变换(省略了偏置)的计算公式如下：
Figure BDA0003614086420000072
和前一层t时刻的隐藏状态一起传给非线性激活函数f：
Figure BDA0003614086420000073
由于TrellisNet每层都接受相同的输入序列x1:T作为输入，可以预先计算输入序列的线性变换：
Figure BDA0003614086420000074
从图5可以看出，其实TrellisNet的每一层，都可以视为对隐藏状态序列进行一维卷积(Conv1D)运算，然后将卷积输出传给激活函数。则TrellisNet的网络层i的运算可以总结为：
Figure BDA0003614086420000081
TrellisNet的激活函数f可以是任何非线性函数，本发明采用的是LSTM这种非线性激活单元。LSTM单元主要由遗忘门、输入门和输出门组成。三个门更新存储单元并控制单元的状态。细胞状态贯穿整个链条的信息传递，门结构控制着信息的选择。每个时间步长的计算公式如下：
ct＝ft⊙ct-1+it⊙si (9)
ot＝σ(Wo·[ht-1,xt]+bo) (10)
ht＝ot⊙tanh(ct) (11)
其中，ct和ct-1是LSTM不同时间的传递状态，σ表示Sigmoid函数，ft表示遗忘门，ft∈[0,1]，it表示输入门，ot表示输出门。si是根据输入门添加的新的记忆单元。ht表示隐藏节点的输出，⊙表示矩阵乘法。
下面是将LSTM内核作为TrellisNet的非线性激活函数的数学实现：
Figure BDA0003614086420000082
TrellisNet每一层的线性变换都会产生一个带有r＝4q的特征通道的预激活特征
Figure BDA0003614086420000083
结合LSTM的激活函数可以得到：
Figure BDA0003614086420000084
Figure BDA0003614086420000085
最后，通过元素变换和Hadamard乘积产生这一层的最终输出为：
Figure BDA0003614086420000086
为了更好地捕捉时间序列中的有效信息，从股票时间序列中学习到每个输入特征的重要程度，然后按重要程度将输入特征赋予不同的权重，在模型引入了注意力机制。
注意力机制对输入特征进行加权，对影响股价变化较大的特征赋予较大权重。权重参数就是一个注意力分配的系数，来权衡特征的重要性。将TrellisNet网络的隐藏层作为注意力机制的输入，与注意力机制生成的权重相乘，生成权重矩阵。计算公式如下所示：
ei＝Dot(hi,hk) (16)
Figure BDA0003614086420000091
Figure BDA0003614086420000092
其中，xi表示TrellisNet网络的输入层，ei表示相似度得分，hi表示xi经过模型后得到的隐藏层的输出，ai表示注意力机制对隐藏层输出的注意力权重。
步骤五，将待预测日的新闻情感指数数据和待预测日前一日的股票指数数据作为输入，用S4中训练好的模型进行预测，得到待预测股票指数的涨跌情况。
(5)实验结果分析
本发明采用均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和R2系数为回归评价指标，选取TCN、A-TCN和RC network模型进行对比实验，其结果如表2所示。
表2
Figure BDA0003614086420000101
通过对比实验可以发现，本发明提出的TrellisNet和注意力机制的神经网络预测模型相对于其他模型来说，在准确度、稳定性上可以获得更好的效果。

Claims (5)

1.一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,其特征在于，包括步骤如下：
S1，获取相关股票指数的历史新闻数据和交易数据；
S2，通过LSTM-CNN文本情感分析模型，将非结构化新闻数据转换为结构化的情感指数数据；
S3，将获取的结构化的情感指数数据与股票指数交易数据按照交易日期进行相对应的数据融合，并进行归一化处理，构造数据集，并将数据集分为训练数据集和测试数据集；
S4，构建TrellisNet和注意力机制神经网络预测模型，将训练数据按照时间序列输入到预测模型中进行训练，并利用测试数据集对预测模型进行测试修正；
S5，将待预测日的新闻情感指数数据和待预测日前一日的股票指数数据作为输入，用步骤S4中训练好的预测模型进行预测，得到待预测股票指数的涨跌情况。
2.根据权利要求1所述的基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,其特征在于，所述步骤S1中，获取的新闻数据特征包括：新闻日期、新闻标题和新闻主要内容；获取的交易数据特征包括：交易日期、最低价、最高价、收盘价、开盘价和交易量。
3.根据权利要求1所述的基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,其特征在于，所述步骤S2中，对获取的新闻数据进行情感分析，具体过程如下：
S21，使用word2vec将文本中每个词映射成词向量，这些词向量组成了一个词向量矩阵M∈Rd，词向量矩阵的计算公式如下：
M＝{w1,w2,w3,…,wn}∈Rn*d
其中，wt表示文本的第t个词，wt∈Rd，t＝1,2,3,…,n；
S22，采用基于负采样的CBOW模型为基础训练词向量，通过词wt的上下文content(wt)来预测wt，其中wt是一个正样本，其余词为负样本；利用输入上下文词向量的平均与输入层到隐藏层权重的积作为输入，上下文词向量的平均作为输出；输入层计算公式如下：
Figure FDA0003614086410000021
其中，X1,…,XC是一个用one-hot方式编码的单词向量，其中只有一个Xi为1，其余均为0；C是上下文的单词个数；w1,…,wc是上下文中的单词；Vw是单词w的输入向量；
对应的损失函数计算公式如下:
Figure FDA0003614086410000022
其中，wo是实际观察词，
Figure FDA0003614086410000023
来自w'的第j列，是隐含层到输出层的权重。
S23，基于LSTM-CNN的情感分析模型包括文本词汇向量化、特征提取和情感分类：文本词汇的向量化通过word2vec方法进行预处理；特征提取部分，利用LSTM的强大序列处理能力对词向量进行重新编码，编码后的词向量拥有更为丰富的上下文表达，再利用CNN来进一步提取局部语义特征；情感分类通过使用softmax分类器得到不同新闻情感倾向的分类；
S24，通过LSTM-CNN模型对选取的新闻文本进行情感分析，分别得到文本对应的正向情感值P、负向情感值N和中性情感值M，则得到每一条文本的正向情感指数V＝P-N。
4.根据权利要求1所述的基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,其特征在于，所述步骤S3中，对交易数据全部使用归一化操作,把取值范围限定在[0,1]区间，交易数据x归一化处理的公式为：
Figure FDA0003614086410000024
其中，y为转换后的交易数据，xmin为样本的最小值，xmax为样本的最大值。
5.根据权利要求1所述的基于TrellisNet和注意力机制的新闻驱动股票指数预测方法,其特征在于，所述步骤S4中，将获取到的结构化的新闻情感指数和归一化后的股票交易值进行融合，形成的数据样本分为训练样本和测试样本，训练样本用于训练预测模型，测试样本用于检验预测模型；
使用LSTM作为TrellisNet的激活函数，同时加入注意力机制；当神经网络预测模型训练至预设的Epoch次数或损失函数小于预设值时，预测模型停止训练；
构建TrellisNet和注意力机制神经网络预测模型的实现过程如下：
输入经过前馈线性变换后和前一层t时刻的隐藏状态一起传给非线性激活函数f：
Figure FDA0003614086410000031
其中，输入经过前馈线性变换的计算公式如下：
Figure FDA0003614086410000032
其中，t表示时刻，i表示网络层，W1、W2分别表示权重，xt表示t时刻的序列输入、xt+1表示t+1时刻的序列输入，z表示隐藏状态；
输入序列的线性变换：
Figure FDA0003614086410000033
将TrellisNet的每一层，都视为对隐藏状态序列进行一维卷积运算，然后将卷积输出传给激活函数，则TrellisNet的网络层i的运算为：
Figure FDA0003614086410000034
Figure FDA0003614086410000035
每个时间步长的计算公式如下：
ct＝ft⊙ct-1+it⊙si
Figure FDA0003614086410000036
ht＝ot⊙tanh(ct)
其中，ct和ct-1是LSTM在t时刻、t-1时刻的传递状态；σ表示Sigmoid函数；ft表示遗忘门，ft∈[0,1]；it表示输入门，ot表示输出门；si是根据输入门添加的新的记忆单元，ht表示隐藏节点在t时刻的输出；⊙表示矩阵乘法；
将LSTM内核作为TrellisNet的非线性激活函数的数学实现：
Figure FDA0003614086410000041
由此，TrellisNet每一层的线性变换都会产生一个带有r＝4q的特征通道的预激活特征
Figure FDA0003614086410000042
结合LSTM的激活函数得到：
Figure FDA0003614086410000043
Figure FDA0003614086410000044
最后，通过元素变换和Hadamard乘积产生这一层的最终输出为：
Figure FDA0003614086410000045
将TrellisNet网络的隐藏层作为注意力机制的输入，与注意力机制生成的权重相乘，生成权重矩阵，计算公式如下：
ei＝Dot(hi,hk)
Figure FDA0003614086410000046
Figure FDA0003614086410000047
其中，xt表示TrellisNet网络的输入层，et表示相似度得分，ht表示xt经过模型后得到的隐藏层的输出，at表示注意力机制对隐藏层输出的注意力权重。
CN202210441352.5A 2022-04-25 2022-04-25 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法 Pending CN114819343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210441352.5A CN114819343A (zh) 2022-04-25 2022-04-25 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441352.5A CN114819343A (zh) 2022-04-25 2022-04-25 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法

Publications (1)

Publication Number Publication Date
CN114819343A true CN114819343A (zh) 2022-07-29

Family

ID=82507756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441352.5A Pending CN114819343A (zh) 2022-04-25 2022-04-25 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法

Country Status (1)

Country Link
CN (1) CN114819343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115808627A (zh) * 2023-02-03 2023-03-17 泉州装备制造研究所 一种锂电池soh预测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115808627A (zh) * 2023-02-03 2023-03-17 泉州装备制造研究所 一种锂电池soh预测方法及装置

Similar Documents

Publication Publication Date Title
Kraus et al. Decision support from financial disclosures with deep neural networks and transfer learning
Chen et al. Which artificial intelligence algorithm better predicts the Chinese stock market?
Zhuge et al. LSTM Neural Network with Emotional Analysis for prediction of stock price.
Ingle et al. Ensemble deep learning framework for stock market data prediction (EDLF-DP)
CN108694476A (zh) 一种结合财经新闻的卷积神经网络股票价格波动预测方法
CN112328900A (zh) 一种融合评分矩阵和评论文本的深度学习推荐方法
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
Xu et al. BERT-based NLP techniques for classification and severity modeling in basic warranty data study
Su et al. Multi-factor RFG-LSTM algorithm for stock sequence predicting
Ranjit et al. Foreign rate exchange prediction using neural network and sentiment analysis
Mishev et al. Forecasting corporate revenue by using deep-learning methodologies
Haryono et al. Transformer-gated recurrent unit method for predicting stock price based on news sentiments and technical indicators
Malinović et al. Multilayer long short-term memory (LSTM) neural networks in time series analysis
CN114819343A (zh) 一种基于TrellisNet和注意力机制的新闻驱动股票指数预测方法
John et al. Stock market prediction based on deep hybrid RNN model and sentiment analysis
Singh et al. A Novel Approach of Stock Price Direction and Price Prediction Based on Investor’s Sentiments
Wimmer et al. Leveraging vision-language models for granular market change prediction
Busari et al. An application of AdaBoost-GRU ensemble model to economic time series prediction
Labiad et al. Short term prediction framework for moroccan stock market using artificial neural networks
Shen et al. A stock market prediction system based on high-level fuzzy Petri nets
Zhang et al. Improving Stock Price Forecasting Using a Large Volume of News Headline Text.
Haryono et al. Stock price forecasting in Indonesia stock exchange using deep learning: A comparative study
Sun et al. Short-term stock price forecasting based on an svd-lstm model
Pandey et al. Framework for Stock Market Prediction using Deep Learning Technique
Yang et al. Asset price prediction via machine-learning method: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination