CN110363568A - 融合文本多主题信息的股票价格预测方法、系统及介质 - Google Patents

融合文本多主题信息的股票价格预测方法、系统及介质 Download PDF

Info

Publication number
CN110363568A
CN110363568A CN201910498066.0A CN201910498066A CN110363568A CN 110363568 A CN110363568 A CN 110363568A CN 201910498066 A CN201910498066 A CN 201910498066A CN 110363568 A CN110363568 A CN 110363568A
Authority
CN
China
Prior art keywords
text
stock
data
vector
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910498066.0A
Other languages
English (en)
Other versions
CN110363568B (zh
Inventor
唐宁
沈艳艳
黄林鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910498066.0A priority Critical patent/CN110363568B/zh
Publication of CN110363568A publication Critical patent/CN110363568A/zh
Application granted granted Critical
Publication of CN110363568B publication Critical patent/CN110363568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种融合文本多主题信息的股票价格预测方法、系统及介质，包括：数据预处理步骤：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；模型训练步骤：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型。本发明利用多头注意力机制将文本向量映射到不同语义空间，然后提取主题信息，最后巧妙地用不同的注意力权重融合不同主题信息。此外本发明还利用编码器解码器框架将文本信息和股票价格信息有效地融入了一个统一的框架中，能动态的调整不同时间节点对股票价格预测的影响。

Description

融合文本多主题信息的股票价格预测方法、系统及介质
技术领域
本发明涉及股票价格预测技术领域，具体地，涉及融合文本多主题信息的股票价格预测方法、系统及介质。
背景技术
近年来，挖掘海量文本信息来预测股价取得了较好的效果。但是这些方法基本都采用一个固定长度的向量来表示每篇文本，忽略了每一篇文本可能含有多个主题以及这些不同主题可能对股票价格有不同的影响。为了充分利用文本中不同主题的信息，本发明设计了多头注意力机制将文本映射到不同语义空间，由于不同文本存在冗余信息，利用池化操作提取不同语义空间的主题信息，最后利用不同主题的影响力融合不同主题信息。时序特征对股票价格预测至关重要，本发明利用编码器解码器框架充分挖掘历史文本和股票信息，在编码器中编码融合了不同主题信息的文本特征，然后在解码器中融合文本和股票价格信息解码股票未来价格。由于不同时间的文本和股票价格特征对股票未来价格有不同的影响，本发明设计了层级注意力机制动态根据不同时间节点的重要性更加精确的预测股票未来价格。
本发明使用多头注意力机制挖掘文本中不同的主题信息然后利用编码器解码器框架挖掘不同时间文本和股票价格的时序特征，实现对股票未来价格的精准预测，主要涉及的技术包括基于文本的股票价格预测、多头注意力机制和编码器解码框架。
基于文本的股票价格预测。根据文本特征提取的方式，股票价格预测主要可以分为基于手工构造特征的方法和基于神经网络的方法。前者通过特征工程抽取文本中的名词，情感词以及结构化的事件等特征，然后基于这些特征训练不同的模型预测股票未来价格。这些基于手工构造特征的方法有两个主要的弊端：1)这些特征的抽取规则的制订需要额外的金融知识，而且随着时间的推移过去的金融知识可能不在适用与当前的特征抽取规则的制订；2)由于之前模型是在少量模型上建模预测，模型的复杂度会随着特征的增多成指数级上述，因子没法适用与具有深度交互特征的挖掘。
为了解决这些不足，研究人员提出了利用神经网络挖掘文本特征以及特征之间的深度交互。近几年，利用word2vec表示文本语义特征和循环神经网络等提取文本特征，然后利用深度神经网络预测股票价格都取得了不错的效果。然而很少有研究利用神经网络抽取文本中不同的主题特征，而且根据不同主题的重要性动态地融合不同主题的信息。
多头注意力机制。受人类的注意力机制启发，许多研究者将注意力机制广泛应用到自然语言处理、图像识别等各种不同类型的深度学习任务中。传统的注意机制只单单聚焦了输入序列语义空间中的一种特殊的子空间，只能提取输入序列中的某一方面的信息。然而句子以及文本等包含多种语义和主题的特征，传统的注意力机制无法捕捉多方面的语义特征信息。因此许多研究者尝试用多头的注意力机制从输入序列中多次提取不同的语义信息，这种方法有效的提取了句子中不同方面的信息。本发明尝试用多头注意力机制提取文本中的主题信息，并设计池化操作去除不同文本中的冗余信息，最终融合不同的主题信息。
编码器解码器框架。编码器解码器框架被广泛应用于机器翻译和对话生成等序列生成问题。编码器解码器框架将输入序列比如查询语句翻译为输入序列比如回答，主要包含两个部分：编码器和解码器。编码器通过输入序列计算除一个上下文向量，然后解码器根据编码器计算的上下文向量一步一步生成输出序列。编码器解码器框架本质上是学习一个在给定输入序列得到输出序列的条件概率分布。本发明利用编码器解码器在编码阶段融合文本信息，在解码阶段融入股票价格信息，最后做精准预测。
为了挖掘文本中包含的主题信息以及股票和文本的时序特征，本发明解决了如下几个技术难点：
1)解决文本中不同主题的抽取。过去单一固定长度的词向量表示文本融合文本所有的信息，本发明通过将文本映射到不同的语义空间可以将文本转化成不同的主题向量，这样固定长度的文本就能被用不同的主题向量表示。
2)解决文本不同主题的融合。文本用不同主题向量表示后，不同主题对最终的股票价格预测有不同的影响。本发明通过注意力机制，利用编码器不同阶段的状态向量给每个主题计算出一个影响力权重，最后根据该权重加和不同的主题。由于不同姐u但状态向量不同，所计算出的影响力权重也不一样，可知这样就能动态调整不同主题的影响力。
3)解决股票价格和文本信息的融合。文本信息和股票价格信息来源不同，对最终的股票价格预测有不同的影响，本发明利用编码器计算文本信息的上下文向量，然后利用解码器对编码阶段不同时刻的文本特征筛选，根据对股票价格预测的重要性提取不同时间段的文本特征最后和股票价格特征融合预测股票未来价格。
本发明技术解决的问题:现有基于文本的股票价格预测系统，往往都用一个固定长度的向量来表示每一篇文本。很少有研究对文本的主题建模的方法。虽然主题模型是一种常用的提取文本主题的方法，但是主题模型将主题识别和预测分割开来，不利于反向的误差传播，而且主题模型无法解决不同主题对股票价格预测影响力不同的问题。
专利文献CN108537663A(申请号：201810233670.6)公开了一种股票趋势预测方法，包括步骤:首先将极限学习机的输入权值和隐层节点的阈值映射为遗传算法中种群中每条染色体上的基因，利用遗传算法的全局搜索能力，选取出最优染色体构成精英群；再利用粒子群算法的局部搜索能力选取出最优染色体，作为优化后极限学习机的输入权值和阈值；再用最小二乘法计算极限学习机隐层神经元的输出权值，从而计算预测值，并根据预测值进行交易。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种融合文本多主题信息的股票价格预测方法、系统及介质。
根据本发明提供的一种融合文本多主题信息的股票价格预测方法，包括：
数据预处理步骤：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测步骤：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
优选地，所述模型训练步骤：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
优选地，所述模型训练步骤：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络 Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
优选地，所述模型训练步骤：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型。
优选地，所述股票价格预测步骤：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据， T为预设的超参数。
根据本发明提供的一种融合文本多主题信息的股票价格预测系统，包括：
数据预处理模块：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测模块：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
优选地，所述模型训练模块：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
优选地，所述模型训练模块：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络 Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
优选地，所述模型训练模块：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型；
所述股票价格预测模块：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据， T为预设的超参数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的融合文本多主题信息的股票价格预测方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明利用多头注意力机制将文本向量映射到不同语义空间，然后提取主题信息，最后巧妙地用不同的注意力权重融合不同主题信息。此外本发明还利用编码器解码器框架将文本信息和股票价格信息有效地融入了一个统一的框架中，能动态的调整不同时间节点对股票价格预测的影响。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的优选例提供的股票价格预测方法框架结构示意图。
图2为本发明的优选例提供的股票价格预测模型结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种融合文本多主题信息的股票价格预测方法，包括：
数据预处理步骤：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测步骤：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
具体地，所述模型训练步骤：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
具体地，所述模型训练步骤：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络 Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
具体地，所述模型训练步骤：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型。
具体地，所述股票价格预测步骤：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据， T为预设的超参数。
本发明提供的融合文本多主题信息的股票价格预测系统，可以通过本发明给的融合文本多主题信息的股票价格预测方法的步骤流程实现。本领域技术人员可以将所述融合文本多主题信息的股票价格预测方法，理解为所述融合文本多主题信息的股票价格预测系统的一个优选例。
根据本发明提供的一种融合文本多主题信息的股票价格预测系统，包括：
数据预处理模块：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测模块：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
具体地，所述模型训练模块：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
具体地，所述模型训练模块：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络 Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
具体地，所述模型训练模块：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型；
所述股票价格预测模块：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据， T为预设的超参数。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中任一项所述的融合文本多主题信息的股票价格预测方法的步骤。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
本发明技术的解决方案：本发明将融合文本的主题信息和股票价格信息，更加精确的预测股票未来价格。如图1所示，本发明的股票价格预测方法主要包含以下模块：
1)数据预处理。文本数据首先需要去掉停用词，将句子切割成不同的词语并将词语用词向量表示。股票价格需要先删除停牌数据以及缺失数据比较大的股票数据然后根据不同股票的价格将其归一化。最后根据时间和股票代码将文本数据和股票数据对齐。
2)模型训练。基于预处理好的文本数据，本发明利用多头注意力机制提取不同主题信息，然后利用池化操作去除冗余信息，最后根据不同主题的影响融合不同主题的信息。然后利用编码器和解码器融合不同时间节点的文本和股票信息捕捉时序特征，最后预测股票未来价格。
3)股票价格预测。训练好模型后，输入历史文本数据和股票价格数据，模型输出下一个交易日的股票价格，然后反归一化得到股票的真实预测价格。
优选例2：
本发明主要利用文本和股票价格数据，提出了一个利用文本主题信息和股票价格信息的模型。本发明的股票价格预测模型(如图2所示)主要包含两大部分：编码器和解码器。其中编码器包含3个不同的神经网络模块：词嵌入层、多头注意力融合层和序列编码层；解码器包含3个不同的神经网络模块：注意力读入层、序列解码层和注意力融合预测层。下面，对这两大部分和6个不同的神经网络模块做详细介绍。
编码器：
编码器主要通过文本数据提取文本中的主题信息以及捕捉文本特征，包含三个神经网络模块：词嵌入层、多头注意力融合层和序列编码层。
词嵌入层：输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示 由于每个文本由一系列词组成,本发明首先利用预训练好的中文词向量作为每个词的初始向量,比如交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络(Bi-LSTM)来捕捉每个词在顺序和逆序方向的潜在语义信息：
其中，
和分别表示顺序和逆序的长短时记忆神经网络。
表示读入股票s在交易日t第i个文本的第j个词后的状态向量
表示读入股票s在交易日t第i个文本的第j个词后的状态向量
表示股票s在交易日t第i个文本的第j个词的词向量
表示读入在交易日t第i个文本的第j-1个词后的状态向量
表示读入在交易日t第i个文本的第j个词后的状态向量
表示每个词的上下文向量
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示：
多头注意力融合层：输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量。首先本发明将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间:
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示
Wk表示第k个主题空间的投影矩阵
包含了中第k个主题的信息。然后本发明用表示经过变换后包含第k个主题的l个文本。由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，本发明利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示
保留了来自的所有文本第k个主题的信息。
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，本发明利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重
是序列编码层的LSTM的上一步状态向量，
W是权重矩阵。
本发明利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息。然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
表示股票s在交易日t经过主题融合后的文本特征向量表示
序列解码层：为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度
解码器：
解码器主要通过编码器提取的文本信息和股票价格信息预测股票未来的价格，主要包含三个神经网络模块:注意力读入层、序列解码层和注意力预测层。
注意力读入层。由于不同时间节点的文本信息对对不同节点的股价又不同的影响，因子本发明利用注意力机制根据不同的重要性从编码器得到的状态向量序列得到当前节点的文本特征的上下文向量：
其中
βt,t′表示编码器第t′步状态向量对解码器第t的重要性，由于解码器的状态向量变化，文本特征的上下文向量ct会动态调整不同编码状态的权重βt,t′。
表示编码器在t′步的状态向量
表示解码器在t-1步的状态向量
ct表示文本特征的上下文向量
序列解码层。这一层通过融合不同的文本特征的上下文向量以及输入的股票价格信息来捕捉时序特征。本发明将注意力读入层得到的文本上下文向量ct和对应的输入股票价格信息拼接起来输入LSTM网络中更新解码层的状态向量：
其中，
表示当前时刻解码器的状态向量
为第t步输入的股票价格信息，
为上一时刻解码器的状态向量。
注意力预测层。解码层在不同步骤都会得到一个不同的状态向量，由于解码序列长度的增加会导致最终的固定长度的向量无法充分地保留历史重要信息，本发明利用时序注意力机制去判别不同历史步骤的重要性，提取对最终股价预测重要的节点信息：
其中
γt为解码层第t步对最终预测的重要性。
表示解码器在第i步的状态向量
od为最终的融合文本和股票时序特征的向量。然后输入一层全连接神经网络得到下一个工作日的股票价格：
表示预测股票s在第T+1交易日的收盘价
wf表示权重向量
b表示模型偏差
模型训练：
本发明利用回归问题的目标函数作为股票价格预测系统的目标函数，相比较于分类问题的预测涨跌，回归问题预测离散的价格更加精确和有价值。因子本发明利用如下目标函数：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格
yc(x)表示样本x对应的真实股价
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格。
为了抑制模型过拟合，本发明采用了dropout和L2正则项技术。具体来说，在每层神经网络添加dropout，然后对模型参数添加L2正则项。最终的目标函数为:
其中W表示模型的所有参数，λ是一个控制正则项惩罚强度的超参。
||||表示求W的范数，即模长。
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，本发明利用Adam优化器做梯度下降训练模型。
股票价格预测结果生成：
在模型使用梯度下降的方式训练完成后，对每只股票利用它的历史价格和文本特征预测出下一个交易日的股票价格，然后利用反归一化得到真实的股票价格，就可以作为该股票的下一个交易日的价格预测结果。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种融合文本多主题信息的股票价格预测方法，其特征在于，包括：
数据预处理步骤：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练步骤：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测步骤：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
2.根据权利要求1所述的融合文本多主题信息的股票价格预测方法，其特征在于，所述模型训练步骤：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
3.根据权利要求2所述的融合文本多主题信息的股票价格预测方法，其特征在于，所述模型训练步骤：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
4.根据权利要求3所述的融合文本多主题信息的股票价格预测方法，其特征在于，所述模型训练步骤：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型。
5.根据权利要求4所述的融合文本多主题信息的股票价格预测方法，其特征在于，所述股票价格预测步骤：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据，T为预设的超参数。
6.一种融合文本多主题信息的股票价格预测系统，其特征在于，包括：
数据预处理模块：获取文本数据及股票数据，对获取的文本数据及股票数据进行预处理，获得预处理后数据；
模型训练模块：根据获得的预处理后数据，对股票价格预测模型进行训练，获得训练后的模型；
股票价格预测模块：根据获得的训练后的模型，输入历史文本数据和股票价格数据，训练后的模型输出下一个交易日的股票价格，然后进行反归一化得到股票的真实预测价格。
7.根据权利要求6所述的融合文本多主题信息的股票价格预测系统，其特征在于，所述模型训练模块：
所述对获取的文本数据及股票数据进行预处理包括：
对文本数据进行预处理：对文本数据去除停用词，将句子切割成不同的词语，并将切割后的词语用词向量表示预处理后的文本数据；
对股票数据进行预处理：先删除股票停牌数据以及缺失数据比较大的股票数据，然后根据不同股票的价格将其归一化，获得预处理后的股票价格数据；
最后根据时间和股票代码将文本数据和股票数据对齐，即将新闻文本数据和对应的股票按时间关联起来，获得文本和股票价格对应的序列数据，即预处理后数据；
所述文本数据包括：
和股票相关的金融新闻、twitter的推文；
所述股票数据包括：
股票的开高低收信息、换手率。
8.根据权利要求7所述的融合文本多主题信息的股票价格预测系统，其特征在于，所述模型训练模块：
所述股票价格预测模型包括：编码器、解码器；
所述编码器三个神经网络模块：词嵌入层、多头注意力融合层以及序列编码层；
所述词嵌入层：
输入股票s在交易日t的文本数据其中为第i个文本，词嵌入层先将每一个文本表示为一个词向量输出文本数据的向量表示由于每个文本由一系列词组成，首先利用预训练好的中文词向量作为每个词的初始向量，即交易日t股票s第i个文本的p个词的词向量为然后利用双向循环神经网络Bi-LSTM来捕捉每个词在顺序和逆序方向的潜在语义信息，具体流程如下：
其中，
和分别表示顺序和逆序的长短时记忆神经网络；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示读入股票s在交易日t第i个文本的第j个词后的状态向量；
表示股票s在交易日t第i个文本的第j个词的词向量；
表示读入在交易日t第i个文本的第j-1个词后的状态向量；
表示读入在交易日t第i个文本的第j个词后的状态向量；
表示每个词的上下文向量；
每个词经过双向训练神经网络之后的到的状态向量和取平均得到每个词的上下文向量然后本发明用所有出现在文本中的词向量的均值作为文本的表示，如下所示：
所述多头注意力融合层：
输入一系列文本向量本层利用多头注意力机制自动获取融合不同主题信息的文本向量，首先将词嵌入层得到的文本向量通过K个需要学习的映射矩阵映射到K个不同的语义空间：
其中
表示股票s交易日t的第i个文本在第k个主题空间的向量表示；
Wk表示第k个主题空间的投影矩阵；
表示包含了中第k个主题的信息；
然后本发明用表示经过变换后包含第k个主题的l个文本；
由于不同文本中存在重复的主题，为了保留每个主题最具代表性的特征，利用最大化池化操作提取提取每个主题信息：
其中
表示股票s在交易日t的所有文本在主题的k上的综合向量表示；
保留了来自的所有文本第k个主题的信息；
由于不同主题对对股票价格由不同的影响，切随着时间节点的不同而变化，利用注意力机制动态地计算不同主题的影响力：
其中
表示第k个主题向量的权重；
是序列编码层的LSTM的上一步状态向量；
W是权重矩阵；
利用计算不同主题的影响力值能有效地过滤掉和当前趋势不一致的不重要的和噪声信息，然后利用不同的主题的影响力值计算加权和得到每天的文本信息表示：
其中，
表示股票s在交易日t经过主题融合后的文本特征向量表示；
所述序列解码层：
为了保留融合了主题信息的文本特征的时序依赖性，本发明利用循环神经网络LSTM读入每天的文本信息向量输出解码层每一步的状态向量
其中，
表示解码层每一步的状态向量；
表示每天的文本信息量；
T表示解码器的步长，即输入的股票历史数据长度。
9.根据权利要求8所述的融合文本多主题信息的股票价格预测系统，其特征在于，所述模型训练模块：
所述对股票价格预测模型进行训练，获得训练后的模型：
利用回归问题的目标函数作为股票价格预测系统的目标函数，目标函数如下：
其中
L表示训练的目标函数；
表示输入样本x,模型预测的股票价格；
yc(x)表示样本x对应的真实股价；
S表示训练集，x表示训练集中的训练样本包含文本特征和股票价格；
为了抑制模型过拟合，采用了dropout和L2正则项技术，具体来说，在每层神经网络添加随机失活dropout，然后对模型参数添加L2正则项，最终的目标函数为：
其中，
W表示模型的所有参数；
λ表示一个控制正则项惩罚强度的超参；
||W||表示W的范数，即模长；
由于Adam优化器更适合不稳定的训练目标而且它能动态调整学习率以更快收敛，因此利用Adam优化器做梯度下降训练模型；
所述股票价格预测模块：
所述历史文本数据和股票价格数据指：过去T天的文本数据和对应股票的股票数据，T为预设的超参数。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的融合文本多主题信息的股票价格预测方法的步骤。
CN201910498066.0A 2019-06-06 2019-06-06 融合文本多主题信息的股票价格预测方法、系统及介质 Active CN110363568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498066.0A CN110363568B (zh) 2019-06-06 2019-06-06 融合文本多主题信息的股票价格预测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498066.0A CN110363568B (zh) 2019-06-06 2019-06-06 融合文本多主题信息的股票价格预测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110363568A true CN110363568A (zh) 2019-10-22
CN110363568B CN110363568B (zh) 2022-02-25

Family

ID=68216879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498066.0A Active CN110363568B (zh) 2019-06-06 2019-06-06 融合文本多主题信息的股票价格预测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110363568B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563551A (zh) * 2020-04-30 2020-08-21 支付宝(杭州)信息技术有限公司 一种多模态信息融合方法、装置及电子设备
CN111881292A (zh) * 2020-06-30 2020-11-03 腾讯科技（深圳）有限公司 一种文本分类方法及装置
CN113298179A (zh) * 2021-06-15 2021-08-24 南京大学 一种海关商品异常价格检测方法和装置
CN114417821A (zh) * 2022-03-29 2022-04-29 南昌华梦达航空科技发展有限公司 基于云平台的金融文本核查分析系统
CN116304695A (zh) * 2023-03-07 2023-06-23 珠海紫燕无人飞行器有限公司 一种基于卷积神经网络预测无人机震动故障的方法及系统
CN116894731A (zh) * 2023-07-11 2023-10-17 中北大学 基于改进detr模型的全自动量化交易方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022016A (zh) * 2017-12-08 2018-05-11 宏谷信息科技（珠海）有限公司 一种基于人工智能的股票价格预测方法及系统
CN108154435A (zh) * 2017-12-26 2018-06-12 浙江工业大学 一种基于循环神经网络的股指价格预测方法
CN108647828A (zh) * 2018-05-15 2018-10-12 中山大学 一种结合新闻语料和股市交易数据的股票预测方法
CN109472700A (zh) * 2018-11-20 2019-03-15 中山大学 股票价格的预测方法、服务器及存储介质
CN109543165A (zh) * 2018-11-21 2019-03-29 中国人民解放军战略支援部队信息工程大学 基于循环卷积注意力模型的文本生成方法及装置
CN109598387A (zh) * 2018-12-14 2019-04-09 华东师范大学 基于双向跨模态注意力网络模型的股价预测方法及系统
CN109635917A (zh) * 2018-10-17 2019-04-16 北京大学 一种多智能体合作决策及训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022016A (zh) * 2017-12-08 2018-05-11 宏谷信息科技（珠海）有限公司 一种基于人工智能的股票价格预测方法及系统
CN108154435A (zh) * 2017-12-26 2018-06-12 浙江工业大学 一种基于循环神经网络的股指价格预测方法
CN108647828A (zh) * 2018-05-15 2018-10-12 中山大学 一种结合新闻语料和股市交易数据的股票预测方法
CN109635917A (zh) * 2018-10-17 2019-04-16 北京大学 一种多智能体合作决策及训练方法
CN109472700A (zh) * 2018-11-20 2019-03-15 中山大学 股票价格的预测方法、服务器及存储介质
CN109543165A (zh) * 2018-11-21 2019-03-29 中国人民解放军战略支援部队信息工程大学 基于循环卷积注意力模型的文本生成方法及装置
CN109598387A (zh) * 2018-12-14 2019-04-09 华东师范大学 基于双向跨模态注意力网络模型的股价预测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUN ZHU ETAL.: ""Stock Price Prediction Using Attention-based Multi-Input"", 《PROCEEDINGS OF MACHINE LEARNING RESEARCH 》 *
ROBERT_AI: ""自然语言处理中的自注意力机制"", 《HTTPS://WWW.CNBLOGS.COM/ROBERT-DLUT/P/8638283.HTML》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563551A (zh) * 2020-04-30 2020-08-21 支付宝(杭州)信息技术有限公司 一种多模态信息融合方法、装置及电子设备
CN111881292A (zh) * 2020-06-30 2020-11-03 腾讯科技（深圳）有限公司 一种文本分类方法及装置
CN111881292B (zh) * 2020-06-30 2023-11-07 腾讯科技（深圳）有限公司 一种文本分类方法及装置
CN113298179A (zh) * 2021-06-15 2021-08-24 南京大学 一种海关商品异常价格检测方法和装置
CN114417821A (zh) * 2022-03-29 2022-04-29 南昌华梦达航空科技发展有限公司 基于云平台的金融文本核查分析系统
CN116304695A (zh) * 2023-03-07 2023-06-23 珠海紫燕无人飞行器有限公司 一种基于卷积神经网络预测无人机震动故障的方法及系统
CN116304695B (zh) * 2023-03-07 2024-04-09 珠海紫燕无人飞行器有限公司 一种基于卷积神经网络预测无人机震动故障的方法及系统
CN116894731A (zh) * 2023-07-11 2023-10-17 中北大学 基于改进detr模型的全自动量化交易方法及设备

Also Published As

Publication number Publication date
CN110363568B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN110363568A (zh) 融合文本多主题信息的股票价格预测方法、系统及介质
CN110287481B (zh) 命名实体语料标注训练系统
CN110633409B (zh) 一种融合规则与深度学习的汽车新闻事件抽取方法
AU2020103654A4 (en) Method for intelligent construction of place name annotated corpus based on interactive and iterative learning
CN109597891A (zh) 基于双向长短时记忆神经网络的文本情感分析方法
CN111488465A (zh) 一种知识图谱构建方法及相关装置
CN108897857A (zh) 面向领域的中文文本主题句生成方法
CN110287482B (zh) 半自动化分词语料标注训练装置
CN109598387A (zh) 基于双向跨模态注意力网络模型的股价预测方法及系统
CN110750635B (zh) 一种基于联合深度学习模型的法条推荐方法
CN109858041A (zh) 一种半监督学习结合自定义词典的命名实体识别方法
CN111274817A (zh) 一种基于自然语言处理技术的智能化软件成本度量方法
CN109582963A (zh) 一种基于极限学习机的档案自动分类方法
Pujadas-Mora et al. The Barcelona Historical Marriage Database and the Baix Llobregat Demographic Database. From algorithms for handwriting recognition to individual-level demographic and socioeconomic data
CN116227594A (zh) 面向多源数据的医疗行业高可信度知识图谱的构建方法
Jiang Research on factor space engineering and application of evidence factor mining in evidence-based reconstruction
Kong et al. XGB and SHAP credit scoring model based on Bayesian optimization
Yang RETRACTED ARTICLE: Financial Information Extraction Using the Improved Hidden Markov Model and Deep Learning
Vaca et al. Board of Directors' Profile: A Case for Deep Learning as a Valid Methodology to Finance Research
Kainan et al. Extraction method of judicial language entities based on regular expression
Wang et al. Fuzzy boost classifier of decision experts for multicriteria group decision-making
KR102555419B1 (ko) 특정 도메인의 감성사전을 활용한 주가 등락 예측 장치
Sun et al. Research on Relation Extraction Method Based on Multi-channel Convolution and BiLSTM Model
Qing et al. Cryptocurrency Trading Strategies and Profitability Based on Deep Learning Algorithms
Zhou et al. Stock prediction based on LightGBM with feature selection and improved grid search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant