CN117196842A - 基于因果关系图神经网络的股票特征分析系统及方法 - Google Patents
基于因果关系图神经网络的股票特征分析系统及方法 Download PDFInfo
- Publication number
- CN117196842A CN117196842A CN202311162409.9A CN202311162409A CN117196842A CN 117196842 A CN117196842 A CN 117196842A CN 202311162409 A CN202311162409 A CN 202311162409A CN 117196842 A CN117196842 A CN 117196842A
- Authority
- CN
- China
- Prior art keywords
- company
- stock
- data
- causal
- dre
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001364 causal effect Effects 0.000 title claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 230000003068 static effect Effects 0.000 claims abstract description 50
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 25
- KSMVNVHUTQZITP-UHFFFAOYSA-N 2,3,7,8-Tetrachlorodibenzofuran Chemical compound O1C2=CC(Cl)=C(Cl)C=C2C2=C1C=C(Cl)C(Cl)=C2 KSMVNVHUTQZITP-UHFFFAOYSA-N 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000003203 everyday effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000005266 casting Methods 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 1
- 206010027951 Mood swings Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供一种基于因果关系图神经网络的股票特征分析系统及方法,涉及人工智能技术领域,本系统分为特征提取层和预测层。首先获取股票的历史时序数据和关系数据并进行筛选和预处理工作;将数据输入到股票特征分析系统中,数据分别经过静态关系提取模块SRE和动态关系提取模块DRE,最后将SRE和DRE的输出结果SRE_embedding和DRE_embedding拼接到一起,最后送入预测层得到股票的最终预测结果。本发明考虑了股票数据中的隐性关系和随时间变化的动态关系。与现有的基于GNN的方法做对比,在股票趋势预测中,精度比其他模型的精度更高。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于因果关系图神经网络的股票特征分析系统及方法。
背景技术
随着计算机和人工智能的高速发展,带来了金融资产交易方式的革命,如今交易过程的每一个步骤都不断趋近于自动化。最近十年来,量化交易成为了金融市场的热点与焦点。量化交易主要运用数学公式来构建模型,经过大量数据来判断将来价格走势,并且由程序进行择机选股的一种方式。量化交易能够极大地减少投资者情绪波动的影响,避免在市场极度狂热或悲观的情况下作出非理性的投资决策。股票分析作为量化交易中的重要步骤,一直都受到广泛的关注与研究。股票分析用于分析股票价值和股价走势。
股票走势预测是受到投资者和金融机构关注的一项重要服务。当前,关于股票价格走势的预测问题的研究已经层出不穷,但面对变化无常的股票市场环境和复杂的股票数据,股票预测的准确率依然有很大的提升空间。现有几种主流方法可用于对股票走势进行预测,如统计学、传统机器学习和深度学习。传统的预测方法通常不考虑任何外部因素,其中深度学习对比其他两种方法有着很大的优势,比如高准确度和高捕获特征能力。深度学习是机器学习技术的一种,其灵感来源于人脑过滤信息的方式,初衷是通过模拟人脑运行模式来做些不一样的事情。深度学习(Deep Learning)技术是基于机器学习发展的,是多层次的、复杂的神经网络模型。其核心是模拟人脑的机制,通过事先对数据的特征学习、低层次特征向高层次特征的转换,进而实现“学习”的能力。神经网络的最基本单元是单神经元结构,也是深度学习最基本的组成单元。简单来说,深度学习就是样本研究。在深度学习中,计算机模型直接从图像、文本或声音中学习执行分类任务。深度学习模型可以达到最先进的精确度,有时甚至超出人类的表现。目前,深度学习技术在各界己有较多发展成果,已经被广泛用于语音识别、图像识别等领域。世界上最流行的深度学习框架有Tensorflow、MXNet、Torch、Pytorch等。
传统的循环神经网络,例如LSTM等,在股票预测上有一定的局限性,因为其只考虑股票历史时序数据,而面对复杂的股票市场,只考虑时序性会有些欠妥。图神经网络(GNN)作为一项新兴的图数据学习技术,受到越来越广泛的关注。类似于一般的神经网络(DNN),图神经网络会对输入的数据进行改变得到输出数据,不同的是GNN的输入是一个图,输出也是一个图。另外,图神经网络作为一种机器学习算法,可以从图中提取重要信息并进行有用的预测。图形神经网络可以像任何其他神经网络一样创建,使用完全连接层、卷积层、池化层等。层的类型和数量取决于图形数据的类型和复杂性以及所需的输出。图形神经网络接收格式化的图形数据作为输入,并生成一个数值向量,表示有关节点及其关系的相关信息。这种向量表示称为“图形嵌入”。图形嵌入通常用于机器学习中,将复杂的信息转换为可以区分和学习的结构。例如,自然语言处理系统使用单词嵌入来创建单词及其关系的数字表示。从图形中收集数据并将它们与从前一层获得的值聚合。最后,图形神经网络的输出层产生嵌入,它是节点数据及其对图中其他节点的知识的向量表示。这个过程与卷积神经网络如何从像素数据中提取特征非常相似。因此,图卷积神经网络(GCN)是一种非常流行的GNN架构,它使用卷积层来创建图形嵌入。除了GCN之外,还有几种流行的GNN架构,比如图注意力网络(GAN)、图生成网络(GGN)和图时空网络(Graph Spatial-temporal Networks)。
图神经网络可以用于解决金融领域中的股票预测问题,因为股票市场可以用图表示。但现有的基于GNN的股票预测方法中,存在两个问题:首先,构造邻接矩阵的方法大部分是基于显性信息(如:行业关系),然而股票之间也存在一些人们难以观测到的隐性信息。其次,目前研究中的动态关系特征的提取存在局限性,没有对一段随着时间变化的多时刻关系进行特征提取的模型。这两个问题可能会导致训练出的模型预测股票的准确度不高。
发明内容
针对现有技术的不足,本发明提供一种基于因果关系图神经网络的股票特征分析系统及方法,本发明首先将技术指标、动态和静态关系数据输入到动态关系提取模块DRE和静态关系提取模块SRE中;经过DRE和SRE模块的处理后,会分别得到一个动态embedding和一个静态embedding;最后将提取出的两个embedding进行拼接,并输入到预测层进行股票涨跌趋势的预测。
一方面,一种基于因果关系图神经网络的股票特征分析系统,包括特征提取层和预测层;
所述特征提取层分为动态关系提取模块DRE和静态关系提取模块SRE;其中静态关系提取模块SRE包含一个基于注意力的GRU网络和一个基于图卷积神经网络GCN,静态关系提取模块SRE通过分析输入的n家公司的股票价格指标数据以及这n家公司的静态关系,提取到静态特征;动态关系提取模块包含一个GCN模型和一个LSTM模型,DRE结合动态因果关系以及n家公司的股票价格指标数据提取到动态特征;
所述预测层包括一个全连接层和一个Softmax激活函数,通过DRE和SRE提取出的动态特征和静态特征预测出股票涨跌趋势。
另一方面,一种基于因果关系图神经网络的股票特征分析方法,基于前述基于因果关系图神经网络的股票特征分析系统实现,包括以下步骤:
步骤1:获取股票的历史时序数据和关系数据,其中历史时序数据和关系数据均来自开源财经数据库Tushare;
步骤2:对步骤1获取的历史时序数据和关系数据进行筛选和预处理工作;
对于历史时序数据,其特征维度包括每只股票在每个交易日的5个历史特征:开盘价格、收盘价、最高价格、最低价格和交易量,设定筛选条件对步骤1获取的历史时序数据进行筛选,对筛选后的历史时序数据的每个特征维度进行归一化处理;
其中,open、close、high、low、volume分别表示开盘价、收盘价、最高价、最低价和交易量,t表示交易日,i表示公司,为公司i在第个交易日的收盘价,min(closei)表示公司i最低收盘价;max(closei)表示公司i最高收盘价;
对于关系数据包括:行业关系和持股关系,数据均取自于Tushare。首先对行业关系进行数学建模,构建行业关系矩阵A,A是一个对称无向图,如果公司i和公司j属于同一行业,那么
Ai,j=Aj,i=1
否则
Ai,j=Aj,i=0
其中Ai,j和Aj,i表示无向图中公司i和公司j连线的权值;
同理,我们对公司之间的股权关系进行建模,构建股权关系矩阵,构建方法为,如果公司i与公司j存在持股的关系,那么持股关系邻接矩阵
Ai,j=Aj,i=1
如果公司i与公司j不在持股关系,那么持股关系矩阵
Ai,j=Aj,i=0
其中Ai,j和Aj,i的意义同上,表示公司i和公司j连线的权值;
步骤3:将步骤2获得的数据输入到股票特征分析系统中,数据分别经过静态关系提取模块SRE和动态关系提取模块DRE,通过静态关系提取模块SRE提取静态特征,通过动态关系提取模块DRE提取动态特征。经过两个模块的处理后,得到的输出被输入到预测层进行预测;
其中通过静态关系提取模块SRE提取静态特征具体为:
步骤S1:将各公司的历史时序数据C∈Rn×T×d输入GRU网络,以获取潜在的时间特征:
Si∈GRU(Ci)
得到Si∈RT×f,其中,Ci∈RT×d代表第i家公司的时序价格指标,n表示公司个数,T表示时间步长,d表示技术指标特征维度,f为新提取到的特征维度;
步骤S2:为了区分历史特征从t-T+1到t的不同时刻的贡献度,得到的时间特征中关注到股票数据每天的重要程度,引入了时间注意力方法,计算每一个时刻的注意力,自适应为Si重新分配权重,具体公式如下:
ai=tanh(WSi+b)
其中W∈RT×f为权重,a∈RT×f和为注意力,ai表示第i家公司的注意力,at表示在第t个交易日时所有公司的注意力,b为神经网络中的偏置bias,St,k为在t时刻的k个时间特征,Hi∈Rf表示为公司i的股票每个时刻分配权重后的特征;
步骤S3:对于步骤S2中新提取到的特征H,对每个相关联的股票对进行线性变换,即使用一层神经网络,分别得到潜在表示Ki和Kj:
Ki=Wb·Hi
Kj=Wb·Hj
其中,Ki与Kj分别为Hi和Hj的潜在表示,且Ki∈Rf,Kj∈Rf,Wb表示神经网络的权重;
步骤S4:将Ki和Kj拼接成一个新向量,将其输入到另一个神经网络GCN中,其中u为网络的可学习参数,在与u和非线性变换进行点积之后,连接的向量被转换为一个标量,此标量被输入到Softmax函数中进行归一化;归一化注意力系数描述了公司j对公司i的关联强度;计算公司关联强度系数公式如下:
Wc为GCN网络的权重,leakyrelu()是进行非线性变换操作的函数,u为网络参数;
步骤S5:有了公司i每个关联公司的关联强度系数Ai,j,通过相邻股票hi的所有潜在表示的加权,获得更全面的特征,最终的结果为静态特征,公式如下:
其中,SRE_embedding为静态特征,SRE_embedding∈Rn×f2,f2为输出特征个数,σ为激活函数,Wd为权重;
通过动态关系提取模块DRE提取动态特征具体为:
步骤D1:利用TCDF方法来提取公司之间的动态因果关系,TCDF方法步骤如下:
步骤D1.1:构建TCDF模型,TCDF由n个独立的基于注意力机制的深度可分离卷积神经网络Ni组成,它们用来预测股价序列,它们都具有相同的网络架构但是每个网络的预测任务各不相同,每一个网络的任务是预测出相应公司的股票时间序列,例如:第i个网络Ni的任务是预测公司i股票的目标时间序列Ci。训练这个预测模型的目的是为了在后面因果关系验证阶段中找到真实的因果关系;
步骤D1.2:将历史时序数据C输入到TCDF模型中,时序数据C表示n家公司在时间跨度为T的股票价格构成的时间序列,C={c1,c2,...,cn}∈Rn×T,其中表示公司j在T个交易日的价格。
输入的数据经过一个深度可分离卷积模块ADSCNN,该模块包括n个卷积神经网络Ni,每个卷积神经网络Ni包含两层深度卷积网络和一层逐点卷积网络,每个网络Ni处理一个通道的时序数据,通过最小化公司股票价格构成的时间序列Ci与预测值之间的损失L来训练网络并预测其目标时间序列Ci,并将所有公司的注意力分数更新到每个公司,预测值/>由以下公式得到:
当预测在t时刻预测公司i的股价序列的值时,一维卷积核会计算卷积核中的参数权重W与当前输入数据和其过去k-1个时间步构成的时间序列之间的点积,公式如下所示:
W为卷积权重,k为卷积核大小;
另外,A为可训练的注意力得分向量,A=(a0,a1,...,ai),其中ai=(ai1,ai2,...,ain),它表示其他公司引起公司i股价变化的注意力分数,分数越高,则说明具有因果关系的可能性越大,每个网络Ni都有一个对应的注意力向量;
步骤D1.3:利用HardSoftmax函数计算出潜在因果关系系数h,HardSoftmax公式如下:
其中τ为在训练完卷积网络Ni后,确定的阈值,HardSoftmax函数将所有低于阈值τ的注意力分数截断为零,高于阈值τ的注意力分数再使用Softmax函数计算;
步骤D1.4:挖掘因果关系。如果步骤D1.3中得到的hi,j>0,则公司的股票价格变化序列Cj被认为是公司的股票价格变化序列Ci的潜在原因,即网络Ni会认定公司i与公司j可能存在潜在的因果关系,至于二者是否存在真正的因果关系需要进一步进行验证;
步骤D1.5:验证因果关系。在通过HardSoftmax分数hi以找到潜在因果关系后,TCDF会验证潜在因果关系是否真实,验证步骤如下:
步骤D1.5.1:利用前面步骤中训练过的卷积神经网络Ni,以对原始输入数据C进行建模,并得到了其真实损失LG;
步骤D1.5.2:将预测出的数据作为干扰数据集,经过训练的网络Ni在这个干扰数据集上运行,得到干扰损失LI。
步骤D1.5.3:如果存在一组对比结果为:干扰损失LI高于真实损失LG,则该时间序列被认为是目标时间序列的真正原因,即j公司对i公司的股价波动存在因果关系。
步骤D2:将过去T天的历史时序数据X∈RT×n×d和步骤D1中提取出的动态因果关系C∈RT×n×n输入到动态关系提取模块DRE中;
步骤D3:数据输入到动态关系提取模块DRE后,首先经过DRE中的GCN模型,GCN模型将提取所有公司在每个时间步长上的关系特征,得到具有因果关系的时序特征:
Hi=GCN(CGi,C)
其中H∈RT×n×f,为公司在过去T天中公司每天具有因果关系的时序特征,n是公司数量,f是潜在的特征个数,CGi表示第i天的因果关系矩阵,以及对应时刻的股票特征,C为公司价格指标数据;
步骤D4:把得到的时序特征H送入LSTM模型中提取时序信息,得到动态特征:
DRE_embedding=LSTM(H)
其中DRE_embedding为动态关系特征,DRE_embedding∈Rn×f2,f2为输出特征个数;
步骤4:将静态关系提取模块SRE和动态关系提取模块DRE的输出结果SRE_embedding和DRE_embedding的维度d1和d2按顺序连接,形成一个维度为d1+d2的新特征向量d,作为新的特征向量,d表示为:
embedding=[SRE_embedding||DRE_embedding]
步骤5:将新的特征向量d输入到预测层中进行预测,完成了整个从股票数据获取再到结果分析过程。
其中Softmax()为Softmax函数,fc()表示全连接网络,由于股票的趋势预测是基于二分类的问题,所以输出为一个长度为2的向量,代表公司股票趋势。
采用上述技术方案所产生的有益效果在于:
本发明提供一种基于因果关系图神经网络的股票特征分析系统及方法,本发明考虑了股票数据中的隐性关系和随时间变化的动态关系。为了获取隐性因果关系,本发明构造了一个随时间变化的隐性因果关系图,这个因果关系图对更多样的潜在因果关系进行了建模。同时,提出了一个新的基于GNN的方法,该方法包含一个动态关系提取模块,和静态关系提取模块。前者可以动态提取出随时间变化的关系特征,后者可以提取到公司之间静态关系,并且通过训练模型可以学习到公司之间的关系强度。通过对比实验,我们与现有的基于GNN的方法做对比,在股票趋势预测中,我们的精度比其他模型的精度高。
附图说明
图1为本发明实施例中股票特征分析系统总体结构图;
图2为本发明实施例中静态关系提取模块SRE结构图;
图3为本发明实施例中动态关系提取模块DRE结构图;
图4为本发明的TCDF方法结构;
图5为本发明的TCDF方法中深度可分离卷积模块结构。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一方面,一种基于因果关系图神经网络的股票特征分析系统,如图1所示,包括特征提取层和预测层;
所述特征提取层分为动态关系提取模块DRE和静态关系提取模块SRE;其中静态关系提取模块SRE包含一个基于注意力的GRU网络和一个基于图卷积神经网络GCN,静态关系提取模块SRE通过分析输入的n家公司的股票价格指标数据以及这n家公司的静态关系,提取到静态特征;动态关系提取模块包含一个GCN模型和一个LSTM模型,DRE结合动态因果关系以及n家公司的股票价格指标数据提取到动态特征;
所述预测层包括一个全连接层和一个Softmax激活函数,通过DRE和SRE提取出的动态特征和静态特征预测出股票涨跌趋势。
本实施例中,首先,n家公司时间跨度为T的回报率数据被送入TCDF中提取基于股票价格时间序列的因果关系。由于因果关系是基于当前时刻以及过去T-1个时刻的时序数据提取的,因此,因果关系具有动态性。所以动态因果关系以及股票价格技术指标同时被送入动态特征提取器(DRE)提取到动态特征。同时,同样的n家公司在T个时间步长的股票价格指标数据(包括当天公司的价格指标数据和过去T-1个时刻的价格指标数据)以及这n家公司构成的静态关系被送入静态关系提取器(SRE)提取到静态特征。最后,把特征提取层提取到的静态特征以及动态特征进行融合,在预测层中判断出下一天公司股票价格的涨跌趋势。
另一方面,一种基于因果关系图神经网络的股票特征分析方法,基于前述基于因果关系图神经网络的股票特征分析系统实现,包括以下步骤:
步骤1:获取股票的历史时序数据和关系数据,这些数据用来进行模型训练,其中历史时序数据和关系数据均来自开源财经数据库Tushare(https://tushare.pro/document/2);
步骤2:对步骤1获取的历史时序数据和关系数据进行筛选和预处理工作;
对于历史时序数据,其特征维度包括每只股票在每个交易日的5个历史特征:开盘价格、收盘价、最高价格、最低价格和交易量,设定筛选条件对步骤1获取的历史时序数据进行筛选,本实施例中从Tushare的4000多只中国股票中筛选出600家符合筛选条件的股票,筛选条件为:该股票在2019年1月1日至2022年4月1日期间没有停盘;三年内股票的价格都大于10元。对筛选后的历史时序数据的每个特征维度进行归一化处理;处理过程为:
其中,open、close、high、low、volume分别表示开盘价、收盘价、最高价、最低价和交易量,t表示交易日,i表示公司,为公司i在第个交易日的收盘价,min(closei)表示公司i最低收盘价;max(closei)表示公司i最高收盘价;
对于关系数据包括:行业关系和持股关系,数据均取自于Tushare。首先对行业关系进行数学建模,构建行业关系矩阵A,A是一个对称无向图,如果公司i和公司j属于同一行业,那么
Ai,j=Aj,i=1
否则
Ai,j=Aj,i=0
其中Ai,j和Aj,i表示无向图中公司i和公司j连线的权值;
同理,我们对公司之间的股权关系进行建模,构建股权关系矩阵,构建方法为,如果公司i与公司j存在持股的关系,那么持股关系邻接矩阵
Ai,j=Aj,i=1
如果公司i与公司j不在持股关系,那么持股关系矩阵
Ai,j=Aj,i=0
其中Ai,j和Aj,i的意义同上,表示公司i和公司j连线的权值;
步骤3:将步骤2获得的数据输入到股票特征分析系统中,数据分别经过静态关系提取模块SRE和动态关系提取模块DRE,通过静态关系提取模块SRE提取静态特征,通过动态关系提取模块DRE提取动态特征。经过两个模块的处理后,得到的输出被输入到预测层进行预测;静态关系提取模块SRE结构图如图2所示,动态关系提取模块DRE结构图如图3所示;
其中通过静态关系提取模块SRE提取静态特征具体为:
步骤S1:将各公司的历史时序数据C∈Rn×T×d输入GRU网络,以获取潜在的时间特征:
Si∈GRU(Ci)
得到Si∈RT×f,其中,Ci∈RT×d代表第i家公司的时序价格指标,n表示公司个数,T表示时间步长,d表示技术指标特征维度,f为新提取到的特征维度;
步骤S2:为了区分历史特征从tT+1到t的不同时刻的贡献度,得到的时间特征中关注到股票数据每天的重要程度,引入了时间注意力方法,计算每一个时刻的注意力,自适应为Si重新分配权重,具体公式如下:
ai=tanh(WSi+b)
其中W∈RT×f为权重,a∈RT×f和为注意力,ai表示第i家公司的注意力,at表示在第t个交易日时所有公司的注意力,b为神经网络中的偏置bias,St,k为在t时刻的k个时间特征,Hi∈Rf表示为公司i的股票每个时刻分配权重后的特征;
步骤S3:对于步骤S2中新提取到的特征H,对每个相关联的股票对进行线性变换,即使用一层神经网络,分别得到潜在表示Ki和Kj:
Ki=Wb·Hi
Kj=Wb·Hj
其中,Ki与Kj分别为Hi和Hj的潜在表示,且Ki∈Rf,Kj∈Rf,Wb表示神经网络的权重;
步骤S4:将Ki和Kj拼接成一个新向量,将其输入到另一个神经网络GCN中,其中u为网络的可学习参数,在与u和非线性变换进行点积之后,连接的向量被转换为一个标量,此标量被输入到Softmax函数中进行归一化;归一化注意力系数描述了公司j对公司i的关联强度;计算公司关联强度系数公式如下:
Wc为GCN网络的权重,leakyrelu()是进行非线性变换操作的函数,u为网络参数;
步骤S5:有了公司i每个关联公司的关联强度系数Ai,j,通过相邻股票hi的所有潜在表示的加权,获得更全面的特征,最终的结果为静态特征,公式如下:
其中,SRE_embedding为静态特征,SRE_embedding∈Rn×f2,f2为输出特征个数,σ为激活函数,Wd为权重;
通过动态关系提取模块DRE提取动态特征具体为:
步骤D1:利用TCDF方法来提取公司之间的动态因果关系,TCDF方法步骤如下:
步骤D1.1:构建TCDF模型,TCDF模型如图4所示,TCDF主要由n个独立的基于注意力机制的深度可分离卷积神经网络Ni组成,它们用来预测股价序列,它们都具有相同的网络架构但是每个网络的预测任务各不相同,每一个网络的任务是预测出相应公司的股票时间序列,例如:第i个网络Ni的任务是预测公司i股票的目标时间序列Ci。训练这个预测模型的目的是为了在后面因果关系验证阶段中找到真实的因果关系;
步骤D1.2:将历史时序数据C输入到TCDF模型中,时序数据C表示n家公司在时间跨度为T的股票价格构成的时间序列,C={c1,c2,...,cn}∈Rn×T,其中表示公司j在T个交易日的价格。
输入的数据经过一个深度可分离卷积模块ADSCNN(如图5所示),该模块包括n个卷积神经网络Ni,每个卷积神经网络Ni包含两层深度卷积网络和一层逐点卷积网络,每个网络Ni处理一个通道的时序数据,通过最小化公司股票价格构成的时间序列Ci与预测值之间的损失L来训练网络并预测其目标时间序列Ci,并将所有公司的注意力分数更新到每个公司,预测值/>由以下公式得到:
当预测在t时刻预测公司i的股价序列的值时,一维卷积核会计算卷积核中的参数权重W与当前输入数据和其过去k-1个时间步构成的时间序列之间的点积,公式如下所示:
W为卷积权重,k为卷积核大小;
另外,A为可训练的注意力得分向量,A=(a0,a1,...,ai),其中ai=(ai1,ai2,...,ain),它表示其他公司引起公司i股价变化的注意力分数,分数越高,则说明具有因果关系的可能性越大,每个网络Ni都有一个对应的注意力向量;
步骤D1.3:利用HardSoftmax函数计算出潜在因果关系系数h,HardSoftmax公式如下:
其中τ为在训练完卷积网络Ni后,确定的阈值,HardSoftmax函数将所有低于阈值τ的注意力分数截断为零,高于阈值τ的注意力分数再使用Softmax函数计算;
步骤D1.4:挖掘因果关系。如果步骤D1.3中得到的hi,j>0,则公司的股票价格变化序列Cj被认为是公司的股票价格变化序列Ci的潜在原因,即网络Ni会认定公司i与公司j可能存在潜在的因果关系,至于二者是否存在真正的因果关系需要进一步进行验证;
步骤D1.5:验证因果关系。在通过HardSoftmax分数hi以找到潜在因果关系后,TCDF会验证潜在因果关系是否真实,验证步骤如下:
步骤D1.5.1:利用前面步骤中训练过的卷积神经网络Ni,以对原始输入数据C进行建模,并得到了其真实损失LG;
步骤D1.5.2:将预测出的数据作为干扰数据集,经过训练的网络Ni在这个干扰数据集上运行,得到干扰损失LI。
步骤D1.5.3:如果存在一组对比结果为:干扰损失LI高于真实损失LG,则该时间序列被认为是目标时间序列的真正原因,即j公司对i公司的股价波动存在因果关系。
步骤D2:将过去T天的历史时序数据X∈RT×n×d和步骤D1中提取出的动态因果关系C∈RT×n×n输入到动态关系提取模块DRE中;
步骤D3:数据输入到动态关系提取模块DRE后,首先经过DRE中的GCN模型,GCN模型将提取所有公司在每个时间步长上的关系特征,得到具有因果关系的时序特征:
Hi=GCN(CGi,C)
其中H∈RT×n×f,为公司在过去T天中公司每天具有因果关系的时序特征,n是公司数量,f是潜在的特征个数,CGi表示第i天的因果关系矩阵,以及对应时刻的股票特征,C为公司价格指标数据;
步骤D4:把得到的时序特征H送入LSTM模型中提取时序信息,得到动态特征:
DRE_embedding=LSTM(H)
其中DRE_embedding为动态关系特征,DRE_embedding∈Rn×f2,f2为输出特征个数;
步骤4:将静态关系提取模块SRE和动态关系提取模块DRE的输出结果SRE_embedding和DRE_embedding的维度d1和d2按顺序连接,形成一个维度为d1+d2的新特征向量d,作为新的特征向量,d表示为:
embedding=[SRE_embedding||DRE_embedding]
步骤5:将新的特征向量d输入到预测层中进行预测,完成了整个从股票数据获取再到结果分析过程。
其中Softmax()为Softmax函数,fc()表示全连接网络,由于股票的趋势预测是基于二分类的问题,所以输出为一个长度为2的向量,代表公司股票趋势。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种基于因果关系图神经网络的股票特征分析系统,其特征在于,包括特征提取层和预测层;
所述特征提取层分为动态关系提取模块DRE和静态关系提取模块SRE;所述预测层包括一个全连接层和一个Softmax激活函数,通过动态关系提取模块DRE和静态关系提取模块SRE提取出的动态特征和静态特征预测出股票涨跌趋势。
2.根据权利要求1所述的一种基于因果关系图神经网络的股票特征分析系统,其特征在于,所述静态关系提取模块SRE包含一个基于注意力的GRU网络和一个基于图卷积神经网络GCN,静态关系提取模块SRE通过分析输入的n家公司的股票价格指标数据以及这n家公司的静态关系,提取到静态特征;动态关系提取模块包含一个GCN模型和一个LSTM模型,DRE结合动态因果关系以及n家公司的股票价格指标数据提取到动态特征。
3.一种基于因果关系图神经网络的股票特征分析方法,基于权利要求1所述基于因果关系图神经网络的股票特征分析系统实现,其特征在于,包括以下步骤:
步骤1:获取股票的历史时序数据和关系数据,其中历史时序数据和关系数据均来自开源财经数据库Tushare;
步骤2:对步骤1获取的历史时序数据和关系数据进行筛选和预处理工作;
步骤3:将步骤2获得的数据输入到股票特征分析系统中,数据分别经过静态关系提取模块SRE和动态关系提取模块DRE,通过静态关系提取模块SRE提取静态特征,通过动态关系提取模块DRE提取动态特征;
步骤4:将静态关系提取模块SRE和动态关系提取模块DRE的输出结果的维度d1和d2按顺序连接,形成一个维度为d1+d2的新特征向量d,作为新的特征向量;
步骤5:将新特征向量d输入到预测层中进行预测,完成了整个从股票数据获取再到结果分析过程。
4.根据权利要求3所述的一种基于因果关系图神经网络的股票特征分析方法,其特征在于,所述步骤2具体为:
对于历史时序数据,其特征维度包括每只股票在每个交易日的5个历史特征:开盘价格、收盘价、最高价格、最低价格和交易量,设定筛选条件对步骤1获取的历史时序数据进行筛选,对筛选后的历史时序数据的每个特征维度进行归一化处理;
其中,open、close、high、low、volume分别表示开盘价、收盘价、最高价、最低价和交易量,t表示交易日,i表示公司,为公司i在第个交易日的收盘价,min(closei)表示公司i最低收盘价;max(closei)表示公司i最高收盘价;
对于关系数据包括:行业关系和持股关系,数据均取自于Tushare;首先对行业关系进行数学建模,构建行业关系矩阵A,A是一个对称无向图,如果公司i和公司j属于同一行业,那么
Ai,j=Aj,i=1
否则
Ai,j=Aj,i=0
其中Ai,j和Aj,i表示无向图中公司i和公司j连线的权值;
同理,我们对公司之间的股权关系进行建模,构建股权关系矩阵,构建方法为,如果公司i与公司j存在持股的关系,那么持股关系邻接矩阵
Ai,j=Aj,i=1
如果公司i与公司j不在持股关系,那么持股关系矩阵
Ai,j=Aj,i=0
其中Ai,j和Aj,i的意义同上,表示公司i和公司j连线的权值。
5.根据权利要求3所述的一种基于因果关系图神经网络的股票特征分析方法,其特征在于,所述步骤3中:
通过静态关系提取模块SRE提取静态特征具体为:
步骤S1:将各公司的历史时序数据C∈Rn×T×d输入GRU网络,以获取潜在的时间特征:
Si∈GRU(Ci)
得到Si∈RT×f,其中,Ci∈RT×d代表第i家公司的时序价格指标,n表示公司个数,T表示时间步长,d表示技术指标特征维度,f为新提取到的特征维度;
步骤S2:为了区分历史特征从t-T+1到t的不同时刻的贡献度,得到的时间特征中关注到股票数据每天的重要程度,引入了时间注意力方法,计算每一个时刻的注意力,自适应为Si重新分配权重,具体公式如下:
ai=tan h(WSi+b)
其中W∈RT×f为权重,a∈RT×f和为注意力,ai表示第i家公司的注意力,at表示在第t个交易日时所有公司的注意力,b为神经网络中的偏置bias,St,k为在t时刻的k个时间特征,Hi∈Rf表示为公司i的股票每个时刻分配权重后的特征;
步骤S3:对于步骤S2中新提取到的特征H,对每个相关联的股票对进行线性变换,即使用一层神经网络,分别得到潜在表示Ki和Kj:
Ki=Wb·Hi
Kj=Wb·Hj
其中,Ki与Kj分别为Hi和Hj的潜在表示,且Ki∈Rf,Kj∈Rf,Wb表示神经网络的权重;
步骤S4:将Ki和Kj拼接成一个新向量,将其输入到另一个神经网络GCN中,其中u为网络的可学习参数,在与u和非线性变换进行点积之后,连接的向量被转换为一个标量,此标量被输入到Softmax函数中进行归一化;归一化注意力系数描述了公司j对公司i的关联强度;计算公司关联强度系数公式如下:
Wc为GCN网络的权重,leakyrelu()是进行非线性变换操作的函数,u为网络参数;
步骤S5:有了公司i每个关联公司的关联强度系数Ai,j,通过相邻股票hi的所有潜在表示的加权,获得更全面的特征,最终的结果为静态特征,公式如下:
其中,SRE_embedding为静态特征,SRE_embeeding∈Rn×f2,f2为输出特征个数,σ为激活函数,Wd为权重。
6.根据权利要求3所述的一种基于因果关系图神经网络的股票特征分析方法,其特征在于,所述步骤3中:
通过动态关系提取模块DRE提取动态特征具体为:
步骤D1:利用TCDF方法来提取公司之间的动态因果关系,TCDF方法步骤如下:
步骤D1.1:构建TCDF模型,TCDF由n个独立的基于注意力机制的深度可分离卷积神经网络Ni组成,它们用来预测股价序列,它们都具有相同的网络架构但是每个网络的预测任务各不相同,每一个网络的任务是预测出相应公司的股票时间序列,例如:第i个网络Ni的任务是预测公司i股票的目标时间序列Ci;训练这个预测模型的目的是为了在后面因果关系验证阶段中找到真实的因果关系;
步骤D1.2:将历史时序数据C输入到TCDF模型中,时序数据C表示n家公司在时间跨度为T的股票价格构成的时间序列,C={c1,c2,...,cn}∈Rn×T,其中表示公司j在T个交易日的价格;
输入的数据经过一个深度可分离卷积模块ADSCNN,该模块包括n个卷积神经网络Ni,每个卷积神经网络Ni包含两层深度卷积网络和一层逐点卷积网络,每个网络Ni处理一个通道的时序数据,通过最小化公司股票价格构成的时间序列Ci与预测值之间的损失L来训练网络并预测其目标时间序列Ci,并将所有公司的注意力分数更新到每个公司,预测值/>由以下公式得到:
当预测在t时刻预测公司i的股价序列的值时,一维卷积核会计算卷积核中的参数权重W与当前输入数据和其过去k-1个时间步构成的时间序列之间的点积,公式如下所示:
W为卷积权重,k为卷积核大小;
另外,A为可训练的注意力得分向量,A=(a0,a1,...,ai),其中ai=(ai1,ai2,...,ain),它表示其他公司引起公司i股价变化的注意力分数,分数越高,则说明具有因果关系的可能性越大,每个网络Ni都有一个对应的注意力向量;
步骤D1.3:利用HardSoftmax函数计算出潜在因果关系系数h,HardSoftmax公式如下:
其中τ为在训练完卷积网络Ni后,确定的阈值,HardSoftmax函数将所有低于阈值τ的注意力分数截断为零,高于阈值τ的注意力分数再使用Softmax函数计算;
步骤D1.4:挖掘因果关系;如果步骤D1.3中得到的hi,j>0,则公司的股票价格变化序列Gj被认为是公司的股票价格变化序列Ci的潜在原因,即网络Ni会认定公司i与公司j可能存在潜在的因果关系,至于二者是否存在真正的因果关系需要进一步进行验证;
步骤D1.5:验证因果关系;在通过HardSoftmax分数hi以找到潜在因果关系后,TCDF会验证潜在因果关系是否真实,验证步骤如下:
步骤D1.5.1:利用前面步骤中训练过的卷积神经网络Ni,以对原始输入数据C进行建模,并得到了其真实损失LG;
步骤D1.5.2:将预测出的数据作为干扰数据集,经过训练的网络Ni在这个干扰数据集上运行,得到干扰损失LI;
步骤D1.5.3:如果存在一组对比结果为:干扰损失LI高于真实损失LG,则该时间序列被认为是目标时间序列的真正原因,即j公司对i公司的股价波动存在因果关系;
步骤D2:将过去T天的历史时序数据和步骤D1中提取出的动态因果关系输入到动态关系提取模块DRE中;
步骤D3:数据输入到动态关系提取模块DRE后,首先经过DRE中的GCN模型,GCN模型将提取所有公司在每个时间步长上的关系特征,得到具有因果关系的时序特征:
Hi=GCN(CGi,C)
其中为公司在过去T天中公司每天具有因果关系的时序特征,n是公司数量,f是潜在的特征个数,CGi表示第i天的因果关系矩阵,以及对应时刻的股票特征,C为公司价格指标数据;
步骤D4:把得到的时序特征H送入LSTM模型中提取时序信息,得到动态特征:
DRE_embedding=LSTM(H)
其中DRE_embedding为动态关系特征,DRE_embedding∈Rn×f2,f2为输出特征个数。
7.根据权利要求3所述的一种基于因果关系图神经网络的股票特征分析方法,其特征在于,步骤4中所述新特征向量d表示为:
embedding=[SRE_embedding||DRE_embedding]
其中SRE_embedding和DRE_embedding分别为静态关系提取模块SRE和动态关系提取模块DRE的输出结果。
8.根据权利要求3所述的一种基于因果关系图神经网络的股票特征分析方法,其特征在于,所述步骤5预测具体为:
其中Softmax()为Softmax函数,fc()表示全连接网络,由于股票的趋势预测是基于二分类的问题,所以输出为一个长度为2的向量,代表公司股票趋势。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311162409.9A CN117196842A (zh) | 2023-09-11 | 2023-09-11 | 基于因果关系图神经网络的股票特征分析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311162409.9A CN117196842A (zh) | 2023-09-11 | 2023-09-11 | 基于因果关系图神经网络的股票特征分析系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117196842A true CN117196842A (zh) | 2023-12-08 |
Family
ID=88990125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311162409.9A Pending CN117196842A (zh) | 2023-09-11 | 2023-09-11 | 基于因果关系图神经网络的股票特征分析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117196842A (zh) |
-
2023
- 2023-09-11 CN CN202311162409.9A patent/CN117196842A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Deeplob: Deep convolutional neural networks for limit order books | |
CN109255506B (zh) | 一种基于大数据的互联网金融用户贷款逾期预测方法 | |
Sayavong et al. | Research on stock price prediction method based on convolutional neural network | |
CN112819604A (zh) | 基于融合神经网络特征挖掘的个人信用评估方法与系统 | |
CN111626785A (zh) | 一种基于结合注意力的cnn-lstm网络基金价格预测方法 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
Korangi et al. | A transformer-based model for default prediction in mid-cap corporate markets | |
CN114049222A (zh) | 一种基于注意力机制和强化学习的趋势预测方法 | |
Andriyanto et al. | Sectoral stock prediction using convolutional neural networks with candlestick patterns as input images | |
Bai et al. | Leveraging generative artificial intelligence for financial market trading data management and prediction | |
US11468352B2 (en) | Method and system for predictive modeling of geographic income distribution | |
Wimmer et al. | Leveraging vision-language models for granular market change prediction | |
KR20220167039A (ko) | 딥러닝과 경제 지표 기반 주가 예측 시스템 | |
KR102519878B1 (ko) | 금융기관 신용공여 사업에서의 인공지능 기반 리스크 관리 솔루션을 제공하기 위한 장치, 방법 및 명령을 기록한 기록 매체 | |
CN110705638A (zh) | 一种利用深度网络学习模糊信息特征技术的信用评级预测分类方法 | |
He et al. | GA-based optimization of generative adversarial networks on stock price prediction | |
Wang et al. | Risk assessment of customer churn in telco using FCLCNN-LSTM model | |
CN117196842A (zh) | 基于因果关系图神经网络的股票特征分析系统及方法 | |
Li et al. | A deep learning approach of financial distress recognition combining text | |
CN114529063A (zh) | 一种基于机器学习的金融领域数据预测方法、设备及介质 | |
Ruhal et al. | A Comparative Study Of Statistical Methods And Machine Learning Approaches For Stock Price Prediction | |
US11004156B2 (en) | Method and system for predicting and indexing probability of financial stress | |
Jin | GraphCNNpred: A stock market indices prediction using a Graph based deep learning system | |
Myint et al. | Predictive Analytics System for Stock Data: methodology, data pre-processing and case studies | |
Mollo | Advancing loan default prediction with interpretable Tabnet models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |