CN114692941A - 基于多注意力的公司财务预测方法 - Google Patents

基于多注意力的公司财务预测方法 Download PDF

Info

Publication number
CN114692941A
CN114692941A CN202111645861.1A CN202111645861A CN114692941A CN 114692941 A CN114692941 A CN 114692941A CN 202111645861 A CN202111645861 A CN 202111645861A CN 114692941 A CN114692941 A CN 114692941A
Authority
CN
China
Prior art keywords
attention
weight
hidden state
sequence
company
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111645861.1A
Other languages
English (en)
Inventor
陈丽芳
李晓婉
谢振平
刘渊
崔乐乐
宋设
杨宝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Chaozhou Zhuoshu Big Data Industry Development Co Ltd
Original Assignee
Jiangnan University
Chaozhou Zhuoshu Big Data Industry Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University, Chaozhou Zhuoshu Big Data Industry Development Co Ltd filed Critical Jiangnan University
Priority to CN202111645861.1A priority Critical patent/CN114692941A/zh
Publication of CN114692941A publication Critical patent/CN114692941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Technology Law (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于多注意力的公司财务预测方法，包括，获取公司的历史财务数据，利用多注意力结合编码器根据历史财务数据，求得历史财务数据的上下文向量，将历史财务数据的上下文向量和目标序列连接，并结合解码器进行解码得到公司下一时刻的利润数据；本发明基于多注意力机制提升了预测财务数据的精准度。

Description

基于多注意力的公司财务预测方法
技术领域
本发明涉及财务预测的技术领域，尤其涉及基于多注意力的公司财务预测方法。
背景技术
近年来随着公司账目的不断细化，公司财务数据也愈发庞大，现有的预测公司财务利润方法大多数是靠分析师来进行人工分析并预测，并没有很多用机器学习或者深度学习的方法进行预测，大量的财务数据需要分析师进行处理和预测，分析师们需要不断整合过去所有的数据并且分类，通过依据过去的财务数据以及增速等项目进行预测，这项工作十分耗时耗力且很容易受个人经验所干扰造成预测误差较大。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了基于多注意力的公司财务预测方法，能够避免析师导致的耗时耗力问题，避免预测准确度差的问题。
为解决上述技术问题，本发明提供如下技术方案：包括，获取公司的历史财务数据；利用多注意力结合编码器根据所述历史财务数据，求得历史财务数据的上下文向量；将所述历史财务数据的上下文向量和目标序列连接，并结合解码器进行解码得到公司下一时刻的利润数据。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：所述获取公司的历史财务数据包括：从JQDATA数据库中下载的各个公司的历史财务数据作为驱动序列x和目标序列y。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：历史财务数据的上下文向量包括：将驱动序列x和目标序列y级联[x:y]，并利用输入注意力选取所述级联[x:y]在t时段重要的信息，得到时间步上的影响权重；输入注意力公式如下：
Figure RE-GDA0003627118740000021
其中，
Figure RE-GDA0003627118740000022
为时间步上的权重，tanh()为激活函数，
Figure RE-GDA0003627118740000023
We和Ue分别为激活函数tanh的权重、ht-1为LSTM单元的先前的隐藏状态，st-1为解码器的LSTM 单元的细胞状态，k为第k个驱动序列，t为常数取值范围为1～P，P为时间步， T为转置；
权重归一化为
Figure RE-GDA0003627118740000024
Figure RE-GDA0003627118740000025
其中，exp()为指数函数，
Figure RE-GDA0003627118740000026
为二维矩阵中的数，n为驱动序列的个数，j为常数。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：还包括：将所述
Figure RE-GDA0003627118740000027
与序列[x:y]一一相乘：
Figure RE-GDA0003627118740000028
并经过LSTM单元得到其隐藏状态h1＝f1(h1,x1)；其中，f1()为LSTM单元，h1为LSTM 单元的隐藏状态，x1为权重加在每个时间段上的结果。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：包括：将驱动序列x和目标序列y点乘：x·y，并利用空间注意力对驱动序列各个变量进行加权，得到空间上的影响权重；
空间注意力公式为：
Figure RE-GDA0003627118740000029
其中，
Figure RE-GDA00036271187400000210
为空间上的权重，
Figure RE-GDA00036271187400000211
Wg和Ug分别为激活函数tanh的权重，bg为偏置；
权重归一化为
Figure RE-GDA00036271187400000212
Figure RE-GDA00036271187400000213
其中，exp()为指数函数，
Figure RE-GDA00036271187400000214
为二维矩阵中的数。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：还包括：将求取的注意力与序列x·y一一相乘：
Figure RE-GDA00036271187400000215
并经过LSTM单元得到其隐藏状态h2＝f1(h2,x2)；其中，h2为LSTM单元的隐藏状态，x2为权重加在空间上的结果。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：包括：将所述h1和所述h2级联得Z：
Z＝[h1；h2]。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：还包括：将所述Z沿着行向量卷积，得到时间模式矩阵HC：
Figure RE-GDA0003627118740000031
其中，ReLU()是线性整流函数，C为大小为P的卷积核。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：包括：使用时间注意力为每个时间段分配权重，并将所述时间模式矩阵输入解码器；
时间注意力公式为：
Figure RE-GDA0003627118740000032
其中，
Figure RE-GDA0003627118740000033
为时间步上的权重，1≤i≤P，[dt-1；st'-1]是LSTM单元的先前的隐藏状态和编码器的LSTM单元的细胞状态的串联，
Figure RE-GDA0003627118740000034
Wd和Ud分别为激活函数tanh 的权重，[dt-1；s't-1]的权重和HC的权重是需要学习的参数，HC为时间模式矩阵；权重归一化为
Figure RE-GDA0003627118740000035
Figure RE-GDA0003627118740000036
将所述
Figure RE-GDA0003627118740000037
与隐藏状态hi串联得到驱动序列的上下文向量ct为：
Figure RE-GDA0003627118740000038
其中，hi为解码器的隐藏状态。
作为本发明所述的基于多注意力的公司财务预测方法的一种优选方案，其中：所述公司下一时刻的利润数据包括：利用以下公式得到公司下一时刻的利润数据
Figure RE-GDA00036271187400000310
Figure RE-GDA0003627118740000039
其中，[dt；ct]是解码器的隐藏状态和上阶段求得的上下文向量的级联，W和b为将级联[dt；ct]映射到解码器隐藏状态的大小，VT为权重，bv为偏置。
本发明的有益效果：提升了分析效率和准确度，增加了影响因子使得预测更加精准。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的基于多注意力的公司财务预测方法的两阶段注意求时间和空间影响的流程示意图；
图2为本发明第一个实施例所述的基于多注意力的公司财务预测方法的卷积得时间模式矩阵的流程示意图；
图3为本发明第一个实施例所述的基于多注意力的公司财务预测方法的多注意力模型图的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～3，为本发明的第一个实施例，该实施例提供了基于多注意力的公司财务预测方法，包括：
S1：获取公司的历史财务数据。
财务数据来源于JQdata数据库，选取了15个公司财务指标作为驱动序列 X，目标序列用Y表示。
S2：参照图1，利用多注意力结合编码器根据历史财务数据，求得历史财务数据的上下文向量。
(1)将驱动序列x和目标序列y级联[x:y]，并利用输入注意力选取级联 [x:y]在t时段重要的信息，得到时间步上的影响权重；
输入注意力公式如下：
Figure RE-GDA0003627118740000051
其中，
Figure RE-GDA0003627118740000052
为时间步上的权重，tanh()为激活函数，
Figure RE-GDA0003627118740000053
We和Ue分别为激活函数tanh的权重、ht-1为LSTM单元的先前的隐藏状态，st-1为解码器的 LSTM单元的细胞状态，k为第k个驱动序列，t为常数取值范围为1～P，P为时间步，T为转置；
权重归一化为
Figure RE-GDA0003627118740000054
Figure RE-GDA0003627118740000061
其中，exp()为指数函数，
Figure RE-GDA0003627118740000062
为二维矩阵中的数，n为驱动序列的个数， j为常数；
将
Figure RE-GDA0003627118740000063
与序列[x:y]一一相乘：
Figure RE-GDA0003627118740000064
编码器选取LSTM，经过LSTM单元得到其隐藏状态h1＝f1(h1,x1)；
其中，f1()为LSTM单元，h1为LSTM单元的隐藏状态，x1为权重加在每个时间段上的结果。
(2)将驱动序列x和目标序列y点乘：x·y，并利用空间注意力对驱动序列各个变量进行加权，得到空间上的影响权重；
空间注意力公式为：
Figure RE-GDA0003627118740000065
其中，
Figure RE-GDA0003627118740000066
为空间上的权重，
Figure RE-GDA0003627118740000067
Wg和Ug分别为激活函数tanh的权重，bg为偏置；
权重归一化为
Figure RE-GDA0003627118740000068
Figure RE-GDA0003627118740000069
其中，exp()为指数函数，
Figure RE-GDA00036271187400000610
为二维矩阵中的数。
将求取的注意力与序列x·y一一相乘：
Figure RE-GDA00036271187400000611
用LSTM编码，得到其隐藏状态h2＝f1(h2,x2)，其中，h2为LSTM单元的隐藏状态，x2为权重加在空间上的结果。
(3)参照图2，将h1和h2级联得Z＝[h1；h2]；
将Z沿着行向量卷积，得到时间模式矩阵HC：
Figure RE-GDA00036271187400000612
其中，ReLU()是线性整流函数，C为大小为P的卷积核。
使用时间注意力为每个时间段分配权重，并将时间模式矩阵输入解码器；
时间注意力公式为：
Figure RE-GDA0003627118740000071
其中，
Figure RE-GDA0003627118740000072
为时间步上的权重，1≤i≤P，[dt-1；s't-1]是LSTM单元的先前的隐藏状态和编码器的LSTM单元的细胞状态的串联，
Figure RE-GDA0003627118740000073
Wd和Ud分别为激活函数 tanh的权重，[dt-1；s't-1]的权重和HC的权重是需要学习的参数，HC为时间模式矩阵；
权重归一化为
Figure RE-GDA0003627118740000074
Figure RE-GDA0003627118740000075
将
Figure RE-GDA0003627118740000076
与隐藏状态hi串联得到驱动序列的上下文向量ct为：
Figure RE-GDA0003627118740000077
其中，hi为解码器的隐藏状态。
较佳的是，本发明通过利用时间步上和在驱动序列变量上加权，增加了影响因子，能更准确的预测净利润未来值。
S3：参照图3，将历史财务数据的上下文向量和目标序列连接，并结合解码器进行解码得到公司下一时刻的利润数据。
利用以下公式得到公司下一时刻的利润数据
Figure RE-GDA0003627118740000078
Figure RE-GDA0003627118740000079
其中，[dt；ct]是解码器的隐藏状态和上阶段求得的上下文向量的级联，W和 b为将级联[dt；ct]映射到解码器隐藏状态的大小，VT为权重，bv为偏置。
较佳的是，本发明通过利用提取驱动序列信息的同时也提取了净利润的历史信息，将二者结合提高预测净利润的精准度。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合) 可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于多注意力的公司财务预测方法，其特征在于：包括：
获取公司的历史财务数据；
利用多注意力结合编码器根据所述历史财务数据，求得历史财务数据的上下文向量；
将所述历史财务数据的上下文向量和目标序列连接，并结合解码器进行解码得到公司下一时刻的利润数据。
2.如权利要求1所述的基于多注意力的公司财务预测方法，其特征在于：所述获取公司的历史财务数据包括：
从JQDATA数据库中下载的各个公司的历史财务数据作为驱动序列x和目标序列y。
3.如权利要求2所述的基于多注意力的公司财务预测方法，其特征在于：历史财务数据的上下文向量包括：
将驱动序列x和目标序列y级联[x:y]，并利用输入注意力选取所述级联[x:y]在t时段重要的信息，得到时间步上的影响权重；
输入注意力公式如下：
Figure RE-FDA0003627118730000011
其中，
Figure RE-FDA0003627118730000012
为时间步上的权重，tanh()为激活函数，
Figure RE-FDA0003627118730000013
We和Ue分别为激活函数tanh的权重、ht-1为LSTM单元的先前的隐藏状态，st-1为解码器的LSTM单元的细胞状态，k为第k个驱动序列，t为常数取值范围为1～P，P为时间步，T为转置；
权重归一化为
Figure RE-FDA0003627118730000014
Figure RE-FDA0003627118730000015
其中，exp()为指数函数，
Figure RE-FDA0003627118730000016
为二维矩阵中的数，n为驱动序列的个数，j为常数。
4.如权利要求3所述的基于多注意力的公司财务预测方法，其特征在于：还包括：
将所述
Figure RE-FDA0003627118730000017
与序列[x:y]一一相乘：
Figure RE-FDA0003627118730000018
并经过LSTM单元得到其隐藏状态h1＝f1(h1,x1)；
其中，f1()为LSTM单元，h1为LSTM单元的隐藏状态，x1为权重加在每个时间段上的结果。
5.如权利要求1～4任一所述的基于多注意力的公司财务预测方法，其特征在于：包括：
将驱动序列x和目标序列y点乘：x·y，并利用空间注意力对驱动序列各个变量进行加权，得到空间上的影响权重；
空间注意力公式为：
Figure RE-FDA0003627118730000021
其中，
Figure RE-FDA0003627118730000022
为空间上的权重，
Figure RE-FDA0003627118730000023
Wg和Ug分别为激活函数tanh的权重，bg为偏置；
权重归一化为
Figure RE-FDA0003627118730000024
Figure RE-FDA0003627118730000025
其中，exp()为指数函数，
Figure RE-FDA0003627118730000026
为二维矩阵中的数。
6.如权利要求5所述的基于多注意力的公司财务预测方法，其特征在于：还包括：
将求取的注意力与序列x·y一一相乘：
Figure RE-FDA0003627118730000027
并经过LST M单元得到其隐藏状态h2＝f1(h2,x2)；
其中，h2为LSTM单元的隐藏状态，x2为权重加在空间上的结果。
7.如权利要求6所述的基于多注意力的公司财务预测方法，其特征在于：包括：
将所述h1和所述h2级联得Z：
Z＝[h1；h2]。
8.如权利要求7所述的基于多注意力的公司财务预测方法，其特征在于：还包括：
将所述Z沿着行向量卷积，得到时间模式矩阵HC：
Figure RE-FDA0003627118730000028
其中，ReLU()是线性整流函数，C为大小为P的卷积核。
9.如权利要求8所述的基于多注意力的公司财务预测方法，其特征在于：包括：
使用时间注意力为每个时间段分配权重，并将所述时间模式矩阵输入解码器；
时间注意力公式为：
Figure RE-FDA0003627118730000031
其中，
Figure RE-FDA0003627118730000032
为时间步上的权重，1≤i≤P，[dt-1；s′t-1]是LSTM单元的先前的隐藏状态和编码器的LSTM单元的细胞状态的串联，
Figure RE-FDA0003627118730000033
Wd和Ud分别为激活函数tanh的权重，[dt-1；s′t-1]的权重和HC的权重是需要学习的参数，HC为时间模式矩阵；
权重归一化为
Figure RE-FDA0003627118730000034
Figure RE-FDA0003627118730000035
将所述
Figure RE-FDA0003627118730000036
与隐藏状态hi串联得到驱动序列的上下文向量ct为：
Figure RE-FDA0003627118730000037
其中，hi为解码器的隐藏状态。
10.如权利要求1、8或9任一所述的基于多注意力的公司财务预测方法，其特征在于：所述公司下一时刻的利润数据包括：
利用以下公式得到公司下一时刻的利润数据
Figure RE-FDA0003627118730000038
Figure RE-FDA0003627118730000039
其中，[dt；ct]是解码器的隐藏状态和上阶段求得的上下文向量的级联，W和b为将级联[dt；ct]映射到解码器隐藏状态的大小，VT为权重，bv为偏置。
CN202111645861.1A 2021-12-30 2021-12-30 基于多注意力的公司财务预测方法 Pending CN114692941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111645861.1A CN114692941A (zh) 2021-12-30 2021-12-30 基于多注意力的公司财务预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111645861.1A CN114692941A (zh) 2021-12-30 2021-12-30 基于多注意力的公司财务预测方法

Publications (1)

Publication Number Publication Date
CN114692941A true CN114692941A (zh) 2022-07-01

Family

ID=82138003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111645861.1A Pending CN114692941A (zh) 2021-12-30 2021-12-30 基于多注意力的公司财务预测方法

Country Status (1)

Country Link
CN (1) CN114692941A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818416A (zh) * 2017-11-01 2018-03-20 众安信息技术服务有限公司 生成公司财务指标预测模型的方法和装置
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN110276439A (zh) * 2019-05-08 2019-09-24 平安科技（深圳）有限公司 基于注意力机制的时间序列预测方法、装置及存储介质
CN110533173A (zh) * 2019-09-03 2019-12-03 河南工业大学 一种基于多级注意力网络的仓储粮堆温度预测方法及装置
CN110619430A (zh) * 2019-09-03 2019-12-27 大连理工大学 一种用于交通预测的时空注意力机制方法
CN111400481A (zh) * 2020-05-15 2020-07-10 支付宝(杭州)信息技术有限公司 针对多轮对话生成回复语句的方法和装置
CN112686281A (zh) * 2020-12-08 2021-04-20 深圳先进技术研究院 基于时空注意力和多级lstm信息表达的车辆轨迹预测方法
CN112926768A (zh) * 2021-01-27 2021-06-08 浙江工业大学 基于时空注意力机制的地面道路车道级交通流预测方法
CN112991032A (zh) * 2021-05-12 2021-06-18 江苏电力信息技术有限公司 一种基于层级注意力网络的电力预算评估方法
CN113256681A (zh) * 2021-05-26 2021-08-13 北京易航远智科技有限公司 基于时空注意力机制的行人轨迹预测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818416A (zh) * 2017-11-01 2018-03-20 众安信息技术服务有限公司 生成公司财务指标预测模型的方法和装置
CN109919358A (zh) * 2019-01-31 2019-06-21 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN110276439A (zh) * 2019-05-08 2019-09-24 平安科技（深圳）有限公司 基于注意力机制的时间序列预测方法、装置及存储介质
CN110533173A (zh) * 2019-09-03 2019-12-03 河南工业大学 一种基于多级注意力网络的仓储粮堆温度预测方法及装置
CN110619430A (zh) * 2019-09-03 2019-12-27 大连理工大学 一种用于交通预测的时空注意力机制方法
CN111400481A (zh) * 2020-05-15 2020-07-10 支付宝(杭州)信息技术有限公司 针对多轮对话生成回复语句的方法和装置
CN112686281A (zh) * 2020-12-08 2021-04-20 深圳先进技术研究院 基于时空注意力和多级lstm信息表达的车辆轨迹预测方法
CN112926768A (zh) * 2021-01-27 2021-06-08 浙江工业大学 基于时空注意力机制的地面道路车道级交通流预测方法
CN112991032A (zh) * 2021-05-12 2021-06-18 江苏电力信息技术有限公司 一种基于层级注意力网络的电力预算评估方法
CN113256681A (zh) * 2021-05-26 2021-08-13 北京易航远智科技有限公司 基于时空注意力机制的行人轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHANSHAN DUAN等: ""Deep Spatio-Temporal Attention Model for Grain Storage Temperature Forecasting"", 《2020 IEEE 26TH INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEMS》, pages 593 - 600 *
林杰等: ""基于注意力机制的LSTM股价趋势预测研究"", 《上海管理科学》, vol. 42, no. 1, pages 109 - 115 *

Similar Documents

Publication Publication Date Title
Ardia et al. Markov-switching GARCH models in R: The MSGARCH package
US11861728B2 (en) Technology for building and managing data models
Picchini Inference for SDE models via approximate Bayesian computation
CN110476172A (zh) 用于卷积神经网络的神经架构搜索
US20070299798A1 (en) Time series data prediction/diagnosis apparatus and program thereof
EP3428854A1 (en) Model analysis method and device and computer readable storage medium
US10748077B2 (en) Forecasting systems
CN113259331B (zh) 一种基于增量学习的未知异常流量在线检测方法及系统
US20210366006A1 (en) Ranking of business object
CN113574325A (zh) 确定用于控制环境的因果模型
CN110462638A (zh) 使用后验锐化训练神经网络
CN113597582A (zh) 使用因果模型调谐pid参数
CN110674397B (zh) 年龄点预测模型的训练方法及装置、设备与可读介质
CN112613425B (zh) 一种面向小样本水下图像的目标识别系统
US20150060053A1 (en) Method for adaptive optimizing of heterogeneous proppant placement under uncertainty
CN109102141A (zh) 一种服务水平评分方法和装置
CN114692941A (zh) 基于多注意力的公司财务预测方法
CN114139802B (zh) 一种基于流域水情变化趋势分析模型的实时优化调度方法
CN113779859B (zh) 可解释的时序预测模型的训练方法、装置和计算设备
CN113688297A (zh) 期权信息的显示和分析方法、装置、设备及存储介质
Ludkovski Regression Monte Carlo for impulse control
US20200293183A1 (en) Methods and Devices for Capturing Heuristic Information via a Weighting Tool
CN114251075A (zh) 基于多目标参数的储层开采方案确定方法、装置及设备
Lu et al. Modelling mortality: A bayesian factor-augmented var (favar) approach
CN113597305A (zh) 使用因果模型制造生物药物

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination