CN116402630B - 一种基于表征学习的财务风险预测方法及系统 - Google Patents
一种基于表征学习的财务风险预测方法及系统 Download PDFInfo
- Publication number
- CN116402630B CN116402630B CN202310683245.8A CN202310683245A CN116402630B CN 116402630 B CN116402630 B CN 116402630B CN 202310683245 A CN202310683245 A CN 202310683245A CN 116402630 B CN116402630 B CN 116402630B
- Authority
- CN
- China
- Prior art keywords
- text
- financial
- risk
- vector
- entry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012512 characterization method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 257
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000013058 risk prediction model Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 16
- 238000013210 evaluation model Methods 0.000 claims description 14
- 230000000873 masking effect Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000017105 transposition Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Technology Law (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于表征学习的财务风险预测方法及系统，该方法包括：获取包含M个财务文本的财务文本集合；对每个财务文本进行向量化处理，获取对应的文本向量序列，并根据文本向量序列和财务文本表征模型，获取对应的文本特征向量；获取包含N个风险词条的风险词条集合；根据风险词条集合和财务文本表征模型，获取每个风险词条对应的词条特征向量；对于M个文本特征向量和N个词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；将相似度矩阵拆分为列向量，根据列向量和财务风险预测模型，获取财务风险预测结果。本发明提高了财务风险预测的实时性、准确性和适用性，并且实现了自定义词条的任意财务风险预测的目的。
Description
技术领域
本发明涉及机器学习与风险预测技术领域，尤其涉及一种基于表征学习的财务风险预测方法及系统。
背景技术
随着企业规模的增大，企业在财务活动过程中面临的企业财务风险挑战和压力日益增加。由于企业财务风险具有实时性、突发性等特点，需要在企业日常经营中加以重视，以避免造成企业经济损失。
企业财务活动过程中主要涉及资金管理、成本管理等方面。目的大部分企业仍通过人工核算大量相关财务文本识别财务状态，以对企业财务风险进行分析和预测。然而，财务文本的信息复杂多样，人工核算时效性差、效率低，容易导致企业无法准确有效地判断实时突发性财务风险，从而导致企业无法对即将发生的风险进行规避，造成企业经济利益损失。
现有技术中，虽然有部分基于深度学习的财务风险预警方法，例如专利文献CN112950004A提供了一种企业财务预警方法，该方法首先通过超长短期记忆神经网络模型对样本企业历史财务报表中的指标数据进行特征提取，输出特征用于训练预警模型，最后基于训练好的预警模型，以预评估企业财务信息的指标数据为输入，得到评估结果。该方法虽然可以解决人工核算方法存在的效性差、效率低的问题，但是采用财务表报中的指标数据进行财务风险预警，存在对财务文本的特征提取不够全面，财务风险预测结果不够准确的问题。此外，该方法通过预警模型进行风险预警，只能判断企业具有或者不具有财务风险，而无法预测企业的风险类型和风险程度，存在适用性差问题。
因此，如何实时、准确以及自适应地预测财务风险，依然是当前急需解决的技术问题。
发明内容
基于此，本发明实施例提供一种基于表征学习的财务风险预测方法及系统，以解决背景技术中存在的技术问题。
为解决上述问题，本发明实施例提供了一种基于表征学习的财务风险预测方法，包括：
获取财务文本集合，所述财务文本集合包含M个财务文本；
对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量；
获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条；
根据所述风险词条集合和所述财务文本表征模型，获取与所述每个风险词条对应的词条特征向量；
对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；
将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
此外，本发明实施例还提供一种基于表征学习的财务风险预测系统，包括：
财务文本获取模块，用于获取财务文本集合，所述财务文本集合包含M个财务文本；
财务文本处理模块，用于对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量；
风险词条获取模块，用于获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条；
风险词条处理模块，用于根据所述风险词条集合和所述财务文本表征模型，获取与所述每个风险词条对应的词条特征向量；
相似度分析模块，用于对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；
财务风险预测模块，用于将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
上述实施例提供的一种基于表征学习的财务风险预测方法及系统，首先通过预设的财务文本表征模型对向量化后的各财务文本进行表征学习，得到对应的文本特征向量，以及通过财务文本表征模型对各风险词条进行表征学习，得到对应的词条特征向量，可以实现对财务文本和风险词条进行准确、高效地特征提取的目的；然后对于各文本特征向量和各词条特征向量，通过基于交叉注意力的余弦相似度计算特征向量之间的相关性，以生成相似度矩阵，可以实现对财务文本与不同类型、不同程度的风险词条之间的关系进行准确匹配的目的；最后根据相似度矩阵拆分得到的列向量和预设的财务风险预测模型，得到财务风险预测结果，可以提高财务风险预测的实时性、准确性和适用性，并且可以实现自定义词条的任意财务风险预测，并为企业处理即将出现的财务风险提供支撑的目的。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例所提供的基于表征学习的财务风险预测方法的流程图；
图2为本发明一实施例所提供的基于表征学习的财务风险预测方法中的财务文本表征模型构建优化的流程图；
图3为本发明一实施例所提供的一种基于表征学习的财务风险预测系统的结构示意图；
图4为本发明另一实施例所提供的一种基于表征学习的财务风险预测系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如图1所示，本发明一实施例所提供的一种基于表征学习的财务风险预测方法，具体包括以下步骤：
S10，获取财务文本集合，所述财务文本集合包含M个财务文本。
具体的，采集企业相关的财务文本，例如审计报告、投资方案、经营计划和资产清单等，从而构建包含多个（M个）财务文本的财务文本集合。可选地，财务文本集合中财务文本的数量M根据需求进行设置。
S20，对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量。
具体的，先将财务文本集合中的每个财务文输入预设模型进行向量化处理，获得与每个财务文本对应的文本向量序列，再将每个文本向量序列输入预设的财务文本表征模型进行表征学习，获得与每个财务文本对应的文本特征向量，该文本向量序列可以由多个句子向量组成，每个句子向量可以由多个文本向量组成。
可选地，预设模型为Word2vec模型或者BERT模型等。财务文本表征模型为采用深度自注意力网络结构，并通过随机掩码策略训练得到的网络模型。
作为优选，所述步骤S20中对每个所述财务文本进行向量化处理，可以包括以下步骤：
S201，对于每个所述财务文本，将所述财务文本分割为多个句子序列；
S202，将每个所述句子序列输入词向量模型，得到对应的句子向量；
S203，将多个所述句子向量进行拼接，得到与所述财务文本对应的文本向量序列。
在本实施例中，对于每个财务文本，以句为单位将财务文本分割为多个句子序列，其中每个句子序列都包含若干文字信息，然后使用词向量模型（优选为BERT模型）将每个文字信息向量化为文本向量，构建句子向量/>，其中/>为句子序列中文本信息的数量，最后拼接所有句子向量/>得到文本向量序列/>，其中/>为财务文本中句子序列的数量。可理解的，本实施例通过词向量模型将财务文本向量化，有利于提高后续表征学习的效率。
S30，获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条。
具体的，基于企业特点和具体的财务风险预测需求，编写不同类型和不同风险程度的多个（N个）风险词条，从而构建风险词条集合，目的是利用不同类型和不同风险程度的文本，描述企业当前可能存在的财务风险状况。
S40，根据所述风险词条集合和所述财务文本表征模型，获取与所述每个风险词条对应的词条特征向量。
具体的，将风险词条集合中的每个风险词条输入至财务文本表征模型进行表征学习，获得N个词条特征向量。可选地，步骤S40中的财务文本表征模型是基于初步训练得到的网络模型（即通过随机掩码策略训练得到的网络模型），进一步通过第二交叉熵损失函数二次训练得到的网络模型，其中第二交叉熵损失函数根据财务文本的财务风险类别标签和财务文本与风险词条的相关性确定。
S50，对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵。
在步骤S50中，所述相似度矩阵的行索引为文本特征向量，列索引为词条特征向量，行列索引对应位置处的元素为文本特征向量与词条特征向量之间的相似度值。此时，所述步骤S50包括以下步骤：
首先，获取基于交叉注意力的余弦相似度评估模型，具体表示为：
，
其中，为基于交叉注意力的余弦相似度评估模型；/>为词条特征向量；为文本特征向量；/>、/>为可学习向量；/>为矩阵转置操作；/>为向量取模函数。需要说明的是，可学习向量通常是模型的参数，其值在模型训练过程中通过数据自动优化调整，在采用深度自注意力网络结构的财务文本表征模型中，/>和/>是以权重矩阵表示的可学习向量，权重矩阵是在财务文本表征模型训练过程中学习得到的。
然后，将每个所述文本特征向量和每个所述词条特征向量，输入所述基于交叉注意力的余弦相似度评估模型，得到两两向量之间的相似度值。最后，根据所述两两向量之间的相似度值，生成大小为M*N的相似度矩阵，可以表示为：
，
其中，为相似度矩阵，/>为第/>个文本特征向量与第/>个词条特征向量之间的相似度值。
可理解的，本实施例引入交叉注意力，来计算文本特征向量与词条特征向量之间的余弦相似度，使风险词条与财务文本形成配对映射关系，可以提高财务文本风险预测准确性。
S60，将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
具体的，将相似度矩阵拆分为N个列向量，其中列向量包含M个相似度值，将每个列向量输入至财务风险预测模型进行平均相似度计算和阈值决策，获得与每个列向量对应的初步预测结果，其中每个初步预测结果可以表征与每个列向量对应的风险词条符合或者不符合企业当前风险状况，最后根据所有的初步预测结果获得财务风险预测结果，其中财务风险预测结果可以包含所有符合企业当前风险的风险词条及其确定的风险类型等信息。
作为优选，所述步骤S60包括以下步骤：
S601，将所述大小为M*N的相似度矩阵拆分为N个列向量，并与N个所述风险词条进行关联。
在步骤S601中，将相似度矩阵拆分为N个列向量，每个列向量可以表示为：
，
其中，为第/>个列向量，且/>。然后，通过对每个列向量/>与相似度矩阵/>的列索引进行关联，实现列向量/>与风险词条之间的关联。
S602，将与每个所述风险词条关联的列向量输入财务风险预测模型，以获取对应的初步预测结果；其中，所述初步预测结果能够表征所述风险词条符合或者不符合企业当前风险状况。
在步骤S602中，所述财务风险预测模型可以由相似度平均值计算子模型和阈值决策子模型组成，所述相似度平均值计算子模型用于根据列向量计算相似度平均值，所述阈值决策子模型用于比对相似度平均值与预设阈值，并根据比对信息输出风险词条符合或者不符合企业当前风险状况的内容。此时，所述步骤S602中将与每个风险词条关联的列向量输入财务风险预测模型，以获取对应的初步预测结果，可以包括以下步骤：
对于每个所述列向量，通过财务风险预测模型对所述列向量中的相似度值进行平均值计算后，将计算得到的平均相似度值和预设阈值进行比对，并根据比对信息判断所述风险词条是否符合企业当前风险状况，以得到初步预测结果。
在本实施例中，预设阈值可以根据需求进行设置，例如预设阈值/>设置为0.5。
具体的，将每个列向量输入财务风险预测模型，通过相似度平均值计算子模型计算列向量/>的相似度平均值，再通过阈值决策子模型判断相似度平均值是否大于等于0.5，若是，则将列向量/>关联的风险词条符合企业当前风险状况作为初步预测结果输出，否则将列向量/>关联的风险词条不符合企业当前风险状况作为初步预测结果输出。
S603，根据N个所述初步预测结果生成财务风险预测结果；其中，所述财务风险预测结果包含根据符合企业当前风险状况的所有风险词条所确定的风险类型和风险程度。
具体的，在获取到N个初步预测结果之后，将表征风险词条符合企业当前风险状况的初步预测结果标记为有效预测结果，并根据有效预测结果中符合企业当前风险状况的风险词条，获得企业存在的风险类型和风险程度，从而得到最终的财务风险预测结果。可理解的，本实施例根据相似度矩阵和财务风险预测模型进行财务风险预测，可以实现自定义词条的任意类型财务风险预测。
综上所述，本实施例提供的一种基于表征学习的财务风险预测方法，首先通过预设的财务文本表征模型对向量化后的各财务文本进行表征学习，得到对应的文本特征向量，以及通过财务文本表征模型对各风险词条进行表征学习，得到对应的词条特征向量，可以实现对财务文本和风险词条进行准确、高效地特征提取的目的；然后对于各文本特征向量和各词条特征向量，通过基于交叉注意力余弦相似度计算特征向量之间的相关性，以生成相似度矩阵，可以实现对财务文本与不同类型、不同程度的风险词条之间的关系进行准确匹配的目的；最后根据相似度矩阵拆分得到的列向量和预设的财务风险预测模型，得到财务风险预测结果，可以提高财务风险预测的实时性、准确性和适用性，并且可以实现自定义词条的任意财务风险预测，并为企业处理即将出现的财务风险提供支撑的目的。
在一优选实施例，本发明一实施例所提供的一种基于表征学习的财务风险预测方法还包括财务文本表征模型构建优化阶段，参考图2所示的财务文本表征模型构建优化的流程图，所述财务文本表征模型构建优化阶段具体包括以下步骤：
S701，基于深度自注意力网络构建文本表征模型。
在步骤S701中，所述文本表征模型包含多个编码器和多个解码器，编码器和解码器都包含6个多头注意力层和6个前馈层，且每个多头注意力层包含4个注意力层。
S702，根据至少一个财务文本、所述财务文本对应的财务风险类别标签以及文本向量序列，构建财务文本训练集。
在步骤S702中，财务文本可以是从财务文本集合中选择的财务文本，也可以是企业相关的历史财务文本。财务风险类别标签可以包含风险类别和风险程度等信息。文本向量序列的生成方式可以参照步骤S201至步骤S203，在此不再赘述。
S703，从所述文本向量序列中获取任意句子向量，并通过随机掩码算法得到掩码后的句子向量。
在步骤S703中，从文本向量序列中获取任意句子向量，采用随机掩码算法将句子向量/>中的一个文本向量/>替换为掩码向量/>，其中掩码向量/>为不含语义信息的零向量，从而得到掩码后的句子向量/>。
S704，将所述掩码后的句子向量输入所述文本表征模型，预测文本向量概率分布。
在步骤S704中，基于文本表征模型，以掩码后的句子向量为输入，预测原句子向量，得到文本向量概率分布/>，其计算公式为：
，
上式中，为预测的文本向量概率分布，/>与原句子向量/>具有完全相同的长度和尺寸。
S705，根据所述文本向量概率分布和原句子向量，确定第一交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征模型，以获得文本表征优化模型。
作为优选，所述第一交叉熵损失函数为：
，
上式中，为第一交叉熵损失函数；/>为文本表征模型的网络参数；/>为文本向量概率分布；/>为文本向量概率分布中的文本向量；/>为文本向量/>的概率值；/>为向量标记，用于判断概率值/>对应的文本向量/>是否属于原句子向量/>。
可理解的，本实施例通过上述步骤S702至步骤S705完成文本表征模型的初步优化，初步优化后的文本表征模型具备财务文本特征表征能力。
S706，根据不同类型或者不同程度的风险词条，构建风险词条训练集。
在步骤S706中，基于文本表征优化模型，设置不同类型的风险词条，例如“企业存在成本管理/资金管理/会计监督风险”，以及设置不同程度的风险词条，例如“企业存在高风险/中风险/低风险成本管理问题”，并由不同类型和不同程度的风险词条构成风险词条训练集。
S707，将所述文本向量序列和所述风险词条输入所述文本表征优化模型，获取文本特征向量和词条特征向量。
具体的，基于文本表征优化模型，以财务文本训练集中的文本向量序列和风险词条训练集中的风险词条为输入，分别提取文本特征向量和词条特征向量。
S708，获取所述文本特征向量和所述词条特征向量之间的相关性与所述财务文本的财务风险类别标签，确定第二交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征优化模型，以获得财务文本表征模型。
作为优选，根据步骤S707获得的文本特征向量和词条特征向量，计算交叉注意力向量，并通过预设激活函数对交叉注意力向量进行处理，得到相关性；其中，所述相关性表示为：
，
上式中，为相关性集合；/>为Sigmoid激活函数；/>为词条特征向量；/>为文本特征向量；/>、/>为可学习向量；/>为第/>个词条特征向量与第/>个文本特征向量之间的相关性。
然后，根据计算得到的相关性，结合财务文本训练集中的财务风险类别标签，确定第二交叉熵损失函数，具体为：
，
上式中，为第二交叉熵损失函数；/>为第/>个词条特征向量与第/>个文本特征向量之间的相关性；/>为相关性标注，用于预测第/>个风险词条与第/>个财务文本是否相关。
最后，基于第二交叉熵损失函数，采用梯度下降反向传播算法进一步优化文本表征优化模型，以获得最终的财务文本表征模型。
可理解的，本实施例通过上述步骤S706至步骤S708完成文本表征模型的二次优化，二次优化后的文本表征模型具备将风险词条与财务文本进行映射关系配对的能力。
需要说明的是，财务文本表征模型构建优化阶段在步骤S20之前执行即可。
此外，如图3所示，本发明实施例还提供了一种基于表征学习的财务风险预测系统，包括财务文本获取模块110、财务文本处理模块120、风险词条获取模块130、风险词条处理模块140、相似度分析模块150和财务风险预测模块160，各功能模块的详细说明如下：
财务文本获取模块110，用于获取财务文本集合，所述财务文本集合包含M个财务文本；
财务文本处理模块120，用于对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量；
风险词条获取模块130，用于获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条；
风险词条处理模块140，用于根据所述风险词条集合和所述财务文本表征模型，获取与所述每个风险词条对应的词条特征向量；
相似度分析模块150，用于对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；
财务风险预测模块160，用于将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
在一些可选实施例中，如图4所示，所述基于表征学习的财务风险预测系统还包括表征模型构建模块170、模型初步优化模块180和模型二次优化模块190，各功能模块的详细说明如下：
表征模型构建模块170，用于基于深度自注意力网络构建文本表征模型；
模型初步优化模块180，用于根据至少一个财务文本、所述财务文本对应的财务风险类别标签以及文本向量序列，构建财务文本训练集；从所述文本向量序列中获取任意句子向量，并通过随机掩码算法得到掩码后的句子向量；将所述掩码后的句子向量输入所述文本表征模型，预测文本向量概率分布；根据所述文本向量概率分布和原句子向量，确定第一交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征模型，以获得文本表征优化模型；
模型二次优化模块190，用于根据不同类型或者不同程度的风险词条，构建风险词条训练集；将所述文本向量序列和所述风险词条输入所述文本表征优化模型，获取文本特征向量和词条特征向量；获取所述文本特征向量和所述词条特征向量之间的相关性与所述财务文本的财务风险类别标签，确定第二交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征优化模型，以获得财务文本表征模型。
在一些可选实施例中，所述相似度分析模块150包括以下子模块，各功能模块的详细说明如下：
评估模型获取子模块，用于获取基于交叉注意力的余弦相似度评估模型；
相似度评估子模块，用于将每个所述文本特征向量和每个所述词条特征向量输入所述基于交叉注意力的余弦相似度评估模型，得到两两向量之间的相似度值；
相似度矩阵生成子模块，用于根据所述两两向量之间的相似度值，生成大小为M*N的相似度矩阵。
在一些可选实施例中，所述财务风险预测模块160包括以下子模块，各功能模块的详细说明如下：
矩阵拆分子模块，用于将所述大小为M*N的相似度矩阵拆分为N个列向量，并与N个所述风险词条进行关联；
词条匹配子模块，用于将与每个所述风险词条关联的列向量输入财务风险预测模型，以获取对应的初步预测结果；其中，所述初步预测结果表征所述风险词条符合或者不符合企业当前风险状况；
财务风险预测子模块，用于根据N个所述初步预测结果生成财务风险预测结果；其中，所述财务风险预测结果包含根据符合企业当前风险状况的所有风险词条所确定的风险类型和风险程度。
可理解的，本实施例提供的一种基于表征学习的财务风险预测系统用于实现上述实施例的一种基于表征学习的财务风险预测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
需要说明的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。在本发明的描述中，参考术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (8)
1.一种基于表征学习的财务风险预测方法，其特征在于，包括：
获取财务文本集合，所述财务文本集合包含M个财务文本；
对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量；
获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条；
根据所述风险词条集合和所述财务文本表征模型，获取与每个风险词条对应的词条特征向量；
对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；
所述对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵，包括：
获取基于交叉注意力的余弦相似度评估模型，具体为：
，
其中，为基于交叉注意力的余弦相似度评估模型；/>为词条特征向量；/>为文本特征向量；/>、/>为可学习向量；/>为矩阵转置操作；/>为向量取模函数；
将每个所述文本特征向量和每个所述词条特征向量输入所述基于交叉注意力的余弦相似度评估模型，得到两两向量之间的相似度值；
根据所述两两向量之间的相似度值，生成大小为M*N的相似度矩阵；
将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
2.根据权利要求1所述的基于表征学习的财务风险预测方法，其特征在于，方法还包括：
基于深度自注意力网络构建文本表征模型；
根据至少一个财务文本、所述财务文本对应的财务风险类别标签以及文本向量序列，构建财务文本训练集；
从所述文本向量序列中获取任意句子向量，并通过随机掩码算法得到掩码后的句子向量；
将所述掩码后的句子向量输入所述文本表征模型，预测文本向量概率分布；
根据所述文本向量概率分布和原句子向量，确定第一交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征模型，以获得文本表征优化模型；
根据不同类型或者不同程度的风险词条，构建风险词条训练集；
将所述文本向量序列和所述风险词条输入所述文本表征优化模型，获取文本特征向量和词条特征向量；
获取所述文本特征向量和所述词条特征向量之间的相关性与所述财务文本的财务风险类别标签，确定第二交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征优化模型，以获得财务文本表征模型。
3.根据权利要求2所述的基于表征学习的财务风险预测方法，其特征在于，所述获取所述文本特征向量和所述词条特征向量之间的相关性，包括：
根据所述文本特征向量和所述词条特征向量，计算交叉注意力向量；
通过预设激活函数对所述交叉注意力向量进行处理，得到相关性；其中，所述相关性表示为：
，
上式中，为相关性集合；/>为Sigmoid激活函数；/>为词条特征向量；/>为文本特征向量；/>、/>为可学习向量；/>为第/>个词条特征向量与第/>个文本特征向量之间的相关性。
4.根据权利要求3所述的基于表征学习的财务风险预测方法，其特征在于，所述第一交叉熵损失函数为：
，
上式中，为第一交叉熵损失函数；/>为文本表征模型的网络参数；/>为文本向量概率分布；/>为文本向量概率分布中的文本向量；/>为文本向量/>的概率值；/>为向量标记，用于判断概率值/>对应的文本向量/>是否属于原句子向量/>；
所述第二交叉熵损失函数为：
，
上式中，为第二交叉熵损失函数；/>为第/>个词条特征向量与第/>个文本特征向量之间的相关性；/>为相关性标注，用于预测第/>个风险词条与第/>个财务文本是否相关。
5.根据权利要求1所述的基于表征学习的财务风险预测方法，其特征在于，所述将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果，包括：
将所述大小为M*N的相似度矩阵拆分为N个列向量，并与N个所述风险词条进行关联；
将与每个所述风险词条关联的列向量输入财务风险预测模型，以获取对应的初步预测结果；其中，所述初步预测结果表征所述风险词条符合或者不符合企业当前风险状况；
根据N个所述初步预测结果生成财务风险预测结果；其中，所述财务风险预测结果包含根据符合企业当前风险状况的所有风险词条所确定的风险类型和风险程度。
6.根据权利要求5所述的基于表征学习的财务风险预测方法，其特征在于，所述将与每个所述风险词条关联的列向量输入财务风险预测模型，以获取对应的初步预测结果，包括：
对于每个所述列向量，通过财务风险预测模型对所述列向量中的相似度值进行平均值计算后，将计算得到的平均相似度值和预设阈值进行比对，并根据比对信息判断所述风险词条是否符合企业当前风险状况，以得到初步预测结果。
7.一种基于表征学习的财务风险预测系统，其特征在于，包括：
财务文本获取模块，用于获取财务文本集合，所述财务文本集合包含M个财务文本；
财务文本处理模块，用于对每个所述财务文本进行向量化处理，获取对应的文本向量序列，并根据所述文本向量序列和预设的财务文本表征模型，获取对应的文本特征向量；
风险词条获取模块，用于获取风险词条集合，所述风险词条集合包含不同类型和不同程度的N个风险词条；
风险词条处理模块，用于根据所述风险词条集合和所述财务文本表征模型，获取与每个风险词条对应的词条特征向量；
相似度分析模块，用于对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵；
所述对于M个所述文本特征向量和N个所述词条特征向量，计算基于交叉注意力的余弦相似度，并构建相似度矩阵，包括：
获取基于交叉注意力的余弦相似度评估模型，具体为：
，
其中，为基于交叉注意力的余弦相似度评估模型；/>为词条特征向量；/>为文本特征向量；/>、/>为可学习向量；/>为矩阵转置操作；/>为向量取模函数；
将每个所述文本特征向量和每个所述词条特征向量输入所述基于交叉注意力的余弦相似度评估模型，得到两两向量之间的相似度值；
根据所述两两向量之间的相似度值，生成大小为M*N的相似度矩阵；
财务风险预测模块，用于将所述相似度矩阵拆分为列向量，根据所述列向量和预设的财务风险预测模型，获取财务风险预测结果。
8.根据权利要求7所述的基于表征学习的财务风险预测系统，其特征在于，装置还包括：
表征模型构建模块，用于基于深度自注意力网络构建文本表征模型；
模型初步优化模块，用于根据至少一个财务文本、所述财务文本对应的财务风险类别标签以及文本向量序列，构建财务文本训练集；从所述文本向量序列中获取任意句子向量，并通过随机掩码算法得到掩码后的句子向量；将所述掩码后的句子向量输入所述文本表征模型，预测文本向量概率分布；根据所述文本向量概率分布和原句子向量，确定第一交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征模型，以获得文本表征优化模型；
模型二次优化模块，用于根据不同类型或者不同程度的风险词条，构建风险词条训练集；将所述文本向量序列和所述风险词条输入所述文本表征优化模型，获取文本特征向量和词条特征向量；获取所述文本特征向量和所述词条特征向量之间的相关性与所述财务文本的财务风险类别标签，确定第二交叉熵损失函数，并采用梯度下降反向传播算法优化所述文本表征优化模型，以获得财务文本表征模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310683245.8A CN116402630B (zh) | 2023-06-09 | 2023-06-09 | 一种基于表征学习的财务风险预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310683245.8A CN116402630B (zh) | 2023-06-09 | 2023-06-09 | 一种基于表征学习的财务风险预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402630A CN116402630A (zh) | 2023-07-07 |
| CN116402630B true CN116402630B (zh) | 2023-09-22 |
Family
ID=87012802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310683245.8A Active CN116402630B (zh) | 2023-06-09 | 2023-06-09 | 一种基于表征学习的财务风险预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402630B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117216801A (zh) * | 2023-11-07 | 2023-12-12 | 江苏航运职业技术学院 | 一种基于人工智能的企业财务数据安全管理系统及方法 |
| CN117541411B (zh) * | 2023-11-08 | 2024-06-11 | 厦门工学院 | 一种基于大数据处理的财务预测模型的构建方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133805A (ja) * | 2005-11-14 | 2007-05-31 | Asahi Kasei Corp | 危険予知管理システム |
| JP2013080456A (ja) * | 2011-09-21 | 2013-05-02 | Norihide Noda | 企業評価システム、企業評価方法及び企業評価プログラム |
| CN110502655A (zh) * | 2019-07-31 | 2019-11-26 | 武汉大学 | 一种嵌入场景文字信息的图像自然描述语句生成方法 |
| CN112308743A (zh) * | 2020-10-21 | 2021-02-02 | 上海交通大学 | 一种基于三元组相似任务的审判风险预警方法 |
| CN112750029A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 信用风险预测方法、装置、电子设备及存储介质 |
| CN113887821A (zh) * | 2021-10-20 | 2022-01-04 | 度小满科技(北京)有限公司 | 一种用于风险预测的方法和装置 |
| CN114693107A (zh) * | 2022-03-26 | 2022-07-01 | 西安科技大学 | 企业财务风险预测方法、系统和电子设备 |
| CN115544238A (zh) * | 2022-09-17 | 2022-12-30 | 上海财经大学 | 融合公司新闻故事线特征的财务粉饰识别系统 |
| CN116071077A (zh) * | 2023-03-06 | 2023-05-05 | 深圳市迪博企业风险管理技术有限公司 | 一种违规账户的风险评估与识别方法及装置 |
| CN116109195A (zh) * | 2023-02-23 | 2023-05-12 | 深圳市迪博企业风险管理技术有限公司 | 一种基于图卷积神经网络的绩效评估方法及系统 |
-
2023
- 2023-06-09 CN CN202310683245.8A patent/CN116402630B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007133805A (ja) * | 2005-11-14 | 2007-05-31 | Asahi Kasei Corp | 危険予知管理システム |
| JP2013080456A (ja) * | 2011-09-21 | 2013-05-02 | Norihide Noda | 企業評価システム、企業評価方法及び企業評価プログラム |
| CN110502655A (zh) * | 2019-07-31 | 2019-11-26 | 武汉大学 | 一种嵌入场景文字信息的图像自然描述语句生成方法 |
| CN112308743A (zh) * | 2020-10-21 | 2021-02-02 | 上海交通大学 | 一种基于三元组相似任务的审判风险预警方法 |
| CN112750029A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 信用风险预测方法、装置、电子设备及存储介质 |
| CN113887821A (zh) * | 2021-10-20 | 2022-01-04 | 度小满科技(北京)有限公司 | 一种用于风险预测的方法和装置 |
| CN114693107A (zh) * | 2022-03-26 | 2022-07-01 | 西安科技大学 | 企业财务风险预测方法、系统和电子设备 |
| CN115544238A (zh) * | 2022-09-17 | 2022-12-30 | 上海财经大学 | 融合公司新闻故事线特征的财务粉饰识别系统 |
| CN116109195A (zh) * | 2023-02-23 | 2023-05-12 | 深圳市迪博企业风险管理技术有限公司 | 一种基于图卷积神经网络的绩效评估方法及系统 |
| CN116071077A (zh) * | 2023-03-06 | 2023-05-05 | 深圳市迪博企业风险管理技术有限公司 | 一种违规账户的风险评估与识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于文本挖掘的上市公司财务风险预警研究;梁龙跃等;《计算机工程与应用》;第58卷(第4期);第255-266页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402630A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111859960B (zh) | 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质 | |
| CN116402630B (zh) | 一种基于表征学习的财务风险预测方法及系统 | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| CN112926327B (zh) | 一种实体识别方法、装置、设备及存储介质 | |
| CN111091004B (zh) | 一种语句实体标注模型的训练方法、训练装置及电子设备 | |
| CN114528845A (zh) | 异常日志的分析方法、装置及电子设备 | |
| CN111709225B (zh) | 一种事件因果关系判别方法、装置和计算机可读存储介质 | |
| CN115310443A (zh) | 模型训练方法、信息分类方法、装置、设备及存储介质 | |
| CN113761875B (zh) | 事件抽取方法、装置、电子设备及存储介质 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN110674370A (zh) | 域名识别方法及装置、存储介质及电子设备 | |
| CN113486174A (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN114969334B (zh) | 异常日志检测方法、装置、电子设备及可读存储介质 | |
| CN116795978A (zh) | 一种投诉信息处理方法、装置、电子设备及介质 | |
| CN112818688B (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN112988699B (zh) | 模型训练方法、数据标签的生成方法及装置 | |
| CN114610882A (zh) | 一种基于电力短文本分类的异常设备编码检测方法和系统 | |
| CN113535820A (zh) | 一种基于卷积神经网络的电气操作人员属性推测方法 | |
| CN111199170B (zh) | 配方文件识别方法及装置、电子设备、存储介质 | |
| CN114462411B (zh) | 命名实体识别方法、装置、设备及存储介质 | |
| Singh et al. | Axiomatic Analysis of Pre‐Processing Methodologies Using Machine Learning in Text Mining: A Social Media Perspective in Internet of Things | |
| CN115618857B (zh) | 威胁情报处理方法、威胁情报推送方法及装置 | |
| CN116561540B (zh) | 业务数据校正方法、装置及ai数字人的训练方法、装置 | |
| CN118229465A (zh) | 基于聚类中心表征的申请前专利质量评估方法及系统 | |
| CN116741369A (zh) | 模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |