CN114022058A - 基于时序知识图谱的中小企业失信风险预测方法 - Google Patents

Abstract

本发明提供一种基于时序知识图谱的中小企业失信风险预测方法。首先构建中小企业的时序知识图谱；其次，对时序知识图谱进行表示学习得到对应的实体嵌入矩阵和关系嵌入矩阵；再次，根据实体嵌入矩阵和关系嵌入矩阵对时序知识图谱中各个企业的相邻节点进行向量表示，得到对应的相邻节点序列，并根据相邻节点序列计算各个相邻节点的隐藏状态；然后，根据隐藏状态和目标企业的表示向量分析各个相邻节点的注意力权重后进行聚合处理，得到目标企业的风险评估表示向量；最后，将风险评估表示向量输入一个全连接层计算得到目标企业的失信风险评估结果并进行可视化展示。与传统的机器学习方法相比，提高了中小企业失信风险预测的准确性。

Description

基于时序知识图谱的中小企业失信风险预测方法

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种基于时序知识图谱的中小企业失信风险预测方法。

背景技术

一般来说，企业的信用风险可以从各种角度进行分析。其中一个重要视角是分析信用不诚实风险，即企业是否被法院作为不诚实主体来执行。这种风险对许多与不诚实公司，和有其业务往来的企业、政府、银行等机构影响很大。因此，有必要分析风险，以帮助机构避免可能的损失，并将更多的资源投入到质量更好的公司中。随着认知计算的发展，大量的非结构化数据被用来辅助决策。当前失信风险预测模型的关键要素包括企业的财务数据、年度报告、股票和其他业务信息。然而，获得中小企业的这些信息是非常困难的。研究人员只能从新闻，案例和企业分支机构中收集有用的信息，对风险评估的准确性较差。现有的通过机器学习的方法进行评估的效果也并不是很好，因此需要提供一种方案以提高中小企业失信风险预测的准确性。

发明内容

本发明的目的在于提供一种基于时序知识图谱的中小企业失信风险预测方法，用以实现提高中小企业失信风险预测的准确性的技术效果。

第一方面，本发明提供了一种基于时序知识图谱的中小企业失信风险预测方法，包括：

S1.根据目标企业与其它企业之间存在的关系顺序以及各个企业发生的事件构建时序知识图谱；所述时序知识图谱以企业、事件作为实体节点，各个企业之间的相互关系以及各个企业与各个事件之间的相互关系作为边；

S2.对所述时序知识图谱进行表示学习得到对应的实体嵌入矩阵和关系嵌入矩阵；

S3.根据所述实体嵌入矩阵和所述关系嵌入矩阵对所述时序知识图谱中各个企业的相邻节点进行向量表示，得到对应的相邻节点序列，并根据所述相邻节点序列计算各个相邻节点的隐藏状态；

S4.根据所述隐藏状态和目标企业的表示向量分析各个所述相邻节点的注意力权重后进行聚合处理，得到目标企业的风险评估表示向量；

S5.将所述风险评估表示向量输入一个全连接层计算得到目标企业的失信风险评估结果并进行可视化展示。

进一步地，所述S4的实现方式为：

式中，e _i 表示目标企业的表示向量，通过S2的表示学习获得；

表示目标企业的风险评估表示向量；h _j 表示与目标企业的第j个相邻节点的隐藏状态；

表示h _j 的转置；δ _ij 表示相邻节点的注意力权重；a _j 表示第j个相邻节点的聚合系数；n表示相邻节点的总数；i、j、k均表示设置的变量。

进一步地，所述S2中对所述时序知识图谱进行表示学习时使用的模型为Trans系列模型中的任意一种。

进一步地，所述S3中的隐藏状态通过BiRGU模型或者BiLSTM模型进行计算得到。

进一步地，所述S5的实现方式为：

式中，

表示失信风险评估结果；W _f 和b _f 表示全连接层的参数；

表示目标企业的风险评估表示向量。

进一步地，所述方法还包括通过二元交叉熵损失函数对目标企业的失信风险评估结果进行优化：

式中，L表示二元交叉熵损失函数；n表示相邻节点的总数；φ表示计算过程中的基本参数；λ为防止过拟合设置的超参数；y表示目标企业是否失信的基本事实，若目标企业失信则y=1，若目标企业未失信则y=0；

表示失信风险评估结果。

本发明能够实现的有益效果是：本发明提供的基于时序知识图谱的中小企业失信风险预测方法首先通过目标企业与其它企业之间存在的关系顺序以及各个企业发生的事件构建时序知识图谱；其次对该时序知识图谱进行表示学习将实体和关系矢量化得到对应的实体嵌入矩阵和关系嵌入矩阵；然后，根据得到的两个矩阵进一步获得各个企业的相邻节点隐藏状态；进而根据该隐藏状态和目标企业的表示向量分析各个相邻节点的注意力权重并进行聚合处理，得到目标企业的风险评估表示向量；最后通过一个全连接层分析得到最后的失信风险评估结果。整个过程充分考虑了中小企业相关的时间动态变化数据；解决了传统的失信风险预测模型需要根据企业的财务数据、年度报告、股票和其他业务信息进行失信风险评估而无法准确对中小企业进行风险评估的问题，可以更准确地对中小企业的失信风险进行预测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种基于时序知识图谱的中小企业失信风险预测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1，图1为本发明实施例提供的一种基于时序知识图谱的中小企业失信风险预测方法的流程示意图。

本发明提供了一种基于时序知识图谱的中小企业失信风险预测方法，其具体内容如下所述。

S1.根据目标企业与其它企业之间存在的关系顺序以及各个企业发生的事件构建时序知识图谱；所述时序知识图谱以企业、事件作为实体节点，各个企业之间的相互关系以及各个企业与各个事件之间的相互关系作为边。

具体地，时序知识图谱中可以在目标企业与其它企业之间的关系顺序和各个企业发生的事件（例如新闻、法律案件等）的基础上结合时间信息进行知识图谱结构的构建。其中，以企业、事件作为实体节点，各个企业之间的相互关系以及各个企业与各个事件之间的相互关系作为边。

S2.对所述时序知识图谱进行表示学习得到对应的实体嵌入矩阵和关系嵌入矩阵。

示例性地，对时序知识图谱进行表示学习时使用的模型可以为Trans系列模型中的任意一种。

在一种实施方式中，本发明实施例选用TransE模型来进行表示学习，从而得到对应的实体嵌入矩阵E∈R ^a×d和关系嵌入矩阵P∈R ^b×d；a表示时序知识图谱中的实体节点数；b表示时序知识图谱中的关系数，d是表示维度的超参数。

具体来说，如果给定一个三元组(h，l，t)，其中h是头实体，t是尾实体，l是关系，它们有以下关系：t≈h+l，这意味着

应该尽可能接近h+l。相反，如果(h，l，t)不是三元组，则应将它们保持在尽可能远的地方。另外，在使用TransE模型来进行表示学习时，可以通过负抽样方法构建负样本：

S’={(h’，l，t)|h’∈E}U{(h，l，t’)|t’∈E}

上式中，θ表示L1范数或 L2 范数；h’表示随机生成的头实体；t’表示随机生成的尾实体；S表示正确的三元组构成的正样本；S’表示错误的三元组构成的负样本；γ 表示正负样本之间的间距。

需要说明的是，在进行表示学习时，也可以使用TransH模型、TransD模型、TransA模型、TransG模型等目前常用的各种表示学习模型。

S3.根据所述实体嵌入矩阵和所述关系嵌入矩阵对所述时序知识图谱中各个企业的相邻节点进行向量表示，得到对应的相邻节点序列，并根据所述相邻节点序列计算各个相邻节点的隐藏状态。

示例性地，上述的隐藏状态可以通过BiRGU模型或者BiLSTM模型进行计算得到。

在一种实施方式中，本发明实施例选择BiLSTM模型进行计算。其具体流程如下所述。

假设目标企业的一个邻居向量表示为w _j ；该向量是目标企业的实体节点的相邻实体节点，以及该相邻实体节点对应的实体与目标企业的关系的表示向量:

w _j =[e _j ，p _k ]

其中，e _j 是相邻节点的表示向量；p _k 是该相邻节点对应的实体与目标企业对应关系的表示向量；这两个向量分别来自获取到的实体嵌入矩阵和关系嵌入矩阵。进一步地，目标企业在时间t的相邻节点序列可以表示为矩阵：

其中，n是相邻节点的总数；w _n ∈R^2d是一个维度为2d的实数矩阵，R表示实数域。

通过BiLSTM模型读取上述的相邻节点序列，并以以下形式计算每个相邻节点的隐藏状态：

接着，我们可以通过

，

计算得到各个相邻节点在时间t的隐藏状态h _t ，它的长为2u，u表示维度参数。

最后，还可以进一步得到相邻节点序列对应的隐藏状态。

H=（h ₁ ，h ₂ ，...，h _n ）

S4.根据所述隐藏状态和目标企业的表示向量分析各个所述相邻节点的注意力权重后进行聚合处理，得到目标企业的风险评估表示向量。

在一种实施方式中，S4的实现方式为：

式中，e _i 表示目标企业的表示向量，通过S2的表示学习获得；

表示目标企业的风险评估表示向量；h _j 表示与目标企业的第j个相邻节点的隐藏状态；

表示h _j 的转置；δ _ij 表示相邻节点的注意力权重；a _j 表示第j个相邻节点的聚合系数；n表示相邻节点的总数；i、j、k均表示设置的变量。

S5.将所述风险评估表示向量输入一个全连接层计算得到目标企业的失信风险评估结果并进行可视化展示。

在一种实施方式中，S5的实现方式为：

式中，

表示失信风险评估结果；W _f 和b _f 表示全连接层的参数；

表示目标企业的风险评估表示向量。

在一种实施方式中，上述方法还包括：

通过二元交叉熵损失函数对目标企业的失信风险评估结果进行优化：

式中，L表示二元交叉熵损失函数；n表示相邻节点的总数；φ表示计算过程中的基本参数；λ为防止过拟合设置的超参数；y表示目标企业是否失信的基本事实，若目标企业失信则y=1，若目标企业未失信则y=0；

表示失信风险评估结果。

综上所述，本发明实施例提供一种基于时序知识图谱的中小企业失信风险预测方法，包括：S1.根据目标企业与其它企业之间存在的关系顺序以及各个企业发生的事件构建时序知识图谱；时序知识图谱以企业、事件作为实体节点，各个企业之间的相互关系以及各个企业与各个事件之间的相互关系作为边；S2.对时序知识图谱进行表示学习得到对应的实体嵌入矩阵和关系嵌入矩阵；S3.根据实体嵌入矩阵和关系嵌入矩阵对时序知识图谱中各个企业的相邻节点进行向量表示，得到对应的相邻节点序列，并根据相邻节点序列计算各个相邻节点的隐藏状态；S4.根据隐藏状态和目标企业的表示向量分析各个相邻节点的注意力权重后进行聚合处理，得到目标企业的风险评估表示向量；S5.将风险评估表示向量输入一个全连接层计算得到目标企业的失信风险评估结果并进行可视化展示。通过上述方式，解决了传统的失信风险预测模型需要根据企业的财务数据、年度报告、股票和其他业务信息进行失信风险评估而无法准确对中小企业进行风险评估的问题，可以更准确地对中小企业的失信风险进行预测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于时序知识图谱的中小企业失信风险预测方法，其特征在于，包括：

S1.根据目标企业与其它企业之间存在的关系顺序以及各个企业发生的事件构建时序知识图谱；所述时序知识图谱以企业、事件作为实体节点，各个企业之间的相互关系以及各个企业与各个事件之间的相互关系作为边；

S2.对所述时序知识图谱进行表示学习得到对应的实体嵌入矩阵和关系嵌入矩阵；

S3.根据所述实体嵌入矩阵和所述关系嵌入矩阵对所述时序知识图谱中各个企业的相邻节点进行向量表示，得到对应的相邻节点序列，并根据所述相邻节点序列计算各个相邻节点的隐藏状态；

S4.根据所述隐藏状态和目标企业的表示向量分析各个所述相邻节点的注意力权重后进行聚合处理，得到目标企业的风险评估表示向量；

S5.将所述风险评估表示向量输入一个全连接层计算得到目标企业的失信风险评估结果并进行可视化展示。

2.根据权利要求1所述的方法，其特征在于，所述S4的实现方式为：

式中，e _i 表示目标企业的表示向量，通过S2的表示学习获得；

表示目标企业的风险评估表示向量；h _j 表示与目标企业的第j个相邻节点的隐藏状态；

表示h _j 的转置；δ _ij 表示相邻节点的注意力权重；a _j 表示第j个相邻节点的聚合系数；n表示相邻节点的总数；i、j、k均表示设置的变量。

3.根据权利要求1所述的方法，其特征在于，所述S2中对所述时序知识图谱进行表示学习时使用的模型为Trans系列模型中的任意一种。

4.根据权利要求1所述的方法，其特征在于，所述S3中的隐藏状态通过BiRGU模型或者BiLSTM模型进行计算得到。

5.根据权利要求1所述的方法，其特征在于，所述S5的实现方式为：

式中，

表示失信风险评估结果；W _f 和b _f 表示全连接层的参数；

表示目标企业的风险评估表示向量。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括通过二元交叉熵损失函数对目标企业的失信风险评估结果进行优化：

式中，L表示二元交叉熵损失函数；n表示相邻节点的总数；φ表示计算过程中的基本参数；λ为防止过拟合设置的超参数；y表示目标企业是否失信的基本事实，若目标企业失信则y=1，若目标企业未失信则y=0；

表示失信风险评估结果。

Images