CN111339320B - 一种引入实体类型自动化表示的知识图谱嵌入与推理方法 - Google Patents

Abstract

本发明公开了一种引入实体类型自动化表示的知识图谱嵌入与推理方法，包括定义三元组关于实体类型表示的能量函数，按照实体类型的语义相关性对头实体和尾实体的实体类型表示分别进行约束；对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示；联合建立评价函数，通过最小化评价函数，得到实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；联合实体类型表示的能量函数和实体表示的能量函数构建两阶段推理策略，实现知识图谱的推理。本发明对任何知识图谱都可自动学习出实体类型表示，能够过滤不满足三元组关于实体类型约束的实体，并能够建模和推理对称关系和复杂关系，提高了知识图谱推理的精度。

Description

一种引入实体类型自动化表示的知识图谱嵌入与推理方法

技术领域

本发明涉及自然语言处理和知识图谱技术领域，更具体的说是涉及一种对于任何知识图谱都通用的引入实体类型自动化表示的知识图谱嵌入方法。

背景技术

知识图谱以图结构存储和组织由实体和关系构成的知识，并能够根据需求提供查询和推理等功能，成为人工智能领域实现认知系统的重要技术之一。目前，知识图谱已在智慧公安、金融反欺诈和智能医疗等领域发挥重要作用。

由于一般情况下构建的知识图谱规模巨大，不可避免会出现知识图谱信息不全的情况，例如一些三元组缺少其中的一个实体或关系，因此需要在知识图谱上进行推理补全缺失的知识。传统基于符号的方法的复杂度随着知识图谱的规模急剧增加，无法满足现有的大规模知识图谱的推理任务。知识图谱嵌入旨在将知识图谱中的实体和关系嵌入到低维向量空间，借助于低维向量表示的知识图谱推理具有较高的计算效率和泛化性能。如何得到对于任何知识图谱都通用的知识图谱向量表示并实现精确的推理任务是知识图谱嵌入的重点和难点，而仅利用三元组本身的信息来进行知识图谱嵌入难以准确表示知识图谱中实体和关系，需要学习更多的语义信息来辅助表示知识图谱并进行推理。同时，大多数知识图谱中存在对称关系和一对多，多对一和多对多的复杂关系，因此需要设计相应的知识图谱嵌入策略来解决这些问题。

针对上述问题，国内外已有相关方法用于知识图谱嵌入。专利CN201911036820.5设计了一种基于隐式翻译模型的知识图谱嵌入方法，将关系表示为两层全连接神经网络，但这种方法仅考虑了单独的三元组信息，无法得到语义信息更加丰富的知识图谱表示，进一步影响知识图谱的推理性能；专利CN201610350225.9充分利用特定知识图谱中存在的具有层次结构的实体类型信息，使得实体通过关于不同实体类型的映射矩阵得到不同的表示，专利CN201510947068.5基于连续词袋模型和卷积神经网络构建实体描述的表示，然而，以上两种方法依赖于给定的实体类型或实体描述，无法适用于知识图谱中不存在实体类型和无法直接得到实体描述信息的情况，限制了这两种方法的通用性。

因此，如何提供一种引入实体类型自动化表示的知识图谱嵌入与推理方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种引入实体类型自动化表示的知识图谱嵌入与推理方法，由于现有技术无法从不带有实体类型的知识图谱中得到实体类型表示，且难以同时解决对称关系和一对多，多对一和多对多的复杂关系的推理问题，本发明提供一种引入实体类型自动化表示的知识图谱嵌入与推理方法，针对任意存在或不存在实体类型的知识图谱，通过定义三元组分别关于实体类型表示和实体表示的能量函数，并按照实体类型间的语义相关性进行实体类型表示的语义约束，得到实体和关系的表示并自动学习实体类型表示，以提高知识图谱嵌入的性能和知识图谱推理的准确性。

为了实现上述目的，本发明提供如下技术方案：

一种引入实体类型自动化表示的知识图谱嵌入与推理方法，具体步骤如下：

步骤一：针对任何知识图谱中的每个实体，利用三元组构建关于实体类型表示的能量函数；基于实体类型表示的能量函数，按照实体类型的语义相关性对三元组中头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；

步骤二：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；

步骤三：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；

步骤四：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。

优选的，所述步骤一的具体步骤为：针对任何知识图谱中的每个实体，无论知识图谱中是否已经给出其类型，都可以用向量来表示其类型，因此对于任意由头实体h，尾实体t和这二者之间的关系r组成的三元组(h,r,t)，定义三元组关于实体类型表示的能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||M_ry_h+y_r-M_ry_t||

其中，y_h∈R^d，y_r∈R^d，y_t∈R^d分别是头实体h的实体类型，关系r和尾实体t的实体类型在实数空间下的表示，且均为维度为d的实值向量；M_r∈R^d×d是实体类型表示关于关系r的注意力权重矩阵，且维度是d×d的实数矩阵；当r为对称关系时，y_r＝0，保证头实体和尾实体具有相同的实体类型表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系，通过不同的注意力权重矩阵M_r使其均能满足M_ry_h+y_r＝M_ry_t的目标。

基于步骤一中的实体类型表示，当两个实体同时作为知识图谱中两个三元组的头实体或尾实体时，如果对应相同的关系，则这两个实体类型具有更高的语义相关性，反之，这两个实体类型具有更低的语义相关性；因此对于两个三元组(h₁,r₁,t₁)和(h₂,r₂,t₂)，定义衡量这两个三元组中实体类型的语义相关度的能量函数E₂((h₁,r₁,t₁),(h₂,r₂,t₂))为：

其中，h₁和h₂为头实体，r₁和r₂为关系，t₁和t₂为尾实体；

和

分别是实体类型表示关于关系r₁和关系r₂的两个注意力权重矩阵；

和

分别为头实体h₁和h₂的实体类型表示，

和

分别为尾实体t₁和t₂的实体类型表示。

优选的，所述步骤二的具体步骤为：为了提高实体的表示能力，并能够建模和推理对称关系，定义三元组(h,r,t)关于实体表示的能量函数E₃(h,r,t)为：

E₃(h,r,t)＝||e_h,rοr-e_t,r||,

e_h,r＝h-h^Τw_rh,e_t,r＝t-t^Τw_rt

其中，h∈C^k，r∈C^k和t∈C^k分别为头实体h，关系r和尾实体t在复数空间下的表示，且均为维度为k的复数向量；w_r∈C^k表示关于关系r的关系超平面；e_h,r∈C^k和e_t,r∈C^k分别为头实体h和尾实体t投影到关系超平面w_r的实体表示；ο表示哈达玛积，h^Τ和t^Τ分别表示实体表示h和t的转置；

基于所述步骤二中的实体表示和关系表示，当建模和推理对称关系时，关系r在复数空间下的表示r的任何一个元素r_i都应该满足r_i＝±1,i＝1,2,...,k，并且至少有一个元素值为-1以保证头实体和尾实体具有不同的表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系的情况，通过不同的关系超平面w_r使其均能满足e_h,rοr＝e_t,r的目标。

优选的，所述步骤三的具体步骤为：基于步骤一和步骤二分别得到的三个能量函数E₁(h,r,t)，E₂((h₁,r₁,t₁),(h₂,r₂,t₂))，E₃(h,r,t)，构建基于边际的评价函数，具体公式如下所示：

L₁＝max[0,E₁(h,r,t)+γ₁-E₁(h',r,t')]

L₃＝-logσ(γ₃-E₃(h,r,t))-logσ(E₃(h',r,t')-γ₃)

其中，L是整个知识图谱集成嵌入模型的评价函数，L₁是三元组关于实体类型表示的评价函数，L₂是基于triplet loss的关于实体类型相关度的评价函数，L₃是三元组关于实体表示的评价函数；max[0,x]定义为选取0和x二者的最大值，x代表任意一个实数；α₁和α₂分别代表对于L₃和L₂的权重；γ₁,γ₂,γ₃分别代表L₁，L₂和L₃三个评价函数中的边际参数；(h_p,r,t_p)是与三元组(h,r,t)具有相同关系的正例，(h_n,r',t_n)是与三元组(h,r,t)具有不同关系的负例，σ()表示sigmoid函数；S表示知识图谱中存在的三元组的正例集，T^-表示利用T重构的负例集，Y是与三元组(h,r,t)具有相同关系的正例集，Y^-是与三元组(h,r,t)具有不同关系的负例集。

优选的，所述步骤四的具体步骤为：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，构建两阶段推理策略，用于补全知识图谱中缺少头实体或尾实体的三元组，阶段一从知识图谱的全部实体中每次选取一个实体填入三元组缺失的头实体或尾实体，并利用实体类型表示和与实体类型表示相关的关系表示，包括步骤一中的能量函数E₁(h,r,t)，从知识图谱的所有实体中选出阈值范围内的候选实体集，阶段二利用阶段一得到的候选实体集利用实体表示和用实体表示得到的关系表示，包括步骤二中的能量函数E₃(h,r,t)，得到排名最高的实体并给出推理结果。

本发明设计的一种引入实体类型自动化表示的知识图谱嵌入与推理方法与现有技术相比的优点在于：

(1)对于任意知识图谱，无论其是否存在实体类型，均可以自动学习得到实体类型表示，具有较好的通用性；

(2)在复数空间中得到的实体和关系表示与在实数空间中得到的实体类型表示和关系表示都可以满足对称关系和一对多，多对一和多对多的复杂关系的建模和推理；

(3)基于学习得到的实体、关系和实体类型表示，在推理过程中结合实体和实体类型表示，通过实体类型丰富语义信息，提高知识图谱推理的准确性，在知识图谱推理的链接预测任务中将本发明方法与其他的方法包括TransE、DisMult、HolE、ComplEx、ConvE进行比较，本发明方法具有更优的性能和良好的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的引入实体类型自动化表示的知识图谱嵌入与推理方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种引入实体类型自动化表示的知识图谱嵌入与推理方法，不仅能够从任意知识图谱中自动学习实体类型表示，而且得到的实体和关系表示与实体类型表示都可以建模和推理对称关系与一对多，多对一和多对多的复杂关系，并在推理的过程中利用实体类型表示丰富了语义信息，通过过滤掉不满足三元组关于实体类型约束的实体，能够在知识图谱推理等任务中提高准确率，具有良好的实用性。

如图1所示，本发明的一种引入实体类型自动化表示的知识图谱嵌入与推理方法步骤为：首先在知识图谱中引入实体类型，知识图谱中的每个实体都对应一个实体类型，定义三元组关于实体类型表示的能量函数，同时按照实体类型的语义相关性对头实体和尾实体的实体类型表示分别进行约束；接着对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；然后结合关于实体类型表示的能量函数、实体类型间的语义相关度约束和关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；最后联合关于实体类型表示的能量函数和关于实体表示的能量函数构建两阶段推理策略，实现知识图谱的推理；具体实施步骤如下：

一种引入实体类型自动化表示的知识图谱嵌入与推理方法，具体步骤如下：

S1：针对任何知识图谱中的每个实体，都可以用向量来表示其类型，据此定义三元组关于实体类型表示的能量函数；基于实体类型表示，按照实体类型的语义相关性对头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；

S2：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；

S3：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；

S4：基于S3得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。

进一步的，S1的具体步骤为：针对任何知识图谱中的每个实体，无论知识图谱中是否已经给出其类型，都可以用向量来表示其类型，因此对于任意由头实体h，尾实体t和这二者之间的关系r组成的三元组(h,r,t)，定义三元组关于实体类型表示的能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||M_ry_h+y_r-M_ry_t||

其中，y_h∈R^d，y_r∈R^d，y_t∈R^d分别是头实体h的实体类型，关系r和尾实体t的实体类型在实数空间下的表示，且均为维度为d的实值向量，优选的，维度d选取为150；M_r∈R^d×d是实体类型表示关于关系r的注意力权重矩阵，且维度是d×d的实数矩阵；并且，在建模和推理对称关系时，可以得到如下引理：

引理1：当关系r为对称关系时，关系r在实数空间的表示应满足y_r＝0，且头实体和尾实体具有相同的实体类型表示；

证明：由关系r为对称关系，可得：

M_ry_h+y_r＝M_ry_t

M_ry_t+y_r＝M_ry_h

通过对上面两个公式联立求解，可得：

y_r＝0,y_h＝y_t

当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系，通过不同的注意力权重矩阵M_r使其均能满足M_ry_h+y_r＝M_ry_t的目标。

基于S1中的实体类型表示，当两个实体同时作为知识图谱中两个三元组的头实体或尾实体时，如果对应相同的关系，则这两个实体类型具有更高的语义相关性，反之，这两个实体类型具有更低的语义相关性；因此对于两个三元组(h₁,r₁,t₁)和(h₂,r₂,t₂)，定义衡量这两个三元组中实体类型的语义相关度的能量函数E₂((h₁,r₁,t₁),(h₂,r₂,t₂))为：

其中，h₁和h₂为头实体，r₁和r₂为关系，t₁和t₂为尾实体；

和

分别是实体类型表示关于关系r₁和关系r₂的两个注意力权重矩阵；

和

分别为头实体h₁和h₂的实体类型表示，

和

分别为尾实体t₁和t₂的实体类型表示。

进一步的，S2的具体步骤为：为了提高实体的表示能力，并能够建模和推理对称关系，定义三元组(h,r,t)关于实体表示的能量函数E₃(h,r,t)为：

E₃(h,r,t)＝||e_h,rοr-e_t,r||,

e_h,r＝h-h^Τw_rh,e_t,r＝t-t^Τw_rt

其中，h∈C^k，r∈C^k和t∈C^k分别为头实体h，关系r和尾实体t在复数空间下的表示，且均为维度为k的复数向量，优选的，维度k选取为1000；w_r∈C^k表示关于关系r的关系超平面；e_h,r∈C^k和e_t,r∈C^k分别为头实体h和尾实体t投影到关系超平面w_r的实体表示；ο表示哈达玛积，h^Τ和t^Τ分别表示实体表示h和t的转置；

基于S2中的实体表示和关系表示，当建模和推理对称关系时，可以得到如下引理：

引理2：当关系r为对称关系时，关系r在复数空间下的表示r的任何一个复数元素r_i的模都应该满足r_i＝±1,i＝1,2,...,k，并且至少有一个元素值为-1；证明：由关系r为对称关系，可得：

e_h,rοr＝e_t,r

e_t,rοr＝e_h,r

对上面两个公式进行联立求解，可以推导出：

rοr＝1(k)

其中，1(k)表示元素全部为1且维度为k的向量；进一步，由上式可得：

r_i＝±1,i＝1,2,...,k

由上式可得r的每个元素为±1，且为了保证头实体和尾实体具有不同的表示；

当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系，通过不同的关系超平面w_r使其均能满足e_h,rοr＝e_t,r的目标。

进一步的，S3的具体步骤为：基于S1和S2分别得到的三个能量函数E₁(h,r,t)，E₂((h₁,r₁,t₁),(h₂,r₂,t₂))，E₃(h,r,t)，构建基于边际的评价函数，具体公式如下所示：

L₁＝max[0,E₁(h,r,t)+γ₁-E₁(h',r,t')]

L₃＝-logσ(γ₃-E₃(h,r,t))-logσ(E₃(h',r,t')-γ₃)

其中，L是整个知识图谱集成嵌入模型的评价函数，L₁是三元组关于实体类型表示的评价函数，L₂是基于tripletloss的实体类型相关度的评价函数，L₃是三元组关于实体表示的评价函数；max[0,x]定义为选取0和x二者的最大值，x代表任意一个实数；α₁和α₂分别代表对于L₃和L₂的权重，经过反复调参得到优选值为α₁＝α₃＝1.0；γ₁,γ₂,γ₃分别代表L₁，L₂和L₃三个评价函数中的边际参数，经过多次试验调参得到其优选值为γ₁＝4.0,γ₂＝3.0,γ₃＝9.0；(h_p,r,t_p)是与三元组(h,r,t)具有相同关系的正例，(h_n,r',t_n)是与三元组(h,r,t)具有不同关系的负例，σ(·)表示sigmoid函数；S表示知识图谱中存在的三元组的正例集，T^-表示利用T重构的负例集，Y是与三元组(h,r,t)具有相同关系的正例集，Y^-是与三元组(h,r,t)具有不同关系的负例集。

进一步的，S4的具体步骤为：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，构建两阶段推理策略，用于补全知识图谱中缺少头实体或尾实体的三元组，阶段一从知识图谱的全部实体中每次选取一个实体填入三元组缺失的头实体或尾实体，并利用实体类型表示和与实体类型表示相关的关系表示，包括S1中的能量函数E₁(h,r,t)从知识图谱的所有实体中选出阈值范围内的候选实体集，这里，阈值范围优选为排名前1000，阶段二利用阶段一得到的候选实体集通过实体表示和用实体表示得到的关系表示，包括S2中的能量函数E₃(h,r,t)，得到排名最高的实体并给出推理结果。

在知识图谱推理的链接预测任务中将本发明方法与其他的方法包括TransE、DisMult、HolE、ComplEx、ConvE进行了比较，给出了每种方法在Hits@10也就是正确实体排名前10的比例这一指标下的结果，如表1所示，本发明方法在FB15K，WN18和YAGO3-10三个数据集上均取得更优的性能，具有良好的实用性。

表1实验结果对比表

数据集	FB15K	WN18	YAGO3-10
				TransE	0.749	0.943	/
DisMult	0.893	0.946	0.54
				HolE	0.739	0.947	/
ComplEx	0.840	0.947	0.55
				ConvE	0.831	0.956	0.62
本发明方法	0.896	0.961	0.699

利用上面给出的基于实体类型自动化表示的知识图谱集成嵌入方法对任何知识图谱都可以自动学习出实体类型表示，解决了现有基于实体类型的方法需要完全依赖知识图谱中显示的实体类型的问题，具有良好的通用性，同时，在知识图谱推理任务中，借助于学习得到的实体类型表示能够过滤不满足三元组中类型约束的实体，增加更多实体类型语义信息，提高了知识图谱推理的精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，具体步骤如下：

步骤一：针对任何知识图谱中的每个实体，利用三元组构建关于实体类型表示的能量函数；基于实体类型表示的能量函数，按照实体类型的语义相关性对三元组中头实体和尾实体的实体类型表示分别进行约束，得到衡量每两个三元组实体类型间的语义相关度的能量函数；

步骤二：对三元组中的实体表示进行关系超平面投影操作并构建关于实体表示的能量函数；

步骤三：结合关于实体类型表示的能量函数、实体类型间的语义相关度的能量函数、以及关于实体表示的能量函数，联合建立评价函数，并通过最小化评价函数，自动学习实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示；

步骤四：基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，并联合步骤一中的关于实体类型表示的能量函数和步骤二中的关于实体表示的能量函数构建两阶段推理策略，得到知识图谱推理结果，用于补全知识图谱中缺少头实体或尾实体的三元组。

2.根据权利要求1所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤一中，针对任何知识图谱中的实体，利用由头实体h，尾实体t和这二者之间的关系r组成的三元组(h,r,t)，定义三元组关于实体类型表示的能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||M_ry_h+y_r-M_ry_t||

其中，y_h∈R^d，y_r∈R^d，y_t∈R^d分别是头实体h的实体类型，关系r和尾实体t的实体类型在实数空间下的表示，且均为维度为d的实值向量；M_r∈R^d×d是实体类型表示关于关系r的注意力权重矩阵，且维度是d×d的实数矩阵；当r为对称关系时，y_r＝0，保证头实体和尾实体具有相同的实体类型表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体之间存在多种不同关系的情况，通过关于不同关系的注意力权重矩阵M_r使其均满足M_ry_h+y_r＝M_ry_t的目标；

基于实体类型表示，对于两个三元组(h₁,r₁,t₁)和(h₂,r₂,t₂)，如果这两个三元组具有相同的关系，则其中的两个头实体h₁和h₂或两个尾实体t₁和t₂具有更高的语义相似度，如果如果这两个三元组具有不同的关系，则其中的两个头实体h₁和h₂或尾实体t₁和t₂具有更低的语义相似度，定义衡量这两个三元组中实体类型的语义相关度的能量函数E₂((h₁,r₁,t₁),(h₂,r₂,t₂))为：

其中，h₁和h₂为头实体，r₁和r₂为关系，t₁和t₂为尾实体；

和

分别是实体类型表示关于关系r₁和关系r₂的两个注意力权重矩阵；

和

分别为头实体h₁和h₂的实体类型表示，

和

分别为尾实体t₁和t₂的实体类型表示。

3.根据权利要求2所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤二中，定义三元组(h,r,t)关于实体表示的能量函数E₃(h,r,t)为：

e_h,r＝h-h^Τw_rh,e_t,r＝t-t^Τw_rt

其中，h∈C^k，r∈C^k和t∈C^k分别为头实体h，关系r和尾实体t在复数空间下的表示，且均为维度为k的复数向量；w_r∈C^k表示关于关系r的关系超平面；e_h,r∈C^k和e_t,r∈C^k分别为头实体h和尾实体t投影到关系超平面w_r的实体表示；

表示哈达玛积，h^Τ和t^Τ分别代表实体表示h和t的转置；

基于所述步骤三中的实体表示和实体类型间的语义相关度表示，当建模和推理对称关系时，关系r在复数空间下的表示r的任何一个元素r_i都满足r_i＝±1,i＝1,2,...,k，并且至少有一个元素值为-1以保证头实体和尾实体具有不同的表示；当处理一对多，多对一和多对多的复杂关系时，针对相同的头实体和尾实体具有多种不同关系的情况，通过不同的关系超平面w_r使其均满足

的目标。

4.根据权利要求3所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤三中，基于步骤一和步骤二得到的三个能量函数E₁(h,r,t)，E₂((h₁,r₁,t₁),(h₂,r₂,t₂))，E₃(h,r,t)，构建基于边际的评价函数，具体公式如下所示：

L₁＝max[0,E₁(h,r,t)+γ₁-E₁(h',r,t')]

L₃＝-logσ(γ₃-E₃(h,r,t))-logσ(E₃(h',r,t')-γ₃)

其中，L是整个知识图谱集成嵌入模型的评价函数，L₁是三元组关于实体类型表示的评价函数，L₂是基于triplet loss的关于实体类型相关度的评价函数，L₃是三元组关于实体表示的评价函数；max[0,x]定义为选取0和x二者的最大值，x代表任意一个实数；α₁和α₂分别代表对于L₃和L₂的权重；γ₁,γ₂,γ₃分别代表L₁，L₂和L₃三个评价函数中的边际参数；(h_p,r,t_p)是与三元组(h,r,t)具有相同关系的正例，(h_n,r',t_n)是与三元组(h,r,t)具有不同关系的负例，σ(·)表示sigmoid函数；S表示知识图谱中存在的三元组的正例集，S-表示利用S重构的负例集，Y是与三元组(h,r,t)具有相同关系的正例集，Y-是与三元组(h,r,t)具有不同关系的负例集。

5.根据权利要求1所述的一种引入实体类型自动化表示的知识图谱嵌入与推理方法，其特征在于，所述步骤四中，基于步骤三得到的实体类型表示、与实体类型表示相关的关系表示、实体表示和与实体表示相关的关系表示，构建两阶段推理策略，用于补全知识图谱中缺少头实体或尾实体的三元组，阶段一从知识图谱的全部实体中每次选取一个实体填入三元组缺失的头实体或尾实体，并利用实体类型表示和与实体类型表示相关的关系表示，包括步骤一中的能量函数E₁(h,r,t)，从知识图谱的所有实体中选出阈值范围内的候选实体集，阶段二利用阶段一得到的候选实体集通过实体表示和用实体表示得到的关系表示，包括步骤二中的能量函数E₃(h,r,t)，得到排名最高的实体并给出推理结果。

Images