CN110069638A - 一种结合规则和路径的知识图谱组合表示学习方法 - Google Patents

Abstract

本发明公开了一种结合规则和路径的知识图谱组合表示学习方法，首先从知识图谱中抽取逻辑规则，并对逻辑规则进行编码表示；然后基于编码表示的规则，完成关系路径中的关系语义组合操作和建立关系对之间的语义关联；最后结合三元组、实体间的关系路径向量表示和关系向量间的语义关联约束，联合构建能量方程，并得到最小化评价函数。本发明公开了一种结合规则和路径的知识图谱组合表示学习方法，不仅提高了对关系表示的准确性，而且利用规则建立关系之间的语义关联，并对具有语义关联的关系的向量表示进行约束，在关系的向量表示中增加更多语义信息，提高对关系的向量表示的精度。

Description

一种结合规则和路径的知识图谱组合表示学习方法

技术领域

本发明涉及自然语言处理和知识图谱技术领域，更具体的说是涉及一种结合规则和路径的知识图谱组合表示学习方法。

背景技术

近年来，随着互联网技术和应用模式的迅猛发展，引发了数据的爆炸式增长，其中蕴含大量有价值的知识；知识图谱以结构化的形式描述各类概念、实体及其关系，将海量的信息表达成更接近人类认知世界的形式。目前，知识图谱已在语义搜索、智能问答系统、数据挖掘等领域发挥重要作用。

知识图谱通过(头实体，关系，尾实体)的三元组知识表示形式描述数据库中的海量有价值的知识，其能够给出一个实体和其它相关实体更深层和更广泛的联系。由于知识图谱中的实体数量巨大，在应用知识图谱的过程中研究人员发现，由于信息抽取算法导致无法识别到一些关系或抽取到属性值，知识图谱存在很大程度的不完备性，其中的很多关系和属性出现缺失；此外，因为构建知识图谱的数据有错误或者因为知识图谱的构建采用统计方法导致知识图谱中存在错误的知识。因此，需要利用知识图谱的推理从给定的知识图谱推导出新的实体和实体之间的关系和滤除那些错误的知识。其中，知识图谱的表示学习旨在将知识图谱中的实体和关系嵌入到低维实值向量空间，通过比较实体和关系在该向量空间中的分布式表示推理出实体和实体之间的潜在关系，成为面向知识图谱的推理的重要技术手段。如何准确与快速地得到表示知识图谱中实体和关系的向量表示是表示学习的重点和难点，而仅考虑知识图谱中三元组本身的信息来进行表示学习难以有效实现对知识图谱准确的表示，因此，需要借助更多的信息来辅助表示学习的过程。

针对上述问题，国内外已有相关方法用于知识图谱的表示学习。专利CN201610350225.9充分利用实体具有层次结构的类别信息，使得实体通过类别的映射矩阵在不同类别上拥有不同的表示向量，专利CN201610852672.4利用指定语料库中包含的序列文本信息，在表示学习的过程中加入基于文本的实体向量。以上两种方法都是通过增加实体的语义信息提高表示学习的效果，但缺少对知识图谱内部结构的关注，无法从知识图谱整体结构的角度提高表示学习的性能。因此，相关研究人员提出利用知识图谱中的图结构，挖掘知识图谱中除了三元组结构外更深层次的信息；专利CN201810639360.4考虑了知识图谱中的关系路径，利用长短时记忆网络对关系路径中的多个关系进行语义组合操作，进一步将关系路径的表示引入表示学习中提供实体对之间的直接关系和关系路径的相互关联。但是，这种方法在对关系路径进行语义组合操作中是直接对关系的向量表示进行组合，没有考虑到关系的组合本身应是一种语义层次的操作，限制了关系路径表示的准确性。

因此，如何提供一种结合规则和路径的知识图谱组合表示学习方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种结合规则和路径的知识图谱组合表示学习方法，由于现有技术中无法准确表示知识图谱中的关系路径，且没有建立起关系之间的语义关联，本发明提供一种结合规则和路径的知识图谱组合表示学习方法，通过从知识图谱中抽取出的逻辑规则对知识图谱的关系路径进行语义组合操作，得到关系路径的表示，同时利用逻辑规则建立关系之间的语义关联，对存在语义关联的关系对的向量表示进行约束，以提高知识图谱的表示学习的性能。

为了实现上述目的，本发明提供如下技术方案：

一种结合规则和路径的知识图谱组合表示学习方法，具体步骤如下：

步骤一：从知识图谱中抽取关于关系的逻辑规则，并对所述逻辑规则进行编码表示；

步骤二：基于步骤一中得到的逻辑规则，完成关系路径中的关系语义组合操作，进一步得到实体间关系路径的向量表示，并基于步骤一中得到的逻辑规则建立关系之间的语义关联；

步骤三：结合知识图谱的三元组、实体间的关系路径向量表示和关系向量间的语义关联，联合构建能量方程，根据能量方程建立基于边际的评价函数，并最小化评价函数以学习实体向量和关系向量，使得头实体的向量表示加头实体与尾实体间的关系的向量表示尽可能接近尾实体的向量表示，并且头实体和尾实体间关系的向量表示尽可能接近上述两个实体间关系路径的向量表示，同时两个满足语义关联的关系的向量表示尽可能接近，实现对知识图谱的准确表示学习。

优选的，在上述的一种结合规则和路径的知识图谱组合表示学习方法中，所述步骤一中，利用关联规则挖掘工具从知识图谱中抽取逻辑规则，每条逻辑规则均具有其置信度值μ∈[0,1]，并限制规则体中关系的个数即规则长度最多为2；得到规则长度分别为1和2的两类逻辑规则，如下所示：

其中，x,y,z分别表示知识图谱中任意的实体，r₁,r₂,r₃分别表示知识图谱中的三个关系。

优选的，在上述的一种结合规则和路径的知识图谱组合表示学习方法中，所述步骤一中，对抽取出的逻辑规则进行编码表示，并将规则体中用关系的逆代替原关系或交换两个关系的位置。

优选的，在上述的一种结合规则和路径的知识图谱组合表示学习方法中，所述步骤二中，利用步骤一得到的规则长度为2的逻辑规则将两个关系直接合成为一个新的关系，基于这类规则，进行对两个实体之间的关系路径的语义组合操作，进一步得到关系路径的向量表示；对于关系路径中无法采用逻辑规则进行语义组合的关系，将关系进行向量表示后采取相加操作得到关系路径的向量表示。

优选的，在上述的一种结合规则和路径的知识图谱组合表示学习方法中，所述步骤二中，基于步骤一得到的规则长度为1的规则建立规则头中的关系与规则体中的关系之间的语义关联。

优选的，在上述的一种结合规则和路径的知识图谱组合表示学习方法中，所述步骤三中，具体步骤包括：

步骤3.1根据知识图谱内的三元组的向量表示构建能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||h+r-t||；

其中，h,r,t分别表示知识图谱三元组中的头实体、关系和尾实体的向量表示；

根据关系路径的向量表示和实体间关系的向量表示构建能量函数E₂(p,r) 为：

其中，p表示关系路径，R(p|h,t)表示头实体h和尾实体t之间关系路径p的可靠度，C(p)表示对关系路径p采用语义组合操作之后的向量表示， B(p)＝{μ₁,...,μ_n}表示对关系路径语义组合过程中用到的所有规则的置信度集合，μ₁和μ_n分别表示用到的第1个规则和第n个规则的置信度；

根据由规则语义关联的两个关系的向量表示构建能量函数E₃(r,r_R)为：

E₃(r,r_R)＝||r-r_R||；

其中，r_R代表利用规则由r表示的关系推出的关系的向量表示；

步骤3.2根据步骤3.1所述的三个能量方程E₁(h,r,t)，E₂(p,r)和E₃(r,r_R)，构建基于边际的评价函数，具体公式如下所示：

其中，L是整个组合表示学习模型的评价函数，L₁(h,r,t)是关于知识图谱中三元组表示的评价函数，L₂(p,r)是关于关系路径和实体间关系的评价函数，L₃(r,r_R)是关于实体间关系及其通过规则语义关联的关系的评价函数，max(0,x) 定义为选取0和x二者的最大值，x代表任意一个实数，P(h,t)表示头实体h和尾实体t之间所有的关系路径组成的集合，D(r)表示由关系r根据规则推出的所有关系的集合；α₁和α₂分别代表对于关系路径的权重和对于关系的语义关联约束的权重；γ₁,γ₂,γ₃分别代表L₁(h,r,t)，L₂(p,r)和L₃(r,r_R)三个评价函数中的边际参数；β表示对关系r和关系r_R进行语义关联的规则的置信度；T表示知识图谱中存在的三元组的正例集，T^-表示利用T重构的负例集，如下所示：

T^-＝{(h',r,t)∪(h,r',t)∪(h,r,t')}；

其中，(h',r,t)，(h,r',t)，(h,r,t')分别表示对T中的正例三元组(h,r,t)随机替换头实体，关系和尾实体构成的新的负例三元组。

本发明设计的结合规则和路径的知识图谱组合表示学习方法与现有技术相比的优点在于：

(1)与基于向量表示的关系经过数值计算得到关系路径的表示相比，可以在语义层通过规则对关系路径进行语义组合操作，提高对关系路径的表示的准确性；

(2)本发明中利用规则建立关系之间的语义关联，并对具有语义关联的关系的向量表示进行约束，在关系的向量表示中增加更多语义信息，提高对关系的向量表示的精度；

(3)本发明在对关于关系路径的向量表示和关于语义关联的关系的向量表示的两个评价函数中均考虑了规则的置信度，并将置信度视为评价函数中的惩罚系数，能够提高规则使用的有效性，进一步提高整个表示学习的性能。本发明学习到的知识图谱向量表示，能够在知识图谱补全等任务中提高准确率，具有良好的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程图；

图2附图为本发明对关系路径进行语义组合操作的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种结合规则和路径的知识图谱组合表示学习方法，不仅提高了对关系表示的准确性，而且利用规则建立关系之间的语义关联，并对具有语义关联的关系的向量表示进行约束，在关系的向量表示中增加更多语义信息，提高对关系的向量表示的精度；本发明学习到的知识图谱向量表示，能够在知识图谱补全等任务中提高准确率，具有良好的实用性。

如图1所示，本发明的一种结合规则和路径的知识图谱组合表示学习方法步骤为：首先从知识图谱中抽取逻辑规则，并对逻辑规则进行编码表示；然后基于编码表示的规则，完成关系路径中的关系语义组合操作和建立关系对之间的语义关联；最后结合三元组、实体间的关系路径向量表示和关系向量间的语义关联约束，联合构建能量方程和基于边际的评价函数，并最小化评价函数以学习实体向量和关系向量，实现知识图谱的准确表示学习；具体实施步骤如下：

一种结合规则和路径的知识图谱组合表示学习方法，具体步骤如下：

步骤一：从知识图谱中抽取关于关系的逻辑规则，并对逻辑规则进行编码表示；

步骤二：基于步骤一中得到的逻辑规则，完成关系路径中的关系语义组合操作，进一步得到实体间关系路径的向量表示，并基于步骤一中得到的逻辑规则建立关系之间的语义关联；

步骤三：结合知识图谱的三元组、实体间的关系路径向量表示和关系向量间的语义关联，联合构建能量方程，根据能量方程建立基于边际的评价函数，并最小化评价函数以学习实体向量和关系向量，使得头实体的向量表示加头实体与尾实体间的关系的向量表示尽可能接近尾实体的向量表示，并且头实体和尾实体间关系的向量表示尽可能接近上述两个实体间关系路径的向量表示，同时两个满足语义关联的关系的向量表示尽可能接近，实现对知识图谱的准确表示学习。

为了进一步优化上述技术方案，利用关联规则挖掘工具从知识图谱中抽取逻辑规则，这里设置规则的置信度阈值为0.8，即挖掘得到的每条规则的置信度值应满足μ∈[0.8,1]，并根据规则体中关系的个数即规则的长度分为长度为 1和长度为2的两类规则，分别如下所示：

其中，x,y,z分别表示知识图谱中任意的实体，r₁,r₂,r₃分别表示知识图谱中的三个关系。

需要说明的是，对抽取出的所有逻辑规则进行编码表示，具体通过用关系的逆代替原关系或交换两个关系的位置保证规则体中的第一个实体和最后一个实体分别对应规则头中的头实体和尾实体，用于后面表示学习模型的设计；针对长度为2的规则，例如规则这里a,b,e分别表示任意的实体，r₁,r₂,r₃分别表示三个关系，首先对r₂取其逆关系r₂ ^-1，得到规则然后交换r₁和r₂ ^-1两个关系的位置，得到规则此时规则体中的关系构成一条路径，最后对这条规则编码为根据上述方法，共有7种编码模式将原规则编码为用于关系路径语义组合的规则，如下所示：

其中，a,b,e,f分别表示知识图谱中任意的实体，且采用和关联规则挖掘工具抽取出的规则中一致的符号；

针对长度为1的规则，对于形如的规则，直接编码为对于形如的规则通过对关系r₁取其逆关系r₁ ^-1，并编码得到规则为

需要说明的是，利用步骤一得到的长度为2的规则，如果关系路径中的两个连续的关系和规则体中的两个关系一一对应，则将关系路径中两个关系直接合成为规则头中给出的一个新的关系；针对实际情况，关系路径的语义组合过程分为两种情况：第一种情况如图2(a)所示，对关系路径中的所有关系利用长度为2的规则依次迭代合成为一个关系，这个关系直接连接头实体和尾实体，将这个关系用向量表示得到整个关系路径的向量表示；第二种情况如图2(b)所示，关系路径中的部分关系根据长度为2的规则进行语义组合，对于无法采用规则语义组合的关系分别将其用向量表示，然后采取相加操作得到关系路径的向量表示。

基于步骤一得到的规则长度为1的规则建立规则头中的关系和规则体中的关系之间的语义关联，将知识图谱中的所有实体和关系都用实值向量表示，使得满足语义关联的两个关系的向量表示在表示学习的过程中尽可能接近。

根据知识图谱内的三元组的向量表示构建能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||h+r-t||；

其中，h,r,t分别表示知识图谱三元组中的头实体、关系和尾实体的向量表示；

根据关系路径的向量表示和实体间关系的向量表示构建能量函数E₂(p,r) 为：

其中，p表示关系路径，R(p|h,t)表示头实体h和尾实体t之间关系路径p 的可靠度，C(p)表示对关系路径p采用语义组合操作之后的向量表示， B(p)＝{μ₁,...,μ_n}表示对关系路径语义组合过程中用到的所有规则的置信度集合，μ₁和μ_n分别表示用到的第1个规则和第n个规则的置信度；

根据由规则语义关联的两个关系的向量表示构建能量函数E₃(r,r_R)为：

E₃(r,r_R)＝||r-r_R||；

其中，r_R代表利用规则由r表示的关系推出的关系的向量表示。

根据所述的三个能量方程E₁(h,r,t)，E₂(p,r)和E₃(r,r_R)构建基于边际的评价函数，具体公式如下所示：

其中，L是整个组合表示学习模型的评价函数，L₁(h,r,t)是关于知识图谱中三元组表示的评价函数，L₂(p,r)是关于关系路径和实体间关系的评价函数，L₃(r,r_R)是关于实体间关系及其通过规则语义关联的关系的评价函数，max(0,x) 定义为选取0和x二者的最大值，x代表任意一个实数，P(h,t)表示头实体h和尾实体t之间所有的关系路径组成的集合，D(r)表示由关系r根据规则推出的所有关系的集合；α₁和α₂是两个超参数，分别代表对于关系路径的权重和对于关系的语义关联约束的权重，经过反复调参得到优选值为α₁＝1,α₂＝3；γ₁,γ₂,γ₃是三个超参数，分别代表三个评价函数L₁(h,r,t)，L₂(p,r)和L₃(r,r_R)中的边际参数，经过多次试验调参得到其优选值为γ₁＝γ₂＝γ₃＝1；β表示对关系r和关系r_R进行语义关联的规则的置信度；T表示知识图谱中存在的三元组的正例集，T-表示利用T重构的负例集，如下所示：

T^-＝{(h',r,t)∪(h,r',t)∪(h,r,t')}；

其中，(h',r,t)，(h,r',t)，(h,r,t')分别表示对T中的正例三元组(h,r,t)随机替换头实体，关系和尾实体构成的新的负例三元组。

利用上面给出的结合规则和路径的组合表示学习方法，在知识图谱的表示学习过程中引入规则和路径提供的语义信息，解决了关系路径语义组合精度不高的问题，提高表示学习的性能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，具体步骤如下：

步骤一：从知识图谱中抽取关于关系的逻辑规则，并对所述逻辑规则进行编码表示；

步骤二：基于步骤一中得到的逻辑规则，完成关系路径中的关系语义组合操作，进一步得到实体间关系路径的向量表示，并基于步骤一中得到的逻辑规则建立关系之间的语义关联；

步骤三：结合知识图谱的三元组、实体间的关系路径向量表示和关系向量间的语义关联，联合构建能量方程，根据能量方程建立基于边际的评价函数，并最小化评价函数以学习实体向量和关系向量。

2.根据权利要求1所述的一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，所述步骤一中，利用关联规则挖掘工具从知识图谱中抽取逻辑规则，每条逻辑规则均具有其置信度值μ∈[0,1]，并限制规则体中关系的个数即规则长度最多为2；得到规则长度分别为1和2的两类逻辑规则，如下所示：

其中，x,y,z分别表示知识图谱中任意的实体，r₁,r₂,r₃分别表示知识图谱中的三个关系。

3.根据权利要求1所述的一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，所述步骤一中，对抽取出的逻辑规则进行编码表示，并将规则体中用关系的逆代替原关系或交换两个关系的位置。

4.根据权利要求2所述的一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，所述步骤二中，利用步骤一得到的规则长度为2的逻辑规则将两个关系直接合成为一个新的关系，基于这类规则，进行对两个实体之间的关系路径的语义组合操作，进一步得到关系路径的向量表示；对于关系路径中无法采用逻辑规则进行语义组合的关系，将关系进行向量表示后采取相加操作得到关系路径的向量表示。

5.根据权利要求2所述的一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，所述步骤二中，基于步骤一得到的规则长度为1的规则建立规则头中的关系与规则体中的关系之间的语义关联。

6.根据权利要求1所述的一种结合规则和路径的知识图谱组合表示学习方法，其特征在于，所述步骤三中，具体步骤包括：

步骤3.1根据知识图谱内的三元组的向量表示构建能量函数E₁(h,r,t)为：

E₁(h,r,t)＝||h+r-t||；

其中，h,r,t分别表示知识图谱三元组中的头实体、关系和尾实体的向量表示；

根据关系路径的向量表示和实体间关系的向量表示构建能量函数E₂(p,r)为：

其中，p表示关系路径，R(p|h,t)表示头实体h和尾实体t之间关系路径p的可靠度，C(p)表示对关系路径p采用语义组合操作之后的向量表示，B(p)＝{μ₁,...,μ_n}表示对关系路径语义组合过程中用到的所有规则的置信度集合，μ₁和μ_n分别表示用到的第1个规则和第n个规则的置信度；

根据由规则语义关联的两个关系的向量表示构建能量函数E₃(r,r_R)为：

E₃(r,r_R)＝||r-r_R||；

其中，r_R代表利用规则由r表示的关系推出的关系的向量表示；

步骤3.2根据步骤3.1所述的三个能量方程E₁(h,r,t)，E₂(p,r)和E₃(r,r_R)，构建基于边际的评价函数，具体公式如下所示：

其中，L是整个组合表示学习模型的评价函数，L₁(h,r,t)是关于知识图谱中三元组表示的评价函数，L₂(p,r)是关于关系路径和实体间关系的评价函数，L₃(r,r_R)是关于实体间关系及其通过规则语义关联的关系的评价函数，max(0,x)定义为选取0和x二者的最大值，x代表任意一个实数，P(h,t)表示头实体h和尾实体t之间所有的关系路径组成的集合，D(r)表示由关系r根据规则推出的所有关系的集合；α₁和α₂分别代表对于关系路径的权重和对于关系的语义关联约束的权重；γ₁,γ₂,γ₃分别代表L₁(h,r,t)，L₂(p,r)和L₃(r,r_R)三个评价函数中的边际参数；β表示对关系r和关系r_R进行语义关联的规则的置信度；T表示知识图谱中存在的三元组的正例集，T^-表示利用T重构的负例集，如下所示：

T^-＝{(h',r,t)∪(h,r',t)∪(h,r,t')}；

其中，(h',r,t)，(h,r',t)，(h,r,t')分别表示对T中的正例三元组(h,r,t)随机替换头实体，关系和尾实体构成的新的负例三元组。