CN109815345A - 一种基于路径的知识图谱嵌入方法 - Google Patents

Abstract

本发明公开了一种基于路径的知识图谱嵌入方法，包括以下步骤：对于给定的单个知识图谱或由两个知识图谱构成的联合知识图谱，首先使用有偏随机游走方法对其进行采样。接下来，将得到的采样路径使用一种新的跳跃循环网络进行建模,该网络能够在有效学习路径中元素间依赖的同时，克服传统循环神经网络无法识别知识图谱结构的缺陷。对于跳跃循环神经网络的输出，采用基于类型的噪音对比估计方法高效地评估网络的损失，并以反馈更新的方式迭代进行训练。与现有技术相比，本发明所训练的知识图谱嵌入具有可表达性高，泛化能力强等优点，应用本发明能够显著提升知识图谱补全和实体对齐的准确率和效率。

Description

一种基于路径的知识图谱嵌入方法

技术领域

本发明涉及知识图谱(Knowledge Graph)，尤其涉及一种基于路径的知识图谱嵌入(Knowledge Graph Embedding)方法。

背景技术

知识图谱已经成为以知识为驱动的各类应用的重要资源，如搜索引擎、问答以及推荐系统。知识图谱结构化地存储了大量现实世界中的事实。其中，每个事实都以三元组(h,r,t)来描述，其中h、t、r分别表示头实体、尾实体，以及它们之间的关系。通常情况下，现有知识图谱很难支撑起各类应用所需求的知识。因此，知识图谱领域的研究者提出了两个主要任务以解决这一难题：(1)实体对齐(Entity Alignment)，致力于将两个不同知识图谱中指称相同的实体链接起来。(2)知识图谱补全(Knowledge Graph Completion)，致力于通过预测的方式补充单个知识图谱中缺失的事实。由于知识图谱之间乃至单个知识图谱内部，通常是由不同背景的人协同创建而成，这使得知识图谱的异构性尤其明显。因此，传统的基于属性比较和众包的方法受到了严重限制，而基于知识图谱嵌入(Knowledge GraphEmbedding)的方法近年来趋于流行，并取得了良好表现。

知识图谱嵌入技术致力于将实体以及它们之间的关系投射到连续的低维向量空间。但目前的方法大多都基于三元组进行学习，如发表于国际机器学习旗舰会议上《Translating Embeddings for Modeling Multi-relational Data》一文中所述的TransE方法，把每个三元组(h,r,t)建模为h+r≈t的形式。目前大多数方法仍以该模型为基础，提出了各式各样的知识图谱嵌入方法。然而，基于三元组的知识图谱嵌入学习方法存在两个局限：一是学习到的知识图谱嵌入缺乏可区分性。在知识图谱中，往往存在多个实体拥有相同的一阶邻居(1-hop neighbors)的情况，如果只用三元组进行学习就会使这些实体的嵌入难以区分。此外，某些实体的信息较为匮乏(如拥有的关系很少)，这使得基于三元组的方法近一步受到影响。二是基于三元组的方法在信息交换与传播方面缺乏效率。对于实体对齐任务而言，目前的方法只能使用含有预对齐实体(prior entity alignment)的少量三元组来传递不同知识图谱之间的信息。一方面，预对齐实体的数量较为稀少，这就使得信息的传播效率受到限制；另一方面，距离预对齐实体较远的实体受到的关注很少，它们的对齐信息将很难被传递到另一个知识图谱中。

使用知识图谱中的路径来学习知识图谱嵌入可以有效解决上述两个局限。知识图谱中的路径被定义为一条实体与关系交错的链，如(Tim Berners-Lee，country,UnitedKingdom,language,English)。显然，路径能够在提供更丰富的实体间的依赖关系的同时，保留局部的三元组信息。循环神经网络(Recurrent Neural Networks)常被用以建模路径信息。然而，知识图谱中的路径十分特殊，实体和关系以交错的方式出现，且连续的三个元素构成一个三元组。循环神经网络不考虑路径中元素的类型以及三元组的结构，因此无法完全利用知识图谱路径中的信息。以上述路径为例，如当前输入为language，循环神经网络使用当前的输入language与上一步的隐态(hidden state)来预测下一步的结果。然而，隐态包含了混合了所有之前输入的信息(即Tim Berners-Lee，country,United Kingdom)，这使得循环神经网络无法有效利用关系language的头实体United Kingdom来预测其尾实体English，导致学习效率和性能降低。

此外，目前对路径进行采样的方法大多基于无向图或简单图，往往只适用于传统社交网络。这些方法并不考虑知识图谱中关系的方向与类型，因此并不适用于知识图谱的采样。而传统的随机游走(Random Walks)方法采用了一种无偏的方式随机采样知识图谱中的实体，直接使用往往难以得到的高质量的路径。

发明内容

本发明提出了一种基于路径的知识图谱嵌入方法。该方法采用有偏随机游走(Biased Random Walks)从知识图谱中采样路径，并使用一种全新的跳跃循环神经网络(Skipping Recurrent Networks)建模这些路径，该网络能够使作为底层输入的知识图嵌入同时学习到三元组信息和长路径信息。本方法在学习知识图谱嵌入时，能够减少训练时间，提升知识图谱嵌入的质量，进而提高在实体对齐和知识图谱补全上的性能。

本发明针对的主要问题是：现有方法在学习知识图谱嵌入时，往往只基于三元组进行学习，这种方式往往使得学习到的知识图谱嵌入缺乏区分性。同时，由于许多实体的三元组信息并不丰富，使用基于三元组的学习方法无法有效学习到这类实体的嵌入，从而使得知识图谱嵌入的质量无法保证。

本发明的解决方案是：使用知识图谱中的路径信息来学习知识图谱嵌入，路径能够提供实体间更长的依赖关系，基于路径的学习方式能够提供更具区分度的信息。同时，路径也是由三元组构成，因此使用路径并不会损失基本的三元组信息。为获取高质量的知识图谱路径，本方法通过有偏随机游走在知识图谱上采样得到具有深度倾向和跨知识图谱倾向的路径，这些路径能够进一步为实体提供更丰富的信息。传统循环神经网络虽然可以建模一般的路径，但其无法识别知识图谱中路径中元素的种类与三元组信息。因此，本发明提出跳跃循环神经网络以克服传统循环神经网络的缺陷，从而有效利用所采样的路径进行学习。应用本发明进行知识图谱的嵌入学习与应用时，能够显著减少训练时间，提升在实体对齐与知识图谱补全中的表现。基于路径的知识图谱嵌入方法包括以下步骤：

1.对于给定单个或两个知识图谱，首先应增强知识图谱的连通性以提升路径采样效率。具体如下：首先，对于知识图谱中的每一个三元组(h,r,t)，增加一项反向三元组(t,r-,h)，其中r-与r完全不同。此外，对于给定的两个知识图谱，将每对预对齐实体间的三元组相互共享，以将两个知识图谱连接起来，从而获得一个联合知识图谱。对于处理后的单个知识图谱或联合知识图谱，利用有偏随机游走对其采样，得到一组在深度和跨知识图谱性质优先的路径。具体包括：根据当前实体的前序实体与候选实体间的最短路径距离，计算候选实体的深度偏好；根据前序实体与候选实体是否处在同一知识图谱，计算候选实体的跨知识图谱偏好；结合两个偏好值计算所有候选实体被选中的概率并进行采样。重复上述步骤直至路径达到最大长度。

2.基于所采样的路径，利用跳跃循环网络建模路径中元素的依赖关系。首先，对于路径中的每一元素，根据序号将其投影至低维向量空间(即知识图谱嵌入)。接着，将低维向量序列顺序输入至跳跃循环网络进行学习。跳跃循环网络顺序地处理序列中的每一元素，并对于输入的实体采取一种跳跃机制，使实体不但能够作为当前输入学习预测该实体的关系，并且能够参与到下一元素(即与该实体相连的关系)预测尾实体的过程中。从而弥补传统循环神经网络无法捕捉三元组结构的缺陷。对于每一个输入向量序列，跳跃循环神经网络将输出等长的隐态序列。

3.对于所得到的隐态序列，利用基于类型的噪音对比估计来衡量网络的损失。首先对于序列中的每个隐态，根据其对应的类型(即实体或关系)从不同的负采样集合中进行负采样。然后根据正标签与负采样得到的负标签，计算基于采样的sigmoid损失，利用反馈更新方法训练网络与低层输入的知识图谱嵌入。

4.重复步骤1～3，迭代训练网络与知识图谱嵌入，直至模型在验证集上收敛或达到最大轮数。在每一轮完整的迭代之后，在验证集上检验当前知识图谱嵌入的表现，根据结果选择继续训练或提前结束迭代过程。

5.对于训练完成的知识图谱嵌入，实施实体对齐和知识图谱补全任务。具体如下：对于实体对齐，直接根据两个知识图谱中实体嵌入间的余弦距离排序候选实体，选择概率最大的作为相应实体的潜在对齐实体。对于知识图谱补全任务，将头实体及其关系的嵌入顺序输入跳跃循环网络，从而预测最有可能的尾实体；反之，将尾实体与其反向关系输入，以完成预测头实体的任务。

本发明的有益效果包括：(1)基于有偏随机游走的采样方法能够有效提升路径采样效率和质量。使用跳跃循环网络建模采样路径能够弥补传统循环神经网络无法有效学习知识图谱路径的缺陷。采用基于类型的噪音对比估计方法衡量网络的损失能够压缩负采样的空间，在节约时间的同时提升了效率与性能。(2)采用基于路径的知识图谱嵌入方法能够捕捉到更复杂的实体间的关系的同时，保留三元组的基本结构信息，从而训练出质量更高的知识图谱，显著提高了在实体对齐与知识图谱补全上的准确率。

附图说明

图1是本发明的整体流程图；

图2是跳跃循环网络的内部结构示意图；

图3是跳跃循环网络和循环神经网络在DBP-WD上的表现对比图。

具体实施方式

本发明的整体流程如图1所示，包括5个部分：使用有偏随机游走从目标知识图谱中采样路径，使用跳跃循环网络建模路径内元素间的依赖关系，利用基于类型的噪音对比估计方法衡量网络的损失，根据在验证集上的结果迭代进行训练，以及利用训练后的知识图谱嵌入进行实体对齐和知识图谱补全任务。

具体实施方式分别说明如下：

1.利用有偏随机游走对目标知识图谱采样路径

对于给定目标知识图谱(单个或联合知识图谱)，首先增强其连通性以提高采样效率。具体如下：首先，对于每一个三元组(h,r,t)，创建一个反向三元组(t,r-,h)，其中r-与r完全不同。其次，对于实体对齐任务，将每对预对齐实体对的三元组共享，如(e1,e2)为一对预对齐实体，且存在(e1,r,t)，则创建一个新的三元组(e2,r,t)以连接两个知识图谱。对于增强后的知识图谱，使用有偏随机游走进行采样。对于路径中的每一步，分别计算候选实体与当前实体的前序实体间的深度偏好与跨知识图谱偏好，从而建立候选节点的概率分布，采样出一组固定长度的在深度与跨知识图谱上优先的路径。

候选实体与当前实体的前序实体的最短距离取值范围在0、1、2之间。由于偏向于更深的路径，因此距离为2的优先度更高，记为a>0.5，其余则为1–a。同样，由于偏向于跨知识图谱的路径，因此候选实体与前序实体不在同一知识图谱的优先度更高，记为b>0.5，反之记为1–b。本发明在判断偏好时比较的是候选实体与当前实体的前一实体，这样可以避免反复往返于两个实体之间，提高了采样效率。

结合深度偏好与跨知识图谱偏好，计算所有候选实体被选中的概率。逐步进行这一过程，直到路径长度达到最大值。在初始化采样路径时，以知识图谱中的所有三元组为起始路径，而非单个实体，这样可以避免某些三元组没有被采样到的情况。本发明将深度偏好和跨知识图谱偏好均设为0.9。

2.将采样的路径使用跳跃循环网络进行建模

基于采样得到的路径，使用跳跃循环网络进行学习。其创新点在于，跳跃循环网络以一种全新的方式使用残差网络来解决传统循环神经网络建模知识图谱路径时所存在的逻辑问题。如图2所示，其过程可分为如下4个子步骤：

①将路径中的每个元素通过投影层转化为初始的低维空间向量x₁,x₂,…,x_T(即知识图谱嵌入)，每个向量表示一个实体或关系；

②使用传统循环神经网络顺序处理向量序列，输出同等长度的隐态序列h₁,h₂,…,h_T。

③对于隐态序列中的时刻t所对应的向量h_t，如其对应为输入实体的隐态则直接作为时刻t的跳跃循环网络的输出，即s_t:＝h_t。若对应为关系的隐态，则令其学习一个在该关系对应的尾实体与头实体间的差残，即s_t:＝h_t+x_t-1；

④输出跳跃循环网络的隐态序列s₁,s₂,…,s_T。

3.利用基于类型的噪音对比估计方法衡量网络的损失

噪音对比估计方法可以显著缩短训练时间，提升训练效率。但传统噪音对比估计方法不能识别出知识图谱路径中地元素的类型，因此在进行负采样时会采样出没有价值的负样本(如预测实体时将关系作为负样本)。因此，本发明提出了一种基于类型的负采样技术，在能够压缩负采样空间和时间的同时提升模型的性能，其具体步骤如下：

①判断序列中每一步的预测目标为实体还是关系；

②根据预测目标的类型，为每一步单独进行负采样，如目标为实体则从实体集合中进行采样；

③根据每一步的正样本与采样到的负样本，计算基于噪音对比估计的sigmoid损失。

4.根据在验证集上的结果迭代进行训练

对于前述步骤所得到的损失，使用梯度下降方法进行训练，使得底层输入的知识图谱嵌入学习到知识图谱内的语义关系。同时，本发明采用小批量(mini-batch)梯度下降的方式分批进行以提升效率。在每轮完成之后，用实体对齐或知识图谱补全任务来检验训练后的知识图谱嵌入在验证集上的表现，如性能已经不再提升或达到最大轮数，则停止训练。

5.利用训练后的知识图谱嵌入进行实体对齐和知识图谱补全

知识图谱嵌入能够应用于实体对齐和知识图谱补全的任务中。对于实体对齐，首先将于每个待对齐实体映射为对应的知识图谱嵌入，再计算每个待对齐实体嵌入与所有候选实体嵌入的余弦距离，其中距离最近的即为最佳匹配实体。重复这一过程，直到找到所有待对齐实体的最佳对齐实体。对于知识图谱补全任务，将输入的头实体及该头实体的关系视为长度为2的序列，在转换为低维向量序列之后输入跳跃循环网络，根据得到的最后一个隐态计算候选尾实体的sigmoid概率分布，将其中概率最大的实体作为补全结果输出；如需要根据关系和尾实体来预测头实体，则转换为(尾实体，该关系的逆关系)的形式作为跳跃循环网络的输入，以完成头实体的补全。

另外，使用两个基于真实知识图谱的实体对齐数据集和两个标准知识图谱补全数据集对本发明和现有几种方法进行对比。其结果(见表1、2)证明了本发明同时在实体对齐和知识图谱补全方面的有效性，尤其是能够显著提升实体对齐的准确率。同时，图3对比了本发明所提出的跳跃循环网络与传统循环神经网络在数据集DBP-WD上的表现，结果显示本发明所提出的方法能够明显增强知识图谱嵌入的质量与效率。

表1：本发明与现有实体对齐方法的比较结果

表2：本发明与现有知识图谱补全方法的比较结果

Claims (3)

1.一种基于路径的知识图谱嵌入方法，其特征在于，包括以下步骤：

(1.1)对于单个知识图谱或者两个知识图谱，首先增强连通性，并将两个知识图谱合并为一个联合知识图谱，再使用有偏随机游走方法对所述单个知识图谱或者联合知识图谱采样，得到一组基于单个知识图谱或者联合知识图谱的路径；

(1.2)基于所述步骤(1.1)得到的路径，使用跳跃循环网络进行建模，并输出与路径中每个元素对应的隐态序列；

(1.3)基于所述步骤(1.2)得到的隐态序列，根据输入序列中每个元素的类型，使用一种基于类型的噪音对比估计方法评估网络的损失，并以反馈更新的方式训练，从而使得作为底层输入的知识图谱嵌入学习到知识图谱内的语义关系；

(1.4)基于所述步骤(1.3)得到的知识图谱嵌入，在验证集上验证所述知识图谱嵌入在知识图谱补全或实体对齐任务上的表现，根据结果选择继续迭代训练或停止训练；

(1.5)基于所述步骤(1.4)得到的训练后的知识图谱嵌入，通过对比不同知识图谱中实体嵌入之间的余弦相似度来发现新的对齐实体；通过预测给定三元组中的缺失部分来补全单个知识图谱中所缺少的事实。

2.根据权利要求1所述的基于路径的知识图谱嵌入方法，其特征在于，所述步骤(1.1)包括以下步骤：

(2.1)对于给定单个知识图谱或者两个知识图谱，通过添加反向边的方式增强连通性，通过共享每对预对齐实体间的关系将两个知识图谱合并为一个联合知识图谱；

(2.2)对于采样路径中的每一步，计算当前实体的前序实体与候选实体间的最短路径距离，并给予更大的偏好选择距离更远的实体；

(2.3)对于采样路径中的每一步，判断当前实体的前序实体与候选实体是否属于同一个知识图谱，并给予更大的偏好选择属于不同知识图谱的实体；

(2.4)基于所述步骤(2.2)和步骤(2.3)所得到偏好计算所有候选实体被选中的概率：与当前实体的前序实体相比，最短距离越远的实体评分越高；分属不同知识图谱的实体评分越高。

3.根据权利要求1所述的基于路径的知识图谱嵌入方法，其特征在于，所述步骤(1.2)包括以下步骤：

(3.1)对于所述步骤(1.1)得到的路径，根据路径中每个元素的序号将每个元素转换为连续的低维空间向量；

(3.2)对于转换后的低维空间向量序列，使用跳跃循环神经网络进行建模，所述跳跃循环神经网络首先使用基本的循环神经网络结构对整个路径进行建模，并输出一组中间隐态；接着，对于所述中间隐态中类型为关系的中间输出，加上对应的头实体嵌入，以残差的方式学习到三元组的结构；这使得所述跳跃循环神经网络能够学习到路径中元素之间的依赖关系的同时，保留对于三元组结构的建模；

(3.3)输出跳跃循环神经网络建模后的隐态序列。