CN109902183A - 一种基于多样图注意力机制的知识图谱嵌入方法 - Google Patents

Abstract

本发明提出一种基于多样图注意力机制的知识图谱嵌入方法，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，建立实体注意力机制，所述建立实体注意力机制方式为通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上来学习实体的向量表示；步骤3，建立关系注意力机制，所述建立关系注意力机制通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练，获得知识图谱中所有关系的向量化表示。

Description

一种基于多样图注意力机制的知识图谱嵌入方法

技术领域

本发明涉及一种知识图谱嵌入方法，具体涉及一种基于多样图注意力机制 的知识图谱嵌入方法。

背景技术

在2012年，谷歌提出了知识图谱概念，其本质是一种图结构表示的知识库。 现有的常用知识图谱包括但不限于Freebase，DBPedia和YAGO。存储在知识图 谱中的多关系数据已作为一组先验规则或约束应用于大量机器学习任务中，例 如，信息检索，问答系统和自然语言处理。为了促进和标准化下游任务中的知 识应用，一些工作尝试以更可计算的形式对这些数据进行建模。其中，许多知 识图谱嵌入方法已得到广泛研究和重点关注。

通常，知识图谱中的知识存储为标准三元组，即(头部实体，关系，尾部 实体)。由Trans家族为代表的翻译模型将每个三元组视为训练样本并通过将实 体和关系投影到一个连续向量空间以获取相应的知识表示，在投影过程中要遵 循基本原理(h+r≈t，其中h，r，t是三元组的嵌入向量)和各种约束。通过 充分考虑丰富的外部信息，例如多跳路径，实体图像或实体描述，许多特征模 型已被不断地提出。此外，还有一些模型收集三元组以形成一个图，其点是实 体，其边是实体之间的关系，同时获得更多通过结合图结构和点的特征来综合 知识图谱嵌入。

显然，现有的各种方法并不适用于多关系数据，因为它们总是直接进行推 理计算而不考虑样本的邻域三元组或者不加区别地将所有环境因素结合。特别 是，当存在大量不同类型的候选实体或单个给定实体对之间存在多重关系时， 现有方法的效果将显著降低。此外，由于数据收集不完整，知识图谱往往稀疏 且不完整，这将直接影响知识图谱嵌入的质量。此外，一些现有模型通常无法 迁移，即训练模型不能直接应用于未涉及的知识图谱。

知识图谱(KnowledgeGraphs)利用图结构来表示多关系数据，被广泛用 于推理和预测任务，并在最近吸引了大量的研究工作。然而，现有技术仍然集 中在以简单直观的方式学习知识图谱嵌入，而不考虑知识的背景。通常，每个 知识单元(即三元组)可以从其部分周围的三元组中导出，这意味着独立地处 理单个三元组或不加区分地考虑所有周围的三元组都是片面的。

发明内容

本发明提供了一种基于多样图注意力机制的知识图谱嵌入方法，包括以下 步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为 结构化数据；步骤2，实体嵌入表示学习—实体注意力机制：通过使用多样图 注意力机制，利用n个注意力头与自注意力在邻接图上来学习实体的向量表示； 步骤3，实体嵌入表示学习—关系注意力机制，通过使用多样图注意力机制， 利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关 系图谱中进行多关系数据的建模；步骤5，模型训练：获得知识图谱中所有关 系的向量化表示。

为了实现该嵌入方法，需要在Linux环境下部署和配置 python3.5+tensorflow1.8.0运行环境。由于过程可以在相关官网进行查阅， 本文不再赘述。

本发明提出的一个基于多样图注意力机制的知识图谱实体嵌入模型，在模 型中引入了多样图注意力机制，为学习知识图谱嵌入提供更丰富，更细粒度的 信息。该模型的基本思想是通过选择性地合并来自邻近实体的信息来获取不同 信道中实体的隐层表示，并利用分解函数来确定候选三元组为事实的概率。它 将知识图谱表示为一个不规则的图，并通过整合来自多个独立通道的图结构信 息来探索特定的知识组合。为了从不同角度测量实体之间的相关性，本发明提 出了两种基于不同来源和实现的注意力度量方法，进一步展示用于获得候选知 识单元概率的分解函数，通过使用训练好的实体嵌入来丰富候选的知识单元可 以获得显着的效果改善。

本发明的有益效果：通过处理多通道中的输入信息实现更合理和可解释的 知识图谱嵌入；根据不同来源(实体对或关系)计算不同的注意力系数；通过 迭代或堆叠图注意层，可以实现多跳信息的获取；它的并行性和迁移性意味着 可以在任意大规模知识图谱数据集上推广我们的模型。

附图说明

图1为本发明的整体流程图；

图2所示为一实施例的更新实体嵌入的流程图

图3所示为实体注意力机制模型；

图4所示为关系注意力机制模型

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实 施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于多样图注意力机制的知识图谱嵌入方法。如图1所 示为本法发明的流程图，该方法包括以下步骤：步骤1，知识图谱数据预处理， 将传统知识图谱根据模型需求预处理为结构化数据；步骤2，实体嵌入表示学 习—实体注意力机制：通过使用多样图注意力机制，利用n个注意力头与自注 意力在邻接图上来学习实体的向量表示；步骤3，实体嵌入表示学习—关系注 意力机制，通过使用多样图注意力机制，利用n个注意力头与自注意力在关系 图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步 骤5，模型训练：获得知识图谱中所有关系的向量化表示。所述n是正整数。

在所述步骤1中，首先对不同领域的知识图谱数据进行预处理。本发明将 传统知识图谱预处理为10个文件，所述处理后的文件包括x(训练集实体特征)、 y(训练集实体标签)、tx(测试集实体特征)、ty(测试集实体标签)、allx(全 集实体特征)、ally(全集实体标签)、test.index(测试集实体的ID)、graph (整个知识图谱的邻接图)、rel(全体关系的特征)和relation(全体关系特 征的图表示)。

本发明提出的知识图谱领域的多头图注意力网络是一种对图结构数据进行 操作的新型神经网络体系结构，能够利用自我注意力层来解决基于图形卷积或 其近似的现有方法的缺点。通过堆叠不同邻接结点的特征，隐式地为邻接的不 同结点指定不同的权重，而不需要任何类型的代价高昂的矩阵操作。

为了实现多通道特征学习，通过使用多头注意框架来扩展图注意力机制。 具体地，对应于K个特征学习通道，该执行K个独立的注意力头机制以完成相 应的特征学习，并将它们连接在一起(直接拼接或求平均)以形成嵌入输出。 如图2所示为一实施例的在图注意力层利用三个注意力头更新一个实体嵌入的更新流程。图二表示hi节点在三个独立的图注意力机制下的一次更新过程， hi节点的所有邻居在三种不同的注意力机制下分别提供了不同权重的信息并 形成了三种不同的hi表示，进而通过将这些表示串联或平均后获得hi节点的 新的表示。其中权重的确定有两种方式：实体注意力、关系注意力。

在所述步骤2中，获得知识图谱中的实体嵌入是建模多关系数据的初始 步骤，所述可以通过从其邻接实体及其自身中的部分信息来学习，每个信息 源的学习规模由实体对(e_i,e_j)之间的关注系数c_ij确定。将输入实体特征转换为 高级嵌入，通过使用加性注意力实现所述关注系数c_ij的计算,i,j为正整数，

其中，a是加性的自注意力机制，用来表示实体e_i到实体e_j之间的重要程 度，所述a的计算为：

所述ReLU表示激活函数，W表示注意力机制的参数，所述||符号表示将向 量首尾相连，形成新的向量。

为了更容易比较不同的实体对之间的注意力系数，正则化了c_ij：

所述Softmax是归一化函数，exp表示以自然常数e为底的指数函数；为 了生成输出的实体嵌入，为了生成输出的实体嵌入，本方法执行了K个独立的 注意力机制并进行拼接的方式如下所示：

实体注意力机制具体模型如图3所示.

作为知识图谱中另一个重要的组成成分，关系类型可以更清楚，更直接地 反映知识图谱中实体之间的真实关系。知识图谱中的关系类型是实体之间关系 的确定的语义描述(没有歧义)。关系注意力机制将实体对提供的信息放在一边， 尝试仅使用关系来计算关注系数。因此，本方法有效地降低了实体特征初始化 对模型性能和收敛速度的影响，并充分利用了知识图谱提供的结构信息。

具体来说，在所述步骤3中，使用关系多头注意力框架来实现类似于实体 注意力机制的多通道特征学习，其注意力对象通过知识图谱中的关系，任务要 求或随机生成的相关性来确定。注意力系数可以通过注意力头和关系的点积来 直接获得：

然后注意力系数c_ij进行了归一化操作：

图4所示为关系注意力机制模型。

在知识图谱中，所述步骤4中，多关系数据是世界知识的结构化表示，其 基本单位是三元组关系r是连接两个给定实体的重要元素，r的合理 表示可以极大地帮助下游任务。选择关系表示的形式是候选三元组的评分函数。 基于训练后的实体嵌入选择常用的函数，通过在真实三元组中训练来累积 知识推理的数值证据。然后，利用常用的函数来评估候选知识的概率。

由于此任务也可以描述为基于两个给定元素预测缺失元素(实体或关系) 以形成新的三元组，选择DistMult算法来实现，其在链接预测基准测试上表现 良好。在该方法中，将关系对待成一个对角矩阵，接着计算候选三元组的概率， 如公式所示：

是以为对角线元素(其余补0)生成的对角矩阵，

,应用交叉熵损失函数来优化该方法以在真实的三元组上获得比假三元组 更高的分数，如公式所示：

其中，h_h,h_t表示头实体、尾实体的表示，r是所述头实体、尾实体的关系，σ ()表示激活函数，后一个公式是典型的交叉熵函数，n_s表示负样本数量,表示标定的真实数据，yi表示预测值,Ts表示负样本集，tr表示真实三元组。

在步骤5中，基于提出的公式及交叉熵目标函数进行训练，在所述训练过 程中，实体的表示来自步骤3中训练所得的实体向量，所述实体间关系的初始 化表示为随机生成，训练的方法采取负采样的方式，获得知识图谱中所有关系 的向量化表示，其中训练的正样本来自知识库中的真实样本，负样本来自对真 实正样本中关系的替换。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中 部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本 质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于多样图注意力机制的知识图谱嵌入方法，其特征在于，包括以下步骤：步骤1，知识图谱数据预处理，将传统知识图谱根据模型需求预处理为结构化数据；步骤2，建立实体注意力机制，所述建立实体注意力机制方式为通过使用多样图注意力机制，利用n个注意力头与自注意力在邻接图上学习实体的向量表示；步骤3，建立关系注意力机制，所述建立关系注意力机制通过使用多样图注意力机制，利用n个注意力头与自注意力在关系图上学习实体的向量表示；步骤4，在关系图谱中进行多关系数据的建模；步骤5，模型训练，获得知识图谱中所有关系的向量化表示。

2.如权利要求1所述的方法，其特征在于，在所述步骤1中，首先对不同领域的知识图谱数据进行预处理为10个文件，所述处理后的文件包括训练集实体特征，训练集实体标签，测试集实体特征，测试集实体标签，全集实体特征，全集实体标签，测试集实体的ID，整个知识图谱的邻接图，全体关系的特征，全体关系特征的图。

3.如权利要求2所述的方法，其特征在于，在所述步骤2中建立实体注意力机制的具体方式为，获得知识图谱中的实体嵌入是实体嵌入建模多关系数据的初始步骤，所述通过从其邻接实体及其自身中的部分信息学习，每个信息源的学习规模由实体对(e_i,e_j)之间的关注系数c_ij确定，将输入实体特征转换为高级嵌入，通过使用加性注意力实现所述关注系数c_ij的计算,所述i,j为正整数，

其中，所述a是加性的自注意力机制，用来表示实体e_i到实体e_j之间的重要程度，所述a的计算为：

，

所述ReLU表示激活函数，W表示注意力机制的参数，然后正则化c_ij：

所述Softmax是归一化函数，exp表示以自然常数e为底的指数函数；为了生成输出的实体嵌入，执行K个独立的注意力机制并进行拼接，所述K为正整数：

4.如权利要求3所述的方法，其特征在于，在所述步骤3中建立关系注意力机制的具体方式为，关系注意力系数可以通过注意力头和关系的点积来直接获得：

所述head_k表示注意力机制的参数，r_ij是两个实体间关系的表示，然后注意力系数c_ij进行归一化操作：

5.如权利要求4所述的方法，其特征在于，所述步骤4中，多关系数据是世界知识的结构化表示，其基本单位是三元组所述关系r是连接两个给定实体的重要元素，基于训练后的实体嵌入选择DistMult算法来实现，其将关系对待成一个对角矩阵，接着计算候选三元组的概率：

，

其中h_h,h_t表示头实体、尾实体的表示，r是所述头实体、尾实体的关系，

σ()表示激活函数，所述是以为对角线元素生成的对角矩阵，

然后使用应用交叉熵损失函数优化以在真实的三元组上获得比假三元组更高的分数：

其中Ts表示负样本集，tr表示真实三元组，n_s表示负样本数量，表示标定的真实数据，y_i表示预测值。

6.如权利要求5所述的方法，其特征在于，如步骤4所述，基于提出的公式及交叉熵目标函数进行训练，在所述训练过程中，实体的表示来自步骤3中训练所得的实体向量，所述实体间关系的初始化表示为随机生成，训练的方法采取负采样的方式，获得知识图谱中所有关系的向量化表示，其中训练的正样本来自知识库中的真实样本，负样本来自对真实正样本中关系的替换。