CN113254663A - 一种融合图卷积与翻译模型的知识图谱联合表示学习方法 - Google Patents

Abstract

一种融合图卷积与翻译模型的知识图谱联合表示学习方法，包括以下步骤：1)根据知识图谱构建其相对应的直接邻接矩阵和间接邻接矩阵；2)设计图卷积网络，包括一个输入层、两个隐藏层和一个输出层，优化邻接点节点对中心节点的注意力系数，通过学习直接邻节点和间接邻节点的结构信息得到节点的向量表示；3)采用翻译模型学习关系的语义信息，得到实体和关系的向量表示；4)将图卷积网络和翻译模型相融合，通过不断的迭代学习得到知识图谱的最终向量表示。本发明能够同时学习知识图谱的结构信息和关系语义，提高知识图谱的向量表示精度。

Description

一种融合图卷积与翻译模型的知识图谱联合表示学习方法

技术领域

本发明涉及知识图谱、表示学习等领域，特别给出了一种融合图卷积与翻译模型的知识图谱联合表示学习方法。

背景技术

知识图谱表示学习旨在通过学习知识图谱中的语义特征，在保留原有语义信息的前提下将知识图谱的实体和关系从高维离散的空间映射到一个连续低维的向量空间中，从而使实体和关系能够被直接数值化地计算，提高计算效率。

现有主要的知识图谱表示学习模型包括翻译模型、语义匹配模型和神经网络模型。翻译模型的主要思想是将三元组(h,r,t)中的关系r解释为头实体h到尾实体t的翻译过程，TransE(Annual Conference on Neural Information Processing Systems，2013)是最具代表性的翻译模型之一，该模型认为头实体的嵌入加上关系的嵌入应该等于尾实体在向量空间中的位置，即h+r＝t。语义匹配模型是使用基于语义相似度的得分函数，通过语义相似度的匹配来衡量事实的合理性，RESCAL(International Conference onInternational Conference on Machine Learning，2011)是最具代表性的语义匹配模型之一，该模型是一种基于三向张量分解的表示学习方法，其中成对的实体通过其嵌入的张量积表示。神经网络模型主要是通过深度神经网络来学习知识图谱的嵌入表示，ConvKB(Conference of the North American Chapter of the Association forComputational Linguistics:Human Language Technologies，2018)通过使用卷积神经网络来捕获实体之间的全局关系和翻译特性，每个三元组(h,r,t)的嵌入表示是三元组中的实体和关系的嵌入拼接而成的3列矩阵，然后将这3列矩阵输入到卷积层，在该卷积层上对矩阵用多个卷积核进行卷积操作以生成不同的特征图。

然而，现有方法通常只关注知识图谱的某一方面特征，如结构特征和关系特征，不能全面学习知识图谱结构和语义信息，导致知识图谱表示学习结果准确度较低。

发明内容

为了克服现有技术的不足，提高知识图谱表示学习准确性，本发明提出一种融合图卷积与翻译模型的知识图谱联合表示学习模型，该模型能同时对知识图谱的结构信息和关系语义进行学习，并采用注意力机制减少学习噪声，得到准确的知识图谱表示学习结果。

为了解决技术问题本发明提供如下的技术方案：

一种融合图卷积与翻译模型的知识图谱联合表示学习方法，包括以下步骤：

1)构建知识图谱邻接矩阵

在知识图谱中，根据节点之间的链接关系定义两种邻接关系：

定义1：在知识图谱中，存在直接链接关系的一对节点互为直接邻接点，此时两个节点间的距离为1，又称为1跳邻接点；

定义2：在知识图谱中，存在通路的一对节点称为间接邻接点，此时两个节点间的距离为n，n>1，又称为n跳邻接点；

假设一个知识图谱的节点数量为N，构建其直接邻接矩阵：

其中若两个节点为直接邻节点，则直接邻接矩阵A中对应位置的值为1，否则为0；

同时，构建该知识图谱的间接邻接矩阵：

其中若两个节点互为间接邻接点，则间接邻接矩阵A’中对应位置的值为1，否则为0；

2)基于图卷积学习知识图谱的结构信息，过程如下：

2.1)学习实体向量表示

设计图卷积网络，包括一个输入层和两个隐藏层，每个隐藏层同时学习直接邻节点和间接邻节点的信息，以第二个隐藏层的输出作为实体的向量表示，利用该多跳图卷积网络学习知识图谱的结构信息；

图卷积网络的输入是A和A′，对直接邻节点和间接邻节点分别设置不同的权重，实体i在第l层的向量表示为

其中，N_i，1表示节点i∈E的直接邻节点集合，N_i,2表示节点i∈E的间接邻节点集合，W₁,

分别是直接邻节点和间接邻节点在第l层的权重矩阵，σ₁表示的是激活函数；μ₁是一个权重系数，用于对直接邻节点和间接邻节点的影响力进行平衡；

表示的是节点i与其邻节点j之间的注意力权重；

2.2)学习邻接点的注意力系数

不同的邻接点对中心节点的影响是不同的，为了学习该特征，在图卷积网络中引入注意力机制，通过

对实体的影响力进行控制，对于越重要的邻节点其值越大，计算公式为：

其中

是注意力系数，反映了在第l层中节点i和节点j之间的相关性；softmax函数归一化注意力系数

将所有系数权重之和设置为1，并更加突出重要元素的权重；

公式(2)中的注意力系数

的计算公式如下：

其中sim(·,·)是相似度的函数，用于比较节点i和节点j在经过一次线性变换之后的向量表示的相似度；W₁和W₂分别作为中心实体和其邻节点的线性变换矩阵，以表征相邻节点之间的差异；

3)基于翻译模型学习知识图谱的关系语义

采用翻译模型TransE学习知识图谱的关系语义，将关系看作是头实体到尾实体的翻译过程；

3.1)生成负样本

为增强TransE模型的表征能力，使用负采样强化训练效果，负三元组通过随机负采样的方式生成，对于每一条正三元组(h,r,t)∈T⁺，分别使用错误头实体h′或错误尾实体t′等概率的替换h或者t来生成负三元组集合T^-；其中h′，t′是分别从知识图谱的所有头实体集合

和尾实体集合

中随机采样得到的；在生成负三元组之后会对该三元组进行验证，倘若随机生成的三元组是正样本的，即(h′,r,t′)∈T⁺，则重新随机生成负三元组；

3.2)最小化损失函数

为了强化正三元组在向量空间中的位置，拉开负三元组内实体之间的距离，设计以下基于边缘的排名损失函数：

其中T⁺表示正三元组的集合，T^-表示负三元组集合；[·]₊＝max(·,0)，γ₁>0是一个边缘超参数，μ₂>0是一个用于平衡负样本损失和正样本损失的权重系数；

是在TransE中提出的一个三元组的得分函数，用于测量一条三元组

的误差量，其定义如下：

其中，‖·‖₂表示两个向量的L₂范数；

通过随机梯度下降法最小化损失函数的值；

4)联合表示学习算法

通过图卷积网络和翻译模型对知识图谱的结构特征和关系语义迭代地进行学习，得到知识图谱的向量表示；

联合表示学习算法的输入为知识图谱的三元组、邻接矩阵，联合表示学习算法的输出为知识图谱的向量表示，联合表示学习算法的过程如下：

4.1)将实体和关系的嵌入随机初始化；

4.2)在每个隐藏层中，通过公式(2)学习实体之间的注意力系数，然后利用公式(1)分别学习直接邻节点和间接邻节点的结构信息，并以设定的权重相互融合作为该实体在下一层的向量表示，图卷积模型的最后一层作为图卷积模型的输出，作为实体的向量表示结果；

4.3)以步骤4.2)的输出作为翻译模型TransE的实体的初始向量表示，通过最小化公式(4)的损失值来对实体间的关系语义进行学习，从而得到新的实体和关系的向量表示；

4.4)再以步骤4.3)得到的实体向量表示作为图卷积模型的实体初始向量表示，反复执行步骤4.2)和步骤4.3)，直至收敛得到最终的实体和关系的向量表示；

4.5)输出知识图谱的向量表示。

本发明的有益效果为：本发明给出的知识图谱联合表示学习模型融合了图卷积神经网络和翻译模型，其优势在于能够同时学习知识图谱的结构信息和关系语义，并通过注意力机制减少不重要邻节点的噪声，提高了知识图谱向量表示准确性。

附图说明

图1是知识图谱示意图，其中，(a)是于David Beckham的人际关系数据所构建的知识图谱，(b)是知识图谱抽象表示。

图2是联合表示学习模型框架图。

具体实施方式

下面结合附图对本发明的作进一步说明。

参照图1和图2，一种融合图卷积与翻译模型的知识图谱联合表示学习方法，包括以下步骤：

1)构建知识图谱邻接矩阵

对于需要通过表示学习获取其嵌入表示的知识图谱，根据实体之间的连接关系来构建他们的邻接矩阵，以图1的知识图谱为例，图1(a)是基于David Beckham的人际关系数据所构建的知识图谱，为便于表示将其抽象为图1(b)的表示形式；

直接邻接矩阵反应实体之间是否直接相连，例如，图1中实体e₁与e₂相连则a₁₂＝1,a∈A，因此，图1的知识图谱的直接邻接矩阵A表示为：

间接邻接矩阵反应实体之间是否只是间接相连，因此，图1知识图谱的间接邻接矩阵A′表示为：

2)基于图卷积对实体进行表示学习

以图卷积模型来学习知识图谱的邻域结构嵌入；

首先，设计图卷积网络，通过实验验证，图卷积网络被设计为包括一个输入层和两个隐藏层，各层嵌入维度为[200,200,200],并以最后一层的嵌入为实体的嵌入表示。将步骤(1)得到的直接邻接矩阵A和间接邻接矩阵A′输入至图卷积模型当中，模型通过邻接矩阵获取实体连接的关系；

其次，再根据公式(1)，基于注意力系数对邻节点的信息进行学习，例如e₁在计算下一层的嵌入表示时，需要学习直接邻节点e₂,e₃,e₄的嵌入，以及间接邻节点e₅,e₆的嵌入(n＝2)，再设定权重系数将不同距离邻节点的学习结果相互融合；

3)基于翻译模型对关系进行表示学习

以TransE来学习知识图谱的关系语义嵌入表示；

首先,通过随机负采样技术对每个为每个正三元组生成多个负三元组作为负样本，例如，对于图1(b)中正三元组(e₁,r₂,e₄)，可以随机替换头实体生成负三元组(e₂,r₂,e₄)或替换尾实体生成负三元组(e₁,r₂,e₆)；

其次，根据公式(4)计算得到目前模型的损失值，并利用梯度下降法来最小化损失函数的值；

4)联合嵌入表示学习

联合嵌入表示学习的模型框架图如图2所示，通过图卷积网络和翻译模型对知识图谱的结构特征和关系语义迭代地进行学习，得到知识图谱的向量表示，以图1(b)为例。

联合表示学习算法的输入：图1(b)的三元组、邻接矩阵A和A′

联合表示学习算法的输出：知识图谱的向量表示

联合表示学习算法的过程如下：

4.1)将实体和关系的嵌入随机初始化，此时实体e和关系r在表示空间中处于随机位置。

4.2)每个实体通过图卷积聚合广范的邻域信息来更新自身的嵌入。通过公式(2)学习每对实体之间的注意力系数，然后利用公式(1)分别学习直接邻节点和间接邻节点的结构信息。

4.3)TransE以步骤4.2)输出的实体嵌入表示作为此次训练中实体的初始嵌入表示，通过最小化公式(4)的损失强化正三元组在向量空间中的位置，拉开负三元组内实体之间的距离，使正三元组中的实体和关系在表示空间中的位置满足h+r＝t，例如图1(b)中e₁+r₂＝e₄。

4.4)将步骤4.3)中实体嵌入作为步骤2训练中实体的初始化嵌入；以此类推不断迭代交替执行4.2)和4.3)，直至模型收敛，得到最后知识图谱的最终嵌入；

4.5)输出知识图谱的向量表示。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种融合图卷积与翻译模型的知识图谱联合表示学习方法，其特征在于，所述方法包括以下步骤：

1)构建知识图谱邻接矩阵

在知识图谱中，根据节点之间的链接关系定义两种邻接关系：

定义1：在知识图谱中，存在直接链接关系的一对节点互为直接邻接点，此时两个节点间的距离为1，又称为1跳邻接点；

定义2：在知识图谱中，存在通路的一对节点称为间接邻接点，此时两个节点间的距离为n，n>1，又称为n跳邻接点；

假设一个知识图谱的节点数量为N，构建其直接邻接矩阵：

其中若两个节点为直接邻节点，则直接邻接矩阵A中对应位置的值为1，否则为0；同时，构建该知识图谱的间接邻接矩阵：

其中若两个节点互为间接邻接点，则间接邻接矩阵A’中对应位置的值为1，否则为0；

2)基于图卷积学习知识图谱的结构信息，过程如下：

2.1)学习实体向量表示

设计图卷积网络，包括一个输入层和两个隐藏层，每个隐藏层同时学习直接邻节点和间接邻节点的信息，以第二个隐藏层的输出作为实体的向量表示，利用该多跳图卷积网络学习知识图谱的结构信息；

图卷积网络的输入是A和A′，对直接邻节点和间接邻节点分别设置不同的权重，实体i在第l层的向量表示为

其中，N_i,1表示节点i∈E的直接邻节点集合，N_i,2表示节点i∈E的间接邻节点集合，

分别是直接邻节点和间接邻节点在第l层的权重矩阵，σ₁表示的是激活函数；μ₁是一个权重系数，用于对直接邻节点和间接邻节点的影响力进行平衡；

表示的是节点i与其邻节点j之间的注意力权重；

2.2)学习邻接点的注意力系数

在图卷积网络中引入注意力机制，通过

对实体的影响力进行控制，对于越重要的邻节点其值越大，计算公式为：

其中

是注意力系数，反映了在第l层中节点i和节点j之间的相关性；softmax函数归一化注意力系数

将所有系数权重之和设置为1，并更加突出重要元素的权重；

公式(2)中的注意力系数

的计算公式如下：

其中sim(·,·)是相似度的函数，用于比较节点i和节点j在经过一次线性变换之后的向量表示的相似度；W₁和W₂分别作为中心实体和其邻节点的线性变换矩阵，以表征相邻节点之间的差异；

3)基于翻译模型学习知识图谱的关系语义

采用翻译模型TransE学习知识图谱的关系语义，将关系看作是头实体到尾实体的翻译过程；

3.1)生成负样本

为增强TransE模型的表征能力，使用负采样强化训练效果，负三元组通过随机负采样的方式生成，对于每一条正三元组(h,r,t)∈T⁺，分别使用错误头实体h′或错误尾实体t′等概率的替换h或者t来生成负三元组集合T^-；其中h′，t′是分别从知识图谱的所有头实体集合

和尾实体集合

中随机采样得到的；在生成负三元组之后会对该三元组进行验证，倘若随机生成的三元组是正样本的，即(h′,r,t′)∈T⁺，则重新随机生成负三元组；

3.2)最小化损失函数

为了强化正三元组在向量空间中的位置，拉开负三元组内实体之间的距离，设计以下基于边缘的排名损失函数：

其中T⁺表示正三元组的集合，T^-表示负三元组集合；[·]₊＝max(·,0)，γ₁>0是一个边缘超参数，μ₂>0是一个用于平衡负样本损失和正样本损失的权重系数；

是在TransE中提出的一个三元组的得分函数，用于测量一条三元组

的误差量，其定义如下：

其中，‖·‖₂表示两个向量的L₂范数；

通过随机梯度下降法最小化损失函数的值；

4)联合表示学习算法

通过图卷积网络和翻译模型对知识图谱的结构特征和关系语义迭代地进行学习，得到知识图谱的向量表示；

联合表示学习算法的输入为知识图谱的三元组、邻接矩阵，联合表示学习算法的输出为知识图谱的向量表示，联合表示学习算法的过程如下：

4.1)将实体和关系的嵌入随机初始化；

4.2)在每个隐藏层中，通过公式(2)学习实体之间的注意力系数，然后利用公式(1)分别学习直接邻节点和间接邻节点的结构信息，并以设定的权重相互融合作为该实体在下一层的向量表示，图卷积模型的最后一层作为图卷积模型的输出，作为实体的向量表示结果；

4.3)以步骤4.2)的输出作为翻译模型TransE的实体的初始向量表示，通过最小化公式(4)的损失值来对实体间的关系语义进行学习，从而得到新的实体和关系的向量表示；

4.4)再以步骤4.3)得到的实体向量表示作为图卷积模型的实体初始向量表示，反复执行步骤4.2)和步骤4.3)，直至收敛得到最终的实体和关系的向量表示；

4.5)输出知识图谱的向量表示。

Images