CN115391563A - 一种基于多源异构数据融合的知识图谱链路预测方法 - Google Patents

Abstract

针对现有知识图谱的链路预测方法只关注三元组和图结构的信息，忽略了丰富的多模态信息的问题。本发明公开了一种基于多源异构数据融合的知识图谱链路预测的方法，利用文本信息、图片信息和知识图谱图结构信息进行链路预测。步骤包括：步骤1)：获取待补全的知识图谱三元组数据、图片数据和文本描述数据；步骤2)：融合知识图谱数据和图片数据构建多模态知识图；步骤3)对文本描述数据进行编码，获得三元组的文本嵌入；步骤4)对多模态知识图中的图结构数据进行编码，获得三元组的图结构嵌入；步骤5)对所有三元组进行采样；步骤6)通过图传播阶段更新实体和关系表示；步骤7)将上述编码操作后的数据输入卷积神经网络中，执行解码操作。

Description

一种基于多源异构数据融合的知识图谱链路预测方法

技术领域

本发明涉及知识图谱领域，主要涉及一种基于多源异构数据融合的知识图谱链路预测方法。

背景技术

知识图谱为广泛的智能应用提供了有效、结构化和优雅的现实世界知识表示，包括搜索引擎、推荐系统和问答。在知识图谱中，成对关系通常以v_h、r、v_t的形式表示为三元组，例如(北京，是首都，中国)，这意味着“北京是中国的首都”。尽管知识图谱最近越来越流行，但众所周知，即使是最先进的知识图谱也存在不完整性。例如，据观察，在FreeBase中，超过70％的人实体的出生地未知，超过99％的人没有已知的种族，FreeBase是用于研究目的的最大和最广泛使用的知识图谱之一。这使得研究人员提出了各种将缺失知识添加到知识图谱中的技术，通常称为知识图完成任务。可以通过从外部来源提取新知识或从知识图谱中已有的知识推断缺失的知识来增长现有知识图谱。后一种方法称为链路预测，是我们研究的重点。

随着链路预测技术的发展，许多学者提出了不同种类的链路预测方法。最近的表示学习模型备受关注，绝大多数链路预测模型使用原始知识图谱元素来学习表示学习的低维表示。在这些模型中，图形表示学习模型(如GCN)成为其中一种主流。这些模型能够通过从其邻居收集信息将图结构合并到嵌入中。然而，以前的图形表示学习方法只保留了来自三元组和图结构的信息，而图片信息和文本描述大多被忽略，如何将这些多源异构数据融合并在链路预测中展现出贡献是我们亟需解决的问题。

发明内容

本发明的目的是提供一种基于多源异构数据融合的知识图谱链路预测方法，能够有效利用多模态信息完成知识图谱补全任务。

为实现上述目的，本发明提供了如下方案：

一种基于多源异构数据融合的知识图谱链路预测方法，包括：

步骤1：获取待补全的知识图谱三元组数据、图片数据和文本描述数据；

步骤2：构建多模态知识图。将步骤1获得的待补全的知识图谱三元组数据和图片数据输入神经网络中，得到关系表示和相同维度的初步实体表示，引入图片实体作为知识图谱的一级公民，构成多模态知识图。

步骤3：获得三元组的文本嵌入。将步骤1获取的文本描述数据输入文本编码组件中，使用BERT模型对数据进行编码，得到三元组的文本嵌入。

步骤4：获得三元组的图结构嵌入。将步骤2构建的多模态知识图输入广义图注意力网络中，得到三元组的图结构嵌入。

步骤5：采样阶段。使用采样策略对相邻三元组进行采样，得到实体/关系子集。

步骤6：图传播阶段。将步骤5采样后的三元组的图结构嵌入输入门控图神经网络中，得到更新后的实体的向量表示，并对关系集的关系矩阵应用线性变换来统一关系嵌入和实体嵌入的维度。

步骤7：解码阶段。将步骤2-6编码阶段编码的数据输入解码器中，执行解码操作。解码器以端到端的方式执行链路预测任务中待补全的知识图谱。

进一步地，所述步骤1中，获取待补全的知识图谱三元组数据、图片数据和文本描述数据的具体方法包括：

步骤1.1、获取知识图谱三元组数据K；

步骤1.2、获取与步骤1.1中知识图谱三元组实体相关的图片数据G，并将图片大小统一为224*224；

步骤1.3、获取与待预测实体相关的文本描述数据T。

进一步地，所述步骤2中，构建多模态知识图的具体方法包括：

步骤2.1、将步骤1获取的图片数据G输入深度卷积网络(如VGG16)得到高维图片特征嵌入；

步骤2.2、将高维图片特征数据输入主成分分析算法(PCA),得到低维图片特征嵌入G_t；

步骤2.3、将步骤1获取的知识图谱三元组数据K输入嵌入层得到初步实体嵌入向量；

步骤2.4、将步骤2.3中的初步实体嵌入向量输入全连接层，得到与步骤2.2中低维图片特征嵌入相同维度的实体嵌入向量K_t。

步骤2.5、引入图片数据G中的实体作为待预测知识图谱的一级公民，构成多模态知识图MKG。

进一步地，所述步骤3中，获得三元组的文本嵌入的具体方法包括：

步骤3.1、用BERT作文本编码器，将步骤1中获取的文本描述数据T输入BERT模型，以生成实体和关系的上下文感知表示。为了便于区分，我们将此步骤中的头实体v_h、关系r和尾实体v_t的输出嵌入依次标记为

r^T和

步骤3.2、三元组t的文本嵌入tT由以下部分组成：

进一步地，所述步骤4中，获得三元组的图结构嵌入的具体方法包括：

步骤4.1、将单个相邻三元组t＝(v_h,r,v_t)初始参数化为：

其中c^G是潜在表示，W²是线性变换矩阵，

r^G和

表示门控图神经网络的v_h、r和v_t的输入嵌入；

步骤4.2、在涉及邻域的所有三元组上使用softmax函数计算相对重要性分数。该过程的公式定义如下:

其中

表示第i个相邻三元组t_i的相对重要性分数，W3是遵循类似LeakyReLU的激活函数σ的权重矩阵。

步骤4.3、通过将所有相邻三元组的总和按其相对重要性得分加权，获得节点v的聚合嵌入：

上述使用的是原始广义图注意力网络的简化版，只考虑一跳邻域。

步骤4.4、使用以下等式构造输出关系嵌入：

其中

是线性变换。R^G是通过将输入关系嵌入从

连接到

生成的输出关系嵌入。

步骤4.5、对于每个三元组t，图结构嵌入可以表示为：

进一步地，所述步骤5中，采用定长抽样的方法，具体来说，定义需要的邻居个数S,然后采用有放回的重采样/负采样方法达到S。保证每个节点(采样后的)邻居个数一致是为了把多个节点以及他们的邻居拼成Tensor送到GPU中进行批训练。最后得到三元组t的邻域子集

进一步地，所述步骤6中，图传播阶段的具体方法包括：

步骤6.1、将实体和关系的嵌入投影到相同的语义空间中：

其中V^T，R^T来自步骤3的BERT，V^G，R^G来自步骤4的广义图注意力网络，

是实体的投影矩阵，

是关系的投影矩阵。

步骤6.2、对于步骤5采样后得到的邻域子集，我们根据

中三元组的注意力值构造邻接矩阵。实体嵌入

的更新过程与门控图神经网络相同(Li et al.,2016)：

其中，adj_n是实体

的邻接矩阵，它决定了图中的节点如何相互通信，

是在前一个时间步长t-1的实体。

表示实体

与其邻居交互的边上的影响。σ是sigmoid激活函数，输出的分数在0-1范围内。设

和

分别表示更新门和重置门。Wz、Hz、Wr、Hr、Wo和Ho是训练期间要学习的参数。其余的是类似GRU的更新，包含来自其他节点和前一个时间步的信息。更新门控制来自先前隐藏状态的信息对当前隐藏状态的影响程度，重置门允许模型丢弃不相关的信息，⊙表示按元素乘法的运算。

步骤6.3、更新MKG中所有实体的向量表示。嵌入子图作为中心实体v的最终向量表示：

步骤6.4、通过对关系集

的关系矩阵应用线性变换，将关系嵌入和实体嵌入的维度统一为：

进一步地，所述步骤7中，采用ConvKB进行解码，ConvKB可以通过应用卷积神经网络捕捉全局关系以及实体和关系之间的过渡特征，ConvKB中的卷积层使用多个滤波器来生成不同的特征图。其中，为了检查一个三元组是否有效，ConvKB还为每个三元组定义了一个不可信分数，定义为：

f_D(t)＝Concat(ReLU([v_h,r,v_j]*Ω))·W

其中Ω是表示卷积滤波器的超参数。*表示卷积运算。然后，将不同的特征映射连接到单个向量中(关系和实体的嵌入大小为n)，并且与权重向量

进行点积操作。我们使用Adam优化器来训练模型：

其中，权重向量W上进行L2范数正则化，t∈ε,I_t＝1；t∈ε′,I_t＝-1。

本发明的有益效果为：

本发明有效挖掘多模态信息，利用文本信息、图片信息和知识图谱图结构信息，将三种源异构数据进行有效融合，使得实体和关系的表征更加丰富，能够更加精确地表示实体，该发明显著提高了链路预测的效果。

附图说明

图1是本发明提供的多源异构数据融合的知识图谱链路预测流程图；

图2是本发明提出的生成实体和关系嵌入的模型框架图；

图3是本发明提出的生成多模态知识图的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面通过实例具体结合附图对本发明作进一步详细描述。

如图1所示，一种基于多源异构数据融合的知识图谱链路预测方法，包含以下步骤：

步骤1、获取待补全的知识图谱三元组数据K、图片数据G和文本描述数据T。其中，图片数据G和文本描述数据T是与知识图谱三元组数据K中实体相关的图片及文本描述数据。

然后，为了统一后续步骤2中的图片输入大小，将获取到的图片数据G大小统一为224*224。

步骤2、构建多模态知识图：

先将步骤1获取的图片数据G输入深度卷积网络(如VGG16)得到高维图片特征嵌入，然后，为了在保留图片数据的特征的同时降低数据维度，再将得到的高维图片特征嵌入输入主成分分析算法(PCA),得到低维图片特征嵌入G_t。

同时，将步骤1获取的知识图谱三元组数据K输入嵌入层得到初步实体嵌入向量。然后，将得到的初步实体嵌入向量输入全连接层，得到与步骤2.2中地位图片特征嵌入相同维度的实体嵌入向量K_t。

最后，引入图片数据G中的实体作为知识图谱的一级公民，构成多模态知识图MKG。

步骤3、获得三元组的文本嵌入：

用BERT作文本编码器，将文本描述数据T输入BERT模型，以生成实体和关系的上下文感知表示。具体来说，对于三元组t＝(v_h,r,v_t)，我们将实体或关系打包为[CLS，S，SEP]，其中“[CLS]”和“[SEP]”分别是表示“分类”和句子分隔符的特殊标记。S是由BERT标记器生成的实体/关系文本描述的标记序列。我们得到了BERT位于“[CLS]”位置的输出

作为句子表示，其中l是句子长度，n表示嵌入维数。其中，三元组t的文本嵌入t^T由以下部分组成：

其中W为可学习参数，

r^T和

依次为头实体v_h、关系r和尾实体v_t的输出嵌入。

步骤4、获得三元组的图结构嵌入：

将多模态知识图MKG输入广义图注意力网络中，得到三元组的图结构嵌入。首先，将MKG中单个相邻三元组t＝(v_h,r,v_t)初始参数化。初始参数化的计算公式为：

其中c^G是潜在表示，W²是线性变换矩阵，

r^G和

表示广义图注意力网络的三元组头实体v_h、关系r和尾实体v_t的输入嵌入。

然后，将所有初始参数化后的三元组进行softmax归一化操作，具体计算公式为：

其中

表示第i个相邻三元组t_i的相对重要性分数，

表示相邻三元组的集合，W³是遵循类似LeakyReLU的激活函数σ的权重矩阵。

然后，将所有相邻三元组的总和按其相对重要性得分加权，获得节点v的聚合嵌入v^G。具体计算公式为：

需要注意的是，上述使用的是原始广义图注意力网络的简化版，只考虑一跳邻域。

同时，构造输出关系嵌入。具体计算公式为：

其中

是线性变换。R^G是通过将输入关系嵌入从

连接到

生成的输出关系嵌入。

最后，生成每个三元组t的图结构嵌入t^G。具体计算公式为：

步骤5、对三元组

进行采样，得到t采样后的相邻三元组集合

可考虑采用定长抽样的方法，具体来说，定义需要的邻居个数S,然后采用有放回的重采样/负采样方法达到S。保证每个节点(采样后的)邻居个数一致是为了把多个节点以及他们的邻居拼成Tensor送到GPU中进行批训练。最后得到三元组t的邻域子集

步骤6、将步骤5采样后的三元组图结构嵌入输入门控图神经网络中，得到更新后的实体的向量表示，并对关系集的关系矩阵应用线性变换来统一关系嵌入和实体嵌入的维度。为了能够有效聚合三种模态的数据，将实体和关系的嵌入投影到相同的语义空间中。具体计算公式为：

其中V^T，R^T来自步骤3的BERT，V^G，R^G来自步骤4的广义图注意力网络，

是实体的投影矩阵，

是关系的投影矩阵。

再根据采样后的领域子集

中三元组的注意力值构造邻接矩阵adj_n。然后通过门控机制更新实体嵌入，具体计算公式为：

其中，adj_n是实体

的邻接矩阵，它决定了图中的节点如何相互通信，

是在前一个时间步长t-1的实体。

表示实体

与其邻居交互的边上的影响。σ是sigmoid激活函数，输出的分数在0-1范围内。设

和

分别表示更新门和重置门。W_z、H_z、W_r、H_r、W_o和H_o是训练期间要学习的参数。其余的是类似GRU的更新，包含来自其他节点和前一个时间步的信息。更新门控制来自先前隐藏状态的信息对当前隐藏状态的影响程度，重置门允许模型丢弃不相关的信息，⊙表示按元素乘法的运算。

然后，通过上述公式更新MKG中所有实体的向量表示。最后，得到嵌入子图作为中心实体v的最终向量表示。具体公式为：

为了将关系嵌入和实体嵌入的维度统一，对关系集

的关系矩阵应用线性变换，得到更新后的关系矩阵

具体计算公式为：

其中，

为可学习参数，

为关系集

中的关系矩阵。

步骤7、将步骤2-6编码阶段编码的数据输入解码器中，进行解码操作。为了通过应用卷积神经网络捕捉全局关系以及实体和关系之间的过渡特征，采用ConvKB进行解码，ConvKB中的卷积层使用多个滤波器来生成不同的特征图。其中，为了检查一个三元组是否有效，ConvKB还为每个三元组定义了一个不可信分数，定义不可信分数的具体计算公式为：

f_D(t)＝Concat(ReLU([v_h,r,v_j]*Ω))·W

其中Ω是表示卷积滤波器的超参数。*表示卷积运算。然后，将不同的特征映射连接到单个向量中(关系和实体的嵌入大小为n)，并且与权重向量W∈R^|Ω|n×1进行点积操作。同时，我们使用Adam优化器来训练模型。具体优化函数为：

其中，权重向量W上进行L2范数正则化，t∈ε,I_t＝1；t∈ε′,I_t＝-1。

Claims (8)

1.一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于包括以下步骤：

1)获取待补全的知识图谱三元组数据、图片数据和文本描述数据；

2)融合知识图谱数据和图片数据构建多模态知识图；

3)对文本描述数据进行编码，获得三元组的文本嵌入；

4)对多模态知识图中的图结构数据进行编码，获得三元组的图结构嵌入；

5)对所有三元组进行采样；

6)通过图传播阶段更新实体和关系表示；

7)将上述编码操作后的数据输入卷积神经网络中，执行解码操作。

2.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤1)中：所述获取数据过程具体步骤为：

1)获取知识图谱三元组数据K；

2)获取与知识图谱三元组实体相关的图片数据G，并将图片大小统一为224*224；

3)获取与待预测实体相关的文本描述数据T。

3.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤2)中：所述构建多模态知识图过程的具体步骤为：

1)将获取的图片数据G输入深度卷积网络(如VGG16)得到高维图片特征嵌入；

2)将高维图片特征数据输入主成分分析算法(PCA),得到低维图片特征嵌入G_t；

3)将获取的知识图谱三元组数据K输入嵌入层得到初步实体嵌入向量；

4)将上述初步实体嵌入向量输入全连接层，得到与图片特征嵌入相同维度的实体嵌入向量K_t；

5)引入图片数据G中的实体作为待预测知识图谱的一级公民，由知识图谱三元组数据和图片数据构成多模态知识图MKG。

4.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤3)中：所述获得三元组的文本嵌入过程的具体步骤为：

1)用BERT作文本编码器，对文本描述数据T进行编码；

2)三元组t的文本嵌入t^T由以下部分组成：

其中三元组头实体v_h、关系r和尾实体v_t的输出嵌入依次标记为

r^T和

5.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤4)中：所述获得三元组的图结构嵌入过程的具体步骤为：

1)将单个相邻三元组t＝(v_h,r,v_t)初始参数化为：

其中c^G是潜在表示，W²是线性变换矩阵，

r^G和

表示门控图神经网络的v^h、r和v^t的输入嵌入；

2)在涉及邻域的所有三元组上使用softmax函数计算相对重要性分数；该过程的公式定义如下:

其中

表示第i个相邻三元组t_i的相对重要性分数，W³是遵循类似LeakyReLU的激活函数σ的权重矩阵；

3)通过将所有相邻三元组的总和按其相对重要性得分加权，获得节点v的聚合嵌入：

上述使用的是原始广义图注意力网络的简化版，只考虑一跳邻域；

4)使用以下等式构造输出关系嵌入：

其中

是线性变换，R^G是通过将输入关系嵌入从

连接到

生成的输出关系嵌入；

5)对于每个三元组t，图结构嵌入可以表示为：

6.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤5)中：所述采样过程采用定长抽样的方法，具体来说，定义需要的邻居个数S,然后采用有放回的重采样/负采样方法达到S，最后得到三元组t的邻域子集

7.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤6)中：所述图传播过程的具体步骤为：

1)将实体和关系的嵌入投影到相同的语义空间中：

其中V^T，R^T来自步骤3的BERT，V^G，R^G来自步骤4的广义图注意力网络，

是实体的投影矩阵，

是关系的投影矩阵；

2)对于步骤5采样后得到的邻域子集，我们根据

中三元组的注意力值构造邻接矩阵；实体嵌入

的更新过程与门控图神经网络相同(Li et al.,2016)：

其中，adj_n是实体

的邻接矩阵，它决定了图中的节点如何相互通信，

是在前一个时间步长t-1的实体；

表示实体

与其邻居交互的边上的影响，σ是sigmoid激活函数，输出的分数在0-1范围内；设

和

分别表示更新门和重置门；W_z、H_z、W_r、H_r、W_o和H_o是训练期间要学习的参数；其余的是类似GRU的更新，包含来自其他节点和前一个时间步的信息；更新门控制来自先前隐藏状态的信息对当前隐藏状态的影响程度，重置门允许模型丢弃不相关的信息，⊙表示按元素乘法的运算；

3)更新MKG中所有实体的向量表示；嵌入子图作为中心实体v的最终向量表示：

4)通过对关系集

的关系矩阵应用线性变换，将关系嵌入和实体嵌入的维度统一为：

8.根据权利要求1所述的一种基于多源异构数据融合的知识图谱链路预测方法，其特征在于步骤7)中：所述解码过程采用ConvKB进行解码，其中，ConvKB还为每个三元组定义了一个不可信分数，定义为：

f_D(t)＝Concat(ReLU([v_h,r,v_j]*Ω))·W

其中Ω是表示卷积滤波器的超参数，*表示卷积运算，然后，将不同的特征映射连接到单个向量中(关系和实体的嵌入大小为n)，并且与权重向量W∈R^|Ω|n×1进行点积操作，我们使用Adam优化器来训练模型：

其中，权重向量W上进行L2范数正则化，t∈ε,I_t＝1；t∈ε′,I_t＝-1。

Images