CN110688489B - 基于交互注意力的知识图谱推演方法、装置和存储介质 - Google Patents

Abstract

本发明提出了一种基于交互注意力的知识图谱推演方法、装置和存储介质，基于实体、关系以及文本的向量化表示预测知识图谱中缺失的元素，提高知识图谱构推演的准确性。所述方法，包括：获取缺失实体或者关系的知识图谱；利用知识图谱预测模型获取已知实体或者关系的向量化表示，知识图谱预测模型为利用带有标签的文本语料库中的句子样本和/或知识图谱样本进行训练得到的，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和文本语料库中的句子样本协同训练实体和关系以及文本化关系的向量化表示；根据已知实体或者关系的向量化表示，确定缺失的元素。

Description

基于交互注意力的知识图谱推演方法、装置和存储介质

技术领域

本发明涉及知识图谱推演技术领域，尤其涉及一种基于交互注意力的知识图谱推演方法、装置和存储介质。

背景技术

知识图谱，又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形。知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成，其基本组成单位是“实体－关系－实体”三元组，构成网状的知识结构。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”，实体间通过关系相互联结。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力，本质是以语义三元组为基础的结构化的海量知识库。

知识图谱推演是基于知识图谱中已有的实体和关系，来补全知识图谱中缺失的实体或关系，是目前解决知识图谱“非完备性”难题的重要渠道。现有技术，通常将知识图谱中的知识(主要针对知识图谱中的实体或关系)与文本(主要针对文本中的词语)映射到同一语义向量空间中，在这种情况下，如何实现知识与文本的充分融合与消歧，成为知识图谱推演过程中的关键技术之一。现有的知识图谱推演方法中，广泛采纳远程监督策略，但是此类方法严重依赖知识和文本的“硬对齐”；而“软对齐”方法则依赖于语法分析(及句法分析)，易产生传导性误差，从而降低了得到的知识图谱的准确性。

发明内容

本发明提供一种基于交互注意力的知识图谱推演方法、装置和存储介质，基于实体、关系以及文本的向量化表示根据缺失实体或者关系的知识图谱，预测缺失的元素，提高知识图谱构推演的准确性。

本发明采用的技术方案是提供一种基于交互注意力的知识图谱推演方法，包括：

获取缺失实体或者关系的知识图谱；

利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示，所述知识图谱预测模型为利用带有标签的、文本语料库中的句子样本和/或带有标签的知识图谱样本进行训练得到的，其中，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；

根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素。

在一种可能的实施方式中，在所述知识图谱预测模型训练过程中，按照以下公式对待训练的模型参数进行训练：

其中：θ＝{θ_E,θ_R,θ_W}，表示待训练的模型参数；

G表示带有标签的知识图谱样本；

T表示文本语料库中的句子样本；

表示在知识图谱样本G中三元组(h,r,t)的第一条件概率，h、r、t分别表示知识图谱样本中的头实体、关系和尾实体；

表示在文本语料库T中句子样本s及其所蕴含的文本化关系r_s的第二条件概率；

θ_E、θ_R和θ_W分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数。

在一种可能的实施方式中，在所述知识图谱预测模型训练过程中，按照以下公式确定损失函数：

其中：

λ是谐波因子，||θ||₂是基于L₂距离的归一化因子。

在一种可能的实施方式中，针对知识图谱样本，如果所述知识图谱样本缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

f_t(h,r)＝b_t-‖t-(h+r)‖；

b_t表示第一偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

f_h(r,t)＝b_h-‖h-(t-r)‖；

b_h表示第二偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

{(h₁,t₁),…,(h_m,t_m)}表示所述知识图谱样本中存在的符合关系r的m个实体对；

b_r是第三偏差；

W_s是权重矩阵，M_r是关系r对应的文本嵌入矩阵，b_s是偏差向量。

在一种可能的实施方式中，针对文本语料库中的句子样本，按照以下公式确定所述第二条件概率：

其中：

{s₁,…,s_n}表示文本语料库中蕴含文本化关系r_s并包含实体对(h,t)的句子集合，这些句子对应的输出向量表示为

表示文本化关系r_s对应的得分，M表示用于计算文本化关系r_s对应的得分的权重矩阵,r_s为文本化关系r_s对应的向量；

W_s是权重矩阵。

本发明还提供一种基于交互注意力的知识图谱推演装置，包括：

模型训练单元，用于利用带有标签的、文本语料库中的句子样本和/或带有标签的知识图谱样本进行训练得到知识图谱预测模型；其中，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；

获取单元，用于获取缺失实体或者关系的知识图谱；

预测单元，用于利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示；

推演单元，用于根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素。

在一种可能的实施方式中，所述模型训练单元，具体用于按照以下公式确定待训练的模型参数：

其中：θ＝{θ_E,θ_R,θ_W}，表示待训练的模型参数；

G表示带有标签的知识图谱样本；

T表示文本语料库中的句子样本；

表示在知识图谱样本G中三元组(h,r,t)的第一条件概率，h、r、t分别表示知识图谱样本中的头实体、关系和尾实体；

表示在文本语料库T中句子样本s及其所蕴含的文本化关系r_s的第二条件概率；

θ_E、θ_R和θ_W分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数。

在一种可能的实施方式中，所述模型训练单元，具体用于按照以下公式确定损失函数：

其中：

λ是谐波因子，||θ||₂是基于L₂距离的归一化因子。

在一种可能的实施方式中，所述模型训练单元，具体用于针对知识图谱样本，如果所述知识图谱样本缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

f_t(h,r)＝b_t-‖t-(h+r)‖；

b_t表示第一偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，所述模型训练单元，具体用于如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

f_h(r,t)＝b_h-‖h-(t-r)‖；

b_h表示第二偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，所述模型训练单元，具体用于如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

{(h₁,t₁),…,(h_m,t_m)}表示所述知识图谱样本中存在的符合关系r的m个实体对；

b_r是第三偏差；

W_s是权重矩阵，M_r是关系r对应的文本嵌入矩阵，b_s是偏差向量。

在一种可能的实施方式中，所述模型训练单元，具体用于针对文本语料库中的句子样本，按照以下公式确定所述第二条件概率：

其中：

{s₁,…,s_n}表示文本语料库中蕴含文本化关系r_s并包含实体对(h,t)的句子集合，这些句子对应的输出向量表示为

表示文本化关系r_s对应的得分，M表示用于计算文本化关系r_s对应的得分的权重矩阵,r_S为文本化关系r_s对应的向量；

W_s是权重矩阵。

本发明还提供一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一知识图谱推演方法所述的步骤。

本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一知识图谱推演方法所述的步骤。

采用上述技术方案，本发明至少具有下列优点：

本发明所述基于交互注意力的知识图谱推演方法、装置和存储介质中，利用带有标签的、文本语料库中的句子样本或者带有标签的知识图谱样本在同一语义空间协同训练以学习实体、关系或者文本化关系的向量化表示得到的知识图谱预测模型，利用得到的知识图谱预测模型，预测知识图谱中缺失的元素，或者推演知识图谱中实体间的隐含关系，或者将文本中的关系映射到知识图谱中个关系中，上述过程中，增强了知识图谱中的知识与文本蕴含的实体及关系的融合与消歧，从而提高了知识图谱推演的准确性。

附图说明

图1为本发明实施例的知识图谱推演方法流程图；

图2为本发明实施例的知识图谱推演装置流程图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

需要说明的是，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

知识图谱可以采用三元组(h,r,t)表示，其中，h表示知识图谱中的头实体，r表示知识图谱中的关系，t表示知识图谱中的尾实体。

为了增强知识图谱中的知识与纯文本蕴含的实体(及关系)的融合与消歧，提高知识图谱推演的准确性，本发明实施例中，实现对知识和文本的交互关联与协同分析，进而自动建模和增强有益特征的重要性，完成在同一语义空间按照协同训练学习知识和文本的向量化表示。

本发明实施例中，知识图谱预测模型的训练过程包含以下三个部分：1、联合表示学习，在统一的语义向量空间中，协同训练实体的向量化表示、关系的向量化表示、词语的向量化表示。具体地，可以利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；2、知识图谱表示学习，即基于知识图谱样本，训练实体的向量化表示和关系的向量化表示。在该过程中，使用第3部分衍生的文本化关系表示结果来完善知识图谱表示学习结果。具体地，可以利用带有标签的知识图谱样本训练实体或者关系的向量化表示；3、文本化关系表示学习，即基于文本语料库，训练包含实体对的句子中的文本化关系的向量化表示。在该过程中，使用第2部分衍生的知识图谱表示学习结果来完善文本化关系表示结果。具体地，可以利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示。本发明实施例中，知识图谱预测模型的每一部分训练可以采用随机梯度下降算法(Stochastic Gradient Descent,SGD)算法进行并行训练。

其中，在第一部分的训练过程中，联合表示学习过程需要训练的模型参数可以表示θ＝{θ_E,θ_R,θ_W}，本发明实施例中，可以按照以下公式对待训练的模型参数进行训练：

其中：G表示带有标签的知识图谱样本；T表示文本语料库中的句子样本；θ_E、θ_R和θ_W分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数；

可以通过最大化知识图谱上的三元组的似然来获得；

可以通过最大化文本语料库中句子及其对应的文本化关系的似然来获得。

表示在知识图谱样本G中三元组(h,r,t)的第一条件概率，h、r、t分别表示知识图谱样本中的头实体、关系和尾实体；

表示在文本语料库T中句子样本s及其所蕴含的文本化关系r_s的第二条件概率。

本发明实施例中，按照以下公式确定损失函数：

其中：λ是谐波因子，||θ||₂是基于L₂距离的归一化因子。

本发明实施例中，知识图谱预测模型的训练可以采用随机梯度下降算法(Stochastic Gradient Descent,SGD)算法进行并行训练。

需要说明的是，在训练开始时，模型参数{θ_E,θ_R,θ_W}的初始值可以随机设定。

在针对知识图谱预测模型第二部分的训练过程中，本发明实施例中，将

分解为条件概率

和

分别进行优化。即：知识图谱表示建模过程包括三种情况：缺失尾实体、缺失头实体和缺失关系。

具体实施时，如果缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

f_t(h,r)＝b_t-‖t-(h+r)‖；

b_t表示第一偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

本发明实施例中，对于(h，r)(这种情况缺失尾实体)，定义打分函数f_t(h,r)＝b_t-‖t-(h+r)‖。基于该打分函数的条件概率可以表示为：

如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

f_h(r,t)＝b_h-‖h-(t-r)‖；

b_h表示第二偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

具体地，对于(r,t)(这种情况缺失头实体)，定义打分函数f_h(r,t)＝b_h-‖h-(t-r)‖。其中，b_h表示偏差，h、r、t分别表示头实体向量、关系向量、尾实体向量。基于该打分函数的条件概率可以表示为：

如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

{(h₁,t₁),…,(h_m,t_m)}表示所述知识图谱样本中存在的符合关系r的m个实体对；

b_r是第三偏差；

W_s是权重矩阵，M_r是关系r对应的文本嵌入矩阵，b_s是偏差向量。

具体实施时，对于关系r，假设在知识图谱中存在m个实体对{(h₁,t₁),…,(h_m,t_m)}符合该关系，而这些实体对所对应的文本化关系向量表示为

本发明旨在促进知识图谱表示学习得到的显式关系向量r与上述隐式关系向量尽可能对应。每个文本化关系向量对应的注意力表示为：

其中，W_s是权重矩阵，M_r是关系r对应的文本嵌入矩阵，b_s是偏差向量。注意力即为每个文本化关系向量对应的权重。

因此，可以生成进一步的对于关系r的文本化关系向量r^*，如下：

综上，对于(h,t)(这种情况缺失关系)，条件概率可以表示为：

其中，b_r是偏差。

在知识图谱预测模型第三部分的训练中，文本化关系抽取是指给定一个句子s，识别和向量化其所包含的实体之间的关系r_s。本发明实施中，采用卷积神经网络完成对包含文本化关系抽取，该卷积神经网络结构包括输入层、卷积层、池化层和输出层，其中：

输入层：对于包含实体和实体的句子，本发明实施例，不仅仅利用词语的词向量完成建模，而是将词语向量与位置向量拼接作为输入从而完成建模。

卷积层：基于滑动窗口策略处理句子的输出，进而得到隐层向量。

池化层：基于最大池化策略对隐层向量进行处理，进而得到输出向量

对于每个关系r_s，文本语料库中存在句子集合{s₁,…,s_n}蕴含关系r_s并包含实体对(h,t)，这些句子对应的输出向量表示为

输出层：每个句子输出向量对应的注意力(权重)可以表示为：

其中，W_s是权重矩阵，

表示句子的输出向量。

因此，可以生成进一步的对于关系r的文本化关系向量r_s，如下：

基于文本化关系表达r_s计算关系得分

其中M表示用于计算关系得分的权重矩阵。

综上，模块3训练得到条件概率

如下：

其中：

{s₁,…,s_n}表示文本语料库中蕴含文本化关系r_s并包含实体对(h,t)的句子集合，这些句子对应的输出向量表示为

表示文本化关系r_s对应的得分，M表示用于计算文本化关系r_s对应的得分的权重矩阵,r_s为文本化关系r_s对应的向量；

W_s是权重矩阵。

基于上述定义的损失函数、模型参数，利用带有标签的知识图谱样本和带有标签的文本语料库中的句子样本，对知识图谱预测模型进行训练，直至满足预先设定的迭代截止条件，例如，迭代截止条件可以设定为迭代次数达到设定的迭代次数，或者预测误差不大于设定的误差阈值等等，本发明实施例对此不进行限定。

基于训练得到的知识图谱预测模型，本发明实施例中，可以按照以下流程预测知识图谱中缺失的实体或者元素，如图1所示，可以包括以下步骤：

S11、获取缺失实体或者关系的知识图谱。

具体实施时，获取缺失某一元素的知识图谱，缺失的元素可以为头实体，关系或者尾实体中的任一项。

S12、利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示。

本步骤中，将获取的知识图谱输入到知识图谱预测模型中，得到一致元素对应的向量化表示。

S13、根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素。

具体实施时，知识图谱中的头实体向量h、关系向量r和尾实体向量t之间满足以下关系h+r＝t，由此，在已知知识谱图中任两个元素对应的向量的情况下，可以根据上述公式确定出缺失的元素对应的向量，根据缺失的元素对应的向量，在元素名称与向量的对应关系中，查找与确定出的向量之间距离最近的元素名称作为缺失元素的名称。其中，可以采用余弦定理等来计算两个向量之间的距离，本发明实施例对此不进行限定。

本发明实施例提供的知识图谱推演方法中，无需依赖语法分析(及句法分析)和硬对齐，不仅降低了计算复杂度也避免了前序自然语言处理过程产生的错误对于后续知识推演过程的影响。而且，本发明实施例提供的知识图谱推演方法中，能够实现文本化关系表示学习和知识图谱表示学习的相互促进：在文本化关系表示学习过程中，知识图谱表示学习结果能够缓解远程监督策略带来的噪声；在知识图谱表示学习过程中，文本化关系学习结果能够辅助筛选出最优益的知识特征。本发明实施例提供的知识图谱推演方法，可应用于非严格对齐文本，具有较好的通用性。

基于相同的技术构思，本发明实施例还提供另一种知识图谱推演装置，如图2所示，包括：

模型训练单元21，用于利用带有标签的、文本语料库中的句子样本和/或带有标签的知识图谱样本进行训练得到知识图谱预测模型；其中，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；

获取单元22，用于获取缺失实体或者关系的知识图谱；

预测单元23，用于利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示；

推演单元24，用于根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素。

在一种可能的实施方式中，所述模型训练单元21，具体用于按照以下公式确定待训练的模型参数：

其中：θ＝{θ_E,θ_R,θ_W}，表示待训练的模型参数；

G表示带有标签的知识图谱样本；

T表示文本语料库中的句子样本；

表示在知识图谱样本G中三元组(h,r,t)的第一条件概率，h、r、t分别表示知识图谱样本中的头实体、关系和尾实体；

表示在文本语料库T中句子样本s及其所蕴含的文本化关系r_s的第二条件概率；

θ_E、θ_R和θ_W分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数。

在一种可能的实施方式中，所述模型训练单元21，具体用于按照以下公式确定损失函数：

其中：

λ是谐波因子，||θ||₂是基于L₂距离的归一化因子。

在一种可能的实施方式中，所述模型训练单元，具体用于针对知识图谱样本，如果所述知识图谱样本缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

f_t(h,r)＝b_t-‖t-(h+r)‖；

b_t表示第一偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，所述模型训练单元21，具体用于如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

f_h(r,t)＝b_h-‖h-(t-r)‖；

b_h表示第二偏差；

h、r和t分别表示头实体h对应的向量、关系r对应的向量和尾实体t对应的向量。

在一种可能的实施方式中，所述模型训练单元21，具体用于如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

{(h₁,t₁),…,(h_m,t_m)}表示所述知识图谱样本中存在的符合关系r的m个实体对；

b_r是第三偏差；

W_s是权重矩阵，M_r是关系r对应的文本嵌入矩阵，b_s是偏差向量。

在一种可能的实施方式中，所述模型训练单元21，具体用于针对文本语料库中的句子样本，按照以下公式确定所述第二条件概率：

其中：

{s₁,…,s_n}表示文本语料库中蕴含文本化关系r_s并包含实体对(h,t)的句子集合，这些句子对应的输出向量表示为

表示文本化关系r_s对应的得分，M表示用于计算文本化关系r_s对应的得分的权重矩阵,r_s为文本化关系r_s对应的向量；

W_s是权重矩阵。

基于相同的技术构思，本发明还提供一种计算装置，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一知识图谱推演方法所述的步骤。

基于相同的技术构思，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一知识图谱推演方法所述的步骤。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (4)

1.一种基于交互注意力的知识图谱推演方法，其特征在于，包括：

获取缺失实体或者关系的知识图谱；

利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示，所述知识图谱预测模型为利用带有标签的、文本语料库中的句子样本和/或带有标签的知识图谱样本进行训练得到的，其中，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；

根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素；

在所述知识图谱预测模型训练过程中，按照以下公式对待训练的模型参数进行训练：

其中：

，表示待训练的模型参数；

表示带有标签的知识图谱样本；

表示文本语料库中的句子样本；

，

表示在知识图谱样本

中

三元组

的第一条件概率，

、

分别表示知识图谱样本中的头实体、关系和尾实体；

，

表示在文本语料库

中句子样本

及其所蕴含的文本化关系

的第二条件概率；

、

和

分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数；

在所述知识图谱预测模型训练过程中，按照以下公式确定损失函数：

其中：

是谐波因子，

是基于

距离的归一化因子；

如果所述知识图谱样本缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

；

表示第一偏差；

、

和

分别表示头实体

对应的向量、关系

对应的向量和尾实体

对应的向量；

如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

；

表示第二偏差；

和

分别表示头实体

对应的向量、关系

对应的向量和尾实体

对应的向量；

如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

表示所述知识图谱样本中存在的符合关系

的

个实体对；

是第三偏差；

；

，

是权重矩阵，

是关系

对应的文本嵌入矩阵，

是偏差向量；

针对文本语料库中的句子样本，按照以下公式确定所述第二条件概率：

其中：

表示文本语料库中蕴含文本化关系

并包含实体对

的句子集合，这些句子对应的输出向量表示为

；

，

表示文本化关系

对应的得分，

表示用于计算文本化关系

对应的得分的权重矩阵,

为文本化关系

对应的向量；

；

，

是权重矩阵。

2.一种基于交互注意力的知识图谱推演装置，其特征在于，包括：

模型训练单元，用于利用带有标签的、文本语料库中的句子样本和/或带有标签的知识图谱样本进行训练得到知识图谱预测模型；其中，利用带有标签的知识图谱样本训练实体或者关系的向量化表示；利用带有标签的文本语料库中的句子样本训练文本化关系的向量化表示；利用带有标签的知识图谱样本和带有标签的、文本语料库中的句子样本协同训练实体和关系的向量化表示以及文本化关系的向量化表示；

获取单元，用于获取缺失实体或者关系的知识图谱；

预测单元，用于利用知识图谱预测模型，获取所述知识图谱中已知实体或者关系的向量化表示；

推演单元，用于根据已知实体或者关系的向量化表示，确定知识图谱中缺失的元素；

在所述知识图谱预测模型训练过程中，按照以下公式对待训练的模型参数进行训练：

其中：

，表示待训练的模型参数；

表示带有标签的知识图谱样本；

表示文本语料库中的句子样本；

，

表示在知识图谱样本

中三元组

的第一条件概率，

分别表示知识图谱样本中的头实体、关系和尾实体；

，

表示在文本语料库

中句子样本

及其所蕴含的文本化关系

的第二条件概率；

、

和

分别表示实体对应的模型参数、关系对应的模型参数和词语对应的模型参数；

在所述知识图谱预测模型训练过程中，按照以下公式确定损失函数：

其中：

是谐波因子，

是基于

距离的归一化因子

针对知识图谱样本，如果所述知识图谱样本缺失尾实体，则按照以下公式确定所述第一条件概率：

其中：

；

表示第一偏差；

、

和

分别表示头实体

对应的向量、关系

对应的向量和尾实体

对应的向量；

如果所述知识图谱样本缺失头实体，则按照以下公式确定所述第一条件概率：

其中：

；

表示第二偏差；

和

分别表示头实体

对应的向量、关系

对应的向量和尾实体

对应的向量；

如果所述知识图谱样本缺失关系，则按照以下公式确定所述第一条件概率：

其中：

表示所述知识图谱样本中存在的符合关系

的

个实体对；

是第三偏差；

；

，

是权重矩阵，

是关系

对应的文本嵌入矩阵，

是偏差向量；

针对文本语料库中的句子样本，按照以下公式确定所述第二条件概率：

其中：

表示文本语料库中蕴含文本化关系

并包含实体对

的句子集合，这些句子对应的输出向量表示为

；

，

表示文本化关系

对应的得分，

表示用于计算文本化关系

对应的得分的权重矩阵,

为文本化关系

对应的向量；

；

，

是权重矩阵。

3.一种计算装置，其特征在于，所述计算装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1所述的方法的步骤。

4.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的方法的步骤。

Images