CN109241290A - 一种知识图谱补全方法、装置与存储介质 - Google Patents

Abstract

本发明提供一种知识图谱补全方法、装置与存储介质，包括以下步骤：训练集获取步骤；实体主题向量生成步骤，将实体描述训练集输入主题模型中，以获得实体与主题的实体主题信息向量；翻译模型训练步骤，通过投影矩阵将原翻译模型获取的原结构信息向量与实体主题信息向量对齐，以获取新结构信息向量，通过新结构信息向量重新定义翻译模型的能量函数，以获得新能量函数，通过新能量函数训练获得新翻译模型；知识图谱补全步骤。本发明利用了主题模型学习了实体主题之间潜在的语义信息,并作为额外语义信息通过投影矩阵联合学习的方式加入到原翻译模型中,以构建新翻译模型，从而有效通过新翻译模型进行知识图谱补全。

Description

一种知识图谱补全方法、装置与存储介质

技术领域

本发明涉及人工智能领域，尤其是一种知识图谱补全方法、装置与存储介质。

背景技术

知识图谱作为推动人工智能学科发展的重要技术，已经被广泛的运用到人工智能领域，例如基于知识图谱进行检索引擎的查询理解，人机问答等。

知识图谱本质上是语义网络，是一种基于图的数据结构，其由节点和边组成。在知识图谱中，每个节点表示现实世界中存在的“实体”，每条边表示实体与实体之间的“关系”。通俗地讲，知识图谱就是把所有不同种类的信息连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。

图1为一条知识图谱的示意图，一条知识图谱可以表示为一个三元组，三元组依次为头实体，关系以及尾实体。小明的爸爸是大明，表示成三元组是(小明，爸爸，大明)，其中小明是头实体，也是主体。爸爸是关系。大明是尾实体，也是客体。头实体和尾实体统称为实体(entity)。关系有一个属性，不可逆，也就是说头实体和尾实体不能颠倒过来。因此知识图谱为有向图，从头实体指向尾实体。

随着规模逐渐增大，三元组结构的知识图谱正面临许多难题，如数据稀疏问题，数据缺失问题等。为了缓解这些问题，如何将知识图谱中的实体和关系进行向量化表示进而补全知识图谱中缺失内容的方法受到了广泛的关注。

发明内容

针对以上现有问题，本发明的目的在于提供一种知识图谱补全方法与装置。

根据本发明的第一个方面，提供一种知识图谱补全方法，每个知识图谱包括实体以及关系，包括以下步骤：训练集获取步骤，获取实体描述训练集，实体描述训练集中包括多个实体以及对实体的描述文本，描述文本中包括主题；实体主题向量生成步骤，将实体描述训练集输入主题模型中，以获得实体与主题的实体主题信息向量；翻译模型训练步骤，通过投影矩阵将原翻译模型获取的原结构信息向量与实体主题信息向量对齐，以获取新结构信息向量，通过新结构信息向量重新定义翻译模型的能量函数，以获得新能量函数，通过新能量函数训练获得新翻译模型；知识图谱补全步骤，根据缺失实体或是缺失关系的特定知识图谱，通过新翻译模型学习出的包括候选实体或候选关系的候选向量输入新能量函数以获得得分，并将得分最高的候选实体或候选关系作为缺失实体或是缺失关系以补全特定知识图谱。

优选地，实体主题向量生成步骤包括建立共现频率矩阵M步骤，建立实体与描述文本的单词的共现频率矩阵M；建立NMF(非负矩阵分解算法)主题模型步骤，使用以下公式建立NMF主题模型：

其中V_e为实体主题向量，S_w为单词主题向量，m，n分别取自然数；定义NMF损失函数步骤，使用欧拉距离定义NMF主题模型的NMF损失函数；计算实体主题向量步骤，通过优化计算NMF损失函数，计算出实体主题向量。

优选地，在翻译模型训练步骤中，将实体主题向量乘以投影矩阵加上原结构信息向量以获取新结构信息向量。

优选地，知识图谱的实体包括头实体以及尾实体，在翻译模型训练步骤中，将头实体主题向量乘以投影矩阵加上头实体的原结构信息向量以获取头实体的新结构信息向量；将尾实体主题向量乘以投影矩阵加上尾实体的原结构信息向量以获取尾实体的新结构信息向量；将头实体主题向量与尾实体主题向量的均值作为关系主题向量，将关系主题向量乘以投影矩阵加上关系的原结构信息向量以获取关系的新结构信息向量。

优选地，在翻译模型训练步骤以及知识图谱补全步骤中，新能量函数e_⊥(h,r,t)符合以下公式：

其中h_⊥为头实体的新结构信息向量，r_⊥为关系的新结构信息向量，t_⊥为尾实体的新结构信息向量。

优选地，定义新翻译模型的hinge-loss损失函数(合页损失函数)，优化计算hinge-loss损失函数以及NMF损失函数，以使新翻译模型输出实体和关系的向量表示。

优选地，使用Adagrad算法优化计算hinge-loss损失函数以及NMF损失函数。

根据本发明的第二个方面，提供一种知识图谱补全装置，包括：存储单元，用于存储程序，程序被处理单元执行时实现上述第一个方面的知识图谱补全方法的步骤；执行单元，用于执行存储单元中程序。

根据本发明的第三个方面，提供一种存储介质，存储介质存储程序，当所述程序被读取时，上述第一个方面的知识图谱补全方法的步骤被执行。

本发明的知识图谱补全方法、装置与存储介质利用了主题模型学习了实体主题之间潜在的语义信息,并作为额外语义信息通过投影矩阵联合学习的方式加入到原翻译模型中,以构建新翻译模型，从而有效通过新翻译模型进行知识图谱补全。

附图说明

以下结合附图和具体实施例对本发明的技术方案进行详细的说明，以使本发明的特性和优点更为明显。

图1为一条知识图谱的示意图；

图2为本发明实施例的知识图谱补全方法的流程示意图；

图3为图2中步骤S102的详细流程示意图；

图4为图2中步骤S103的详细流程示意图；

图5为本发明实施例的知识图谱补全方法的数据流向示意图；

图6为本发明的知识图谱补全装置的模块示意图。

具体实施方式

以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。

一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图5为本发明实施例的知识图谱补全方法的数据流向示意图。如图5所示。一条知识图谱可以表示为一个三元组，包括头实体，关系以及尾实体。通过翻译模型可以进行知识图谱补全。具体而言，将知识图谱结构信息训练集300输入原翻译模型601，从而将知识图谱结构信息训练集300中的实体和关系通过头实体加关系等于尾实体的等式，翻译成头实体的原结构信息向量h 401，关系的原结构信息向量r 402以及尾实体的原结构信息向量t403，并用此来补全知识图谱中缺失的链接。结构信息训练集300例如可以选用Freebase网站的FB15k知识图谱训练集。

然而由于仅仅考虑了知识图谱中实体和关系的结构信息，上述原翻译模型601有很大的局限性。例如对于原本结构就非常稀疏的知识图谱，原翻译模型601不能很好的学习出实体和关系向量，继而大大降低了知识图谱补全工作的准确率。

因此，本发明在原翻译模型601的基础上进行改进，引入主题模型学习，以提高知识图谱补全工作的准确率。

图2为本发明实施例的知识图谱补全方法的流程示意图，如图2所示，本发明的知识图谱补全方法包括步骤：

S101：训练集获取，获取实体描述训练集，实体描述训练集中包括多个实体以及对实体的描述文本，描述文本中包括主题。

S102：实体主题向量生成，将实体描述训练集输入主题模型中，以获得实体与主题的实体主题信息向量。

S103：翻译模型训练，通过投影矩阵将原翻译模型获取的原结构信息向量与实体主题信息向量对齐，以获取新结构信息向量，通过新结构信息向量重新定义翻译模型的能量函数，以获得新能量函数，通过新能量函数训练获得新翻译模型。

S104：知识图谱补全，根据缺失实体或是缺失关系的特定知识图谱，通过新翻译模型学习出的包括候选实体或候选关系的候选向量输入新能量函数以获得得分，并将得分最高的候选实体或候选关系作为缺失实体或是缺失关系以补全特定知识图谱。

下面结合图1以及图5，详细介绍本法明实施例的知识图谱补全方法。

首先，如步骤S101训练集获取，即获取实体描述训练集100，实体描述训练集100中包括多个实体以及对实体的描述文本101，每个实体对应一个描述文本101，描述文本101中包括主题。实体描述训练集100例如可以使用freebase网站中的信息。

如步骤S102，将实体描述训练集100输入主题模型204中，以获得实体与主题的实体主题信息向量201，203。图3为图2中步骤S102的详细流程示意图。如图3以及图5所示，如步骤S1021，根据实体描述训练集100，建立实体与描述文本的单词的共现频率矩阵M。如步骤S1022，建立NMF(非负矩阵分解算法，Non-negativeMatrix Factorization)主题模型204。NMF的基本思想为对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵B和一个非负矩阵C，使得满足，从而将一个非负的矩阵分解为左右两个非负矩阵的乘积。

具体而言，使用以下公式建立NMF主题模型204：

其中V_e为实体主题向量201，203，S_w为单词主题向量，m，n分别取自然数，共现频率矩阵M是指在实体描述训练集100中每个单词在实体的描述文本101中出现的频率。

如步骤S1023，定义NMF损失函数。本实施例中使用欧拉距离定义NMF主题模型的NMF损失函数L_nmf，其公式如下：

其中，M_i，j是单词出现在实体描述中的频率，V_e和S_w分别为实体主题信息向量201，203和单词的主题信息向量。i，j，分别取自然数。

如步骤S1024，通过优化计算NMF损失函数L_nmf，学习出实体主题向量V_e201，203。

接着如步骤S103，训练翻译模型。图4为图2中步骤S103的详细流程示意图，如图4以及图5所示，首先如步骤S1031，获取新结构信息向量501，502，503。在本实施例中，将实体主题向量201，203乘以投影矩阵加上原结构信息向量401，402，403以获取新结构信息向量501，502，503。该方法能够在翻译模型训练的过程中自动挑选有效的主题信息加入到结构信息表示中,增加了实体向量的表示精确度。具体公式如下:

h_⊥＝v_hM_e+h

t_⊥＝v_tM_e+t

r_⊥＝v_rM_r+r

其中h_⊥为头实体的新结构信息向量501，r_⊥为关系的新结构信息向量502，t_⊥为尾实体的新结构信息向量503。h为头实体的原结构信息向量401，t为尾实体的原结构信息向量403，r为关系实体的原结构信息向量402。V_h为步骤S102中学习出的实体主题向量V_e中相应于头实体的头实体主题向量201，V_t为步骤S102中学习出的实体主题向量V_e中相应于尾实体的尾实体主题向量203，V_r为关系主题向量203，V_r取头实体主题向量V_h201与尾实体主题向量V_t203的均值。M_e，M_r为相应的投影矩阵。

将头实体主题向量201乘以投影矩阵加上头实体的原结构信息向量401以获取头实体的新结构信息向量501。将尾实体主题向量203乘以投影矩阵加上尾实体的原结构信息向量403以获取尾实体的新结构信息向量503。将关系主题向量202乘以投影矩阵加上关系的原结构信息向量402以获取关系的新结构信息向量503。

如步骤S1032，重新定义翻译模型的能量函数，新能量函数e_⊥(h,r,t)符合以下公式：

其中h_⊥为头实体的新结构信息向量501，r_⊥为关系的新结构信息向量502，t_⊥为尾实体的新结构信息向量503。新能量函数e_⊥(h,r,t)仍然有原能量函数头实体加关系等于尾实体的特性，故可以通过下述的hinge-loss损失函数(合页损失函数)L_s进行优化。

如步骤S1033，训练获得新翻译模型602。定义新翻译模型602的hinge-loss损失函数(合页损失函数)L_s，并加入NMF损失函数L_nmf来联合学习实体和关系的结构信息向量和主题信息向量。

通过优化计算hinge-loss损失函数L_s以及NMF损失函数L_nmf，以使新翻译模型602输出实体和关系的向量表示。hinge-loss损失函数L_s为能量函数常用损失函数，符合以下公式：

其中，T为样本集合，(h,r,t)三元组表示的是随机抽取出的存在于知识图谱中的三元组。T’为负样本集合，(h’,r’,t’)三元组表示的是随机抽取出的不存在于知识图谱中的三元组。该损失函数为hinge-loss函数，目的是将正确的三元组的能量函数尽可能接近于0，而错误的三元组的能量函数尽可能远离0。

本实施例中使用Adagrad算法优化计算hinge-loss损失函数L_s以及NMF损失函数L_nmf，以使新翻译模型602输出实体和关系的向量表示，进而调整新翻译模型602中参数，训练获得新翻译模型602。

如步骤S104，通过新翻译模型602进行知识图谱补全。根据缺失实体或是缺失关系的特定知识图谱，通过新翻译模型602学习出的包括候选实体或候选关系的候选向量。将候选向量输入步骤S103中的新能量函数e_⊥(h,r,t)以获得得分，并将得分最高的候选实体或候选关系作为缺失实体或是缺失关系以补全特定知识图谱。

本发明能够从实体的描述文本中自动学习出表示实体文本语义的实体主题向量,并且在训练新翻译模型时,自动挑选有效的实体主题向量强化新翻译模型的实体和关系表示,针对稀疏型的知识图谱有很好的补全效果。

本发明利用了主题模型学习了实体主题之间潜在的语义信息,并作为额外语义信息通过投影矩阵联合学习的方式加入到原翻译模型中,以构建新翻译模型，显著的提高了翻译模型在知识图谱补全工作上的准确率。

本发明还提供了一种知识图谱补全装置，图6为本发明的知识图谱补全装置的模块示意图。如图6所示，本发明的知识图谱补全装置700包括存储单元701以及执行单元703。存储单元701用于存储程序以及各个数据集合。执行单元702用于执行存储单元701中程序，存储单元701中程序被处理单元702执行时实现上述知识图谱补全方法的步骤。具体步骤参考上述对知识图谱补全方法的描述，此处不再赘述。

本发明还提供了一种存储介质，该存储介质存储程序，当该存储介质中的程序被读取时，上述知识图谱补全方法的步骤被执行。具体步骤参考上述对知识图谱补全方法的描述，此处不再赘述。

需要说明的是，本发明是对知识图谱补全技术的应用。在本发明的实现过程中，会涉及到对知识图谱的基础知识，对翻译模型的应用。如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能以及知识图谱的知识实现本发明。前述原的翻译模型，优化算法的具体算法以及步骤均可参考现有技术中的结构与方法，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (9)

1.一种知识图谱补全方法，每个所述知识图谱包括实体以及关系，其特征在于，包括以下步骤：

训练集获取步骤，获取实体描述训练集，所述实体描述训练集中包括多个实体以及对所述实体的描述文本，所述描述文本中包括主题；

实体主题向量生成步骤，将实体描述训练集输入主题模型中，以获得实体与主题的实体主题信息向量；

翻译模型训练步骤，通过投影矩阵将原翻译模型获取的原结构信息向量与实体主题信息向量对齐，以获取新结构信息向量，通过所述新结构信息向量重新定义翻译模型的能量函数，以获得新能量函数，通过所述新能量函数训练获得新翻译模型；

知识图谱补全步骤，根据缺失实体或是缺失关系的特定知识图谱，通过新翻译模型学习出的包括候选实体或候选关系的候选向量输入所述新能量函数以获得得分，并将得分最高的候选实体或候选关系作为缺失实体或是缺失关系以补全所述特定知识图谱。

2.如权利要求1所述的知识图谱补全方法，其特征在于，

所述实体主题向量生成步骤包括

建立共现频率矩阵M步骤，建立实体与描述文本的单词的共现频率矩阵M；

建立NMF(非负矩阵分解算法)主题模型步骤，使用以下公式建立NMF主题模型：

其中V_e为实体主题向量，S_w为单词主题向量，m，n分别取自然数；

定义NMF损失函数步骤，使用欧拉距离定义NMF主题模型的NMF损失函数；

计算实体主题向量步骤，通过优化计算所述NMF损失函数，计算出所述实体主题向量。

3.如权利要求1所述的知识图谱补全方法，其特征在于，

在翻译模型训练步骤中，将实体主题向量乘以投影矩阵加上原结构信息向量以获取新结构信息向量。

4.如权利要求3所述的知识图谱补全方法，其特征在于，所述知识图谱的实体包括头实体以及尾实体，

在翻译模型训练步骤中，将头实体主题向量乘以投影矩阵加上头实体的原结构信息向量以获取头实体的新结构信息向量；

将尾实体主题向量乘以投影矩阵加上尾实体的原结构信息向量以获取尾实体的新结构信息向量；

将头实体主题向量与尾实体主题向量的均值作为关系主题向量，将所述关系主题向量乘以投影矩阵加上关系的原结构信息向量以获取关系的新结构信息向量。

5.如权利要求4所述的知识图谱补全方法，其特征在于，

在翻译模型训练步骤以及知识图谱补全步骤中，所述新能量函数e_⊥(h,r,t)符合以下公式：

其中h_⊥为头实体的新结构信息向量，r_⊥为关系的新结构信息向量，t_⊥为尾实体的新结构信息向量。

6.如权利要求2所述的知识图谱补全方法，其特征在于，

定义所述新翻译模型的hinge-loss损失函数(合页损失函数)，优化计算所述hinge-loss损失函数以及NMF损失函数，以使所述新翻译模型输出实体和关系的向量表示。

7.如权利要求6所述的知识图谱补全方法，其特征在于，

使用Adagrad算法优化计算所述hinge-loss损失函数以及NMF损失函数。

8.一种知识图谱补全装置，其特征在于，包括：

存储单元，用于存储程序，所述程序被处理单元执行时实现权利要求1至7中任意一项所述知识图谱补全方法的步骤；

执行单元，用于执行存储单元中所述程序。

9.一种存储介质，其特征在于，所述存储介质存储程序，当所述程序被读取时，权利要求1至7中任意一项所述知识图谱补全方法的步骤被执行。