CN116431821A - 基于常识感知的知识图谱补全方法及问答系统 - Google Patents

Abstract

本发明提出了基于常识感知的知识图谱补全方法及问答系统，属于语言处理领域。包括：将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；以正三元组和负三元组进行对比学习，得到训练好的知识图谱嵌入模型；将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。本发明从现有的常识知识库中抽取相关的知识三元组，利用外部知识对知识图谱进行补充，采用知识对比表示的方法加深模型的理解感知能力。

Description

基于常识感知的知识图谱补全方法及问答系统

技术领域

本发明属于自然语言处理和深度学习技术领域，尤其涉及基于常识感知的知识图谱补全方法及问答系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

自然语言处理中一个很重要的研究任务就是问答系统，自然语言问答一直是一个热点研究问题。从只能回答单领域特定知识内容问题直到现在可以就多个领域的问题进行回答、进行多轮交流，现有的问答系统分为基于语义分析的问答系统和基于信息检索的问答系统。随着计算机应用的越来越广泛，在生活中，我们可以经常看到自然语言问答的应用，比如智能客服就是其中一个典型例子，还有在线教育辅导等。其实更多的场景都能看到自然语言问答的应用，比如智能助理，智能家居等。

自然语言问答系统中一个重要的方面便是知识图谱，虽然知识图谱作为知识源时能够准确的回答问题，但是现实世界中的知识图谱并不总是完整的，实体之间的关系可能并不能够在知识图谱中表现出来。由于知识图谱缺失链接造成的知识图谱稀疏性，使得知识图谱补全成为了一个很有挑战性的任务。

在真实应用环境下，大部分的知识图谱是不完整的，为了将知识图谱补充完整，知识图谱补全任务被广泛研究，通过给定的事实预测最可信的缺失事实。知识图谱补全的方法各不相同，主要的思路有路径查找、规则推理以及知识表示学习。其中基于知识表示学习的补全通过学习实体和关系的向量表示来描述三元组所对应语义关系，在表示空间中利用向量的计算进行链接预测等任务，进而挖掘知识图谱中的隐藏关联，将知识图谱变得更加完整。然而，发明人发现，现有的基于知识表示学习的补全方法往往存在以下技术问题：

(1)现有的基于知识表示学习的补全方法仅仅依赖给定事实预测实体之间缺失的关系，而忽略了外部知识的价值；

(2)现有的基于知识表示学习的补全方法往往从单方面对知识进行表示理解，忽略了知识的高阶语义表示。

发明内容

为克服上述现有技术的不足，本发明提供了基于常识感知的知识图谱补全方法及问答系统，从现有的常识知识库中抽取相关的知识三元组，利用外部知识对知识图谱进行补充，采用知识对比表示的方法加深模型的理解感知能力，从多个角度获取知识的高阶表示，解决现有技术中的问题。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了基于常识感知的知识图谱补全方法。

基于常识感知的知识图谱补全方法，包括以下步骤：

选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

构造链接预测任务，对链接预测任务的问题进行向量表示；

将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

优选的，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库，具体过程为：

选择候选概念；

基于候选概念，通过一个实体到概念的常识转换器，用相应的概念替换每个实体三元组中的实体；

基于实体三元组的实例级关系，将实体三元组转换为概念三元组；

基于概念三元组构建常识知识库。

优选的，属于候选概念的损坏实体从以下分布中采样：

其中，h′_j和t′_j为通过采样获取的头实体和尾实体，ω和p为负例的权重和概率，α为抽样温度。

优选的，对比损失计算如下：

其中F_i和Z_i分别表示反例和正例，P(i)是批处理中所有正三元组的集合，F(i)是批处理中所有负三元组的集合，sim(F_i,Z_i)＝F_i·Z_i是点积相似度。

优选的，知识图谱嵌入模型训练过程中的损失函数为：

Loss＝(L+CL(F_i,Z_i))/2

其中γ是余量，σ是sigmoid函数，L为正、负三元组间的损失，CL(F_i,Z_i)为对比学习后的损失。

优选的，将问题的向量表示输入训练好的知识图谱嵌入模型中，对候选概念转换为候选实体，利用训练知识图谱嵌入模型的评分函数对每个候选实体进行评分，并对候选实体的得分进行升序排序，输出排名较高的候选实体作为问题的预测答案。

优选的，所述知识图谱嵌入模型的评分函数为基于翻译的评分函数，表示为：

E(h,r,t)＝‖h+r-t‖

其中h、r和t分别表示头实体h、关系r和尾实体t的嵌入。

本发明第二方面提供了基于常识感知的知识图谱问答系统。

基于常识感知的知识图谱问答系统，包括：

常识知识库构建模块，被配置为：选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

负三元组获取模块，被配置为：采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

正三元组获取模块，被配置为：比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

知识图谱嵌入模型训练模块，被配置为：以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

链接预测任务构造模块，被配置为：构造链接预测任务，对链接预测任务的问题进行向量表示；

预测模块，被配置为：将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于常识感知的知识图谱补全方法中的步骤。

本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于常识感知的知识图谱补全方法中的步骤。

以上一个或多个技术方案存在以下有益效果：

(1)本发明所述方案通过一个融合多种常识知识的知识图谱补全框架，融合外部常识预测知识图谱中缺失的知识。

(2)本发明采用对比学习的方法比较源知识不同视角的特征获得知识的高阶表示特征，可以有效地融合多种常识知识预测确实信息在知识图谱中以及知识图谱嵌入方法从多个视角对知识进行表征。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一的常识感知对比融合模型图。

图2为本发明实施例一的方法流程图。

图3为本发明实施例一的常识采样过程图。

图4为本发明实施例二的系统结构图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

知识图谱是把所有不同种类的信息连接在一起的一个关系网络，它以三元组(h,r,t)的形式存储大量知识。近年来，知识图谱在各类应用中扮演着十分重要的角色，例如，自然语言处理、问答系统、对话系统以及推荐系统等方面。然而，在真实应用环境下，大部分的知识图谱是不完整的，需要基于给定的事实预测缺失的事实来补全知识图，换句话说，需要知识图谱补全融合新的事实进行补全操作，如图1所示。

现有的工作指出融合外部知识可以有效地预测知识图谱中缺失的信息。其中，常识知识就被广泛地应用于各种自然语言处理任务，如常识问答、常识对话、常识文本推理等。此外，在知识图谱补全任务中，知识图谱嵌入的方法也是需要被关注的，一个有效的知识图谱嵌入方法也可以辅助提高知识图谱补全的表现，却忽略知识图谱中知识和关系的多视角高阶表示特征。

现有的知识图谱补全模型存在(1)在知识图谱中，不能充分有效地融合多种常识知识预测确实信息(2)知识图谱嵌入方法不能从多个视角对知识进行表征，导致知识图谱补全的表现受限于知识图谱嵌入的性能。

为了缓解上述问题，本发明提出一个融合常识的对比学习框架，可以有效地融合常识，此外，通过对比学习的方法比较源知识不同视角的特征获得知识的高阶表示特征。

更为具体的，为了在知识图谱补全的任务中可以更有效地融入常识知识信息，本发明首先利用一个实体到概念的常识转换器，用相应的概念替换每个事实三元组中的实体。同时，常识关系包含事实知识图谱中的实例级关系，事实三元组可以转换为概念级三元组。采用对比学习的方式比较同一源知识的不同视角特征，在知识图谱中获得知识的多视角高阶表示特征。

实施例一

本实施例公开了基于常识感知的知识图谱补全方法。

如图2所示，基于常识感知的知识图谱补全方法，包括以下步骤：

选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

构造链接预测任务，对链接预测任务的问题进行向量表示；

将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

常识是通过一个实体到概念的常识转换器，用相应的概念替换每个事实三元组中的实体。同时，常识关系包含事实知识图谱中的实例级关系，事实三元组可以转换为概念级三元组。特别是，个体形式的常识是通过消除重复的概念级三元组来实现的，然后将包含相同关系的概念级三元组合并为一个集合，以集合形式构建常识。

采用对比学习的方法比较源知识不同视角的特征获得知识的高阶表示特征，可以有效地融合多种常识知识预测确实信息在知识图谱中以及知识图谱嵌入方法从多个视角对知识进行表征。

为了便于理解，以下是对本实施例的具体说明：

(一)符号

知识图谱的公式为

其中E是实体集，R是关系集，I表示三元组的集合。每个三元组都有头实体h、关系r、尾实体t组成，其中h，t属于E，r属于R。E₁和E₂都是三元组的集合,而E₁中的每个三元组都由头部实体的概念h_i和尾部实体的概念t_i组成，并与它们的关系r相关联。E₂中的每个三元组都由一个关系r组成，该关系r将相应的头概念集E_h和尾概念集E_t连接起来，可以写成如下：

E₁＝{(h_i,r,t_i)}

E₂＝{(E_h,r,E_t)}

(二)常识生成采样过程

通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库，具体过程为：

选择候选概念；

基于候选概念，通过一个实体到概念的常识转换器，用相应的概念替换每个实体三元组中的实体；

基于实体三元组的实例级关系，将实体三元组转换为概念三元组；

基于概念三元组构建常识知识库。

由于我们提出的框架是独立于知识图谱嵌入模型的，可以利用任何知识图谱嵌入模型来学习实体和关系嵌入。因此，任何知识图谱嵌入模型的知识图谱嵌入分数函数通过符号E(h,r,t)表示，用于评估三元组(h,r,t)的合理性。具体来说，最典型的三种评分函数模式如下:

(a)基于翻译的评分函数，如TransE:

E(h,r,t)＝‖h+r-t‖

其中h，r和t分别表示头实体h，关系r和尾实体t的嵌入

(b)基于旋转的评分函数，如RotatE:

其中表示硬件产品。

(c)基于张量分解的评分函数，如DistMult:

其中diag(M_r)表示关系r的对角矩阵。

为了更好的理解，图3显示了基于常识的负样例的采样过程，主要可以分为两个步骤。

步骤1:用常识E₂选择候选概念。

候选头部概念“城市”是根据常识E₂和非唯一抽样确定的。此外，基于唯一性抽样策略，候选尾概念被选为与“江苏”相同的概念省。

步骤2：概念到实体的转换。

为了在确保负三元组的高质量的同时减少出现假的三元组，属于候选概念的损坏实体从以下分布中采样：

(三)对比学习

无监督对比学习框架将利用数据增强来构建正对，以计算对比损失。监督对比学习框架计算了同一小批量内所有正面实例的对比损失。我们采用对比学习的方法从常识知识库中抽取相关的知识三元组，比较同一源知识的不同视角特征，可以获得知识的多个角度的高阶表示，使模型对知识更好的理解和感知。

对比损失计算如下：

其中F_i和Z_i分别表示反例和正例。P(i)是批处理中所有正三元组的集合，F(i)是批处理中所有负三元组的集合。sim(F_i,Z_i)＝F_i·Z_i是点积相似度。

(四)链接预测

本文通过一个头实体和一个关系去预测一个尾实体或者通过一个尾实体和一个关系来预测一个头实体。具体来说，以查询(h,r,？)为例，常识E₁用于筛选客观实体的概念，客观实体的候选概念定义为：

其中

是h的第i个概念，/>

表示常识中的尾部概念/>

从事实的角度对从粗略预测阶段派生的每个候选实体e_i进行评分，如下所示：

其中E(h,r,e_i)表示用于训练知识图谱嵌入模型的得分函数。随后，预测结果将对候选实体的得分进行升序排序，并输出排名较高的实体。

(五)训练模型

基于获得的负三元组，通过训练知识图谱嵌入模型来进行实体和关系的嵌入，以正三元组和负三元组进行对比学习，让正三元组获得知识的多个角度的高阶表示通过转化形成一个高维的表示进入模型进行训练。

在这项工作中我们采用损失函数作为我们的优化目标：

Loss＝(L+CL(F_i,Z_i))/2

其中γ是余量，σ是sigmoid函数。L为正、负三元组间的损失，CL(F_i,i)为对比学习后的损失。

实施例二

本实施例公开了基于常识感知的知识图谱问答系统。

如图4所示，基于常识感知的知识图谱问答系统，包括：

常识知识库构建模块，被配置为：选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

负三元组获取模块，被配置为：采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

正三元组获取模块，被配置为：比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

知识图谱嵌入模型训练模块，被配置为：以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

链接预测任务构造模块，被配置为：构造链接预测任务，对链接预测任务的问题进行向量表示；

预测模块，被配置为：将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

实施例三

本实施例的目的是提供计算机可读存储介质。

计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例1所述的基于常识感知的知识图谱补全方法中的步骤。

实施例四

本实施例的目的是提供电子设备。

电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于常识感知的知识图谱补全方法中的步骤。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于常识感知的知识图谱补全方法，其特征在于，包括以下步骤：

选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

构造链接预测任务，对链接预测任务的问题进行向量表示；

将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

2.如权利要求1所述的基于常识感知的知识图谱补全方法，其特征在于，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库，具体过程为：

选择候选概念；

基于候选概念，通过一个实体到概念的常识转换器，用相应的概念替换每个实体三元组中的实体；

基于实体三元组的实例级关系，将实体三元组转换为概念三元组；

基于概念三元组构建常识知识库。

3.如权利要求2所述的基于常识感知的知识图谱补全方法，其特征在于，属于候选概念的损坏实体从以下分布中采样：

其中，h′_j和t′_j为通过采样获取的头实体和尾实体，ω和p为负例的权重和概率，α为抽样温度。

4.如权利要求1所述的基于常识感知的知识图谱补全方法，其特征在于，对比损失计算如下：

其中F_i和Z_i分别表示反例和正例，P(i)是批处理中所有正三元组的集合，F(i)是批处理中所有负三元组的集合，sim(F_i,Z_i)＝f_i·Z_i是点积相似度。

5.如权利要求1所述的基于常识感知的知识图谱补全方法，其特征在于，知识图谱嵌入模型训练过程中的损失函数为：

Loss＝(L+CL(F_i,Z_i))/2

其中γ是余量，σ是sigmoid函数，L为正、负三元组间的损失，CL(F_i,Z_i)为对比学习后的损失。

6.如权利要求1所述的基于常识感知的知识图谱补全方法，其特征在于，将问题的向量表示输入训练好的知识图谱嵌入模型中，对候选概念转换为候选实体，利用训练知识图谱嵌入模型的评分函数对每个候选实体进行评分，并对候选实体的得分进行升序排序，输出排名较高的候选实体作为问题的预测答案。

7.如权利要求6所述的基于常识感知的知识图谱补全方法，其特征在于，所述知识图谱嵌入模型的评分函数为基于翻译的评分函数，表示为：

E(h,r,t)＝‖h+r-t‖

其中h、r和t分别表示头实体h、关系r和尾实体t的嵌入。

8.基于常识感知的知识图谱问答系统，其特征在于：包括：

常识知识库构建模块，被配置为：选择候选概念，基于候选概念，通过常识转换器将实体三元组转换为概念三元组,基于概念三元组构建常识知识库；

负三元组获取模块，被配置为：采用对比学习的方法从常识知识库中抽取概念三元组，将抽取的概念三元组作为负三元组；

正三元组获取模块，被配置为：比较负三元组中同一源知识的不同视角特征，获得知识的高阶表示，将知识的高阶表示作为正三元组；

知识图谱嵌入模型训练模块，被配置为：以正三元组和负三元组进行对比学习，基于负三元组对知识图谱嵌入模型进行实体和关系的嵌入，将获得知识高阶表示的正三元组输入知识图谱嵌入模型进行模型训练，得到训练好的知识图谱嵌入模型；

链接预测任务构造模块，被配置为：构造链接预测任务，对链接预测任务的问题进行向量表示；

预测模块，被配置为：将问题的向量表示输入训练好的知识图谱嵌入模型中，对答案进行预测，得到问题的答案。

9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于常识感知的知识图谱补全方法中的步骤。

10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于常识感知的知识图谱补全方法中的步骤。

Images