CN114936293A - 一种基于改进型EmbedKGQA模型的知识图谱问答方法、电子设备及存储介质 - Google Patents

Abstract

本发明提出一种基于改进型EmbedKGQA模型的知识图谱问答方法、电子设备及存储介质，属于机器学习技术领域。首先，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集；其次，得到知识图谱中所有实体和关系的嵌入表示；其次，将自然语言问题嵌入到固定的维度；其次，得到增强的问题嵌入表示；其次，将增强的问题嵌入表示、主题实体嵌入表示通过答案评分函数得到所有实体的答案得分和答案候选实体的嵌入表示；最后，将候选实体嵌入表示信息通过关系评分函数，将答案评分函数和关系评分函数的线性组合作为最终的评分函数，选择得分最高的实体作为预测结果。解决EmbedKGQA模型效率低、问答不准确的问题。

Description

一种基于改进型EmbedKGQA模型的知识图谱问答方法、电子设 备及存储介质

技术领域

本申请涉及知识图谱问答，尤其涉及一种基于改进型EmbedKGQA模型的知识图谱问答方法、电子设备及存储介质，属于机器学习技术领域。

背景技术

知识图谱是知识工程技术的一部分，它的本质是一种结构化的知识表现形式，旨在利用图结构建模、识别和推断事物之间的关联关系和沉淀领域知识，其基本组成元素是三元组，由(h,r,t)表示一个三元组,h、r、t分别表示头实体、关系和尾实体。

在词向量的启发下，知识图谱嵌入(KGE)将知识图谱的实体和关系映射到连续的向量空间，并且包含一些语义层面的信息，可以在下游任务上更加方便的操作知识图谱，例如问答任务、关系抽取等。

根据知识图谱问答推理方法的不同，我们主要分为三大类方法：神经推理、符号推理和神经-符号推理。由于KGQA需要处理自然语言问题，根据问题的类型，我们可以将KGQA进一步分为简单关系问题、多跳关系问题和复杂逻辑问题。简单关系问题是指只涉及单一主题实体和知识图谱单一关系的问题，然后知识图谱中与主题实体和关系相对应的尾部实体被提取出来作为答案。多跳关系问题是基于路径的，这意味着答案通过主题实体开始沿着由多个中间关系和实体组成的路径行走来找到。复杂逻辑问题包含几个由合取(∩)、析取(∪)、或逻辑否定

聚合的主题实体，这意味着答案可以通过一些操作获得，比如多个路径查询结果的交集。

现有的EmbedKGQA模型属于神经推理方法，被提出来处理多跳关系问题。它首先使用ComplEx(KGE方法)将实体和关系嵌入到复杂空间，然后使用预训练语言模型将问题嵌入到一个复杂空间，最后对每一个主题实体、问题和答案嵌入的三元组使用ComplEx作为评分函数来预测答案，选择得分最高的实体作为答案。然而，该方法将KG和问题分别嵌入到一个复杂空间，并没有考虑学习到KG嵌入表示和问题嵌入表示之间潜在的信息，并且关系匹配模块设计比较简单，仅仅考虑了问题与关系之间的联系，而忽略了头实体和候选实体的影响，并不能有效筛选出正确答案。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在EmbedKGQA模型效率低、问答不准确的技术问题，本发明提供一种基于改进型EmbedKGQA模型的知识图谱问答方法、电子设备及存储介质。

方案一、一种基于改进型EmbedKGQA模型的知识图谱问答方法，包括以下步骤：

S1.从知识图谱问答数据集中获得对应的知识图谱，对知识图谱问答数据集进行预处理，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集；

S2.对步骤S1所述知识图谱进行嵌入训练，得到图谱中所有实体的嵌入表示E和所有关系的嵌入表示R，并对知识图谱中所有实体和其对应的嵌入表示E，所有关系和其对应的嵌入表示R构建字典；

S3.对步骤S1所述问题集中的自然语言问题q进行处理，得到一个固定维度的嵌入向量；取最后隐藏层的平均池化结果作为问题的嵌入表示Q＝e_q∈C^d；

S4.获取关系路径的嵌入表示e_L、问题的主题实体嵌入表示e_h和答案相关的关系嵌入表示e_r；

S5.将S4所述嵌入表示进行拼接，得到答案上下文信息的嵌入表示C；

S6.将S3所述嵌入表示Q与S5所述答案上下文信息的嵌入表示C进行协同注意力模型关注，得到问题和答案上下文的注意力分数，与原始的问题和答案上下文嵌入表示结合，获得增强的问题嵌入表示

S7.将S4所述主题实体嵌入表示e_h、增强问题嵌入表示

和所有可能候选实体列表的嵌入表示输入到答案评分函数中，得到所有候选实体的答案得分和答案候选实体的嵌入表示；

S8.将S3所述嵌入表示Q与S7所述候选实体列表的嵌入表示作为输入，再次执行步骤S6，得到增强后的问题嵌入表示，将增强后的问题嵌入表示和答案关系列表的嵌入表示输入到关系评分函数中，得到答案候选实体的关系得分，取评分大于0.5的关系作为候选关系集R_a，与知识图谱中每一个候选实体到主题实体之间的关系集R_a'取交集，则最终的评分函数为答案评分函数和关系集交集的线性组合，选择得分最高的实体作为预测结果。

优选的，知识图谱进行嵌入训练的方法是：基于向量旋转的图谱嵌入方法RotatE来对知识图谱进行嵌入训练，RotatE模型将图谱实体和关系映射到复数向量空间，并将每个关系定义为从头实体到尾实体间的旋转，对于一个三元关系(h,r,t)，h,t∈E，r∈R，期望

h,r,t∈C^k，RotatE的距离函数定义为：

其中

表示元素积，||·||表示L1范式，r表示关系嵌入表示，h表示头实体嵌入表示，t表示尾实体嵌入表示，E表示所有实体嵌入表示的集合，R表示所有关系嵌入表示的集合，Ck表示复数向量空间。

优选的，使用预训练语言模型对S1所述问题集中的自然语言问题q进行处理，具体方法是：将自然语言问题q嵌入到一个固定的维度d＝768，得到一个固定维度的嵌入向量；取最后隐藏层的平均池化结果作为问题的嵌入表示Q＝e_q∈C^d；e_q＝RoBERTa(q)。

优选的，获取关系路径的嵌入表示e_L、问题的主题实体嵌入表示e_h和答案相关的关系嵌入表示e_r的方法是：

关系路径的嵌入表示e_L：将S1所述答案相关的关系集中关系对应S2中字典的序列输入LSTM中获得；

问题的主题实体嵌入表示e_h和答案实体相关的关系嵌入表示e_r：根据问题的主题实体和答案相关的关系搜索S2所述字典获得。

优选的，获得增强后的问题嵌入表示

和答案上下文信息嵌入表示

的方法是：包括以下步骤，

将S3所述问题嵌入表示Q和S5所述答案上下文嵌入表示C计算相似度矩阵V：

V＝tanh(Q^TW_bC)

分别计算问题和答案上下文嵌入表示的注意力权重H^q、H^c：

H^c＝tanh(W_cC+(W_qQ)V),H^q＝tanh(W_qQ+(W_cC)V^T)

其中，问题嵌入表示Q∈R^d×T，答案上下文嵌入表示C∈R^d×N，d表示batch的大小，T,N表示问题的长度，答案上下文的长度，W_b代表的是权重，相似度矩阵V∈R^T×N；W_c、W_q∈R^k×d,w_hc、w_hq∈R^k是权重参数，a^c∈R^N,a^q∈R^T分别代表的是每个答案的上下文嵌入表示和问题嵌入表示的注意力分数，基于上述注意力权重，计算答案上下文和问题的注意力向量为问题表示和上下文表示的加权和：

其中，

表示第n答案上下文的注意力分数，

表示问题中第t个词语的注意力分数，c_n表示第n个答案上下文的嵌入表示，q_t表示问题中第t个词语的嵌入表示。

优选的，得到每个候选实体的答案得分和答案候选实体的嵌入表示的方法是：

对于每一个问题，用所有可能的候选答案实体a′∈E，对

进行评分，选择得分top200的实体作为候选实体：

其中，e_h表示的是主题实体的嵌入表示，

表示的是增强的问题嵌入表示，e_a'表示的是所有可能候选实体列表的嵌入表示。

方案二：一种基于改进型EmbedKGQA模型的知识图谱问答系统，用于实现方案一所述一种基于改进型EmbedKGQA模型的知识图谱问答方法的系统，包括图谱嵌入学习模块、问题嵌入模块、注意力模块、答案过滤模块和关系匹配模块；

所述图谱嵌入学习模块用于知识图谱嵌入学习，得到图谱实体和关系的嵌入表示；

所述问题嵌入模块用于处理自然语言问题，得等问题的嵌入表示；

所述注意力模块用于对问题的嵌入表示、答案上下文信息的嵌入表示进行增强；

所述答案过滤模块用于得到每个候选实体的答案得分和答案候选实体的嵌入表示；

所述关系匹配模块用于得到答案候选实体的关系得分，并进一步预测出答案。

方案三：电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法的步骤。

方案四：计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法。

本发明的有益效果如下：本发明考虑使用了注意力机制，学习了问题嵌入和答案上下文信息之间的潜在联系，关系评分函数也分别考虑了问题嵌入和主题实体嵌入、候选实体嵌入之间的注意力分数，提取出更精确的关系集，从而通过最终的评价函数有效筛选出正确答案，具有问答效率高、回答精准的特点，解决了EmbedKGQA模型效率低、问答不准确的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为方法流程图；

图2为知识图谱结构示意图；

图3为改进型EmbedKGQA模型示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1、参照图1-3说明本实施方式，一种基于改进型EmbedKGQA模型的知识图谱问答方法，包括以下步骤：

S1.从知识图谱问答数据集中获得对应的知识图谱，对知识图谱问答数据集进行预处理，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集，具体方法是，包括以下步骤：

S11.首先从知识图谱问答数据集中获得对应的知识图谱，以三元组(h,r,t)的形式保存在数据文件中；

S12.然后对知识图谱问答数据集进行预处理，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集；

不失一般性的，图2表示的是从知识图谱问答数据集中获得的的知识图谱部分子图的结构，其中物品1、2、3、4可为电影的名称，用户1、2、3、4可为导演的名字，人物1、2、3可为演员的名字，属性1可为科幻，属性2可为2020年；相应的，其中关系r1为导演，r2为主演，r3为题材，r4为首映时间。

S2.对步骤S1所述知识图谱进行嵌入训练，得到图谱中所有实体的嵌入表示E和所有关系的嵌入表示R，并对知识图谱中所有实体和其对应的嵌入表示E，所有关系和其对应的嵌入表示R构建字典；

所述构建字典，是指将知识图谱中所有实体和其对应的嵌入表示E,所有关系和其对应的嵌入表示R构建成一一对应的关系，即，根据已知的实体或关系将会在字典中找到对应实体的嵌入表示或对应关系的嵌入表示。

所述知识图谱进行嵌入训练的方法是：使用基于复数表示方法ComplEx来对知识图谱进行嵌入训练，学习图谱的实体和关系的向量表示，对KG中所有h,t∈E和所有r∈R进行ComplEx训练，得到三元组在关系r所确定的向量空间的嵌入向量表示分别为e_h、w_r、e_t，则有：

其中，Re(x)表示取x的实部，Im(x)表示取x的虚部；若u＝Re(u)+iIm(u)，则

其中i²＝-1；φ(·)表示评分函数，Θ表示模型相应的参数，三元组(h,r,t)的score计算过程

表示为关系r的表示向量、主题实体h的表示向量、尾实体t的表示向量的共轭向量的乘积，并保留最后结果的实部。最终(h,r,t)为真的概率通过下式得到：

P(Y_rht＝1)＝σ(φ(r,h,t；Θ))

其中，P(Y_rht＝1)表示(h,r,t)为真的概率，σ(·)表示激活函数。

基于向量旋转的图谱嵌入方法RotatE来对知识图谱进行嵌入训练，RotatE模型将图谱实体和关系映射到复数向量空间，并将每个关系定义为从头实体到尾实体间的旋转，对于一个三元关系(h,r,t)，h,t∈E，r∈R，期望

h,r,t∈C^k，RotatE的距离函数定义为：

其中

表示元素积，||·||表示L1范式，r表示，h表示，t表示，E表示，R表示，C^k表示。

S3.使用长短时记忆网络或预训练语言模型对步骤S1所述问题集中的自然语言问题q进行处理，将其嵌入到一个固定的维度d＝768，得到一个固定维度的嵌入向量；取最后隐藏层的平均池化结果作为问题的嵌入表示Q＝e_q∈C^d；e_q＝RoBERTa(q)。

S4.获取关系路径的嵌入表示e_L、问题的主题实体嵌入表示e_h和答案相关的关系嵌入表示e_r；

关系路径的嵌入表示e_L：将S1所述答案相关的关系集中关系对应S2中字典的序列输入LSTM中获得；

问题的主题实体嵌入表示e_h和答案实体相关的关系嵌入表示e_h：根据问题的主题实体和答案相关的关系搜索S2所述字典获得。

S5.将S4所述嵌入表示进行拼接，得到答案上下文信息的嵌入表示C；

S6.将S3所述嵌入表示Q与S5所述答案上下文信息的嵌入表示C进行协同注意力模型关注，得到问题和答案上下文的注意力分数，与原始的问题和答案上下文嵌入表示结合，获得增强的问题嵌入表示

方法是：包括以下步骤，

将S3所述问题嵌入表示Q和S5所述答案上下文嵌入表示C计算相似度矩阵V：

V＝tanh(Q^TW_bC)

分别计算问题和答案上下文嵌入表示的注意力权重H^q、H^c：

H^c＝tanh(W_cC+(W_qQ)V),H^q＝tanh(W_qQ+(W_cC)V^T)

其中，问题嵌入表示Q∈R^d×T，答案上下文嵌入表示C∈R^d×N，d表示batch的大小，T,N表示问题的长度，答案上下文的长度，W_b代表的是权重，相似度矩阵V∈R^T×N；W_c、W_q∈R^k×d,w_hc、w_hq∈R^k是权重参数，a^c∈R^N,a^q∈R^T分别代表的是每个答案的上下文嵌入表示和问题嵌入表示的注意力分数，基于上述注意力权重，计算答案上下文和问题的注意力向量为问题表示和上下文表示的加权和：

其中，

表示第n答案上下文的注意力分数，

表示问题中第t个词语的注意力分数，c_n表示第n个答案上下文的嵌入表示，q_t表示问题中第t个词语的嵌入表示。

S7.将S4所述主题实体嵌入表示e_h、增强问题嵌入表示

和所有可能候选实体列表的嵌入表示输入到答案评分函数中，得到所有候选实体的答案得分和答案候选实体的嵌入表示，方法是：

对于每一个问题，用所有可能的候选答案实体a′∈E，对

进行评分，选择得分top200的实体作为候选实体：

其中，e_h表示的是主题实体的嵌入表示，

表示的是增强的问题嵌入表示，e_a'表示的是所有可能候选实体列表的嵌入表示。

所述所有可能候选实体列表的嵌入表示是S1中问题的答案集的one-hot编码；

所述答案评分函数是图谱嵌入方法ComplEx，第一步是将主题实体嵌入表示、增强问题嵌入表示和所有可能候选实体列表的嵌入表示输入到图谱嵌入方法ComplEx中得到所有可能候选实体的答案得分，第二步是在这些实体的得分中选择得分top200的实体作为候选实体，并返回答案候选实体的嵌入表示作为函数的输出。

S8.将S3所述嵌入表示Q与S7所述候选实体列表的嵌入表示作为输入，再次执行步骤S6，得到增强后的问题嵌入表示，将增强后的问题嵌入表示和答案关系列表的嵌入表示输入到关系评分函数中，得到答案候选实体的关系得分，取评分大于0.5的关系作为候选关系集R_a，与知识图谱中每一个候选实体到主题实体之间的关系集R_a'取交集，则最终的评分函数为答案评分函数和关系集交集的线性组合，选择得分最高的实体作为预测结果。

对于每一个问题，将问题嵌入e_q与候选实体嵌入e_c、主题实体的嵌入e_h分别通过步骤S6得到增强的问题嵌入

将其与关系嵌入h_r输入到关系评分函数中：

其中，

表示增强的问题嵌入，h_r表示答案关系的嵌入。

取评分大于0.5的关系作为候选关系集R_a，知识图谱中每一个候选实体到主题实体之间的关系集记为R_a'，则最终的评分函数为答案评分函数和关系评分函数的线性组合：

其中，γ是可以调节的超参数。

所述答案关系列表的嵌入表示是S1中答案相关的关系集的one-hot编码；

实施例2、一种基于改进型EmbedKGQA模型的知识图谱问答系统，包括图谱嵌入学习模块、问题嵌入模块、注意力模块、答案过滤模块和关系匹配模块；

所述图谱嵌入学习模块用于知识图谱嵌入学习，得到图谱实体和关系的嵌入表示；

所述问题嵌入模块用于处理自然语言问题，得等问题的嵌入表示；

所述注意力模块用于对问题的嵌入表示、答案上下文信息的嵌入表示进行增强；

所述答案过滤模块用于得到每个候选实体的答案得分和答案候选实体的嵌入表示；

所述关系匹配模块用于得到答案候选实体的关系得分，并进一步预测出答案。

实验验证：在多个数据集上与现有技术进行了对比验证本发明提出的改进型知识图谱问答方法的有效性。

1、数据集，本实验选取MetaQA、WebQuestionsSP以及MetaQA-50、WebQuestionsSP-50，我们随机删除KB中的一半三元组来模拟一个不完整的KB，我们称为KG-50，对于完整的KG，我们称之为KG-50，用来证明本模型在不完整KG上效果的提升。

MetaQA：是一个大规模的多跳KGQA数据集，在电影领域有超过40万个问题。它有1跳、2跳和3跳问题。在实验中，使用"vanilla"版本的问题。与QA数据一起，MetaQA提供了一个有135k triples,43k entities和9个关系的KG。

WebQuestionsSP：是一个较小的QA数据集，有4,737个问题。这个数据集中的问题是1跳和2跳的问题，通过Freebase KG回答。将知识库限制为Freebase的一个子集，其中包含WebQuestionsSP的问题中提到的任何实体的2跳以内的所有事实。进一步修剪，只包含那些在数据集中提到的关系。这个较小的KB有180万个实体和570万个三元组。

2、对比结果，本发明在数据集上VRN、GraftNet、PullNet、KV-Mem以及EmbedKGQA的对比结果如表1本发明及其他对比模型在MetaQA数据集上准确率的对比结果、表2本发明及其他对比模型在WebQuestionsSP数据集上准确率的对比结果所示，在针对KG-Full和KG-50上，本发明的提出的改进型知识图谱问答模型的性能优于现有的对比方法。

表1本发明及其他对比模型在MetaQA数据集上准确率的对比结果

注：括号中的数字对应于使用文本来增强不完整的KG-50的设置。

表2本发明及其他对比模型在WebQuestionsSP数据集上准确率的对比结果

注：括号中的数字对应于使用文本来增强不完整的KG-50的设置。

本发明工作原理：

本发明利用从知识图谱问答数据集中获得对应的知识图谱，并对知识图谱问答数据集进行处理，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集等；使用图谱嵌入方法对知识图谱进行嵌入训练，得到实体和关系的向量表示；使用预训练语言模型将自然语言问题嵌入到一个固定的维度；对主题实体嵌入表示、关系嵌入表示和关系路径嵌入表示进行连接得到答案的上下文嵌入表示，与问题嵌入作协同注意力得到增强的问题嵌入表示及答案上下文信息嵌入表示；将增强的问题嵌入表示、主题实体嵌入表示通过答案评分函数得到所有实体的答案得分和答案候选实体的嵌入表示；最后，将候选实体嵌入表示等信息通过关系评分函数，将答案评分函数和关系评分函数的线性组合作为最终的评分函数，选择得分最高的实体作为预测结果。

实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例4、计算机可读存储介质实施例

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，包括以下步骤：

S1.从知识图谱问答数据集中获得对应的知识图谱，对知识图谱问答数据集进行预处理，获得问题集、问题的主题实体、问题的答案集和答案相关的关系集；

S2.对步骤S1所述知识图谱进行嵌入训练，得到图谱中所有实体的嵌入表示E和所有关系的嵌入表示R，并对知识图谱中所有实体和其对应的嵌入表示E，所有关系和其对应的嵌入表示R构建字典；

S3.使用预训练语言模型对步骤S1所述问题集中的自然语言问题q进行处理，得到一个固定维度的嵌入向量；取预训练语言模型最后隐藏层的平均池化结果作为问题的嵌入表示Q＝e_q∈C^d；

S4.获取关系路径的嵌入表示e_L、问题的主题实体嵌入表示e_h和答案相关的关系嵌入表示e_r；

S5.将S4所述嵌入表示进行拼接，得到答案上下文信息的嵌入表示C；

S6.将S3所述嵌入表示Q与S5所述答案上下文信息的嵌入表示C进行协同注意力模型关注，得到问题和答案上下文的注意力分数，与原始的问题和答案上下文嵌入表示结合，获得增强的问题嵌入表示

S7.将S4所述主题实体嵌入表示e_h、增强问题嵌入表示

和所有可能候选实体列表的嵌入表示输入到答案评分函数中，得到所有候选实体的答案得分和答案候选实体的嵌入表示；

S8.将S3所述嵌入表示Q与S7所述候选实体列表的嵌入表示作为输入，再次执行步骤S6，得到增强后的问题嵌入表示，将增强后的问题嵌入表示和答案关系列表的嵌入表示输入到关系评分函数中，得到答案候选实体的关系得分，取评分大于0.5的关系作为候选关系集R_a，与知识图谱中每一个候选实体到主题实体之间的关系集R_a'取交集，则最终的评分函数为答案评分函数和关系集交集的线性组合，选择得分最高的实体作为预测结果。

2.根据权利要求1所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，知识图谱进行嵌入训练的方法是：基于向量旋转的图谱嵌入方法RotatE来对知识图谱进行嵌入训练，RotatE模型将图谱实体和关系映射到复数向量空间，并将每个关系定义为从头实体到尾实体间的旋转，对于一个三元关系(h,r,t)，h,t∈E，r∈R，期望

h,r,t∈C^k，RotatE的距离函数定义为：

其中ο表示元素积，||·||表示L1范式，r表示关系嵌入表示，h表示头实体嵌入表示，t表示尾实体嵌入表示，E表示所有实体嵌入表示的集合，R表示所有关系嵌入表示的集合，C^k表示复数向量空间。

3.根据权利要求2所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，使用预训练语言模型对S1所述问题集中的自然语言问题q进行处理具体方法是：将自然语言问题q嵌入到一个固定的维度d＝768，得到一个固定维度的嵌入向量；取最后隐藏层的平均池化结果作为问题的嵌入表示Q＝e_q∈C^d；e_q＝RoBERTa(q)。

4.根据权利要求3所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，获取关系路径的嵌入表示e_L、问题的主题实体嵌入表示e_h和答案相关的关系嵌入表示e_r的方法是：

关系路径的嵌入表示e_L：将S1所述答案相关的关系集中关系对应S2中字典的序列输入LSTM中获得；

问题的主题实体嵌入表示e_h和答案实体相关的关系嵌入表示e_r：根据问题的主题实体和答案相关的关系搜索S2所述字典获得。

5.根据权利要求4所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，获得增强后的问题嵌入表示

和答案上下文信息嵌入表示

的方法是：包括以下步骤，

将S3所述问题嵌入表示Q和S5所述答案上下文嵌入表示C计算相似度矩阵V：

V＝tanh(Q^TW_bC)

分别计算问题和答案上下文嵌入表示的注意力权重H^q、H^c：

H^c＝tanh(W_cC+(W_qQ)V),H^q＝tanh(W_qQ+(W_cC)V^T)

其中，问题嵌入表示Q∈R^d×T，答案上下文嵌入表示C∈R^d×N，d表示batch的大小，T,N表示问题的长度，答案上下文的长度，W_b代表的是权重，相似度矩阵V∈R^T×N；W_c、W_q∈R^k×d,w_hc、w_hq∈R^k是权重参数，a^c∈R^N,a^q∈R^T分别代表的是每个答案上下文的注意力分数和问题中每个词语的注意力分数，基于上述注意力权重，计算答案上下文和问题的注意力向量为问题表示和上下文表示的加权和：

其中，

表示第n答案上下文的注意力分数，

表示问题中第t个词语的注意力分数，c_n表示第n个答案上下文的嵌入表示，q_t表示问题中第t个词语的嵌入表示。

6.根据权利要求5所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法，其特征在于，得到每个候选实体的答案得分和答案候选实体的嵌入表示的方法是：

对于每一个问题，用所有可能的候选答案实体a′∈E，对

进行评分，选择得分top200的实体作为候选实体：

其中，e_h表示的是主题实体的嵌入表示，

表示的是增强的问题嵌入表示，e_a'表示的是所有可能候选实体列表的嵌入表示。

7.一种基于改进型EmbedKGQA模型的知识图谱问答系统，其特征在于，用于实现权利要求1-6任一项所述一种基于改进型EmbedKGQA模型的知识图谱问答方法的系统，包括图谱嵌入学习模块、问题嵌入模块、注意力模块、答案过滤模块和关系匹配模块；

所述图谱嵌入学习模块用于知识图谱嵌入学习，得到图谱实体和关系的嵌入表示；

所述问题嵌入模块用于处理自然语言问题，得等问题的嵌入表示；

所述注意力模块用于对问题的嵌入表示、答案上下文信息的嵌入表示进行增强；

所述答案过滤模块用于得到每个候选实体的答案得分和答案候选实体的嵌入表示；

所述关系匹配模块用于得到答案候选实体的关系得分，并进一步预测出答案。

8.电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-6任一项所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法的步骤。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的一种基于改进型EmbedKGQA模型的知识图谱问答方法。

Images