CN112380325B - 基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统 - Google Patents

Abstract

本发明公开了一种基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统，属于知识图谱问答技术领域。本发明包括知识嵌入模块和问答推理模块；其中知识嵌入模块用于对知识图谱中的三元组进行向量表示；问答推理模块用于对用户输入的问题进行提取处理，并通过事实记忆网络在知识图谱上进行问题答案推理和输出。在嵌入过程中整合了三元组的结构特征和实体、关系的语义特征，保证了知识嵌入的准确性和合理性；使用事实记忆网络来对问题答案推理，保证了整个推理模型的鲁棒性和推理结果的准确性，同时使用了事实列表来保证整个过程的可解释性。本问答系统能够针对用户的问句给出精确的结果；同时，也方便维护者进行错误回溯，使得整个系统易于维护。

Description

基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统

技术领域

本发明涉属于知识图谱问答技术领域，具体涉及一种基于联合知识嵌入模型和事实记忆网络的知识图谱问答技术。

背景技术

为了优化搜索引擎提供的结果，并增强用户搜索质量及体验，促使了知识图谱的产生。当前，国外的知识图谱有谷歌的Google Knowledge Graph、维基媒体基金会的Wikidata、微软的Bing Satori、Facebook的Facebook Social Graph等等；国内的知识图谱有百度的百度知识图谱、搜狗的知立方、上海交通大学的知识图谱zhishi.me、复旦大学的CN-pedia等等。

知识图谱中存储了多条知识，每一条知识用于描述现实世界中的一个事实。知识图谱中的知识一般以三元组的形式表示，具体包括两种形式：(头实体，关系，尾实体)和(实体，属性，值)。其中，实体一般是现实世界中的事物名称、概念名称等等，头实体和尾实体则分别表示出现在三元组的头部和尾部的实体，关系则是对实体与实体之间联系的描述，属性和值分别指实体的某个特性及其特性度量。知识图谱的本质上可以看成一个有向图结构，其中用节点来表示实体，用实体之间的边来表示实体之间的关系。

知识图谱的迅速发展，为问答系统提供了一个新的研究方向，即基于知识图谱的问答系统。基于知识图谱的问答系统的技术流程一般为：将用户问题输入到问答系统，通过对输入问题的语义理解和解析，进而利用知识图谱进行查询、推理并最终提供给用户答案。和人一样，在进行问答的时候，问答系统也需要经验知识的支持。在基于知识图谱的问答系统出现之前，一般是使用一些自由文本，像新闻、百科和微博等来作为知识支撑。而在基于知识图谱的问答系统中，由于知识图谱中的知识是有结构的，甚至是有层次的，从而使得该问答系统提供知识依据的处理更高效便捷。基于知识图谱的问答系统的实现方案大致可分为三类：语义解析、信息抽取和向量建模。

然而，基于知识图谱的问答系统也存在亟待解决的技术问题：

首先，如何能正确理解用户问题和知识图谱中的知识，从而采取合理的嵌入算法来更高效、更准确的进行向量表示呢；在传统的文本表示中，一般是采用word2vec、glove等模型来进行词向量表示，然而这些模型均只适用于大段文本中的词向量表示且无法有效的处理结构化数据；同时在传统的三元组嵌入中，一般是采用TransE、TransH、TransD等模型来进行知识嵌入。在上述模型中，大多数模型都只考虑了三元组的结构信息，对于子图特征或者实体、关系的语义特征均缺乏考虑。

其次，在用户提供问题后，如何结合知识图谱中的知识来作出正确而又合理的回答。现有的回答模型的准确率较低，有待于进一步提升。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统。

本发明的基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统，包括知识嵌入模块和问答推理模块；

其中，知识嵌入模块用于对知识图谱中的三元组进行向量表示，包括下列步骤：

S11：数据预处理：

对于知识图谱中包含的每一个实体，在网络上搜索出是否存在相应的实体描述，若存在，在获取并保存该实体的描述文本；否则，从知识图谱中删除包含该实体的三元组；

S12：对知识进行嵌入：

对知识进行三元组结构嵌入、实体描述嵌入；

并采用加权求和的方式进行关系的语义嵌入；

通过BP(Back Propagation)神经网络对实体的结构和语义嵌入进入融合；

问答推理模块用于对用户输入的问题进行提取处理，并通过事实记忆网络在知识图谱上进行问题答案推理和输出，包括下列步骤：

S21：问题处理：

基于预设的提取规则，提取出问题中用于回答问题的关键信息；

S22：初始事实列表构建：

识别出问题实体并进行实体链指后，将该实体的相关三元组均加入到事实列表中，同时标注出相应的候选答案；

在每一次加入三元组时，对应的候选答案和问题的答案类型相一致；

S23：事实记忆网络构建：

事实记忆网络由功能相同的记忆层构成，每一层均执行两个操作：筛选候选答案和更新事实列表；

筛选候选答案：基于事实列表中各个三元组和问题的相关性，计算事实列表中的各三元组得分，并将得分不超过得分阈值的三元组删除；

更新事实列表为：将新的三元组加入事实列表后，对事实列表的信息进行更新；新的三元组加入事实列表的规则为：包含事实列表的当前候选答案且与问题的答案类型一致，并且与含事实列表的当前候选答案的记录路径信息不重复；

S24：答案实体选择：

选择三元组得分最高的三元组，来构造出相应的查询语句；

使用所述查询语句在出现在当前的整个事实列表中包含的三元组集合中进行查询，所得的答案列表即为最终的问题答案。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明的基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统，基于改进的知识嵌入处理，在嵌入过程中整合了三元组的结构特征和实体、关系的语义特征，保证了知识嵌入的准确性和合理性；使用事实记忆网络来对问题答案推理，保证了整个推理模型的鲁棒性和推理结果的准确性，同时使用了事实列表来保证整个过程的可解释性。本问答系统能够针对用户的问句给出较为精确的结果，可以提高用户的使用满意度，同时，也方便维护者进行错误回溯，使得整个系统易于维护。

附图说明

图1为本发明基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统的结构图；

图2为本发明基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统的流程图；

图3为联合知识嵌入模型中使用的CNN结构示意图。

图4为本发明所采用的事实记忆网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明以如何采用较为合理的知识嵌入方式和如何在知识图谱上准确地推理出最终的问题答案这两大基于知识图谱的问答系统中的挑战为目标，在充分地学习了相关文献和理解了相关模型的基础上，提出了一种基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统。该问答系统首先对知识图谱中的知识进行了有效的向量表示，在对问题进行充分分析后使用了事实记忆网络从知识图谱中推理出最终的问题答案。即本发明的知识图谱问答系统，具体包括两个模块，知识嵌入模块和问答推理模块。

其中，知识嵌入模块负责将知识图谱中的三元组进行向量表示。具体来说，知识嵌入就是对实体、关系、属性、值进行字符到表示向量的映射。与以往的知识嵌入的方式不同，本发明在嵌入的过程中，不仅像传统的方法一样，考虑三元组的结构信息，也加入了实体和关系的语义信息。

知识嵌入模块对知识图谱中的三元组进行向量表示包括：

数据预处理：对于知识图谱中包含的每一个实体，首先，在网络上搜索出是否存在相应的实体描述，倘若存在，爬取下该实体的描述文本。否则，从知识图谱中删除包含该实体的三元组。对于知识图谱中的每一个关系，保留该关系的层次化描述信息。

对知识进行嵌入，该处理流程上总体上和实体描述的知识图谱的表示学习(DKRL)相似，对于实体和关系的嵌入均分为两种形式的嵌入：一种是基于结构的嵌入，另一种是基于语义的嵌入。在进行三元组嵌入过程中，希望同时融入实体和关系的语义信息，来弥补Trans系列(TransE、TransH、TransD等模型)的语义信息特征提取能力不强的缺点，同时尽可能降低模型的复杂度。在这种动机的驱动下，本发明采用了以下方式来处理不同部分的嵌入：

(1)使用TransD模型(具体可参考文献《Knowledge Graph Embedding viaDynamic Mapping Matrix)》来进行三元组结构嵌入；

(2)使用两层的卷积神经网络来进行实体描述嵌入；

(3)使用加权求和的方式来进行关系的语义嵌入。

使用BP神经网络来分别融合实体(或关系)的结构和语义嵌入，以及使用和TransE(具体可参考文献《Knowledge Graph Embedding by Translating on Hyperplanes》)算法一样的损失函数来进行约束。

问答推理模块，则负责对用户输入的问题进行分析，并使用事实记忆网络来在知识图谱上进行问题答案推理。为了使整个问答过程具有良好的可解释性，同时保持一定的准确率，在知识图谱中进行问答推理时，使用了特殊的事实记忆网络。在事实记忆网络中，本发明使用事实列表来记录与当前候选答案有关的支持信息，这些支持信息主要包括路径信息、当前的候选答案、当前得分等等。需要说明的是，接下来所说的“事实”这一称呼，指的就是知识图谱中的一个三元组。在问答推理模块中，具体可分为以下几个子步骤来进行：

问题处理：问题处理主要指的是对问题进行分析，并获取出对回答问题有用的关键信息。在本步骤中，需要识别出问题中的实体、将问题中的实体链接到知识图谱中以及识别出问题的问题答案的类型。对应地，在该步骤中，分为命名实体识别、实体链指和问题类型识别这三个任务。此外，还包括对实体进行分类，并标注出实体所属的类别。

初始事实列表构建：作为事实记忆网络中的重要信息记忆部件，如何对事实列表进行初始化，是进行正确问答推理的重要基础。在此处采取的方式为，识别出问题实体并进行实体链指后，将该实体的相关三元组均加入到事实列表中，同时标注出相应的候选答案。为了减少计算量同时提高准确率，在每一次加入三元组时，对应的候选答案必须要和问题的答案类型相一致。

事实记忆网络构建：事实记忆网络由功能相同的记忆层构成。每一层均执行两个操作：计算事实列表中三元组得分和更新事实列表。

计算事实列表中的三元组得分，即是计算事实列表中各个三元组和问题的相关性。通过设置得分阈值，可以删除相关性不高的三元组信息。

更新事实列表，即是将新的三元组加入事实列表后，需要对原来的事实列表中的信息作出对应修改。加入新三元组的标准比较简单，只要是包含候选答案，又与问题的答案类型一致，且与本候选答案的记录路径信息不构成重复，即可加入到事实列表中。每执行完一层，则表示多考虑了一跳范围内的三元组信息。经过对每一跳范围内的三元组信息进行不断筛选，最终获得了与问题密切相关的三元组信息。

答案实体选择：在经过事实记忆神经网络的一系列处理之后，会获得最终的一个事实列表。本发明选择得分最高的那一个三元组，来构造出相应的查询。使用该查询语句在出现在当前的整个事实列表中包含的三元组集合中进行查询，所得的答案列表即为最终的问题答案。

实施例

参见图1和图2，本发明基于联合知识嵌入模型和事实记忆网络的知识图谱问答实现的具体步骤如下：

S1：准备好需要的各种数据。为了方便说明，此处以WebQuestions问答数据集为例。WebQuestions数据集可以视为由问答数据集和知识图谱数据集构成，其中本发明使用Neo4j图数据库来存储知识图谱数据集，使用文本文件来存储问答数据集。同时，由于需要提取问题特征模板，故而需要收集网络上的各种问答数据集中的问题构成问题集，并标注出每一个问题的答案类型。这些问答数据集包括WikiQA、SimpleQuestions等等。本发明采用两种问题匹配模式，分别为基于问题分词的词与词性/词性的匹配模式和基于问题主谓宾的词与词性/词性的匹配模式。

其中，基于问题分词的词与词性/词性的问题特征模块如下：

对于问题集中的每一个问题，均需要进行词性标注，并且除了疑问词保留之外，句子中的其他词语均使用词性标识进行代替。

基于问题主谓宾的词与词性/词性的问题特征模板的构建方式如下：

对于问题集中的每一个问题，基于预设的主干表示方式(一般是主谓宾)，提取出句子的主干成分后，除了疑问词保留之外，其他主干成分也用对应的词性标识来替代。

在本实施例中，采用Stanford CoreNLP进行词性标注和句法分析。最后，对于这两种问题特征模版，均需要剔除重复的模式，并合并相似的特征模版。

S2：对数据进行向量表示。首先，对于之前的各种数据，均需要进行词向量表示。由于构成三元组的各个词语也需要进行词向量表示，故而，本实施例中，采用预先用大规模语料训练好的词向量作为词向量获取来源。例如，使用斯坦福大学的GloVe模型训练的词向量。在本发明中，实体向量、关系向量以及词向量的嵌入维度均设置为50。另外，问题向量通过累加构成问题的词对应的词向量来进行计算。对于三元组的嵌入，使用改进的知识嵌入方法来进行，该子过程可具体分为以下步骤：

S21：使用TransD模型来对知识图谱中三元组进行结构嵌入。对于每一个三元组(h，r，t)，设经过TransD模型的处理后，得到的向量分别为h_s、r_s、t_s。

S22：使用卷积神经网络来对每一个实体的对应描述进行向量表示。

本实施例采用的卷积神经网络结构如图3所示，该卷积神经网络结构和DKRL算法中的卷积神经网络结构一致，一次包括卷积、K最大值池化、卷积和均值池化。将实体e的描述文本中各个词语对应的词向量依次进行拼接，构成当前的输入Xe，经过卷积神经网络处理后，得到实体e的语义向量e_d。在该步骤中，将最大序列长度设置为32。其中，k-max-pooling处理为：在每一个pooling块中取前k个最大的值。

S23：使用加权求和的方式来进行关系的语义嵌入。

本具体实施方式中，借鉴了TKRL(具有层次类型的知识图谱表示学习)的加权层次编码器(WHE编码器)，对不同层级的关系标签词采用不同的权重来表征它在关系表示中做出的贡献，并同时做出以下约束：

1、关系的所有标签词的权重之和为1；

2、关系标签词表示的语义越具体，它的权重越大。

设关系r具有n级标签词，第i级标签词的向量用组成标签词的各个词语对应的词向量相加所得，且用α_i来表示。其中，i越小表示标签语义越具体，对应的权重应该越大。则关系向量u_r用下述公式来进行计算：

u_r＝β₁α₁+β₂α₂+…+β_nα_n

其中，β_i是第i级标签词对应的权值(i＝1，2，3…n)，且有β_i：β_i+1＝(1-μ):μ，μ∈(0,0.5)，

将步骤S21得到的头实体向量h_s和尾实体向量t_s分别与步骤S22得到的头实体的语义向量和尾实体的语义向量进行拼接，即h_s:h_sd，t_s:t_d；以及将步骤S21得到的关系向量r_s与步骤S23得到的关系的向量u_r进行拼接，即r_s:u_r；从而得到三元组的嵌入向量。

此外，为了进一步保证问答系统的准确性，在三元组的嵌入处理时，还包括步骤S24，具体为：

S24：计算损失函数并进行训练。在该步骤中，使用BP神经网络来将实体(关系)的结构向量和语义向量进行统一，之后再使用TransE的损失函数来进行计算。为了对实体和关系进行区别对待，对实体和关系分别采用不同的BP神经网络来进行处理。

设处理实体的BP神经网络的参数矩阵为W_e，偏置向量为b_e；处理关系的BP神经网络的参数矩阵为W_r，偏置向量为b_r。激活函数为σ，则三元组(h，r，t)对应的计算过程如下：

h_u＝σ(W_e[h_s:h_d]+b_e)

r_u＝σ(W_r[r_s:u_r]+b_r)

t_u＝σ(W_e[t_s:t_d]+b_e)

将上述向量带入TransE的损失函数中得：

其中，L表示损失函数，γ是正例三元组和负例三元组之间的间隔，S和S^-分别是正例三元组集合和负例三元组集合。即(h_u、r_u、t_u)所对应的三元组(h,r,t)属于集合S，(h′_u、r′_u、t′_u)所对应的三元组(h′,r′,t′)属于集合S^-，且h′_u、r′_u、t′_u分别与h_u、r_u、t_u的计算方式相同，上标仅用于区分所对应的集合为S^-，求出损失函数L后，使用随机梯度下降(Stochastic Gradient Descent，SGD)来进行模型训练，最终获得三元组的嵌入向量。

S3：使用事实记忆网络来进行问答推理。为了使整个问答过程具有良好的可解释性，同时保持一定的准确率，在知识图谱中进行问答推理时，使用了特殊的事实记忆网络。具体流程如下所示：

S31：问题处理。问题处理包括三个步骤，分别是命名实体识别、实体链指和问题类型识别。命名实体识别，在该步骤的任务主要为识别出问句中的实体，采用预训练好的BERT+BiLSTM+CRF模型来进行实体识别。其中，BERT指Bidirectional Encoder Representationfrom Transformers，biLSTM即双向LSTM(Long Short-Term Memory)，CRF指ConditionalRandom Field。

实体链指，用于将命名实体识别过程中识别出的实体(q_e)链接到知识图谱中的某个实体(E)上。实体链指的任务，在此处采用计算相似度的方式来进行匹配：

Sim(q_e,E)＝构成q_e的各个词语的词向量之和*构成E的各个词语的词向量之和

取相似度最大的知识图谱中的实体作为链接后的实体。问题类型识别，则用于识别出问题的答案实体的类别。这里采用特征模板匹配的方式来进行。需要注意的是，这里识别出来的问题类型与实体的类型相对应。

S32：初始事实列表构建。假设e为问题对应的知识图谱实体，不管包含实体e的三元组中，e是位于头部位置还是尾部位置，均将其加入到事实列表中。根据实体e的位置的不同，处理方式略有不同。若e位于头部，如(e，r，t)，除了在事实列表中加入三元组(h，r，t)之外，还要记录候选答案为t；若e位于尾部，如(h，r，e)，除了在事实列表中加入三元组(h，r，e)之外，同时也需要记录此时的候选答案为h。事实列表的具体结构见表1。其中“第i个三元组”中的“i”指的是该三元组在路径中的顺序。

表1事实列表的具体结构

S33：事实记忆网络构建。

参见图4，本发明所采用的事实记忆网络(简称为FMN)包括L层，层数L为超参数，可基于实际情况进行设置，需提前根据数据集情况给出。每经过一层网络，FMN就多考虑一跳范围内的信息，同时对事实列表进行更新。最终的问题答案从第L层输出的事实列表中产生。

本具体实施方式中，L设置为3。FMN的每一层有三个输入：一个是初始的事实列表或是上一层输出的事实列表，在此处均记为F＝f₁,f₂,……,f_n。其中，f_i表示一个三元组，且i＝1,2，…，n，n表示事实列表包括的三元组数量。FMN的每一层的另外两个输入分别是问题向量q和预训练好的词向量。

FMN的每一层的处理可大致分为两个部分：

(1)、根据得分筛选候选答案。对于事实列表中的每一个候选答案对应的记录信息，使用一个评价指标来进行得分(score_f)计算，并设置合理的阈值来进行筛选。

在本具体实施方式中，设立的阈值ε为：

若当前三元组的得分低于ε时，则从事实列表中去除该条记录。否则将该三元组进行保留。

(2)、对于依然存在事实列表中的某个候选实体答案的记录信息，将不存在于该条记录中的路径信息中

且包含对应候选答案的三元组逐个加入事实列表，并更新其对应的信息。之后将新的事实列表传入下一层进行新的一轮计算。这里需要补充的一点是，在将新的三元组加入到事实列表中时，新的候选答案的类型必须和问题的答案类型一致。

在每一层中，计算三元组的得分方式为：将事实列表中记录的三元组列表视为一个序列，统一用BiLSTM来进行编码，之后再和问题向量计算相似度，该相似度即为三元组的最终得分。相似度可以为余弦距离或者欧式距离等等常见的相似度计算方法。在该步骤中，选择余弦距离来作为相似度计算方法。

S34：答案实体选择。经过FMN处理之后，会输出一个事实列表。若得分最高的记录中，三元组为(h，r，t)。当候选答案位于头部位置时，则构造查询(？，r，t)，并在整个事实列表中出现的三元组中进行查询。当候选答案位于尾部位置时，则构造查询(h，r，？)，并同样地在事实列表中的三元组中进行查询。查询出来的结果即为问题答案。

S35：模型训练。本发明通过定义以下的损失函数来对模型进行训练：

其中，QA是问答数据集，n代表的是FMN的第n层，L为FMN的总层数，F_n是FMN的第n层作为输入的事实列表中的最新三元组集合，O是事实列表中最新三元组为f时的那条记录所对应的候选答案实体。

在进行模型的训练时，采用反向传播的方式来进行误差传播，并使用Adagrad这个优化器来进行优化，且学习率设置为0.01。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (10)

1.基于联合知识嵌入模型和事实记忆网络的知识图谱问答系统，其特征在于，包括知识嵌入模块和问答推理模块；

所述知识嵌入模块用于对知识图谱中的三元组进行向量表示，包括下列步骤：

S11：数据预处理：

对于知识图谱中包含的每一个实体，在网络上搜索出是否存在相应的实体描述，若存在，在获取并保存该实体的描述文本；否则，从知识图谱中删除包含该实体的三元组；

S12：对知识进行嵌入：

对知识进行三元组结构嵌入、实体描述嵌入；

并采用加权求和的方式进行关系的语义嵌入；

通过BP神经网络对实体的结构和语义嵌入进入融合；

所述问答推理模块用于对用户输入的问题进行提取处理，并通过事实记忆网络在知识图谱上进行问题答案推理和输出，包括下列步骤：

S21：问题处理：

基于预设的提取规则，提取出问题中用于回答问题的关键信息；

S22：初始事实列表构建：

识别出问题实体并进行实体链指后，将该实体的相关三元组均加入到事实列表中，同时标注出相应的候选答案；

在每一次加入三元组时，对应的候选答案和问题的答案类型相一致；

S23：事实记忆网络构建：

事实记忆网络由功能相同的记忆层构成，每一层均执行两个操作：筛选候选答案和更新事实列表；

筛选候选答案：基于事实列表中各个三元组和问题的相关性，计算事实列表中的各三元组得分，并将得分不超过得分阈值的三元组删除；

更新事实列表为：将新的三元组加入事实列表后，对事实列表的信息进行更新；新的三元组加入事实列表的规则为：包含事实列表的当前候选答案且与问题的答案类型一致，并且与含事实列表的当前候选答案的记录路径信息不重复；

S24：答案实体选择：

选择三元组得分最高的三元组构造查询语句；

使用所述查询语句在出现在当前的整个事实列表中包含的三元组集合中进行查询，所得的答案列表即为最终的问题答案。

2.如权利要求1所述的知识图谱问答系统，其特征在于，步骤S12的具体处理过程为：

步骤S12-1：采用TransD模型对三元组进行结构嵌入：对于每一个三元组(h，r，t)，其中，h表示头实体，r表示关系，t表示尾实体，在经过TransD模型的结构嵌入处理后，得到的向量分别为h_s、r_s、t_s；

步骤S12-2：使用卷积神经网络对每一个实体的对应描述进行向量表示：

设置用于实体的向量表示的卷积神经网络结构并训练网络参数；

将实体的描述文本中各个词语对应的词向量依次进行拼接后作为卷积神经网络的输入，前向计算的输出作为当前实体的语义向量，包括头实体的语义向量h_d和尾实体的语义向量t_d；

步骤S12-3：采用具有层次类型的知识图谱表示学习方式获取关系的语义向量u_r：

定义n表示关系r的标签词的层级数；

定义α_i表示第i级标签词的向量，且向量α_i由组成标签词的各个词语对应的词向量相加所得，定义β_i表示第i级标签词的权值，其中i＝1，2，3...，m；且i越小表示标签语义越具体，对应的权重越大；

关系的语义向量u_r为：u_r＝β₁α₁+β₂α₂+…+β_mα_m；

且有β_i：β_i+1＝(1-μ)：μ，μ∈(0，0.5)，

将步骤S12-1得到的头实体向量h_s和尾实体向量t_s分别与步骤S12-2得到的头实体的语义向量和尾实体的语义向量进行拼接：以及将步骤S12-1得到的关系向量r_s与步骤S12-3得到的关系的向量u_r进行拼接；从而得到三元组的嵌入向量。

3.如权利要求2所述的知识图谱问答系统，其特征在于，步骤S12-2中，卷积神经网络包括依次连接的卷积层、K最大值池化层、卷积层和均值池化层。

4.如权利要求2所述的知识图谱问答系统，其特征在于，步骤S12还包括：

分别采用BP神经网络对拼接后的实体和关系向量进行统一处理：

定义处理实体的BP神经网络的参数矩阵为W_e，偏置向量为b_e；处理关系的BP神经网络的参数矩阵为W_r，偏置向量为b_r；处理实体的BP神经网络和处理关系的BP神经网络的激活函数相同，表示为σ(·)，则统一处理后的三元组的向量(h_u，r_u，t_u)分别为：

h_u＝σ(W_e[h_s：h_d]+b_e)

r_u＝σ(W_r[r_s：u_r]+b_r)

t_u＝σ(W_e[t_s：t_d]+b_e)

并将统一处理后的三元组的向量(h_u，r_u，t_u)作为最终的三元组的嵌入向量。

5.如权利要求4所述的知识图谱问答系统，其特征在于，对知识嵌入处理时所涉及的神经网络的网络参数进行训练时，采用的损失函数为：

其中，L表示损失函数，(h,r,t)和(h′,r′,t′)分别表示正样本和负样本三元组，S和S^-分别表示正样本三元组集合和负样本三元组集合；(h′_u、r′_u、t′_u)表示负样本三元组(h′,r′,t′)的最终的嵌入向量，γ表示正样本三元组和负样本三元组之间的间隔。

6.如权利要求1所述的知识图谱问答系统，其特征在于，步骤S21包括：

命名实体识别：识别出问句中的实体；

实体链指：采用相似度的匹配方式，将命名实体识别出的实体链接到知识图谱中的某个实体上；

问题类型识别：采用特征模板匹配的方式，识别出问题的答案实体的类别。

7.如权利要求6所述的知识图谱问答系统，其特征在于，步骤S22具体为：

用e表示问题对应的知识图谱实体，若e位于三元组的头部，即三元组的头实体，则在事实列表中加入该三元组(e，r，t)，并将事实列表的候选答案记录为t；

若e位于三元组尾部，即三元组的尾实体，则在事实列表中加入三元组(h，r，e)，并将事实列表的候选答案记录为h。

8.如权利要求1所述的知识图谱问答系统，其特征在于，步骤S23中，每个记忆层的得分阈值设置为：当前记忆层的最高得分的二分之一。

9.如权利要求1所述的知识图谱问答系统，其特征在于，步骤S23中，每个记忆层中计算三元组的得分方式为：将事实列表中记录的三元组列表视为一个序列，并采用BiLSTM进行编码，再将编码得到的每个三元组向量与问题向量之间的相似度作为三元组的得分。

10.如权利要求1所述的知识图谱问答系统，其特征在于，知识图谱问答系统训练时采用的损失函数为：

其中，QA表示问答数据集，q表示问题，a表示问题答案，L表示事实记忆网络的总层数，F_n表示事实记忆网络的第n层作为输入的事实列表中的当前三元组集合，score(f)表示事实列表中最新三元组f的得分，O是事实列表中最新三元组为f时的那条记录所对应的候选答案实体。

Images