CN107748757A - 一种基于知识图谱的问答方法 - Google Patents

Abstract

本发明提供一种基于知识图谱的问答方法。本发明提供的一种基于知识图谱的问答方法由主体实体匹配，关系匹配以及答案确定来实现。主题实体匹配主要包括命名实体识别和实体链接两个部分。命名实体识别旨在识别自然语言问句q中人名、地名、组织机构名等命名实体。实体链接将识别出的命名实体对应到知识库中的某一个实体上，即找到三元组中的实体s，关系匹配是通过自然语言理解技术理解问句q所表达的语义，并且与搜索空间中三元组(s,p,o)中的关系p进行匹配，以此确定问句所表达的语义及其与知识库中对应的关系。通过实体识别和实体链接得到候选主题实体，关系匹配能够得到候选关系，由此得到若干候选三元组，答案确定需要根据实体识别得分，关系匹配得分等特征对这些候选三元组进行排序，确定最后答案。

Description

一种基于知识图谱的问答方法

技术领域

本发明涉及一种检索方法，尤其涉及一种基于知识图谱的问答方法。

背景技术

问答系统(Question Answering System,QA)是信息检索系统的一种高级形式。它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。

上世纪五六十年代计算机诞生的初期，人们对问答系统就有所研究与尝试。其中有代表性的包括Baseball和Lunar，但早期的系统多是针对特定领域设计，数据规模比较小，语义理解能力较弱。总体来说，系统功能有限，很难被广泛引用。

随着大规模网络数据资源的出现，尤其是知识图谱的出现，使得基于知识图谱的问答系统更加智能化，知识库是一种储存复杂结构化信息的新型技术。知识库中存储了大量事实型知识，其内部使用知识图谱(knowledge graph)模型对实体及实体间的关系间的关系信息进行建模。如今，知识库多以RDF(Resource Description Framework)的格式存储数据，一条事实(fact)被表示为一个(S，P，O)三元组，形如(subject,predicate,object)，其中主体(subject)和客体(object)为命名实体，客体(object)有时会是属性值，述语(predicate)是主体(subject)和客体(object)间的关系。目前基于知识图谱的问答方法在国内外的研究中大致可以被分为两类，基于语义解析的知识库问答方法、基于信息抽取的知识库问答方法。

基于语义解析的知识库问答方法的核心在于自然语言问句的形式化表示，即将自然语言问句转化为某种基于符号的逻辑表达式，比如lambda-DCS(基于依赖关系的语义标注)，再转化为知识库查询语言比如SPARQL查询知识库得到答案。此种方法通常会利用监督学习的方法训练出一个语义解析器，来生成自然语言问句的候选逻辑表达式，之后利用基于模板的方式抽取大量文本中表示关系的表达，提出匹配算法来构建知识库中的表达与自然语言表达的匹配，逻辑表达式转换为知识库中的表达后即可在知识库中查找到对应的答案。

基于信息抽取的知识库问答方法不使用逻辑表达式来表示问句，减少人工特征干预，直接将知识库中的事实与自然语言问句都转化为某种表达形式(比如向量)，然后通过计算相似度来寻找最可能回答问句的答案。这种方法一般会利用词嵌入将单词转换为向量形式，再使用神经网络对自然语言问句进行编码，意在学习到问句不同维度的信息，编码后再同答案及答案子图的向量表示计算相似度，选择相似度高的匹配。

两者对比，基于语义解析的问答方法人工干预更多，对自然语言问句要求的形式更为严格，但是优势是对训练语料的依赖性不强。随着深度学习在自然语言处理领域的发展，基于信息抽取的问答方法是现在普遍的探索方式，这种方法的优势在于不局限于问题的严格表达，能够通过深度学习理解问句表达的语义从而找到正确的答案，但会依赖于训练数据。

随着互联网技术的发展，大规模网络数据资源的出现，人们希望从海量的互联网数据中准确、快速地获取有价值的信息，推动检索式的问答技术被广泛的应用。这种系统的主要特点是：利用信息检索以及浅层自然语言处理技术从大规模文本或网页库中抽取答案。但是这样的系统存在不少局限性：首先，检索出来的信息只是成千上万相关文件的链接，答案可能在这些文件中，也可能不在，相关信息太多，用户无法快速准确定位到所需信息。其次，检索系统通过几个关键字的组合这种浅层的语义分析，无法准确理解用户的检索意图。尤其是面对复杂的自然语言，检索系统往往会导致疏漏信息，返回错误信息，返回信息太多。这些局限性使得问答系统的效果总是差强人意。

近些年来，互联网出现越来越多的高质量知识资源，比如wikipedia，这些资源以自动或半自动的方式被利用起来，构建成为结构化的开源知识库，出现在人们的视野中，比如Freebase,Yago,DBPedia等。随着知识库的出现，对问答系统的研究也可以被分为基于信息抽取的问答系统，基于社区问答的问答系统以及基于知识库的问答系统。由于知识库中知识信息的结构优势为问答系统提供了新的研究方向。与此同时，自然语言处理随着机器学习技术的发展，取得了突飞猛进的效果，使得机器理解自然语言问句成为可能。这两方面的进步能够促进改变传统检索系统基于关键字组合和浅层语义分析的检索技术，从而以更智能的方式梳理人与信息的关系，理解用户的检索意图，有效利用知识库的信息与结构，直接提供给用户想知道的问题的答案，而不是使用户在返回的信息中自己寻找答案，从而实现更为快速准确简洁的基于知识库的问答系统。

发明内容

本发明提供一种基于知识图谱的问答方法。本发明提供了一种基于知识图谱的问答方法由主体实体匹配，关系匹配以及答案确定来实现。主题实体匹配包括命名实体识别(NER)和实体链接(EL)两个部分。命名实体识别是识别出自然语言问句q中人名、地名、组织机构名等命名实体。实体链接是将识别出的命名实体对应到知识库中的某一个实体上，即找到三元组中的实体s，关系匹配是通过自然语言理解技术理解问句q所表达的语义，并且与搜索空间中三元组(s,p,o)中的关系p进行匹配，以此确定问句所表达的语义及其与知识库中对应的关系。通过命名实体识别和实体链接得到候选主题实体，关系匹配能够得到候选关系，由此得到若干候选三元组，答案确定需要根据实体识别得分，关系匹配得分等特征对这些候选三元组进行排序，确定最后答案。

附图说明

图1为本发明的整体框架图。

图2为本发明的整体流程图。

图3为本发明中命名实体识别GRU-CRF(融合条件随机场的循环神经网络)模型图。

图4为本发明中BiGRU(双向循环神经网络)词向量表示图。

图5为本发明中关系匹配注意力机制的序列到序列模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于知识图谱的问答方法。该方法整体框架图如图1。主题实体匹配主要包括命名实体识别(NER)和实体链接(EL)两个部分。命名实体识别是识别出自然语言问句q中人名、地名、组织机构名等命名实体。实体链接是将识别出的命名实体对应到知识库中的某一个实体上，即找到三元组中的实体s，关系匹配是通过自然语言理解技术理解问句q所表达的语义，并且与搜索空间中三元组(s,p,o)中的关系p进行匹配，以此确定问句所表达的语义及其与知识库中对应的关系。通过实体识别和实体链接得到候选主题实体，关系匹配能够得到候选关系，由此得到若干候选三元组，答案确定需要根据实体识别得分，关系匹配得分等特征对这些候选三元组进行排序，确定最后答案。该方法的运行流程图如图2所示，具体步骤如下：

步骤1：用户输入自然语言问句，经过字符串预处理。

步骤2：通过命名实体模块获得问句中的命名实体词。

步骤3：通过实体链接模块，利用命名实体词查询别名词典，返回候选主题实体及其根据知名度的排名。

步骤4：得到使用实体类型代替命名实体词的问句模式(pattern)，经过关系匹配模型配到问句所表达语义的知识库中的关系及其得分。

步骤5：找到候选实体和候选关系后，根据关系得分和实体排序，及其在知识库中的查找确定答案。

主体实体匹配主要包括命名实体识别和实体链接两个子任务。

命名实体识别任务是一个自然语言处理中的序列标注任务，通过序列标注识别出自然语言问句q中的命名实体词，例如，给定一个问句“where was brad pitt born”，需要识别出“brad pitt”是一个命名实体词。实体链接是将命名实体词链接到知识库中的某一个确定的实体。例如，在知识库Freebase中，将实体词“brad pitt”对应到实体实例为“m.0c6qh”这个实体的唯一标识，确定实例就可以提取出知识库中所有以“m.0c6qh”为s的三元组(s,p,o)作为答案的候选搜索空间。

命名实体识别采用基于字符和单词级别的GRU-CRF(融合条件随机场的循环神经网络)神经网络模型来识别问句q中的命名实体词。传统的序列标注问题常用条件随机场(CRF)来完成，条件随机场更多的是考虑整个句子的局部特征的线性加权组合，计算条件概率，优化整个序列，而不是每个时刻的最优值。但GRU-RNN(门控循环神经网络)比起条件随机场更能考虑到长远的上下文信息，并且具备非线性的拟合能力。所以，将门控循环神经网络与条件随机场组合起来能够结合优势，取得不错的效果。

如图3所示，GRU-CRF(融合条件随机场的循环神经网络)的输入是问句q中的单词的向量序列和字符级别的向量序列。考虑字符级别是由于实体词标注语料有限，但词表规模较大，存在很多低频词，如果只使用单词级别的向量表示可能难以得到充分的训练，所以我们考虑字符级别的特征信息；另外，很多单词词意相近，但词形相似却不同，在词表中是完全不同的词，但字符组成相似度很高。与此同时，一些单词词形相似，但词意完全不同，所以单词级别的向量也是很有价值。综上，我们使用单词级别的向量和字符级别的向量相结合来共同构造词向量，作为序列标注模型的输入。

单词级别的向量表示是直接通过查词表的嵌入(embedding)矩阵得到，矩阵中的词向量是随机初始化的。如图4表示，字符级别的单词向量表示分别通过单词每个字符正序输入的正向门控循环神经网络和逆序输入的反向门控循环神经网络最后时刻输出的向量经过拼接成为整个单词的字符级别向量表示。字符表中每个字符的初始向量是随机初始化的。

给定问句q：X＝(x₁,x₂,···,x_n)，x_i表示问句中的每个词，使用IOB(头部，中部，外部)标注方式标注命名实体词，”B”是命名实体词的开始，”I”表示命名实体词中，”O”表示不是命名实体词。y＝(y₁,y₂,···,y_n)表示标注的结果，标注模型得到的标注结果的得分为：

其中矩阵即为条件随机场的状态特征矩阵，P_i，j表示句子中的第j个词标被注为第i种标签的得分，表示状态转移矩阵，其元素A_i，j表示从第i种标签转移到第j种标签的得分。对于所有可能的标注结果集合Y，使用了softmax回归函数得到每种标注的概率：

模型的训练目标是最大化正确的标注序列的对数条件概率：

其中Y_X表示由句子X所有可能的标签序列组成的集合。在预测时，我们使用维特比算法求解最优的标注序列。

实体链接需要将命名实体词与知识库中的实体相对应起来，受到我们通过别名词典完成这部分任务。知识库中存在每个实体实例及其对应的名字和别名，获取别名信息，反向构建别名字符串到实体实例的词典用于实体链接，构建词典时，需要对别名字符串进行统一化处理，比如转化为小写字符，删去特殊字符等等。并且通过获取实体在知识库中出现的频率作为知名度对别名词典中的实体进行排序。

经过命名实体识别得到命名实体词后，我们使用命名实体词在别名词典中查找得到候选主题实体，并且根据实体的知名度选取排名前k的作为候选实体。

关系匹配是通过语义理解找到与问句语义相匹配的知识库中三元组中的关系。例如，给定一个问句”where was brad pitt born”，需要确定”where was brad pitt born”与知识库中的关系“people.person.place_of_birth”的匹配。

图5所示为基于注意力机制的序列到序列(Sequence-to-Sequence或Seq2Seq)模型，模型具体是由一个两层的LSTM(长短期记忆网络)编码器和一个有注意力机制的LSTM(长短期记忆网络)解码器组成。

给定一个问句q＝(x₁,x₂,···,x_n)，解码器的输入是问句中每个单词的词向量序列，由于问句中表示实体的词对关系语义贡献度不大，并且由于扩大词表但是词频低，影响训练，所以我们考虑使用占位符“<e>”代替问句中的命名实体词。修改后q_pattern＝(x₁,x₂,···,<e>,···,x_n}。另外，根据观察，实体的类型对关系匹配起着重要的作用，例如，问句“what position dose carlosgomez play”以及问句“what position dosedavidbeckham play”，它们有同样的q_pattern，但是由于主题实体类型的不同，所对应的知识库中的关系不同，分别是“baseball.baseball_player.position_s”以及“soccer.football_player.position_s”。所以考虑另一种q_pattern，使用主题实体类型替代占位符“<e>”,为了证明这种表达方式的有效性，实验部分对比了分别使用两种不同输入方式的结果。

解码过程使用了一个带有注意力机制的解码器，解码的目标直接是与问句表达语义相匹配的目标关系。给定一个问句q，经过编码器编码，解码器解码能够直接得到问句相对应的关系。加入注意力机制的优势是序列输入随着序列的不断增长，隐层单元状态向量所携带的信息会不断损失，所以不同时间点的信息量会有差别，注意力机制刚好解决了这个问题，它会对输入上下文进行一次基于权重的筛选，让解码器更专注找到输入数据中与当前输出有关的有用信息，从而提高输出数据的质量。

在基于注意力机制的解码过程中，某个时刻t的输出

p(y_t|y₁，...，y_t-1，q)＝g(y_t-1，s_t，c_t)

其中g是softmax激活函数，s_t是隐藏层变量

S_t＝f(y_t-1，S_t-1，C_t)

h_j是编码过程中第j个单词的隐藏层变量

e_tj＝v_a ^T tanh W_aS_t-1+U_ah_j

整个序列到序列模型训练的目标是最大化

综上，问句改写成q_pattern模型后，得到排名前k的问句所对应的关系作为问句q的候选关系，同时得到每个候选关系的得分。

给定一个问句q，经过命名实体识别和实体链接得到候选主题实体集合E及每个候选实体e∈E的得分,使用其中每个候选实体的类型信息及问句q经过序列到序列模型得到候选关系集合P及每个候选p∈P的得分，然后先选择得分最高的p_i，再选择其对应的{e₁,e₂,…,e_n}中得分最高的e_i。以此确定三元组的前两元(s,p,？)，然后去知识库中根据s和p查找，得到答案集合{o_i}，其中i、j、n是正整数。

知识库中分别使用了FB2M和FB5M两个Freebase的子集，FB2M包含了2,150,604实体，6701中关系，以及14,180,927条三元组。FB5M包含了4,904,397个实体，7523中关系，22,441,880条三元组。

问答方法训练数据和测试数据使用了SimpleQuestions(SQ)数据集，包含了108,442个问句三元组对(75910用于训练，10845用于测试)此数据集用来训练5.1提及的命名实体识别模型和5.2所提到的基于注意力机制的序列到序列关系匹配模型，并用来评估整体问答的效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于知识图谱的问答方法，其特征在于，所述方法包括以下步骤：

步骤1：用户输入自然语言问句，经过字符串预处理；

步骤2：通过命名实体模块获得问句中的命名实体词；

步骤3：通过实体链接模块，利用命名实体词查询别名词典，返回候选主题实体及其根据知名度的排名；

步骤4：得到使用实体类型代替命名实体词的问句模式(pattern)，经过关系匹配模型配到问句所表达语义的知识库中的关系及其得分；

步骤5：找到候选实体和候选关系后，根据关系得分和实体排序，及其在知识库中的查找确定答案。

2.如权利要求1所述的方法，其特征在于，主题实体匹配包括命名实体识别模块和实体链接模块两个部分，命名实体识别模块识别自然语言问句q中人名、地名、组织机构名等命名实体，实体链接模块将识别出的命名实体对应到知识库中的某一个实体上，即找到三元组中的实体s，关系匹配模型通过自然语言理解技术理解问句q所表达的语义，并且与搜索空间中三元组(s,p,o)中的关系p进行匹配，以此确定问句所表达的语义及其与知识库中对应的关系，通过命名实体识别模块和实体链接模块得到候选主题实体，关系匹配得到候选关系，由此得到若干候选三元组，最后根据实体识别得分，关系匹配得分特征对候选三元组进行排序，确定最后答案。

3.如权利要求2所述的方法，其特征在于，所述命名实体识别模块采用基于字符和单词级别的GRU-CRF(融合条件随机场的循环神经网络)模型来识别问句q中的命名实体词，所述GRU-CRF(融合条件随机场的循环神经网络)模型中使用单词级别的向量和字符级别的向量相结合来共同构造词向量，作为序列标注模型的输入。

4.如权利要求3所述的方法，其特征在于，所述字符级别的单词向量表示分别通过单词每个字符正序输入的正向RNN(循环神经网络)和逆序输入的反向RNN(循环神经网络)最后时刻输出的向量经过拼接成为整个单词的字符级别向量表示，字符表中每个字符的初始向量随机进行初始化。

5.如权利要求2所述的方法，其特征在于，知识库中存在每个实体实例及其对应的名字和别名，获取别名信息，反向构建别名字符串到实体实例的词典用于实体链接，构建词典时对别名字符串进行统一化处理，通过获取实体在知识库中出现的频率作为知名度对别名词典中的实体进行排序，经过命名实体识别得到命名实体词后，使用命名实体词在别名词典中查找得到候选主题实体，并且根据实体的知名度的排名选出候选实体。

6.如权利要求2所述的方法，其特征在于，所述关系匹配是通过语义理解找到与问句语义相匹配的知识库中三元组中的关系，使用了一个基于注意力机制的序列到序列模型，这个模型具体是由一个两层的LSTM(长短期记忆网络)编码器和一个有注意力机制的LSTM(长短期记忆网络)解码器组成，在所述解码器中，使用主题实体类型替代占位符“<e>”。

7.如权利要求2所述的方法，其特征在于，确定答案的过程为给定一个问句q，经过命名实体识别和实体链接得到候选主题实体集合E及每个候选实体e∈E的得分,使用其中每个候选实体的类型信息及问句q经过序列到序列模型得到候选关系集合P及每个候选p∈P的得分，然后先选择得分最高的p_i，再选择其对应的{e₁,e₂,…,e_n}中得分最高的e_i。以此确定三元组的前两元(s,p,？)，然后去知识库中根据s和p查找，得到答案集合{o_i}。