CN115114419A - 问答处理方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明公开了一种问答处理方法、装置、电子设备和计算机可读介质，涉及自然语言处理技术领域。该方法包括：获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；根据所述查询意图进行查询，确定所述查询文本的答案。该实施方式能够准确理解复杂问题的意图，向用户反馈精准的答案，并且提高了实体识别准确率。

Description

问答处理方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种问答处理方法、装置、电子设备和计算机可读介质。

背景技术

问答系统(Question Answering System，QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。为了快速准确地理解数据的语义，基于知识图谱的问答系统应运而生。知识图谱(knowledge graph)是一种基于有向图(directed graph)的数据结构，由节点(points)及有向边(directed edges)组成，图中的每个节点称为实体(entity)，边代表实体间的逻辑关系(relation)。知识图谱可以使用三元组(entity-1， relation，entity-2)来表示一个知识。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：相关的知识图谱问答方案结构简单，且效果不稳定，多是基于分词和词性完成实体的抽取，实体识别率较低，且无法有效解决多跳问题。

发明内容

为解决上述技术问题或至少部分地解决上述技术问题，本发明实施例提供一种问答处理方法、装置、电子设备及计算机可读介质。

第一方面，本发明实施例提供了一种问答处理方法，包括：获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；根据所述查询意图进行查询，确定所述查询文本的答案。

在可选的实施例中，所述命名实体识别结果包括多个命名实体；

对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词，包括：针对每一所述第一分词，将所述第一分词与每个所述命名实体进行匹配，确定所述第一分词的开始位置和/或结束位置是否属于所述命名实体；若是，则将所述命名实体作为所述分词对应的目标命名实体；根据所述第一分词及所述目标命名实体，对所述多个第一分词进行组合，得到多个第二分词。

在可选的实施例中，所述方法还包括：根据所述目标命名实体的词性，确定所述第二分词的词性；或，根据所述第二分词中包含的第一分词的词性，确定所述第二分词的词性。

在可选的实施例中，根据所述第二分词中包含的第一分词的词性，确定所述第二分词的词性包括：将所述第二分词中的第k个第一分词的词性作为所述第二分词的词性，k为正整数；或，统计所述第二分词中所有第一分词的词性的比例，将比例最高的词性作为所述第二分词的词性。

在可选的实施例中，所述方法还包括：构建命名实体分类体系；所述命名实体分类体系包括以下至少一项：实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数；根据所述命名实体分类体系对训练样本数据进行标注，确定所述训练样本数据中的命名实体；对标注后的所述训练样本数据进行训练，得到命名实体识别模型；

对所述查询文本进行命名实体识别包括：利用所述命名实体识别模型，对所述查询文本进行命名实体识别。

在可选的实施例中，根据所述命名实体分类体系对训练样本数据进行标注，包括：根据所述命名实体分类体系，基于BIO标注方式对所述训练样本数据进行标注。

在可选的实施例中，所述命名实体识别模型包括BERT子模型和CRF 子模型，所述BERT子模型用于确定所述查询文本的编码向量，所述CRF 子模型根据所述编码向量确定所述查询文本中的命名实体。

在可选的实施例中，所述依存句法分析模型包括第一分析模型和第二分析模型；所述第一分析模型用于确定所述第二分词之间的中文句法关系，所述第二分析模型用于确定所述第二分词之间的问答逻辑关系。

在可选的实施例中，所述中文句法关系包括以下至少一项：主谓关系、动宾关系、间宾关系、定中关系、状中结构、动补结构、并列关系、介宾关系和附加关系；所述问答逻辑关系包括以下至少一项：主实体关系、主实体约束关系、主实体主体关系、主关系、关系约束、无意义成分、并列关系。

在可选的实施例中，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图包括：对所述多个第二分词和所述知识图谱进行实体链接、属性链接和关系链接，确定候选实体、候选属性和候选关系；根据所述候选实体、所述候选属性、所述候选关系和所述依赖关系作为特征数据，将所述特征数据与预构建的知识图谱中的三元组进行匹配，确定所述查询文本的查询路径。

在可选的实施例中，所述方法还包括：根据所述依赖关系，确定所述查询文本属于多跳查询语句；

将所述特征数据与所述知识图谱中的三元组进行匹配，确定所述查询文本的查询路径包括：根据预设的限制规则，将所述特征数据与所述知识图谱中的三元组进行匹配，确定所述查询文本的查询路径，其中，所述预设的限制规则用于指示将所述查询文本的跳数限制在预设范围内。

在可选的实施例中，所述方法还包括：在所述查询文本的命名实体识别结果中包括约束条件和/或聚合函数的情况下，将所述约束条件和/或聚合函数挂载在所述候选实体上。

在可选的实施例中，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图包括：根据所述多个第二分词和所述依赖关系，确定所述查询文本的类型；在确定所述查询文本的类型为第一类型的情况下，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；在确定所述查询文本的类型为第二类型的情况下，根据预设的关键词词表，确定所述多个第二分词中的目标关键词，根据所述目标关键词和所述依赖关系确定所述查询文本的查询意图。

第二方面，本发明实施例提供了一种问答处理装置，包括：分词模块，用于获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；修正模块，用于对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；关系识别模块，用于根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；意图确定模块，用于根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；查询模块，用于根据所述查询意图进行查询，确定所述查询文本的答案。

在可选的实施例中，所述命名实体识别结果包括多个命名实体；

所述修正模块还用于：针对每一所述第一分词，将所述第一分词与每个所述命名实体进行匹配，确定所述第一分词的开始位置和/或结束位置是否属于所述命名实体；若是，则将所述命名实体作为所述分词对应的目标命名实体；根据所述第一分词及所述目标命名实体，对所述多个第一分词进行组合，得到多个第二分词。

在可选的实施例中，所述第一分词结果还包括每个所述第一分词的词性；

所述修正模块还用于：根据所述目标命名实体的词性，确定所述第二分词的词性；或，根据所述第二分词中包含的第一分词的词性，确定所述第二分词的词性。

在可选的实施例中，所述修正模块还用于：将所述第二分词中的第k个第一分词的词性作为所述第二分词的词性，k为正整数；或统计所述第二分词中所有第一分词的词性的比例，将比例最高的词性作为所述第二分词的词性。

在可选的实施例中，所述装置还包括模型构建模块，用于：构建命名实体分类体系；所述命名实体分类体系包括以下至少一项：实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数；根据所述命名实体分类体系对训练样本数据进行标注，确定所述训练样本数据中的命名实体；对标注后的所述训练样本数据进行训练，得到命名实体识别模型；

所述修正模块还用于：利用所述命名实体识别模型，对所述查询文本进行命名实体识别。

在可选的实施例中，所述模型构建模块还用于：根据所述命名实体分类体系，基于BIO标注方式对所述训练样本数据进行标注。

在可选的实施例中，所述意图识别模块还用于：对所述多个第二分词和所述知识图谱进行实体链接、属性链接和关系链接，确定候选实体、候选属性和候选关系；根据所述候选实体、所述候选属性、所述候选关系和所述依赖关系作为特征数据，将所述特征数据与预构建的知识图谱中的三元组进行匹配，确定所述查询文本的查询路径。

在可选的实施例中，所述意图识别模块还用于：根据所述依赖关系，确定所述查询文本属于多跳查询语句；根据预设的限制规则，将所述特征数据与所述知识图谱中的三元组进行匹配，确定所述查询文本的查询路径，其中，所述预设的限制规则用于指示将所述查询文本的跳数限制在预设范围内。

在可选的实施例中，所述意图识别模块还用于：在所述查询文本的命名实体识别结果中包括约束条件和/或聚合函数的情况下，将所述约束条件和/ 或聚合函数挂载在所述候选实体上。

在可选的实施例中，所述意图识别模块还用于：根据所述多个第二分词和所述依赖关系，确定所述查询文本的类型；在确定所述查询文本的类型为第一类型的情况下，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；在确定所述查询文本的类型为第二类型的情况下，根据预设的关键词词表，确定所述多个第二分词中的目标关键词，根据所述目标关键词和所述依赖关系确定所述查询文本的查询意图。

第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的问答处理方法。

第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的问答处理方法。

上述发明中的一个实施例具有如下优点或有益效果：

通过命名实体识别结果对多个第一分词进行修正，得到多个第二分词，根据该多个第二分词和预构建的依存句法分析模型，确定第二分词之间的依赖关系；根据多个第二分词、依赖关系和预构建的知识图谱，确定查询文本的查询意图；根据查询意图进行查询，确定所述查询文本，能够准确理解用户的意图，向用户反馈精准的答案。本发明实施例在实体识别阶段，通过命名实体识别结果对第一分词果进行修正，提高了命名实体提取和识别的准确率；通过依存句法分析来判断用户问题中的出现的实体、关系和属性的相互依赖关系，可以有效的完成问题的解析并生成答案，进一步的，通过依存句法分析来判断用户问题中的出现的实体、关系和属性的相互依赖关系，能够简化多跳问题的查询路径，在保证答案的准确性的同时降低了复杂性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1示出了本发明实施例的问答处理的方法的流程图；

图2示出了本发明实施例的问答处理方法的子流程图；

图3示出了BERT模型的结构示意图；

图4示出了本发明实施例的问答处理方法命名实体识别模型的结构示意图

图5示意性示出了本发明实施例的问答处理方法的依存句法分析模型的分析结果的示意图；

图6示出了本发明另一实施例的问答处理方法的依存句法分析模型的分析结果的示意图；

图7示出了本发明实又一施例的问答处理方法的依存句法分析模型的分析结果的示意图；

图8示出了本发明实施例的问答处理方法确定的查询路径的示意图；

图9示出了本发明另一实施例的问答处理方法确定的查询路径的示意图；

图10示出了本发明实施例的问答处理装置的结构示意图；

图11是本发明实施例可以应用于其中的示例性系统架构图；

图12是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示意性示出了本发明实施例的问答处理方法的流程图。如图1所示，该方法包括：

步骤101：获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词。

在本步骤中，可以利用分词组件例如jieba对用户的查询文本进行分词，获得第一分词结果，该第一分词结果包括多个第一分词以及各分词的词性。

步骤102：对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词。

其中，可以通过预构建的命名实体识别模型对查询文本进行命名实体识别。如图2所示，命名实体识别模型可以根据如下过程构建：

步骤201：构建命名实体分类体系；所述命名实体分类体系包括以下至少一项：实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数。

其中，实体是指人名、机构名、地名、产品名称、部门名称以及其他所有以名称为标识的实体，更广泛的实体还包括数字、日期、货币、地址等等。实体类别表示实体所属领域或类别的词，同时实体类别也可以理解为同类实体的抽象集合，如“员工”、“产品线”等。属性词是指连接实体和其对应属性值的词，一般该词性多为名词、名词性短语、动名词等。作为具体的示例，如“张三的毕业时间为2005年”，在知识图谱中的三元组为<张三，毕业时间，2005年>，因为“张三”在知识图谱中一般作为节点而存在，而“2005年”一般是节点的属性值，那么“毕业时间”就视为属性词。关系词是指连接两个实体的词，一般该词性为名词，如“姚明的老婆是叶莉”，在知识图谱中的三元组为<姚明，老婆，叶莉>，因为“姚明”和“叶莉”都是实体，也就是在知识图谱中一般是作为节点而存在的，而它们之间有一条边，即“老婆”这个词，那么“老婆”这个词就视为关系词。约束条件及条件值是指在查询问题中对实体或属性的前提或限制条件。聚合函数指的是对一组值执行计算并返回单一的值。

带有约束条件及聚合函数的问题为带约束的问题，如“我想知道年龄大于40岁的员工的平均入职时间”。本例中的“年龄大于40岁”就是一个约束条件，“平均”就是一个聚合函数、约束条件或聚合函数挂载就是把约束条件或聚合函数挂载到对应的实体上，如年龄大于40岁是对员工的约束条件，需要把年龄大于40岁挂载到员工上。如本例所示，查询问题查询的不是入职时间，而是平均的入职时间，也就是说需要对满足条件的员工的全部的入职时间做取平均数的运算，而判断平均是对入职时间的平均就是聚合函数的挂载的过程。如“公司员工中收入最高的是谁”中的最高也可视为聚合函数，因为其会触发max([收入1，收入2，...])的运算。

步骤202：根据所述命名实体分类体系对训练样本数据进行标注，确定所述训练样本数据中的命名实体。

本步骤中，基于上述命名实体分类体系对训练样本数据中的每一训练样本进行标注，确定该训练样本中的命名实体，即确定训练样本中的实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数。在本步骤中训练样本数据可以以句子为单位进行标注。

在可选的实施例中，可以基于BIO标注方式对所述训练样本数据进行标注。其中，B，即Begin，表示开始。I，即Intermediate，表示中间。O，即Other，表示其他，用于标记无关字符。作为具体的示例，训练样本为“放眼全国，像西安这样发展的城市更是繁若群星”，对其进行标注后为：放(O)、眼(O)、全(O)、国(O)、像(O)、西(B)、安(I)、这(O)、样(O)、发(O)、展(O)、的(O)、城(O)、市(O)、更(O)、是(O)、繁(O)、若(O)、群(O)、星(O)。在可选的实施例中，可以使用LOC表示地点，则“西”的标注信息为B-LOC，“安”的标注信息为I-LOC。

步骤203：对标注后的所述训练样本数据进行训练，得到命名实体识别模型。

在本步骤中，命名实体识别模型的结构可以采用相关技术中的神经网络模型的结构，例如隐马尔可夫模型(Hidden Markov Model，HMM)，最大熵模型(The Maximum EntropyPrinciple)或条件随机场(Conditional Random Field，CRF)。

在可选的实施例中，命名实体识别模型包括BERT子模型和CRF子模型，BERT子模型用于确定所述查询文本的编码向量，CRF子模型根据所述编码向量确定所述查询文本中的命名实体。其中，BERT(Bidirectional Encoder Representation from Transformers)是一种基于Transformer模型的语言模型，BERT的结构图3所示。在图3中，Tran表示Transformer模型， Transformer模型的编码器是由多层单元组合构成，每层单元包含两个子层，每层单元内部的子层间是通过残差连接，以确保信息能完整传输。Em表示以字为单位的文本输入。Tm表示BERT的输出向量。CRF(Conditional Random Fields，条件随机场)是基于最大熵模型(Maximum Entropy Model， ME)和隐马尔科夫模型(Hidden Markov Model，HMM)构建的一种判别式概率模型，该模型使用全局优化的思想，可以更好地对文本序列实现标签预测。

本实施例将命名实体识别任务看作是字级别的序列标注任务，提出了基于BERT-CRF的命名实体识别模型，该模型充分将BERT模型和CRF模型的优点结合，利用BERT模型获取上下文信息序列，自动学习序列的状态特征，将状态特征连接至一个全连接层输出一个状态分数，然后又直接传入至 CRF模型；通过CRF模型对预测结果进一步加入约束条件来保证预测结果的合理性。该命名实体识别模型可分为三部分：输入层、BERT层和预测层。其模型结构如图4所示。

BERT层的输入是一组将文本中的每个字经过查询字向量表转换成的向量序列。输入由3部分组成，由下至上分别为：字向量(token embedding)、分割向量(segmentembedding)、位置向量(position embedding)。其中，字向量是BERT模型经过对大规模样本的无监督训练得到的词向量或字向量，本文用的是字向量，输入序列的首个字符由一个特殊的[CLS]标签填补。分割向量是用于划分文本的句子或段落，本实施例的训练样本数据只有句子，所以只存在EA，分割向量为0。位置向量是表示该字在当前句中的位置信息。

BERT模型的输出是每个字的编码向量，编码向量中含有当前位置的语义信息。在BERT模型后添加一层全连接层，便可把编码向量序列转换为预测标签集合，从而为下一步实现实体识别做准备。

在相关的文本序列标注任务中，预测阶段往往采用softmax函数计算出各个标签的概率，将最大概率对应的标签作为最终的预测结果，显而易见预测过程中没有考虑标签之间的关系。而本实施例的CRF模型在训练过程中会主动学习到所有的限制条件，可以自动学习到标签的前后信息，从而在预测时对预测结果加入限制条件来保证预测结果的正确性，极大的提高了命名实体识别的准确性。

训练得到命名实体识别模型之后，可以利用该命名实体识别模型识别查询文本中的命名实体，然后根据命名实体识别结果对第一分词结果进行修正，得到多个第二分词结果。其中，根据命名实体识别结果对第一分词结果进行修正，得到多个第二分词结果的过程包括：

针对每一第一分词，将第一分词与每个命名实体进行匹配，确定第一分词的开始位置和/或结束位置是否属于命名实体；若是，则将命名实体作为第一分词对应的目标命名实体；

根据第一分词及目标命名实体，对第一分词结果中的多个第一分词进行组合，得到多个第二分词。

作为具体的示例，如查询文本为“核武器和核电站废料处理问题成立联合工作小组”第一分词结果如下表1所示：

表1：

其中，n表示名词，v表示动词，u表示助词，c表示介词。

按照分词来理解以上结果应该问题不大，但是在实体链接时就会导致很多问题，如“核电站”、“废料”、“处理”、“问题”实际上是一个完整的词，因此本实施例采用实体识别的结果对以上结果进行修正，最终结果如表2所示：

表2：

在本实施例中，在得到多个第二分词之后，还需确定每个第二分词的词性。其中，可以根据目标命名实体的词性确定第二分词的词性，例如，目标命名实体为名词，则由该目标命名实体对应的第一分词组成的第二分词的词性也为名词。在可选的实施例中，也可以根据第二分词中包含的第一分词的词性，确定第二分词的词性。例如，可以将第二分词中的第k个第一分词的词性作为第二分词的词性，k为正整数(例如k＝1)，或者，统计第二分词中所有第一分词的词性的比例，将比例最高的词性作为第二分词的词性。

继续以表1所述示例为例，确定第二分词的词性之后如表3所示：

表3：

在本步骤中通过命名实体识别结果对第一分词结果进行修正，能够提高命名实体识别的准确率。

步骤103：根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系。

其中，依存句法分析是句法分析的一种，它的目的是识别句子中词与词的非对称支配关系，在输出的结果中用有向弧表示，该弧线由从属词(dep) 指向支配词(head)。

作为具体的示例，依存句法分析模型的建模可以采用Deep Biaffine Attentionfor Neural Dependency Parsing模型，该模型先通过BiLSTM对词与词性的拼接向量进行编码，之后采用两个多层感知机(Multilayer Perceptron， MLP)分别编码出h(arc-head)和h(arc-dep)向量，去除冗余信息。最终将各个时刻的向量拼接起来得到H(arc-head)和H(arc-dep)，且在H(arc-dep)上拼接了一个单位向量，加入中间矩阵U(arc)进行仿射变换，得到dep与head的点积分数矩阵S(arc)，找到每个词依存的head。

在本实施例中，依存句法分析模型包括第一分析模型和第二分析模型。第一分析模型用于确定第二分词之间的中文句法关系，第二分析模型用于确定第二分词之间的问答逻辑关系。中文句法关系可以包括但不限于以下至少一项：主谓关系、动宾关系、间宾关系、定中关系、状中结构、动补结构、并列关系、介宾关系和附加关系。中文句法分析主要用于实体链接阶段。作为具体的示例，查询语句“哪些员工的毕业院校是清华大学？”的中文句法关系如图5所示。问答逻辑关系可以包括但不限于：主实体关系、主实体约束关系、主实体主体关系、主关系、关系约束、无意义成分、并列关系。作为具体的示例，查询问题“测试中心的总监是北京的张三吗？”的问答逻辑关系如图6所示。在图5-6中，root表示根节点。

步骤104：根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图。

本步骤用于识别用户的查询文本的查询意图，例如识别用户的查询意图为查询实体或查询关系等。在可选的实施例中，可以对第二分词结果和知识图谱进行实体链接、属性链接和关系链接，确定候选实体、候选属性和候选关系，将候选实体、候选属性、候选关系和依赖关系作为特征数据，然后将特征数据与知识图谱中的三元组进行匹配，来召回用户意图的节点路径，即查询文本的查询路径，从而获取用户的主要意图，如查实体、查关系等。其中，实体链接是指把查询问题中的提及词(mention)链接到知识图谱中对应的三元组上。例如“秦始皇是哪一年统一中国的？”中的“秦始皇”就是一个提及词，这个词可以是通过命名实体识别模型识别出的，但是知识图谱中保存的三元组为<嬴政，统一中国，公元前221年>，需要将查询问题中的“秦始皇”链接到“嬴政”这个节点上才能用知识图谱来进行下一步的问题答案的查询等操作。关系链接、属性链接与实体链接类似，在此不再赘述。

步骤105：根据所述查询意图进行查询，确定所述查询文本的答案。

根据查询意图对查询文本进行组装，得到查询语句，然后通过该查询语句进行检索，得到查询文本的答案。

本发明实施例的问答处理方法，通过命名实体识别结果对第一分词结果进行修正，得到多个第二分词结果，根据第二分词结果和预构建的依存句法分析模型，确定查询文本中各分词之间的依赖关系；根据第二分词结果、依赖关系和预构建的知识图谱，确定查询文本的查询意图；根据查询意图进行查询，确定所述查询文本，能够准确理解用户的意图，向用户反馈精准的答案。本发明实施例在实体识别阶段，通过命名实体识别结果对第一分词结果进行修正，提高了命名实体提取和识别的准确率；通过加入依存句法分析来判断用户问题中的出现的实体、关系和属性的相互依赖关系，可以有效的完成问题的解析并生成答案。

在可选的实施例中，在步骤104确定查询文本的查询意图之前，该问答处理方法还可以根据查询文本的各分词之间的依赖关系，确定该查询文本属于多跳查询语句。作为示例，当主实体为属性词或关系词时，可以确定查询文本为多跳查询语句。例如，查询文本为“人力资源中心的总监的年龄是多少岁？”，对该查询文本进行依存句法分析的结果如图7所示，该查询文本的主实体为总监，但其属于关系词，则可以确定该查询文本为多跳查询语句。

多跳查询语句会涉及到知识图谱多个节点的组成的路径的问题，需要使用多个三元组所形成的多跳推理路径才能够回答，因此多跳问题会增加算法的复杂性，影响算法的性能。例如，查询文本“中国各省的省是哪”，通过三元组<中国，省，广东>,<广东，省会，广州>，确定广州是正确答案。

对于多跳查询语句，本申请实施例中通过预设的限制规则将查询文本的跳数限制在预设范围内，例如将查询文本的跳数上限设置为两跳。对于上述示例“人力资源中心的总监的年龄是多少岁？”，将其跳数限制在两跳，其查询路径如图8所示。即先通过“人力资源中心”查询到与其有“总监”关系的实体或实体集，然后对该实体或实体集进行“年龄”的查询。

在可选的实施例中，在查询文本的命名实体识别结果中包括约束条件和 /或聚合函数的情况下，根据依赖关系，将约束条件和/或聚合函数挂载在候选实体上。例如，查询文本为“语音识别第一个版本的开发者是谁？”，通过步骤102的命名实体识别可以确定该查询文本中存在约束条件“第一个版本”，该约束条件与候选实体“开发者”的关系为主实体约束，可以确定该约束条件对应的候选实体为开发者，将该约束条件挂载在“开发者”上得到的查询路径如图9所示。当根据该查询路径进行查询时，首先找到语音识别这一产品线下的所有产品y，再通过“第一个版本”这一约束条件从y中筛选出版本号最小的产品。对于选出来的产品，进一步查询出它的开发者是x，并作为答案返回。

在可选的实施例中，在确定查询文本的查询意图的情况下，该问答处理方法还可以根据第二分词结果和依赖关系，确定查询文本的类型，例如确定查询文本属于复杂问题(即第一类型)还是简单问题(即第二类型)。当根据第二分词结果确定查询文本中包含约束条件和/或聚合函数时，可以确定该查询文本属于复杂问题，当根据依赖关系，确定查询文本属于多跳查询语句时，可以确定该查询文本属于复杂问题，反之，查询文本属于简单问题。在确定查询文本为复杂问题时，根据第二分词结果、依赖关系和预构建的知识图谱确定查询文本的查询意图。在确定查询文本的类型为第二类型的情况下，根据预设的关键词词表，确定第二分词结果中的目标关键词，根据目标关键词和依赖关系确定所述查询文本的查询意图。其中，预设的关键词词表可以预先设置，可以包括疑问代词如哪些、有多少等关键词。将查询文本的第二分词与关键词列表进行匹配，确定查询文本的目标关键词。在可选的实施例中，可以预先设置不同的关键词以及不同的依赖关系对应的查询意图，然后根据将目标关键词语及查询文本的依赖关系，与预先的配置信息进行匹配确定查询意图。

本发明实施例的问答处理方法，将查询文本分为不同的类型，针对不同的类型设置不同的意图查询策略，能够在保证答案的正确性的同时，降低复杂度和提高时效性。

图10示意性示出了本发明实施例的问答处理装置1000的结构示意图。如图10所示，该问答处理装置1000包括：

分词模块1001，用于获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；

修正模块1002，用于对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；

关系确定模块1003，用于根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；

意图确定模块1004，用于根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；

查询模块1005，用于根据所述查询意图进行查询，确定所述查询文本的答案。

在可选的实施例中，所述命名实体识别结果包括多个命名实体；

所述修正模块还用于：针对每一所述第一分词，将所述第一分词与每个所述命名实体进行匹配，确定所述第一分词的开始位置和/或结束位置是否属于所述命名实体；若是，则将所述命名实体作为所述分词对应的目标命名实体；根据所述第一分词及所述目标命名实体，对所述多个第一分词进行组合，得到多个第二分词。

在可选的实施例中，所述第一分词结果还包括每个所述第一分词的词性；

所述修正模块还用于：根据所述目标命名实体的词性，确定所述第二分词的词性；或，根据所述第二分词中包含的第一分词的词性，确定所述第二分词的词性。

在可选的实施例中，所述修正模块还用于：将所述第二分词中的第k个第一分词的词性作为所述第二分词的词性，k为正整数；或统计所述第二分词中所有第一分词的词性的比例，将比例最高的词性作为所述第二分词的词性。

在可选的实施例中，所述装置还包括模型构建模块，用于：构建命名实体分类体系；所述命名实体分类体系包括以下至少一项：实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数；根据所述命名实体分类体系对训练样本数据进行标注，确定所述训练样本数据中的命名实体；对标注后的所述训练样本数据进行训练，得到命名实体识别模型；

所述修正模块还用于：利用所述命名实体识别模型，对所述查询文本进行命名实体识别。

在可选的实施例中，所述模型构建模块还用于：根据所述命名实体分类体系，基于BIO标注方式对所述训练样本数据进行标注。

在可选的实施例中，所述意图识别模块还用于：对所述多个第二分词和所述知识图谱进行实体链接、属性链接和关系链接，确定候选实体、候选属性和候选关系；根据所述候选实体、所述候选属性、所述候选关系和所述依赖关系作为特征数据，将所述特征数据与预构建的知识图谱中的三元组进行匹配，确定所述查询文本的查询路径。

在可选的实施例中，所述意图识别模块还用于：根据所述依赖关系，确定所述查询文本属于多跳查询语句；根据预设的限制规则，将所述特征数据与预构建的知识图谱中的三元组进行匹配，确定所述查询文本的查询路径，其中，所述预设的限制规则用于指示将所述查询文本的跳数限制在预设范围内。

在可选的实施例中，所述意图识别模块还用于：在所述查询文本的命名实体识别结果中包括约束条件和/或聚合函数的情况下，将所述约束条件和/ 或聚合函数挂载在所述候选实体上。

在可选的实施例中，所述意图识别模块还用于：根据所述多个第二分词和所述依赖关系，确定所述查询文本的类型；在确定所述查询文本的类型为第一类型的情况下，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；在确定所述查询文本的类型为第二类型的情况下，根据预设的关键词词表，确定所述多个第二分词中的目标关键词，根据所述目标关键词和所述依赖关系确定所述查询文本的查询意图。

上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

图11示出了可以应用本发明实施例的问答处理方法或问答处理装置的示例性系统架构1100。

如图11所示，系统架构1100可以包括终端设备1101、1102、1103，网络1104和服务器1105。网络1104用以在终端设备1101、1102、1103和服务器1105之间提供通信链路的介质。网络1104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备1101、1102、1103通过网络1104与服务器1105 交互，以接收或发送消息等。终端设备1101、1102、1103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备1101、1102、1103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器1105可以是提供各种服务的服务器，例如对用户利用终端设备 1101、1102、1103所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的问答处理方法一般由服务器1105 执行，相应地，问答处理装置一般设置于服务器1105中。

应该理解，图11中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图12，其示出了适于用来实现本发明实施例的终端设备的计算机系统1200的结构示意图。图12示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括中央处理单元(CPU)1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统1200操作所需的各种程序和数据。CPU 1201、 ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口 1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质 1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分 1208。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；

对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；

根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；

根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；

根据所述查询意图进行查询，确定所述查询文本的答案。

本发明实施例的技术方案，在实体识别阶段，通过命名实体识别结果对第一分词结果进行修正，提高了命名实体提取和识别的准确率；通过依存句法分析来判断用户问题中的出现的实体、关系和属性的相互依赖关系，可以有效的完成问题的解析并生成答案，进一步的，通过依存句法分析来判断用户问题中的出现的实体、关系和属性的相互依赖关系，能够简化多跳问题的查询路径，在保证答案的准确性的同时降低了复杂性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种问答处理方法，其特征在于，包括：

获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；

对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；

根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；

根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；

根据所述查询意图进行查询，确定所述查询文本的答案。

2.根据权利要求1所述的方法，其特征在于，所述命名实体识别结果包括多个命名实体；

根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词，包括：

针对每一所述第一分词，将所述第一分词与每个所述命名实体进行匹配，确定所述第一分词的开始位置和/或结束位置是否属于所述命名实体；若是，则将所述命名实体作为所述分词对应的目标命名实体；

根据所述第一分词及所述目标命名实体，对所述多个第一分词进行组合，得到多个第二分词。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

构建命名实体分类体系；所述命名实体分类体系包括以下至少一项：实体、实体类别、属性词、关系词、条件值、约束条件和聚合函数；

根据所述命名实体分类体系对训练样本数据进行标注，确定所述训练样本数据中的命名实体；

对标注后的所述训练样本数据进行训练，得到命名实体识别模型；

对所述查询文本进行命名实体识别包括：利用所述命名实体识别模型，对所述查询文本进行命名实体识别。

4.根据权利要求3所述的方法，其特征在于，所述依存句法分析模型包括第一分析模型和第二分析模型；所述第一分析模型用于确定所述第二分词之间的中文句法关系，所述第二分析模型用于确定所述第二分词之间的问答逻辑关系；

所述中文句法关系包括以下至少一项：主谓关系、动宾关系、间宾关系、定中关系、状中结构、动补结构、并列关系、介宾关系和附加关系；

所述问答逻辑关系包括以下至少一项：主实体关系、主实体约束关系、主实体主体关系、主关系、关系约束、无意义成分、并列关系。

5.根据权利要求4所述的方法，其特征在于，根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图包括：

对所述多个第二分词和所述知识图谱进行实体链接、属性链接和关系链接，确定候选实体、候选属性和候选关系；

根据所述候选实体、所述候选属性、所述候选关系和所述依赖关系作为特征数据，将所述特征数据与预构建的知识图谱中的三元组进行匹配，确定所述查询文本的查询路径。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述依赖关系，确定所述查询文本属于多跳查询语句；

将所述特征数据与所述知识图谱中的三元组进行匹配，确定所述查询文本的查询路径包括：

根据预设的限制规则，将所述特征数据与所述知识图谱中的三元组进行匹配，确定所述查询文本的查询路径，其中，所述预设的限制规则用于指示将所述查询文本的跳数限制在预设范围内。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述查询文本的命名实体识别结果中包括约束条件和/或聚合函数的情况下，将所述约束条件和/或聚合函数挂载在所述候选实体上。

8.一种问答处理装置，其特征在于，包括：

分词模块，用于获取用户的查询文本，对所述查询文本进行分词，得到多个第一分词；

修正模块，用于对所述查询文本进行命名实体识别，根据命名实体识别结果对所述多个第一分词进行修正，得到多个第二分词；

关系确定模块，用于根据所述多个第二分词和预构建的依存句法分析模型，确定所述多个第二分词之间的依赖关系；

意图识别模块，用于根据所述多个第二分词、所述依赖关系和预构建的知识图谱，确定所述查询文本的查询意图；

查询模块，用于根据所述查询意图进行查询，确定所述查询文本的答案。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images