CN114003709A - 一种基于问句匹配的智能问答系统和方法 - Google Patents

Abstract

本发明公开了一种基于问句匹配的智能问答系统和方法，所述系统主要包括知识库、检索模块、相似问句选择模块和对话管理模块；其中知识库存储频繁问答对数据集；检索模块通过问句领域分类、命名实体识别后利用全文检索从知识库中检索可能与用户问题相似的若干标准问句，并根据问句长度调整候选相似问题数量；相似问句选择模块用于从候选相似问句中选择与用户问题最相似的标准问，采用句向量的余弦相似度作为排序依据。对话管理模块用于跟踪对话状态，可基于学习机制对知识库进行更新；另外可进行意图识别，支持接入闲聊系统、任务系统等外部扩展模块。该种智能问答系统和方法针对用户提问具有较高的实时性和匹配精准度，还具备较好的可扩展性。

Description

一种基于问句匹配的智能问答系统和方法

技术领域

本发明属于人工智能领域，具体涉及一种基于问句匹配的智能问答系统和方法。

背景技术

问答系统（Question Answering, QA）是信息检索系统的一种高级形式，能够用准确、简洁的自然语言回答用户用自然语言提出的问题。现代的问答系统融合了知识库、信息检索、机器学习、自然语言理解等技术，其与传统的信息检索系统在很多方面有所不同。在系统输入和输出方面，问答系统的输入和输出都是自然语言，而信息检索系统的输入是关键词组合，输出是一系列文档；问答系统有时需要考虑用户对话的上下文，而信息检索系统不需要；对于任务驱动的问答系统，在不能理解用户意图的情况下，会请求用户补充信息，而信息检索系统会尽可能理解输入的查询内容，不要求用户补充信息。

问答系统可以被划分为很多类型。按照涉及的领域进行分类，可将问答系统分为限定域问答系统和开放域问答系统。限定域问答系统所能处理的问题只限定于某个领域或内容范围，如法律、金融、医学或某个公司的业务领域等。开放域的问答系统可回答的问题不限定于某个特定领域，需要一定的常识知识并具有语义词典，通常需要有海量的数据支撑，并可以提供一个能闲聊的服务。

按照支持问答系统产生答案的数据来源以及实现的技术分类，可以分为基于知识库的问答系统（KBQA）、基于常见问题集的问答系统（FAQ-QA）、基于数据库的问答系统(TableQA)、基于大规模文档集的问答系统（DBQA）等。基于知识库的问答系统把系统所需的全部领域知识按照统一的方式表示成内部的结构化格式并保存为知识库，在对问题进行语义解析后可以从知识库中获取答案。基于常见问题集的问答系统，通常面向一个垂直领域，在已有的问题-答案对的集合中找到与用户提问相匹配的问题，然后把对应的答案返回给用户。基于数据库的问答系统将自然语言的问题转换为数据库查询语句，然后进行数据库查询操作，返回结果。

FAQ问答系统是目前应用最广泛的问答系统。这种问答系统结构框架清晰、实现较为简单，但其效果取决于构建的问答对数据集的质量以及问句匹配算法。如何构建高质量的数据集，以及在问题匹配中同时达到理想的准确率和较高的计算效率，是本领域技术人员需要解决的问题。

发明内容

发明目的：本发明的第一发明目的在于提供一种基于问句匹配的智能问答方法；本发明的第二发明目的在于提供一种基于问句匹配的智能问答系统。

技术方案：本发明所述的一种基于问句匹配的智能问答方法，该方法包括步骤如下：

（1）利用问答对数据构建知识库；

（2）接收用户提问数据，从问答对知识库中检索得到待定数据子集，再对待定数据子集中数据进行二次匹配，得到与用户提问数据相似度满足设定阈值的相似问句。

优选的，步骤（1）中构建知识库时，按照领域创建多个索引，然后将问答对数据插入搜索引擎中。

优选的，步骤（2）中接收用户发送的自然语言数据后，根据自然语言数据对用户意图进行判定，按需求对接外部执行模块。

优选的，步骤（2）中接收用户提问数据后，进行检索时包括步骤如下：

（S1）基于文本分类算法对用户提问的所属领域进行判断；

（S2）进行实体识别，如果识别到实体，则在检索中使用组合查询，返回包含实体的结果；

（S3）对用户提问数据进行全文检索，获取检索结果组成待定数据子集。

优选的，二次匹配以待定数据子集作为输入，利用文本相似度算法对待定数据子集中的待定问答对进行排序，选出与用户提问相似度最高的候选问句，并判断其是否满足预设的置信度。

优选的，计算待定数据子集中各个待定问句与用户提问的余弦相似度，将高于匹配阈值的待定问句对应的答案回复给用户。

优选的，当步骤（S3）中全文检索的结果为空集或各个待定问句与用户提问的余弦相似度最高值低于匹配阈值，则判定知识库中没有与用户提问匹配的问答对，按照设定内容进行回复或转为人工回复。

优选的，步骤（2）中接收用户提问数据后，当触发了预设关键词或未检索到匹配问句或匹配问句答案存在错误时，利用学习机制对知识库中的问答对数据进行增加、删除或修改。

进一步的，步骤（1）中的知识库为频繁问答对数据集，构建知识库时，以全文检索引擎ElasticSearch作为检索引擎，创建倒排索引，然后将已有问答对数据插入ElasticSearch，完成知识库构建；当数据量较大时，可按照领域创建多个索引。知识库支持更新优化，可增加、删除问答对和更新问题答案。

当接收到用户发来的自然语言数据时，首先通过规则模板解析、基于深度学习的意图分类等手段对对话意图进行识别，同时对用户的对话状态进行跟踪，当用户意图为闲聊或执行其他操作时，可对接聊天模块进行回复或对接其他任务执行系统，从而实现了较好的可扩展性。

当接收到用户发来的自然语言数据为用户提问时，以用户提问内容为检索内容，在ElasticSearch中进行全文检索，按照得分进行排序，返回得分最高的N个结果作为候选相似问题组成待定数据子集。在进行全文检索前，基于文本分类算法，判断用户提问所属领域，用于提升全文检索的速度和精度，当ElasticSearch未按照领域创建多个索引时，则不对用户提问进行分类。对分类后的用户提问利用命名实体识别技术，如果识别到实体，则在检索中使用组合查询，返回包含实体的结果，用于降低后续问题匹配的难度。

利用ElasticSearch进行全文检索时，根据用户提问的长度对返回的候选相似问题数量进行调整，当用户提问长度较短时，可能有较多的检索结果并且正确问题的得分较低，需要返回更多的候选相似问题，以保证检索模块对于短问题的召回率。

进一步的，对于利用ElasticSearch进行全文检索得到的待定数据子集，计算待定数据子集内的各个候选问题的句向量，然后计算各个候选问题与用户提问的余弦相似度作为最终得分。设置匹配阈值，当最高得分高于阈值时，该问题即用户提问的匹配问题，将对应答案回复给用户。否则按照特定内容进行回复或进行人工回复。

进一步的，通过设置特定的触发词或触发语句，当系统无法回答用户提出的问题或答案错误时，用户可触发系统的学习机制，将正确答案输入系统后，系统会对知识库进行扩充或更新。

本发明所述的一种基于问句匹配的智能问答系统，包括用于接收用户提问数据的对话管理模块，所述的对话管理模块用于对用户提问进行对话状态跟踪和意图识别，所述的对话管理模块与用于对用户提问数据进行全文检索的检索模块连接，所述的检索模块与知识库连接，所述的检索模块与用于对全文检索结果进行相似度计算的相似问句选择模块连接。

优选的，检索模块内包括用于对用户提问进行领域分类的问句分类模块、用于对用户提问进行实体识别的命名实体识别模块和用于对用户提问进行全文检索的全文检索模块；所述的相似问句选择模块内包括用于对全文检索得到的候选问句进行句向量计算的句向量计算模块和用于机选候选问句与用户提问余弦相似度的相似度计算模块。

进一步的，知识库用于存储频繁问答对数据集；以ElasticSearch作为检索引擎，创建倒排索引，然后将问答对数据插入ElasticSearch构成知识库。当数据量较大时，可按照领域创建多个索引。

进一步的，知识库分别与对话管理模块、检索模块连接，对话管理模块包括意图识别模块和对话状态跟踪模块，其中意图识别模块能够对用户意图进行识别，当用户意图为闲聊或执行操作时，可对接聊天模块进行回复或对接所需任务执行系统；对话状态跟踪模块则能够对用户与系统进行的对话状态进行跟踪，对话状态跟踪模块中设置了特定的触发词或语句，当无法回答用户提出的问题或答案错误时，触发系统的学习机制，将正确答案输入系统，系统会对知识库进行扩充或更新。

进一步的，检索模块中的全文检索模块为ES检索模块，利用ElasticSearch检索引擎以用户问题为检索内容对知识库中数据集进行检索，按照得分进行排序，返回得分最高的N个结果作为候选相似问题，由候选相似问题组成的待定数据子集中大概率能够存在语义相同或相似的问答对。

进一步的，相似问句选择模块以检索模块检索得到的待定数据子集作为输入，计算待定数据子集内的各个候选问题的句向量，然后计算各个候选问题与用户提问的余弦相似度作为最终得分。设置匹配阈值，当最高得分高于阈值时，该问题即用户提问的匹配问题，将对应答案回复给用户。否则按照特定内容进行回复或进行人工回复。

有益效果：本发明所述的技术方案利用全文检索得到由候选相似问题组成的待定数据子集，全文检索速度较快且得到的待定数据子集中大概率包括语义相同的目标问答对；二次匹配利用速度较慢但精准度更高的匹配算法，在数据量较少的待定数据子集中精准找到目标问答对，能够在用户提问匹配过程中实现较高的实时性和更高的匹配精准度。

附图说明

图1为本发明中基于问句匹配的智能问答系统的系统架构示意图；

图2为本发明中基于问句匹配的智能问答方法的流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步详细说明。

一种基于问句匹配的智能问答系统，如图1所示，包括知识库、对话管理模块、检索模块、相似问句选择模块和外部扩展模块，其中知识库内包括频繁问答对数据集；构建知识库时，将FAQ数据存入ElasticSearch并建立索引以供检索模块进行搜索。FAQ数据为业务场景中用户最常问或最有可能问的问题，又称“标准问题”，通过提前编制答案，构成问答对。频繁问答对数据集是标准问及其答案构成的QA对数据集。在知识库内搭建ElasticSearch检索服务，为问答对数据创建索引，索引时分词采用ik_max_word模式，对自然语言文本做最细粒度的拆分；检索时分词采用ik_smart模式，对自然语言文本做最粗粒度的拆分，以实现精准匹配。将数据集划分为多个领域，以领域作为索引名，分别创建索引。创建索引后，将所有问答对插入到ES的数据库中。基于划分后的数据，训练文本分类模型，用于问句分类。若数据量不大，可不划分领域，仅创建一个索引。本实施例中训练文本分类模型采用FastText等分类模型。

本实施例中，构建完成的知识库，允许后台人员或用户持续的对知识库内的数据集进行优化，优化方式包括增加一个标准问题、删除一个标准问题、为一个标准问题增加同义问句、为一个标准问题删除同义问句、修改标准问题答案等等。优化操作可以在系统后台直接进行优化操作，也可以借助系统的学习机制，自动或半自动地对数据进行优化。

本实施例中，对话管理模块内包括意图识别模块和对话状态跟踪模块，对话管理模块与外部扩展模块连接；通过意图识别模块，当用户意图为闲聊或执行操作时，可对接外部扩展模块中的聊天模块进行回复或对接其他所需任务执行系统。对话状态跟踪模块能够触发学习机制，对知识库进行扩充或更新。

本实施例中，学习机制基于python的aiml库实现，aiml库可解析AIML格式的规则文件并依据规则进行对话，并能够跟踪对话状态。AIML为人工智能标记语言，是创建自然语言软件代理的XML语言，借助aiml，通过识别到用户输入的特定触发词或触发句子，如“答错了”、“我教你”等，触发学习机制，将下一轮用户输入的内容作为答案，与上一轮输入的问题组成问答对，更新到知识库中，实现对知识库的优化。

通过检索模块和相似问句选择模块将检索过程分为两个阶段：步骤1，利用检索模块快速地从频繁问答对数据集中检索到一个较小的待定数据子集，保证待定数据子集以较高的概率包含了与用户提问语义相同或相似问句；步骤2，从获得的待定数据子集中，用一个效果较好的相似度模型，精准找出与用户提问相似度最高的问句。

本实施例中，检索模块内包括问句分类模块、命名实体识别模块和ES模块；由于知识库中存在大量相似问题，且同一个含义的问题也可以有多种提问方法，例如用户提问“张X是哪国人

”，而知识库中存在问题“张X的国籍是

”和“张Y是哪国人

”，正常检索结果中“张Y是哪国人

”得分可能比“张X的国籍是

”更高，因此，在对问句进行检索前，利用命名实体识别模块对用户提问进行命名实体识别，如果问句中包含命名实体，则使用组合查询增加检索条件，返回包含实体的结果，以降低后续问题匹配的难度。

在进行全文检索前，问句分类模块利用构建知识库时所用的文本分类模型将用户提问划分到对应领域中，当知识库只创建了一个领域的索引时，不对用户提问进行领域分类操作。

在理解了用户提问基础上，ES模块从知识库中检索K个与用户提问最相似的问句，ES模块利用ElasticSearch进行全文检索输出的K个问句称为候选相似问句，组成待定数据子集。ES模块的查询返回结果包含不多于K个候选相似问句、答案以及得分，K的值可在查询时指定。当问句较短时，可能会匹配很多相似问题，而正确的相似问题得分较低，因此基于问句的长度对K的值进行调整，当问句较短时返回更多候选相似问题，以保证检索模块对于短问题的召回率。

本实施例中，相似问句选择模块从K个候选相似问句中，选出与用户提问相似度最高的那一个，并判断是否具有足够的置信度。具体的，相似问句选择模块以检索模块检索得到的K个候选相似问句作为输入，计算候选相似问句的句向量，然后计算各个候选相似问句与用户提问的余弦相似度作为最终得分。如果相似度最高的候选问句具有较高的置信度，相似问句选择模块会判定该候选相似问句就是用户提问的同义问句，该候选相似问句的回答作为用户提问的回答进行输出。如果相似度最高的候选问句不具有较高的置信度，则判定没有候选相似的问题可以匹配用户的提问，此时转为人工回答或回答预先设定的内容。

一种基于问句匹配的智能问答方法，如图2所示，用户输入问题后，首先对用户意图进行判断，若用户意图为闲聊、执行指令等，则转到外部对应的其他扩展指令执行模块。如果用户意图为问答，则对用户对话状态进行跟踪，如果用户输入了触发词语或触发语句，进而触发了学习机制，则以用户下一轮的输入作为上轮问题的标准答案，更新知识库。如果未触发学习机制，则开始以用户提问作为输入在知识库中进行检索。

检索过程中，首先利用构建知识库时使用的文本分类模型将用户提问划分到对应领域中，再对用户提问中的命名实体进行识别，最后进行全文检索，返回按照检索得分排序前K个作为候选相似问句。如果候选集为空，即相似问题召回失败，返回无答案；如果候选集不为空，则计算各个候选相似问句的句向量，并与用户提问的句向量计算余弦相似度作为得分，判断得分最高的候选相似问句得分是否超过阈值，若是则以该候选相似问句的答案作为最终答案进行回复，否则判定没有候选相似问题可以匹配用户的提问。

当无相似问句能够匹配用户提问时，转为人工回答或回答预先设定的内容。

综上，该种基于问句匹配的智能问答系统和方法，能够对用户提问意图进行识别，支持接入聊天系统或其他任务执行系统等外部扩展模块，具备较好的可扩展性。对话管理模块还能够对对话内容进行跟踪，能够基于学习机制对知识库进行更新。对于用户问句，基于全文检索配合语义相似度计算的检索思路，既能够达到理想的准确率也能够具有较高的计算效率。在检索过程中引入文本分类、命名实体识别和句向量等自然语言处理技术，极大提高了检索命中效率和命中精准度。

Claims (10)

1.一种基于问句匹配的智能问答方法，其特征在于：该方法包括步骤如下：

（1）利用问答对数据构建知识库；

（2）接收用户提问数据，从问答对知识库中检索得到待定数据子集，再对待定数据子集中数据进行二次匹配，得到与用户提问数据相似度满足设定阈值的相似问句。

2.根据权利要求1所述的一种基于问句匹配的智能问答系统，其特征在于：所述的步骤（1）中构建知识库时，按照领域创建多个索引，然后将问答对数据插入搜索引擎中。

3.根据权利要求1所述的一种基于问句匹配的智能问答系统，其特征在于：所述的步骤（2）中接收用户发送的自然语言数据后，根据自然语言数据对用户意图进行判定，按需求对接外部执行模块。

4.根据权利要求2所述的一种基于问句匹配的智能问答系统，其特征在于：所述的步骤（2）中接收用户提问数据后，进行检索时包括步骤如下：

（S1）基于文本分类算法对用户提问的所属领域进行判断；

（S2）进行实体识别，如果识别到实体，则在检索中使用组合查询，返回包含实体的结果；

（S3）对用户提问数据进行全文检索，获取检索结果组成待定数据子集。

5.根据权利要求4所述的一种基于问句匹配的智能问答系统，其特征在于：所述的二次匹配以待定数据子集作为输入，利用文本相似度算法对待定数据子集中的待定问答对进行排序，选出与用户提问相似度最高的候选问句，并判断其是否满足预设的置信度。

6.根据权利要求5所述的一种基于问句匹配的智能问答系统，其特征在于：计算待定数据子集中各个待定问句与用户提问的余弦相似度，将高于匹配阈值的待定问句对应的答案回复给用户。

7.根据权利要求6所述的一种基于问句匹配的智能问答系统，其特征在于：当步骤（S3）中全文检索的结果为空集或各个待定问句与用户提问的余弦相似度最高值低于匹配阈值，则判定知识库中没有与用户提问匹配的问答对，按照设定内容进行回复或转为人工回复。

8.根据权利要求2所述的一种基于问句匹配的智能问答系统，其特征在于：所述的步骤（2）中接收用户提问数据后，当触发了预设关键词或未检索到匹配问句或匹配问句答案存在错误时，利用学习机制对知识库中的问答对数据进行增加、删除或修改。

9.一种基于问句匹配的智能问答系统，其特征在于：包括用于接收用户提问数据的对话管理模块，所述的对话管理模块用于对用户提问进行对话状态跟踪和意图识别，所述的对话管理模块与用于对用户提问数据进行全文检索的检索模块连接，所述的检索模块与知识库连接，所述的检索模块与用于对全文检索结果进行相似度计算的相似问句选择模块连接。

10.根据权利要求9所述的一种基于问句匹配的智能问答系统，其特征在于：检索模块内包括用于对用户提问进行领域分类的问句分类模块、用于对用户提问进行实体识别的命名实体识别模块和用于对用户提问进行全文检索的全文检索模块；所述的相似问句选择模块内包括用于对全文检索得到的候选问句进行句向量计算的句向量计算模块和用于机选候选问句与用户提问余弦相似度的相似度计算模块。

Images