CN111782786A - 用于城市大脑的多模型融合问答方法及系统、介质 - Google Patents

Abstract

本发明公开了一种用于城市大脑的多模型融合问答方法，包括：依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；依据问答库对用户输入问题进行匹配，确定第二答案及第二置信度；依据生成式预训练获取用户输入问句的预测答案；依据问答库对预测答案进行匹配确定第三答案及第三置信度；对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。本发明还公开了一种用于城市大脑的多模型融合问答系统、计算机存储介质。该用于城市大脑的多模型融合问答方法目的是解决问答方法因选择具有很大经验性的人工设置阈值而导致的非最优化的的问题。

Description

用于城市大脑的多模型融合问答方法及系统、介质

技术领域

本发明属于人工智能技术领域，具体涉及一种用于城市大脑的多模型融合问答方法及系统、介质。

背景技术

目前专业领域问答系统算法大都是将用户问题直接与问答库中的问题进行匹配。问题-问题之间的匹配采用问题间的相似度排名计算。此类模型对问答库中的答案没有进行有效利用，导致答案中的有效信息未进行考虑，同时由于生成式回答的不易把控，导致专业领域问答系统都未采用该模型，尽管有的问答系统用到了生成模型，但也仅仅限于闲聊领域。

目前深度语义匹配度在问答系统中有较多应用，但是深度语义一般需要将问答库中的问题矢量预先全部加载到内存中，在搜索时进行匹配，既消耗资源也不利于热更新。

一般的问答系统都采用两个以上模型，但在最后对模型的选取上大多选择人工设置阈值，多个模型的选取上大多选择人工设置阈值，具有很大的经验性，准确率也存在一定不确定性。

有鉴于此，本领域技术人员亟待提供一种用于城市大脑的多模型融合问答方法及系统、存储介质用于解决问答系统单一和因选择具有很大经验性的人工设置阈值而导致的非最优化的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是问答系统单一和因选择具有很大经验性的人工设置阈值而导致的非最优化。

(二)技术方案

本发明的第一方面提供了一种用于城市大脑的多模型融合问答方法，包括以下步骤：

依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度；

依据生成式预训练获取所述用户输入问句的预测答案；

依据问答库对预测答案进行匹配确定第三答案及第三置信度；

根据排序模型对所述第一置信度、所述第二置信度、所述第三置信度进行融合分类，获取目标答案。

可选的，所述依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度，具体包括如下步骤：

将所述问答库中的问题通过向量表征离线存储于搜索引擎；

通过所述搜索引擎检索所述用户输入问句，匹配出所述第二答案，确定所述第二答案的第二置信度。

可选的，所述将所述问答库中的问题通过向量表征离线存储于搜索引擎，具体包括如下步骤：

通过Bert预训练获取微调后的问答库；

存储所述微调后的问答库中的问题至所述搜索引擎。

可选的，所述依据生成式预训练获取所述用户输入问句的预测答案，具体包括如下步骤：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据GPT-2神经网络训练，获取所述预测答案。

可选的，根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案，具体为：

综合排序所述第一答案、所述第二答案、所述第三答案及所述第一置信度、所述第二置信度、所述第三置信度，将获得最高分数的那个答案确定为所述目标答案。

可选的，所述综合排序所述第一答案、所述第二答案、所述第三答案及所述第一置信度、所述第二置信度、所述第三置信度，将获得最高分数的那个确定为所述目标答案，具体为：

通过对所述第一答案、所述第一置信度、所述第二答案、所述第二置信度及所述第三答案、所述第三置信度是否正确进行学习，依据置信度维度、答案模型确定所述目标答案。

本发明的第二方面提供了应用上述的用于城市大脑的多模型融合问答方法的问答系统，包括：

第一匹配模块，用于依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

第二匹配模块，用于依据问答库对用户输入问题进行向量匹配，确定第二答案及第二置信度；

生成式预训练模块，用于练获取所述用户输入问句的预测答案；

第三匹配模块，用于对所述生成式预训练模块确定的所述预测答案、所述第二匹配模块确定的所述第二答案的相似度进行匹配，确定第三答案及第三置信度；

分类融合模块，用于对所述第一匹配模块确定的所述第一置信度、所述第二匹配模块确定的所述第二置信度及所述第三匹配模块确定的所述第三置信度进行融合分类，获取目标答案。

可选的，所述第二匹配模块，具体用于：

将所述问答库中的问题通过向量表征离线存储于搜索引擎；

通过所述搜索引擎检索所述用户输入问句，匹配出所述第二答案，确定所述第二答案的第二置信度。

可选的，所述生成式预训练模块，具体用于：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据GPT-2神经网络训练，获取所述预测答案。

本发明的第三方面提供了一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行用于城市大脑的多模型融合问答方法，包括如下操作：

依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度；

依据生成式预训练获取所述用户输入问句的预测答案；

依据问答库对预测答案进行匹配确定第三答案及第三置信度；

根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。

(三)有益效果

本发明的上述技术方案具有如下优点：

本发明提供的用于城市大脑的多模型融合问答方法，是通过依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；依据问答库对用户输入问题进行匹配，确定第二答案及第二置信度；依据生成式预训练获取用户输入问句的预测答案；依据问答库对预测答案进行匹配确定第三答案及第三置信度；对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。将预测答案加入到问答库中，加入了对问题-答案的对应关系的考虑，从更多的维度对答案进行匹配，可以提高准确率。

附图说明

图1为本发明实施例提供的一种用于城市大脑的多模型融合问答方法的流程示意图；

图2为本发明实施例提供的另一用于城市大脑的多模型融合问答方法的流程示意图；

图3为本发明实施例提供的一种用于城市大脑的多模型融合问答系统的装置示意图。

图中：

100、第一匹配模块；200、第二匹配模块；300、生成式预训练模块；400、第三匹配模块；500、分类融合模块；600、知识图谱库；700、问答库。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明实施例中，生成式预训练(GPT-2，Generative Pre-Training-2)模型，Bert(Bidirectional Encoder Representation from Transformers，基于Transformer的双向编码器表征)模型为深度学习的训练模型，在此不作赘述。

根据本发明实施例的第一方面提供了一种用于城市大脑的多模型融合问答方法，如图1所示，包括以下步骤：

S1、依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

S2、依据问答库对用户输入问句进行向量匹配，确定第二答案及第二置信度；

S3、依据生成式预训练获取用户输入问句的预测答案；

S4、依据问答库对预测答案进行匹配确定第三答案及第三置信度；

S5、对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。

在该实施方式中，在步骤S3中，该生成模型采用GPT-2，在GPT-2中文预训练模型基础上利用已有专业领域问答进行训练。

数据格式：

问答库QA＝{(q1,a1),(q2,a2),…,(qi,ai),…,(qn,an)}，(1≤i≤n)

其中qi表示第i个问题，ai为问题qi的回答。

对每条训练数据进行“顺序”拼接，然后将其输入到网络中，进行训练，格式如下：

[CLS]q1[SEP]a1[CLS]q2[SEP]a2.....[CLS]qn[SEP]an；

根据GPT-2神经网络训练，得到模型。

答案生成过程：

对输入问题预测得到答案，将该答案在问答库中的答案进行对比得到答案候选项及置信度。

在步骤S5后，还包括将目标答案输出。

该用于城市大脑的多模型融合问答方法，使得问答系统返回结果考虑到问题和答案之间的问答逻辑和特征；同时在于将深度学习向量表征与搜索引擎结合，提供可以随时对模型数据更新，方便快捷的查询和增删改功能；排序模型对多模型结果进行分类，有效减少人工经验干预，提高准确率。

在一些可选的实施例中，依据问答库对用户输入问句进行向量匹配，确定第二答案及第二置信度，具体包括如下步骤：

将问答库中的问题通过向量表征离线存储于搜索引擎；

通过搜索引擎检索用户输入问句，匹配出目标问题，确定第二答案的第二置信度。

具体地，搜索引擎的智能检索包括以下步骤：

2.1对bert进行微调

采用bert预训练模型，利用问答Q＝{(q11,q12),(q21,q22),(q31,q32)...(qn1,qn2)}对做下游任务是否相似任务，通过训练得到微调后的模型；

2.2将问答库存储在搜索引擎，字段设置为矢量字段mapping(映射)中进行定义，对问题即进行BM25(用来评价搜索词和文档之间相关性的算法，是基于概率检索模型提出的算法)定义即字面搜索，BM25算法为自定义分析器，考虑到词频和文档长度，参数b为0.75，k1为1.1。矢量参数定义采dense_vector字段类型，维度为768；

2.3按照2.2的定义将问题用2.1得到的适量存储在ES(Elasticsearch，版本7.3.0，搜索浏览器)中。

在一些可选的实施例中，将问答库中的问题通过向量表征离线存储于搜索引擎，具体包括如下步骤：

通过Bert预训练获取微调后的问答库；

存储微调后的问答库中的问题至搜索引擎。

在一些可选的实施例中，依据生成式预训练获取用户输入问句的预测答案，具体包括如下步骤：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据GPT-2神经网络训练，获取预测答案。

在一些可选的实施例中，根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案，具体为：

综合排序第一答案、第二答案、第三答案及第一置信度、第二置信度、第三置信度，将获得最高分数的那个答案确定为目标答案。

具体地，得分的统计包括检测匹配得分、语义匹配得分、答案匹配得分和KBQA(QuestionAnswering overKnowledge Base，基于知识图谱的自动问答)得分，将两个答案的各个方面的得分进行汇总后排名，选取得分最高的那个答案为目标答案。

在一些可选的实施例中，综合排序第一答案、第二答案、第三答案及第一置信度、第二置信度、第三置信度，将获得最高分数的那个确定为目标答案，具体为：

通过对第一答案、第一置信度、第二答案、第二置信度及第三答案、第三置信度是否正确进行学习，依据置信度维度、答案模型确定目标答案。

具体地，根据多模型的预测结果，需要对不同模型进行综合排序，因为不同模型的结果不一样，仅仅靠人工经验来设置阈值结果将无法保证结果和效率。将不同模型的最高分数作为feature(特征)，预测是否正确作为结果。

排序模型中的数据格式

0，1，2，3分别代表负样本、BM25回答正确、bert回答正确、知识图谱回答正确和生成模型回答正确，这里的0代表拒绝回答模型，其中：

排序模型采用xgboost进行训练获得。

根据本发明实施例的第一方面提供了另一用于城市大脑的多模型融合问答方法，如图2所示，包括以下步骤：

S201、依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

S202、将问答库中的问题通过向量表征离线存储于搜索引擎；

S203、通过搜索引擎检索用户输入问句，匹配出目标问题，确定第二答案及第二置信度；

S204、对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

S205、依据GPT-2神经网络训练，获取离线的训练模型，通过训练模型预测答案；

S206、通过搜搜引擎在问答库中匹配预测答案确定第三答案及第三置信度；

S207、对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。

在该实施方式中，智能问答的过程包括以下两方面：

1.离线处理：

1.1利用问答库中的问答对进行训练得到模型，作为生成离线模型；

1.2知识图谱抽取存储、问答对在搜素引擎中的存储；

1.3收集不同模型度对正、负样本数据的预测结果和置信度，对其训练得到排序模型。

2.问答过程：

2.1输入预处理，对输入文本进行NER(Named Entity Recognition，命名实体识别)、纠错、意图识别；

2.2知识图谱匹配并给出置信度；

2.3问答库中的问题进行智能检索匹配并给出置信度；

2.4利用1.1得到的预训练模型进行预测得到答案；

2.5对2.4得到的答案在问答库中进行检索，得到答案并给出置信度；

2.6对2.5结果输入1.3得到的排序模型，得到正确回答。

其中，NER是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，NER的任务就是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体)。

根据本发明实施例的第二方面提供了应用上述的用于城市大脑的多模型融合的问答方法的问答系统，如图3所示，包括：

第一匹配模块100，用于依据知识图谱库600获取用户输入问句的第一答案，确定第一置信度；

第二匹配模块200，用于依据问答库700对用户输入问句进行向量匹配，确定第二答案及第二置信度；

生成式预训练模块300，用于依据生成式预训练获取用户输入问句的预测答案；

第三匹配模块400，用于对生成式预训练模块300确定的预测答案、第二匹配模块200确定的第二答案的相似度进行匹配，确定第三置信度；

分类融合模块500，用于对第一匹配模块100确定的第一答案、第一置信度、第二匹配模块200确定的第二答案、第二置信度及第三匹配模块400确定的第三答案、第三置信度进行排序比较，获取目标答案。

该问答系统具有如下优点：

1.将问答库700中的问题的通过向量表征离线存储于搜索引擎中，(该搜索引擎包括Elasticsearch、solr)，解决了问答启动时需要加载大量向量内存消耗；

2.对于热更新数据可以做到实时添加更新；

3.将生成式回答加入到问答库700中的模型中，加入了对问题-答案的对应关系的考虑，从更多的维度对回答进行匹配，可以提高准确率；

4.分类融合模块500通过对不同模型置信度及回答是否正确进行学习，得到置信度维度与回答模型选择的模型，消除了经验式的阈值设置，有效提高准确率。

在一些可选的实施例中，第二匹配模块200，具体用于：

将问答库700中的问题通过向量表征离线存储于搜索引擎；

通过搜索引擎检索用户输入问句，匹配出目标问题，确定第二答案的第二置信度。

在一些可选的实施例中，生成式预训练模块300，具体用于：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据GPT-2神经网络训练，获取预测答案。

根据本发明实施例的第三方面提供了一种计算机可读介质，用于记录可由处理器执行的指令，指令在被处理器执行时，使得处理器执行用于城市大脑的多模型融合的问答方法，包括如下操作：

依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

依据问答库对用户输入问句进行向量匹配，确定第二答案及第二置信度；

依据生成式预训练获取用户输入问句的预测答案；

依据问答库对预测答案进行匹配确定第三答案及第三置信度；

根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种用于城市大脑的多模型融合问答方法，其特征在于，包括以下步骤：

依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度；

依据生成式预训练获取所述用户输入问句的预测答案；

依据问答库对预测答案进行匹配确定第三答案及第三置信度；

对所述第一置信度、所述第二置信度、所述第三置信度进行融合分类，获取目标答案。

2.根据权利要求1所述的用于城市大脑的多模型融合问答方法，其特征在于，所述依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度，具体包括如下步骤：

将所述问答库中的问题通过向量表征离线存储于搜索引擎；

通过所述搜索引擎检索所述用户输入问句，匹配出所述第二答案，确定所述第二答案的第二置信度。

3.根据权利要求2所述的用于城市大脑的多模型融合问答方法，其特征在于，所述将所述问答库中的问题通过向量表征离线存储于搜索引擎，具体包括如下步骤：

通过Bert预训练获取微调后的问答库；

存储所述微调后的问答库中的问题至所述搜索引擎。

4.根据权利要求1所述的用于城市大脑的多模型融合问答方法，其特征在于，所述依据生成式预训练获取所述用户输入问句的预测答案，具体包括如下步骤：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据transformer编码器结构训练，获取所述预测答案。

5.根据权利要求1所述的用于城市大脑的多模型融合问答方法，其特征在于，根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案，具体为：

综合排序所述第一答案、所述第二答案、所述第三答案及所述第一置信度、所述第二置信度、所述第三置信度，将获得最高分数的那个答确定为所述目标答案。

6.根据权利要求5所述的用于城市大脑的多模型融合问答方法，其特征在于，所述综合排序所述第一答案、所述第二答案、所述第三答案及所述第一置信度、所述第二置信度、所述第三置信度，将获得最高分数的那个答案确定为所述目标答案，具体为：

通过对所述第一答案、所述第一置信度、所述第二答案、所述第二置信度及所述第三答案、所述第三置信度是否正确进行学习，依据置信度维度、答案模型确定所述目标答案。

7.一种应用如权利要求1-6中任一项所述的用于城市大脑的多模型融合问答方法的问答系统，其特征在于，包括：

第一匹配模块，用于依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

第二匹配模块，用于依据问答库对用户输入问题进行向量匹配，确定第二答案及第二置信度；

生成式预训练模块，用于练获取所述用户输入问句的预测答案；

第三匹配模块，用于对所述生成式预训练模块确定的所述预测答案、所述第二匹配模块确定的所述第二答案的相似度进行匹配，确定第三答案及第三置信度；

分类融合模块，用于对所述第一匹配模块确定的所述第一置信度、所述第二匹配模块确定的所述第二置信度及所述第三匹配模块确定的所述第三置信度进行融合分类，获取目标答案。

8.根据权利要求7所述的用于城市大脑的多模型融合问答系统，其特征在于，所述第二匹配模块，具体用于：

将所述问答库中的问题通过向量表征离线存储于搜索引擎；

通过所述搜索引擎检索所述用户输入问句，匹配出所述第二答案，确定所述第二答案的第二置信度。

9.根据权利要求7所述的用于城市大脑的多模型融合问答系统，其特征在于，所述生成式预训练模块，具体用于：

对每条训练数据进行顺序拼接，并将拼接后的训练数据输入到网络中进行训练；

依据GPT-2神经网络训练，获取所述预测答案。

10.一种计算机可读介质，用于记录可由处理器执行的指令，其特征在于，所述指令在被处理器执行时，使得处理器执行用于城市大脑的多模型融合问答方法，包括如下操作：

依据知识图谱库获取用户输入问句的第一答案，确定第一置信度；

依据问答库对所述用户输入问句进行向量匹配，确定第二答案及第二置信度；

依据生成式预训练获取所述用户输入问句的预测答案；

依据问答库对预测答案进行匹配确定第三答案及第三置信度；

根据排序模型对第一置信度、第二置信度、第三置信度进行融合分类，获取目标答案。

Images