CN114238598A

CN114238598A - 一种问答系统及其标注、审核与模型训练的方法

Info

Publication number: CN114238598A
Application number: CN202111488405.0A
Authority: CN
Inventors: 常德杰; 刘邦长; 赵红文; 谷书锋; 赵进; 罗晓斌; 庄博然; 张平
Original assignee: Beijing Miaoyijia Health Technology Group Co ltd
Current assignee: Beijing Miaoyijia Health Technology Group Co ltd
Priority date: 2021-12-07
Filing date: 2021-12-07
Publication date: 2022-03-25

Abstract

一种问答系统及其标注、审核与模拟训练的方法,包括如下步骤：步骤1，设置待完善的问答知识库；步骤2，设置用于所述问答知识库的预定的问题和对应的正确答案；步骤3，对所述问答知识库提出预定的问题并将输出的答案储存；步骤4，将所述对应的正确答案与所述输出的答案进行比对，对所述比对的结果进行划分并做标记；步骤5，根据所述标记完善所述问答知识库。

Description

一种问答系统及其标注、审核与模型训练的方法

技术领域

本发明涉及信息处理技术领域，特别是一种问答系统及其标注、审核与模型训练的方法。

背景技术

QA回答主要有两种主流技术：一种是基于知识图谱的回答，优点是比较精准，缺点是固定模板；另一种是FAQ问答，核心技术多为基于FAQ的相似度匹配，优点是相对灵活，缺点是回答的相关性相对比较差。

现有的问答系统多为单一模型，且存在流程与模型的融合度不佳、功能单一以及缺乏有效的反哺工具的问题，尚未有融合多种模型且具备训练模型和数据标注与审核功能的方法和系统。

发明内容

针对上述问题及现有方案的缺点，本专利提出一种问答系统，该系统融合了FAQ和知识图谱两种模型，且该系统包含了模型的标注、训练与部署一体化的流程和方法。与单一模型的QA问答系统相比，本专利的有益效果为：本专利技术的问答系统回答准确率更高；本专利提出的一种标注、训练、部署一体化的流程和方法，可使模型的训练和部署更有效与便捷。

一种用于问答知识库的自我完善的方法,包括如下步骤：

步骤1，设置待完善的问答知识库；

步骤2，设置用于所述问答知识库的预定的问题和对应的正确答案；

步骤3，对所述问答知识库提出预定的问题并将输出的答案储存；

步骤4，将所述对应的正确答案与所述输出的答案进行比对，对所述比对的结果进行划分并做标记；

步骤5，根据所述标记完善所述问答知识库。

优选地，在所述步骤4中，标记出两种错误中的一个或者多个：问题分类错误和回答错误。

最好，所述回答错误包括不能输出答案和所述输出的答案错误。

最好，根据所述步骤4中标记出的错误，步骤5还包括对应的步骤51打回给所述问答知识库和/或者增加知识图谱和FAQ和/或者修正知识图谱和修正FAQ。

最好，所述步骤5还包括步骤52，根据所述比对得出准确率，以确定是否达到完善的标准。

最好，在所述步骤1之前还包括步骤001，对所述待完善的问答知识库进行初步的质量校验和审核。

优选地，所述问答知识库为FAQ与知识图谱彼此融合的问答知识库。

更优选地，在所述步骤001之后还包括步骤002，针对回答策略进行训练。

最好，所述针对回答策略进行的训练包括设置知识图谱和FAQ各自的优先级，针对所选择的知识图谱或者FAQ进行匹配的表征量的筛选，然后生成所述待完善的问答知识库，用于接下来的步骤。

一种问答知识库装置，包括对应于上述用于问答知识库的自我完善的方法中的各步骤的模块。

附图说明

图1为本发明的一种问答系统的流程示意图；

图2为本发明的设定智能问答策略模型的流程示意图；

图3为本发明的智能问答策略模型的测试与改进流程示意图；和

图4为本发明的问答知识库的自我完善方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加的清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1，示出了一种问答系统，包括以下步骤：步骤1，使用者注册并登录所述系统；步骤2，使用者上传行业数据；步骤3，系统对所述行业数据进行初步审核；步骤4：使用者根据系统提示设定适用所述行业数据的智能问答策略模型A；步骤5：对所述智能问答策略模型A的训练和初始化；步骤6：对所述智能问答策略模型A的测试和迭代改进。

其中，所述步骤2中，使用者上传的行业数据包括FAQ问题数据和知识图谱数据。所述FAQ问题数据就是QA对，如：“糖尿病人可以吃那些食物？回答:高纤维食物,含糖低的蔬菜,含钙的食物,富含硒的食物.....”所述知识图谱数据(XML格式)如下所示：

知识图谱实体:

知识图谱关系:

除了批量上传外，本方法还提供了单个节点创建和关系创建的流程和步骤如下：

1，创建节点，输入节点名称，属性。

2，选中两个节点，创建关系，输入关系名称，属性。

在所述步骤3中，系统设有自动的基础审核工具，包括QA审核和知识图谱审核。使用者选择所述审核工具之后，后台分别执行对FAQ数据和知识图谱数据的初步审核。

如图2，所述步骤4的问答策略模型A包括以下步骤：步骤401，判定是优先知识图谱模型或优先FAQ模型；步骤402，选择意图分类的模型，例如深度学习方法DNN、基于规则的决策树等；步骤403，若选择优先知识图谱回答，则确定知识图谱回答的具体策略。例如实体匹配优先，还是关系匹配优先；步骤404，若选择优先FAQ回答，选择FAQ回答的相似度算法模型。例如文本距离、向量距离等。

所述步骤5对上述步骤4的模型A执行训练和初始化。如第一次训练参数可以进行随机初始化，或第二次训练采用第一次训练后的参数初始化模型。

使用者确定好智能回答的策略后，需提供一定数量的具体问题对确定的模型A进行实际的测试并改进。所述步骤6包括如下步骤：步骤601，对所述模型A的问答对错进行标注；步骤602，依据策略B纠正所述模型A，并循环迭代；如图3，示出了模型A测试和改进的具体流程。提供1000个真实问答，然后对模型A进行测试，并输出回答结果。审核人员人工观察QA分类，并判断回答的对错，同时对回答结果进行标注。回答正确的标注正确，回答错误的则根据错误的分类策略B进行系统自动处置。如图3，所述策略B包括：判断回答错误的类型属于“回答错误”还是“不能回答”；若属于“不能回答”类型，则增加对应的知识图谱或者QA对；若属于“回答错误”类型，则修正所述知识图谱关系或者修正所述QA对。

通过循环执行该步骤，模型A中的每个子模型，根据自己接收的错误进行重新训练和调整，实现对模型的质量检测以及补充、修正，从而使得知识图谱数据库和FAQ数据库在迭代中分级。

需要特别说明的是，所述步骤6还包括步骤603：统计所述问答模型的准确率，直至所述准确率达到上限标准。在一个实施例中，所述上线标准为：90％

本方法的一个完整的示例：例如1000个问题里面，审核人员判断900个是模型回答正确的，则准确率90％。

上述各实施例仅是本发明的优选实施方式，在本技术领域内，凡是基于本发明技术方案上的变化和改进，不应排除在本发明的保护范围之外。

Claims

1.一种用于问答知识库的自我完善的方法,包括如下步骤：

步骤1，设置待完善的问答知识库；

步骤3，对所述问答知识库提出预定的问题并将输出的答案储存；4；

步骤5，根据所述标记完善所述问答知识库。

2.根据权利要求1所述的用于问答知识库的自我完善的方法，其特征在于，在所述步骤4中，标记出两种错误中的一个或者多个：问题分类错误和回答错误。

3.根据权利要求2所述的用于问答知识库的自我完善的方法，其特征在于，所述回答错误包括不能输出答案和所述输出的答案错误。

4.根据权利要求3所述的用于问答知识库的自我完善的方法，其特征在于，根据所述步骤4中标记出的错误，步骤5还包括对应的步骤51打回给所述问答知识库和/或者增加知识图谱和FAQ和/或者修正知识图谱和修正FAQ。

5.根据权利要求4所述的用于问答知识库的自我完善的方法，其特征在于，所述步骤5还包括步骤52，根据所述比对得出准确率，以确定是否达到完善的标准。

6.根据权利要求5所述的用于问答知识库的自我完善的方法，其特征在于，在所述步骤1之前还包括步骤001，对所述待完善的问答知识库进行初步的质量校验和审核。

7.根据权利要求6所述的用于问答知识库的自我完善的方法，其特征在于，所述问答知识库为FAQ与知识图谱彼此融合的问答知识库。

8.根据权利要求7所述的用于问答知识库的自我完善的方法，其特征在于，在所述步骤001之后还包括步骤002，针对回答策略进行训练。

9.根据权利要求8所述的用于问答知识库的自我完善的方法，其特征在于，所述针对回答策略进行的训练包括设置知识图谱和FAQ各自的优先级，针对所选择的知识图谱或者FAQ进行匹配的表征量的筛选，然后生成所述待完善的问答知识库，用于接下来的步骤。

10.一种问答知识库装置，包括对应于根据权利要求9所述用于问答知识库的自我完善的方法中的各步骤的模块。