CN118093843A - 基于知识库的问答处理系统 - Google Patents

Abstract

本发明公开了基于知识库的问答处理系统，本发明通过设置基础数据单元构建问答知识库，数据分析模块分析获取大数据下咨询用户多次咨询下的预置问题训练集和预置答案训练集，预置服务单元将企业问答模型拆分得到多次咨询下的微调问答小模型和其对应的小型问答知识库，通过这种方式摆脱了传统预设的回复答案不全面的景象，针对问答服务次数不多的咨询用户优先使用训练的微调模型对其进行回复，提高了其回复答案的精准度和回溯速率，针对适应咨询次较多的咨询用户才通过问答模型对其进行回复，有效的降低了企业搭载问答模型的服务器的负载，减少了咨询端模块和问答端模块之间的网络流量。

Description

基于知识库的问答处理系统

技术领域

本发明涉及问答处理技术领域，具体涉及基于知识库的问答处理系统。

背景技术

随着互联网技术的快速发展，人们越来越习惯通过网络获取信息。在此基础上，问答系统受到了广泛关注并被大量研究和应用。其中，基于知识库的问答系统，以人工或构建的大规模知识库为信息源，能够回答常被人们提出的以知识、事实为基础的问题。

现有的一种基于知识库的问答处理系统应用在企业，企业通过构建其专属的知识库训练专属的问答模型，满足咨询用户对于企业的咨询服务要求，在此过程中，通过预设置几个常见的问题和答案来辅助快速回复咨询用户的咨询问题，减少企业问答模型的使用频率以此来降低搭载问答模型的服务器的负载，目前企业预设置的问题仅仅是针对很常见的问题，且出于减少冗余数据的考虑其数量通常不会太多，但是针对初次或者使用问答服务不多的咨询用户，其咨询的问题往往具有相似性，仅靠预设置问题无法满足其需求，且当存在与预设置的问题不相符的咨询问题，还是需要借助企业的问答模型去给予咨询用户最佳的回复答案，这使得企业的问答服务不合理；

为了解决上述问题，本发明提出了一种解决方案。

发明内容

针对现有技术的不足，本发明提供了基于知识库的问答处理系统，解决了背景技术中所提出的问题。

本发明的目的可以通过以下技术方案实现：

于知识库的问答处理系统，包括：

咨询端模块，用于咨询用户向企业进行问题咨询；

问答端模块，用于企业向咨询用户提供问答服务，所述问答端模块包括问答服务单元和预置服务单元，所述问答服务单元中存储有已经训练好的企业问答模型；

数据分析模块，对咨询用户的咨询问题和回复答案进行分析，生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集；

问答服务单元，针对咨询用户第一、第二、...、第P5次登录时键入的咨询问题和企业问答模型对应输出的回复答案从其内提取出第一、第二、...、第P5次登录时的拆分特征，所述拆分特征包括词向量特征、句法和语义特征、关键词和实体特征、问题类型特征；

基于其从企业问答模型中提取出包含拆分特征权重参数，构建企业第一、第二、...、第P5次登录的微调问答小模型，并将第一、第二、...、第P5次登录的预置答案训练集作为对应次登录的小型问答知识库，所述P5为预设数值。

进一步的，数据分析模块，分析生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集，具体如下：

S11：首先选定登录次数至少为P1次，且每次登录咨询的问题至少为P2个的咨询用户为待预置用户，所述P1和P2分别为预设值；

S12：获取一个待预置用户在第一次登录时键入的所有咨询问题，并依次标记为A1、A2、...、Aa，a≥P2；

S13：针对所有待预置用户在第一次登录时键入的所有咨询问题，分别计算咨询问题A1与所有待预置用户在第一次登录时键入的所有咨询问题的相似度，并从中提取出与咨询问题A1的相似度至少在P3的所有咨询问题，所述P3为预设相似度阈值；

依据咨询问题A1和与咨询问题A1的相似度至少在P3的所有咨询问题构建该待预置用户基于第一次登录的一个咨询问题集；一个所述咨询问题集中的咨询问题至少为P4，所述P4为预设咨询问题数量阈值，获取咨询问题集中每一个咨询问题对应回复答案涉及的文本数据并依据其构筑该咨询问题集的答案文本集；

S14：依次计算咨询问题A1、A2、...、Aa与所有待预置用户在第一次登录时键入的所有咨询问题的相似度并依据其按照S121到S122获取该预置用户基于第一次登录的所有咨询问题集和答案文本集；

S15：按照S11到S14，依次计算获取所有待预置用户基于第一次登录的所有咨询问题集和答案文本集，将所有待预置用户基于第一次登录的所有咨询问题集中的咨询问题汇总成一个集合，将该集合标定为第一次登录的预置问题训练集，将所有待预置用户基于第一次登录的所有答案文本集中的文本数据汇总成一个集合，将该集合标定为第一次登录的预置答案训练集；

S16：按照S11到S152依次生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集。

本发明的有益效果：

本发明通过设置基础数据单元从企业内外部各类数据源中采集相关文本数据构建问答知识库，数据分析模块对咨询用户往期的咨询问题和回复答案进行分析获取大数据下咨询用户基于第一次、第二次、...、第P5次的预置问题训练集和预置答案训练集，由预置服务单元针对第一次、第二次、...、第P5次预置问题训练集中的咨询问题提取拆分特征来将企业问答模型拆分成对应的若干个小模型，并由其对应的预置问题训练集和预置答案训练集对拆分出的小模型进行训练得到第一次、第二次、...、第P5次微调问答小模型和其对应的小型问答知识库，预置服务单元对于使用问答服务次数少的咨询用户优先使用特定的微调问答小模型对其进行回复，通过这种方式，一方面摆脱了传统的预设几种问题的回复答案不全面的问题，另一方面针对初次或者使用问答服务次数不多的咨询用户基于其咨询问题的相似性优先使用训练的微调模型对其进行回复，提高了其回复答案的精准度和回溯速率，针对适应咨询次较多的咨询用户才通过问答模型对其进行回复，有效的降低了企业搭载问答模型的服务器的负载，减少了咨询端模块和问答端模块之间的网络流量。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明的系统框图；

图2是本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，基于知识库的问答处理系统，包括问答端模块、咨询端模块和数据分析模块；

所述问答端模块用于企业向已授权允许咨询的咨询用户提供问答服务，所述问答端模块包括基础数据单元、问答服务单元和预置服务单元；

所述基础数据单元包括问答知识库，所述基础数据单元从企业内外部各类数据源中采集相关文本数据并基于其构建问答知识库，所述基础数据单元采集的相关文本数据包括企业内部数据、企业外部数据、内部专家知识数据和外部专家知识数据，所述企业内部数据包括企业内部的各类文档、报告、手册、规章和项目文档，所述企业外部数据包括公开的行业报告、标准、法规、专利和期刊论文，所述内部专家知识数据包括员工经验、技能、专业知识以及他们在日常工作中产生的各类文本和报告，所述外部专家知识数据包括通过与合作伙伴、顾问、供应商或第三方机构的沟通和合作获取的专业知识和信息；

所述问答服务单元中存储有已经训练好的企业问答模型，所述企业问答模型用于对咨询用户的咨询问题进行语义分析提取关键词并基于其在问答知识库中检索与该咨询用户的咨询问题相关的信息并对应生成多个答案，对生成的多个答案进行评分，选定评分最高的答案生成符合该咨询用户针对该咨询问题的回复答案；

所述咨询端模块，用于咨询用户向企业进行问题咨询，所述咨询端模块包括若干个咨询单元，一个咨询单元对应一个咨询用户，一个所述咨询单元包括其用于登录咨询的登录设备，在本实施例中，所述咨询用户的登录设备包括手机和电脑，优选为电脑；

所述咨询单元获取当前预咨询用户键入的登录账号和登录密码后将其传输到预置服务单元；

所述预置服务单元中存储有企业所有已授权允许咨询的咨询用户的账号名称、账号密码和登录次数，所述登录次数指代的是咨询用户成功登录的次数，当咨询用户退出登录时，会将其对应的登录次数自加1；

所述预置服务单元接收到咨询单元传输的当前预咨询用户键入的登录账号和登录密码后将其和预置服务单元中存储的企业所有已授权允许咨询的咨询用户的账号名称、账号密码进行一致性匹配，匹配成功后则生成登录成功指令并获取与当前预咨询用户登录账号和登录密码相匹配的咨询用户的登录次数C1；

若C1≤P5，则依据登录次数C1获取第C1次登录的微调问答小模型和其对应的小型问答知识库，依据其和登录成功指令一起传输到对应咨询单元；

所述咨询单元接收到预置服务单元传输的登录成功指令、第C1次登录的微调问答小模型和其对应的小型问答知识库后首先对第C1次登录的微调问答小模型和其对应的小型问答知识库进行存储；

然后所述咨询单元获取当前预咨询用户本次登录键入的咨询问题，将该咨询问题优先输入到第C1次登录的微调问答小模型中，由第C1次登录的微调问答小模型对该咨询问题进行分析并在其对应的小型问答知识库中进行检索返回与该咨询问题相关的多个答案，对返回的与该咨询问题相关的多个答案进行评分并判定，若D1>P6，则将D1对应的与该咨询问题相关的答案作为该咨询问题的回复答案回复给当前预咨询用户进行查看，反之，则将该咨询问题传输到问答服务单元，由问答服务单元将该咨询问题输入到企业问答模型中进行分析返回与该咨询问题相关的多个答案并对其进行评分，选定分数最高的那个答案作为该咨询问题的回复答案传输到咨询单元，由咨询单元将其回复给当前预咨询用户进行查看，所述P6为预设分数阈值，所述D1指代的是由第C1次登录的微调问答小模型对与该咨询问题相关的一个答案的评分；

若C1>P5，则将登录成功指令分别传输到对应咨询单元和问答服务单元，所述问答服务单元接收到预置服务单元传输的登录成功指令后向当前预登录用户开启问答服务，所述问答服务指代的是接收到其咨询问题并反馈该咨询问题的回复答案；

所述咨询单元接收到预置服务单元传输的登录成功指令后，获取当前预咨询用户本次登录键入的咨询问题并将其传输到问答服务单元，由问答服务单元将该咨询问题输入到企业问答模型中进行分析返回与该咨询问题相关的多个答案并对其进行评分，选定分数最高的那个答案作为该咨询问题的回复答案传输到咨询单元，由咨询单元将其回复给当前预咨询用户进行查看；

在本发明的一个实施例中，当C1=1+P5时，所述咨询单元将第一、二、...、P5次登录的微调问答小模型进行融合生成微调问答阈值模型并对其进行存储，此后从1+P5开始，所述咨询单元获取到当前预咨询用户的咨询问题后优先将其输入到微调问答阈值模型中由其对当前预咨询用户的咨询问题进行分析返回与该咨询问题相关的多个答案并对其进行评分，若存在某个答案的分数大于P6，则将该答案作为该咨询问题的回复答案回复给当前预咨询用户进行查看，反之，则将该咨询问题传输到问答服务单元，由问答服务单元将该咨询问题输入到企业问答模型中进行分析返回与该咨询问题相关的多个答案并对其进行评分，选定分数最高的那个答案作为该咨询问题的回复答案传输到咨询单元，由咨询单元将其回复给当前预咨询用户进行查看；

所述数据分析模块，用于周期性对咨询用户的问答数据进行分析，具体分析步骤如下：

S11：首先选定登录次数至少为P1次，且每次登录咨询的问题至少为P2个的咨询用户为待预置用户，所述P1和P2分别为预设值；

S12：获取一个待预置用户在第一次登录时键入的所有咨询问题，并依次标记为A1、A2、...、Aa，a≥P2；

S13：针对所有待预置用户在第一次登录时键入的所有咨询问题，分别计算咨询问题A1与所有待预置用户在第一次登录时键入的所有咨询问题的相似度，并从中提取出与咨询问题A1的相似度至少在P3的所有咨询问题，所述P3为预设相似度阈值；

依据咨询问题A1和与咨询问题A1的相似度至少在P3的所有咨询问题构建该待预置用户基于第一次登录的一个咨询问题集；在本实施例中，一个所述咨询问题集中的咨询问题至少为P4，所述P4为预设咨询问题数量阈值；

获取咨询问题集中每一个咨询问题对应回复答案涉及的文本数据并依据其构筑该咨询问题集的答案文本集；

S14：依次计算咨询问题A1、A2、...、Aa与所有待预置用户在第一次登录时键入的所有咨询问题的相似度并依据其按照S121到S122获取该预置用户基于第一次登录的所有咨询问题集和答案文本集；

S15：按照S11到S14，依次计算获取所有待预置用户基于第一次登录的所有咨询问题集和答案文本集；

将所有待预置用户基于第一次登录的所有咨询问题集中的咨询问题汇总成一个集合，将该集合标定为第一次登录的预置问题训练集；

将所有待预置用户基于第一次登录的所有答案文本集中的文本数据汇总成一个集合，将该集合标定为第一次登录的预置答案训练集；

S16：按照S11到S152依次生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集，并将其传输到问答服务单元，所述P5为预设数值；

所述问答服务单元接收到数据分析模块传输的第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集后按照一定的拆分训练规则生成企业多个微调问答小模型并构建其对应的小型问答知识库，具体如下：

S21：从接收到的第一次登录的预置问题训练集中包含的所有咨询问题中提取出第一次登录的拆分特征，所述拆分特征包括词向量特征、句法和语义特征、关键词和实体特征、问题类型特征，所述问题类型特征是基于咨询问题的表达方式和目标，判断出的咨询问题属于何种类型，包括描述类、比较类、选择类；

S22：根据第一次登录的拆分特征从已经训练好的企业问答模型中提取出包含拆分特征权重参数，并依据其构建出一个小模型；

S23：将第一次登录的预置训练集和预置答案训练集中包含的所有咨询问题和文本数据作为该小模型的训练数据输入到该小模型中进行训练，将训练好后的该小模型标记为第一次登录的微调问答小模型，将第一次登录预置问题训练集的答案文本集作为第一次登录微调问答小模型对应的小型问答知识库；

S24：依次从接收到的第一、第二、...、第P5次登录的预置问题训练集中提取出第一、第二、...、第P5次登录的拆分特征，按照S21到S23构建出第一、第二、...、第P5次登录的微调问答小模型和其对应小型问答知识库并将其传输到预置服务单元，由预置服务单元对其进行更新存储；

在说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (9)

1.基于知识库的问答处理系统，其特征在于，包括：

咨询端模块，用于咨询用户向企业进行问题咨询；

问答端模块，用于企业向咨询用户提供问答服务，所述问答端模块包括问答服务单元和预置服务单元，所述问答服务单元中存储有已经训练好的企业问答模型；

数据分析模块，对咨询用户的咨询问题和回复答案进行分析，生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集；

问答服务单元，针对咨询用户第一、第二、...、第P5次登录时键入的咨询问题和企业问答模型对应输出的回复答案从其内提取出第一、第二、...、第P5次登录时的拆分特征，所述拆分特征包括词向量特征、句法和语义特征、关键词和实体特征、问题类型特征；

基于其从企业问答模型中提取出包含拆分特征权重参数，构建企业第一、第二、...、第P5次登录的微调问答小模型，并将第一、第二、...、第P5次登录的预置答案训练集作为对应次登录的小型问答知识库，所述P5为预设数值。

2.根据权利要求1所述的基于知识库的问答处理系统，其特征在于，所述问答端模块还包括基础数据单元，所述基础数据单元从企业内外部各类数据源中采集相关文本数据并基于其构建问答知识库，所述基础数据单元采集的相关文本数据包括企业内部数据、企业外部数据、内部专家知识数据和外部专家知识数据。

3.根据权利要求1所述的基于知识库的问答处理系统，其特征在于，咨询端模块包括若干个咨询单元，一个咨询单元对应一个咨询用户，咨询单元，用于对当前预咨询用户键入的登录账号和登录密码进行采集。

4.根据权利要求3所述的基于知识库的问答处理系统，其特征在于，所述预置服务单元中存储有所有咨询用户的账号名称、账号密码、登录次数、企业第一、第二、...、第P5次登录的微调问答小模型和其对应的小型问答知识库；

预置服务单元在咨询单元传输的当前预咨询用户键入的登录账号和登录密码认证成功后，优先对其登录次数C1进行大小判定：

若C1≤P5，则依据登录次数C1获取第C1次登录的微调问答小模型和其对应的小型问答知识库，将其和登录成功指令一起传输到咨询单元，由咨询单元对其进行存储；

反之，则只将登录成功指令传输到咨询单元。

5.根据权利要求4所述的基于知识库的问答处理系统，其特征在于，咨询单元接收到传输的登录成功指令、第C1次登录的微调问答小模型和其对应的小型问答知识库后，获取当前预咨询用户本次登录键入的咨询问题，将其优先输入到第C1次登录的微调问答小模型中，由第C1次登录的微调问答小模型对该咨询问题进行分析并在其对应的小型问答知识库中进行检索返回与该咨询问题相关的多个答案，对返回的与该咨询问题相关的多个答案进行评分并判定；

若D1>P6，则将D1对应的与该咨询问题相关的答案作为该咨询问题的回复答案回复给当前预咨询用户进行查看，反之，则将该咨询问题传输到问答服务单元，由问答服务单元将该咨询问题输入到企业问答模型，所述P6为预设分数阈值，所述D1指代的是由第C1次登录的微调问答小模型对与该咨询问题相关的一个答案的评分。

6.根据权利要求4所述的基于知识库的问答处理系统，其特征在于，咨询单元只接收到登录成功指令后，获取当前预咨询用户本次登录键入的咨询问题将其传输到问答服务单元，由问答服务单元将该咨询问题输入到企业问答模型中进行分析返回与该咨询问题相关的多个答案并对其进行评分，选定分数最高的那个答案作为该咨询问题的回复答案传输到咨询单元，由咨询单元将其回复给当前预咨询用户进行查看。

7.根据权利要求1所述的基于知识库的问答处理系统，其特征在于，数据分析模块，分析生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集，具体如下：

S11：首先选定登录次数至少为P1次，且每次登录咨询的问题至少为P2个的咨询用户为待预置用户，所述P1和P2分别为预设值；

S12：获取一个待预置用户在第一次登录时键入的所有咨询问题，并依次标记为A1、A2、...、Aa，a≥P2；

S13：针对所有待预置用户在第一次登录时键入的所有咨询问题，分别计算咨询问题A1与所有待预置用户在第一次登录时键入的所有咨询问题的相似度，并从中提取出与咨询问题A1的相似度至少在P3的所有咨询问题，所述P3为预设相似度阈值；

依据咨询问题A1和与咨询问题A1的相似度至少在P3的所有咨询问题构建该待预置用户基于第一次登录的一个咨询问题集；一个所述咨询问题集中的咨询问题至少为P4，所述P4为预设咨询问题数量阈值，获取咨询问题集中每一个咨询问题对应回复答案涉及的文本数据并依据其构筑该咨询问题集的答案文本集；

S14：依次计算咨询问题A1、A2、...、Aa与所有待预置用户在第一次登录时键入的所有咨询问题的相似度并依据其按照S121到S122获取该预置用户基于第一次登录的所有咨询问题集和答案文本集；

S15：按照S11到S14，依次计算获取所有待预置用户基于第一次登录的所有咨询问题集和答案文本集，将所有待预置用户基于第一次登录的所有咨询问题集中的咨询问题汇总成一个集合，将该集合标定为第一次登录的预置问题训练集，将所有待预置用户基于第一次登录的所有答案文本集中的文本数据汇总成一个集合，将该集合标定为第一次登录的预置答案训练集；

S16：按照S11到S152依次生成第一、第二、...、第P5次登录的预置问题训练集和预置答案训练集。

8.根据权利要求1所述的基于知识库的问答处理系统，其特征在于，所述企业问答模型用于对咨询用户的咨询问题进行语义分析提取关键词并基于其在问答知识库中检索与该咨询用户的咨询问题相关的信息并对应生成多个答案，对生成的多个答案进行评分，选定评分最高的答案生成符合该咨询用户针对该咨询问题的回复答案。

9.根据权利要求1所述的基于知识库的问答处理系统，其特征在于，所述问答服务单元拆分训练生成企业第一、第二、...、第P5次登录的微调问答小模型和其对应小型问答知识库，具体如下：

S21：从接收到的第一次登录的预置问题训练集中包含的所有咨询问题中提取出第一次登录的拆分特征；

S22：根据第一次登录的拆分特征从已经训练好的企业问答模型中提取出包含拆分特征权重参数，并依据其构建出一个小模型；

S23：将第一次登录的预置训练集和预置答案训练集中包含的所有咨询问题和文本数据作为该小模型的训练数据输入到该小模型中进行训练，将训练好后的该小模型标记为第一次登录的微调问答小模型，将第一次登录预置问题训练集的答案文本集作为第一次登录微调问答小模型对应的小型问答知识库；

S24：依次从接收到的第一、第二、...、第P5次登录的预置问题训练集中提取出第一、第二、...、第P5次登录的拆分特征，按照S21到S23构建出第一、第二、...、第P5次登录的微调问答小模型和其对应小型问答知识库。