CN117391515A - 一种基于通用大语言模型的服务质量管理方法与系统 - Google Patents

Abstract

本发明属于电话客服领域，涉及大语言模型技术，用于解决现有技术中的服务质量管理方法与系统，进行项目开发时需要开发的功能点多，开发周期长效率低的问题，具体是一种基于通用大语言模型的服务质量管理方法与系统，包括数据端与执行端，数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块，数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；本发明利用chat大模型的涌现能力，可以改变传统自然语言处理深度学习算法的工作范式，将多个任务进行统一，减少训练所需的标注数据，一个模型就能解决多个问题，在降低标注成本与部署运维成本的同时还能提升效果。

Description

一种基于通用大语言模型的服务质量管理方法与系统

技术领域

本发明属于电话客服领域，涉及大语言模型技术，具体是一种基于通用大语言模型的服务质量管理方法与系统。

背景技术

服务质量管理系统是在智能客服系统的基础上发展而来的技术产物，主要用于在服务过程中对客服人员或者客服系统进行监督和检测，现有技术通过关键字匹配以及基于BERT等语言训练模型实现的意图识别、情感分类、要素提取等功能至少需要训练3个算法模型，且每个模型需要大量单独的标注数据，还要保证数据的标注质量及不同类别之间的配比，这种方式下的标注成本、训练成本、部署成本、运维成本居高不下；另外，针对现有查询及统计分析的场景，针对不同需求都需要开发对应的后端服务来实现业务逻辑、数据库操作以及与前端展示交互的接口，项目需要开发的功能点多，周期长效率低。

针对上述技术问题，本申请提出一种解决方案。

发明内容

本发明的目的在于提供一种基于通用大语言模型的服务质量管理方法与系统，用于解决现有技术中的服务质量管理方法与系统进行项目开发时，项目需要开发的功能点多，开发周期长效率低的问题；

本发明需要解决的技术问题为：如何提供一种可以将细粒度对话要素信息存储在数据库的基于通用大语言模型的服务质量管理方法与系统。

本发明的目的可以通过以下技术方案实现：

一种基于通用大语言模型的服务质量管理系统，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块；

所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；

所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间，将接收的请求缓存组装成对应batch数据进行预测推理；

所述text2sql模块用于根据配置来实现业务逻辑控制以及数据整理；

所述业务逻辑模块用于通过数据库或者文件配置业务逻辑；

所述交互模块用于提供用户交互界面、业务指标监控以及数据看盘，交互模块接收用户的输入并转达至数据端，将数据端的处理结果数据进行可视化展示，并定时统计和监测业务指标。

作为本发明的一种优选实施方式，数据处理模块接收用户与客服之间的对话语音数据流或者文本数据流，并根据业务渠道、业务类型、手机号码、客服账号、通话时长、结束类型信息归档存入数据库。

作为本发明的一种优选实施方式，text2sql模块利用数据库或者文件配置业务表，对chat大模型推理引擎前生成的sql进行规则校验，进一步提高sql的正确率和命中率，对数据库查询结果进行整理。

作为本发明的一种优选实施方式，业务逻辑模块通过数据库或者文件配置业务逻辑的过程包括：代码根据配置逻辑的叠加组合来实现业务的跳转和控制，利用数据库或者文件配置通知渠道、用户、优先级，在业务质检流程触发报警后，根据配置的渠道和优先级，向对应用户发送质检警告通知。

一种基于通用大语言模型的服务质量管理方法，包括以下步骤：

步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；

步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及的意图识别、信息提取、工单总结、违规检测、情绪识别等各类任务全部统一成要素提取任务，并对要素提取任务进行标注；

步骤S3：收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询与统计的需求制造对应业务场景下所建表操作的text2sql数据集；

步骤S4：使用业务要素数据集和text2sql数据集，训练垂直领域的chat多任务大模型；利用步骤S2中统一的要素提取业务数据、步骤S3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat模型，得到对应垂直领域的chat多任务大模型；

步骤S5：对chat模型进行https工程化封装得到预测推理模块，上线部署后，通过多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；

步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构组合成一个格式化的句子，通过bert模型生成表向量；

步骤S7：业务逻辑模块根据chat多任务大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询；

步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试三次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户以及优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；

步骤S9：对业务逻辑模块返回的数据进行可视化展示，若用户输入是查询意图，则根据用户要求图表类型进行渲染。

作为本发明的一种优选实施方式，在步骤S7中，若用户意图为闲聊，则直接由chat大模型返回闲聊结果；

若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：

text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；

利用优化后的提示标签调用chat模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正。

本发明具备下述有益效果：

1、通过使用prompt提示工程，利用chat大模型的涌现能力，可以改变传统自然语言处理深度学习算法的工作范式，将多个任务进行统一，减少训练所需的标注数据，一个模型就能解决多个问题，在降低标注成本与部署运维成本的同时还能提升效果；

2、通过利用chat大模型的text2sql能力，可以大大减少后端服务操作数据库的开发工作量，在高精度text2sql技术条件下，可以实现后端服务数据库操作的万能适配器，大大减少后端服务的开发工作量；

3、不同渠道业务、同一渠道不同品牌的业务均有所不同，以往的质检开发模式需要为每个业务开发定制的功能点，本发明中实现可配置逻辑质检流程，复杂的业务逻辑均可用底层基础逻辑块的叠加组合来实现，扩展了系统的应用范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的系统框图；

图2为本发明实施例二中模型部署后针对线上业务要素提取的流程图；

图3为本发明实施例二中text2sql模块的工作流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

如图1所示，一种基于通用大语言模型的服务质量管理系统，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块。

所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存，系统接收用户与客服之间的对话语音数据流或者文本数据流，并根据业务渠道、业务类型、手机号码、客服账号、通话时长、结束类型等信息归档存入库。

所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间等等，将接收的请求缓存组装成对应batch数据进行预测推理。

所述text2sql模块用于根据配置来实现灵活的业务逻辑控制以及数据整理，比如利用数据库或者文件配置业务表，对chat大模型推理引擎前生成的sql进行规则校验，进一步提高sql的正确率和命中率，对数据库查询结果进行整理。

所述业务逻辑模块用于通过数据库或者文件配置业务逻辑，代码根据配置逻辑的叠加组合来实现业务的跳转和控制，可以实现多标签复杂逻辑流程控制，解决质检任务固化，无法适应新场景新需求的痛点；利用数据库或者文件配置通知渠道、用户、优先级等，在业务质检流程触发报警后，根据配置的渠道和优先级，发送给对应用户的质检警告通知。

所述交互模块用于提供美观便捷的用户交互界面、业务指标监控以及数据看盘，交互模块主要接收用户的输入并转达至后端，将后端的处理结果数据进行可视化展示，定时统计和监测相关业务指标。

实施例二

如图2-3所示，一种基于通用大语言模型的服务质量管理方法，包括以下步骤：

步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；

步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及的意图识别、信息提取、工单总结、违规检测、情绪识别等各类任务全部统一成要素提取任务，并对要素提取任务进行标注；

步骤S3：大量收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询、统计等需求制造一部分该业务场景下针对所建表操作的text2sql数据集；

步骤S4：使用上述标注的业务要素数据集和text2sql数据集，训练垂直领域的chat多任务大模型；为提升chat大模型在本方案业务场景中的效果，利用步骤2中统一的要素提取业务数据、步骤3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat模型，确保每个训练batch数据集中各垂直任务数据与开放域伪标签数据配比达到平衡，得到该垂直领域的chat多任务大模型；

步骤S5：对chat模型进行https工程化封装得到预测推理模块，上线部署后，利用多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；

步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构(字段名、中文字段名、中文释义等)组合成一个格式化的句子，通过bert模型生成表向量；

步骤S7：业务逻辑模块根据chat多任务大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询：

若用户意图为闲聊，则直接由chat大模型返回闲聊结果；

若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：

text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；

利用优化后的提示标签调用chat模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正；

步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试3次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户、优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；

步骤S9：对业务逻辑模块返回的数据进行可视化展示，如果输入是查询意图，则根据用户要求图表类型(柱状图、饼状图、线状图)等进行渲染。

一种基于通用大语言模型的服务质量管理方法与系统，工作时，收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本之后，通过text2sql任务的训练数据集得到多任务大模型，利用chat大模型预测推理模块提取通话中的要素信息得到表向量并与用户意图进行比对。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于通用大语言模型的服务质量管理系统，其特征在于，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块；

所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；

所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间，将接收的请求缓存组装成对应batch数据进行预测推理；

所述text2sql模块用于根据配置来实现业务逻辑控制以及数据整理；

所述业务逻辑模块用于通过数据库或者文件配置业务逻辑；

所述交互模块用于提供用户交互界面、业务指标监控以及数据看盘，交互模块接收用户的输入并转达至数据端，将数据端的处理结果数据进行可视化展示，并定时统计和监测业务指标。

2.根据权利要求1所述的一种基于通用大语言模型的服务质量管理系统，其特征在于，数据处理模块接收用户与客服之间的对话语音数据流或者文本数据流，并根据业务渠道、业务类型、手机号码、客服账号、通话时长、结束类型信息归档存入数据库。

3.根据权利要求2所述的一种基于通用大语言模型的服务质量管理系统，其特征在于，text2sql模块利用数据库或者文件配置业务表，对chat大模型推理引擎前生成的sql进行规则校验，进一步提高sql的正确率和命中率，对数据库查询结果进行整理。

4.根据权利要求3所述的一种基于通用大语言模型的服务质量管理系统，其特征在于，业务逻辑模块通过数据库或者文件配置业务逻辑的过程包括：代码根据配置逻辑的叠加组合来实现业务的跳转和控制，利用数据库或者文件配置通知渠道、用户、优先级，在业务质检流程触发报警后，根据配置的渠道和优先级，向对应用户发送质检警告通知。

5.一种基于通用大语言模型的服务质量管理方法，其特征在于，包括以下步骤：

步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；

步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及的意图识别、信息提取、工单总结、违规检测、情绪识别等各类任务全部统一成要素提取任务，并对要素提取任务进行标注；

步骤S3：收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询与统计的需求制造对应业务场景下所建表操作的text2sql数据集；

步骤S4：使用业务要素数据集和text2sql数据集，训练垂直领域的chat多任务大模型；利用步骤S2中统一的要素提取业务数据、步骤S3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat模型，得到对应垂直领域的chat多任务大模型；

步骤S5：对chat模型进行https工程化封装得到预测推理模块，上线部署后，通过多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；

步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构组合成一个格式化的句子，通过bert模型生成表向量；

步骤S7：业务逻辑模块根据chat多任务大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询；

步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试三次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户以及优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；

步骤S9：对业务逻辑模块返回的数据进行可视化展示，若用户输入是查询意图，则根据用户要求图表类型进行渲染。

6.根据权利要求5所述的一种基于通用大语言模型的服务质量管理方法，其特征在于，在步骤S7中，若用户意图为闲聊，则直接由chat大模型返回闲聊结果；

若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：

text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；

利用优化后的提示标签调用chat模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正。