CN117391515B - 一种基于通用大语言模型的服务质量管理方法与系统 - Google Patents
一种基于通用大语言模型的服务质量管理方法与系统 Download PDFInfo
- Publication number
- CN117391515B CN117391515B CN202311379186.1A CN202311379186A CN117391515B CN 117391515 B CN117391515 B CN 117391515B CN 202311379186 A CN202311379186 A CN 202311379186A CN 117391515 B CN117391515 B CN 117391515B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- module
- chat
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008909 emotion recognition Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000013518 transcription Methods 0.000 claims description 3
- 230000035897 transcription Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 abstract 2
- 238000013500 data storage Methods 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 5
- 238000003326 Quality management system Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Operations Research (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于电话客服领域，涉及大语言模型技术，用于解决现有技术中的服务质量管理方法与系统，进行项目开发时需要开发的功能点多，开发周期长效率低的问题，具体是一种基于通用大语言模型的服务质量管理方法与系统，包括数据端与执行端，数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块，数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；本发明利用chat大模型的涌现能力，可以改变传统自然语言处理深度学习算法的工作范式，将多个任务进行统一，减少训练所需的标注数据，一个模型就能解决多个问题，在降低标注成本与部署运维成本的同时还能提升效果。
Description
技术领域
本发明属于电话客服领域，涉及大语言模型技术，具体是一种基于通用大语言模型的服务质量管理方法与系统。
背景技术
服务质量管理系统是在智能客服系统的基础上发展而来的技术产物，主要用于在服务过程中对客服人员或者客服系统进行监督和检测，现有技术通过关键字匹配以及基于BERT等语言训练模型实现的意图识别、情感分类、要素提取等功能至少需要训练3个算法模型，且每个模型需要大量单独的标注数据，还要保证数据的标注质量及不同类别之间的配比，这种方式下的标注成本、训练成本、部署成本、运维成本居高不下；另外，针对现有查询及统计分析的场景，针对不同需求都需要开发对应的后端服务来实现业务逻辑、数据库操作以及与前端展示交互的接口，项目需要开发的功能点多，周期长效率低。
针对上述技术问题，本申请提出一种解决方案。
发明内容
本发明的目的在于提供一种基于通用大语言模型的服务质量管理方法与系统，用于解决现有技术中的服务质量管理方法与系统进行项目开发时，项目需要开发的功能点多，开发周期长效率低的问题；
本发明需要解决的技术问题为：如何提供一种可以将细粒度对话要素信息存储在数据库的基于通用大语言模型的服务质量管理方法与系统。
本发明的目的可以通过以下技术方案实现：
一种基于通用大语言模型的服务质量管理系统，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及text2sql模块，所述执行端包括业务逻辑模块与交互模块；
所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；
所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间，将接收的请求缓存组装成对应batch数据进行预测推理；
所述text2sql模块用于根据配置来实现业务逻辑控制以及数据整理；
所述业务逻辑模块用于通过数据库或者文件配置业务逻辑；
所述交互模块用于提供用户交互界面、业务指标监控以及数据看盘，交互模块接收用户的输入并转达至数据端，将数据端的处理结果数据进行可视化展示，并定时统计和监测业务指标。
作为本发明的一种优选实施方式，数据处理模块接收用户与客服之间的对话语音数据流或者文本数据流，并根据业务渠道、业务类型、手机号码、客服账号、通话时长、结束类型信息归档存入数据库。
作为本发明的一种优选实施方式，text2sql模块利用数据库或者文件配置业务表，对chat大模型推理引擎前生成的sql进行规则校验，进一步提高sql的正确率和命中率，对数据库查询结果进行整理。
作为本发明的一种优选实施方式，业务逻辑模块通过数据库或者文件配置业务逻辑的过程包括：代码根据配置逻辑的叠加组合来实现业务的跳转和控制，利用数据库或者文件配置通知渠道、用户、优先级，在业务质检流程触发报警后，根据配置的渠道和优先级，向对应用户发送质检警告通知。
一种基于通用大语言模型的服务质量管理方法，包括以下步骤：
步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；
步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及意图识别、信息提取、工单总结、违规检测以及情绪识别的各类任务全部统一成要素提取任务，并对要素提取任务进行标注；
步骤S3：收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询与统计的需求制造对应业务场景下所建表操作的text2sql数据集；
步骤S4：使用业务要素数据集和text2sql数据集，训练垂直领域的chat大模型；利用步骤S2中统一的要素提取业务数据、步骤S3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat大模型，得到对应垂直领域的chat大模型；
步骤S5：对chat大模型进行https工程化封装得到预测推理模块，上线部署后，通过多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；
步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构组合成一个格式化的句子，通过bert模型生成表向量；
步骤S7：业务逻辑模块根据chat大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询；
步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试三次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户以及优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；
步骤S9：对业务逻辑模块返回的数据进行可视化展示，若用户输入是查询意图，则根据用户要求图表类型进行渲染。
作为本发明的一种优选实施方式，在步骤S7中，若用户意图为闲聊，则直接由chat大模型返回闲聊结果；
若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：
text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；
利用优化后的提示标签调用chat大模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正。
本发明具备下述有益效果：
通过使用prompt提示工程，利用chat大模型的涌现能力，可以改变传统自然语言处理深度学习算法的工作范式，将多个任务进行统一，减少训练所需的标注数据，一个模型就能解决多个问题，在降低标注成本与部署运维成本的同时还能提升效果；
通过利用chat大模型的text2sql能力，可以大大减少后端服务操作数据库的开发工作量，在高精度text2sql技术条件下，可以实现后端服务数据库操作的万能适配器，大大减少后端服务的开发工作量；
不同渠道业务、同一渠道不同品牌的业务均有所不同，以往的质检开发模式需要为每个业务开发定制的功能点，本发明中实现可配置逻辑质检流程，复杂的业务逻辑均可用底层基础逻辑块的叠加组合来实现，扩展了系统的应用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的系统框图；
图2为本发明实施例二中模型部署后针对线上业务要素提取的流程图；
图3为本发明实施例二中text2sql模块的工作流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种基于通用大语言模型的服务质量管理系统，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及text2sql模块，所述执行端包括业务逻辑模块与交互模块。
所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存，系统接收用户与客服之间的对话语音数据流或者文本数据流，并根据业务渠道、业务类型、手机号码、客服账号、通话时长、结束类型等信息归档存入库。
所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间等等，将接收的请求缓存组装成对应batch数据进行预测推理。
所述text2sql模块用于根据配置来实现灵活的业务逻辑控制以及数据整理，比如利用数据库或者文件配置业务表，对chat大模型推理引擎前生成的sql进行规则校验，进一步提高sql的正确率和命中率，对数据库查询结果进行整理。
所述业务逻辑模块用于通过数据库或者文件配置业务逻辑，代码根据配置逻辑的叠加组合来实现业务的跳转和控制，可以实现多标签复杂逻辑流程控制，解决质检任务固化，无法适应新场景新需求的痛点；利用数据库或者文件配置通知渠道、用户、优先级等，在业务质检流程触发报警后，根据配置的渠道和优先级，发送给对应用户的质检警告通知。
所述交互模块用于提供美观便捷的用户交互界面、业务指标监控以及数据看盘，交互模块主要接收用户的输入并转达至后端，将后端的处理结果数据进行可视化展示，定时统计和监测相关业务指标。
实施例2
如图2-3所示，一种基于通用大语言模型的服务质量管理方法，包括以下步骤：
步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；
步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及的意图识别、信息提取、工单总结、违规检测、情绪识别等各类任务全部统一成要素提取任务，并对要素提取任务进行标注；
步骤S3：大量收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询、统计等需求制造一部分该业务场景下针对所建表操作的text2sql数据集；
步骤S4：使用上述标注的业务要素数据集和text2sql数据集，训练垂直领域的chat大模型；为提升chat大模型在本方案业务场景中的效果，利用步骤2中统一的要素提取业务数据、步骤3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat大模型，确保每个训练batch数据集中各垂直任务数据与开放域伪标签数据配比达到平衡，得到该垂直领域的chat大模型；
步骤S5：对chat大模型进行https工程化封装得到预测推理模块，上线部署后，利用多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；
步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构（字段名、中文字段名、中文释义等）组合成一个格式化的句子，通过bert模型生成表向量；
步骤S7：业务逻辑模块根据chat大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询：
若用户意图为闲聊，则直接由chat大模型返回闲聊结果；
若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：
text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；
利用优化后的提示标签调用chat大模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正；
步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试3次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户、优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；
步骤S9：对业务逻辑模块返回的数据进行可视化展示，如果输入是查询意图，则根据用户要求图表类型（柱状图、饼状图、线状图）等进行渲染。
一种基于通用大语言模型的服务质量管理方法与系统，工作时，收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本之后，通过text2sql任务的训练数据集得到多任务大模型，利用chat大模型预测推理模块提取通话中的要素信息得到表向量并与用户意图进行比对。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (2)
1.一种基于通用大语言模型的服务质量管理方法，其特征在于，包括以下步骤：
步骤S1：收集用户与客服之间的人人通话语音信息，通过语音转文字软件对语音信息进行处理得到转写文本；
步骤S2：对人人通话语音转写文本数据进行场景识别和聚类，根据业务需求设计各场景的提示标签，将业务涉及意图识别、信息提取、工单总结、违规检测以及情绪识别的各类任务全部统一成要素提取任务，并对要素提取任务进行标注；
步骤S3：收集开源text2sql任务的训练数据集，结合业务需求和细粒度要素信息创建数据库表，结合业务查询与统计的需求制造对应业务场景下所建表操作的text2sql数据集；
步骤S4：使用业务要素数据集和text2sql数据集，训练垂直领域的chat大模型；利用步骤S2中统一的要素提取业务数据、步骤S3中的text2sql数据以及chat自生成的开放域伪标签数据按比例进行混合作为训练集；采用多任务增强训练优化chat大模型，得到对应垂直领域的chat大模型；
步骤S5：对chat大模型进行https工程化封装得到预测推理模块，上线部署后，通过多任务chat大模型提取通话中的细粒度要素信息，在预测推理模块中配置各任务的提示标签，提取客户与客服通话内容中有价值的要素信息；
步骤S6：利用chat大模型预测推理模块提取通话中的要素信息，插入前述步骤S3中根据业务需要创建的数据库表中，分别将每张数据表的结构组合成一个格式化的句子，通过bert模型生成表向量；
步骤S7：业务逻辑模块根据chat大模型识别理解用户意图，判断用户意图是闲聊还是统计性查询；
步骤S8：业务逻辑模块执行sql数据库操作获取对应结果，若业务逻辑模块在执行sql的时候出现失败，则重复执行步骤S7的过程，重试三次失败后向交互模块发送失败信号，并根据配置的逻辑、渠道、用户以及优先级生成警告数据包，将用户质检警告信号以及警告数据包发送至交互模块；
步骤S9：对业务逻辑模块返回的数据进行可视化展示，若用户输入是查询意图，则根据用户要求图表类型进行渲染。
2.根据权利要求1所述的一种基于通用大语言模型的服务质量管理方法，其特征在于，在步骤S7中，若用户意图为闲聊，则直接由chat大模型返回闲聊结果；
若用户意图是统计性查询，则利用text2sql模块对sql的提示标签进行优化：
text2sql模块在接收用户输入为查询统计意图时通过用户输入信息经过Bert模型生成用户输入向量，将用户输入向量与步骤S6中产生的表向量逐一进行相似度比较，将得分最高的表向量与sql生成的提示标签进行融合得到优化后的提示标签；
利用优化后的提示标签调用chat大模型预测推理模块生成用于操作数据库的sql语句，text2sql对生成的sql语句进行二次校验优化，校验sql中的表名、字段名、数据类型与真实的业务表中对应的结构是否一致，对不一致的sql根据释义或文本相似度进行纠正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379186.1A CN117391515B (zh) | 2023-10-24 | 2023-10-24 | 一种基于通用大语言模型的服务质量管理方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311379186.1A CN117391515B (zh) | 2023-10-24 | 2023-10-24 | 一种基于通用大语言模型的服务质量管理方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117391515A CN117391515A (zh) | 2024-01-12 |
| CN117391515B true CN117391515B (zh) | 2024-06-07 |
Family
ID=89462571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311379186.1A Active CN117391515B (zh) | 2023-10-24 | 2023-10-24 | 一种基于通用大语言模型的服务质量管理方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391515B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118152430B (zh) * | 2024-05-13 | 2024-07-23 | 厦门农芯数字科技有限公司 | 一种基于大语言模型的养殖场数据指标分析方法、装置以及设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658271A (zh) * | 2018-12-19 | 2019-04-19 | 前海企保科技（深圳）有限公司 | 一种基于保险专业场景的智能客服系统及方法 |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112804400A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 客服呼叫语音质检方法、装置、电子设备及存储介质 |
| CN113468296A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 |
| WO2021214599A1 (en) * | 2020-04-23 | 2021-10-28 | International Business Machines Corporation | Artificial-intelligence-driven quality-of-service engine |
| WO2022134591A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳壹账通智能科技有限公司 | 分阶段质检的数据分类方法、装置、设备及存储介质 |
| CN115665325A (zh) * | 2022-09-14 | 2023-01-31 | 中信建投证券股份有限公司 | 一种智能外呼的方法、装置、电子设备及存储介质 |
| CN116600052A (zh) * | 2023-04-13 | 2023-08-15 | 科大国创软件股份有限公司 | 一种基于知识计算的智能客服助理意图识别方法及系统 |
| CN116628163A (zh) * | 2023-05-25 | 2023-08-22 | 中国建设银行股份有限公司 | 客服服务处理方法、装置、设备及存储介质 |
| CN116701606A (zh) * | 2023-07-12 | 2023-09-05 | 浙江吉利控股集团有限公司 | 智能客服的管理方法、系统、设备及介质 |
| CN116738198A (zh) * | 2023-06-30 | 2023-09-12 | 中国工商银行股份有限公司 | 信息识别方法、装置、设备、介质及产品 |
| CN116821290A (zh) * | 2023-05-31 | 2023-09-29 | 中国科学院自动化研究所 | 面向多任务对话的大语言模型训练方法和交互方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11159679B2 (en) * | 2019-02-26 | 2021-10-26 | Cigna Taiwan Life Assurance Co. Ltd. | Automated systems and methods for natural language processing with speaker intention inference |
-
2023
- 2023-10-24 CN CN202311379186.1A patent/CN117391515B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658271A (zh) * | 2018-12-19 | 2019-04-19 | 前海企保科技（深圳）有限公司 | 一种基于保险专业场景的智能客服系统及方法 |
| WO2021214599A1 (en) * | 2020-04-23 | 2021-10-28 | International Business Machines Corporation | Artificial-intelligence-driven quality-of-service engine |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| WO2022134591A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳壹账通智能科技有限公司 | 分阶段质检的数据分类方法、装置、设备及存储介质 |
| CN112804400A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 客服呼叫语音质检方法、装置、电子设备及存储介质 |
| CN113468296A (zh) * | 2021-09-02 | 2021-10-01 | 杭州实在智能科技有限公司 | 可配置业务逻辑的模型自迭代式智能客服质检系统与方法 |
| CN115665325A (zh) * | 2022-09-14 | 2023-01-31 | 中信建投证券股份有限公司 | 一种智能外呼的方法、装置、电子设备及存储介质 |
| CN116600052A (zh) * | 2023-04-13 | 2023-08-15 | 科大国创软件股份有限公司 | 一种基于知识计算的智能客服助理意图识别方法及系统 |
| CN116628163A (zh) * | 2023-05-25 | 2023-08-22 | 中国建设银行股份有限公司 | 客服服务处理方法、装置、设备及存储介质 |
| CN116821290A (zh) * | 2023-05-31 | 2023-09-29 | 中国科学院自动化研究所 | 面向多任务对话的大语言模型训练方法和交互方法 |
| CN116738198A (zh) * | 2023-06-30 | 2023-09-12 | 中国工商银行股份有限公司 | 信息识别方法、装置、设备、介质及产品 |
| CN116701606A (zh) * | 2023-07-12 | 2023-09-05 | 浙江吉利控股集团有限公司 | 智能客服的管理方法、系统、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 融合神经网络与电力领域知识的智能客服对话系统研究;吕诗宁;张毅;胡若云;沈然;江俊军;欧智坚;;浙江电力;20200825(第08期);第77-82页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117391515A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580308B (zh) | 信息审核方法及装置、电子设备、存储介质 | |
| CN111708869B (zh) | 人机对话的处理方法及装置 | |
| CN109740447A (zh) | 基于人工智能的通信方法、设备及可读存储介质 | |
| JP2020521210A (ja) | 情報処理方法及び端末、コンピュータ記憶媒体 | |
| CN111666380A (zh) | 一种智能呼叫方法、装置、设备和介质 | |
| CN110909165A (zh) | 数据处理方法、装置、介质及电子设备 | |
| CN117391515B (zh) | 一种基于通用大语言模型的服务质量管理方法与系统 | |
| CN109697050B (zh) | 一种基于知识图谱面向电商领域的需求描述模型设计方法 | |
| CN111179935B (zh) | 一种语音质检的方法和设备 | |
| US20220358292A1 (en) | Method and apparatus for recognizing entity, electronic device and storage medium | |
| CN112434501B (zh) | 工单智能生成的方法、装置、电子设备及介质 | |
| CN111061837A (zh) | 话题识别方法、装置、设备及介质 | |
| CN110399473B (zh) | 为用户问题确定答案的方法和装置 | |
| CN111966796A (zh) | 问答对提取方法、装置、设备及可读存储介质 | |
| CN111782793A (zh) | 智能客服处理方法和系统及设备 | |
| CN112699645A (zh) | 语料标注方法、装置及设备 | |
| CN117370493A (zh) | 一种基于大语言模型的系统智能交互方法与装置 | |
| CN113051362A (zh) | 数据的查询方法、装置和服务器 | |
| CN111538753A (zh) | 一种基于大数据分析的研判平台 | |
| CN111368540A (zh) | 一种基于语义角色分析的关键词信息抽取方法 | |
| CN113051380A (zh) | 信息生成方法、装置、电子设备和存储介质 | |
| CN112487186A (zh) | 一种人人对话日志分析方法、系统、设备及存储介质 | |
| CN117251547A (zh) | 用户提问应答方法及其装置、设备、介质 | |
| CN118171658A (zh) | 智能机器人的用户意图响应方法、装置、设备及存储介质 | |
| CN110232328A (zh) | 一种征信报告解析方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |