CN113468296A

CN113468296A - 可配置业务逻辑的模型自迭代式智能客服质检系统与方法

Info

Publication number: CN113468296A
Application number: CN202111026325.3A
Authority: CN
Inventors: 孙跃刚
Original assignee: Hangzhou Real Intelligence Technology Co ltd
Current assignee: Hangzhou Real Intelligence Technology Co ltd
Priority date: 2021-09-02
Filing date: 2021-09-02
Publication date: 2021-10-01
Anticipated expiration: 2041-09-02
Also published as: CN113468296B

Abstract

本发明公开了一种可配置业务逻辑的模型自迭代式智能客服质检系统与方法，由RPA数据采集模块、数据预处理模块、预测服务模块、规则匹配模块、业务逻辑模块、申诉复核模块、模型自训练模块等七个部分组成，通过模型和规则设定，对全部服务过程进行自动化检测；实时对结构化和非结构化内容进行解析，模型实时输出质检结果；该系统可预设各种服务预警模型，在服务过程中对服务者进行提醒对管理者进行预警；该系统配有可视化数据展示和分析，及时了解质检问题分布，以及问题发展趋势。

Description

可配置业务逻辑的模型自迭代式智能客服质检系统与方法

技术领域

本发明涉及人工智能技术领域，特别涉及一种可配置业务逻辑的模型自迭代式智能客服质检系统与方法。

背景技术

客户服务（以下简称“客服”）对一个企业的运营和发展至关重要，客服质检能帮助企业检测服务质量，查找服务问题，进而更好地培训技能，提升客服人员的服务水平。随着企业的发展与扩大，传统人工质检无法应对与日俱增的业务数据，且传统质检方式的弊端也越来越明显，例如人工审核无法形成严格统一的机制，导致质检准确率因人而异。

一般来说，传统的人工客服质检系统都会存在以下四个痛点：一是客观性，人为的考核和评分无法做到完全的客观无误；二是规范性，由于人工质检会比较强地依赖质检员自身的主观判断，故很难就质检本身进行规范化、标准化；三是全面性，很难做到对每一个客服人员的每一通电话进行考核；四是实时性，管理人员很难在第一时间察觉问题并及时介入，这会使企业错失同消费者进行健康沟通的最佳时机，严重影响了客服整体服务质量。

近年来科技的发展带动质检技术从人工逐渐向智能技术靠拢，第二代质检产品主要以规则匹配为主，通过关键词匹配判断是否合规，相较于人工质检，大大提高了质检效率，有一套完整的规则规范，可以做到全面质检、实时质检，但是规则匹配法无法进行有效的语义理解，常常造成误检漏检，因此准确率较低。

随着机器学习等技术不断发展，智能质检（Intelligent Speech Analysis）目前通常使用自然语言处理方法和预定义规则，分析呼叫中心场景下客服人员与客户的对话，实现全量、实时的客服质量检查，降低质检成本，提高客服质量，提升客户满意度。

基于深度学习的自然语言处理技术日益成熟，自然语言处理技术能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。基于BERT的预训练模型可以捕获真正意义上的双向上下文语义，从而完成标签分类、意图识别、机器翻译等任务。在线客服可以直接通过语义训练完成质检，热线客服则需要多一道语音转换流程。

由于自然语言处理和语音转换技术在实际过程中与实际语义有出入，因此除算法模型外往往还会预定义一套规则匹配，配合算法模型以达到预期准确率。

配置完成的智能质检模型能够对所有服务过程产生的数据进行全量的智能分析，摆脱质检员数量、个体主观差异的限制，针对全量的服务数据进行自动化质检，全面挖掘服务数据的价值，能够实现热线电话一挂断，立刻触发语音转换并进行质检；会话一切断，即实时生成质检结果，通过灵活的规则配置、业务逻辑配置，覆盖多个复杂的业务场景。成本低，覆盖全，质检结果响应及时，大大提升了企业的服务水平。

智能质检可以有效避免人工质检的痛点，但由于算法模型训练与实际语义总是会存在差异，新的问题随之产生，具体包含以下问题：

1、质检系统与客服系统数据对接复杂度高；

2、单点质检无法解决复杂逻辑的业务；

3、质检算法准确率比较固化，一旦交付，就无法再优化提升；

4、质检任务固化，无法适应新场景新需求，如针对不同的业务需要重新配置质检模型、新增业务场景或者新增质检任务等；

5、深度学习模型训练一般用时较长，GPU使用内存较大。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种可配置业务逻辑的模型自迭代式智能客服质检系统与方法，可根据客户具体业务场景实现自配置、自训练、自更新，质检准确率可伴随使用量不断迭代和提升。

该发明内容涉及人工智能技术领域，虽然公司之间业务各不相同，客服对话方式和话术亦大相径庭，但剥离掉客服质检的业务术语，可以抽象出一系列共同的底层业务逻辑。

除此之外，该系统给予人工复核提供平台，误判的会话会被打上正确分类标签重新进入训练集参与模型训练，由此，一种可配置业务逻辑的模型自迭代式智能客服质检系统落地。

该发明能很好地应对目前智能质检领域存在的问题，先对存在的问题进行展开介绍：

缺点1、质检系统与客服系统数据对接复杂度高

现有客服系统种类繁多，接口定义、安全规范及访问权限等多种多样，新开发的质检系统需要进行数据对接，增加了开发成本且不易实现。

缺点2、单点质检无法解决复杂逻辑的业务

一般来说，一个质检点的告警逻辑往往为缺某标签告警或者有某标签告警，再复杂一点的，对话中的标签有A无B即告警、有A有B即告警等等。但若有更复杂逻辑的业务往往质检准确率不高，可能会受ASR文本转换错误、算法模型误匹配错误等影响。因此如何拆解复杂逻辑业务，使质检模型可覆盖从而提高质检准确率仍是目前智能质检的一个难题。

缺点3、质检算法准确率比较固化，一旦交付，就无法再优化提升

质检系统一般由乙方开发，为甲方部署上线，开发初期很难收集足够量级的训练数据，准确率无法达到较高标准。即便达到交付标准后，就投入使用，该模型准确率即交付时准确率，无法再优化提升。即便具备优化能力，也需要投入较大成本。

缺点4、质检任务固化，无法适应新场景新需求

（1）针对不同的业务需要重新配置质检模型

通常而言，由于行业不同、业务不同，质检模型需要量身定制，如此一来，一个质检项目从起草到模型训练再到优化最终交付往往耗时较久。对于想尽快实现智能质检的需求，项目的短时间落地会面临极大挑战。

（2）新增业务场景，或者新增质检任务等

同一家客服中心，需要质检的任务会随着业务的调整而调整，若每调整一次业务再重新开发一块质检点，则需要长久的耗费人力物力，对当下日新月异的行业现状而言，如何一次性开发质检任务对应长久的使用是一个不小的挑战。

缺点5、深度学习模型训练一般用时较长，GPU使用内存较大

因为使用了海量的数据和大量参数的模型，从而造成对计算资源（GPU）的很高要求。加之该系统的训练数据往往存储量大、且随着时间会越滚越多，一般的BERT模型难以做到轻便，造成非常大的资源耗费。

参照图1所示，整体解决思路流程如下：

一、RPA数据采集，通过RPA机器人接入不同渠道，采集热线语音数据、在线文本数据，应对上述缺点1；

二、数据预处理（处理会话数据），在线对话按照预定义格式输出，热线语音通过ASR转换成文本会话输出，再进行结构化输出；

三、模型预测，会话数据统一进入模型预测服务，给每一句话打上特定标签，采用较BERT更轻便的ALBERT模型，能有效解决BERT因体量庞大而严重耗费资源的问题，应对缺点5；

四、规则匹配，预测结果通过规则匹配进行优化和补充，以提高准确率，发现被模型遗漏的部分标签；

五、业务逻辑告警，即将一通会话的质检，分解为多个质检任务，每个质检任务配置一个业务逻辑，利用配置好的质检任务，对单语句的标签进行逻辑判断，命中逻辑则扣除该质检任务预置的分数，再综合计算该通会话的总体得分。该方法可有效应对缺点4，其中的逻辑配置，可根据用户需求自行配置，快速搭建想要的质检任务，减少建模时间，加速项目落地；

六、申诉复核，质检后的结果会返回客服人员，有异议可申诉至客服行政主管，经审批后可修正，由于模型的可迭代性与可纠正性，复杂业务的准确率也会随着模型不断迭代而逐步上升，该方法能有效应对缺点2；

七、模型自训练，修正结果与无异议结果会回滚入训练集参与模型训练，该方法可有效应对缺点3，随着该模型的不断迭代优化，准确率会稳步提升。

基于以上内容，发明一项可根据各公司实际情况自由配置业务逻辑的客服质检方法有利于提升部署客服质检产品的效率。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种可配置业务逻辑的模型自迭代式智能客服质检系统，包括RPA数据采集模块、数据预处理模块、预测服务模块、业务逻辑模块；

RPA数据采集模块接入数据来源渠道、提取客服会话数据，客服会话数据包含文本会话数据或语音会话数据；

数据预处理模块，包括语音预处理和文本预处理，所述语音预处理能够将语音会话信息转成文本会话信息，并对会话中的每句话附加属性信息，属性信息为会话相关的时间信息，再根据会话内容进行角色识别，识别出会话中每句话所归属的角色；所述文本预处理能够检测数据来源渠道的数据格式与附带的属性信息，最终语音预处理和文本预处理完成的数据转为预定义格式输出结构化会话数据以便于进入模型预测；

预测服务模块，设置有作为模型训练基础的ALBERT中文预训练模型，预训练出用于预测会话中行为或意图的分类模型，经数据预处理模块预处理后的结构化会话数据通过分类模型预测得到分类结果，分类结果为会话中每句话打上对应的标签；

业务逻辑模块，包含逻辑配置、标签识别和逻辑检验模块，逻辑配置模块根据会话质检需求设置告警逻辑以形成质检任务，告警逻辑通过修改角色名和标签名实现，标签识别模块对分类模型预测出的分类结果中对应角色的标签进行识别，逻辑检验模块根据设置的告警逻辑和识别出的对应角色的标签进行逻辑检测，若命中告警逻辑则告警并扣除质检任务预置的分数。

进一步优选为，分类模型包含情绪分类模型、客服意图模型、访客意图模型三类模型，三类模型根据业务场景和质检标准确定所需训练的模型，会话中的每句话经过情绪分类模型、客服意图模型、访客意图模型三类模型预测的输出结果形式为：

“情绪分类标签”：“无/标签值”；

“客服意图标签”：“无/标签值”；

“访客意图标签”：“无/标签值”。

进一步优选为，逻辑配置模块预置有多个底层基础逻辑块和新增逻辑接口，告警逻辑分为单角色识别和双角色识别，单角色识别为该角色无标签或有标签即告警，双角色识别为角色A出现a标签但角色B未出现或出现b标签即告警。

进一步优选为，客服质检系统还包括规则匹配模块，规则匹配模块采用正则匹配，通过将所有标签对应的关键词设为匹配项，对分类模型的分类结果进行二次分类。

进一步优选为，客服质检系统还包括数据统计模块和申诉复核模块，数据统计模块对每个会话的质检结果进行数据统计形成每个客服的总服务数、告警数和会话状态，申诉复核模块用于误触发的告警复核，复核通过的数据反馈至分类模型的算法训练集。

进一步优选为，客服质检系统还包括模型自训练模块，模型自训练模块控制复核通过的数据作为训练数据集回流入分类模型参与之后的训练生成新的模型，新生成的模型与现有模型进行一段并行期，期间每训练一次会重新比较两个模型准确率高低，等准确率较高的模型逐渐稳定后，新的模型会代替现有模型部署上线。

综上所述，本发明对比于现有技术的有益效果为：

1、可以通过组合底层逻辑模块配置适应业务逻辑的复杂质检流程，从而解决依赖单标签质检无法解决复杂逻辑业务的难题。

2、通过开发客服申诉、人工抽检、人工审核机制，质检系统准确率得以提升，能更好地服务于企业；通过人工手动或系统定时汇总智能算法识别错误的数据，回滚入算法训练集参与下一次模型训练，算法模型准确率可以随着使用时长稳步提升，从而解决准确率不高、算法交付就无法再提升的痛点。

3、不同公司的业务、同一公司不同品牌的业务均有不同，以往的项目往往是起一栋高楼重画一张图纸的形式，耗费不少人力物力，且项目周期较长。而本系统将以往看似“因地制宜”实则将简单问题复杂化的局面重新归一。一般来说，复杂的业务逻辑均可通过总结归纳出若干底层逻辑，即底层基础逻辑块通过修改、叠加可以实现复杂逻辑流程，从而解决质检任务固化，无法适应新场景新需求的痛点。

4、ALBERT模型负责主要自然语言语义分类训练，能扬BERT精华、弃其糟粕，尽可能减少训练过程中的资源消耗，从而解决当前BERT模型体量过大的缺点。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为发明内容中整体解决思路框架示意图；

图2为实施例中标准样例数据示意图；

图3为实施例中预测服务模块与规则匹配模块的总体流程图；

图4为实施例中业务逻辑检测框架图；

图5为实施例中抽检流程图；

图6为实施例中模型自训练模块的流程图；

图7为实施例中表1的示意图；

图8为实施例中表2的示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。说明书中的“实施例”或“实施方式”既可表示一个实施例或一种实施方式，也可表示一些实施例或一些实施方式的情况。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种可配置业务逻辑的模型自迭代式智能客服质检系统与方法。

需要说明的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面对与本发明相关的现有技术进行介绍，以便相关人员更好地理解本方案。

1、自动语音识别技术（Automatic Speech Recognition）

自动语音识别技术是一种将人的语音转换为文本的技术。目前，主流的大词汇量语音识别系统多采用统计模式识别技术；

2、基于ALBERT的预训练模型

（1）BERT简介

BERT是2018年10月由Google AI研究院提出的一种预训练模型，全称是Bidirectional Encoder Representation from Transformers。BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，成为自然语言处理发展史上的里程碑式的模型成就。BERT的优缺点也很明显优点：其优点是拥有强大的语言表征能力和特征提取能力，在11项NLP基准测试任务中达到了state of the art，同时再次证明了双向语言模型的能力更加强大；另一方面，其缺点是可复现性差，基本只能拿来主义，直接应用于亟需处理的问题，并且训练过程中因为每个batch_size中的数据只有15%参与预测，模型收敛较慢，需要强大的算力支撑。

（2）ALBERT

介于BERT过于庞大的缺陷，Google后续公布了ALBERT，即A Lite BERT，轻量级BERT，相较于BERT，它改进了因模型参数过多引起的复杂冗繁问题，缩小了整体的参数量，加快了训练速度，增加了模型效果，因此本项发明的训练模型为基于ALBERT的中文分类模型。

3、基于RPA的数据采集

RPA（Robotic Process Automation，机器人流程自动化）技术是一种流程自动化技术，通过RPA软件提供的流程编辑器，可以设计和配置出能够自动执行的业务操作流程，并封装成“软件机器人”或“虚拟机器人”的形态，部署到生产环境和业务系统上执行，模拟人在计算机上的一系列操作，例如鼠标移动、鼠标点击、键盘输入、打开网页、获取页面信息、创建文件、输入文件内容、保存文件、删除文件等等，基于上述原子化的操作，实现跨系统的数据集成、汇总和分析，从而替代企业中普遍存在的大量简单、繁琐、重复的工作，还能够在不进行大规模系统改造的情况下，解决不同部门、不同系统间的数据隔离和业务隔离现象，进一步提高流程处理效率、提高业务操作准确性、降低流程处理成本，最终满足企业的降本增效和业务转型的诉求。

一种可配置业务逻辑的模型自迭代式智能客服质检系统，包括有RPA数据采集模块、数据预处理模块、预测服务模块、规则匹配模块、业务逻辑模块、申诉复核模块、模型自训练模块等七个部分。

上述七个部分中，主要包括以下模块：

“情绪分类标签”：“无/标签值”；

“客服意图标签”：“无/标签值”；

“访客意图标签”：“无/标签值”。

根据上述描述内容，对七个模块进行具体展开并配备举例说明。

一、RPA数据采集模块

客服会话数据分在线文本会话数据和热线语音会话数据，RPA数据采集模块采用RPA机器人技术实现，用RPA机器人接入数据来源渠道、提取客服会话语音数据或文本数据。

值得说明的是，通过事先的设计和配置，可以实现自动业务操作流程，将其封装后即可进入智能质检客服系统进行使用，此部分内容只是示例性延伸，且现有技术均可实现，故不做过多介绍。

二、数据预处理模块

RPA数据采集模块将会话数据输入质检系统后，首先进入数据预处理模块，因为会话数据可能为在线文本会话数据或热线语音会话数据，故针对两种数据形式均设置了对应的预处理策略。

对于语音会话数据的预处理，主要按以下几个步骤进行：

步骤11，语音会话信息转成文本会话信息，利用语音识别技术将录音数据转换为文字，并对每句话附加相关的属性信息（如本句的开始时间、结束时间等）；

步骤12，纠正错别字，利用中文自然语言处理构建错别字纠错模型，纠正语音转文本时发生的误识别；

步骤13，角色识别，将纠正的文字对话，根据每句对话内容，识别所归属的角色是客服还是访客，对于角色识别的技术在现有技术中比较成熟，且不是本申请内容的核心内容，故在此不进行展开；

步骤14，数据结构化，转为预定义格式输出，以便于进入模型预测。

预设传入的会话数据需要具备以下字段：

访客姓名、访客ID、客服账号、客服昵称等，以上字段用于质检对话还原，确定告警客服及其上属主管；

来源渠道、所属任务、所属业务分支，以上字段用于区分质检任务，根据业务分支来确定套用哪套质检规则模型；

会话内容字段，这是质检扣分对象；

响应时长、会话开始时间、会话结束时间、会话结束类型，此类字段有助于质检客服语速等条目；

对话类型（在线/热线）、录音地址，此类字段可以精准定位热线会话，方便听取录音。

对于文本数据的预处理，主要按以下几个步骤进行：

步骤21，检测来源渠道的数据格式以及附带的属性信息；

步骤22，按照语音数据预处理中步骤14进行数据结构化处理，其中不包含录音地址字段。

三、预测服务模块

经预处理后的会话数据主要通过此模块进行算法预测，为每个句子打上标签。通俗地讲，通过算法模型打标签可以确定说这句话的角色有哪些进行中的行为和意图。

在此实施例中，以情绪分类模型、客服意图模型、访客意图模型三个模型为例，具体按以下步骤实现：

步骤31，梳理业务，确定所需模型；根据业务场景和质检标准，来确定要训练的模型，以及相应的数据标签分类方式；

例如某客服场景下，可确定情绪分类模型（其包含的标签如投诉举报，抱怨不满，表扬赞美，暴力辱骂等）、客服意图模型（其包含的标签例如开始语、结束语、安抚情绪、解答业务等）、访客意图模型（其包含的标签例如退货退款，取消订单、咨询商品、请求帮助等）等，具体的标签定义，需客户根据业务情况来明确；

步骤32，收集数据和人工标注；以“情绪分类模型”为例，收集历史会话数据，根据已确定的标签名称，对每句话进行人工标注，每个模型标注数据量总计1万份以上，标注样例数据如图2所示，每句话都有一个标签名称；

步骤33，训练分类模型；仍以“情绪分类模型”为例，对1万份标注数据以8：2进行分割，分别作为训练集、测试集，以最新的ALBERT中文预训练模型为基础，对8000份标注数据进行模型训练，用2000份数据进行测试，准确率达到95%以上为达标，同理可得客服意图模型和访客意图模型；

步骤34，部署预测服务，构建模型服务运行环境，输入为单个中文句子，输出为该句话的标签识别结果。

例如：输入“我要取消订单，投诉你们店铺”的语句；

输出的格式为：

“情绪分类标签”：“投诉举报”；

“客服意图标签”：“无”；

“访客意图标签”：“取消订单”。

四、规则匹配模块

该模块是对预测服务模块的一个优化补充方案，主要通过正则多项式匹配的方式，来识别单个句子标签，以提高算法准确率。

与预测服务模块的差别在于，预测服务是利用深度学习算法来实现的，对于语义相似的句子可以近似识别，如“投诉店铺”和“投诉你店铺”这种意思相近的，都可以识别为“投诉举报”这个标签；而规则匹配模块，则只能按照既定的关键词进行规则匹配，如规则设置为“投诉店铺”，则只有包含这四个字的句子，才能被识别出来，而“投诉你店铺”这样的句子，就不会被识别。

规则匹配模块为正则匹配，用户可根据系统上线初期的试运营数据，查找误识别、漏识别的句子和标签，来增加、修改、调整该标签对应的关键词。

预测服务模块与规则匹配模块总体流程如图3所示，经过本流程模块输出的会话数据，每一句都有了三个分类标签属性，如：“情绪分类标签”：“投诉举报”；“客服意图标签”：“无”；“访客意图标签”：“取消订单”。

五、业务逻辑模块

业务逻辑模块预置了5个底层基础逻辑块（即图4中的逻辑1--逻辑5），生成管理员想要质检的任务，如图4所示，底层逻辑块主要分为单角色识别与双角色识别，单角色识别例如：该角色无标签即告警或有标签即告警；双角色识别主要有以下两种：角色A出现a标签但角色B未出现b标签即告警，角色A出现a标签且角色B出现b标签即告警。

一般的业务逻辑都可以根据给定的底层逻辑块进行修改角色名、标签名来实现，具有一定复杂程度的逻辑，用户可以手动新增逻辑（即图4中的逻辑6）来实现。

例如几个常见质检任务：开始语、结束语识别可以归类为第一种逻辑即单角色识别（无标签即告警）。算法模型训练大量的开始语、结束语，在规则中也加入常见的开始语、结束语关键词，经分类后，输入的会话若为开始语、结束语，则有该标签，进入该业务逻辑检测，若无该标签即告警。

当会话所带标签命中告警逻辑后，质检系统会发出告警，并给予相应的扣分。

此外，系统会对每通会话的质检结果进行数据统计，即设置数据统计模块，管理员在相关页面看到每个客服的总服务数、告警数和会话状态。会话状态可根据需求分级分类，按紧急程度从重到轻显示。告警的会话会被添加至告警列表，主管可以对告警列表中的会话做以下操作：复核扣分详情、综合评分修改、增加备注说明、设置问题标签、处理过程记录日志等功能。以上操作可合并至后续申诉流程。

六、申诉复核模块

考虑到在使用初期由于算法模型可能未达到十分理想的准确率，发生误触发的告警会话可以通过客服本人申诉进行主管复核，复核通过的会话会撤掉原本错误告警栏或者更新告警栏（若主管在复核过程中发现了其他未被告警错误）并反馈数据至分类模型的算法训练集；同时，人工抽检流程也一并打开，把控质检质量。

参照图5所示，质检系统包含人工抽检复核和系统质检问题工单两种，人工抽检设置抽检任务进行筛选过滤，经过复核处理、问题工单发布至坐席，统一形成复核后问题工单，此时就需要选择是否发起申诉，是否申诉一般会设置期限，如图中的3天为期限，3天内需要发起申诉才能进行申诉复核，最终根据实际情况判断是否有误需要撤回。

七、模型自训练模块

该模块同业务逻辑模块协同使用，如图6所示申诉后经复审处理的数据会作为训练数据集（图6中的回流数据）回流入算法模型参与之后的训练，新生成的模型经测试后会与现有模型进行准确率比对，而准确率较低的模型并不会即时删除。

新生成的模型与现有模型会有一段并行期，每训练一次会重新比较两个模型准确率高低，等准确率较高的模型逐渐稳定后，新模型会代替旧模型部署上线。模型自训练模块的启用有定时、手动两种，在系统部署前，需求方可向实施员要求该模型的自训练是否需要客服团队管理员手动启用。

本申请的质检系统可用于政企公司等线上数字化客服平台，假设某公司有四种客户服务渠道，四个对外产品品牌，客服团队有多级设置，其中一线客服P人，客服主管Q人，每人下属M位一线客服，主要负责他们的质检申诉初审，除此之外还设有N席位的QA专员，专员负责部分疑难质检的判定即申诉复审。QA主管可以看全部的质检数据，提出改进建议，帮助提升团队服务质量。

本申请人还提供一种可配置业务逻辑的模型自迭代式智能客服质检方法，现已一个实际的操作流程进行介绍，方案如下：

RPA数据采集，设品牌对外露出的渠道有官网、小程序、公众号、APP等，意味着需要把RPA机器人接入对应数据终端以便获取会话数据。不同的品牌有不同的业务，创建与之相对应的客服组可以做到业务－客服组一一对应从而区分品牌、业务种类，每个客服在当前场景下只承担一项业务的咨询。

同时，每个客服主管下辖多个一线客服，因此客服与主管间也是多对一的关系，厘清业务结构有助于项目的严谨。

数据预处理，利用RPA机器人进行会话拾取，经ASR转换的数据连同在线会话数据一起进入统一格式处理，进入算法模型预测的会话数据需带有相应的字段：例如会话开始时间、会话结束时间、客服姓名、客服ID、顾客ID、客服首次响应时间、来源渠道、业务名称、品牌名称、会话类型（文本或语音）等。

ALBERT模型预测与规则匹配，经过模型预测和规则匹配后输出的会话数据会附带分类标签，该会话进入业务逻辑模块，当标签符合告警逻辑时，即告警该会话，并依据事先裁定给该客服扣分。输出的告警结果会添加至告警列表，客服可以根据实际情况选择是否申诉，客服主管进行处理后首页会有数据统计，展示总体的质检情况。

业务逻辑配置，系统预置了一些业务逻辑模板（底层基础逻辑块），可直接选择使用，对于额外的业务需求或场景可直接设置、增加，如图7的表1所示，无需开发。

业务逻辑配置由乙方产品与甲方拟定需质检的条目，如客服情绪类的质检项目，辱骂情绪、投诉情绪以上两种可通过表1中的基础逻辑块2配置，即只检客服一个角色的发言，当出现某事先预警的标签时命中告警模型，以前者为例，当客服检出有消极推诿类情绪标签时，会话告警，服务类的质检项目客服多次拒绝话术、重复同一话术（以上两种可通过表1中的基础逻辑块3配置，以前者为例，即只检客服一个角色的发言，当出现N次以上拒绝话术标签时，命中质检模型，会触发警），规范类的质检项目开始语缺失、结束语缺失（以上两种可通过表1中的基础逻辑块2配置，同上）等等。

申诉复核与模型自训练，根据企业实际需求，初定的产品规则会有所调整。具体角色的实际权限范围如图8的表 2所示，由于客服团队的多级设置，对于申诉的复检也进行初审、复审的二重检查；审查后的会话数据会更新至算法模型训练集进行自训练，以提升模型分类的准确率。

本发明的技术关键点汇总如下：

1、采用最新的RPA技术，作为全新数据采集方式，有效解决系统兼容问题，避免各类客服平台与新的系统打通所带来的成本增加，以及在数据采集接口的解析和开发消耗，这是本系统在数据采集上的独特创新。

2、自迭代的算法模型优化方法，是促使AI落地的最好方法，解决了客户对算法准确率要求动态提升、对新业务模型更替的需求，一次投入即可终身受益，这是智能客服领域首次提出并实现的智能算法创新实践。

3、可配置的质检业务逻辑，满足客户质检标准变更、质检逻辑增删改的需求，免除固定逻辑固定标准带来的弊端，这是本智能客服系统在产品设计和客户体验上的独立创新。

4、基于ALBERT训练算法，简化了BERT模型的结构和参数量，使得客户在自训练自迭代的过程中，不必耗费大量的数据和算力，即可实现模型训练和优化，轻便快捷，是智能客服领域的又一创新性应用。

以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims

1.一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，包括RPA数据采集模块、数据预处理模块、预测服务模块、业务逻辑模块；

2.根据权利要求1所述的一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，分类模型包含情绪分类模型、客服意图模型、访客意图模型三类模型，会话中的每句话经过情绪分类模型、客服意图模型、访客意图模型三类模型预测的输出结果形式为：

“情绪分类标签”：“无/标签值”；

“客服意图标签”：“无/标签值”；

“访客意图标签”：“无/标签值”。

3.根据权利要求1所述的一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，逻辑配置模块预置有多个底层基础逻辑块和新增逻辑接口，告警逻辑分为单角色识别和双角色识别，单角色识别为该角色无标签或有标签即告警，双角色识别为角色A出现a标签但角色B未出现或出现b标签即告警。

4.根据权利要求1所述的一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，客服质检系统还包括规则匹配模块，规则匹配模块采用正则匹配，通过将所有标签对应的关键词设为匹配项，对分类模型的分类结果进行二次分类。

5.根据权利要求1所述的一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，客服质检系统还包括数据统计模块和申诉复核模块，数据统计模块对每个会话的质检结果进行数据统计形成每个客服的总服务数、告警数和会话状态，申诉复核模块用于误触发的告警复核，复核通过的数据反馈至分类模型的算法训练集。

6.根据权利要求5所述的一种可配置业务逻辑的模型自迭代式智能客服质检系统，其特征在于，客服质检系统还包括模型自训练模块，模型自训练模块控制复核通过的数据作为训练数据集回流入分类模型参与之后的训练生成新的模型，新生成的模型与现有模型进行一段并行期，期间每训练一次会重新比较两个模型准确率高低，等准确率较高的模型逐渐稳定后，新的模型会代替现有模型部署上线。