CN113239154B - 坐席话术的质检方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种坐席话术的质检方法，应用于数据处理领域，通过获取实时坐席数据，并对实时坐席数据进行语义识别，根据得到的语义信息，将实时坐席数据转化为坐席日常数据和关键词数据；通过文本检索引擎，对每个坐席日常数据进行分类，获得坐席分类结果，并将所有坐席分类结果作为第一环节数据；通过关键词引擎，对每个关键词数据进行分类，获得关键词分类结果，并将所有关键词分类结果作为第二环节数据；基于预设时间段，获取第一环节数据和第二环节数据；对第一环节数据和第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；根据分类结果，确定当前坐席外呼是否合规。

Description

坐席话术的质检方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种坐席话术的质检方法、装置、计算机设备及存储介质。

背景技术

保险公司的坐席外呼需要受到很多监管，其中比较重要的一个是是否提及所有需要告知客户的点。为此，需要采取一定的方法识别出坐席外呼过程中是否告知客户所有需要告知的点。

现有方式是采用正则表达式的方法判断坐席话术中是否含有必须的关键词，但是这个方法往往缺乏一定的泛化能力，表现为精度低，而且在需要监管的必须关键词较多时，也即，需要采用到多种正则表达式时，多种正则表达式之间容易互相冲突，导致检测结果不准确。此外是使用机器学习/深度学习的方法直接进行分类，这个方法的缺点就是很难人工进行干预以定向提高系统表现以及往往会遇到训练语料不足的问题。

因此，现有技术在判断坐席话术环节中存在泛化能力低、难以定向提高系统表现的问题。

发明内容

本发明实施例提供一种坐席话术的质检方法、装置、计算机设备和存储介质，以提高判断坐席话术环节的泛化能力，定向提高系统表现力。

为了解决上述技术问题，本申请实施例提供一种坐席话术的质检方法，包括：

获取实时坐席数据，并对所述实时坐席数据进行语义识别，根据得到的语义信息，将所述实时坐席数据转化为坐席日常数据和关键词数据；

通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据，其中，所述坐席分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

通过所述质检模型的关键词引擎，对每个所述关键词数据进行分类，获得关键词分类结果，并将所有所述关键词分类结果作为第二环节数据，其中，所述关键词分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

基于预设时间段，获取所述第一环节数据和所述第二环节数据；

对所述第一环节数据和所述第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；

根据所述分类结果，确定当前坐席外呼是否合规。

为了解决上述技术问题，本申请实施例还提供一种坐席话术的质检装置，包括：

实时数据获取模块，用于获取实时坐席数据，并对所述实时坐席数据进行语义识别，根据得到的语义信息，将所述实时坐席数据转化为坐席日常数据和关键词数据；

文本分类模块，用于通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据，其中，所述坐席分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

关键词分类模块，用于通过所述质检模型的关键词引擎，对每个所述关键词数据进行分类，获得关键词分类结果，并将所有所述关键词分类结果作为第二环节数据，其中，所述关键词分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

数据获取模块，用于基于预设时间段，获取所述第一环节数据和所述第二环节数据；

累加模块，用于对所述第一环节数据和所述第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；

判断模块，用于根据所述分类结果，确定当前坐席外呼是否合规。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述坐席话术的质检方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述坐席话术的质检方法的步骤。

本发明实施例提供的坐席话术的质检方法、装置、计算机设备及存储介质，通过获取实时坐席数据，并对实时坐席数据进行语义识别，根据得到的语义信息，将实时坐席数据转化为坐席日常数据和关键词数据；通过质检模型的文本检索引擎，对每个坐席日常数据进行分类，获得坐席分类结果，并将所有坐席分类结果作为第一环节数据，其中，坐席分类结果包括坐席话术环节以及每个坐席话术环节的数量；通过质检模型的关键词引擎，对每个关键词数据进行分类，获得关键词分类结果，并将所有关键词分类结果作为第二环节数据，其中，关键词分类结果包括坐席话术环节以及每个坐席话术环节的数量；基于预设时间段，获取第一环节数据和第二环节数据；对第一环节数据和第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；根据所述分类结果，确定当前坐席外呼是否合规。通过质检模型的文本检索引擎和关键词引擎，融合多种算法对实时坐席数据进行分析，提高判断坐席话术环节的精度以及泛化能力，同时能够根据判断结果定向提高系统表现力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的坐席话术的质检方法的一个实施例的流程图；

图3是根据本申请的坐席话术的质检装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的坐席话术的质检方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种坐席话术的质检方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤S101至S106：

S101、获取实时坐席数据，并对实时坐席数据进行语义识别，根据得到的语义信息，将实时坐席数据转化为坐席日常数据和关键词数据。

在步骤S101中，上述实时坐席数据是指坐席在电话销售或者访问等过程中与客户对话的坐席数据，该实时坐席数据具体可以是一时间点到当前时间的集合数据。

应理解，本实施例中的坐席数据为语音数据，语音数据具有一定的连贯性，在进行采集的过程中，为确保语义完整性，通常是采集一段时间后，再进行语义识别，例如，当前时间为17:10:06，采集到的实时坐席数据为17:06:06。

优选地，为确保语义采集的完整性，每个实时坐席数据存在部分重叠数据，例如，上一实时坐席数据为17:06:06至17:10:06采集到的数据，本次实时坐席数据为17:9:36至17:13:36采集到的数据。

需要说明的是，本实施例采用上述方式进行实时数据采集，可避免采集过程中出现的断句，导致语义的不完整或者识别的不准确，有助于提高语义识别准确率。

上述语义识别的方法包括但不限于循环神经网络、深度学习、词向量法。其中，词向量法是指嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术。

上述坐席日常数据是指在坐席对话中出现的语句，例如：您好吗”，“您有做过体检吗”等语句为坐席日常数据。

上述关键词数据是指不同坐席话术环节里面出现的高频词汇。例如，健康告知环节中经常出现的“肿瘤”、“疾病”等医学相关词汇。

该步骤通过获取坐席日常数据和关键词数据，保证了数据来源的多样性，可靠性，提高了系统的泛化能力，避免了训练语料不足的问题。

S102、通过质检模型的文本检索引擎，对每个坐席日常数据进行分类，获得坐席分类结果，并将所有坐席分类结果作为第一环节数据，其中，坐席分类结果包括坐席话术环节以及每个坐席话术环节的数量。

在步骤S102中，上述文本检索引擎是指用来对坐席日常数据进行语义分析、检索、分类的引擎。

上述坐席话术环节是至指根据业务需要预先设置的环节。例如，坐席话术环节包括产品介绍环节,健康告知环节,登记资料环节,确认办理环节,服务提示环节。

通过质检模型的文本检索引擎，来判断坐席日常数据所处的坐席话术环节，可提高判断坐席话术环节的泛化能力和精度。

在步骤S102中，该文本检索引擎为基于bert句向量的文本检索引擎，其具体包括步骤A至D：

A、基于bert句向量的文本检索引擎，对坐席日常数据进行特征提取，获得坐席话术向量；

B、计算坐席话术向量与预设句向量的余弦距离；

C、根据余弦距离从小到大的顺序，选取N个坐席话术环节；

D、根据N个坐席话术环节，获取坐席分类结果，并将所有坐席分类结果作为第一环节数据。

对于上述步骤A，上述bert句向量是用来训练语句、提高文本检索准确度的模型。上述坐席话术向量是指坐席日常数据对应特征的向量。

对于上述步骤B，上述预设句向量是指质检系统中对预设话术过程的训练向量。

通过计算坐席话术向量与预设句向量的余弦距离，来判断坐席话术向量跟预设句向量的相似度。

对于上述步骤D，上述坐席分类结果包括分类后的坐席话术环节，以及坐席话术环节出现的次数。

通过bert句向量文本检索引擎，获取坐席日常数据特征并计算余弦距离，计算坐席日常数据与预设句向量的相似度，来返回相似度最接近的坐席话术环节，实现了对坐席日常数据的坐席话术环节的判断，提高了判断坐席话术环节的泛化能力以及精度。

S103、通过质检模型的关键词引擎，对每个关键词数据进行分类，获得关键词分类结果，并将所有关键词分类结果作为第二环节数据，其中，关键词分类结果包括坐席话术环节以及每个坐席话术环节的数量。

在步骤S103中，上述关键词引擎是指用来对关键词数据进行语义分析、检索、分类的引擎。

上述关键词数据是指每个坐席话术环节中出现的高频词汇，如，关键词“肿瘤”等医学词汇，可分类为健康告知环节和咨询环节，当出现“肿瘤”等医学词汇时，则将该关键词所在的语句分类为健康告知环节和咨询环节，并将健康告知环节和咨询环节作为该关键词所在语句对应的第二环节数据。

上述坐席话术环节是至指根据业务需要预先设置的环节。例如，坐席话术环节包括产品介绍环节,健康告知环节,登记资料环节,确认办理环节,服务提示环节。

通过质检模型的关键词引擎，来判断关键词数据所处的坐席话术环节，可提高判断坐席话术环节的泛化能力和精度。

S104、基于预设时间段，获取第一环节数据和第二环节数据。

在上述步骤S104中，其具体是，根据需要，获取预设时间段的第一环节数据和第二环节数据，对该预设时间段的第一环节数据和第二环节数据进行分析，可以实现对某个时间段坐席外呼的监控，监控该时间段坐席外呼是否有按照预设话术进行操作。

S105、对第一环节数据和第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果。

对于上述步骤S105，其具体是

将第一环节数据和第二环节数据中同一个坐席话术环节出现的次数进行相加；

根据相加得到的结果，获得累加结果最多的坐席话术环节；

将该坐席话术环节作为分类结果。

下面以一具体实施例，对上述步骤S105进行说明，以保险坐席外呼为例，坐席话术环节包括产品介绍环节,健康告知环节,登记资料环节,确认办理环节,服务提示环节，获取到的该时间段的坐席日常数据为“您是否有做过体检”、“您体检有哪些异常项目”、“体检显示是否患有肝脏相关的疾病”，关键词数据为“体检”、“异常”、“肝脏”、“疾病”。

将“您是否做过体检”分类为健康告知环节，登记资料环节；“您体检有哪些异常项目”分类为健康告知环节、登记资料环节，“体检显示是否患有肝脏相关的疾病”分类为健康告知环节，其中，健康告知环节出现3次、登记资料环节出现1次，则将健康告知环节以及3次，登记资料环节以及1次作为坐席日常数据对应的第一环节数据。

将“体检”分类为健康告知环节，“异常”分类为健康告知环节、登记资料环节、服务提示环节，“肝脏”分类为健康告知环节，“疾病”分类为健康告知环节，其中，健康告知环节出现4次，则将健康告知环节以及4次、登记资料环节以及1次，服务提示环节以及1次作为关键词数据对应的第二环节数据。

将第一环节数据和第二环节数据同一个坐席话术环节出现的次数进行相加，即健康告知环节：3+4＝7，登记资料环节：1+1＝2，服务提示环节0+1＝1。

将次数最多的7对应的健康告知环节作为分类结果，即，该时间段“您是否有做过体检”、“您体检有哪些异常项目”、“体检显示是否患有肝脏相关的疾病”对应的环节为健康告知环节。

S106、根据分类结果，确定当前坐席外呼是否合规。

在步骤S106中，其具体是：

若分类结果处于的环节，与预设的坐席话术环节一直，则当前坐席外呼合规。

若分类结果长期处于同一环节，或者超过预设的环节时间，则认为当前坐席外呼不合规。

对于上述步骤S105至S106，通过两个环节数据的不同数量结果进行累计，在根据累计的结果确定分类结果，实现了分类结果的确定，提高了系统分类的准确性。

具体的，训练该质检模型的步骤包括S201至S207：

S201、获取标注有坐席话术环节的坐席标注数据和关键词清单，其中，标注的坐席话术环节为坐席标注数据和关键词清单对应的真实结果。

S202、将坐席标注数据和关键词清单输入质检模型。

S203、根据坐席标注数据，训练质检模型中的文本检索引擎，获得坐席分类结果，并将坐席分类结果对应的坐席话术环节数量作为文本票数。

S204、根据关键词清单，训练质检模型中的关键词引擎，获得关键词分类结果，并将关键词分类结果对应的坐席话术环节数量作为关键词票数。

S205、若坐席分类结果与关键词分类结果一致，则坐席分类结果为预测结果。

S206、若坐席分类结果与关键词分类结果不一致，则基于随机森林，选择坐席分类结果与关键词分类结果其中一个作为预测结果。

S207、根据预测结果与真实结果的损失值，对质检系统进行参数调整。

对于上述步骤S201，上述坐席标注数据获取的方法包括但不限于数据爬取，数据挖掘、数据清洗。可通过人工监督，确保不会混淆必须的语句。

上述关键词清单的获取方法包括但不限于数据爬取，数据挖掘、数据清洗、专家准备。可通过人工监督，确保不会混淆必须的语句。

对于上述步骤S203，其具体是：

基于bert句向量的文本检索引擎，对坐席标注数据进行特征提取，获得坐席话术向量；

计算坐席话术向量与预设句向量的余弦距离；根据余弦距离从小到大的顺序，选取相似度最小的N个坐席话术环节；

根据N个坐席话术环节，获得坐席分类结果，并将坐席分类结果对应的坐席话术环节数量作为文本票数。

通过坐席标注数据训练bert句向量文本检索引擎，计算坐席标注数据的余弦距离，返回相似度最小的环节，实现了对质检模型的文本检索引擎的训练，使得提高了判断坐席话术的泛化能力以及精度。

对于上述步骤S204，其具体是：根据关键词清单，训练关键词引擎；基于关键词引擎，对关键词清单中的关键词进行话术环节匹配，获得关键词分类结果。

通过训练关键词引擎，使得质检模型对关键词数据具有稳定的识别能力，可定向提高系统表现能力。

对于上述步骤S207，上述损失值的计算方法包括但不限于交叉熵损失函数、最大值损失函数。

通过标注有坐席话术环节的坐席标注数据和关键词清单，保证了数据来源的多样性、可靠性，并通过训练质检模型的文本检索引擎和关键词引擎，提高了系统的泛化能力，有效提高了系统分类的准确性。

本发明实施例提供的坐席话术的质检方法，通过获取实时坐席数据，并对实时坐席数据进行语义识别，根据得到的语义信息，将实时坐席数据转化为坐席日常数据和关键词数据；通过质检模型的文本检索引擎，对每个坐席日常数据进行分类，获得坐席分类结果，并将所有坐席分类结果作为第一环节数据；通过质检模型的关键词引擎，对每个关键词数据进行分类，获得关键词分类结果，并将所有关键词分类结果作为第二环节数据；基于预设时间段，获取第一环节数据和第二环节数据；对第一环节数据和第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；根据所述分类结果，确定当前坐席外呼是否合规。通过质检模型的文本检索引擎和关键词引擎，融合语义信息、关键词以及决策树对实时坐席数据进行分析，提高判断坐席话术环节的精度以及泛化能力，同时能够根据判断结果定向提高系统表现力。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3示出与上述实施例坐席话术的质检方法一一对应的坐席话术的质检装置的原理框图。如图3所示，该坐席话术的质检装置包括实时数据获取模块11、文本分类模块12、关键词分类模块13、数据获取模块14、累加模块15和判断模块16。各功能模块详细说明如下：

实时数据获取模块11，用于获取实时坐席数据，并对实时坐席数据进行语义识别，根据得到的语义信息，将实时坐席数据转化为坐席日常数据和关键词数据。

文本分类模块12，用于通过质检模型的文本检索引擎，对每个坐席日常数据进行分类，获得坐席分类结果，并将所有坐席分类结果作为第一环节数据，其中，坐席分类结果包括坐席话术环节以及每个坐席话术环节的数量。

关键词分类模块13，用于通过质检模型的关键词引擎，对每个关键词数据进行分类，获得关键词分类结果，并将所有关键词分类结果作为第二环节数据，其中，关键词分类结果包括坐席话术环节以及每个坐席话术环节的数量。

数据获取模块14，用于基于预设时间段，获取第一环节数据和第二环节数据。

累加模块15，用于对第一环节数据和第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果。

判断模块16，用于根据分类结果，确定当前坐席外呼是否合规。

其中一个实施例中，文本分类模块12进一步包括：

坐席话术向量获取单元，用于基于bert句向量的文本检索引擎，对坐席日常数据进行特征提取，获得坐席话术向量。

距离计算单元，用于计算坐席话术向量与预设句向量的余弦距离。

话术选取单元，用于根据余弦距离从小到大的顺序，选取N个坐席话术环节。

第一环节数据获取单元，用于根据N个坐席话术环节，获取坐席分类结果，并将所有坐席分类结果作为第一环节数据。

在其中一个实施例中，坐席话术的质检装置进一步包括：

标注数据获取模块，用于获取标注有坐席话术环节的坐席标注数据和关键词清单，其中，标注的坐席话术环节为坐席标注数据和关键词清单对应的真实结果。

输入模块，用于将坐席标注数据和关键词清单输入质检模型。

文本检索引擎训练模块，用于根据坐席标注数据，训练质检模型中的文本检索引擎，获得坐席分类结果，并将坐席分类结果对应的坐席话术环节数量作为文本票数。

关键词引擎训练模块，用于根据关键词清单，训练质检模型中的关键词引擎，获得关键词分类结果，并将关键词分类结果对应的坐席话术环节数量作为关键词票数。

第一结果模块，用于若坐席分类结果与关键词分类结果一致，则坐席分类结果为预测结果。

第二结果模块，用于若坐席分类结果与关键词分类结果不一致，则基于随机森林，选择坐席分类结果与关键词分类结果其中一个作为预测结果。

参数调整模块，用于根据预测结果与真实结果的损失值，对质检模型进行参数调整。

在其中一个实施例中，关键词引擎训练模块进一步包括：

训练单元，用于根据关键词清单，训练关键词引擎。

匹配单元，用于基于关键词引擎，对关键词清单中的关键词进行话术环节匹配，获得关键词分类结果。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于坐席话术的质检装置的具体限定可以参见上文中对于坐席话术的质检方法的限定，在此不再赘述。上述坐席话术的质检装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储坐席话术的质检方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种坐席话术的质检方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中坐席话术的质检方法的步骤，例如图2所示的步骤S101至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中坐席话术的质检装置的各模块/单元的功能，例如图3所示模块11至模块16的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中坐席话术的质检方法的步骤，例如图2所示的步骤S101至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中坐席话术的质检装置的各模块/单元的功能，例如图3所示模块11至模块16的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种坐席话术的质检方法，其特征在于，所述方法包括：

获取实时坐席数据，并对所述实时坐席数据进行语义识别，根据得到的语义信息，将所述实时坐席数据转化为坐席日常数据和关键词数据；

通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据，其中，所述坐席分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

通过所述质检模型的关键词引擎，对每个所述关键词数据进行分类，获得关键词分类结果，并将所有所述关键词分类结果作为第二环节数据，其中，所述关键词分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

基于预设时间段，获取所述第一环节数据和所述第二环节数据；

对所述第一环节数据和所述第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；

根据所述分类结果，确定当前坐席外呼是否合规；

所述通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据之前，包括：

获取标注有坐席话术环节的坐席标注数据和关键词清单，其中，所述标注的坐席话术环节为所述坐席标注数据和所述关键词清单对应的真实结果；

将所述坐席标注数据和关键词清单输入质检模型；

根据所述坐席标注数据，训练所述质检模型中的文本检索引擎，获得坐席分类结果，并将所述坐席分类结果对应的坐席话术环节数量作为文本票数；

根据所述关键词清单，训练所述质检模型中的关键词引擎，获得关键词分类结果，并将所述关键词分类结果对应的坐席话术环节数量作为关键词票数；

若所述坐席分类结果与所述关键词分类结果一致，则所述坐席分类结果为预测结果；

若所述坐席分类结果与所述关键词分类结果不一致，则基于随机森林，选择所述坐席分类结果与所述关键词分类结果其中一个作为预测结果；

根据所述预测结果与所述真实结果的损失值，对所述质检模型进行参数调整。

2.如权利要求1所述的坐席话术的质检方法，其特征在于，所述文本检索引擎为基于bert句向量的文本检索引擎。

3.如权利要求2所述的坐席话术的质检方法，其特征在于，所述通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据的步骤包括：

基于bert句向量的文本检索引擎，对所述坐席日常数据进行特征提取，获得坐席话术向量；

计算所述坐席话术向量与预设句向量的余弦距离；

根据所述余弦距离从小到大的顺序，选取N个坐席话术环节；

根据所述N个坐席话术环节，获取坐席分类结果，并将所有所述坐席分类结果作为第一环节数据。

4.如权利要求1所述的方法，其特征在于，所述根据所述关键词清单，训练所述质检模型中的关键词引擎，获得关键词分类结果的步骤包括：

根据关键词清单，训练关键词引擎；

基于所述关键词引擎，对所述关键词清单中的关键词进行话术环节匹配，获得关键词分类结果。

5.一种坐席话术的质检装置，其特征在于，所述坐席话术的质检装置包括：

实时数据获取模块，用于获取实时坐席数据，并对所述实时坐席数据进行语义识别，根据得到的语义信息，将所述实时坐席数据转化为坐席日常数据和关键词数据；

文本分类模块，用于通过质检模型的文本检索引擎，对每个所述坐席日常数据进行分类，获得坐席分类结果，并将所有所述坐席分类结果作为第一环节数据，其中，所述坐席分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

关键词分类模块，用于通过所述质检模型的关键词引擎，对每个所述关键词数据进行分类，获得关键词分类结果，并将所有所述关键词分类结果作为第二环节数据，其中，所述关键词分类结果包括坐席话术环节以及每个所述坐席话术环节的数量；

数据获取模块，用于基于预设时间段，获取所述第一环节数据和所述第二环节数据；

累加模块，用于对所述第一环节数据和所述第二环节数据中相同的坐席话术环节进行累加计算，并将累加结果最多的坐席话术环节作为分类结果；

判断模块，用于根据所述分类结果，确定当前坐席外呼是否合规；

所述装置还包括：

标注数据获取模块，用于获取标注有坐席话术环节的坐席标注数据和关键词清单，其中，所述标注的坐席话术环节为所述坐席标注数据和所述关键词清单对应的真实结果；

输入模块，用于将所述坐席标注数据和关键词清单输入质检模型；

文本检索引擎训练模块，用于根据所述坐席标注数据，训练所述质检模型中的文本检索引擎，获得坐席分类结果，并将所述坐席分类结果对应的坐席话术环节数量作为文本票数；

关键词引擎训练模块，用于根据所述关键词清单，训练所述质检模型中的关键词引擎，获得关键词分类结果，并将所述关键词分类结果对应的坐席话术环节数量作为关键词票数；

第一结果模块，用于若所述坐席分类结果与所述关键词分类结果一致，则所述坐席分类结果为预测结果；

第二结果模块，用于若所述坐席分类结果与所述关键词分类结果不一致，则基于随机森林，选择所述坐席分类结果与所述关键词分类结果其中一个作为预测结果；

参数调整模块，用于根据所述预测结果与所述真实结果的损失值，对所述质检模型进行参数调整。

6.如权利要求5所述的坐席话术的质检装置，其特征在于，所述文本分类模块包括：

坐席话术向量获取单元，用于基于bert句向量的文本检索引擎，对所述坐席日常数据进行特征提取，获得坐席话术向量；

距离计算单元，用于计算所述坐席话术向量与预设句向量的余弦距离；

话术选取单元，用于根据所述余弦距离从小到大的顺序，选取N个坐席话术环节；

第一环节数据获取单元，用于根据所述N个坐席话术环节，获取坐席分类结果，并将所有所述坐席分类结果作为第一环节数据。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的坐席话术的质检方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的坐席话术的质检方法。