CN116071079B - 一种基于客服通话语音的客户满意度预测方法 - Google Patents

Abstract

一种基于客服通话语音的客户满意度预测方法，包括：S1、构建面向95598客服通话语音的语音识别深度学习模型；S2、获取95598客服通话语音资料和对应的客户满意度评价结果；S3、用训练集训练客户满意度预测底层模型；S4、构建预测风险可控的客户满意度预测模型；S5、将待预测的95598客服通话语音输入到客户满意度预测模型，得到客户满意度预测结果。本发明考虑客户在语音交流中存在的语音、语调、情感等信息，保证满意度预测的准确性；能够将预测结果和输入语音的各个部分进行关联，预测结果具备可解释性，能够对客户满意度预测结果在语音层面进行溯源分析；预测结果具备可靠性以及统计意义下的可解释性，适用于客户满意度预测这一风险厌恶型应用场景。

Description

一种基于客服通话语音的客户满意度预测方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于客服通话语音的客户满意度预测方法。

背景技术

在电力企业供电服务过程中，客户服务作为一项重要的经营活动，不仅关系到电力客户的切身利益和电力企业的经营效益，更影响到电力行业的社会责任与企业形象。随着电力体制改革和国家全面深化改革的纵深推进，营造良好的客户体验和客户满意度对电力企业管理水平提出了更大的挑战。95598全国供电服务热线作为重要的国家电网公司客服渠道，具有方便性和快捷性，已成为电力客户提供诉求的优选方式。

客户对95598客服服务是否满意，是国家电网有限公司客户服务中心的重点关注内容。通过预测客户满意度，能够在电话语音服务结束后，提前感知可能存在的不满意风险，及时跟进后续服务，避免客户投诉。

现有的客户满意度预测方法，主要基于95598客服通话结束后形成的工单文件信息构建预测模型，没有充分利用服务过程中产生的第一手语音资料，忽略了客户在语音交流中存在的语音、语调、情感等信息，而这些信息与客户对客服服务是否满意至关重要。此外，现有的预测方法的预测结果缺乏可靠性，无法对预测风险进行有效控制。

因此，为提高客户满意度预测的准确性和可靠性，亟需一种基于基于客服通话语音的客户满意度预测方法，直接通过通话语音预测客户满意度，且预测风险可控，以提升服务质量。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于客服通话语音的客户满意度预测方法，旨在直接通过客服通话语音资料，充分考虑客户在语音交流中存在的语音、语调、情感等信息，实现对客户满意度的精准预测，且预测结果的风险可控。

本发明解决其技术问题是通过以下技术方案实现的：

一种基于客服通话语音的客户满意度预测方法，其特征在于：所述预测方法的步骤为：

S1、构建面向95598客服通话语音的语音识别深度学习模型，所述语音识别深度学习模型包括语音特征提取器、编码器及解码器，所述语音特征提取器用于提取客服通话语音特征，所述编码器用于对所述语音特征进行深层编码并形成客服通话语音隐层表征，所述解码器用于将隐层表征解码成客服通话语音对应的中文文本；

S2、获取95598客服通话语音资料和对应的客户满意度评价结果，以所述95598客服通话语音资料为输入，以所述对应的客户满意度评价结果为输出，构建训练集、校验集及测试集，分别用于训练客户满意度预测底层模型、校准所述客户满意度预测底层模型进而形成预测风险可控的客户满意度预测模型、测试预测风险可控的客户满意度预测模型；

S3、用所述训练集训练客户满意度预测底层模型，所述客户满意度预测底层模型分为语音隐层表征提取器和语音隐层表征分类器，所述语音隐层表征提取器用于提取客服通话语音资料的隐层表征，通过所述面向95598客服通话语音的语音识别深度学习模型作用到客服通话语音资料得到的所述编码器的输出获得；所述语音隐层表征分类器使用深度神经网络实现，所述训练客户满意度预测底层模型即为通过所述训练集训练所述语音隐层表征分类器中的参数；

S4、用所述客户满意度预测底层模型及所述校验集，基于一致性风险控制方法构建预测风险可控的客户满意度预测模型；

S5、将待预测的95598客服通话语音输入到风险可控的客户满意度预测模型，得到客户满意度的预测结果。

而且，所述语音识别深度学习模型使用公开语音数据集进行预训练，并在95598客服通话语音数据上利用迁移学习对学习模型参数进行调整。

而且，所述训练集和校验集中的语音数据隐层表征使用数据增广技术进行数据扩充，以充分训练所述语音隐层表征分类器，所述数据增广技术为：

1）提取95598客服通话语音资料的声学特征，并在声学特征层面对数据进行增广，形成增广的声学特征数据；

2）将所述增广的声学特征数据输入到所述面向95598客服通话语音的语音识别深度学习模型，得到增广的95598客服通话语音资料的隐层表征；

3）以所述增广的95598客服通话语音资料的隐层表征为输入，所述对应的客户满意度评价结果为标签，对数据进行增广。

而且，所述语音隐层表征分类器使用具有注意力机制的Transformer编码器对所述95598客服通话语音资料的隐层表征进行进一步特征提取，所述Transformer编码器的输入端引入类别符号编码向量和位置嵌入向量，用于提高预测效果；将类别符号对应的Transformer编码向量送入单隐层全连接神经网络，并在输出端引入Softmax激活函数，输出各个类别的概率估计值，形成所述客户满意度预测底层模型。

而且，所述Transformer编码器的注意力机制采用点乘注意力和多头注意力，并通过所述类别符号编码向量与所述Transformer编码器输出的各语音的隐层表征的注意力大小，溯源分类结果和语音各部分的关系，增强所述预测风险可控的客户满意度预测模型的可解释性。

而且，所述类别符号编码向量和所述位置嵌入向量采用随机方式进行初始化，并通过训练过程确定最终参数。

而且，将客户满意度预测问题看做配备类别损失的分类问题，分类类别至少包含不满意和满意两个类别，对一类别c，其配备的类别损失记为l _c ，用以度量第i个类别未被正确预测的情况下，预测模型造成的预测损失，预测模型的风险为预测模型在测试阶段预测损失的数学期望，可以通过所述测试集上的预测结果的平均损失进行度量，使用面向配备类别损失的分类问题的一致性风险控制方法，构建所述风险可控的客户满意度预测模型，由所述客户满意度预测底层模型和参数l构建待校准的客户满意度预测模型C _λ ，对于任意一段95598客服通话语音x，C _λ (x)为预测的类别集合，且满足如下单调性：

记x对应的类别为y，则对于预测结果C _λ (x)，其预测损失为L(y,C _λ (x))，记所述校验集为{(x _i ,y _i )},i=1,¼,n，其中n为校验集样本量，则可根据校验集得到待校准的客户满意度预测模型C _λ 在校验集上的风险估计值：

根据一致性风险控制方法，确定最优参数l*如下：

α为根据具体应用场景，人为设定的风险上限，即要求所述客户满意度预测模型预测风险应低于α，预测风险可控；

所述待校准的客户满意度预测模型C _λ 定义如下：

，

其中：f _c (x)为所述客户满意度预测底层模型对语音x属于类别c的概率估计值；

γ _c 为度量类别c重要程度的参数；

所述预测损失L(y,C _λ (x))定义如下：

其中：Ⅱ(•)为指示函数；即若y不在预测结果C _λ (x)当中，损失为l _y ，反之为0，通过该损失度量预测结果不包含真实类别时造成的损失，可以直接设定为预测结果不包含真实类别时造成的经济损失。

本发明的优点和有益效果为：

1、本发明直接以95598客服通话语音资料为模型的输入资料，考虑了客户在语音交流中存在的语音、语调、情感等信息，而这些信息与客户对客服服务是否满意至关重要，能够保证满意度预测的准确性。

2、本发明采用基于注意力机制的Transformer分类器构建客户满意度预测模型，模型通过注意力强度，能够将预测结果和输入语音的各个部分进行关联，使模型得预测结果具备可解释性，能够对客户满意度预测结果在语音层面进行溯源分析。

3、本发明基于一致性风险控制方法得到客户满意度的预测结果，预测结果具备可靠性以及统计意义下的可解释性，适用于客户满意度预测这一风险厌恶型应用场景。

附图说明

图1为本发明基于客服通话语音的客户满意度预测方法流程图；

图2为本发明实施例中基于客服通话语音的客户满意度预测方法建模与检验过程的示意图。

实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

如图1所示，一种基于客服通话语音的客户满意度预测方法，建模与检验过程如图2所示，其创新之处在于：所述方法的步骤为：

S1、收集来自公开语音数据集AISHELL-1的音频数据和对应的文本标注，预训练一个中文语音识别模型。收集95598客服通话的音频数据和对应的文本标注，使用迁移学习技术，对所述预训练的中文语音识别模型参数进行微调，得到面向95598客服通话语音的语音识别深度学习模型。所述面向95598客服通话语音的语音识别深度学习模型包括语音特征提取器、编码器、解码器。所述语音特征提取器用于提取客服通话语音特征，所述编码器用于对所述语音特征进行深层编码，形成客服通话语音的隐层表征，所述解码器用于将所述隐层表征解码成客服通话语音对应的中文文本。

S2、收集95598客服通话的音频数据和对应的客户满意度评价结果，评价结果分为满意和不满意两种类别。将95598客服通话语音资料输入所述语音识别深度学习模型，通过所述编码器的输出得到95598客服通话语音资料的隐层表征资料。以所述隐层表征资料为输入，对应的客户满意度评价结果为标签，构建训练集、校验集和测试集，分别用于训练客户满意度预测底层模型，构建预测风险可控的客户满意度预测模型和测试预测风险可控的客户满意度预测模型。其中，所述训练集和校验集使用数据增广技术进行数据扩充，使用的数据增广技术为：

1）提取95598客服通话语音的声学特征，利用SpecAugment技术在声学特征层面对数据进行增广，形成增广的声学特征数据；

2）将所述增广的声学特征数据输入到所述面向95598客服通话语音的语音识别深度学习模型，得到增广的95598客服通话语音资料的隐层表征；

3）以所述增广的95598客服通话语音资料的隐层表征为输入，所述对应的客户满意度评价结果为标签，对数据集进行增广。

S3、用所述训练集训练一个客户满意度预测底层模型，所述客户满意度预测底层模型使用具有注意力机制的Transformer编码器对所述95598客服通话语音资料的隐层表征进行特征提取。Transformer编码器的注意力机制采用点乘注意力和多头注意力，并通过类别符号编码向量与所述编码器输出的各语音的隐层表征的注意力大小，溯源分类结果和语音的关联关系，增强模型的可解释性。所述Transformer编码器的输入端引入类别符号编码向量和位置嵌入向量，用于提高预测效果。所述类别符号编码向量和位置嵌入向量采用随机方式进行初始化，并通过训练过程确定最终参数。将类别符号对应的Transformer编码向量送入单隐层全连接神经网络，并在输出端引入Softmax激活函数，输出各个类别的概率估计值，形成客户满意度预测底层模型。使用交叉熵损失函数和Adam优化方法对客户满意度预测底层模型进行训练。本实施例中，Adam优化使用的学习率为0.00001，迭代轮数为100。

S4、将客户满意度预测问题看做配备类别损失的分类问题，并根据应用场景设置类别损失。其中分类的类别为满意和不满意两种类别。设输入语音

对应的类别为y，若输入语音对应的是满意类别，记y=0，反之，记y=1。相应地，满意类别的损失记为l ₀，用以度量客户在满意的情况下，客户满意度预测模型未能正确预测客户满意所造成的损失；不满意类别的损失记为l ₁，用以度量客户在不满意的情况下，客户满意度预测模型未能正确预测客户不满意所造成的损失。本实施例中，设l ₀=0.01，l ₁=100，可以理解为模型未正确预测客户满意带来的经济损失为0.01万元，而未正确预测客户不满意带来的经济损失为100万元。

S5、为保障客户满意度预测模型的预测风险可控，基于所述客户满意度预测底层模型和所述校验集，使用面向配备类别损失的分类问题的一致性风险控制方法，构建预测风险可控的客户满意度预测模型。具体地，由所述客户满意度预测底层模型和参数l构建待校准的客户满意度预测模型C _λ 。对于任意一段客服通话语音x，C _λ (x)为预测的类别集合，其定义如下：

其中：f _c (x)为客户满意度预测底层模型对语音x属于类别c的概率估计值，γ _c 为度量类别c重要程度的参数。本实施例中，分别取γ ₀=l ₀，γ ₁=l ₁或γ ₀=1，γ ₁=1，用以构建预测风险可控的客户满意度预测模型，用以验证考虑类别重要程度的预测风险可控的客户满意度预测模型的优势。

S6、定义待校准的客户满意度预测模型C _λ 的预测损失如下：

其中：Ⅱ(•)为指示函数，即若y不在预测结果C _λ (x)当中，损失为l _y ，反之为0。通过该损失度量预测结果不包含真实类别时造成的损失。根据所述预测损失，计算待校准的客户满意度预测模型C _λ 在校验集上的风险估计值：

，

并通过所述风险估计值确定最优参数l*如下：

，

其中：

，α为人为设定的风险上限，即要求客户满意度预测模型预测结果的风险低于α。风险上限可根据实际应用取定，若取α=1，可以理解为要求客户满意度预测模型预测结果的平均经济损失不高于1万元。

以下为上述实施例的对比验证结果：

为了验证本发明的实际应用效果，本发明收集了178h的AISHELL-1公开语音数据和24.3h的95598客服通话语音数据构建所述面向95598客服通话语音的语音识别深度学习模型。另外，收集了906条95598客服通话资料和对应的客户满意度评价结果，评价结果包括满意和不满意两类。将所述906个数据按照6：2：2的比例分为训练集、校验集和测试集，分别用于训练客户满意度预测底层模型，构建预测风险可控的客户满意度预测模型和测试预测风险可控的客户满意度预测模型。

本实施例关注客户满意度预测模型的两个指标，其一为客户满意度预测模型在测试集上的预测风险，即客户满意度预测模型在测试集上的平均损失。若客户满意度预测模型在测试集上的预测风险不大于人为设定的风险上限α，则说明客户满意度预测模型具备预测风险可控的特性。其二为客户满意度预测模型预测类别标签集合的平均个数。在客户满意度预测模型预测风险可控的前提下，若客户满意度预测模型预测类别标签集合的平均个数越小，则说明客户满意度预测模型预测的信息量越大。因此，所述预测类别标签集合的平均个数指标越小越好。

1、本发明提出的客户满意度预测模型具备风险可控特性

本实施例的第一组实验结果，用于检验本发明提出的客户满意度预测模型是否具备风险可控特性。共有4个模型参与检验，模型CRC(γ _c =1)为不采用样本增广策略训练客户满意度预测底层模型，且不考虑类别重要性并设γ ₀=1，γ ₁=1所构建的客户满意度预测模型；模型AugCRC(γ _c =1)为采用样本增广策略训练客户满意度预测底层模型，且不考虑类别重要性并设γ ₀=1，γ ₁=1所构建的客户满意度预测模型；模型CRC(γ _c =l _c )为不采用样本增广策略训练客户满意度预测底层模型，且考虑类别重要性并设γ ₀=l ₀，γ ₁=l ₁所构建的客户满意度预测模型；模型AugCRC(γ _c =l _c )为采用样本增广策略训练客户满意度预测底层模型，且考虑类别重要性并设γ ₀=l ₀，γ ₁=l ₁所构建的客户满意度预测模型。实验共进行100次，并对测试集上的平均结果进行记录。为检验各模型的预测风险能够被人为设定的风险上限α所控制，分别取α为1、2、3、4、5，所构建的客户满意度预测模型在测试集上的预测风险如表1所示。

表1 各客户满意度预测模型在测试集上的预测风险

从表1可以看出，所有构建的客户满意度预测模型在测试集上的预测风险，均小于预先设定的风险上限α，说明本发明提出的客户满意度预测模型具备风险可控性，可以根据具体应用需求，事先设定风险上限，得到预测风险不高于风险上限的客户满意度预测模型。

2、本发明提出的客户满意度预测模型预测结果的信息量对比

本实施例的第二组实验结果，用于对比本发明提出的客户满意度预测模型的各具体实例模型预测结果的信息量对比，以说明对于数据增广的优选技术方案和考虑类别重要程度优选技术方案的优势。将本实施例得到的上述4个模型模型在测试集上预测标签的平均个数进行统计，得到如下表2。

表2 各客户满意度预测模型在测试集上的平均预测标签个数

首先，由表2横向对比可以看出，所有模型在测试集上的平均预测标签个数随着风险上限的增大而减小。结合表1可知，提高风险上限，对各模型的预测风险限制降低，致使各模型减少冗余预测标签、预测标签集合趋于明确化，预测信息量增加。这是风险控制预测模型的一般特性，即风险上限对模型的预测风险的控制具备一定强制性，在提高风险上限的过程中，强制各预测模型减少预测标签平均个数以增加预测信息量。虽然该过程会提高模型的预测风险，但由于预测风险可控，模型的预测风险始终保持在风险上限以下。因此，本发明提出的预测风险可控的客户满意度预测模型，需要根据具体要求对风险上限和模型预测信息量进行权衡。

此外，由表2纵向对比可以看出，使用增广数据技术得到的客户满意度预测模型，其预测结果的信息量要高于同等条件下，未使用增广数据技术得到的客户满意度预测模型的预测信息量，说明本发明提出的数据增广优选技术方案的优势。同样通过纵向对比可以看出，考虑类别重要程度的客户满意度预测模型的预测信息量，要整体高于未考虑类别重要程度的客户满意度预测模型的预测信息量，说明本发明提出的考虑类别重要程度的优选技术方案的优势。

最后，对于实验模型的选择，应综合考虑风险上限和预测结果的信息量，即风险上限尽量低，且预测结果的平均标签个数尽量接近1或在1以下。对于CRC(γ _c =1)和AugCRC(γ _c =1)，由于两者平均预测标签个数在α=5时才接近1，所以只能选择α=5时的模型进行应用，但由表1可知，两者预测风险较高；对于CRC(γ _c =l _c )和AugCRC(γ _c =l _c )，由于两者在α=1时的平均预测标签个数即已达到1或在1以下，因此，两者均可使用α=1得到的模型进行应用。

经过以上分析，AugCRC(γ _c =l _c )在预测风险不大于1的情况下，平均预测标签个数小于1，且为4个模型中平均预测标签个数最小，预测信息量最大的模型。故而AugCRC(γ _c =l _c )为本实验中最优的客户满意度预测模型，其在满足预测风险可控的同时，预测标签集合冗余信息低，能够更好地进行实际应用。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (1)

1.一种基于客服通话语音的客户满意度预测方法，其特征在于：所述预测方法的步骤为：

S1、构建面向95598客服通话语音的语音识别深度学习模型，所述语音识别深度学习模型包括语音特征提取器、编码器及解码器，所述语音特征提取器用于提取客服通话语音特征，所述编码器用于对所述语音特征进行深层编码并形成客服通话语音隐层表征，所述解码器用于将隐层表征解码成客服通话语音对应的中文文本；

S2、获取95598客服通话语音资料和对应的客户满意度评价结果，以所述95598客服通话语音资料为输入，以所述对应的客户满意度评价结果为输出，构建训练集、校验集及测试集，分别用于训练客户满意度预测底层模型、校准所述客户满意度预测底层模型进而形成预测风险可控的客户满意度预测模型、测试预测风险可控的客户满意度预测模型；

S3、用所述训练集训练客户满意度预测底层模型，所述客户满意度预测底层模型分为语音隐层表征提取器和语音隐层表征分类器，所述语音隐层表征提取器用于提取客服通话语音资料的隐层表征，通过所述面向95598客服通话语音的语音识别深度学习模型作用到客服通话语音资料得到的所述编码器的输出获得；所述语音隐层表征分类器使用深度神经网络实现，所述训练客户满意度预测底层模型即为通过所述训练集训练所述语音隐层表征分类器中的参数；

S4、用所述客户满意度预测底层模型及所述校验集，基于一致性风险控制方法构建预测风险可控的客户满意度预测模型；

S5、将待预测的95598客服通话语音输入到风险可控的客户满意度预测模型，得到客户满意度的预测结果；

所述语音识别深度学习模型使用公开语音数据集进行预训练，并在95598客服通话语音数据上利用迁移学习对学习模型参数进行调整；

所述训练集和校验集中的语音数据隐层表征使用数据增广技术进行数据扩充，以充分训练所述语音隐层表征分类器，所述数据增广技术为：

1)提取95598客服通话语音资料的声学特征，并在声学特征层面对数据进行增广，形成增广的声学特征数据；

2)将所述增广的声学特征数据输入到所述面向95598客服通话语音的语音识别深度学习模型，得到增广的95598客服通话语音资料的隐层表征；

3)以所述增广的95598客服通话语音资料的隐层表征为输入，所述对应的客户满意度评价结果为标签，对数据进行增广；

所述语音隐层表征分类器使用具有注意力机制的Transformer编码器对所述95598客服通话语音资料的隐层表征进行进一步特征提取，所述Transformer编码器的输入端引入类别符号编码向量和位置嵌入向量，用于提高预测效果；将类别符号对应的Transformer编码向量送入单隐层全连接神经网络，并在输出端引入Softmax激活函数，输出各个类别的概率估计值，形成所述客户满意度预测底层模型；

所述Transformer编码器的注意力机制采用点乘注意力和多头注意力，并通过所述类别符号编码向量与所述Transformer编码器输出的各语音的隐层表征的注意力大小，溯源分类结果和语音各部分的关系，增强所述预测风险可控的客户满意度预测模型的可解释性；

所述类别符号编码向量和所述位置嵌入向量采用随机方式进行初始化，并通过训练过程确定最终参数；

将客户满意度预测问题看做配备类别损失的分类问题，分类类别至少包含不满意和满意两个类别，对一类别c，其配备的类别损失记为l_c，用以度量第i个类别未被正确预测的情况下，预测模型造成的预测损失，预测模型的风险为预测模型在测试阶段预测损失的数学期望，可以通过所述测试集上的预测结果的平均损失进行度量，使用面向配备类别损失的分类问题的一致性风险控制方法，构建所述风险可控的客户满意度预测模型，由所述客户满意度预测底层模型和参数λ构建待校准的客户满意度预测模型C_λ，对于任意一段95598客服通话语音x，C_λ(x)为预测的类别集合，且满足如下单调性：

记x对应的类别为y，则对于预测结果C_λ(x)，其预测损失为L(y,C_λ(x))，记所述校验集为{(x_i,y_i)},i＝1,...,n，其中n为校验集样本量，则可根据校验集得到待校准的客户满意度预测模型C_λ在校验集上的风险估计值：

根据一致性风险控制方法，确定最优参数λ*如下：

其中：Λ为参数λ的搜索范围；

α为根据具体应用场景，人为设定的风险上限，即要求所述客户满意度预测模型预测风险应低于α，预测风险可控；

所述待校准的客户满意度预测模型C_λ定义如下：

c_λ(x)＝{c：-γ_cf_c(x)≤λ}，

其中：f_c(x)为所述客户满意度预测底层模型对语音x属于类别c的概率估计值；

γ_c为度量类别c重要程度的参数；

所述预测损失L(y,C_λ(x))定义如下：

其中：Ⅱ(·)为指示函数；即若y不在预测结果C_λ(x)当中，损失为l_y，反之为0，通过该损失度量预测结果不包含真实类别时造成的损失，可以直接设定为预测结果不包含真实类别时造成的经济损失。

Images