CN117649838A - 一种基于智能客服的处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种基于智能客服的处理方法、装置、设备及介质。其中，该方法包括：获取对话内容中客服内容对应的情感信息和语音文件；将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。本技术方案，能够有效缓解在交互场景中存在合成的语音回复语气生硬、自然性和表现力差的问题，提高了智能回复语音的可懂度和表现力。

Description

一种基于智能客服的处理方法、装置、设备及介质

技术领域

本发明涉及语音处理技术领域，尤其涉及一种基于智能客服的处理方法、装置、设备及介质。

背景技术

在频繁使用客服系统的金融领域，智能客服往往可以替代一部分真实的人类客服工作，减少了人力所耗费的时间和空间，因此基于语音信息的人机交互将成为主流方式。

现有依托金融领域为业务背景智能客服系统采用了语音合成方法进行交互回复，较少地考虑语音表现力问题，导致回复语音机械、生硬。

发明内容

本发明提供了一种基于智能客服的处理方法、装置、设备及介质，能够有效缓解在交互场景中存在合成的语音回复语气生硬、自然性和表现力差的问题，提高了智能回复语音的可懂度和表现力。

根据本发明的一方面，提供了一种基于智能客服的处理方法，包括：

获取对话内容中客服内容对应的情感信息和语音文件；

将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；

将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。

可选的，所述目标情感适配模型包括情感编码器、非情感编码器及解码器；

将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征，包括：

将所述情感信息和所述语音文件输入情感编码器和非情感编码器，提取情感信息特征和语音特征；

将所述情感信息特征和所述语音特征输入所述解码器，输出重构后的声学特征。

可选的，在获取对话内容中客服内容对应的情感信息和语音文件之前，还包括：

采集目标数据样本集；

对所述目标数据样本集进行预处理，得到处理后的目标数据样本集；

根据所述处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。

可选的，所述初始情感适配模型包括第一情感编码器、第一非情感编码器及第一解码器；

根据所述处理后的目标数据样本集训练初始情感适配模型，包括：

从所述处理后的目标数据样本集中提取声学特征样本；

将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征；

将所述第一情感特征和所述第一非情感特征输入所述第一解码器中进行重构，得到第一声学特征；

返回执行将所述声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征的操作，直至得到目标情感适配模型。

可选的，采集目标数据样本集，包括：

对设计语料库进行语音录制，得到第一样本信息；其中，所述设计语料库通过业务信息得到；

收集历史对话语音数据，对所述历史对话语音数据截取设定时长语音作为第二样本信息；

根据所述第一样本信息和所述第二样本信息建立目标数据样本集。

可选的，还包括：

通过设定调优方式对所述目标情感适配模型进行调优处理。

可选的，通过设定调优方式对所述目标情感适配模型进行调优处理，包括：

获取主观评估分数、客观评估分数及反馈评估分数；

将所述主观评估分数、所述客观评估分数及所述反馈评估分数通过融合处理，得到目标评估分数；

根据所述目标评估分数对所述目标情感适配模型进行调优处理。

根据本发明的另一方面，提供了一种基于智能客服的处理装置，包括：

获取模块，用于获取对话内容中客服内容对应的情感信息和语音文件；

声学特征输出模块，用于将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；

目标音频转换模块，用于将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于智能客服的处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于智能客服的处理方法。

本发明实施例的技术方案，通过获取对话内容中客服内容对应的情感信息和语音文件；将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。本技术方案，能够有效缓解在交互场景中存在合成的语音回复语气生硬、自然性和表现力差的问题，提高了智能回复语音的可懂度和表现力。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种基于智能客服的处理方法的流程图；

图2是根据本发明实施例二提供的一种基于智能客服的处理方法的流程图；

图3是根据本发明实施例三提供的一种基于智能客服的处理装置的结构示意图；

图4是根据本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”“目标”及“初始”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是根据本发明实施例一提供的一种基于智能客服的处理方法的流程图，本实施例可适用于金融领域基于智能客服进行回复的情况，该方法可以由一种基于智能客服的处理装置来执行，该一种基于智能客服的处理装置可以采用硬件和/或软件的形式实现，该一种基于智能客服的处理装置可配置于具有数据处理能力的电子设备中。如图1所示，该方法包括：

本实施例可以由智能客服的处理系统执行，可以依托金融领域的智能客服系统为业务背景。智能客服系统基于智能语音交互进行用户与客服机器之间的对话，通过对话来处理并应答用户的业务需求，其本质为对话系统。本实施例中的智能客服的处理系统可以包括数据采集与处理单元、模型训练单元、语音转换与回复单元、评价单元等器件，其中数据采集与处理单元和模型训练单元为准备阶段，语音转换与回复单元为应用阶段，主观评价单元为优化阶段。本实施例的技术方案能够不局限于单一情感种类，而能适配任意情感类型，提高了智能应答语音的可懂度和表现力。

S110、获取对话内容中客服内容对应的情感信息和语音文件。

其中，对话内容可以理解为智能客服和目标客户之间的交互对话。客户内容可以理解为智能客服需要回复的内容信息。情感信息可以理解为回复目标客户的情感种类。语音文件可以理解为基于对话交互内容合成的回复语音文件。本实施例中可以经过前置模型直接获取对话内容中客服对应的情感种类以及基于对话交互合成的回复语音文件。

S120、将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征。

其中，目标情感适配模型可以是预先训练好的模型，可以用于将情感信息和语音文件进行组合重构。重构后的声学特征可以是目标情感适配模型输出内容。本实施例中重构后的声学特征就是需要回复语音的声学特征。本实施例中的目标情感适配模型的作用是进行情感语音转换，能够提取语音中的有效情感信息，在转换阶段保留语言内容等情感无关的信息不变，改变语音中的情感状态。

本实施例中的重构后的声学特征可以是根据情感信息和语音文件进行提取有效信息后进行重构得到的声学特征。

在本实施例中，可选的，目标情感适配模型包括情感编码器、非情感编码器及解码器；将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征，包括：将情感信息和语音文件输入情感编码器和非情感编码器，提取情感信息特征和语音特征；将情感信息特征和语音特征输入解码器，输出重构后的声学特征。

其中，情感编码器可以是预先训练好的，可以用于从情感信息中提取到情感有效信息，即情感信息特征。非情感编码器可以是预先训练好的，可以用于从语音文件中提取到有效信息，即语音特征。解码器可以是预先训练好的，可以将情感编码器和非情感编码器提取的有效信息进行组合重构，以得到重构后的声学特征。情感信息特征可以是从情感信息中提取到的情感有效信息。本实施例中的情感信息特征可以是向量表征的数学特征。非情感信息特征可以是从语音文件中提取到的语音有效信息。本实施例中的非情感信息特征可以是向量表征的数学特征。重构后的声学特征可以是将提取到的情感信息特征和语音特征经过训练好的解码器进行重构转换得到的特征。

本实施例中的目标情感适配模型是以变分自编码器为基础框架构建的。变分自编码器包括编码器和解码器两个器件。变分自编码器在实际训练时分为编码和解码两个步骤，编码过程是对输入的原始声学特征样本数据进行编码操作，让潜在变量分布逼近于预定义的先验分布，从而学习到潜在变量的概率分布，这是通过编码器的推断网络来实现的；解码过程则是从先验分布中采样生成数据样本，这些数据越接近真实分布越好，这是通过解码器的生成网络来实现的。本实施例中的目标情感适配模型可以包括情感编码器、非情感编码器及解码器。

本实施例中可以获取到的情感信息和语音文件输入目标情感适配模型中的具体实现方式是将情感信息和语音文件输入到情感编码器和非情感编码器，提取情感信息特征和语音特征，再将提取的情感信息特征和语音输入解码器中，可以输出重构后的声学特征。

本实施例中通过这样的设置，可以提取语音特征和情感信息特征来进行组合重构，从而实现任意情感的转换。本实施例中的情感信息以是训练集中出现的，也可以是在训练集中未见过的。

S130、将重构后的声学特征转换为目标音频，并以目标音频回复目标客户。

其中，目标音频可以理解为需要给客户回复的语音。目标音频可以是携带有情感特征的回复语音。目标客户可以是对话内容中需要回复的客户。本实施例将输入的重构后的声学特征转换为目标音频的具体方式可以是将重构后的声学特征输入到预先训练好的转换模型中，输出目标音频，并以得到的目标音频回复给目标客户，从而实现了将生硬的合成语音转换为富有情感的回复语音。

本发明实施例的技术方案，通过获取对话内容中客服内容对应的情感信息和语音文件；将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征；将重构后的声学特征转换为目标音频，并以目标音频回复目标客户。本技术方案，能够有效缓解在交互场景中存在合成的语音回复语气生硬、自然性和表现力差的问题，提高了智能回复语音的可懂度和表现力。

实施例二

图2是根据本发明实施例二提供的一种基于智能客服的处理方法的流程图，本实施例以上述实施例为基础进行优化。具体优化为在获取对话内容中客服内容对应的情感信息和语音文件之前，还包括：采集目标数据样本集；对目标数据样本集进行预处理，得到处理后的目标数据样本集；根据处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。如图2所示，该方法包括：

S210、采集目标数据样本集。

其中，目标数据样本集可以是依托金融领域作为业务背景，采集该领域的常用语料进行录制和处理得到。本实施例中的目标数据样本集可以用于对初始情感适配模型进行训练。本实施例中可以通过设计语料库的方式及收集历史对话内容的方式采集目标数据样本集。本实施例中的目标数据样本集可以包括各种声学特征的样本数据。

本实施例中的目标数据样本集可以包括平行预料和非平行预料。平行语料可以是数据集中的每一个说话人通过不同情感表达相同文本内容的句子。非平行语料可以是与平行语料相反，数据集中每个句子不需要相同的文本内容。

在本实施例中，可选的，采集目标数据样本集，包括：对设计语料库进行语音录制，得到第一样本信息；其中，设计语料库通过业务信息得到；收集历史对话语音数据，对历史对话语音数据截取设定时长语音作为第二样本信息；根据第一样本信息和第二样本信息建立目标数据样本集。

其中，设计语料库可以是通过金融领域业务信息抓取的语句。本实施例中的设计语料库要同时兼顾金融领域的业务背景和情感语音的韵律信息。本实施例中的设计语料库可以是预先设计好的语料信息。第一样本信息可以是通过对设计语料库进行语音录制得到的样本信息。历史对话语音数据可以理解为日常人工客服与客户电话沟通时的语音数据。设定时长可以是预先设定好的时间。本实施例中的设定时长可以为2秒或者5秒，可以根据实际需求进行设定。第二样本信息可以是通过对收集的历史对话语音数据，对每条历史对话语音数据截取设定时长的语音信息。目标数据样本集可以是将第一样本信息和第二样本信息组合在一起得到的。

本实施例中的数据采集与处理单元用于模型训练的准备阶段，为模型训练提供输入数据，共包括数据集采集器和特征提取器。数据采集器中包括语料抓取算子、音频截取算子及音频预处理算子。由于情感语音转换任务对于数据样本集的要求较高，选择恰当的情感描述训练模型能够使得模型性能更好。本实施例中采集目标数据样本集时可以通过两个渠道：一个是设计语料库进行专业语音录制，另一个是日常客服对话录音中截取。本实施例中获取设计语料库的方式可以为通过语料抓取算子从金融类新闻、博客、图书、文化领域网站上抓取语句，经过人工校对、检验，尽可能地选取有金融领域特色的词句作为语料。

本实施例中对设计语料库进行语音录制的方式可以是邀请发音人录制高质量语音，发音人为专业且无地方口音的主持人，在符合录制标准录音棚进行录制，对录制完成的音频进行校对与挑选，最后进行情感类型的标注与分类。

本实施例收集历史对话语音数据，对历史对话语音数据截取设定时长语音的具体实现方式可以是通过收集日常客服与客户电话沟通时的语音数据，在收集到的语音数据中选择一些词句表达清晰及情感丰富的短句作为语音数据，调用音频截取算子对音频数据进行截取，可以截取2-5秒时长的音频数据。本实施例可以将第一样本信息和第二样本信息组合建立得到目标数据样本集。

本实施例中通过这样的设置，可以基于金融领域智能客服系统对话量大、对话内容中的专业词汇易收集等特点，提出了金融领域的数据样本采集方法，既降低了语料采集的难度，也紧贴领域特点、关注领域相关的数据。

S220、对目标数据样本集进行预处理，得到处理后的目标数据样本集。

其中，预处理可以包括预加重、分帧、加窗及去静音段等处理。具体的，本实施例中可以调用音频预处理算子，对目标数据样本集进行预处理，可以通过数字滤波器进行预加重来提高目标数据样本集的语音高频部分的质量，使得频谱更加平滑；将目标数据样本集中的语音信号拆分为一帧一帧，以便于后续把对整体语音信号的处理转化为对每一帧特征参数的处理；通过对目标数据样本集进行加窗缓解每一帧信号的起始处和结尾处的不连续问题；可以对目标数据样本集去除掉一句语音的起始和结尾处一小部分的空白段或者静音段。

本实施例中可以对目标数据样本集进行预加重、分帧、加窗及去静音段等处理，以得到处理后的目标数据样本集。

S230、根据处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。

其中，初始情感适配模型可以是未经过训练的情感适配模型。本实施例中的基于变分自编码器构建的初始情感适配器。本实施例可以根据处理后的目标数据样本集对初始情感适配模型进行训练，采用损失函数调优参数，直到得到满足设定要求的目标情感适配模型。

在本实施例中，可选的，初始情感适配模型包括第一情感编码器、第一非情感编码器及第一解码器；根据处理后的目标数据样本集训练初始情感适配模型，包括：从处理后的目标数据样本集中提取声学特征样本；将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征；将第一情感特征和第一非情感特征输入第一解码器中进行重构，得到第一声学特征；返回执行将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征的操作，直至得到目标情感适配模型。

其中，声学特征样本包括基频及频谱包络。本实施例中可以从目标目标样本集中的音频数据提取出各个声学特征样本。本实施例中可以对目标样本集中的音频数据通过特征提取器进行提取，得到用于训练的声学特征样本数据。本实施例中的特征提取器可以包括基频提取算子和频谱包络提取算子。本实施例中还可以使用特征提取器对目标数据样本集中的数据样本进行语音信号分析和音频重构。语音信号分析的过程是指给特征提取器输入一段原始的声音波形，可以提取出这段语音的声学特征。例如线性谱、梅尔倒谱等方式。特征提取器进行音频重构合成的过程是指将声学特征作为输入，输出声音波形。本实施例中可以调用特征提取器提取声学特征基频及频谱包络。

具体的，本实施例中可以通过基频提取算子提取基频的方式可以是使用不同的截止频率的低通滤波器；计算得到各个可能的F0的可靠性，因为由基波分量组成的sin信号包含四个间隔(两个顶点及两个过零点)，如果滤波器得到的间隔长度是一致的，说明是同一个基波；从某个时间点的正弦波中提取出四个周期信号并计算置信度也就是标准差，随后选择标准差最低，置信度最高的基波，以提取得到基频。

本实施例中可以通过频谱包络提取算子提取频谱包络的方式可以是通过谱分析获得频谱包络，其过程是先将不同基频进行适配加仓操作与平衡以及功率平滑操作，随后将信号在频域进行同态滤波操作，提取得到频谱包络。

本实施例基于变分自编码器构建的初始情感适配器可以包括第一情感编码器、第一非情感编码器及第一解码器，本实施例中的初始情感适配器还可以包括互信息最小化器。

第一情感特征可以是通过向量表示的数学特征。本实施例中可以将声学特征样本输入第一情感编码器中，输出得到第一情感特征。第一非情感特征是通过向量表示的数学特征。本实施例中可以将声学特征样本输入第一非情感编码器，输出得到第一非情感特征。本实施例中的互信息最小化器可以用于最小化所提取到的第一情感特征和第一非情感特征的相关性，从而使得情感信息分离得更加彻底。第一声学特征可以是经过第一解码器进行重构得到的声学特征。本实施例中可以将第一情感特征和第一非情感特征输入第一解码器中进行重构，得到第一声学特征；返回执行将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征的操作，本实施例在训练过程中可以通过参数调优器调整每批次声学特征样本的训练数据大小和学习率，从而使得训练初始情感适配器最优，训练损失函数最小化，从而得到一个达到设定的要求的情感适配模型，即得到目标情感适配模型。

本实施例中在训练过程中采用的是重构方法，所谓的重构方法是输入到两个编码器的样本数据是同一句，经过解码器输出的声学特征与输入数据越相似越好，重构方法能够保证模型输出的特征与输入特征更相似，从而减少中间过程导致的信息丢失，使得更加完整的信息能够保留下来。

本实施例中通过这样的设置，可以采用目标数据样本集进行训练，得到目标情感适配模型，进一步提高了目标情感适配模型的准确度。

本实施例中的模型训练单元是基于非平行语料的任意情感语音转换样本进行训练，既能够解决平行语料对于数据集的高要求问题，也能解决一对一、多对多模型的情感种类的局限性问题，可以实现使得模型转换不包含在训练集中的情感。

S240、获取对话内容中客服内容对应的情感信息和语音文件。

S250、将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征。

S260、将重构后的声学特征转换为目标音频，并以目标音频回复目标客户。

在本实施例中，可选的，还包括：通过设定调优方式对目标情感适配模型进行调优处理。

其中，设定调优方式可以理解为通过多维度评分结果进行调优的方式。本实施例中可以获取主观评估分数、客观评估分数以及反馈评估分数这三个维度的评分结果，对这三个维度的评分结果进行融合处理，作为优化方式对目标情感适配模型进行调优处理，形成优化闭环，反复迭代。

本实施例中通过这样的设置，可以对目前情感适配模型进行调优处理，可以全方面地提高的准确性和适配性。

在本实施例中，可选的，通过设定调优方式对目标情感适配模型进行调优处理，包括：获取主观评估分数、客观评估分数及反馈评估分数；将主观评估分数、客观评估分数及反馈评估分数通过融合处理，得到目标评估分数；根据目标评估分数对目标情感适配模型进行调优处理。

其中，主观评估分数可以理解为测试人员根据回复的目标音频语音质量和自然度进行打分得到的评估分数。客观评估分数可以理解为通过情感分类网络对情感信息的分离程度进行打分得到的评估分数。反馈评估分数可以是目标客户在与智能客服沟通后的评价信息进行评估得到的分数。融合处理可以是加权平均的融合处理。目标评估分数可以是对主观评估分数、客观评估分数及反馈评估分数通过加权平均得到分数。调优处理可以理解为通过目标评估分数对目标情感适配模型进行调整参数，达到优化的目的。

本实施例中可以将主观评估分数、客观评估分数及反馈评估分数通过加权平均处理，得到目标评估分数，本实施例中可以根据得到的目标评估分数对目标情感适配模型进行优化处理，形成优化闭环，反复迭代。

具体的，本实施例中的评价单元包括主观评估操作器、客观评估操作器和客诉反馈评估器。主观评估操作器包括评估采集算子和得分计算算子。通过测试人员进行打分得到主观评估分数。主观评估分数一般是用于衡量语音质量和自然度的，是语音转换领域最主流的方式之一。评估采集算子用主观评估分数评估语音的自然度和情感适配程度，可以采用5分制，从1分到5分且数值越高代表音质越好、情感适配度越高。得分计算算子则将采集得到的所有主观评估得分进行平均值计算，从而得到每句评估语音的最终得分，即主观评估分数。

本实施例的客观评估操作器包括评估构建算子和得分计算算子。客观评估分数是使用训练好的情感分类网络进行构建的，用于判断情感信息的分离程度。评估构建算子需提前使用数据集进行构建和训练，通常该分类网络可以是由三层256个隐藏节点的一维卷积层和一个全连接层构成。得分计算算子则调用语音转换模型的输出作为数据，输入到评估构建算子中，如果评估构建算子输出得到的分类精度越低，说明该信息中包含的情感信息越少，证明语音转换模型对情感的分离程度越高。此分类精度值则为每句语音客观评估的最终得分，即客观评估分数。

本实施例的客诉反馈评估器包括指标转化算子和得分计算算子。本实施例中金融领域智能客服系统在使用完毕时，有打分评价流程。客诉反馈评估器则收集客户实际的评价指标、客户投诉情况等，作为客户反馈指标，指标转化算子根据不同程度的客户投诉情况分级别进行转化，转化为不同的分数，再通过得分计算算子得到打分结果，以得到反馈评估分数。

本实施例中可以将主观评估分数、客观评估分数及反馈评估分数三种类型的打分通过加权平均得到反馈的总体打分结果，加入到模型准确性评判中，作为优化维度添加到模型训练单元中，形成优化闭环，反复迭代。本实施例中通过这样的操作，提供了各种维度的评价与迭代优化指标，可采集的评价数据量使得该装置可以全方面地评估模型的准确性和适配性，从而更适配金融领域的智能客服系统，进一步优化自动适配与回复装置。

本发明实施例的技术方案，通过采集目标数据样本集；对目标数据样本集进行预处理，得到处理后的目标数据样本集；根据处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。获取对话内容中客服内容对应的情感信息和语音文件；将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征；将重构后的声学特征转换为目标音频，并以目标音频回复目标客户。本技术方案，能够有效缓解在交互场景中存在合成的语音回复语气生硬、自然性和表现力差的问题，提高了智能回复语音的可懂度和表现力。

实施例三

图3是根据本发明实施例三提供的一种基于智能客服的处理装置的结构示意图。如图3所示，该装置包括：

获取模块310，用于获取对话内容中客服内容对应的情感信息和语音文件；

声学特征输出模块320，用于将情感信息和语音文件输入目标情感适配模型中，输出重构后的声学特征；

目标音频转换模块330，用于将重构后的声学特征转换为目标音频，并以目标音频回复目标客户。

可选的，目标情感适配模型包括情感编码器、非情感编码器及解码器；

声学特征输出模块320，具体用于将情感信息和语音文件输入情感编码器和非情感编码器，提取情感信息特征和语音特征；将情感信息特征和语音特征输入解码器，输出重构后的声学特征。

可选的，装置还包括：

采集模块，用于在获取对话内容中客服内容对应的情感信息和语音文件之前，采集目标数据样本集；

预处理模块，用于对目标数据样本集进行预处理，得到处理后的目标数据样本集；

训练模块，用于根据处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。

可选的，初始情感适配模型包括第一情感编码器、第一非情感编码器及第一解码器；

训练模块，具体用于从处理后的目标数据样本集中提取声学特征样本；将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征；将第一情感特征和第一非情感特征输入第一解码器中进行重构，得到第一声学特征；返回执行将声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征的操作，直至得到目标情感适配模型。

可选的，采集模块，具体用于对设计语料库进行语音录制，得到第一样本信息；其中，设计语料库通过业务信息得到；收集历史对话语音数据，对历史对话语音数据截取设定时长语音作为第二样本信息；根据第一样本信息和第二样本信息建立目标数据样本集。

可选的，还包括：

调优模块，用于通过设定调优方式对目标情感适配模型进行调优处理。

可选的，调优模块，具体用于获取主观评估分数、客观评估分数及反馈评估分数；将主观评估分数、客观评估分数及反馈评估分数通过融合处理，得到目标评估分数；根据目标评估分数对目标情感适配模型进行调优处理。

本发明实施例所提供的一种基于智能客服的处理装置可执行本发明任意实施例所提供的一种基于智能客服的处理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是根据本发明实施例四提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于智能客服的处理方法。

在一些实施例中，基于智能客服的处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的基于智能客服的处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于智能客服的处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于智能客服的处理方法，其特征在于，包括：

获取对话内容中客服内容对应的情感信息和语音文件；

将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；

将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。

2.根据权利要求1所述的方法，其特征在于，所述目标情感适配模型包括情感编码器、非情感编码器及解码器；

将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征，包括：

将所述情感信息和所述语音文件输入情感编码器和非情感编码器，提取情感信息特征和语音特征；

将所述情感信息特征和所述语音特征输入所述解码器，输出重构后的声学特征。

3.根据权利要求1所述的方法，其特征在于，在获取对话内容中客服内容对应的情感信息和语音文件之前，还包括：

采集目标数据样本集；

对所述目标数据样本集进行预处理，得到处理后的目标数据样本集；

根据所述处理后的目标数据样本集训练初始情感适配模型，直至得到目标情感适配模型。

4.根据权利要求3所述的方法，其特征在于，所述初始情感适配模型包括第一情感编码器、第一非情感编码器及第一解码器；

根据所述处理后的目标数据样本集训练初始情感适配模型，包括：

从所述处理后的目标数据样本集中提取声学特征样本；

将所述声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征；

将所述第一情感特征和所述第一非情感特征输入所述第一解码器中进行重构，得到第一声学特征；

返回执行将所述声学特征样本输入第一情感编码器和第一非情感编码器，分别得到第一情感特征和第一非情感特征的操作，直至得到目标情感适配模型。

5.根据权利要求3所述的方法，其特征在于，采集目标数据样本集，包括：

对设计语料库进行语音录制，得到第一样本信息；其中，所述设计语料库通过业务信息得到；

收集历史对话语音数据，对所述历史对话语音数据截取设定时长语音作为第二样本信息；

根据所述第一样本信息和所述第二样本信息建立目标数据样本集。

6.根据权利要求1所述的方法，其特征在于，还包括：

通过设定调优方式对所述目标情感适配模型进行调优处理。

7.根据权利要求6所述的方法，其特征在于，通过设定调优方式对所述目标情感适配模型进行调优处理，包括：

获取主观评估分数、客观评估分数及反馈评估分数；

将所述主观评估分数、所述客观评估分数及所述反馈评估分数通过融合处理，得到目标评估分数；

根据所述目标评估分数对所述目标情感适配模型进行调优处理。

8.一种基于智能客服的处理装置，其特征在于，包括：

获取模块，用于获取对话内容中客服内容对应的情感信息和语音文件；

声学特征输出模块，用于将所述情感信息和所述语音文件输入目标情感适配模型中，输出重构后的声学特征；

目标音频转换模块，用于将重构后的声学特征转换为目标音频，并以所述目标音频回复目标客户。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于智能客服的处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于智能客服的处理方法。