CN111063370B - 一种语音处理方法及装置 - Google Patents

Abstract

本发明提供一种语音处理方法及装置，在获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据后，对语音数据进行分析，得到语音数据对应的情绪特征数据；根据情绪特征数据，得到与情绪特征数据相对应的情绪标签；其中，情绪标签用于反应目标用户当前时刻的情绪状况；确定与情绪标签相对应的应答操作，并采用与情绪标签相对应的应答操作与目标用户进行沟通。这样在机器人客服与目标用户语音沟通过程中，识别目标用户当前时刻的情绪情况自动选择合适的应答操作，实现根据目标用户的情绪情况自动选择匹配的沟通方式，解决了客户服务呼叫中心系统智能程度低的问题，起到了提高沟通方式的匹配成功度的技术效果。

Description

一种语音处理方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种语音处理方法及装置。

背景技术

目前，客户服务呼叫中心系统能够通过机器人客服或者人工客服与用户进行通话，其中机器人客服能够根据用户的语音数据中的关键词在问答数据库中去搜索对应该关键词的回答，人工客服能够根据用户的语音数据中的关键词，结合自身学习到的知识进行回答。当用户与机器人客服进行沟通时若机器人客服提供的回答无法解决用户的疑问，在用户主动结束沟通后再次进入客服服务中心系统，然后在客户服务呼叫中心系统中手动选择人工客服，如根据客户服务呼叫中心系统的操作提示进行一系列选择之后才能够与人工客服进行通话。因此，目前客户服务呼叫中心系统存在智能程度低的问题。

发明内容

有鉴于此，本发明实施例提供一种语音处理方法及装置，为解决客户服务呼叫中心系统智能程度低的问题。

为实现上述目的，本发明一方面实施例提供：一种语音处理方法，包括：

获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据；

对所述语音数据进行分析，得到所述语音数据对应的情绪特征数据；

根据所述情绪特征数据，得到与所述情绪特征数据相对应的情绪标签；其中，所述情绪标签用于反应所述目标用户当前时刻的情绪状况；

确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通。

进一步的，所述情绪标签包括正面情绪标签和负面情绪标签；

所述确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通包括：

当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

当所述情绪标签为负面情绪标签时，调用与所述目标用户进行沟通的预设沟通方式，所述预设沟通方式能安抚所述目标用户。

进一步的，所述调用与所述目标用户进行沟通的预设沟通方式包括：将与所述目标用户的语音沟通转接至人工客服；或通过所述机器人客服发送能安抚所述目标用户的应答数据。

进一步的，所述负面情绪标签包括至少两个具有负面级别的情绪标签，所述将与所述目标用户的语音沟通转接至人工客服包括：根据所述目标用户的情绪标签的负面级别，确定所述目标用户在转接队列中的排位，在处理到所述目标用户在转接队列中的排位时将所述目标用户的语音沟通转接至人工客服。

进一步的，所述当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户包括：当所述情绪标签为正面情绪标签时，若当前时刻不存在空闲状态的人工客服时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

所述方法还包括：当所述情绪标签为正面情绪标签时，若当前时刻存在空闲状态的人工客服，将与所述目标用户的语音沟通转接至人工客服。

进一步的，在所述确定与所述情绪标签相对应的应答操作之前，所述方法还包括：当所述情绪标签为未知情绪标签时，将所述语音数据转发至人工客服；

获得所述人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签。

进一步的，所述根据所述情绪特征数据，得到与所述情绪特征数据相对应的情绪标签包括：将所述情绪特征输入预先训练好的语音情绪模型，获得所述语音情绪模型输出的与所述情绪特征相对应的情绪标签；其中，所述语音情绪模型通过情绪语音数据库中的多个数据样本训练得到，所述数据样本包括情绪特征数据和与情绪特征数据对应的情绪标签。

进一步的，所述方法还包括：当所述情绪标签为未知情绪标签时，将所述语音数据对应的情绪特征数据和重新根据所述语音数据确定的情绪标签作为数据样本加入所述情绪语音数据库，所述重新根据所述语音数据确定的情绪标签为人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签。

本发明另一方面实施例提供：一种语音处理装置，包括：

获取单元，用于获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据；

分析单元，用于对所述语音数据进行分析，得到所述语音数据对应的情绪特征数据；

得到单元，用于根据所述情绪特征数据，得到与所述情绪特征数据相对应的情绪标签；其中，所述情绪标签用于反应所述目标用户当前时刻的情绪状况；

确定单元，用于确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通。

进一步的，所述情绪标签包括正面情绪标签和负面情绪标签；

所述确定单元包括：第一确定子单元和第二确定子单元；

所述第一确定子单元，用于当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

所述第二确定子单元，用于当所述情绪标签为负面情绪标签时，调用与所述目标用户进行沟通的预设沟通方式，所述预设沟通方式能安抚所述目标用户；

其中，所述调用与所述目标用户进行沟通的预设沟通方式包括：将与所述目标用户的语音沟通转接至人工客服；或通过所述机器人客服发送能安抚所述目标用户的应答数据。

进一步的，所述第一确定子单元具体用于：当所述情绪标签为正面情绪标签时，若当前时刻不存在空闲状态的人工客服时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

所述第一确定子单元还用于：若当前时刻存在空闲状态的人工客服，将与所述目标用户的语音沟通转接至人工客服。

进一步的，所述装置还包括：

重新确定单元，用于接收所述得到单元输出的未知情绪标签；

所述重新确定单元，还用于当所述情绪标签为未知情绪标签时，将所述语音数据转发至人工客服；获得所述人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签；

所述重新确定单元，还用于将重新确定的情绪标签发送至所述确定单元。

进一步的，所述得到单元具体用于：将所述情绪特征输入预先训练好的语音情绪模型，获得所述语音情绪模型输出的与所述情绪特征相对应的情绪标签；其中，所述语音情绪模型通过情绪语音数据库中的多个数据样本训练得到，所述数据样本包括情绪特征数据和与情绪特征数据对应的情绪标签。

进一步的，所述装置还包括：重新确定单元和加入单元；

所述重新确定单元，用于接收所述得到单元输出的未知情绪标签；

所述重新确定单元，还用于当所述情绪标签为未知情绪标签时，将所述语音数据转发至人工客服；获得所述人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签；

所述加入单元，用于当所述情绪标签为未知情绪标签时，将所述语音数据对应的情绪特征数据和所述重新确定单元确定的情绪标签作为数据样本加入所述情绪语音数据库。

基于上述技术方案，在获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据后，对语音数据进行分析，得到语音数据对应的情绪特征数据；根据情绪特征数据，得到与情绪特征数据相对应的情绪标签；其中，情绪标签用于反应目标用户当前时刻的情绪状况；确定与情绪标签相对应的应答操作，并采用与情绪标签相对应的应答操作与目标用户进行沟通，这样在机器人客服与目标用户语音沟通过程中，识别目标用户当前时刻的情绪情况自动选择合适的应答操作，实现根据目标用户的情绪情况自动选择匹配的沟通方式，解决了客户服务呼叫中心系统智能程度低的问题，起到了提高沟通方式的匹配成功度的技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种语音处理方法的流程图；

图2为唤醒度-愉悦度(Valence-Arousal)二维情绪模型的示意图；

图3为本发明又一实施例提供的一种语音处理方法的流程图；

图4为图3中步骤S204的一种实施方式的流程图；

图5为将与目标用户的语音沟通转接至人工客服的一种实施方式的流程图；

图6为本发明另一实施例提供的一种语音处理方法的流程图；

图7为本发明另一实施例提供的一种语音处理方法的流程图；

图8为本发明另一实施例提供的一种语音处理方法的流程图；

图9为本发明另一实施例一种语音处理装置的结构示意图；

图10为确定单元604的结构示意图；

图11为本发明另一实施例提供一种语音处理装置；

图12为本发明另一实施例提供一种语音处理装置；

图13为本发明另一实施例提供一种语音处理装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

客户服务呼叫中心系统由人工客服和机器人客服组成，能够通过机器人客服或者人工客服与用户进行通话，可以接听用户拨入的通话请求，也可以主动向用户发起通话呼叫(简称外呼)。机器人客服根据用户的语音数据中的关键词在问答数据库中去搜索对应该关键词的回答，当用户与机器人客服进行沟通时若机器人客服提供的回答无法解决用户的疑问，需要用户在沟通时主动要求转接至人工客服，或结束当前沟通后进行一系列选择操作后才能够与人工客服进行通话。人工客服不仅能够结合自身学习到的知识回答用户的问题，还能够通过沟通过程中用户的话语体会用户沟通时情绪状态的变化。而机器人客服在与用户进行沟通过程中，客户服务呼叫中心系统无法识别用户的情绪，智能程度低，容易引起用户不满。下面结合不同场景进行说明客户服务呼叫中心系统智能程度低会带来的具体问题：

例如，客户服务呼叫中心系统通过外呼向用户介绍新产品时，有可能出现以下两种情况：一种情况，用户对新产品有继续了解的兴趣，但机器人客服只是根据关键词误判了用户的意思，导致用户最终没有选择该产品。另一种情况，在机器人客服与用户沟通新产品的过程中，用户产生负面情绪，但客户服务呼叫中心系统无法识别用户情绪，机器人客服继续根据关键词机械式的应答，没有让机器人客服及时停止介绍产品并安抚用户，进一步加剧了用户的不满甚至导致用户提出投诉。

又比如，客户服务呼叫中心系统将机器人客服转为人工客服与用户沟通时，一般来说因为人工客服数量有限，常需要在转接队列中排队等待。目前客户服务呼叫中心系统针对转接队列的排队策略是根据转接的时间先后确定用户在转接队列中的位置。若在进入转接队列前，用户已经出现负面情绪同时转接队列中已经有不少其他用户在排队，会导致带着负面情绪的用户可能还需进行长时间的等待，那么带着负面情绪的用户在等待过程中很容易产生不耐烦甚至进行投诉。

由此可知，在机器人客服与用户进行沟通时，客户服务呼叫中心系统无法识别用户的情绪，存在智能程度低以及用户的使用体验不佳的问题。

本发明实施例提供一种语音处理方法及装置，可以应用于不同领域的客户服务呼叫中心系统中，通过在机器人客服与目标用户语音沟通过程中，识别目标用户当前时刻的情绪情况自动选择合适的应答操作，实现根据目标用户的情绪情况自动选择匹配的沟通方式，解决了客户服务呼叫中心系统智能程度低的问题，起到了提高沟通方式的匹配成功度的技术效果。并且在提高沟通方式的匹配成功度的基础上还可以不增加人工客服的数量。

请参阅图1，其示出本发明实施例提供的一种语音处理方法的流程图，包括以下步骤：

S101，获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据。

其中，语音数据可以是目标用户输出的一段语音，以通过目标用户输出的一段语音来确定出当前目标用户的情绪，一段语音可以包括一句话或几句话，在此不做限定。

当前时刻用于表明获取的语音数据是目标用户何时输出的语音数据，即在目标用户与机器人客服进行沟通的时间内，目标用户在当前时刻或与当前时刻最接近的时间内输出的一段语音，对此时间获取的语音数据进行分析，得到的结果更能反映目标用户当前时刻的情绪，从而能够将实时的获取到的语音数据作为分析目标用户当前时刻的情绪的基础，得到的情绪识别结果更加合理。

S102，对语音数据进行分析，得到语音数据对应的情绪特征数据。

情绪特征数据可以是从语音数据中分析得到的与情绪有关联的特征向量，以通过语音数据对应的情绪特征数据确定目标用户的情绪。

情绪特征数据的一种方式是情绪特征数据分为局部特征和全局特征。局部特征是从语音数据的一个语音帧或部分语音帧中提取的特征，反映语音数据的局部特性；全局特征是指从语音数据的所有语音帧中提取的特征的统计结果，反映整段语音数据的全局特性。本实施例中得到的情绪特征数据可以包括至少一种局部特征和/或至少一种全局特征。

情绪特征数据的另一种方式是情绪特征数据可以包括但不限于韵律学特征、基于谱的相关特征、音质特征和i-vetor特征等。在本实施例中，可以使用特征提取算法对语音数据的韵律、音质或声谱等中的至少一种特性进行分析，得到语音数据对应的情绪特征数据。例如，使用CNN算法从语音数据的声谱图中抽取特征。

当然上述两种情绪特征数据仅是示例说明，在实际应用中还可以采用其他情绪特征数据，或者将上述两种情绪特征数据以及其他情绪特征数据中的至少两种相结合作为本实施例的情绪特征数据。

需要说明的是，为提高情绪识别的准确度，在对语音数据进行分析之前还可以包括对语音数据进行降噪处理，去除语音数据中的噪声，然后对降噪处理后的语音数据进行分析得到情绪特征数据。

S103，根据情绪特征数据，得到与情绪特征数据相对应的情绪标签。其中，情绪标签用于反应目标用户当前时刻的情绪状况。

一种得到与情绪特征数据相对应的情绪标签的方式可以通过语音情绪模型实现。通过语音情绪模型得到情绪标签的过程为：将情绪特征数据输入预先训练好的语音情绪模型，获得语音情绪模型输出的与情绪特征数据相对应的情绪标签。其中语音情绪模型包括但不限于离散模型或维度模型。离散模型和维度模型的区别在于两种模型对情绪的表示方式不同。

离散模型输出的情绪是几种离散的情绪种类中的一种，例如，离散模型输出的情绪包括但不限于6种基本情绪：愤怒(Anger)、厌恶(Disgust)、恐惧(Fear)、愉快(Joy)、悲伤(Sadness)和惊喜(Surprise)，这六种基本情绪作为离散模型输出的6种情绪标签，那么当输入情绪特征数据，该离散模型的输出的情绪标签就是上述6中情绪标签中的一种。在其他实施方式中情绪标签的具体内容和数量可以根据不同场景需要进行更改。

相对于离散模型，维度模型使用连续的维度来表示情绪，例如维度模型可以使用但不限于使用连续的唤醒度(Arousal)和愉悦度(Valence)来表示情绪。唤醒度(Arousal)和愉悦度(Valence)分别作为二维空间的相互垂直的坐标，可以构成唤醒度-愉悦度(Valence-Arousal)二维情绪模型，唤醒度(Arousal)代表情绪唤起程度的高低，愉悦度(Valence)代表积极情绪的高低，这两个维度都可以通过数值来代表它的高低程度，如图2所示的数值区间[-5,5]，-5代表非常低迷/消极，5代表非常激动/积极。划分不同的坐标空间区域与不同的情绪标签相对应，例如高兴就可以用高唤醒度和高愉悦度来表示，难过则可以用低唤醒度和低愉悦度来表示。其他情绪在此不一一说明。图2仅示出了一种实施方式，在其他实施方式中可以使用不同数量或内容的维度，构造不同维度的维度模型，例如唤醒度-愉悦度-控制度(Valence-Arousal-Power)三维情绪模型；且坐标空间区域与情绪标签的对应关系也可以根据具体需要重新设置，在此不做限定。

在本实施例中，作为语音情绪模型的离散模型可以通过情绪语音数据库中的多个数据样本训练得到，数据样本包括情绪特征数据和与情绪特征数据对应的情绪标签。情绪语音数据库可以采用开源的语音数据库，也可以使用自行采集各类语音数据并建立的一个语音数据库，例如将收集以往所用用户的通话录音，进行处理后并建立的情绪语音数据库。

从上述对离散模型和维度模型的说明可知，离散模型和维度模型输出的各种情绪标签中：愤怒(Anger)、厌恶(Disgust)、恐惧(Fear)、愉快(Joy)、悲伤(Sadness)、惊喜(Surprise)、低迷/消极等，从情绪类型上可分为正面情绪和负面情绪，进一步的正面情绪和负面情绪由可以进行等级划分，如负面情绪中消极、厌恶和愤怒这三种情绪的负面级别不同，由此在本实施例中情绪标签可以有多种实施方式：一种实施方式为，情绪标签包括正面情绪标签和负面情绪标签，进一步的为不同正面情绪和负面情绪设置不同的级别，在进行级别划分时可以基于上述离散模型和维度模型，对此本实施例不再阐述；另一种实施方式为，情绪标签包括情绪激动标签和情绪平缓标签；还有一种实施方式为，情绪标签快乐、悲伤、愤怒和中性四种标签；在有的实施方式中，情绪标签中还包括未知情绪标签。情绪标签的数量和种类在此不做限定。

S104，确定与情绪标签相对应的应答操作，并采用与情绪标签相对应的应答操作与目标用户进行沟通。

本步骤中，情绪标签与应答操作的对应关系有多种实现方式：可以是一种情绪标签对应一种应答操作，即不同的情绪标签执行不同的应答操作；也可以是多个情绪标签对应相同的一个应答操作等。

应答操作包括但不限于如下操作：给目标用户发送特定的文字信息，给目标用户发送特定的语音信息、给目标用户发送特定的网页链接、给目标用户发送多媒体文件和将目标用户的语音沟通转接至人工客服等中的至少一种，从这些应答操作中确定与情绪标签相对应的应答操作，以通过与情绪标签相对应的应答操作进行沟通。

在本实施例中，确定与情绪标签相对应的应答操作的一种方式是：从应答操作中确定出与情绪标签相对应的至少能安抚目标用户的应答操作，即基于情绪标签，从应答操作中确定出至少能安抚目标用户的应答操作，进一步的确定出的应答操作还可以解决目标用户提出的问题。例如在可以预先设置情绪标签与应答操作的对应关系，这样在确定出当前目标用户的情绪标签，就可以从对应关系中选择出相对应的应答操作，如情绪标签表明目标用户处于愤怒中，相对应的应答操作可以是将目标用户的语音沟通转接至人工客服或者给目标用户发送多媒体文件，这个多媒体文件可以是一个安抚目标用户的动图，并在动图中添加上可能会解决目标用户提出的问题的答案。

本实施例这样在机器人客服与目标用户语音沟通过程中，识别目标用户当前时刻的情绪情况自动选择合适的应答操作，实现根据目标用户的情绪情况自动选择匹配的沟通方式，解决了客户服务呼叫中心系统智能程度低的问题，起到了提高沟通方式的匹配成功度的技术效果。

请参阅图3，其示出本发明又一实施例提供的一种语音处理方法的流程图，包括如下步骤：

S201，获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据。

S202，对语音数据进行分析，得到语音数据对应的情绪特征数据。

S203，根据情绪特征数据，得到与情绪特征数据相对应的情绪标签。

上述步骤S201-S203与步骤S101-S103类似，详细的步骤说明请参见上述实施例关于步骤S101-S103的说明，在此不再赘述。

在本实施例中，情绪标签包括正面情绪标签和负面情绪标签。得到正面情绪标签，代表当前时刻目标用户的情绪处于积极或稳定的状态，说明机器人客服与目标用户的沟通过程顺利；反面情绪标签是和正面情绪标签相对的标签，用来表明当前时刻目标用户的情绪状态不太稳定或是处于消极状态，说明机器人客服与目标用户的沟通过程不顺利。

情绪特征数据与正面情绪标签或负面情绪标签的对应关系，可以通过语音情绪模型联系起来，向语音情绪模型输入情绪特征数据，由语音情绪模型会输出与情绪特征数据对应的情绪标签，情绪标签为正面情绪标签或反面情绪标签中的一种。

例如语音情绪模型可以是一个维度模型，如图2中的二维维度模型，可以认为坐标中愉悦度大于0的区域为正面情绪区域，愉悦度小于零的区域为负面情绪区域。则向维度模型输入情绪特征数据，当输出的维度数值落入正面情绪区域，则情绪特征数据对应正面情绪标签；当输出的维度数值落入负面情绪区域，则情绪特征数据对应负面情绪标签。

需要说明的是，正面情绪标签和负面情绪标签可以是两个标签，即情绪标签包括正面情绪标签和负面情绪标签。正面情绪标签和反面情绪标签也可以是两个标签类别，正面情绪标签包括至少一个情绪标签，负面情绪标签包括至少一个情绪标签。例如，系统一共设置了愤怒、厌恶、恐惧、愉快、悲伤和惊喜6个情绪标签，其中愤怒、厌恶、恐惧和悲伤属于负面情绪标签；愉快和惊喜属于正面情绪标签。

S204，当情绪标签为正面情绪标签时，通过机器人客服根据语音数据对应的内容得到答案，并输出答案给目标用户。

输出的答案可以包括如下内容但不限于：文字信息、语音信息、网页链接或多媒体文件等。

为进一步提高沟通效率，请参阅图4，其示出了步骤S204的一种实施方式的流程图，包括以下步骤：

S301，当情绪标签为正面情绪标签时，判断当前时刻是否存在空闲状态的人工客服。若当前时刻存在空闲状态的人工客服，执行步骤S302；若当前时刻不存在空闲状态的人工客服时，执行步骤S303。

空闲状态的人工客服是指，该人工客服没有与任一用户进行通话，或者该人工客服没有需要执行任务，处于待命状态。

S302，将与目标用户的语音沟通转接至人工客服。此步骤可以直接将与目标用户的语音沟通转接至人工客服；也可以在转接前询问目标用户的意愿，是否希望转至人工客服，若目标用户希望转接，将与目标用户的语音沟通转接至人工客服，或目标用户不希望转接，则继续由机器人客服与目标用户进行沟通。

S303，通过机器人客服根据语音数据对应的内容得到答案，并输出答案给目标用户。

上述实施方式，在人工客服存在空闲不需要目标用户排队时，将目标用户的语音沟通转接至人工客服，可以提高问题解决效率，且更合理的分配和利用了客服资源。

S205，当情绪标签为负面情绪标签时，调用与目标用户进行沟通的预设沟通方式，预设沟通方式能安抚目标用户。

下面介绍能安抚目标用户的预设沟通方式的具体实施方式：一种实施方式为，将与目标用户的语音沟通转接至人工客服，以使人工客服和目标用户在沟通过程中安抚目标用户。另一种实施方式为，通过机器人客服发送能安抚目标用户的应答数据。应答数据包括但不限于语音数据、文字数据、图像或视频数据。当然还可以采用其他可以安抚目标用户的方式，在此不一一列举。

当情绪标签为负面情绪标签时，若将与目标用户的语音沟通转接至人工客服，当出现负面情绪的用户增多时，接入人工客服需要先在转接队列中排队等待。为了更有效率的分配数量有限的人工客服，请参阅图5，其示出了将与目标用户的语音沟通转接至人工客服的一种实施方式的流程图，包括如下步骤：

S401，根据目标用户的情绪标签的负面级别，确定目标用户在转接队列中的排位，其中目标用户在转接队列中的排位指示目标用户之前等待转入人工客服的用户数量，通过目标用户在转接队列中的排位说明目标用户经过多少用户之后才能够转入人工客服，在本实施例中可以将目标用户在转接队列中的排位发送给目标用户，以提示目标用户大概的等待时长。

情绪标签的负面级别是指该情绪标签对应的情绪的消极程度的高低或生气程度的高低。每个情绪标签的负面级别可以预先设定。以快乐、悲伤、愤怒和中性四个情绪标签为例，可以设定快乐的负面级别最低、愤怒的负面级别最高，四个情绪标签的负面级别由低到高排序为：快乐、中性、悲伤和愤怒。以图2的维度模型为例，可以认为情绪标签对应的愉悦度的数值越高，情绪标签的负面级别就越低。情绪标签的负面级别如何设定在此不做限定。可以按照如下方式确定排位：情绪标签的负面级别越高，确定目标用户在转接队列中的排位就越靠前，这样情绪的负面级别高的目标用户的等待时间会更短。

S402，在处理到目标用户在转接队列中的排位时，将目标用户的语音沟通转接至人工客服。

上述实施例根据目标用户的情绪标签的负面级别，确定目标用户在转接队列中的排位，进一步提高了客户服务呼叫中心系统智能程度，使得情绪负面级别高的目标用户能更快接入人工客服。

请参阅图6，其示出了本发明另一实施例提供的一种语音处理方法的流程图，包括以下步骤：

S501，获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据。

S502，对语音数据进行分析，得到语音数据对应的情绪特征数据。

S503，根据情绪特征数据，得到与情绪特征数据相对应的情绪标签。

上述步骤S501-S503与步骤S101-S103类似，详细的步骤说明请参见上述实施例关于步骤S101-S103的说明，在此不再赘述。

本实施例中，情绪标签包括正面情绪标签、负面情绪标签和未知情绪标签。在语音情绪模型无法判别与情绪特征数据对应的情绪标签是正面情绪标签和负面情绪标签中的哪一种时，语音情绪模型其输出的未知情绪标签。未知情绪标签表明当前时刻目标用户的情绪状况语音情绪模型无法识别。关于正面情绪标签或负面情绪标签的解释说明，以及情绪特征数据与正面情绪标签或负面情绪标签的对应关系的解释说明请参见步骤S203，在此不再赘述。

S504，当情绪标签为正面情绪标签时，通过机器人客服根据语音数据对应的内容得到答案，并输出答案给目标用户。

S505，当情绪标签为负面情绪标签时，调用与目标用户进行沟通的预设沟通方式，预设沟通方式能安抚目标用户。

上述步骤S504-S505与步骤S204-S205类似，详细的步骤说明请参见上述实施例关于步骤S204-S205的说明，在此不再赘述。

S506，当情绪标签为未知情绪标签时，将语音数据转发至人工客服。

S507，获得人工客服根据语音数据从负面情绪标签和正面情绪标签中重新确定最能反映语音数据的对应的目标用户的情绪标签。若人工客服确定目标用户当前时刻的情绪状态属于正面情绪标签，则执行步骤S504；若人工客服确定目标用户当前时刻的情绪状态属于负面情绪标签，则执行步骤S505。

本实施例，在无法识别情绪的情况下可通过人工客服介入的方式确定目标用户的情绪标签，进而能够根据目标用户的情绪标签执行对应的操作，相对于上述方式完善了无法识别情绪的情况下的实施方式。

请参阅图7，其示出了本发明另一实施例提供的一种语音处理方法的流程图，相比于图6，方法还包括如下步骤：

S508，将语音数据对应的情绪特征数据和重新根据语音数据确定的情绪标签作为数据样本加入情绪语音数据库。

本实施例，将语音情绪模型无法识别的语音数据对应的情绪特征数据和重新根据语音数据确定的情绪标签作为数据样本情绪语音数据库，可以进一步完善语音数据库的样本内容，从而也可以采用更完善的语音数据库去重新训练语音情绪模型使得语音情绪模型的识别准确度越来越高。

请参阅图8，其示出了本发明另一实施例提供的一种语音处理方法的流程图，相比于图1，方法还包括如下步骤：

S105，将情绪标签保存至在目标用户的用户信息内。

本实施例中，将目标用户的情绪标签保存至目标用户的用户信息内，以通过情绪标签展示目标用户在进行语音沟通时通常体现出的情绪，使得客户服务中心系统可以根据用户信息中的情绪标签判断目标用户的情绪特点，这样可以在再次接收到语音沟通时直接根据目标用户的情绪标签选择匹配的沟通方式，并且能够根据目标用户的情绪标签制定不同的用户维护计划或营销计划。当然目标用户的情绪标签可能会发生变化，本实施例可以在使用目标用户的情绪标签一段时间后，重新使用上述语音处理方法确定出当前时刻目标用户的情绪标签，以对用户信息中的情绪标签进行调整。

下面介绍与上述方法实施例对应的装置实施例。请参阅图9，其示出了本发明另一实施例一种语音处理装置的结构示意图，包括：获取单元601、分析单元602、得到单元603和确定单元604。

获取单元601，用于获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据。

分析单元602，用于对语音数据进行分析，得到语音数据对应的情绪特征数据。

得到单元603，用于根据情绪特征数据，得到与情绪特征数据相对应的情绪标签。其中，情绪标签用于反应目标用户当前时刻的情绪状况。

确定单元604，用于确定与情绪标签相对应的应答操作，并采用与情绪标签相对应的应答操作与目标用户进行沟通。

获取单元601、分析单元602、得到单元603和确定单元604的具体工作过程以及相关名词的解释说明请参见上述实施例的步骤S101-S104的过程的说明，在此不再赘述。

本实施例这样在机器人客服与目标用户语音沟通过程中，通过各个单元配合识别目标用户当前时刻的情绪情况自动选择合适的应答操作，实现根据目标用户的情绪情况自动选择匹配的沟通方式，解决了客户服务呼叫中心系统智能程度低的问题，起到了提高沟通方式的匹配成功度的技术效果。

下面以情绪标签包括正面情绪标签和负面情绪标签为例，介绍确定单元604一种实施方式。关于情绪标签的解释说明请参照上述实施例中步骤S203中关于情绪标签的解释说明，在此不再赘述。

请参阅图10，其示出了确定单元604的结构示意图，确定单元604包括：第一确定子单元701和第二确定子单元702。

第一确定子单元701，用于当情绪标签为正面情绪标签时，通过机器人客服根据语音数据对应的内容得到答案，并输出答案给目标用户。具体工作过程参见上述实施例中步骤S204的过程说明，在此不再赘述。

为进一步提高沟通效率，在另一种实施方式中第一确定子单元701具体用于：当情绪标签为正面情绪标签时，若当前时刻不存在空闲状态的人工客服时，通过机器人客服根据语音数据对应的内容得到答案，并输出答案给目标用户；若当前时刻存在空闲状态的人工客服，将与目标用户的语音沟通转接至人工客服。在这个实施方式中第一确定子单元701的具体工作过程请参见上述实施例中步骤S301-S303的过程说明，在此不再赘述。

第一确定子单元701的上述实施方式，在人工客服存在空闲不需要目标用户排队时，将目标用户的语音沟通转接至人工客服，可以提高问题解决效率，且更合理的分配和利用了客服资源。

第二确定子单元702，用于当情绪标签为负面情绪标签时，调用与目标用户进行沟通的预设沟通方式，预设沟通方式能安抚目标用户。

其中，调用与目标用户进行沟通的预设沟通方式包括：将与目标用户的语音沟通转接至人工客服；或通过机器人客服发送能安抚目标用户的应答数据。第一确定子单元701的具体工作过程和预设沟通方式的解释说明请参见上述实施例中步骤S205、步骤S401-S402的过程说明，在此不再赘述。

请参阅图11，其示出了本发明另一实施例提供一种语音处理装置，相比于图9所示的装置，该装置还包括：重新确定单元605。

本实施例中，情绪标签包括正面情绪标签、负面情绪标签和未知情绪标签。关于未知情绪标签的解释说明请参见上述实施例步骤S503中的解释说明；关于正面情绪标签或负面情绪标签的解释说明，以及情绪特征数据与正面情绪标签或负面情绪标签的对应关系的解释说明请参见步骤S203，在此不再赘述。

重新确定单元605，用于接收得到单元603输出的未知情绪标签。

重新确定单元605，还用于当情绪标签为未知情绪标签时，将语音数据转发至人工客服；获得人工客服根据语音数据从负面情绪标签和正面情绪标签中重新确定最能反映语音数据的对应的目标用户的情绪标签。

重新确定单元605，还用于将重新确定的情绪标签发送至确定单元604。以使确定单元604可以根据重新确定单元605发送的情绪标签，确定该情绪标签相对应的应答操作，并采用与情绪标签相对应的应答操作与目标用户进行沟通。

本实施例，在无法识别情绪的情况下可通过重新确定单元605将音数据转发至人工客服，以人工客服介入的方式确定目标用户的情绪标签，进而能够根据目标用户的情绪标签执行对应的操作，相对于上述方式完善了无法识别情绪的情况下的实施方式。

请参阅图12，其示出了本发明另一实施例提供一种语音处理装置，相比于图11所示的装置，该装置还包括：加入单元606。

其中，得到单元603具体用于：将情绪特征输入预先训练好的语音情绪模型，获得语音情绪模型输出的与情绪特征相对应的情绪标签。其中，语音情绪模型通过情绪语音数据库中的多个数据样本训练得到，数据样本包括情绪特征数据和与情绪特征数据对应的情绪标签。

加入单元606，用于当情绪标签为未知情绪标签时，将语音数据对应的情绪特征数据和重新确定单元确定的情绪标签作为数据样本加入情绪语音数据库。

本实施例，将语音情绪模型无法识别的语音数据对应的情绪特征数据和重新根据语音数据确定的情绪标签作为数据样本情绪语音数据库，可以进一步完善语音数据库的样本内容，从而也可以采用更完善的语音数据库去重新训练语音情绪模型使得语音情绪模型的识别准确度越来越高。

请参阅图13，其示出了本发明另一实施例提供一种语音处理装置，相比于图12所示的装置，该装置还包括：保存单元607。

保存单元607，用于将情绪标签保存至在目标用户的用户信息内。

本实施例中，将目标用户的情绪标签保存至目标用户的用户信息内，以通过情绪标签展示目标用户在进行语音沟通时通常体现出的情绪，使得客户服务中心系统可以根据用户信息中的情绪标签判断目标用户的情绪特点，这样可以在再次接收到语音沟通时直接根据目标用户的情绪标签选择匹配的沟通方式，并且能够根据目标用户的情绪标签制定不同的用户维护计划或营销计划。当然目标用户的情绪标签可能会发生变化，本实施例可以在使用目标用户的情绪标签一段时间后，重新使用上述语音处理方法确定出当前时刻目标用户的情绪标签，以对用户信息中的情绪标签进行调整。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种语音处理方法，其特征在于，包括：

获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据；

对所述语音数据进行分析，得到所述语音数据对应的情绪特征数据，所述情绪特征数据包括韵律学特征、基于谱的特征、音质特征和i-vetor特征中的至少一种；

将所述情绪特征输入预先训练好的语音情绪模型，获得所述语音情绪模型输出的与所述情绪特征相对应的情绪标签；其中，所述情绪标签用于反应所述目标用户当前时刻的情绪状况，所述语音情绪模型包括离散模型或维度模型，所述离散模型输出的情绪包括愤怒、厌恶、恐惧、愉快、悲伤或惊喜，所述维度模型使用连续的唤醒度和愉悦度来表示情绪；

确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通，所述应答操作包括给所述目标用户发送预设的语音信息、给所述目标用户发送预设的网页链接、给所述目标用户发送多媒体文件和将所述目标用户的语音沟通转接至人工客服中的至少一种；

将所述情绪标签保存至所述目标用户的用户信息内，以使客户服务中心系统根据所述目标用户的所述情绪标签制定不同的用户维护计划或营销计划。

2.如权利要求1所述的方法，其特征在于，所述情绪标签包括正面情绪标签和负面情绪标签；

所述确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通包括：

当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

当所述情绪标签为负面情绪标签时，调用与所述目标用户进行沟通的预设沟通方式，所述预设沟通方式能安抚所述目标用户。

3.如权利要求2所述的方法，其特征在于，所述调用与所述目标用户进行沟通的预设沟通方式包括：

将与所述目标用户的语音沟通转接至人工客服；

或

通过所述机器人客服发送能安抚所述目标用户的应答数据。

4.如权利要求3所述的方法，其特征在于，所述负面情绪标签包括至少两个具有负面级别的情绪标签，所述将与所述目标用户的语音沟通转接至人工客服包括：

根据所述目标用户的情绪标签的负面级别，确定所述目标用户在转接队列中的排位，在处理到所述目标用户在转接队列中的排位时将所述目标用户的语音沟通转接至人工客服。

5.如权利要求2所述的方法，其特征在于，所述当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户包括：

当所述情绪标签为正面情绪标签时，若当前时刻不存在空闲状态的人工客服时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

所述方法还包括：当所述情绪标签为正面情绪标签时，若当前时刻存在空闲状态的人工客服，将与所述目标用户的语音沟通转接至人工客服。

6.如权利要求1所述的方法，其特征在于，在所述确定与所述情绪标签相对应的应答操作之前，所述方法还包括：

当所述情绪标签为未知情绪标签时，将所述语音数据转发至人工客服；

获得所述人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签。

7.如权利要求1所述的方法，其特征在于，所述语音情绪模型通过情绪语音数据库中的多个数据样本训练得到，所述数据样本包括情绪特征数据和与情绪特征数据对应的情绪标签。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述情绪标签为未知情绪标签时，将所述语音数据对应的情绪特征数据和重新根据所述语音数据确定的情绪标签作为数据样本加入所述情绪语音数据库，所述重新根据所述语音数据确定的情绪标签为人工客服根据所述语音数据从负面情绪标签和正面情绪标签中重新确定最能反映所述语音数据的对应的目标用户的情绪标签。

9.一种语音处理装置，其特征在于，包括：

获取单元，用于获取当前时刻机器人客服与目标用户进行语音沟通时的语音数据；

分析单元，用于对所述语音数据进行分析，得到所述语音数据对应的情绪特征数据，所述情绪特征数据包括韵律学特征、基于谱的特征、音质特征和i-vetor特征中的至少一种；

得到单元，用于将所述情绪特征输入预先训练好的语音情绪模型，获得所述语音情绪模型输出的与所述情绪特征相对应的情绪标签；其中，所述情绪标签用于反应所述目标用户当前时刻的情绪状况，所述语音情绪模型包括离散模型或维度模型，所述离散模型输出的情绪包括愤怒、厌恶、恐惧、愉快、悲伤或惊喜，所述维度模型使用连续的唤醒度和愉悦度来表示情绪；

确定单元，用于确定与所述情绪标签相对应的应答操作，并采用与所述情绪标签相对应的应答操作与所述目标用户进行沟通，所述应答操作包括给所述目标用户发送预设的语音信息、给所述目标用户发送预设的网页链接、给所述目标用户发送多媒体文件和将所述目标用户的语音沟通转接至人工客服中的至少一种；

所述装置还用于将所述情绪标签保存至所述目标用户的用户信息内，以使客户服务中心系统根据所述目标用户的所述情绪标签制定不同的用户维护计划或营销计划。

10.如权利要求9所述的装置，其特征在于，所述情绪标签包括正面情绪标签和负面情绪标签；

所述确定单元包括：第一确定子单元和第二确定子单元；

所述第一确定子单元，用于当所述情绪标签为正面情绪标签时，通过所述机器人客服根据所述语音数据对应的内容得到答案，并输出所述答案给所述目标用户；

所述第二确定子单元，用于当所述情绪标签为负面情绪标签时，调用与所述目标用户进行沟通的预设沟通方式，所述预设沟通方式能安抚所述目标用户；

其中，所述调用与所述目标用户进行沟通的预设沟通方式包括：

将与所述目标用户的语音沟通转接至人工客服；

或

通过所述机器人客服发送能安抚所述目标用户的应答数据。

Images