CN114171063A - 一种实时话务客户情绪分析辅助方法及系统 - Google Patents

Abstract

本发明涉及通信技术领域，是一种实时话务客户情绪分析辅助方法及系统，其中，该方法包括采集实时话务通话数据，提取客户语音数据；对所述客户语音数据进行分析，提取其声音特性数据，并给出语音情绪值；将客户语音数据转换为文本数据，并依据所述声音特性数据对所述文本数据进行断句，对断句后的文本数据进行分析得到语义情绪值；依据所述综合情绪值给出客户情绪判定结果并进行预警。由此，本发明实施例可以实现。

Description

一种实时话务客户情绪分析辅助方法及系统

技术领域

本发明涉及通信技术领域，更具体地，涉及一种实时话务客户情绪分析辅助方法及系统。

背景技术

人的语音作为沟通的工具，同时也是情感表达的重要途径。在语音中通过节奏、速度、音高、音调等手段表达不同的情绪和情感。通过音频属性识别其情绪好坏，也是其重要特色功能。在语音情绪识别的现有技术中，很多都是单纯的通过纯语音或纯文本的方法去判断话者的说话情感，但很多时候人的情感体现在语音和语义两个部分中，现有的方案很难全面、准确。本方案的特点是综合了语音和语义两部分的判定结果，得到相对真实可靠的综合结论。

情绪识别模型通过对通话语音数据库的训练集进行标注和训练，可以获得专项的情绪识别模型，基于此对采集到的声音信息做相应的情绪识别判定给出语音情绪值。

文本分析技术(Text Analyze)是一套针对汉字文本数据进行分析的技术，利用自然语言处理技术，让计算机具备文字理解和分析能力，帮助客户自动化处理海量文本数据，提升文字处理效率和文本挖掘深度，实现对文本文本的全覆盖、高精准度的统计分析。通过对客户语音数据转换呈的文本数据进行分析，可以得到客户语言语义表达的语义情绪值。

将语音情绪值和语义情绪值的内容结合起来，基于科学的加权系数，综合判定客户情绪的综合情绪值。更加精准有效的给出判定，避免了片面、独立的判定依据，通过对训练集的标注和训练，可以获得专项的情绪识别模型，基于此对采集到的声音信息做相应的情绪识别判定。

模态(Modality)，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。多模态机器学习，英文全称MultiModal Machine Learning(MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。将多模态机器学习成果运用在本发明中，可以更好的处理语音情绪值和语义情绪值的综合判定。

长短时记忆神经网络LSTM(Long Short–Term Memory)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。本发明基于LSTM神经网络算法实现对文本的情绪分析，得到更可靠的分析结果。

发明内容

有鉴于此，本发明实施例提供一种实时话务客户情绪分析辅助方法及系统，以实现对客户情绪的实时监测预警，辅助客服人员更好的为客户服务。

第一方面，本发明实施例提供一种实时话务客户情绪分析辅助方法，所述方法包括：

采集实时话务通话语音数据，并提取其中客户语音数据；

提取所述客户语音数据的声音特性数据，根据情绪识别模型以及所述声音特性数据，确定所述客户语音数据的语音情绪值；

将所述客户语音数据转换为文本数据，并依据所述声音特性数据对所述文本数据进行断句，利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值；

将所述语音情绪值和语义情绪值进行多模态加权组合，得出综合情绪值，依据所述综合情绪值确定客户情绪判定结果，并将所述判定结果推送给客服人员进行客户情绪预警。

可选的，所述方法还包括：

利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值的步骤包括：

利用字向量构建待分析的断句后的文本数据的文本向量；

将所述文本向量转入情感分析模型中进行计算，确定待分析文本属于正负两极情感的概率；

取正负两极情感概率大的一种情感做为文本情绪识别模型的最终语义情绪值。

可选的，所述声音特性数据至少包括以下一种：语音的节奏、速度、音高、音调。

可选的，所述客户情绪预警的方法至少包括以下一种：语音告警提示、客户情绪画像弹窗提醒。

可选的，所述提取其中客户语音数据的步骤包括：

获取客户性别信息，根据所述客户性别信息提取采集到的实时话务通话语音数据中的客户语音数据。

第二方面，本发明实施例提供一种客户情绪分析辅助系统，其特征在于，包括：

语音获取模块，抓取实时话务中的客户语音；

声音特性提取模块，提取客户语音中的声纹特性和文本数据；

情绪识别模块，分析声纹特性和文本数据，识别客户的综合语音情绪值；

情绪推送模块，依据情绪识别模块识别的客户综合情绪值，对比客户情绪状态数据库，将对比后的结果进行预警。

可选的，所述情绪识别模块有包括声纹特性分析模块和文本数据分析模块。

可选的，所述声音特性提取模块和所述情绪识别模块设置于云服务端。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项的适于多用户能源信息管理的系统。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述任一项的适于客户情绪分析辅助系统的系统。

由此，本发明实施例可以实现建立实时话务客户情绪监控的动态模型，通过定量的指标分析，给出客户情绪的风险评估和提示，对提高服务质量，降低现有风险管控成本并提高效率有着重要的作用。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是根据本发明一实施例的客户情绪分析方法的流程图；

图2是根据本发明一实施例的语义情绪识别方法的流程图；

图3是根据本发明一实施例的客户情绪分析辅助系统架构图。

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是根据本发明一实施例的一种实时话务客户情绪分析辅助方法的示意图，如图1所示，本发明实施例的实时话务客户情绪分析辅助方法主要包括：

S101,采集实时话务通话语音数据，并提取其中客户语音数据。具体的，从客户与客服的实时通话中或一个服务窗口的对话过程中，采集实时话务通话语音数据，并提取其中客户语音数据，只提取实时通话中客户的语音数据，后续的分析仅针对客户情绪分析。

S102，提取客户语音数据的声音特性数据，确定客户的语音情绪值。具体的，提取所述客户语音数据的声音特性数据，根据情绪识别模型以及所述声音特性数据，确定所述客户语音数据的语音情绪值，在沟通过程中语音的节奏、速度、音高和音调等可以表达出情绪的状况；所述声音特性数据包括语音的节奏、速度、音高、音调。通过对现有通话语音数据库的训练集进行标注和训练，可以搭建专项的情绪识别模型，基于此对提取的客户的语音数据的声音信息做相应的情绪识别，给出客户语音数据的语音情绪值。可选的，声音特性数据还可以包括性别，则通过性别信息的识别，可更精准的判断出客户的情绪。

S103，将客户语音数据转换为文本数据，利用LSTM神经网络算法得到客户的语义情绪值。具体的，将所述客户语音数据转换为文本数据，并依据所述声音特性数据对所述文本数据进行断句，利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值。本实施例中语音数据转换为文本数据可由本领域人员根据需要采用任意适当的可以实现的方式进行，本发明对该方式不做具体限制，可通过自动语音识别技术将获取的客户语音数据转换为文本数据。将所述文本数据依据声音特性包括停顿、重读等特征对文本数据进行断句处理，将一整段文本拆分为多个短句。利用LSTM神经网络算法对上述拆分好的短句进行语义情绪分析，生成语义情绪值。

S104，将语音情绪值和语义情绪值进行多模态加权组合，得出客户的综合情绪值，依据综合情绪值确定客户情绪的判定结果，并将判定结果推送给客服人员。具体的，将所述语音情绪值和语义情绪值进行多模态加权组合，得出综合情绪值，依据所述综合情绪值确定客户情绪判定结果，并将所述判定结果推送给客服人员进行客户情绪预警。本实施例中将所述语音情绪值和语义情绪值作为所述客户语音数据的两种模态，将声音和文本内容结合起来，基于多模态加权组合给出语音情绪值和语义情绪值的综合判定情绪结果，避免了文字语义或语音情绪片面、独立性，给出了相对真实可靠的综合判定结果。本实施例中对客户情绪预警的过程不做具体的限制，可以是语音告警提醒(客户有负面情绪、客户情绪良好等)、客户情绪画像弹窗提醒(在客服电脑上推送表示客户情绪的画像：客户笑脸、客户哭脸等)等多种模式对客服人员进行客户情绪提醒。其中，客服人员可以为虚拟人员，虚拟客服人员可自动根据判定结果，选择对应情绪下的反馈，例如，在客户情绪判定结果为急切(时间紧急或者需求非常明确不需要其他服务)的情况下，假如客户的需求是急切查余额，虚拟客服人员可简洁回复“您的余额为70，可通过服务键充值或者点击充值链接充值，充值链接已发送给您”；在客户情绪判定结果为舒缓(时间充足或者需求不太明确或者不太容易理解服务内容)的情况下，假如客户的需求是舒缓查余额，虚拟客服人员可回复“非常开心能为您服务，您的余额为70，如果您想要充值，可选择线上充值或者线下充值，线上充值的方式包括可通过按对应服务键充值，或者通过发您的充值链接进行充值；如若您选择线下充值的话，可把线下充值地址发送给您”。进而，虚拟客户人员根据判定结果提供自动化服务，可避免因客户太多导致客户等待的问题。

图2是根据本发明一实施例的语义情绪识别方法的流程图，如图2所示，本发明实施例利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值的步骤包括：

S201，利用已有的字向量构建待分析的断句后的文本数据的文本向量。本实施例的一种方式将获取的所述断句后的文本数据，利用LSTM神经网络算法进行标记，获得文本数据的文本向量。

S202，将所述文本向量转入情感分析模型中进行计算，确定待分析文本属于正负两极情感的概率。

S203，取正负两极情感概率大的一种情感做为文本情绪识别模型的最语义情绪值。

更优地，所述客户情绪预警的方法至少包括以下一种：语音告警提示、客户情绪画像弹窗提醒。本实施例的一种可以设置语音告警提示为当检测出客户情绪时在客服人员方播放语音信息提醒，如“客户情绪异常，有投诉倾向”、“客户情绪激动，有争议倾向”；客户情绪画像弹窗提醒可以是对有异常情绪的客户用“哭脸”、“生气脸”的表情符号以弹窗的形式推送至客服人员电脑端。

更优地，所述提取其中客户语音数据的步骤包括：获取客户性别信息，根据所述客户性别信息提取采集到的实时话务通话语音数据中的客户语音。采集到的数据可能包括多个声音，例如夫妻一起办业务或者附近客户的杂音，其会包含不同性别的数据，可通过性别对采集的数据进行初步筛选。客户性别信息可以是客服一开始输入的，也可以是开始服务客户的时候，客户输入的；或者，根据服务历史统计初步确定性别。

图3是根据本发明一实施例的客户情绪分析辅助系统架构图，所诉客户情绪分析辅助系统包括：

语音获取模块，抓取实时话务中的客户语音；

声音特性提取模块，提取客户语音中的声纹特性和文本数据；

情绪识别模块，分析声纹特性和文本数据，识别客户的综合语音情绪值；

情绪推送模块，依据情绪识别模块识别的客户综合情绪值，对比客户情绪状态数据库，将对比后的结果进行预警。

更优地，所述情绪识别模块有包括声纹特性分析模块和文本数据分析模块。声纹特性分析模块依据语音数据中的节奏、速度、音高和音调来得到语音情绪值；文本数据分析模块依据语音数据转化成的文本数据进行分析得到语义情绪值。

更优地，所述声音特性提取模块和所述情绪识别模块设置于云服务端。将声音特性提取模块和所述情绪识别模块设置于云服务端中可以实现云存储的大数据管理，且处理模块和流程在云端进行，不增加硬件成本。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

图4示出了可以应用本发明实施例的实时话务客户情绪分析辅助方法及系统的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本发明实施例所提供的实时话务客户情绪分析辅助方法一般由服务器405执行，相应地，实时话务客户情绪分析辅助系统一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备实现多语种的配置，以及智能识别输入的语音指令、图像指令或文本指令，并且针对不同的账户操作生成对应的操作权限，提高了账户处理的安全性。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实时话务客户情绪分析辅助方法，其特征在于，包括以下步骤：

采集实时话务通话语音数据，并提取其中客户语音数据；

提取所述客户语音数据的声音特性数据，根据情绪识别模型以及所述声音特性数据，确定所述客户语音数据的语音情绪值；

将所述客户语音数据转换为文本数据，并依据所述声音特性数据对所述文本数据进行断句，利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值；

将所述语音情绪值和语义情绪值进行多模态加权组合，得出综合情绪值，依据所述综合情绪值确定客户情绪判定结果，并将所述判定结果推送给客服人员进行客户情绪预警。

2.根据权利要求1所述的方法，其特征在于，利用LSTM神经网络算法对断句后的文本数据进行分析得到语义情绪值的步骤包括：

利用字向量构建待分析的断句后的文本数据的文本向量；

将所述文本向量转入情感分析模型中进行计算，确定待分析文本属于正负两极情感的概率；

取正负两极情感概率大的一种情感做为文本情绪识别模型的最终语义情绪值。

3.根据权利要求1或2权利要求所述的方法，其特征在于，所述声音特性数据至少包括以下一种：语音的节奏、速度、音高、音调。

4.根据权利要求1或2权利要求所述的方法，其特征在于，所述客户情绪预警的方法至少包括以下一种：语音告警提示、客户情绪画像弹窗提醒。

5.根据权利要求1或2权利要求所述的方法，其特征在于，所述提取其中客户语音数据的步骤包括：

获取客户性别信息，根据所述客户性别信息提取采集到的实时话务通话语音数据中的客户语音数据。

6.一种客户情绪分析辅助系统，其特征在于，包括：

语音获取模块，抓取实时话务中的客户语音；

声音特性提取模块，提取客户语音中的声纹特性和文本数据；

情绪识别模块，分析声纹特性和文本数据，识别客户的综合语音情绪值；

情绪推送模块，依据情绪识别模块识别的客户综合情绪值，对比客户情绪状态数据库，将对比后的结果进行预警。

7.根据权利要求6所述的系统，其特征在于，所述情绪识别模块包括声纹特性分析模块和文本数据分析模块。

8.根据权利要求6所述的系统，其特征在于，所述声音特性提取模块和所述情绪识别模块设置于云服务端。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images