CN109410986A - 一种情绪识别方法、装置及存储介质 - Google Patents
一种情绪识别方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109410986A CN109410986A CN201811388855.0A CN201811388855A CN109410986A CN 109410986 A CN109410986 A CN 109410986A CN 201811388855 A CN201811388855 A CN 201811388855A CN 109410986 A CN109410986 A CN 109410986A
- Authority
- CN
- China
- Prior art keywords
- parameter value
- voice data
- analysis
- text
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
Abstract
本发明实施例公开了一种情绪识别方法、装置及存储介质，其中，所述方法包括：获取语音数据；将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果；从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果；基于所述第一分析结果和所述第二分析结果进行情绪识别。
Description
技术领域
本发明涉及计算机领域中的数据处理技术，尤其涉及一种情绪识别方法、装置及存储介质。
背景技术
目前，绝大多数的企业会配备客服部门以提升服务质量，但由于人工智能对于客户投诉等问题的处理比较机械，因此，人工客服仍是当前的主流工作方式。
为了对客服人员进行监管，通常需要对客服人员的服务情绪进行识别，以通过情绪识别结果确定客服人员的服务质量。相关技术中，通常采用人工抽检的方式，依赖于开源情感词库，通过文本内容识别服务情绪。
然而，由于客服质检的抽样率较低，导致无法从大量的客户文本内容中提取有效信息进行情绪识别，且由于开源情感词库局限性较大，进而不能快速、有效地识别出客服人员的真实服务情绪，导致对客服人员的监管力度受限，降低客服的服务质量。针对该技术问题，相关技术尚未提出有效解决方案。
发明内容
有鉴于此，本发明实施例期望提供一种情绪识别方法、装置及存储介质，至少用以解决相关技术中难以快速、有效地识别出客服人员的真实服务情绪的问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供了一种情绪识别方法，所述方法包括：
获取语音数据；
将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果；
从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果；
基于所述第一分析结果和所述第二分析结果进行情绪识别。
上述方案中，所述对所述文本内容进行合规性分析，获得第一分析结果，包括：
解析所述文本内容，确定与所述语音数据相关联的业务类型；
根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
上述方案中，所述对所述声学特征参数进行分析，获得第二分析结果，包括：
根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；
根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
上述方案中，在所述获得对应的频域参数值和时域参数值之后，所述方法还包括：对所述频域参数值和所述时域参数值进行分类标注。
上述方案中，所述基于所述第一分析结果和所述第二分析结果进行情绪识别，包括：
在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
上述方案中，在所述获取语音数据之前，所述方法还包括：
获取包括所述语音数据的语音文件；
对所述语音文件进行预处理，得到符合设定条件的语音数据。
第二方面，本发明实施例还提供了一种情绪识别装置，所述装置包括：第一获取模块、转换模块、第一分析模块、提取模块、第二分析模块和识别模块；其中，
所述第一获取模块，用于获取语音数据；
所述转换模块，用于将所述语音数据转换成对应的文本内容；
所述第一分析模块，用于对所述文本内容进行合规性分析，获得第一分析结果；
所述提取模块，用于从所述语音数据中提取声学特征参数；
所述第二分析模块，用于对所述声学特征参数进行分析，获得第二分析结果；
所述识别模块，用于基于所述第一分析结果和所述第二分析结果进行情绪识别。
上述方案中，所述第一分析模块，具体用于：
解析所述文本内容，确定与所述语音数据相关联的业务类型；
根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
上述方案中，所述第二分析模块，具体用于：
根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；
根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
上述方案中，所述装置还包括：分类标注模块，用于在所述第二分析模块获得对应的频域参数值和时域参数值之后，对所述频域参数值和所述时域参数值进行分类标注。
上述方案中，所述识别模块，具体用于：
在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
上述方案中，所述装置还包括：
第二获取模块，用于在所述第一获取模块获取语音数据之前，获取包括所述语音数据的语音文件；
预处理模块，用于对所述语音文件进行预处理，得到符合设定条件的语音数据。
本发明实施例所提供的情绪识别方法、装置及存储介质，通过获取语音数据，将语音数据转换成对应的文本内容，对文本内容进行合规性分析，获得第一分析结果，以及从语音数据中提取声学特征参数，对声学特征参数进行分析，获得第二分析结果，最后，基于第一分析结果和第二分析结果进行情绪识别。如此，基于两个维度，即语音数据转换后的文本内容和从语音数据中提取的声学特征参数两个方面，对用户的情绪进行综合分析，分析范围广，能够快速、有效地识别出客服人员的真实服务情绪，从而根据识别的服务情绪，可以真实反应客服服务水平，提升客服服务的质量，以及提升针对客服服务的质检效率。
附图说明
图1为本发明实施例提供的一种情绪识别方法的实现流程示意图；
图2为本发明实施例提供的一种情绪识别方法的具体实现流程示意图；
图3为本发明实施例提供的一种对文本内容进行合规性分析的处理流程示意图；
图4为本发明实施例提供的一种声学特征参数分析处理流程示意图；
图5为本发明实施例提供的一种情绪识别装置的功能结构示意图；
图6为本发明实施例提供的另一种情绪识别装置的功能结构示意图；
图7为本发明实施例提供的另一种情绪识别装置的功能结构示意图；
图8为本发明实施例提供的一种情绪识别装置的硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。本领域技术人员应当理解，本发明实施例所记载的各技术方案之间，在不冲突的情况下，可以任意组合。
需要说明的是，在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
图1为本发明实施例提供的一种情绪识别方法的实现流程示意图，所述情绪识别方法可应用于服务器或终端设备中；如图1所示，本发明实施例中的情绪识别方法的实现流程，可以包括以下步骤：
步骤101：获取语音数据。
在本发明的一些实施例中，在执行本步骤101中的获取语音数据之前，所述情绪识别方法还包括：首先，获取包括所述语音数据的语音文件；然后，对所述语音文件进行预处理，得到符合设定条件的语音数据。
这里，对所述语音文件进行预处理可以包括对语音文件进行格式转换、对语音文件进行有效性分析等处理操作。需要指出的是，本发明实施例中的对语音文件进行预处理的过程中，可以根据使用需求选择执行以上处理操作中的一种或一种以上的方式。
以情绪识别方法的执行主体为终端设备为例，在本发明的一些实施例中，在终端设备获取包括语音数据的语音文件之后，可以根据使用需求先对所获取的语音文件进行格式转换，例如，将所获取的语音文件的初始格式统一转换成8K16bit的WAV格式，然后，终端设备对转换后的WAV格式的语音文件进行有效性分析，例如，检测转换后的WAV格式的语音文件中是否包括通话内容，并在确定包括通话内容时，将通话内容中小于设定时长如7秒的通话内容进行过滤，以得到有效的语音数据。
需要说明的是，所述符合设定条件的语音数据可以根据用户的使用需求进行预先设定，所述符合设定条件的语音数据可以包括符合格式转换条件的语音数据，和/或符合有效性分析条件的语音数据。也就是说，本步骤101中获取的语音数据，可以为符合格式转换条件和/或符合有效性分析条件的语音数据，这样，在对语音数据进行分析之前，对获取的包括语音数据的语音文件进行预处理操作，不仅可以满足用户的使用需求，还可以对获取的大量的语音数据进行筛选，以进一步缩小分析的语音数据的使用范围，进而提高服务情绪识别的精度和效率。
这里，所述终端设备可以包括但不限于智能手机、平板电脑、掌上电脑等电子设备。
步骤102：将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果。
在本发明实施例中，可以采用不限时转写引擎通过行业专用资源库，将语音数据转换成对应的文本内容。具体来说，可以基于灵犀云平台提供的深度全序列卷积神经网络(DFCNN，Deep Fully Convolutional Neural Network)语音识别框架，针对语音的长时相关性进行语言建模，将音频数据转换成对应的文本内容，为后续的对文本内容进行合规性分析的处理提供基础。具体表现形式为，将多种格式的播放时间长度(如5小时以内)的音频数据转换成包含时间戳、词句置信度、词属性以及句子标志的文本内容，其中，文本内容中提供分词形式以及整段文字形式的内容。
在本发明实施例中，对于本步骤102中的对所述文本内容进行合规性分析，获得第一分析结果而言，可以采用以下方式来实现：首先，解析所述文本内容，确定与所述语音数据相关联的业务类型；然后，根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
这里，所述与语音数据相关联的业务类型可以包括但不限于业务推广、业务咨询等服务项目。所述业务服务规范可以包括行业话语话术、业务服务禁忌语等。在本发明实施例中，在将获取的语音数据转换成对应的文本内容之后，可以结合行业话语话术、业务服务禁忌语、业务处理流程规则、服务规范等，对文本内容进行合规性分析，获得第一分析结果，其中，第一分析结果可以包括文本内容的合规性结果、禁忌语出现的时间标签，以及统计的规范用语的次数等结果集。
需要说明的是，以业务类型为业务推广为例，在客服人员为用户推广一项业务的业务介绍过程中，可能会出现业务服务禁忌语，此时，服务器或终端设备在对于语音数据中的业务服务禁忌语的关键词转写成文本内容时，需要对业务服务禁忌语的关键词的出现时间和频次进行时间标签和频次标签的标记，以统计出业务服务禁忌语的关键词的出现情况，实现对客服人员进行相应的监管力度。
步骤103：从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果。
在本发明实施例中，对于本步骤103中的对所述声学特征参数进行分析，获得第二分析结果而言，可以采用以下方式来实现：根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；
根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
这里，从所述语音数据中提取的声学特征参数可以包括语音数据的音色、响度、音调三大特征，通过这三大特征可以快速区分不同用户对应的语音数据。但是可以理解，本发明实施例中，还可以从语音数据中提取语速、音长等声学特征参数，在此不做具体限定。
在本发明实施例中，对于对声学特征参数在频域上进行分析而言，可以对声学特征参数在频域方向上提取多个频域参数值，例如，梅尔倒谱系数(MFCC，Mel-scaleFrequency Cepstral Coefficients)、感知线性预测(PLP，Perceptual LinearPrediction)、共振峰等参数值。对于对声学特征参数在时域上进行分析而言，可以对声学特征参数在时域方向上提取多个时域参数值，例如，短时能量、短时平均幅度、短时过零率等参数值。这里，可以将参数值的频域封装规范理解为提取频域参数值的公式，可以将参数值的时域封装规范理解为提取时域参数值的公式，也即本发明实施例可以通过提取频域参数值的公式，对声学特征参数在频域提取多个频域参数值；通过提取时域参数值的公式，对声学特征参数在时域提取多个时域参数值。
在本发明的一些实施例中，在所述获得对应的频域参数值和时域参数值之后，所述情绪识别方法还可以包括：对所述频域参数值和所述时域参数值进行分类标注。
需要说明的是，通过对频域参数值和时域参数值进行分类标注，可以更加准确的分析和统计频域参数值和时域参数值对应的数值，便于精确确定频域参数值和时域参数值所处的区间范围，从而提高情绪识别的准确性。
步骤104：基于所述第一分析结果和所述第二分析结果进行情绪识别。
在本发明实施例中，对于本步骤104中的基于所述第一分析结果和所述第二分析结果进行情绪识别来说，可以采用以下方式来实现：
在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
这里，将情绪分为愉悦、中立、厌烦、生气、愤怒五种类型，可以将“愉悦”情绪作为客服人员的良好服务的衡量标准，也可以将“厌烦、生气、愤怒”作为对客服人员的服务情绪的考核指标。也就是说，在确定与频域参数值和时域参数值当前所处的区间范围对应的情绪之后，本发明实施例还可以根据预先设定的情绪衡量标准或情绪考核指标，对客服人员的服务情绪进行客观评价，实现对客服人员进行相应的监管力度，提升客服服务的质量。
在本发明实施例中，将提取的声学特征参数导入至深度学习平台中，基于深度学习算法获取声学特征参数分析模型，通过声学特征参数分析模型，对所述声学特征参数在频域和时域上分别进行分析，获得第二分析结果。
采用本发明实施例的技术方案，基于两个维度，即语音数据转换后的文本内容和从语音数据中提取的声学特征参数两个方面，对用户的情绪进行综合分析，分析范围广，能够快速、有效地识别出客服人员的真实服务情绪，从而根据识别的服务情绪，可以真实反应客服服务水平，提升客服服务的质量，以及提升客服服务的质检效率。
下面结合附图对本发明实施例中提供的情绪识别方法的具体实现过程做进一步地详细说明。
图2为本发明实施例提供的一种情绪识别方法的具体实现流程示意图，所述情绪识别方法可应用于服务器或终端设备中；如图2所示，所述情绪识别方法的具体实现流程，可以包括以下步骤：
步骤201：获取客服服务的语音文件。
步骤202：对语音文件进行预处理，得到符合设定条件的语音数据。
这里，对语音文件进行预处理可以包括对语音文件进行格式转换、对语音文件进行有效性分析等处理操作中的一种或一种以上的方式，在此不做限定。
以情绪识别方法的执行主体为终端设备为例，在本发明的一些实施例中，在终端设备获取包括语音数据的语音文件之后，可以根据使用需求先对所获取的语音文件进行格式转换，例如，将所获取的语音文件的初始格式统一转换成8K16bit的WAV格式，然后，终端设备对转换后的WAV格式的语音文件进行有效性分析，例如，检测转换后的WAV格式的语音文件中是否包括通话内容，并在确定包括通话内容时，将通话内容中小于设定时长如7秒的通话内容进行过滤，以得到有效的语音数据。
步骤203：将获得的语音数据分发至语音转写处理流程。
步骤204：将语音数据转换成对应的文本内容。
这里，可以采用不限时转写引擎通过行业专用资源库，将语音数据转换成对应的文本内容。
步骤205：对文本内容进行合规性分析，获得第一分析结果，跳转至步骤209。
参见图3，图3为本发明实施例提供的一种对文本内容进行合规性分析的处理流程示意图，首先，基于行业专用资源库，采用转写引擎将语音数据转换成对应的文本内容；然后，解析该文本内容，确定与语音数据相关联的业务类型；最后，结合业务知识库、行业话语话术、业务服务禁忌语、业务处理流程规则等，对该文本内容的合规性进行分析，获得文本内容的合规性结果、禁忌语出现的时间标签，以及统计的规范用语的次数等结果集。
以业务类型为业务推广为例，对文本内容的合规性分析进行说明。实际应用中，客服人员接听和拨打电话的过程中，均需要按照服务规范，业务处理流程规则，业务服务禁忌语等开展。举例说明客服人员为用户推广一项业务，例如，“X先生，您好！我是XX公司工作人员，现打电话给您是向您表示感谢的，因为过去一段时间以来，您每月的消费都超过了XXX元，谢谢您对移动的支持！为了向您表示感谢，我有责任将移动公司最新的优惠方案告诉您，在较少收费的基础上享有更多的流量服务。”然后，客服人员需要给客户介绍现有的业务和新推荐业务的优劣势，并且要明确咨询客户“如果您需要，我现在就可以给您办理，稍后您可以收到短信通知，并再次确认是否需要退回。”在业务介绍过程中，可能会出现业务服务禁忌语、服务规范、电话业务办理流程等各个要点。其中，服务器或终端设备在对于语音数据中的业务服务禁忌语的关键词转写成文本内容时，需要对业务服务禁忌语的关键词的出现时间和频次进行时间标签和频次标签的标记，以统计出业务服务禁忌语的关键词的出现情况，实现对客服人员进行相应的监管力度。
表1为对文本内容进行合规性分析的结果集示意，如表1所示：
表1
步骤206：与步骤203同步执行，将获得的语音数据分发至声学特征处理流程。
步骤207：从语音数据中提取声学特征参数。
本发明实施例提供的情绪识别方法，不仅基于语音数据转换后的文本内容的维度，对用户的情绪进行分析，还基于从语音数据中提取的声学特征参数的维度，对用户的情绪进行分析。这样，基于语音数据转换后的文本内容的维度，对文本内容进行合规性分析，可以直接分析出文本内容是否包括违规项，针对语音数据开展声学特征参数的分析，基于声音本身特征分析出声学特征结果。
这里，从语音数据中提取的声学特征参数可以包括语音数据的音色、响度、音调、语速、音长等声学特征参数。
步骤208：对声学特征参数进行分析，获得第二分析结果。
这里，可以通过提取频域参数值的公式，对声学特征参数在频域提取多个频域参数值；通过提取时域参数值的公式，对声学特征参数在时域提取多个时域参数值。具体来说，对声学特征参数可以在频域提取84个频域参数值，例如，MFCC、PLP和共振峰等参数值，对声学特征参数可以在时域提取9个时域参数值，例如，短时能量、短时平均幅度、短时过零率等参数值。
例如，以时域参数值为短时能量为例，通过公式可以提取时域参数值En，其中，m表示采样点的数量，m的取值范围为0至N-1；中的n表示语音数据的帧，En表示对第n帧的第m个采样点进行平方求和获得的短时能量值。
参见图4，图4为本发明实施例提供的一种声学特征参数分析处理流程示意图，首先，从语音数据中提取声学特征参数，例如音色、响度、音调、语速、音长等，然后，对每个声学特征参数分别在时域上提取9个时域参数值，在频域上提取84个频域参数值，再对提取的时域参数值进行时域分析，以及对提取的频域参数值进行频域分析，基于时域参数值的标准区间范围和提取的时域参数值当前所处的区间范围，确定时域参数结果，基于频域参数值的标准区间范围和提取的频域参数值当前所处的区间范围，确定频域参数结果；最后，通过深度学习算法，将时域参数结果和频域参数结果通过声学特征参数分析模型进行分析。
步骤209：基于第一分析结果和第二分析结果进行综合判别，得到情绪识别结果。
这里，对于本步骤209的实现过程，可以采用以下方式来实现：在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
需要说明的是，所述情绪识别结果可以包括愉悦、中立、厌烦、生气、愤怒五种类型中的任一种类型。
在本发明的一些实施例中，在确定与频域参数值和时域参数值当前所处的区间范围对应的情绪之后，还可以根据预先设定的情绪衡量标准或情绪考核指标，对客服人员的服务情绪进行客观评价，实现对客服人员进行相应的监管力度，提升客服服务的质量。
例如，在对文本内容进行合规性分析的结果为合规时，分析语音数据的时域参数值和频域参数值，比如分析出短时能量为55，短时过零率为3，短时平均幅度为40，基音比例在80％左右，泛音比例在20％左右等，根据频域参数值和时域参数值的标准区间范围，与情绪之间的对应关系，则可以确定当前客服人员的服务情绪为愉悦。
为了实现上述情绪识别方法，本发明实施例还提供了一种情绪识别装置，所述情绪识别装置可应用于服务器或终端设备中，图5为本发明实施例提供的一种情绪识别装置的功能结构示意图；如图5所示，所述情绪识别装置包括：第一获取模块51、转换模块52、第一分析模块53、提取模块54、第二分析模块55和识别模块56。下面对上述各程序模块的功能分别进行说明。
所述第一获取模块51，用于获取语音数据；
所述转换模块52，用于将所述语音数据转换成对应的文本内容；
所述第一分析模块53，用于对所述文本内容进行合规性分析，获得第一分析结果；
所述提取模块54，用于从所述语音数据中提取声学特征参数；
所述第二分析模块55，用于对所述声学特征参数进行分析，获得第二分析结果；
所述识别模块56，用于基于所述第一分析结果和所述第二分析结果进行情绪识别。
在本发明实施例中，对于所述第一分析模块53对所述文本内容进行合规性分析，获得第一分析结果来说，可以采用以下方式来实现：
解析所述文本内容，确定与所述语音数据相关联的业务类型；
根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
在本发明实施例中，对于所述第二分析模块55对所述声学特征参数进行分析，获得第二分析结果来说，可以采用以下方式来实现：
根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；
根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
在本发明实施例中，对于所述识别模块56基于所述第一分析结果和所述第二分析结果进行情绪识别而言，可以采用以下方式来实现：
在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
在本发明的一些实施例中，图6为本发明实施例提供的另一种情绪识别装置的功能结构示意图，如图6所示，所述情绪识别装置还包括：
分类标注模块57，用于在所述第二分析模块55获得对应的频域参数值和时域参数值之后，对所述频域参数值和所述时域参数值进行分类标注。
在本发明的一些实施例中，图7为本发明实施例提供的另一种情绪识别装置的功能结构示意图，如图7所示，所述情绪识别装置还包括：
第二获取模块58，用于在所述第一获取模块51获取语音数据之前，获取包括所述语音数据的语音文件；
预处理模块59，用于对所述语音文件进行预处理，得到符合设定条件的语音数据。
需要说明的是：上述实施例提供的情绪识别装置在对客服人员的服务情绪进行识别时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将情绪识别装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的情绪识别装置与情绪识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再详细赘述。
在实际应用中，所述情绪识别装置中的第一获取模块51和第二获取模块58，可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线等实现；所述转换模块52、第一分析模块53、提取模块54、第二分析模块55、识别模块56、分类标注模块57和预处理模块59均可由位于服务器或终端设备上的中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)或现场可编程门阵列(FPGA，Field Programmable GateArray)等实现。
为了实现上述情绪识别方法，本发明实施例还提供了一种情绪识别装置的硬件结构。现在将参考附图描述实现本发明实施例的情绪识别装置，所述情绪识别装置可以以各种形式来实施，例如以服务器(如云服务器)、终端设备(如台式机电脑、笔记本电脑、智能手机等各种类型的计算机设备)的方式来实施。下面对本发明实施例的情绪识别装置的硬件结构做进一步说明，可以理解，图8仅仅示出了情绪识别装置的示例性结构而非全部结构，根据需要可以实施图8示出的部分结构或全部结构。
参见图8，图8为本发明实施例提供的一种情绪识别装置的硬件结构示意图，实际应用中可以应用于前述运行应用程序的各种服务器或终端设备，图8所示的情绪识别装置800包括：至少一个处理器801、存储器802、用户接口803和至少一个网络接口804。所述情绪识别装置800中的各个组件通过总线系统805耦合在一起。可以理解，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统805。
其中，用户接口803可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器802可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。
本发明实施例中的存储器802用于存储各种类型的数据以支持情绪识别装置800的操作。这些数据的示例包括：用于在情绪识别装置800上操作的任何计算机程序，如可执行程序8021和操作系统8022，实现本发明实施例的情绪识别方法的程序可以包含在可执行程序8021中。
本发明实施例揭示的情绪识别方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述情绪识别方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器801可以实现或者执行本发明实施例中提供的各情绪识别方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的情绪识别方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成本发明实施例提供的情绪识别方法的步骤。
在本发明实施例中，所述情绪识别装置800包括存储器802、处理器801及存储在存储器802上并能够由所述处理器801运行的可执行程序8021，所述处理器801运行所述可执行程序8021时实现：获取语音数据；将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果；从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果；基于所述第一分析结果和所述第二分析结果进行情绪识别。
作为一种实施方式，所述处理器801运行所述可执行程序8021时实现：解析所述文本内容，确定与所述语音数据相关联的业务类型；根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
作为一种实施方式，所述处理器801运行所述可执行程序8021时实现：根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
作为一种实施方式，所述处理器801运行所述可执行程序8021时实现：在所述获得对应的频域参数值和时域参数值之后，对所述频域参数值和所述时域参数值进行分类标注。
作为一种实施方式，所述处理器801运行所述可执行程序8021时实现：在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
作为一种实施方式，所述处理器801运行所述可执行程序8021时实现：在所述获取语音数据之前，获取包括所述语音数据的语音文件；对所述语音文件进行预处理，得到符合设定条件的语音数据。
在示例性实施例中，本发明实施例还提供了一种存储介质，所述存储介质可为光盘、闪存或磁盘等存储介质，可选为非瞬间存储介质。
在本发明实施例中，所述存储介质上存储有可执行程序8021，所述可执行程序8021被处理器801执行时实现：获取语音数据；将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果；从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果；基于所述第一分析结果和所述第二分析结果进行情绪识别。
作为一种实施方式，所述可执行程序8021被处理器801执行时实现：解析所述文本内容，确定与所述语音数据相关联的业务类型；根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
作为一种实施方式，所述可执行程序8021被处理器801执行时实现：根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
作为一种实施方式，所述可执行程序8021被处理器801执行时实现：在所述获得对应的频域参数值和时域参数值之后，对所述频域参数值和所述时域参数值进行分类标注。
作为一种实施方式，所述可执行程序8021被处理器801执行时实现：在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
作为一种实施方式，所述可执行程序8021被处理器801执行时实现：在所述获取语音数据之前，获取包括所述语音数据的语音文件；对所述语音文件进行预处理，得到符合设定条件的语音数据。
综上所述，本发明实施例所提供的情绪识别方法具有以下有益效果：基于两个维度，即语音数据转换后的文本内容和从语音数据中提取的声学特征参数两个方面，对用户的情绪进行综合分析，分析范围广，能够快速、有效地识别出客服人员的真实服务情绪，从而根据识别的服务情绪，可以真实反应客服服务水平，提升客服服务的质量，以及提升针对客服服务的质检效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或可执行程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的可执行程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和可执行程序产品的流程图和/或方框图来描述的。应理解可由可执行程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些可执行程序指令到通用计算机、专用计算机、嵌入式处理机或参考可编程数据处理设备的处理器以产生一个机器，使得通过计算机或参考可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些可执行程序指令也可存储在能引导计算机或参考可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些可执行程序指令也可装载到计算机或参考可编程数据处理设备上，使得在计算机或参考可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或参考可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种情绪识别方法，其特征在于，所述方法包括：
获取语音数据；
将所述语音数据转换成对应的文本内容，对所述文本内容进行合规性分析，获得第一分析结果；
从所述语音数据中提取声学特征参数，对所述声学特征参数进行分析，获得第二分析结果；
基于所述第一分析结果和所述第二分析结果进行情绪识别。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述对所述文本内容进行合规性分析，获得第一分析结果，包括：
解析所述文本内容，确定与所述语音数据相关联的业务类型；
根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
3.根据权利要求1所述的情绪识别方法，其特征在于，所述对所述声学特征参数进行分析，获得第二分析结果，包括：
根据参数值的频域封装规范，对所述声学特征参数在频域上进行分析，获得对应的频域参数值；
根据参数值的时域封装规范，对所述声学特征参数在时域上进行分析，获得对应的时域参数值。
4.根据权利要求3所述的情绪识别方法，其特征在于，在所述获得对应的频域参数值和时域参数值之后，所述方法还包括：
对所述频域参数值和所述时域参数值进行分类标注。
5.根据权利要求3所述的情绪识别方法，其特征在于，所述基于所述第一分析结果和所述第二分析结果进行情绪识别，包括：
在所述第一分析结果表征所述文本内容的合规性结果为合规时，确定所述频域参数值和所述时域参数值当前所处的区间范围；
根据设定的所述频域参数值和所述时域参数值的标准区间范围，与情绪之间的对应关系，确定与所述频域参数值和所述时域参数值当前所处的区间范围对应的情绪。
6.根据权利要求1所述的情绪识别方法，其特征在于，在所述获取语音数据之前，所述方法还包括：
获取包括所述语音数据的语音文件；
对所述语音文件进行预处理，得到符合设定条件的语音数据。
7.一种情绪识别装置，其特征在于，所述装置包括：第一获取模块、转换模块、第一分析模块、提取模块、第二分析模块和识别模块；其中，
所述第一获取模块，用于获取语音数据；
所述转换模块，用于将所述语音数据转换成对应的文本内容；
所述第一分析模块，用于对所述文本内容进行合规性分析，获得第一分析结果；
所述提取模块，用于从所述语音数据中提取声学特征参数；
所述第二分析模块，用于对所述声学特征参数进行分析，获得第二分析结果；
所述识别模块，用于基于所述第一分析结果和所述第二分析结果进行情绪识别。
8.根据权利要求7所述的情绪识别装置，其特征在于，所述第一分析模块，具体用于：
解析所述文本内容，确定与所述语音数据相关联的业务类型；
根据所述业务类型对应的业务服务规范和业务处理流程规则，对所述文本内容的合规性进行分析，确定获得的对应的分析结果为所述第一分析结果。
9.一种情绪识别装置，包括存储器、处理器及存储在存储器上并能够由所述处理器运行的可执行程序，其特征在于，所述处理器运行所述可执行程序时执行如权利要求1至6任一项所述的情绪识别方法的步骤。
10.一种存储介质，其上存储有可执行程序，其特征在于，所述可执行程序被处理器执行时实现如权利要求1至6任一项所述的情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811388855.0A CN109410986B (zh) | 2018-11-21 | 2018-11-21 | 一种情绪识别方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811388855.0A CN109410986B (zh) | 2018-11-21 | 2018-11-21 | 一种情绪识别方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410986A true CN109410986A (zh) | 2019-03-01 |
| CN109410986B CN109410986B (zh) | 2021-08-06 |
Family
ID=65474410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811388855.0A Active CN109410986B (zh) | 2018-11-21 | 2018-11-21 | 一种情绪识别方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410986B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754648A (zh) * | 2019-03-06 | 2019-05-14 | 北京大学第一医院 | 一种分析临床访谈质量的教学方法及装置 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN111354377A (zh) * | 2019-06-27 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 通过声音识别情绪的方法及装置、电子设备 |
| CN112468659A (zh) * | 2020-11-20 | 2021-03-09 | 平安普惠企业管理有限公司 | 应用于电话客服的质量评价方法、装置、设备及存储介质 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| CN105975514A (zh) * | 2016-04-28 | 2016-09-28 | 朱宇光 | 一种自动质检方法及系统 |
| US20170076740A1 (en) * | 2015-09-14 | 2017-03-16 | Cogito Corporation | Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices |
| CN106776806A (zh) * | 2016-11-22 | 2017-05-31 | 广东电网有限责任公司佛山供电局 | 呼叫中心质检语音的评分方法和系统 |
| CN107204195A (zh) * | 2017-05-19 | 2017-09-26 | 四川新网银行股份有限公司 | 一种基于情绪分析的智能质检方法 |
| CN107945790A (zh) * | 2018-01-03 | 2018-04-20 | 京东方科技集团股份有限公司 | 一种情感识别方法和情感识别系统 |
-
2018
- 2018-11-21 CN CN201811388855.0A patent/CN109410986B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| US20170076740A1 (en) * | 2015-09-14 | 2017-03-16 | Cogito Corporation | Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices |
| CN105975514A (zh) * | 2016-04-28 | 2016-09-28 | 朱宇光 | 一种自动质检方法及系统 |
| CN106776806A (zh) * | 2016-11-22 | 2017-05-31 | 广东电网有限责任公司佛山供电局 | 呼叫中心质检语音的评分方法和系统 |
| CN107204195A (zh) * | 2017-05-19 | 2017-09-26 | 四川新网银行股份有限公司 | 一种基于情绪分析的智能质检方法 |
| CN107945790A (zh) * | 2018-01-03 | 2018-04-20 | 京东方科技集团股份有限公司 | 一种情感识别方法和情感识别系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754648A (zh) * | 2019-03-06 | 2019-05-14 | 北京大学第一医院 | 一种分析临床访谈质量的教学方法及装置 |
| CN110347823A (zh) * | 2019-06-06 | 2019-10-18 | 平安科技（深圳）有限公司 | 基于语音的用户分类方法、装置、计算机设备及存储介质 |
| CN111354377A (zh) * | 2019-06-27 | 2020-06-30 | 深圳市鸿合创新信息技术有限责任公司 | 通过声音识别情绪的方法及装置、电子设备 |
| CN112468659A (zh) * | 2020-11-20 | 2021-03-09 | 平安普惠企业管理有限公司 | 应用于电话客服的质量评价方法、装置、设备及存储介质 |
| CN112468659B (zh) * | 2020-11-20 | 2022-10-25 | 平安普惠企业管理有限公司 | 应用于电话客服的质量评价方法、装置、设备及存储介质 |
| CN115169325A (zh) * | 2022-09-06 | 2022-10-11 | 平安银行股份有限公司 | 一种对话质检方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410986B (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410986A (zh) | 一种情绪识别方法、装置及存储介质 | |
| WO2021174757A1 (zh) | 语音情绪识别方法、装置、电子设备及计算机可读存储介质 | |
| CN108428446A (zh) | 语音识别方法和装置 | |
| Wu et al. | Automatic speech emotion recognition using modulation spectral features | |
| US20200075024A1 (en) | Response method and apparatus thereof | |
| CN110457432A (zh) | 面试评分方法、装置、设备及存储介质 | |
| WO2022178969A1 (zh) | 语音对话数据处理方法、装置、计算机设备及存储介质 | |
| CN110019962B (zh) | 一种视频文案信息的生成方法及装置 | |
| CN109256138A (zh) | 身份验证方法、终端设备及计算机可读存储介质 | |
| US11810546B2 (en) | Sample generation method and apparatus | |
| CN105810205A (zh) | 一种语音处理方法及装置 | |
| CN111177350A (zh) | 智能语音机器人的话术形成方法、装置和系统 | |
| CN108877779B (zh) | 用于检测语音尾点的方法和装置 | |
| CN112966082A (zh) | 音频质检方法、装置、设备以及存储介质 | |
| CN109714608A (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
| Wang et al. | Speech emotion recognition based on wavelet packet coefficient model | |
| CN111243595A (zh) | 信息处理方法和装置 | |
| CN113257283A (zh) | 音频信号的处理方法、装置、电子设备和存储介质 | |
| CN108269574A (zh) | 语音信号处理方法及装置、存储介质、电子设备 | |
| CN110889008B (zh) | 一种音乐推荐方法、装置、计算装置和存储介质 | |
| CN108962226B (zh) | 用于检测语音的端点的方法和装置 | |
| Vrysis et al. | Mobile audio intelligence: From real time segmentation to crowd sourced semantics | |
| CN114495977A (zh) | 语音翻译和模型训练方法、装置、电子设备以及存储介质 | |
| CN112735479A (zh) | 语音情绪识别方法、装置、计算机设备和存储介质 | |
| CN108597497B (zh) | 一种字幕语音精准同步系统及方法、信息数据处理终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |