CN117497009A - 一种语音情感识别方法、装置、电子设备和存储介质 - Google Patents
一种语音情感识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117497009A CN117497009A CN202311757313.7A CN202311757313A CN117497009A CN 117497009 A CN117497009 A CN 117497009A CN 202311757313 A CN202311757313 A CN 202311757313A CN 117497009 A CN117497009 A CN 117497009A
- Authority
- CN
- China
- Prior art keywords
- audio
- ith
- emotion
- vector
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 48
- 239000012634 fragment Substances 0.000 claims abstract description 235
- 239000013598 vector Substances 0.000 claims abstract description 223
- 230000008451 emotion Effects 0.000 claims abstract description 198
- 238000000605 extraction Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims description 49
- 230000007246 mechanism Effects 0.000 claims description 30
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种语音情感识别方法、装置、电子设备和存储介质，所述方法包括：对音频进行切分得到时序排列的音频片段；对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i‑1个视频片段的语义信息，i为大于1的正整数；对第i个音频片段进行说话人识别，得到说话人信息；基于第i‑1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。本公开实施例可提高语音情感识别的准确率。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种语音情感识别方法、装置、电子设备和存储介质。
背景技术
语音是日常生活中交流的主要媒介，它不仅传达了思想，还表达了说话人的情感状态，情感交互在人类信息的沟通中有着重要的意义。随着人工智能技术的不断发展，情感识别技术是人机交互的基础性技术之一，目前，研究者正致力于研究通过人工智能技术来识别语音中说话人的情绪，语音情感识别可以检测用户的心理健康，以及在不同的场景(例如，数字人、客服)对用户或客服的情感变化进行对应的反馈和回复等。情感识别也利于家长关注孩子的心理健康等指标，通过学习和识别声音中存在的焦虑、兴奋、愤怒等情感，实现更加个性化的交流。
在语音情感识别的过程中，通常会对一段短音频进行情感识别，并且预测出这段音频对应的情感类别，例如愤怒，高兴，平静等。对于长音频的场景，例如电话、节目访谈、视频质检等，通常也是将长音频按一定的时长(例如5s)或者通过话音激活检测(VAD，VoiceActivity Detection)对音频进行切分，然后利用短句的语音情感识别模型进行情感分类的识别。
然而在相关技术中，语音情感识别的准确性较低。
发明内容
本公开提出了一种语音情感识别技术方案。
根据本公开的一方面，提供了一种语音情感识别方法，包括：
对音频进行切分得到时序排列的音频片段；
对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数；
对第i个音频片段进行说话人识别，得到说话人信息；
基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
在一种可能的实现方式中，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段。
在一种可能的实现方式中，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；
对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。
在一种可能的实现方式中，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量，包括：
基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。
在一种可能的实现方式中，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量，包括：
对第i个音频片段进行基于自注意力机制的特征提取，得到中间参数向量，所述中间参数向量包括：查询向量、键向量和值向量；
将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；
基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。
在一种可能的实现方式中，所述方法基于神经网络模型实现，所述神经网络模型的训练方法包括：
获取样本音频，所述样本音频中包含时序的多个样本音频片段；
将所述样本音频输入所述神经网络模型，以对样本音频中的第i个样本音频片段进行语义提取，得到融合了前i-1个样本音频片段语义的语义信息；对第i个样本音频片段进行说话人识别，得到说话人信息；基于第i-1个样本音频片段的情感向量、第i个样本音频片段的语义信息以及所述说话人信息，得到第i个样本音频片段的情感向量；根据第i个样本音频片段的情感向量，得到第i个样本音频片段的预测情感类别；
基于预测情感类别和标注情感类别之间的损失，对神经网络模型中的参数进行调整。
在一种可能的实现方式中，所述获取样本音频，包括：
对音频文件进行切分，得到多个样本音频片段，并标注各样本音频片段的情感类别；
随机获取连续的多个样本音频片段，作为样本音频。
根据本公开的一方面，提供了一种语音情感识别装置，包括：
切分单元，用于对音频进行切分得到时序排列的音频片段；
语义提取单元，用于对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数；
说话人识别单元，用于对第i个音频片段进行说话人识别，得到说话人信息；
情感向量确定单元，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
情感类别确定单元，用于根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
在一种可能的实现方式中，所述语义提取单元，用于：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段。
在一种可能的实现方式中，所述语义提取单元，用于：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；
对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。
在一种可能的实现方式中，所述情感向量确定单元，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。
在一种可能的实现方式中，所述所述情感向量确定单元，用于：
对第i个音频片段进行基于自注意力机制的特征提取，得到中间参数向量，所述中间参数向量包括：查询向量、键向量和值向量；
将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；
基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。
在一种可能的实现方式中，所述方法基于神经网络模型实现，所述神经网络模型的训练装置包括：
样本获取单元，用于获取样本音频，所述样本音频中包含时序的多个样本音频片段；
训练单元，用于将所述样本音频输入所述神经网络模型，以对样本音频中的第i个样本音频片段进行语义提取，得到融合了前i-1个样本音频片段语义的语义信息；对第i个样本音频片段进行说话人识别，得到说话人信息；基于第i-1个样本音频片段的情感向量、第i个样本音频片段的语义信息以及所述说话人信息，得到第i个样本音频片段的情感向量；根据第i个样本音频片段的情感向量，得到第i个样本音频片段的预测情感类别；
调整单元，用于基于预测情感类别和标注情感类别之间的损失，对神经网络模型中的参数进行调整。
在一种可能的实现方式中，所述样本获取单元，用于：
对音频文件进行切分，得到多个样本音频片段，并标注各样本音频片段的情感类别；
随机获取连续的多个样本音频片段，作为样本音频。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，通过对音频进行切分得到时序排列的音频片段；对时序的第i个音频片段进行语义提取，得到的语义信息中融合了前i-1个视频片段的语义信息；对第i个音频片段进行说话人识别，得到说话人信息；基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。由此，通过多种模态的历史信息表征(语义历史信息表征、语音情感历史信息表征和当前说话人向量)来辅助当前音频片段进行语音情感识别，可以有效地提升长音频语音情感识别场景的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的语音情感识别方法的流程图。
图2示出根据本公开实施例的数据集的形式示意图。
图3示出根据本公开实施例的一种模型训练过程示意图。
图4示出根据本公开实施例的语音情感识别装置的框图。
图5示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
在相关技术中，仅对切分的当前短音频进行语音情感识别，通常会损失一些历史的信息，例如在长音频中，一个人的情绪通常会有波动和递进关系，当前短音频的情感类别可能和历史的情感信息有关；同时，相同的说话人也潜在的存在类似的情感信息，例如在视频会议中，某位说话人情绪波动较大，那说话人信息也会潜在的帮助情感识别；最后，语音情感也可以通过历史的语义信息来辅助判断。所以，如何针对长音频，结合多种维度的历史信息来辅助语音情感识别是一个重要的研究课题。
针对通过多个支持向量机进行语音情感识别的方式而言，其最终的语音情感识别结果需要依赖第一个支持向量机的分类类别，如果第一个支持向量机的分类类别不准，则后续的其它支持向量机的分类结果也会不准确，即该方式的识别效果存在上限，识别准确率较低。
而对于仅利用语音数据中提取到的特征进行情感识别的技术，其没有去学习更加高维度的历史情感信息表征，而是显式的将历史的语音频谱的特征作为输入，同时没有利用到更多模态的情感信息，例如语义信息、说话人信息等。
在本公开实施例中，通过对音频进行切分得到时序排列的音频片段；对时序的第i个音频片段进行语义提取，得到的语义信息中融合了前i-1个视频片段的语义信息；对第i个音频片段进行说话人识别，得到说话人信息；基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。由此，通过多种模态的历史信息表征(语义历史信息表征、语音情感历史信息表征和当前说话人向量)来辅助当前音频片段进行语音情感识别，可以有效地提升长音频语音情感识别场景的准确率。
图1示出根据本公开实施例的语音情感识别方法的流程图，如图1所示，所述方法包括：
在步骤S11中，对音频进行切分得到时序排列的音频片段；
这里对音频进行切分，可以是对整个音频文件按照一定的时长进行切分，例如，按照5秒的时长，将长音频切分为多个时长为5秒的短音频，或者通过VAD对音频进行切分。
此外，在一种可能的实现方式中，在对音频进行切分时，可以从音频中剔除不符合识别条件的音频部分，以提高音频识别中的识别效率、节省处理时间。这里不符合预设条件的音频片段包括下述至少一种：没有说话人说话的音频部分；语种与目标识别语种不同的音频部分。
在一个示例中，可以对音频进行音量检测，得到音量低于预设音量阈值的音频部分，并将该部分片段进行删除，再对音频进行切分，这里的预设音量阈值可以由开发人员根据实际经验设定。
在另一个示例中，可以对音频中的语言进行语种检测，得到语种与目标识别语种不同的音频部分，并将该部分片段进行删除，再对音频进行切分，这里目标语种为需要进行情感识别的语种，可以由开发人员根据情感识别需求设定，例如，在目标语种为汉语的情况下，如果检测到某部分音频中说话人所说的语种为英语，则将该部分音频删除。
在步骤S12中，对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数。
在本公开实施例中，会基于历史情感向量表征和历史语义信息表征进行说话人的情感识别，因此，切分得到的音频片段按照时序排列，按照该时序依次对各音频片段进行处理，并在对当前音频片段进行情感识别时，利用此前已处理的音频片段的情感向量表征和语义信息表征。
为便于描述，将当前正在处理的音频片段记为第i个音频片段，由于第1个音频片段没有历史情感向量表征和历史语义信息表征，因此，这里的i为大于1的正整数。针对第1个音频片段，可以提取第1个音频片段的语义信息，并识别第1个音频片段的说话人信息，然后基于第1个音频片段的语义信息及说话人信息，得到第1个音频片段的情感向量，根据该情感向量，得到第1个音频片段的情感类别。对第1个音频片段进行语义提取和说话人识别的具体实现方式，可参见本公开提供的可能的实现方式，此处不做赘述。
语义信息为语音中说话人说的话所蕴含的意义，具体可以通过对音频片段进行语音识别，得到文本信息，并对文本信息进行语义提取得到。具体可参加本公开提供的可能的实现方式，此处不做赘述。
在步骤S13中，对第i个音频片段进行说话人识别，得到说话人信息；
这里的说话人信息可以是具体的用于区分不同说话人的信息，只要能够区分出不同的说话人即可。
在一个示例中，可以使用I-vector声纹识别技术来区分不同的说话人，I-vector也称身份因子识别技术，通过设置一个全局变化空间(Total Variability Space)，它包含了语音数据中所有可能的信息。然后通过因子分析的方法，得到全局变化空间的载荷因子。针对这个因子，让不同说话人之间的距离变大，而同一个说话人受噪声影响的各个语句之间的距离变小。将说话人之间的差异，视为类间矩阵，将噪声带来的差异，视为类内矩阵，然后应用概率化的现行鉴别分析方法估计得到I-vector矩阵，在这个I-vector矩阵上映射出来的就是反应说话人身份的信息向量的I-vector向量。
此外，还可以通过X-vector等技术来识别说话人信息，此次不做赘述。
在步骤S14中，基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
在得到第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息这三个模态的信息后，在确定第i个音频片段的情感向量时，可以基于这三个模态的信息来确定。在一个示例中，可以将这三个模态的信息与第i个音频片段的特征进行融合，得到第i个音频片段的情感向量。在另一个示例中，可以是基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量，具体可参见本公开提供的可能的实现方式，此处不做赘述。
在i为1的情况下，第1个音频片段的情感向量，是基于第1个音频片段的语义信息以及说话人信息得到的，在一个示例中，可以对第1个音频片段的语义信息以及说话人信息进行特征融合，得到第1个音频片段的情感向量；在另一个示例中，可以基于第1个音频片段的语义信息以及说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第1个音频片段的情感向量。
在i大于1的情况下，第i个音频片段的情感向量，是基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息得到的，具体可参见步骤S14以及本公开提供的可能的实现方式，此处不做赘述。
在步骤S15中，根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
针对第i个音频片段的情感向量，可以通过分类器对该情感向量进行分类，得到第i个音频片段的情感类别，可以预先设置多个情感类别，例如，愤怒，高兴，平静，焦虑等，通过分类器，可以得到第i个音频片段在预设的情感类别中的置信度，选取置信度最高的一个情感类别作为第i个音频片段的情感类别，或者，选取置信度最高且高于设定置信度阈值的情感类别，作为第i个音频片段的情感类别。
在本公开实施例中，通过对音频进行切分得到时序排列的音频片段；对时序的第i个音频片段进行语义提取，得到的语义信息中融合了前i-1个视频片段的语义信息；对第i个音频片段进行说话人识别，得到说话人信息；基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。由此，通过多种模态的历史信息表征(语义历史信息表征、语音情感历史信息表征和当前说话人向量)来辅助当前音频片段进行语音情感识别，可以有效地提升长音频语音情感识别场景的准确率。
在一种可能的实现方式中，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：对时序的第i个音频片段进行语音识别，得到文本信息；基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段。
具体可以通过训练好的语音识别模块，对时序的第i个音频片段进行语音识别，得到文本信息，然后基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息。
在一个示例中，可以基于自注意力机制，对文本信息进行基于时序上下文的语义提取。在另一个示例中，可以通过BERT模型进行基于上下文的语义提取，BERT全称为：Bidirectional Encoder Representation from Transformers，是一个能够广泛应用于执行各种类型的自然语言处理任务的语言模型。BERT模型一般包括有多个编码器层，该编码器层能够提取得到文本的特征表示，并以表示向量的形式输出。在工作时，文本输入BERT模型后会依次经过多层的编码器层，上一层编码器层的输出作为下一层编码器层的输入，最后一层编码器层的输出则作为对应于文本的特征信息，基于该特征信息来进行文本分类，文本分类由分类层实现。
在该实现方式中，可以直接将BERT模型的输出类别特征CLS作为第i个音频片段的语义信息，BERT模型输出的CLS中即融合了前i-1个视频片段的语义信息。
在本公开实施例中，通过基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息。由此，通过基于上下文的语义提取，得到的第i个音频片段的语义信息能够融合上下文中的语义信息，使得第i个音频片段本身的语义信息更准确，提高了情感类别分类的准确性。
在一种可能的实现方式中，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：对时序的第i个音频片段进行语音识别，得到文本信息；基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。
在该实现方式中，也可以使用BERT模型来实现，对于BERT输出的每一个词的词嵌入(例如K个词嵌入)做基于自注意力机制的特征融合，变成一个词嵌入来代表历史的语义信息。
需要说明的是，输入BERT的文本序列需要在起始处加上开始符号SOS(start ofsentence)，在音频片段seg和seg之间加上分隔符号SEP，为便于描述，这里将得到的包含历史语义信息的第i个音频片段的语义信息简称为Cxti。
在本公开实施例中，通过基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。由此，通过对各词嵌入进行基于自注意力机制的特征融合，能够对前i-1个音频片段的历史语义信息进行融合，能够通过隐式特征准确地表征前i-1个音频片段的历史语义信息，提高了情感类别分类的准确性。
在一种可能的实现方式中，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量，包括：基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。
在该实现方式中，可以通过基于自注意力机制的方式对第i个音频片段进行特征提取，在一个示例中，可以通过自注意力机制对第i个音频片段进行特征提取，具体地，可以将第i个音频片段进行编码，得到查询查询向量Query、键向量Key和值向量Value，然后，Query和Key做点乘，并将点乘的结果除以一个常数，该常数是矩阵的维度的开方，然后将得到的结果做一个softmax计算，再把Value和softmax得到的值进行相乘，并将前后相邻的相乘结果相加，得到的结果就是自注意力机制在当前编码位置的值。
在经过自注意力编码提取到第i个音频片段的特征后，可以将提取的特征与第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息与编码结果进行融合，得到第i个音频片段的情感向量。
在另一个示例中，可以在提取特征的过程中，便将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息与键向量Key和值向量Value进行融合，具体参见本公开提供的可能的实现方式，此处不做赘述。
在本公开实施例中，通过基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。由此，对第i个音频片段进行基于自注意力机制的特征提取，能够准确地提取第i个音频片段的情感向量，提高了情感类别分类的准确性。
在一种可能的实现方式中，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量，包括：对第i个音频片段进行基于自注意力机制的特征提取，得到中间参数向量，所述中间参数向量包括：查询向量、键向量和值向量；将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。
在该实现方式中，可以将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，具体的融合方式可以是将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息与键向量Key拼接，得到融合键向量；将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息与值向量Value拼接，得到融合值向量。当然，具体的融合方式可以有多种，例如，还可以是通过一定的权重系数进行加权求和，本公开对此不作具体限定。
在得到融合键向量和融合值向量，再基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。具体地，可以利用查询向量和融合键向量做点乘，并将点乘的结果除以常数，然后将得到的结果做一个softmax计算，再把融合值向量和softmax得到的值进行相乘，并将前后相邻的相乘结果相加，得到自注意力机制在当前编码位置的值。
在本公开实施例中，通过将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。由此，能够在基于注意力机制的特征提取过程中，即考虑到历史的情感向量、历史的语义信息以及说话人信息，能够更准确地得到第i个音频片段的情感向量，能够通过隐式特征准确地表征第i个音频片段的情感，提高了情感类别分类的准确性。
根据本公开是一方面，提供了一种语音情感识别模型，该模型即为神经网络模型，所述神经网络模型包括：语音识别模块、语义提取模块、说话人识别模块、注意力编码模块和情感分类器，其中：
语音识别模块，用于对时序的第i个音频片段进行语音识别，得到文本信息；语义提取模块，用于基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段；说话人识别模块，用于对第i个音频片段进行说话人识别，得到说话人信息；注意力编码模块，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；情感分类器，用于根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
各模块具体的实现过程和对应的技术效果，可参见本公开提供的语音情感识别方法的描述，此处不做赘述。
本公开还提供了对神经网络模型的训练过程，在一种可能的实现方式中，所述方法基于神经网络模型实现，所述神经网络模型的训练方法包括：获取样本音频，所述样本音频中包含时序的多个样本音频片段；将所述样本音频输入所述神经网络模型，以对样本音频中的第i个样本音频片段进行语义提取，得到融合了前i-1个样本音频片段语义的语义信息；对第i个样本音频片段进行说话人识别，得到说话人信息；基于第i-1个样本音频片段的情感向量、第i个样本音频片段的语义信息以及所述说话人信息，得到第i个样本音频片段的情感向量；根据第i个样本音频片段的情感向量，得到第i个样本音频片段的预测情感类别；基于预测情感类别和标注情感类别之间的损失，对神经网络模型中的参数进行调整。
在一种可能的实现方式中，所述获取样本音频，包括：对音频文件进行切分，得到多个样本音频片段，并标注各样本音频片段的情感类别；随机获取连续的多个样本音频片段，作为样本音频。
具体来说，在获取样本音频时，会对样本数据进行处理，在该实现方式中，会对一段长音频(例如，某一个访谈节目)进行切句得到样本音频片段，并通过人工对样本音频片段打上情感标签。可以随机对某一批从相同的长音频上切分出来的、连续的短句进行拼接，得到随机长的语音情感长音频，和对应的情感标签序列。图2提供了本公开实施例的数据集的形式示意图，将一个长音频切分为多个短音频片段Seg1-Seg7，并为各音频片段打上标签，即得到该数据集。
在进行拼接时，可以随机选取连续的N条(例如2≤N≤30)样本音频片段Segi进行拼接，拼接的时候我们会随机在Segi和Segi+1之间拼接噪音，以提升模型的鲁棒性；同时可以允许拼接后的不同样本音频longj之间存在重复，其中，j为正整数，例如样本音频long1＝{Seg1,Seg2,Seg3}，标签target1＝{平静，吃惊，愤怒}；样本音频long2＝{Seg1,Seg2,Seg3，Seg4}，标签target2＝{平静，吃惊，愤怒，愤怒}。
需要注意，为了方便训练，需要记录样本音频longj中的每个Segi对应的时间戳以及标签，例如，long1的3-5s对应Seg2，标签为“吃惊”。
针对语音识别模块，可以使用开源的语音识别数据集训练一个语音识别模型，并使用该语音识别模型对每个样本音频对应的样本音频片段Seg进行语音识别，即对应long有以下信息：Seg信息{Segi,Segi+1,…,Segi+N},情感标签{emoi,emoi+1,…,emoi+N},seg实际的时间戳{starti,endi,starti+1,endi+1,…,starti+N,endi+N},识别文本信息{texti,texti+1,…,texti+N}。
针对语义提取模块，使用文本数据训练一个语义向量提取器，具体可以基于BERT进行。首先用大量的文本信息预训练一个BERT。然后利用我们所有的{texti,texti+1,…,texti+N}进行BERT的微调。
在该实现方式中，可以进行两种方法获取历史语义信息，一种利用BERT本身的CLS输出来代表历史的语义信息，另一种是对于BERT输出的每一个词的词嵌入(例如K个词嵌入)做基于自注意力压缩，变成一个词嵌入来代表历史的语义信息。具体可以参见本公开提供的可能的实现方式，需要说明的是，输入BERT的文本序列需要在起始处加上开始符号SOS(start of sentence)，在样本音频片段seg和seg之间加上分隔符号SEP，为便于描述，这里将得到的包含历史语义信息的第i个样本音频片段的语义信息简称为Cxti。
针对说话人识别模块，使用开源的说话人识别数据，训练一个说话人向量提取器，即对于当前输入的样本音频片段Segi，可以得到说话人信息spki，如前文所述，这里使用i-vector和x-vector技术进行说话人识别。
在预训练好语音识别模块、语义提取模块、说话人识别模块后，进行语音情感识别模型的端到端训练，得到可以充分利用历史语义向量、当前说话人信息和历史情感向量的语音情感识别模型。具体训练过程如下：
随机从数据集中抽取当前批处理包batch。例如对应当前batch中的样本音频longj，首先利用{starti,endi,starti+1,endi+1,…,starti+N,endi+N}获取到每个实际的样本音频片段Seg信息{segi,segi+1,…,segi+N},情感标签{emoi,emoi+1,…,emoi+N}，语音识别模块的识别结果{texti,texti+1,…,texti+N}。
图3示出了根据本公开实施例的一种模型训练过程示意图，如图3所示，对于当前输入Segi，在语音情感识别的过程中，我们会在基于注意力的特征提取过程中，利用Key和Value使用到历史的信息。当前的音频Segi会经过说话人识别模块得到当前说话人信息SPKi，SPKi会与注意力提取中的Key和Value融合。然后注意力编码模块(AttentionEncoder)的输出为情感向量Ei，Ei经过情感分类器进行当前情感类别分类，得到预测情感类别，将预测情感类别与当前的标签emoi计算损失loss，进行反向传播，调整语音情感识别模型中的参数。Segi经过语音识别模块得到Texti，同时Texti和历史的Text信息构建成语义提取模型BERT需要的输入形式，并得到历史的语义信息Cxti。此时，当前Segi的历史情感信息Ei和历史语义信息Cxti将会进行基于注意力机制的特征融合，即与注意力提取中的Key和Value融合，同时下一个样本音频片段Segi+1计算的SPKi+1也会同步与注意力提取中的Key和Value融合，用于下一个样本音频片段Segi+1的语音情感识别。
在一种可能的实现方式中，所述语音情感识别方法可通过终端设备和服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来执行。
此外，本公开还提供了语音情感识别装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种语音情感识别方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图4示出根据本公开实施例的语音情感识别装置的框图，如图4所示，所述装置40包括：
切分单元41，用于对音频进行切分得到时序排列的音频片段；
语义提取单元42，用于对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数；
说话人识别单元43，用于对第i个音频片段进行说话人识别，得到说话人信息；
情感向量确定单元44，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
情感类别确定单元45，用于根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
在一种可能的实现方式中，所述语义提取单元，用于：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段。
在一种可能的实现方式中，所述语义提取单元，用于：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；
对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。
在一种可能的实现方式中，所述情感向量确定单元，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。
在一种可能的实现方式中，所述所述情感向量确定单元，用于：
对第i个音频片段进行基于自注意力机制的特征提取，得到中间参数向量，所述中间参数向量包括：查询向量、键向量和值向量；
将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；
基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。
在一种可能的实现方式中，所述方法基于神经网络模型实现，所述神经网络模型的训练装置包括：
样本获取单元，用于获取样本音频，所述样本音频中包含时序的多个样本音频片段；
训练单元，用于将所述样本音频输入所述神经网络模型，以对样本音频中的第i个样本音频片段进行语义提取，得到融合了前i-1个样本音频片段语义的语义信息；对第i个样本音频片段进行说话人识别，得到说话人信息；基于第i-1个样本音频片段的情感向量、第i个样本音频片段的语义信息以及所述说话人信息，得到第i个样本音频片段的情感向量；根据第i个样本音频片段的情感向量，得到第i个样本音频片段的预测情感类别；
调整单元，用于基于预测情感类别和标注情感类别之间的损失，对神经网络模型中的参数进行调整。
在一种可能的实现方式中，所述样本获取单元，用于：
对音频文件进行切分，得到多个样本音频片段，并标注各样本音频片段的情感类别；
随机获取连续的多个样本音频片段，作为样本音频。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图5示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器或终端设备。参照图5，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OSXTM)，多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种语音情感识别方法，其特征在于，包括：
对音频进行切分得到时序排列的音频片段；
对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数；
对第i个音频片段进行说话人识别，得到说话人信息；
基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
2.根据权利要求1所述的方法，其特征在于，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的语义信息，所述连续多个音频片段包含第i个音频片段。
3.根据权利要求1所述的方法，其特征在于，所述对时序的第i个音频片段进行语义提取，得到语义信息，包括：
对时序的第i个音频片段进行语音识别，得到文本信息；
基于时序的连续多个音频片段的文本信息，进行基于上下文的语义提取，得到第i个音频片段的文本信息中各词的词嵌入；
对各词嵌入进行基于自注意力机制的特征融合，得到融合特征，作为第i个音频片段的语义信息。
4.根据权利要求1所述的方法，其特征在于，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量，包括：
基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量。
5.根据权利要求4所述的方法，其特征在于，所述基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，对第i个音频片段进行基于自注意力机制的特征提取，得到第i个音频片段的情感向量，包括：
对第i个音频片段进行基于自注意力机制的特征提取，得到中间参数向量，所述中间参数向量包括：查询向量、键向量和值向量；
将第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，分别融合到所述键向量和值向量中，得到融合键向量和融合值向量；
基于所述查询向量、所述融合键向量和所述融合值向量，确定第i个音频片段的情感向量。
6.根据权利要求1所述的方法，其特征在于，所述方法基于神经网络模型实现，所述神经网络模型的训练方法包括：
获取样本音频，所述样本音频中包含时序的多个样本音频片段；
将所述样本音频输入所述神经网络模型，以对样本音频中的第i个样本音频片段进行语义提取，得到融合了前i-1个样本音频片段语义的语义信息；对第i个样本音频片段进行说话人识别，得到说话人信息；基于第i-1个样本音频片段的情感向量、第i个样本音频片段的语义信息以及所述说话人信息，得到第i个样本音频片段的情感向量；根据第i个样本音频片段的情感向量，得到第i个样本音频片段的预测情感类别；
基于预测情感类别和标注情感类别之间的损失，对神经网络模型中的参数进行调整。
7.根据权利要求6所述的方法，其特征在于，所述获取样本音频，包括：
对音频文件进行切分，得到多个样本音频片段，并标注各样本音频片段的情感类别；
随机获取连续的多个样本音频片段，作为样本音频。
8.一种语音情感识别装置，其特征在于，包括：
切分单元，用于对音频进行切分得到时序排列的音频片段；
语义提取单元，用于对时序的第i个音频片段进行语义提取，得到语义信息，其中，所述语义信息中融合了前i-1个视频片段的语义信息，i为大于1的正整数；
说话人识别单元，用于对第i个音频片段进行说话人识别，得到说话人信息；
情感向量确定单元，用于基于第i-1个音频片段的情感向量、第i个音频片段的语义信息以及所述说话人信息，得到第i个音频片段的情感向量；
情感类别确定单元，用于根据第i个音频片段的情感向量，得到第i个音频片段的情感类别。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以实现权利要求1至7中任意一项所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311757313.7A CN117497009A (zh) | 2023-12-19 | 2023-12-19 | 一种语音情感识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311757313.7A CN117497009A (zh) | 2023-12-19 | 2023-12-19 | 一种语音情感识别方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117497009A true CN117497009A (zh) | 2024-02-02 |
Family
ID=89680293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311757313.7A Pending CN117497009A (zh) | 2023-12-19 | 2023-12-19 | 一种语音情感识别方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117497009A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877801A (zh) * | 2018-06-14 | 2018-11-23 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的多轮对话语义理解子系统 |
| CN111564164A (zh) * | 2020-04-01 | 2020-08-21 | 中国电力科学研究院有限公司 | 一种多模态情感识别方法及装置 |
| CN111968679A (zh) * | 2020-10-22 | 2020-11-20 | 深圳追一科技有限公司 | 情感识别方法、装置、电子设备及存储介质 |
| WO2020263547A1 (en) * | 2019-06-28 | 2020-12-30 | Amazon Technologies, Inc. | Emotion detection using speaker baseline |
| CN114127849A (zh) * | 2019-04-16 | 2022-03-01 | 华为技术有限公司 | 语音情感识别方法和装置 |
| CN116010874A (zh) * | 2022-11-07 | 2023-04-25 | 哈尔滨工程大学 | 基于深度学习多模态深尺度情感特征融合的情感识别方法 |
| US20230154172A1 (en) * | 2021-11-12 | 2023-05-18 | Sony Group Corporation | Emotion recognition in multimedia videos using multi-modal fusion-based deep neural network |
-
2023
- 2023-12-19 CN CN202311757313.7A patent/CN117497009A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877801A (zh) * | 2018-06-14 | 2018-11-23 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的多轮对话语义理解子系统 |
| CN114127849A (zh) * | 2019-04-16 | 2022-03-01 | 华为技术有限公司 | 语音情感识别方法和装置 |
| WO2020263547A1 (en) * | 2019-06-28 | 2020-12-30 | Amazon Technologies, Inc. | Emotion detection using speaker baseline |
| CN111564164A (zh) * | 2020-04-01 | 2020-08-21 | 中国电力科学研究院有限公司 | 一种多模态情感识别方法及装置 |
| CN111968679A (zh) * | 2020-10-22 | 2020-11-20 | 深圳追一科技有限公司 | 情感识别方法、装置、电子设备及存储介质 |
| US20230154172A1 (en) * | 2021-11-12 | 2023-05-18 | Sony Group Corporation | Emotion recognition in multimedia videos using multi-modal fusion-based deep neural network |
| CN116010874A (zh) * | 2022-11-07 | 2023-04-25 | 哈尔滨工程大学 | 基于深度学习多模态深尺度情感特征融合的情感识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349564B (zh) | 一种跨语言语音识别方法和装置 | |
| CN110444198B (zh) | 检索方法、装置、计算机设备和存储介质 | |
| WO2022105861A1 (zh) | 用于识别语音的方法、装置、电子设备和介质 | |
| CN111312231B (zh) | 音频检测方法、装置、电子设备及可读存储介质 | |
| CN113192516B (zh) | 语音角色分割方法、装置、计算机设备及存储介质 | |
| CN110910903B (zh) | 语音情绪识别方法、装置、设备及计算机可读存储介质 | |
| CN110781305A (zh) | 基于分类模型的文本分类方法及装置，以及模型训练方法 | |
| CN114580382A (zh) | 文本纠错方法以及装置 | |
| CN110991165A (zh) | 文本中人物关系提取方法及装置、计算机设备和存储介质 | |
| CN111223476B (zh) | 语音特征向量的提取方法、装置、计算机设备和存储介质 | |
| CN113469298B (zh) | 模型训练方法及资源推荐方法 | |
| CN114766052A (zh) | 音频交互中的情绪检测 | |
| CN112233680A (zh) | 说话人角色识别方法、装置、电子设备及存储介质 | |
| CN108877779B (zh) | 用于检测语音尾点的方法和装置 | |
| CN112818680A (zh) | 语料的处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110503956B (zh) | 语音识别方法、装置、介质及电子设备 | |
| CN114360504A (zh) | 音频处理方法、装置、设备、程序产品及存储介质 | |
| CN113793599A (zh) | 语音识别模型的训练方法和语音识别方法及装置 | |
| CN112633004A (zh) | 文本标点符号删除方法、装置、电子设备和存储介质 | |
| EP4024393A2 (en) | Training a speech recognition model | |
| CN113850290B (zh) | 文本处理及模型训练方法、装置、设备和存储介质 | |
| CN117497009A (zh) | 一种语音情感识别方法、装置、电子设备和存储介质 | |
| CN113792166B (zh) | 信息获取方法、装置、电子设备及存储介质 | |
| CN115730073A (zh) | 文本处理方法、装置及存储介质 | |
| CN115129843A (zh) | 一种对话文本摘要抽取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |