CN116230019A - 一种基于半监督语音情感识别框架的深度情感聚类方法 - Google Patents
一种基于半监督语音情感识别框架的深度情感聚类方法 Download PDFInfo
- Publication number
- CN116230019A CN116230019A CN202211472628.2A CN202211472628A CN116230019A CN 116230019 A CN116230019 A CN 116230019A CN 202211472628 A CN202211472628 A CN 202211472628A CN 116230019 A CN116230019 A CN 116230019A
- Authority
- CN
- China
- Prior art keywords
- speech
- mapf
- emotion
- query
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000013135 deep learning Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000001373 regressive effect Effects 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种基于半监督语音情感识别框架的深度情感聚类方法，属于语音情感识别技术领域，对输入的语料库中的音频进行预处理；使用Attn‑Convolution网络对预处理后的语音数据在空间上进行特征提取；使用BiGRU网络对预处理后的语音数据在时间上进行特征提取；将提取出的语音特征使用ADD函数进行特征融合；在聚类分类器模块中对未标记的数据集进行伪标签分配；在情感回归器中对每个句子i的语音片段sij进行回归预测；使用新的CCC‑CE联合损失作为回归器与分类器模型的损失函数。有益效果在于，使用较少未标记数据的模型框架比现有的半监督框架实现了更好的语音表示，并且在下游任务中优于最先进的方法。
Description
技术领域
本发明涉及一种基于半监督语音情感识别框架的深度情感聚类方法，属于语音情感识别技术领域。
背景技术
语音情感识别(SER)是根据说话者的语音信号判断其情绪状态的传统的分类任务。图像和文本的分类方法特别关注数据特征上的空间相关信息和时间上下文信息。由于语音数据的空间和时间特性，这些方法不适合提取情感特征。半监督方法试图通过揭示大量未标记数据的潜在模式来学习特定类型数据的背景知识，从而为标记模型训练提供有用的先验知识。在工作中研究了半监督学习框架上空间和时间语音数据提取的挑战，该框架有效地应用于语音情感的分类。SER任务有两个基本处理步骤：语音特征提取和情感属性分类。语音特征提取受计算机视觉(CV)和自然语言处理(NLP)领域以及语音数据特征的影响，涉及在各自空间中学习语音帧的全局特征和语音上下文特征和时间。例如，Chen,M.等人使用对数梅尔谱作为三维卷积的输入来捕获空间信息。在中，双向长短期记忆网络(BiLSTM)用于获取时间特征。在此之后的技术建立了一个同时包含卷积神经网络(CNN)和BiLSTM网络的模型，以在时间和空间上捕获信息。一种端到端的模式。对于时间信息，采用轻量级且长期可靠的网络双向门控循环单元(BiGRU)以双向方式学习语音上下文特征。情感属性分类进一步将提取的语音特征与任务目标相匹配。SER旨在分别在空间和时间维度上学习语音数据的情感特征。前者主要是从CV中的图像分类方法迁移而来，后者主要是借鉴了NLP中的自动编码器方法。对于提取语音空间特征的任务，现有技术使用预训练的AlexNet模型来学习SER的深度频谱特征。AAPB论文中直接设计了一个注意力池，为语音嵌入一个深度CNN，以增强学习空间特征的泛化能力。为了减少卷积计算和减轻内存需求，现有技术提出了一种新的扩张卷积并针对标准1D和2D过滤和卷积操作进行了调整。然而，这些卷积操作需要满足特定网络深度或池化层的要求才能访问全局信息。
半监督学习由学习特定领域背景知识的无监督学习过程和基于获得的背景知识初始化主干参数的监督学习过程组成。在CSSL相关论文中，提出了一种新的对比半监督学习方法，该方法通过对比损失来提高学习语音表示的稳定性。MTSSA的作者以无监督的方式重建语音数据，以增强模型的泛化能力，提高语音情感特征的表达能力。与这种丢失一些声学特征的重建方法相比，DeepEmoCluster由DeepCluster贡献，以使用k-means算法改进无监督学习特征。
语音情感识别(SER)根据说话者的语音信号确定说话者的情绪状态，是一项基本的分类任务。图像和文本的分类方法特别关注空间相关信息和时间相关信息，数据特征的上下文信息。考虑到语音数据的时空特征，这些方法不能用于完全提取情感特征。这是因为语音数据比图像具有更高的信息饱和度，比文本具有更高的时间连贯性。更具体地说，图像有两层(前景和背景)信息，其中背景信息通常是模型的噪声源，而语音数据(例如，频谱图)具有全景信息。随着语音的声学特性(例如强度和速度)，在任何两个相邻元素之间的强相关性，而文本缺少此属性。
发明内容
本发明的目的在于提出一种基于半监督语音情感识别框架的深度情感聚类方法，从而克服现有技术中的不足。
本发明的特征提取器将注意力机制结合到卷积处理中，以引入语音帧的全局空间特征，可以将其扩展到具有卷积操作的任意神经网络，并可以选择调整Attn-Convolution块的数量以应用数据规模。本发明提出了一个新的Attn-Convolution块，它在卷积操作中引入全局特征，而不施加网络深度限制。对于学习语音时间特征，大多数语音情感工作都受到NLP贡献的启发。例如，利用BiLSTM来学习语音帧的前向和后向上下文相关性。或者引入了一个门控循环单元(GRU)网络，该网络将语音嵌入总结为语音表示并减少学习参数。为了防止模型过度拟合并减少无监督学习所需的样本数量，使用BiGRU从前向和后向两个方向提取语音帧的上下文相关性。
本发明的技术内容在于，基于深度情感聚类方法的时空共同捕获的半监督语音情感识别框架，简称ACG-EmoCluster，包括以下方法：
步骤1，对输入的语料库中的音频进行预处理；
步骤2，使用由注意力机制与卷积操作搭建而成的深度学习网络，
简称Attn-Convolution网络，对预处理后的语音数据在空间上进行特征提取；
步骤3，使用由双向门控单元构建的深度学习网络，简称BiGRU网络，对预处理后的语音数据在时间上进行特征提取；
步骤4，将提取出的语音特征使用集成于pytorch框架的矩阵加和函数，简称ADD函数，进行特征融合；
步骤5，在聚类分类器模块中对未标记的数据集进行伪标签分配；
步骤6，在情感回归器中对每个句子i的语音片段sij进行回归预测，并将n个语音片段{si1，……，sin}进行归一化后的结果作为句子i的预测结果；
步骤7，使用新的CCC-CE联合损失作为回归器与分类器模型的损失函数；CCC为相关一致性系数损失，用于情感回归器中；CE为交叉熵损失，用于聚类分类器中。
所述的步骤1还包括以下方法：
步骤1.1，使用第三方库librosa工具包从原始语音数据中提取128维的梅尔谱图的声学嵌入作为ACG-EmoCluster的输入，librosa是一个非常强大，可在pytorch环境中直接被调用于语音信号处理的第三方库；
步骤1.2，使用32毫秒窗口计算波形信号的幅度谱图，将融合32毫秒声学信息的频谱图作为128维的梅尔尺度滤波器的输入；
步骤1.3，计算滤波器组所有输出的均值和标准差；
步骤1.4，使用输出的均值和标准差对嵌入进行归一化；
步骤1.5，降低模型的输入维度，使用提出的块分割方法将归一化的频谱图均匀地划分为更小的子图，通过自适应地调整频谱块之间的重叠，将任意时长的语音序列分割成一组相同数量和维度的语音块；
步骤1.5.1，将Dmax作为语音样本在数据集上的最大持续时间，tc作为每个语音样本的可配置块长度，其C是每个样本的嵌入块数通过作用于Dmax和tc的上限函数：
步骤1.5.2，计算持续时间为Di的语音i的分段块之间的步长Δci
所述的步骤2还包括以下方法：
步骤2.1，以句子i中切割好的n个语音片段{Si1，……，Sin}作为ACG-EmoCluster模型框架的输入；
步骤2.2，将原始数据{Si1，……，Sin}输入由注意力机制与卷积操作搭建而成的深度学习网络，简称Attn-Convolution网络中，其中网络使用的由注意力机制与卷积操作搭建而成的深度学习网络块，简称Attn-Convolution Block，的数量为4，组成Attn-Convolution网络，Block中的具体网络结构与处理步骤如下：
步骤2.2.1，以{Si1，……，Sin}作为原始输入，同时输入一个卷积核大小为3*3的Convolution层与一个单头的自注意力机制；
步骤2.2.2，注意力机制中
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；
中，S表示截取的语音块，i表示句子的索引，即该处为第i个句子的语音块，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.3，计算Querys,Keys间的Cosine相似性：
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Similarity(Querys,Keys)表示使用Querys,Keys通过公式计算相关性，该公式名设定为Similarity；
步骤2.2.4，通过得到的相似性Similarityqk，计算Softmax相关性得分
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Softmax(Querys·Keys)使用Querys,Keys通过公式计算一种不同于Similarity的相关性，该公式名设定为Softmax；Simqk为Similarityqk的简称，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.5，计算该片段Sij的注意力值Attention：
步骤2.2.6，将从Convolution层中得到的空间局部特征MapFConv与从Attention得到的空间全局特征MapFAttn，进行映射加和：
MapFA-C＝Linear(512,MapFAttn)+Linear(512,MapFConv)；
步骤2.2.7，将融合的空间特征MapFA-C输入到一个Convolution层中进行特征提取强化，得到MapFACC；
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在本发明使用的自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Convolution层为卷积操作层，MapFConv为经过卷积操作后获得的卷积特征映射图，MapFAttn为经过注意力机制后获得的自注意力特征映射图，MapFA-C表示将MapFAttn与MapFConv进行加和操作之后获得的卷积-注意力特征映射图；Linear(512,MapFAttn)表示使用线性层将MapFAttn映射为512维度大小，Linear(512,MapFConv)表示使用线性层将MapFConv映射为512维度大小；MapFACC表示经过一个自注意力机制与两个卷积操作层所获得的特征映射图。
所述的步骤4还包括以下方法：
步骤4.1，将从Attn-Convolution网络中得到的MapFACClast与从BiGRU中得到的MapFTemp，使用线性加和方法进行特征融合操作，得到提取器的最终特征向量输出：
MapFACG＝Linear(512,MapFACClast)+Linear(512,MapFTemp)；
MapFACClast表示经过使用了若干个使用如图二所示的搭建方法构建的Attn-Convolution网络块而构成的网络，所获得的特征映射图；MapFTemp表示经过了双向门控单元网络而获得的特征映射图；Linear(512,MapFACClast)表示使用线性层将MapFACClast映射为512维度大小，Linear(512,MapFTemp)表示使用线性层将MapFTemp映射为512维度大小。
所述的步骤7还包括以下方法：
步骤7.1，情感聚类分类器中将交叉熵损失CE用于分类任务，情感回归器将一致性相关系数CCC作为损失应用于回归任务；
步骤7.2，完成一种在语音情感识别上的多任务深度学习，因此将联合Loss＝(1-CCC)+λ×CE作为整体模型框架中的损失函数；
其中λ为控制情感聚类分类器在多任务学习时的重要程度，是一个可控的参数，本发明中设置为1；CCC为相关一致性系数损失，用于情感回归器中，CE为交叉熵损失，用于聚类分类器中，Loss指本发明中使用的损失函数。
本发明的有益效果在于，受DeepCluster框架的启发，该框架使用k-means迭代地对提取的语音特征进行聚类，然后使用学习的先验知识初始化模型的权重以用于下游任务。本发明提出了一种新的半监督框架，简称ACG-EmoCluster，用于学习语音数据的空间和时间特征。特别是，采用了一个语音特征提取器，它结合了Attn-Convolution神经网络和BiGRU，其中前者通过卷积运算与注意力机制获得语音帧的空间特征，而后者获得语音上下文特征。此外，为了学习语音数据的先验知识，聚类分类器使用k-means算法通过对提取的语音特征进行分组来分配伪标签。对于推断，通过学习的先验知识初始化的方法在语音情感识别的唤醒、支配和效价方面优于MSP-Podcast语料库上的全监督和半监督基线测试。在半监督学习的背景下，对获得的语音特征进行伪标记，为下游任务提供一些背景信息。使用较少未标记数据的模型框架比现有的半监督框架实现了更好的语音表示，并且在下游任务中优于最先进的方法。此外，所提出的Attn-Convolution块可以扩展到任何CNN架构。
附图说明
图1为本发明的框架结构示意图。
图2为由注意力机制与卷积操作搭建而成的深度学习网络块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念；此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。以下将参照附图更详细地描述本发明。图1展示了提出的引入全局信息与语义关联信息的深度情感聚类方法，它使用的是半监督学习框架。图2Attn-Convolution块中说明了ACG-EmoCluster的细节。在预训练期间，未标记的语音数据(例如15K)用于学习特定语音的先验知识。在推断中，由学习的先验知识初始化的主干是识别语音情感。
本发明的技术内容在于，基于深度情感聚类方法的时空共同捕获的半监督语音情感识别框架，简称ACG-EmoCluster，包括以下方法：
步骤1，对输入的语料库中的音频进行预处理；
步骤2，使用由注意力机制与卷积操作搭建而成的深度学习网络，
简称Attn-Convolution网络，对预处理后的语音数据在空间上进行特征提取；
步骤3，使用由双向门控单元构建的深度学习网络，简称BiGRU网络，对预处理后的语音数据在时间上进行特征提取；
步骤4，将提取出的语音特征使用集成于pytorch框架的矩阵加和函数，简称ADD函数，进行特征融合；
步骤5，在聚类分类器模块中对未标记的数据集进行伪标签分配；
步骤6，在情感回归器中对每个句子i的语音片段sij进行回归预测，并将n个语音片段{si1，……，sin}进行归一化后的结果作为句子i的预测结果；
步骤7，使用新的CCC-CE联合损失作为回归器与分类器模型的损失函数；CCC为相关一致性系数损失，用于情感回归器中；CE为交叉熵损失，用于聚类分类器中。
所述的步骤1还包括以下方法：
步骤1.1，使用第三方库librosa工具包从原始语音数据中提取128维的梅尔谱图的声学嵌入作为ACG-EmoCluster的输入，librosa是一个非常强大，可在pytorch环境中直接被调用于语音信号处理的第三方库；
步骤1.2，使用32毫秒窗口计算波形信号的幅度谱图，将融合32毫秒声学信息的频谱图作为128维的梅尔尺度滤波器的输入；
步骤1.3，计算滤波器组所有输出的均值和标准差；
步骤1.4，使用输出的均值和标准差对嵌入进行归一化；
步骤1.5，降低模型的输入维度，使用提出的块分割方法将归一化的频谱图均匀地划分为更小的子图，通过自适应地调整频谱块之间的重叠，将任意时长的语音序列分割成一组相同数量和维度的语音块；
步骤1.5.1，将Dmax作为语音样本在数据集上的最大持续时间，tc作为每个语音样本的可配置块长度，其C是每个样本的嵌入块数通过作用于Dmax和tc的上限函数：
步骤1.5.2，计算持续时间为Di的语音i的分段块之间的步长Δci
所述的步骤2还包括以下方法：
步骤2.1，以句子i中切割好的n个语音片段{Si1，……，Sin}作为ACG-EmoCluster模型框架的输入；
步骤2.2，将原始数据{Si1，……，Sin}输入由注意力机制与卷积操作搭建而成的深度学习网络，简称Attn-Convolution网络中，其中网络使用的由注意力机制与卷积操作搭建而成的深度学习网络块，简称Attn-Convolution Block，的数量为4，组成Attn-Convolution网络，Block中的具体网络结构与处理步骤如下：
步骤2.2.1，以{Si1，……，Sin}作为原始输入，同时输入一个卷积核大小为3*3的Convolution层与一个单头的自注意力机制；
步骤2.2.2，注意力机制中
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；/>
中，S表示截取的语音块，i表示句子的索引，即该处为第i个句子的语音块，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.3，计算Querys,Keys间的Cosine相似性：
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Similarity(Querys,Keys)表示使用Querys,Keys通过公式计算相关性，该公式名设定为Similarity；
步骤2.2.4，通过得到的相似性Similarityqk，计算Softmax相关性得分
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Softmax(Querys·Keys)使用Querys,Keys通过公式计算一种不同于Similarity的相关性，该公式名设定为Softmax；Simqk为Similarityqk的简称，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.5，计算该片段Sij的注意力值Attention：
步骤2.2.6，将从Convolution层中得到的空间局部特征MapFConv与从Attention得到的空间全局特征MapFAttn，进行映射加和：
MapFA-C＝Linear(512,MapFAttn)+Linear(512,MapFConv)；
步骤2.2.7，将融合的空间特征MapFA-C输入到一个Convolution层中进行特征提取强化，得到MapFACC；
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在本发明使用的自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Convolution层为卷积操作层，MapFConv为经过卷积操作后获得的卷积特征映射图，MapFAttn为经过注意力机制后获得的自注意力特征映射图，MapFA-C表示将MapFAttn与MapFConv进行加和操作之后获得的卷积-注意力特征映射图；Linear(512,MapFAttn)表示使用线性层将MapFAttn映射为512维度大小，Linear(512,MapFConv)表示使用线性层将MapFConv映射为512维度大小；MapFACC表示经过一个自注意力机制与两个卷积操作层所获得的特征映射图。
所述的步骤4还包括以下方法：
步骤4.1，将从Attn-Convolution网络中得到的MapFACClast与从BiGRU中得到的MapFTemp，使用线性加和方法进行特征融合操作，得到提取器的最终特征向量输出：
MapFACG＝Linear(512,MapFACClast)+Linear(512,MapFTemp)；
MapFACClast表示经过使用了若干个使用如图二所示的搭建方法构建的Attn-Convolution网络块而构成的网络，所获得的特征映射图；MapFTemp表示经过了双向门控单元网络而获得的特征映射图；Linear(512,MapFACClast)表示使用线性层将MapFACClast映射为512维度大小，Linear(512,MapFTemp)表示使用线性层将MapFTemp映射为512维度大小。
所述的步骤7还包括以下方法：
步骤7.1，情感聚类分类器中将交叉熵损失CE用于分类任务，情感回归器将一致性相关系数CCC作为损失应用于回归任务；
步骤7.2，完成一种在语音情感识别上的多任务深度学习，因此将联合Loss＝(1-CCC)+λ×CE作为整体模型框架中的损失函数；
其中λ为控制情感聚类分类器在多任务学习时的重要程度，是一个可控的参数，本发明中设置为1；CCC为相关一致性系数损失，用于情感回归器中，CE为交叉熵损失，用于聚类分类器中，Loss指本发明中使用的损失函数。
实施例包括以下步骤：
步骤一：预处理
1.使用librosa工具包从原始语音数据中提取128D梅尔谱图的声学嵌入作为ACG-EmoCluster的输入；
1.1使用32ms(毫秒)窗口计算波形信号的幅度谱图，将融合32ms(毫秒)声学信息的频谱图作为128D(维)梅尔尺度滤波器的输入；
1.2计算滤波器组所有输出的均值和标准差；
1.3使用输出的均值和标准差对嵌入进行归一化；
2.为了降低模型的输入维度，使用提出的块分割方法将归一化的频谱图均匀地划分为更小的子图。该方法可以自适应地调整频谱块之间的重叠，将任意时长的语音序列分割成一组相同数量和维度的语音块；
2.1等式1将Dmax作为语音样本在数据集上的最大持续时间，tc作为每个语音样本的可配置块长度，其C是每个样本的嵌入块数通过作用于Dmax和tc的上限函数；
2.2等式2中的程序计算持续时间为Di的语音i的分段块之间的步长Δci；
2.3ACG-EmoCluster接受与输入大小相同的分段频谱图子图。在模型训练期间，所有子图都被分配与原始图匹配的相同样本级情感标签；
2.4模型直接使用经过平均运算后的输出特征作为语音的最终特征。对于最终的语音预测，将模型中所有子图的输出组合并平均。
步骤二：特征提取阶段
语音特征提取器由空间特征提取网络和时间提取网络组成。如图1所示，前者是由VGG-16网络的卷积块修改而来的网络，由Attn-Convolution块堆叠而成，后者是一个BiGRU；
图2展示了Attn-Convolution块具有两个卷积层和一个注意层。卷积层享有大小为3*3的标准卷积核，attention层受Transformer的影响，通过结合self-attention特征图和卷积特征将特征图的全局信息带入图点特征；
与常见的卷积块相比，Attn-Convolution块中每个图点的感受野是整个特征图，而不是大小为3*3的感受野。此外，将Attn-Convolution块推广到任何具有卷积层的神经网络，并考虑网络深度和数据规模将卷积块修改为Attn-Convolution块。对于时间提取网络，使用BiGRU来学习语音频谱图的上下文信息和情感表示的连贯性；
自然，在训练模型时，将Attn-Convolution网络和BiGRU网络特征作为语音特征。
步骤三：模型训练阶段
本发明训练有一个分类任务和一个回归任务。无监督语音特征学习的分类任务使用k-means算法为语音特征分配伪标签，以捕获特定语音的先验知识。这种学习策略有助于识别样本特征之间的差异，并专注于语音的局部细节。
使用为SER学习的先验知识初始化模型主干(即语音特征提取器)，然后对回归任务使用一致性相关系数损失函数来拟合情感标签。模型的损失函数由公式(3)Loss＝(1-CCC)+λ×CE
表示，其中CCC为一致性相关系数损失，CE为无监督聚类分类计算的交叉熵损失，参数λ表示显着性的无监督任务。在这项工作中，将它们视为平等的，即λ＝1。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (5)
1.一种基于半监督语音情感识别框架的深度情感聚类方法，其特征在于，
基于深度情感聚类方法的时空共同捕获的半监督语音情感识别框架，简称ACG-EmoCluster，包括以下方法：
步骤1，对输入的语料库中的音频进行预处理；
步骤2，使用由注意力机制与卷积操作搭建而成的深度学习网络，简称Attn-Convolution网络，对预处理后的语音数据在空间上进行特征提取；
步骤3，使用由双向门控单元构建的深度学习网络，简称BiGRU网络，对预处理后的语音数据在时间上进行特征提取；
步骤4，将提取出的语音特征使用集成于pytorch框架的矩阵加和函数，简称ADD函数，进行特征融合；
步骤5，在聚类分类器模块中对未标记的数据集进行伪标签分配；
步骤6，在情感回归器中对每个句子i的语音片段sij进行回归预测，并将n个语音片段{si1，……，sin}进行归一化后的结果作为句子i的预测结果；
步骤7，使用新的CCC-CE联合损失作为回归器与分类器模型的损失函数；CCC为相关一致性系数损失，用于情感回归器中；CE为交叉熵损失，用于聚类分类器中。
2.根据权利要求1所述的一种基于半监督语音情感识别框架的深度情感聚类方法，其特征在于，所述的步骤1还包括以下方法：
步骤1.1，使用第三方库librosa工具包从原始语音数据中提取128维的梅尔谱图的声学嵌入作为ACG-EmoCluster的输入；
步骤1.2，使用32毫秒窗口计算波形信号的幅度谱图，将融合32毫秒声学信息的频谱图作为128维的梅尔尺度滤波器的输入；
步骤1.3，计算滤波器组所有输出的均值和标准差；
步骤1.4，使用输出的均值和标准差对嵌入进行归一化；
步骤1.5，降低模型的输入维度，使用提出的块分割方法将归一化的频谱图均匀地划分为更小的子图，通过自适应地调整频谱块之间的重叠，将任意时长的语音序列分割成一组相同数量和维度的语音块；
步骤1.5.1，将Dmax作为语音样本在数据集上的最大持续时间，tc作为每个语音样本的可配置块长度，其C是每个样本的嵌入块数通过作用于Dmax和tc的上限函数：
步骤1.5.2，计算持续时间为Di的语音i的分段块之间的步长Δci
3.根据权利要求1所述的一种基于半监督语音情感识别框架的深度情感聚类方法，其特征在于，所述的步骤2还包括以下方法：
步骤2.1，以句子i中切割好的n个语音片段{Si1，……，Sin}作为ACG-EmoCluster模型框架的输入；
步骤2.2，将原始数据{Si1，……，Sin}输入由注意力机制与卷积操作搭建而成的深度学习网络，简称Attn-Convolution网络中，其中网络使用的由注意力机制与卷积操作搭建而成的深度学习网络块，简称Attn-Convolution Block，的数量为4，组成Attn-Convolution网络，Block中的具体网络结构与处理步骤如下：
步骤2.2.1，以{Si1，……，Sin}作为原始输入，同时输入一个卷积核大小为3*3的Convolution层与一个单头的自注意力机制；
步骤2.2.2，注意力机制中
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；siLS中，S表示截取的语音块，i表示句子的索引，即该处为第i个句子的语音块，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.3，计算Querys,Keys间的Cosine相似性：
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Similarity(Querys,Keys)表示使用Querys,Keys通过公式计算相关性，该公式名设定为Similarity；
步骤2.2.4，通过得到的相似性Similarityqk，计算Softmax相关性得分
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Softmax(Querys·Keys)使用Querys,Keys通过公式计算一种不同于Similarity的相关性，该公式名设定为Softmax；Simqk为Similarityqk的简称，LS表示该句子被切割后的语音片段数量，取值范围为[1,11]；
步骤2.2.5，计算该片段Sij的注意力值Attention：
步骤2.2.6，将从Convolution层中得到的空间局部特征MapFConv与从Attention得到的空间全局特征MapFAttn，进行映射加和：
MapFA-C＝Linear(512,MapFAttn)+Linear(512,MapFConv)；
步骤2.2.7，将融合的空间特征MapFA-C输入到一个Convolution层中进行特征提取强化，得到MapFACC；
其中QueryS为语音块s的查询矩阵，KeyS为语音块s的键矩阵，ValueS为语音块s的值矩阵；在本发明使用的自注意力机制中，QueryS,KeyS,ValueS均被赋值为同一矩阵；Convolution层为卷积操作层，MapFConv为经过卷积操作后获得的卷积特征映射图，MapFAttn为经过注意力机制后获得的自注意力特征映射图，MapFA-C表示将MapFAttn与MapFConv进行加和操作之后获得的卷积-注意力特征映射图；Linear(512,MapFAttn)表示使用线性层将MapFAttn映射为512维度大小，Linear(512,MapFConv)表示使用线性层将MapFConv映射为512维度大小；MapFACC表示经过一个自注意力机制与两个卷积操作层所获得的特征映射图。
4.根据权利要求1所述的一种基于半监督语音情感识别框架的深度情感聚类方法，其特征在于，所述的步骤4还包括以下方法：
步骤4.1，将从Attn-Convolution网络中得到的MapFACClast与从BiGRU中得到的MapFTemp，使用线性加和方法进行特征融合操作，得到提取器的最终特征向量输出：
MapFACG＝Linear(512,MapFACClast)+Linear(512,MapFTemp)；
MapFACClast表示经过使用了若干个使用如图二所示的搭建方法构建的Attn-Convolution网络块而构成的网络，所获得的特征映射图；MapFTemp表示经过了双向门控单元网络而获得的特征映射图；Linear(512,MapFACClast)表示使用线性层将MapFACClast映射为512维度大小，Linear(512,MapFTemp)表示使用线性层将MapFTemp映射为512维度大小。
5.根据权利要求1所述的一种基于半监督语音情感识别框架的深度情感聚类方法，其特征在于，所述的步骤7还包括以下方法：
步骤7.1，情感聚类分类器中将交叉熵损失CE用于分类任务，情感回归器将一致性相关系数CCC作为损失应用于回归任务；
步骤7.2，完成一种在语音情感识别上的多任务深度学习，因此将联合Loss＝(1-CCC)+λ×CE作为整体模型框架中的损失函数；
其中λ为控制情感聚类分类器在多任务学习时的重要程度，是一个可控的参数，本发明中设置为1；CCC为相关一致性系数损失，用于情感回归器中，CE为交叉熵损失，用于聚类分类器中，Loss指本发明中使用的损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211472628.2A CN116230019A (zh) | 2022-11-17 | 2022-11-17 | 一种基于半监督语音情感识别框架的深度情感聚类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211472628.2A CN116230019A (zh) | 2022-11-17 | 2022-11-17 | 一种基于半监督语音情感识别框架的深度情感聚类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116230019A true CN116230019A (zh) | 2023-06-06 |
Family
ID=86568572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211472628.2A Pending CN116230019A (zh) | 2022-11-17 | 2022-11-17 | 一种基于半监督语音情感识别框架的深度情感聚类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116230019A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116705059A (zh) * | 2023-08-08 | 2023-09-05 | 硕橙（厦门）科技有限公司 | 一种音频半监督自动聚类方法、装置、设备及介质 |
| CN117373491A (zh) * | 2023-12-07 | 2024-01-09 | 天津师范大学 | 一种动态提取语音情感特征的方法及装置 |
-
2022
- 2022-11-17 CN CN202211472628.2A patent/CN116230019A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116705059A (zh) * | 2023-08-08 | 2023-09-05 | 硕橙（厦门）科技有限公司 | 一种音频半监督自动聚类方法、装置、设备及介质 |
| CN116705059B (zh) * | 2023-08-08 | 2023-11-10 | 硕橙（厦门）科技有限公司 | 一种音频半监督自动聚类方法、装置、设备及介质 |
| CN117373491A (zh) * | 2023-12-07 | 2024-01-09 | 天津师范大学 | 一种动态提取语音情感特征的方法及装置 |
| CN117373491B (zh) * | 2023-12-07 | 2024-02-06 | 天津师范大学 | 一种动态提取语音情感特征的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Latif et al. | Direct modelling of speech emotion from raw speech | |
| CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
| Li et al. | Dilated residual network with multi-head self-attention for speech emotion recognition | |
| CN107609009B (zh) | 文本情感分析方法、装置、存储介质和计算机设备 | |
| Guanghui et al. | Multi-modal emotion recognition by fusing correlation features of speech-visual | |
| Li et al. | Towards Discriminative Representation Learning for Speech Emotion Recognition. | |
| CN111583964B (zh) | 一种基于多模深度特征学习的自然语音情感识别方法 | |
| CN114694076A (zh) | 基于多任务学习与层叠跨模态融合的多模态情感分析方法 | |
| CN116230019A (zh) | 一种基于半监督语音情感识别框架的深度情感聚类方法 | |
| CN114359768B (zh) | 一种基于多模态异质特征融合的视频密集事件描述方法 | |
| Wei et al. | A novel speech emotion recognition algorithm based on wavelet kernel sparse classifier in stacked deep auto-encoder model | |
| CN113723166A (zh) | 内容识别方法、装置、计算机设备和存储介质 | |
| EP4198807A1 (en) | Audio processing method and device | |
| CN115544279B (zh) | 一种基于协同注意力的多模态情感分类方法及其应用 | |
| CN112329438A (zh) | 基于域对抗训练的自动谎言检测方法及系统 | |
| CN115393933A (zh) | 一种基于帧注意力机制的视频人脸情绪识别方法 | |
| CN115312033A (zh) | 基于人工智能的语音情感识别方法、装置、设备及介质 | |
| CN114694255A (zh) | 基于通道注意力与时间卷积网络的句子级唇语识别方法 | |
| Atkar et al. | Speech Emotion Recognition using Dialogue Emotion Decoder and CNN Classifier | |
| Rao et al. | Exploring the impact of optimal clusters on cluster purity | |
| CN116758451A (zh) | 基于多尺度和全局交叉注意力的视听情感识别方法及系统 | |
| Vijayaraju | Image retrieval using image captioning | |
| Zhu et al. | Emotion Recognition of College Students Based on Audio and Video Image. | |
| CN115758218A (zh) | 一种基于长短时特征和决策融合的三模态情感分析方法 | |
| CN113160823B (zh) | 基于脉冲神经网络的语音唤醒方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |