CN111429948A - 一种基于注意力卷积神经网络的语音情绪识别模型及方法 - Google Patents
一种基于注意力卷积神经网络的语音情绪识别模型及方法 Download PDFInfo
- Publication number
- CN111429948A CN111429948A CN202010230512.2A CN202010230512A CN111429948A CN 111429948 A CN111429948 A CN 111429948A CN 202010230512 A CN202010230512 A CN 202010230512A CN 111429948 A CN111429948 A CN 111429948A
- Authority
- CN
- China
- Prior art keywords
- attention
- layer
- training
- convolution
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000008451 emotion Effects 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 238000013136 deep learning model Methods 0.000 claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
一种基于注意力卷积神经网络的语音情绪识别模型及方法，该模型采用深度学习模型：包括五层卷积层，一层注意力层和一层全连接层，其中；第一层卷积层包括两个平行的卷积模块，能够对输入特征分别从横向即时间轴和纵向即梅尔系数轴进行提取纹理，前述两个平行卷积层的输出拼接后作为第二卷积层的输入；注意力层中，能够采用随机种子产生若干组训练参数，分别获得相应的注意力图，叠加之后获得有多个注意点的注意力图；前述多个注意点的注意力图生成一个特征点，重复本步骤若干次次，获取相应的特征点，将特征点相连并送入全连接层。本发明能够更好的适配语音情绪数据的特性，提高语音情绪识别系统的准确率。
Description
技术领域
本发明涉及语音识别领域，更具体地，涉及一种基于注意力卷积神经网络的语音情绪识别模型及方法。
背景技术
语音情绪识别是指从说话者的语音中提取说话人的情绪状态，也就是说，判断人类说话时的情绪。人们通常所说的语音识别是指自动语音识别(Auto SpeechRecognition,ASR)，是指将人类话语映射到文字系列，而语音情绪识别将人类话语映射到情绪标签。目前常用的做法是，首先从从人类的语音中提取音频特征，输入到传统机器学习算法或深度神经网络中进行分类，从而识别语音中的情绪。
现有技术方案多是将常规的机器学习和深度学习算法直接迁移到本问题上，常规的算法通常识别目标是客观的对象，例如图像中的物体，语音中的文字等。但是情绪有很强的主观性，对于同一句语音，不同的人可能从中听出不同的情绪，尤其是对于来自不同语言、文化环境的人。对于数据标注来说，可以通过增加标注者的数量一定程度的解决这一问题；但对于识别算法而言，常规的识别算法不能很好的适配这一特性，导致目前语音情绪识别系统的准确率仍较低。
发明内容
本发明的目的是针对语音情绪识别准确性低的问题，提出一种基于深度学习模型的情绪识别模型及方法，以更好的适配语音情绪数据的特性，从而提高语音情绪识别系统的准确率。
本发明的技术方案是：
一种基于注意力卷积神经网络的语音情绪识别模型，该模型采用深度学习模型：包括五层卷积层，一层注意力层和一层全连接层，其中；
第一层卷积层包括两个平行的卷积模块，能够对输入特征分别从横向即时间轴和纵向即梅尔系数轴进行提取纹理，前述两个平行卷积层的输出拼接后作为第二卷积层的输入；
注意力层中，能够采用随机种子产生若干组训练参数，分别获得相应的注意力图，叠加之后获得有多个注意点的注意力图；前述多个注意点的注意力图生成一个特征点，重复本步骤若干次次，获取相应的特征点，将特征点相连并送入全连接层。
一种基于注意力卷积神经网络的语音情绪识别方法，基于注意力卷积神经网络的语音情绪识别模型，该方法包括以下步骤：
S1、建立深度学习模型：包含五层卷积层，一层注意力层和一层全连接层，采用随机种子产生训练参数；
S2、获取训练样本步骤：选取交互式情绪二元运动捕捉数据库IEMOCAP，对于数据库中的各条语音赋予相应的情绪标签，进行预处理获得若干个语音片段，将前述语音片段作为音频数据样本，各语音片段采用预处理前的情绪标签；
S3、特征提取步骤：将梅尔频率倒谱系数MFCCs作为音频特征对前述音频数据样本进行特征提取，得到各音频数据样本中的频率倒谱系数MFCCs：
S4、训练步骤：将提取的各音频数据样本中的频率倒谱系数MFCCs特征送入深度学习模型，执行如下训练操作；
S4-1、第一卷积层中两个平行的卷积模块分别对输入特征从横向即时间轴和纵向即梅尔系数轴进行纹理提取，将两个平行卷积层的输出纹理拼接后作为第二卷积层的输入；
S4-2、采用第二至五卷积层生成通道数为d的中间特征，即获取d个特征点；
S4-3、将d个特征点构成的特征点向量X送入到注意力层中，采用n组训练参数进行训练得到多个注意点的注意力图Xmattn，生成一个特征点X，重复本步骤m次，获取m个特征点，这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率，将几率最大的情绪标签作为该音频数据样本的训练结果输出；
S4-4、按照步骤S4-1至步骤S4-3对各语音片段即音频数据样本进行训练，采用优化器更新深度学习模型中的参数，直至步骤S4-3中全连接层输出的情绪标签准确率稳定，完成训练；
S5、识别步骤：按照步骤S2对待识别的语音进行预处理获得若干个语音片段，将前述语音片段作为待识别的音频样本；按照步骤S3对待识别的音频样本进行特征提取；将提取的特征送入深度学习模型进行识别得到待识别的音频样本属于各情绪标签的几率，融合各语音片段的识别结果，取平均值作为待识别语音的识别结果。
进一步地，所述的S2中，预处理步骤具体为：将各条语音按照预设的长度和步进进行切分，相邻片段之间形成部分重叠。
进一步地，片段长度为1-3s，切分步进为片段长度的1/3-1/2，相邻片段之间有部分重叠，丢弃长度小于片段长度的部分。
进一步地，所述的S3具体包括以下步骤：
S3-1、使用汉宁窗hanning对数据库中的音频信号做短时傅里叶变换STFT得到功率频谱；
S3-2、按照公式(1)将功率频谱映射到梅尔标度得到梅尔频谱M(f)；
M(f)＝1125(1+f/700) (1)
其中：f表示功率频谱矩阵；
S3-3、对梅尔频谱取对数得到对数梅尔频谱；
S3-4、对对数梅尔频谱做离散余弦变换DCT，得到频率倒谱系数MFCCs。
进一步地，所述的汉宁窗宽度为2048；窗函数重叠宽度为512。
进一步地，所述的S4-2中，第二至五卷积层采用常规卷积层，在每一层卷积层后应用批标准化技术Batch Normalization和激活函数Relu，并在第二、三层卷积后使用2x2的最大值池化数据以降低数据尺寸。
进一步地，所述的S4-3具体为：
a、将d个特征点送入到注意力层中，采用训练参数进行训练；
K＝Wk*X，Q＝Wq*X，V＝Wv*X
其中：X表示d个特征点构成的向量；Wk，Wq，Wv表示训练参数，合起来是一组训练参数，由随机种子产生；K、Q、V分别表示对特征点向量X分别按照相应的训练参数训练之后得到的注意力分布的可能性系数；
b、采用下述公式获取该组训练参数Wk，Wq，Wv对应的注意力图Xattn：
Xattn＝Softmax(KQT)V
其中：Softmax表示归一化函数；
c、采用n组训练参数按照步骤a-b对特征点向量X进行训练，获取n张注意力图Xattn，采用下述公式行叠加获得有多个注意点的注意力图Xmattn；
其中：i表示训练参数组的编号，n表示训练参数组的总数；
对获取的具有多个注意点的注意力图Xmattn使用全局平均池化方法GAP生成一个特征点X；
d、按照步骤a-c执行m次，得到m个特征点，将这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率。
本发明的有益效果：
本发明提取的音频特征首先用2个平行的卷积层分别提取横向和纵向纹理；注意力层使用head fusion机制，生成具有多个注意力点的注意力图并用GAP生成注意力向量用于分类，识别效果更好，有效减小误差。
本发明的方法在IEMOCAP数据集的即兴部分上进行了实验，结果表明我们的模型在语音情绪识别的准确性上取得了较大进步。
本发明的模型取得了76.18％的Weighted Accuracy(WA)和76.36％的UnweightedAccuracy(UA)。WA指的是识别正确的语句占总语句数的比例，UA指的是每一情绪类别中识别正确的语句数占该情绪类别的比例的平均值；语音情绪识别的准确性更高。
本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了本发明的总体模型构架示意图。
图2示出了注意力层的流程图。
图3示出了本发明实施例中训练集和测试集的数据处理流程图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
如图1所示，本发明提供一种基于注意力卷积神经网络的语音情绪识别模型，该模型采用深度学习模型，模型各层具体参数以表1为例：
表1
该模型包括五层卷积层，一层注意力层和一层全连接层，其中；
第一层卷积层包括两个平行的卷积模块，能够对输入特征分别从横向即时间轴和纵向即梅尔系数轴进行提取纹理，前述两个平行卷积层的输出拼接后作为第二卷积层的输入；
注意力层中，能够采用随机种子产生若干组训练参数，分别获得相应的注意力图，叠加之后获得有多个注意点的注意力图；前述多个注意点的注意力图生成一个特征点，重复本步骤若干次次，获取相应的特征点，将特征点相连并送入全连接层。
总共n×m组参数，每n组参数叠加成1张多注意点的注意力图，共生成m张多注意点的注意力图。每张多注意点的注意力图使用全局平均池化(GAP)生成一个特征点(共m个)，这些特征点就是最后分类所使用的特征；n和m可自行选择，推荐4×32或4×64。
n：注意力层的参数；表示在我们提出的head fusion方法中，融合一张具有多注意力点的注意力图所使用的普通注意力图的数量；
m：注意力层的参数；表示在我们提出的head fusion方法中，生成的具有多注意力点的注意力图的数量。
一种基于注意力卷积神经网络的语音情绪识别方法，基于注意力卷积神经网络的语音情绪识别模型，该方法包括以下步骤：
S1、建立深度学习模型：包含五层卷积层，一层注意力层和一层全连接层，采用随机种子产生i组训练参数；
S2、获取训练样本步骤：选取交互式情绪二元运动捕捉数据库IEMOCAP，对于数据库中的各条语音赋予相应的情绪标签，进行预处理获得若干个语音片段，将前述语音片段作为音频数据样本，各语音片段采用预处理前的情绪标签；
在训练时，切分获得的每个2s的片段都算做一条独立的数据，使用它们被切分前的情绪标签；在实际测试时，对从同一条语音中切分出来的所有2s片段的预测结果取平均得到这条语音整体的情绪概率分布；
S3、特征提取步骤：将梅尔频率倒谱系数MFCCs作为音频特征对前述音频数据样本进行特征提取，得到各音频数据样本中的频率倒谱系数MFCCs；所述的S3具体包括以下步骤：
S3-1、使用汉宁窗hanning对数据库中的音频信号做短时傅里叶变换STFT得到功率频谱；所述的汉宁窗宽度为2048；窗函数重叠宽度为512；
S3-2、按照公式(1)将功率频谱映射到梅尔标度得到梅尔频谱M(f)；
M(f)＝1125(1+f/700) (1)
其中：f表示功率频谱矩阵；
S3-3、对梅尔频谱取对数得到对数梅尔频谱；
S3-4、对对数梅尔频谱做离散余弦变换DCT，得到频率倒谱系数MFCCs。S4、训练步骤：将提取的各音频数据样本中的频率倒谱系数MFCCs特征送入深度学习模型；
S4-1、第一卷积层中两个平行的卷积模块分别对输入特征从横向即时间轴和纵向即梅尔系数轴进行纹理提取，将两个平行卷积层的输出纹理拼接后作为第二卷积层的输入。
S4-2、采用第二至五卷积层生成通道数为d的中间特征，即获取d个特征点，d以80为例；第二至五卷积层采用常规卷积层，在每一层卷积层后应用批标准化技术BatchNormalization和激活函数Relu，并在第二、三层卷积后使用2x2的最大值池化数据以降低数据尺寸。
S4-3、如图2所示，为注意力层的工作流程：将d个特征点构成的特征点向量X送入到注意力层中，采用n组训练参数进行训练得到多个注意点的注意力图Xmattn，生成一个特征点X，重复本步骤m次，获取m个特征点，这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率，将几率最大的情绪标签作为该音频数据样本的训练结果输出，具体为：
a、将d个特征点送入到注意力层中，采用训练参数进行训练；
K＝Wk*X，Q＝Wq*X，V＝Wv*X
其中：X表示d个特征点构成的向量；Wk，Wq，Wv表示训练参数，合起来是一组训练参数，由随机种子产生；K、Q、V分别表示对特征点向量X分别按照相应的训练参数训练之后得到的注意力分布的可能性系数；
b、采用下述公式获取该组训练参数Wk，Wq，Wv对应的注意力图Xattn：
Xattn＝Softmax(KQT)V
其中：Softmax表示归一化函数；
K和Q是等价的(不是相等，系数W会随着训练变化)，都代表输入特征的attentionscore(用来表示不同特征点之间的关联程度)，KQT可以得到输入特征中的每个特征点和自身另外每一个特征点间的关联程度，用softmax转化成概率分布，但这样丢失了原始值，就需要再乘上一个用来记录原始值的V，就能得到经过计算的注意力图。使用不同的参数组可以理解为从不同的角度去投注注意力，比如先关注语气，然后换个角度关注音量；
c、采用n组训练参数按照步骤a-b对特征点向量X进行训练，获取n张注意力图Xattn，采用下述公式行叠加获得有多个注意点的注意力图Xmattn；
其中：i表示训练参数组的编号，n表示训练参数组的总数；
对获取的具有多个注意点的注意力图Xmattn使用全局平均池化方法GAP生成一个特征点X；
d、按照步骤a-c执行m次，得到m个特征点，将这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率。
S4-4、按照步骤S4-1至步骤S4-3对各语音片段即音频数据样本进行训练，采用优化器更新深度学习模型中的参数，直至步骤S4-3中全连接层输出的情绪标签准确率稳定；
S5、识别步骤：如图3所示，按照步骤S2对待识别的语音进行预处理获得若干个语音片段，将前述语音片段作为待识别的音频样本；按照步骤S3对待识别的音频样本进行特征提取；将提取的特征送入深度学习模型进行识别得到待识别的音频样本属于各情绪标签的几率，融合各语音片段的识别结果，取平均值作为待识别语音的识别结果。
进一步地，所述的S2中，预处理步骤具体为：将各条语音按照预设的长度和步进进行切分，相邻片段之间形成部分重叠；片段长度为1-3s，切分步进为片段长度的1/3-1/2，相邻片段之间有部分重叠，丢弃长度小于片段长度的部分。
本发明提取的音频特征首先用2个平行的卷积层分别提取横向和纵向纹理；注意力层使用head fusion机制，生成具有多个注意力点的注意力图并用GAP生成注意力向量用于分类，识别效果更好，有效减小误差。表2显示了近年语音情绪识别相关研究的模型准确率，这些研究和我们的方法采用的是相同的数据集和相同的验证方法；本发明的模型取得了76.18％的Weighted Accuracy(WA)和76.36％的Unweighted Accuracy(UA)；语音情绪识别的准确性更高。
WA指的是识别正确的语句占总语句数的比例，UA指的是每一情绪类别中识别正确的语句数占该情绪类别的比例的平均值。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。
Claims (8)
1.一种基于注意力卷积神经网络的语音情绪识别模型，其特征在于，该模型采用深度学习模型：包括五层卷积层，一层注意力层和一层全连接层，其中；
第一层卷积层包括两个平行的卷积模块，能够对输入特征分别从横向即时间轴和纵向即梅尔系数轴进行提取纹理，前述两个平行卷积层的输出拼接后作为第二卷积层的输入；
注意力层中，能够采用随机种子产生若干组训练参数，分别获得相应的注意力图，叠加之后获得有多个注意点的注意力图；前述多个注意点的注意力图生成一个特征点，重复本步骤若干次次，获取相应的特征点，将特征点相连并送入全连接层。
2.一种基于注意力卷积神经网络的语音情绪识别方法，基于权利要求1所述的基于注意力卷积神经网络的语音情绪识别模型，其特征在于，该方法包括以下步骤：
S1、建立深度学习模型：包含五层卷积层，一层注意力层和一层全连接层，采用随机种子产生训练参数；
S2、获取训练样本步骤：选取交互式情绪二元运动捕捉数据库IEMOCAP，对于数据库中的各条语音赋予相应的情绪标签，进行预处理获得若干个语音片段，将前述语音片段作为音频数据样本，各语音片段采用预处理前的情绪标签；
S3、特征提取步骤：将梅尔频率倒谱系数MFCCs作为音频特征对前述音频数据样本进行特征提取，得到各音频数据样本中的频率倒谱系数MFCCs：
S4、训练步骤：将提取的各音频数据样本中的频率倒谱系数MFCCs特征送入深度学习模型，执行如下训练操作；
S4-1、第一卷积层中两个平行的卷积模块分别对输入特征从横向即时间轴和纵向即梅尔系数轴进行纹理提取，将两个平行卷积层的输出纹理拼接后作为第二卷积层的输入；
S4-2、采用第二至五卷积层生成通道数为d的中间特征，即获取d个特征点；
S4-3、将d个特征点构成的特征点向量X送入到注意力层中，采用n组训练参数进行训练得到多个注意点的注意力图Xmattn，生成一个特征点X，重复本步骤m次，获取m个特征点，这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率，将几率最大的情绪标签作为该音频数据样本的训练结果输出；
S4-4、按照步骤S4-1至步骤S4-3对各语音片段即音频数据样本进行训练，采用优化器更新深度学习模型中的参数，直至步骤S4-3中全连接层输出的情绪标签准确率稳定，完成训练；
S5、识别步骤：按照步骤S2对待识别的语音进行预处理获得若干个语音片段，将前述语音片段作为待识别的音频样本；按照步骤S3对待识别的音频样本进行特征提取；将提取的特征送入深度学习模型进行识别得到待识别的音频样本属于各情绪标签的几率，融合各语音片段的识别结果，取平均值作为待识别语音的识别结果。
3.根据权利要求2所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，所述的S2中，预处理步骤具体为：将各条语音按照预设的长度和步进进行切分，相邻片段之间形成部分重叠。
4.根据权利要求2所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，片段长度为1-3s，切分步进为片段长度的1/3-1/2，相邻片段之间有部分重叠，丢弃长度小于片段长度的部分。
5.根据权利要求2所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，所述的S3具体包括以下步骤：
S3-1、使用汉宁窗hanning对数据库中的音频信号做短时傅里叶变换STFT得到功率频谱；
S3-2、按照公式(1)将功率频谱映射到梅尔标度得到梅尔频谱M(f)；
M(f)＝1125(1+f/700) (1)
其中：f表示功率频谱矩阵；
S3-3、对梅尔频谱取对数得到对数梅尔频谱；
S3-4、对对数梅尔频谱做离散余弦变换DCT，得到频率倒谱系数MFCCs。
6.根据权利要求5所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，所述的汉宁窗宽度为2048；窗函数重叠宽度为512。
7.根据权利要求2所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，所述的S4-2中，第二至五卷积层采用常规卷积层，在每一层卷积层后应用批标准化技术Batch Normalization和激活函数Relu，并在第二、三层卷积后使用2x2的最大值池化数据以降低数据尺寸。
8.根据权利要求2所述的基于注意力卷积神经网络的语音情绪识别系统，其特征在于，所述的S4-3具体为：
a、将d个特征点送入到注意力层中，采用训练参数进行训练；
K＝Wk*X，Q＝Wq*X，V＝Wv*X
其中：X表示d个特征点构成的向量；Wk，Wq，Wv表示训练参数，合起来是一组训练参数，由随机种子产生；K、Q、V分别表示对特征点向量X分别按照相应的训练参数训练之后得到的注意力分布的可能性系数；
b、采用下述公式获取该组训练参数Wk，Wq，Wv对应的注意力图Xattn：
Xattn＝Softmax(KQT)V
其中：Softmax表示归一化函数；
c、采用n组训练参数按照步骤a-b对特征点向量X进行训练，获取n张注意力图Xattn，采用下述公式行叠加获得有多个注意点的注意力图Xmattn；
其中：i表示训练参数组的编号，n表示训练参数组的总数；
对获取的具有多个注意点的注意力图Xmattn使用全局平均池化方法GAP生成一个特征点X；
d、按照步骤a-c执行m次，得到m个特征点，将这些特征点相连并送入全连接层，得到该音频数据样本属于各情绪标签的几率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010230512.2A CN111429948B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意力卷积神经网络的语音情绪识别模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010230512.2A CN111429948B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意力卷积神经网络的语音情绪识别模型及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429948A true CN111429948A (zh) | 2020-07-17 |
| CN111429948B CN111429948B (zh) | 2023-04-28 |
Family
ID=71549768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010230512.2A Active CN111429948B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意力卷积神经网络的语音情绪识别模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429948B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112151067A (zh) * | 2020-09-27 | 2020-12-29 | 湖北工业大学 | 一种基于卷积神经网络的数字音频篡改被动检测方法 |
| CN112508058A (zh) * | 2020-11-17 | 2021-03-16 | 安徽继远软件有限公司 | 基于音频特征分析的变压器故障诊断方法及装置 |
| CN112560811A (zh) * | 2021-02-19 | 2021-03-26 | 中国科学院自动化研究所 | 端到端的音视频抑郁症自动检测研究方法 |
| CN112712824A (zh) * | 2021-03-26 | 2021-04-27 | 之江实验室 | 一种融合人群信息的语音情感识别方法和系统 |
| CN112735388A (zh) * | 2020-12-28 | 2021-04-30 | 马上消费金融股份有限公司 | 网络模型训练方法、语音识别处理方法及相关设备 |
| CN112817587A (zh) * | 2021-02-08 | 2021-05-18 | 南京邮电大学 | 一种基于注意力机制的移动应用行为识别方法 |
| CN112885432A (zh) * | 2021-02-06 | 2021-06-01 | 北京色彩情绪健康科技发展有限公司 | 一种情绪分析管理系统 |
| CN113409823A (zh) * | 2021-06-30 | 2021-09-17 | 平安科技（深圳）有限公司 | 语音情绪识别方法、装置、电子设备及存储介质 |
| CN113793627A (zh) * | 2021-08-11 | 2021-12-14 | 华南师范大学 | 一种基于注意力的多尺度卷积语音情感识别方法及装置 |
| CN115345262A (zh) * | 2022-10-18 | 2022-11-15 | 南京工业大学 | 基于影响分数的神经网络模型关键数据挖掘方法及应用 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140114655A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Emotion recognition using auditory attention cues extracted from users voice |
| CN109599129A (zh) * | 2018-11-13 | 2019-04-09 | 杭州电子科技大学 | 基于注意力机制和卷积神经网络的语音抑郁症识别方法 |
| CN109637522A (zh) * | 2018-12-26 | 2019-04-16 | 杭州电子科技大学 | 一种基于语谱图提取深度空间注意特征的语音情感识别方法 |
| CN109817246A (zh) * | 2019-02-27 | 2019-05-28 | 平安科技（深圳）有限公司 | 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质 |
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
| US20190392625A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science and Technology Co., Ltd | Method and apparatus for generating animation |
-
2020
- 2020-03-27 CN CN202010230512.2A patent/CN111429948B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140114655A1 (en) * | 2012-10-19 | 2014-04-24 | Sony Computer Entertainment Inc. | Emotion recognition using auditory attention cues extracted from users voice |
| US20190392625A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science and Technology Co., Ltd | Method and apparatus for generating animation |
| CN109599129A (zh) * | 2018-11-13 | 2019-04-09 | 杭州电子科技大学 | 基于注意力机制和卷积神经网络的语音抑郁症识别方法 |
| CN109637522A (zh) * | 2018-12-26 | 2019-04-16 | 杭州电子科技大学 | 一种基于语谱图提取深度空间注意特征的语音情感识别方法 |
| CN109817246A (zh) * | 2019-02-27 | 2019-05-28 | 平安科技（深圳）有限公司 | 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质 |
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110400579A (zh) * | 2019-06-25 | 2019-11-01 | 华东理工大学 | 基于方向自注意力机制和双向长短时网络的语音情感识别 |
Non-Patent Citations (2)
| Title |
|---|
| 张昕然等: "听觉注意模型的语谱图语音情感识别方法", 《信号处理》 * |
| 顾军华等: "基于卷积注意力机制的情感分类方法", 《计算机工程与设计》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112151067A (zh) * | 2020-09-27 | 2020-12-29 | 湖北工业大学 | 一种基于卷积神经网络的数字音频篡改被动检测方法 |
| CN112508058B (zh) * | 2020-11-17 | 2023-11-14 | 安徽继远软件有限公司 | 基于音频特征分析的变压器故障诊断方法及装置 |
| CN112508058A (zh) * | 2020-11-17 | 2021-03-16 | 安徽继远软件有限公司 | 基于音频特征分析的变压器故障诊断方法及装置 |
| CN112735388A (zh) * | 2020-12-28 | 2021-04-30 | 马上消费金融股份有限公司 | 网络模型训练方法、语音识别处理方法及相关设备 |
| CN112885432A (zh) * | 2021-02-06 | 2021-06-01 | 北京色彩情绪健康科技发展有限公司 | 一种情绪分析管理系统 |
| CN112817587A (zh) * | 2021-02-08 | 2021-05-18 | 南京邮电大学 | 一种基于注意力机制的移动应用行为识别方法 |
| CN112817587B (zh) * | 2021-02-08 | 2022-09-30 | 南京邮电大学 | 一种基于注意力机制的移动应用行为识别方法 |
| CN112560811A (zh) * | 2021-02-19 | 2021-03-26 | 中国科学院自动化研究所 | 端到端的音视频抑郁症自动检测研究方法 |
| CN112560811B (zh) * | 2021-02-19 | 2021-07-02 | 中国科学院自动化研究所 | 端到端的音视频抑郁症自动检测研究方法 |
| US11963771B2 (en) | 2021-02-19 | 2024-04-23 | Institute Of Automation, Chinese Academy Of Sciences | Automatic depression detection method based on audio-video |
| CN112712824A (zh) * | 2021-03-26 | 2021-04-27 | 之江实验室 | 一种融合人群信息的语音情感识别方法和系统 |
| CN113409823A (zh) * | 2021-06-30 | 2021-09-17 | 平安科技（深圳）有限公司 | 语音情绪识别方法、装置、电子设备及存储介质 |
| CN113793627B (zh) * | 2021-08-11 | 2023-12-29 | 华南师范大学 | 一种基于注意力的多尺度卷积语音情感识别方法及装置 |
| CN113793627A (zh) * | 2021-08-11 | 2021-12-14 | 华南师范大学 | 一种基于注意力的多尺度卷积语音情感识别方法及装置 |
| CN115345262B (zh) * | 2022-10-18 | 2022-12-27 | 南京工业大学 | 基于影响分数的神经网络模型关键数据挖掘方法 |
| CN115345262A (zh) * | 2022-10-18 | 2022-11-15 | 南京工业大学 | 基于影响分数的神经网络模型关键数据挖掘方法及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429948B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429948A (zh) | 一种基于注意力卷积神经网络的语音情绪识别模型及方法 | |
| Chung et al. | Voxceleb2: Deep speaker recognition | |
| CN109741732B (zh) | 命名实体识别方法、命名实体识别装置、设备及介质 | |
| CN106683680B (zh) | 说话人识别方法及装置、计算机设备及计算机可读介质 | |
| CN110457432B (zh) | 面试评分方法、装置、设备及存储介质 | |
| WO2021128741A1 (zh) | 语音情绪波动分析方法、装置、计算机设备及存储介质 | |
| CN111916111B (zh) | 带情感的智能语音外呼方法及装置、服务器、存储介质 | |
| CN111243602A (zh) | 基于性别、国籍和情感信息的声纹识别方法 | |
| CN112614510B (zh) | 一种音频质量评估方法及装置 | |
| CN114023300A (zh) | 一种基于扩散概率模型的中文语音合成方法 | |
| CN112750441B (zh) | 一种声纹的识别方法、装置、电子设备及存储介质 | |
| JP2007171944A (ja) | 言語教育のために発音をテキスト独立に自動グレード付けする方法及びシステム | |
| Kim et al. | Adaptive Convolutional Neural Network for Text-Independent Speaker Recognition. | |
| CN112802461B (zh) | 语音识别方法和装置、服务器、计算机可读存储介质 | |
| CN111653270B (zh) | 语音处理方法、装置、计算机可读存储介质及电子设备 | |
| CN116153337B (zh) | 合成语音溯源取证方法及装置、电子设备及存储介质 | |
| US6314392B1 (en) | Method and apparatus for clustering-based signal segmentation | |
| CN115312080A (zh) | 一种基于互补声学表征的语音情绪识别模型以及方法 | |
| CN111785302A (zh) | 说话人分离方法、装置及电子设备 | |
| CN115312030A (zh) | 虚拟角色的显示控制方法、装置及电子设备 | |
| CN114627896A (zh) | 语音评测方法、装置、设备及存储介质 | |
| Yousfi et al. | Holy Qur'an speech recognition system Imaalah checking rule for warsh recitation | |
| CN111933187B (zh) | 情感识别模型的训练方法、装置、计算机设备和存储介质 | |
| CN112863489A (zh) | 语音识别方法、装置、设备及介质 | |
| JP4219539B2 (ja) | 音響分類装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |