CN110390955B - 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 - Google Patents
一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 Download PDFInfo
- Publication number
- CN110390955B CN110390955B CN201910583878.5A CN201910583878A CN110390955B CN 110390955 B CN110390955 B CN 110390955B CN 201910583878 A CN201910583878 A CN 201910583878A CN 110390955 B CN110390955 B CN 110390955B
- Authority
- CN
- China
- Prior art keywords
- database
- layer
- training
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 34
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,包括:(1)获取语言不同的训练数据库和测试数据库(2)将训练数据库和测试数据库中的语音信号分别处理得到每段语音信号的频谱图;(3)建立卷积神经网络;(4)将训练数据库和测试数据库的语音信号频谱图分别输入卷积神经网络进行训练,训练时,先计算训练数据库和测试数据库语音信号频谱图分别对应的全连接层输出之间的最大均值差异,之后计算训练数据库softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;(5)获取待识别的语音信号频谱图,输入训练好的深度卷积神经网络,输出情感类别。本发明准确率更高。
Description
技术领域
本发明涉及语音数据情感识别,尤其涉及一种基于深度域适应性卷积神经网络的跨库语音情感识别方法。
背景技术
语音情感识别是当前模式识别与人工智能领域的一个研究热点,应用前景广阔。传统的语音情感识别往往在单个语音数据库上进行训练与测试,而在实际生活中,训练集与测试集的语音数据往往有很大的差异,例如来自不同的语言,故在不同语音数据库上进行语音情感识别更贴近于真实的生活场景,这是一种跨库语音情感识别问题。跨库语音情感识别的难点在于提取合适的语音特征并缩小源数据库数据以及目标数据库数据的特征分布差异。传统的语音特征往往只能体现单一的语音特性,而语谱图可以同时体现语音信号在时域与频域上的特性。
深度卷积神经网络是一种有效提取高维数据特征的手段,其具有反馈与学习的功能,在语音情感识别的领域中应用广泛。最大均值差异(Maximum Mean Discrepancy, MMD)是一种衡量不同域之间数据分布差异的有效方法,可以有效表示不同语音数据库之间的特征分布差异。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,该方法识别准确率更高。
技术方案:本发明所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法包括:
(1)获取两个语言不同的语音数据库,分别作为训练数据库和测试数据库,其中,每个语音数据库中包括有若干语音信号和对应的情感类别标签;
(2)将训练数据库和测试数据库中的语音信号分别进行预处理,得到每段语音信号的频谱图;
(3)建立深度域适应性卷积神经网络,所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层;
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练,其中,在训练网络时,先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异,之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;
(5)将待识别的语音信号进行预处理,得到其频谱图,并将频谱图输入训练好的深度卷积神经网络,输出中维数最大的类别即为识别的情感类别。
进一步的,步骤(3)中所述第一卷积层和所述第二卷积层的输入和输出间的关系式为:
YC=φ(conv(WC,XC)+bC)
式中,YC表示第一卷积层或第二卷积层的输出,XC表示第一卷积层或第二卷积层的输入,WC、bC分别为权重参数、偏置参数,通过网络训练得到,conv()表示卷积函数,φ为激活函数,且φ(·)=max(0,·)。
所述第一全连接层和第二全连接层的输入和输出间的关系式为:
Yd=φ(WdXd+bd)
式中,Yd表示第一卷积层或第二卷积层的输出,Xd表示第一卷积层或第二卷积层的输入,Wd、bd分别为权重参数、偏置参数,通过网络训练得到,φ为激活函数,且φ(·)=max(0,·)。
进一步的,步骤(4)中所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为:
所述训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵的计算方法为:
式中,Ce表示交叉熵值,U为softmax层输出个数,x表示语音信号的标号,p(x)表示训练数据库中存储的语音信号x的语音情感类别,q(x)表示语音信号x输入到深度域适应性卷积神经网络后,其softmax层输出的情感类别,即预测的情感类别。
所述网络损失的计算方法为:
Losssum=Ce+λMMD(Ds,Dt)
式中,Losssum表示网络损失,Ce表示交叉熵值,MMD(Ds,Dt)表示最大均值差异,λ表示权衡系数。
有益效果:本发明与现有技术相比,其显著优点是:本发明提供了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,该方法使用频谱图作为特征输入,采用跨库进行网络训练,神经网络可以有效地提取语谱图所蕴含的情感特征,根据特征分布的最大均值差异的梯度下降及反向传播算法可以有效地缩小训练数据库数据与测试数据库数据的特征差异,使得识别准确率更高。
附图说明
图1是本发明提供的基于深度域适应性卷积神经网络的跨库语音情感识别方法的流程示意图;
图2是两个不同语言的语音信号的频谱图样本;
图3是本发明建立的深度域适应性卷积神经网络的结构示意图;
图4是对本发明建立的深度域适应性卷积神经网络进行训练的流程示意图。
具体实施方式
本实施例提供了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,如图1所示,包括以下步骤:
(1)获取两个语言不同的语音数据库,分别作为训练数据库和测试数据库,其中,每个语音数据库中包括有若干语音信号和对应的情感类别标签。
(2)将训练数据库和测试数据库中的语音信号分别进行预处理,得到每段语音信号的频谱图。语音信号频谱图如图2所示。
(3)建立深度域适应性卷积神经网络,所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层,具体如图3所示。
其中,第一卷积层的卷积核尺寸为3×3,通道数为3,步长为1,数目为16,第一池化层的尺寸为3×3,步长为2,第二卷积层的卷积核尺寸为3×3,通道数为16,数目为16,步长为1,第二池化层的尺寸为3×3,步长为1,两层全连接层的输出皆为128 维,最终softmax的维数为识别的情感种类数,最大的一维即代表识别的情感类别。
其中,所述第一卷积层和所述第二卷积层的输入和输出间的关系式为:
YC=φ(conv(WC,XC)+bC)
式中,YC表示第一卷积层或第二卷积层的输出,XC表示第一卷积层或第二卷积层的输入,WC、bC分别为权重参数、偏置参数,通过网络训练得到,conv()表示卷积函数,φ为激活函数,且φ(·)=max(0,·)。
所述第一全连接层和第二全连接层的输入和输出间的关系式为:
Yd=φ(WdXd+bd)
式中,Yd表示第一卷积层或第二卷积层的输出,Xd表示第一卷积层或第二卷积层的输入,Wd、bd分别为权重参数、偏置参数,通过网络训练得到,φ为激活函数,且φ(·)=max(0,·)。
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练,其中,在训练网络时,如图4所示,先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异,之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练。
其中,所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为:
式中,MMD(Ds,Dt)为Ds、Dt的最大均值差异,为训练数据库语音信号频谱图对应的全连接层输出,元素为M个,为测试数据库语音信号频谱图对应的全连接层输出,元素为N个,k()表示高斯核函数。σ取[2.0,5.0,10.0,20.0,40.0]。该计算中,全连接层可以是第一全连接层,也可以是第二全连接层。
所述训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵的计算方法为:
式中,Ce表示交叉熵值,U为softmax层输出个数,x表示语音信号的标号,p(x)表示训练数据库中存储的语音信号x的语音情感类别,q(x)表示语音信号x输入到深度域适应性卷积神经网络后,其softmax层输出的情感类别,即预测的情感类别,如图4中所示Ys。
所述网络损失的计算方法为:
Losssum=Ce+λMMD(Ds,Dt)
式中,Losssum表示网络损失,Ce表示交叉熵值,MMD(Ds,Dt)表示最大均值差异,λ表示权衡系数。
(5)将待识别的语音信号进行预处理,得到其频谱图,并将频谱图输入训练好的深度卷积神经网络,输出中维数最大的类别即为识别的情感类别。
下面以Berlin情感语音数据库与CASIA情感语音数据库之间的跨库语音情感识别任务为例进行验证,验证结果如表1所示:
表1
训练库 | 测试库 | SVM | DCNN | TKL | TCA | D-FC1 | D-FC2 |
Berlin | CASIA | 25.10% | 34.50% | 28.40% | 28.10% | 38.10% | 34.90% |
CASIA | Berlin | 36.76% | 38.54% | 38.24% | 37.99% | 48.39% | 38.02% |
其中SVM、TKL以及TCA为基于传统的IS09特征集(含梅尔频率倒谱系数、过零率等)与支持向量机、迁移核学习以及迁移成分学习结合的跨库语音情感识别方法, DCNN为仅使用语谱图及神经网络无领域自适应层的方法,D-FC1及D-FC2为基于卷积神经网络的领域自适应层分别位于第一及第二个全连接层的深度领域自适应性卷积神经网络模型。
实验结果表明,基于所使用的卷积神经网络及其第一个全连接层的深度领域自适应性卷积神经网络模型取得了最高的跨库语音识别率。在Berlin情感语音数据可与CASIA情感语音数据之间的跨库语音情感识别任务中,本发明提出的基于模型相对于其它传统的方法起到了更好的识别结果。相较于其他方法,本发明成功地增加了神经网络模型的鲁棒性,提高了跨库语音情感识别的准确率。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (7)
1.一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,其特征在于该方法包括:
(1)获取两个语言不同的语音数据库,分别作为训练数据库和测试数据库,其中,每个语音数据库中包括有若干语音信号和对应的情感类别标签;
(2)将训练数据库和测试数据库中的语音信号分别进行预处理,得到每段语音信号的频谱图;
(3)建立深度域适应性卷积神经网络,所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层;
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练,其中,在训练网络时,先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异,之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;
(5)将待识别的语音信号进行预处理,得到其频谱图,并将频谱图输入训练好的深度卷积神经网络,输出中维数最大的类别即为识别的情感类别。
2.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法,其特征在于:步骤(3)中所述第一卷积层的输入和输出间以及所述第二卷积层的输入和输出间的关系式为:
YC1=φ(conv(WC1,XC1)+bC1)
式中,YC1表示第一卷积层输出,XC1表示第一卷积层输入,WC1、bC1分别为权重参数、偏置参数,通过网络训练得到,conv()表示卷积函数,φ为激活函数,且φ(·)=max(0,·);
YC2=φ(conv(WC2,XC2)+bC2)
式中,YC2表示第二卷积层的输出,XC2表示第二卷积层的输入,WC2、bC2分别为权重参数、偏置参数,通过网络训练得到。
3.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法,其特征在于:步骤(3)中所述第一全连接层的输入和输出间以及第二全连接层的输入和输出间的关系式为:
Yd1=φ(Wd1Xd1+bd1)
式中,Yd1表示第一全连接层的输出,Xd1表示第一全连接层的输入,Wd1、bd1分别为权重参数、偏置参数,通过网络训练得到,φ为激活函数,且φ(·)=max(0,·);
Yd2=φ(Wd2Xd2+bd2)
式中,Yd2表示第二全连接层的输出,Xd2表示第二全连接层的输入,Wd2、bd2分别为权重参数、偏置参数,通过网络训练得到。
6.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法,其特征在于:步骤(4)中所述网络损失的计算方法为:
Losssum=Ce+λMMD(Ds,Dt)
式中,Losssum表示网络损失,Ce表示交叉熵值,MMD(Ds,Dt)表示最大均值差异,λ表示权衡系数。
7.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法,其特征在于:步骤(4)中计算最大均值差异时涉及的全连接层为第一全连接层或第二全连接层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910583878.5A CN110390955B (zh) | 2019-07-01 | 2019-07-01 | 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910583878.5A CN110390955B (zh) | 2019-07-01 | 2019-07-01 | 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110390955A CN110390955A (zh) | 2019-10-29 |
CN110390955B true CN110390955B (zh) | 2021-07-27 |
Family
ID=68286065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910583878.5A Active CN110390955B (zh) | 2019-07-01 | 2019-07-01 | 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110390955B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111048117B (zh) * | 2019-12-05 | 2022-06-17 | 南京信息工程大学 | 一种基于目标适应子空间学习的跨库语音情感识别方法 |
CN111126263B (zh) * | 2019-12-24 | 2022-11-25 | 东南大学 | 一种基于双半球差异性模型的脑电情感识别方法及装置 |
CN110992988B (zh) * | 2019-12-24 | 2022-03-08 | 东南大学 | 一种基于领域对抗的语音情感识别方法及装置 |
CN111259941B (zh) * | 2020-01-10 | 2023-09-26 | 中国科学院计算技术研究所 | 基于细粒度领域自适应的跨领域图像分类方法及系统 |
CN111354378B (zh) * | 2020-02-12 | 2020-11-24 | 北京声智科技有限公司 | 语音端点检测方法、装置、设备及计算机存储介质 |
CN111583966B (zh) * | 2020-05-06 | 2022-06-28 | 东南大学 | 基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置 |
CN111710349B (zh) * | 2020-06-23 | 2023-07-04 | 长沙理工大学 | 一种语音情感识别方法、系统、计算机设备和存储介质 |
CN112489689B (zh) * | 2020-11-30 | 2024-04-30 | 东南大学 | 基于多尺度差异对抗的跨数据库语音情感识别方法及装置 |
CN112690793B (zh) * | 2020-12-28 | 2023-05-16 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
CN112613481A (zh) * | 2021-01-04 | 2021-04-06 | 上海明略人工智能(集团)有限公司 | 一种基于频谱的轴承磨耗预警方法与系统 |
CN112735478B (zh) * | 2021-01-29 | 2023-07-18 | 华南理工大学 | 一种基于加性角惩罚焦点损失的语音情感识别方法 |
CN113077823B (zh) * | 2021-03-24 | 2024-05-03 | 河南工业大学 | 一种基于深度自编码器子域自适应跨库语音情感识别方法 |
CN113268628B (zh) * | 2021-04-14 | 2023-05-23 | 上海大学 | 一种基于模块化的加权融合神经网络的音乐情感识别方法 |
CN113628640A (zh) * | 2021-07-15 | 2021-11-09 | 河南工业大学 | 一种基于样本均衡和最大均值差异的跨库语音情感识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108364662A (zh) * | 2017-12-29 | 2018-08-03 | 中国科学院自动化研究所 | 基于成对鉴别任务的语音情感识别方法与系统 |
CN108550375A (zh) * | 2018-03-14 | 2018-09-18 | 鲁东大学 | 一种基于语音信号的情感识别方法、装置和计算机设备 |
CN108899051A (zh) * | 2018-06-26 | 2018-11-27 | 北京大学深圳研究生院 | 一种基于联合特征表示的语音情感识别模型及识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017048729A1 (en) * | 2015-09-14 | 2017-03-23 | Cogito Corporation | Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs |
-
2019
- 2019-07-01 CN CN201910583878.5A patent/CN110390955B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108364662A (zh) * | 2017-12-29 | 2018-08-03 | 中国科学院自动化研究所 | 基于成对鉴别任务的语音情感识别方法与系统 |
CN108550375A (zh) * | 2018-03-14 | 2018-09-18 | 鲁东大学 | 一种基于语音信号的情感识别方法、装置和计算机设备 |
CN108899051A (zh) * | 2018-06-26 | 2018-11-27 | 北京大学深圳研究生院 | 一种基于联合特征表示的语音情感识别模型及识别方法 |
Non-Patent Citations (2)
Title |
---|
Cross-Corpus Speech Emotion Recognition Based on Deep Domain-Adaptive Convolutional Neural Network;jiateng LIU et al.;《IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS》;20200229;第459-461页 * |
Learning Discriminative Features from Spectrograms Using Center Loss for Speech Emotion Recognition;Dongyang Dai et al.;《ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20190512;第7405-7406页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110390955A (zh) | 2019-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390955B (zh) | 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 | |
Ma et al. | Emotion recognition from variable-length speech segments using deep learning on spectrograms. | |
CN108899051B (zh) | 一种基于联合特征表示的语音情感识别模型及识别方法 | |
US11081105B2 (en) | Model learning device, method and recording medium for learning neural network model | |
Huang et al. | Deep learning for monaural speech separation | |
JP5554893B2 (ja) | 音声特徴ベクトル変換方法及び装置 | |
Deng et al. | Introducing shared-hidden-layer autoencoders for transfer learning and their application in acoustic emotion recognition | |
CN107680582A (zh) | 声学模型训练方法、语音识别方法、装置、设备及介质 | |
CN110853630B (zh) | 面向边缘计算的轻量级语音识别方法 | |
Chang et al. | A Segment-based Speech Recognition System for Isolated Mandarin Syllables | |
Mo et al. | Neural architecture search for keyword spotting | |
CN108229659A (zh) | 基于深度学习的钢琴单键音识别方法 | |
KR20080078466A (ko) | 다단계 음성인식장치 및 방법 | |
KR102406512B1 (ko) | 음성인식 방법 및 그 장치 | |
CN103456302B (zh) | 一种基于情感gmm模型权重合成的情感说话人识别方法 | |
CN111429947A (zh) | 一种基于多级残差卷积神经网络的语音情感识别方法 | |
CN111091809B (zh) | 一种深度特征融合的地域性口音识别方法及装置 | |
CN108962247A (zh) | 基于渐进式神经网络多维语音信息识别系统及其方法 | |
CN113112994B (zh) | 基于图卷积神经网络的跨语料库情感识别方法 | |
CN112397092A (zh) | 基于领域自适应子空间的无监督跨库语音情感识别方法 | |
Zhiyan et al. | Speech emotion recognition based on deep learning and kernel nonlinear PSVM | |
Firmansyah et al. | Comparison of windowing function on feature extraction using MFCC for speaker identification | |
CN106297769A (zh) | 一种应用于语种识别的鉴别性特征提取方法 | |
KR100832556B1 (ko) | 강인한 원거리 음성 인식 시스템을 위한 음성 인식 방법 | |
CN110148417B (zh) | 基于总变化空间与分类器联合优化的说话人身份识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |