CN112466326B - 一种基于transformer模型编码器的语音情感特征提取方法 - Google Patents

一种基于transformer模型编码器的语音情感特征提取方法 Download PDF

Info

Publication number
CN112466326B
CN112466326B CN202011470115.9A CN202011470115A CN112466326B CN 112466326 B CN112466326 B CN 112466326B CN 202011470115 A CN202011470115 A CN 202011470115A CN 112466326 B CN112466326 B CN 112466326B
Authority
CN
China
Prior art keywords
layer
emotion
voice
level
transducer model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011470115.9A
Other languages
English (en)
Other versions
CN112466326A (zh
Inventor
金赟
俞佳佳
马勇
李世党
姜芳艽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Normal University
Original Assignee
Jiangsu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Normal University filed Critical Jiangsu Normal University
Priority to CN202011470115.9A priority Critical patent/CN112466326B/zh
Publication of CN112466326A publication Critical patent/CN112466326A/zh
Application granted granted Critical
Publication of CN112466326B publication Critical patent/CN112466326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开一种基于transformer模型编码器的语音情感特征提取方法，适用于人工智能和语音情感识别领域。首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；其中改进后的transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征，从而获得更深层次包含全局上下文信息的帧级情感特征。

Description

一种基于transformer模型编码器的语音情感特征提取方法
技术领域
本发明涉及一种语音情感特征提取方法，尤其适用于人工智能和语音情感识别领域使用的一种基于transformer模型编码器的语音情感特征提取方法。
背景技术
随着科技的进步，人机交互已经成为一个重要的研究领域。语音情感识别技术可以使机器更加人性化。目前，语音情感识别已研究了数十余年，其本质为计算机对人类情感感知和理解过程的模拟，任务就是从预处理后的语音信号中提取有效的情感声学特征，并找出这些声学特征与人类情感的映射关系。
在语音情感识别的研究中，如何从语音信号中提取出最具情感信息的特征仍是一大难题与热点。已有技术中使用较多的特征主要是语音的韵律学信息、音质信息和频谱信息。韵律信息主要包括音高，语速和能量以及停顿；频谱信息目前用的最广泛的是Mel频率倒谱系数(MFCC)、线性预测系数(LPC)。由于很多情感的韵律特征具有相同的特性，因此单独使用感知特征(低级描述符和它们的统计值)不能保证系统获得良好的性能。在语音情感识别中，应该强调其情感信息，消减语音、说话人、性别等无关信息，因而迫切需要一种能够更加适合于语音情感识别的特征提取方式，如何从语音信号中提取出更加适合于语音情感识别的特征成为了提高识别率的最关键问题。
近十年来在模式识别领域兴起的一种模仿人类大脑学习的技术——深度学习，从早期的人工神经网络发展而来，已经成功应用于语音情感识别，并表现了良好的性能。直接利用深度网络提取语音信号中的情感特征也成为了一种热点。但是目前仍以RNN、DNN等神经网络提取学习特征的系统较多，但是由于易存在长距离梯度消失以及长序列到定长向量的信息损失问题，因此传统的神经网络对于语音情感的全局信息尚未能很好的提取，存在很大的局限性，而这个性质在语音情感特征方面是相当重要的。
发明内容
针对上述技术的不足之处，提供一种针对语音情感识别中全局特征的提取方法，直接在原始语音波形中捕捉低级语音情感特征，对transformer模型编码器进行改进，在该模型前添加了一层sincnet滤波器，以选取出更具有情感信息的特征，能够对语音情感的全局信息进行提取的基于transformer模型编码器的语音情感特征提取方法。
为实现上述技术目的，本发明的基于transformer模型编码器的语音情感特征提取方法，首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；其中改进后的transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征，如音调和共振峰。
具体步骤如下：
S1：将输入的语音数据预处理后转换为原始语音波形；
S2：在常规transformer模型编码器的前添加一层sincnet滤波器，构建出一个可融合全局上下文信息特征的改进transformer模型编码器；
S3：将原始语音波形与sincnet进行卷积计算，捕捉出语音信号中包含的低级情感信息特征h[n]；如重要的窄带情感特征，音调和共振峰；
S4：使用transformer模型编码器对低级情感信息特征h[n]再次进行处理，得到更深层次包含全局上下文信息的帧级情感特征y[n]
S5：将具有全局信息的帧级情感特征y[n]输入池化层，通过池化并与经验权重向量相乘，使每一次迭代中的帧级特征合并，最终合并为一个话语级情感特征向量；
S6：利用softmax分类器对话语级情感特征进行分类，从而获得当前的输入语音数据的情感。
优选的，所述改进transformer模型编码器，由sincnet滤波器与transformer模型编码器构建的一种融合上下文特征的神经网络结构，包括输入层、中间层以及输出层，所述中间层包括顺序连接的sincnet滤波器、transformer模型编码器结构以及池化层，其中常规transformer模型编码器部分包括多头注意力子层、全连接层以及前馈神经网络。
优选的，将语音数据转换成原始语音波形的步骤如下：首先对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n]，每个语音波形的采样率设置为16KHZ，16bit量化，同时使用窗长和偏移为250ms和10ms的Hamming窗口，再将语音信号转变为原始语音波形图。
优选的，步骤S2具体为：
将语音波形信号x[n]和SincNet层滤波器组函数g[n,θ]之间执行卷积计算，构建出包含低级情感信息特征h[n]，其映射关系式为：h[n]＝x[n]*g[n,θ]，其中θ为可学习参数，g为滤波器组函数；
进一步地，所述sincnet层是一种基于参数化sinc函数，由矩形带通滤波器组成，矩形带通滤波器能够用两个具有可学习截止频率的低通滤波器来表示，具体公式如下：
g[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)，
其中，f1,f2表示低截止频率和高截止频率。低截止频率和高截止频率是从数据中学习到的滤波器的唯一参数。
优选的，步骤S4的具体为：
S41：将S3得到的包含浅层情感信息的特征向量输入到transformer模型编码器的多头注意力子层，得到输入语音的帧级注意力特征向量；
多头注意力子层先将输入向量映射到不同的子空间中，再分别在所有子空间上做点乘运算，计算出注意力向量，最后把所有子空间计算得到的注意力向量拼接起来，并映射到原输入空间中，得到最终的注意力向量作为输出；从而获取到全局的上下文信息，避免传统循环神经网络因梯度消失或梯度爆炸而导致的信息消失问题；具体公式如下：
MutiHead(Q,K,V)＝Concat(head1,…,headh)Wo
其中，headi＝Attention(QWi Q,KWi K,VWi V)
其中MutiHead(Q,K,V)是Multi-HeadAttention层的输出结果；Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；Wo是输出的映射参数矩阵；Wi Q、Wi K、Wi V分别为Q、K、V在第i个head上的映射参数矩阵；
每一个head均采用scaleddot-productattention，具体计算公式如下
Figure BDA0002833361310000031
其中Attention(Q,K,V)是scaled dot-product attention的输出，softmax(x)是归一化指数函数；Wrl是序列相对位置关系权重参数；KT为矩阵K的转置；
Figure BDA0002833361310000032
为比例因子；
S42：将S41得到的输入语音的帧级注意力特征向量输入到编码器的前向反馈子层，得到输入语音的上下文特征向量；前向反馈子层由两层前馈神经网络组成，是对多头注意力子层的输出进行两次线性变换和一次RELU激活，具体公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
多头注意力子层和前向反馈子层都包含一个残差连接结构，将子层输出与子层输入相加再做规范化作为子层最终输出，每个子层最后的输出公式为：output＝LayerNorm(input+SubLayer(input))，
其中，LayerNorm为层规范化操作，input为子层输入，subLayer为子层相应的计算公式，即上述MutiHead或FFN公式。
S43：重复S41与S42的步骤6次，得到输入语音的最终上下文特征向量。
优选的，所述S6将话语级情感特征向量输入到softmax分类中，使用softmax分类器来预测标签情感类别，将输出映射到(0,1)区间内，可以对应情感类别的概率；最终取概率最大的维度所对应的情感类别作为最终输出结果，从而输出与整段语音相对应的情感类别，即模型对预测的情感进行分类。
有益效果：
本发明没有采用手工制作的低级描述符及其统计数值作为语音情感特征，提出一种基于transformer模型编码器的语音情感识别方法，使用transformer模型编码器作为主体模型，以获取深度双向全局表征。
本发明采用transformer模型编码器代替RNN、CNN网络结构，将语音转换成原始波形图作为原始输入，能够在把输入序列上不同位置的信息联系起来，即考虑输入的每条语音全局上下文情感逻辑，可以获得更深层次包含全局上下文信息的帧级情感特征。
在transformer模型编码器网络前添加一层sincnet滤波器用以克服语音情感中信息分布不平均等问题，从而在原始语音波形中捕捉一些重要的窄带情感特征，如音调和共振峰等，使其整个网络结构在特征提取过程中具有指导性。
附图说明
图1是本发明基于transformer模型编码器的语音情感特征提取方法中的系统框架图；
图2是本发明基于transformer模型编码器的语音情感特征提取方法中的transformer模型编码器内部结构框架图
具体实施方式
为了更充分的解释本发明，下面结合附图和具体实施方式对本发明进行详细说明。以下实施例仅用于更加清楚说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明的基于transformer模型编码器的语音情感特征提取方法，首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；其中改进后的transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征，如音调和共振峰。
具体步骤如下：
S1：将输入的语音数据预处理后转换为原始语音波形；
S2：在常规transformer模型编码器的前添加一层sincnet滤波器，构建出一个可融合全局上下文信息特征的改进transformer模型编码器；
具体的，将语音波形信号x[n]和SincNet层滤波器组函数g[n,θ]之间执行卷积计算，构建出包含低级情感信息特征h[n]，其映射关系式为：h[n]＝x[n]*g[n,θ]，其中θ为可学习参数，g为滤波器组函数；
进一步地，所述sincnet层是一种基于参数化sinc函数，由矩形带通滤波器组成，矩形带通滤波器能够用两个具有可学习截止频率的低通滤波器来表示，具体公式如下：
g[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)，
其中，f1,f2表示低截止频率和高截止频率。低截止频率和高截止频率是从数据中学习到的滤波器的唯一参数。
如图2所示，所述改进transformer模型编码器，由sincnet滤波器与transformer模型编码器构建的一种融合上下文特征的神经网络结构，包括输入层、中间层以及输出层，所述中间层包括顺序连接的sincnet滤波器、transformer模型编码器结构以及池化层，其中常规transformer模型编码器部分包括多头注意力子层、全连接层以及前馈神经网络；
S3：将原始语音波形与sincnet进行卷积计算，捕捉出语音信号中包含的低级情感信息特征h[n]；如重要的窄带情感特征，音调和共振峰；
将语音数据转换成原始语音波形的步骤如下：首先对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n]，每个语音波形的采样率设置为16KHZ，16bit量化，同时使用窗长和偏移为250ms和10ms的Hamming窗口，再将语音信号转变为原始语音波形图。
S4：使用transformer模型编码器对低级情感信息特征h[n]再次进行处理，得到更深层次包含全局上下文信息的帧级情感特征y[n]；
S41：将S3得到的包含浅层情感信息的特征向量输入到transformer模型编码器的多头注意力子层，得到输入语音的帧级注意力特征向量；
多头注意力子层先将输入向量映射到不同的子空间中，再分别在所有子空间上做点乘运算，计算出注意力向量，最后把所有子空间计算得到的注意力向量拼接起来，并映射到原输入空间中，得到最终的注意力向量作为输出；从而获取到全局的上下文信息，避免传统循环神经网络因梯度消失或梯度爆炸而导致的信息消失问题；具体公式如下：
MutiHead,K,V)＝Concat(head1,…,headh)Wo
其中，headi＝Attention(QWi Q,KWi K,VWi V)
其中MutiHead(Q,K,V)是Multi-HeadAttention层的输出结果；Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；Wo是输出的映射参数矩阵；Wi Q、Wi K、Wi V分别为Q、K、V在第i个head上的映射参数矩阵；
每一个head均采用scaleddot-productattention，具体计算公式如下
Figure BDA0002833361310000051
其中Attention(Q,K,V)是scaled dot-productattention的输出，softmax(x)是归一化指数函数；Wrl是序列相对位置关系权重参数；KT为矩阵K的转置；
Figure BDA0002833361310000052
为比例因子；
S42：将S41得到的输入语音的帧级注意力特征向量输入到编码器的前向反馈子层，得到输入语音的上下文特征向量；前向反馈子层由两层前馈神经网络组成，是对多头注意力子层的输出进行两次线性变换和一次RELU激活，具体公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
多头注意力子层和前向反馈子层都包含一个残差连接结构，将子层输出与子层输入相加再做规范化作为子层最终输出，每个子层最后的输出公式为：output＝LayerNorm(input+subLayer(input))，
其中，LayerNorm为层规范化操作，input为子层输入，subLayer为子层相应的计算公式，即上述MutiHead或FFN公式。
S43：重复S41与S42的步骤6次，得到输入语音的最终上下文特征向量。
S5：将具有全局信息的帧级情感特征y[n]输入池化层，通过池化并与经验权重向量相乘，使每一次迭代中的帧级特征合并，最终合并为一个话语级情感特征向量；具体来说，输入每一句话都会有一个情感类别，通过分帧处理将话语分成若干个帧级片段并分别处理，最终在加权合并成一句话形式的特征向量，送入分类器处理；
S6：利用softmax分类器对话语级情感特征进行分类，从而获得当前的输入语音数据的情感。
具体的，将话语级情感特征向量输入到softmax分类中，使用softmax分类器来预测标签情感类别，将输出映射到(0,1)区间内，可以对应情感类别的概率；最终取概率最大的维度所对应的情感类别作为最终输出结果，从而输出与整段语音相对应的情感类别，即模型对预测的情感进行分类。
实施例一、
使用IEMOCAP语音情感库进行提取，该数据库共包含10种情感，本实施例中采用生气、高兴、伤心、中立4种情感，其中高兴与兴奋划分为高兴类别，以实现类别平衡，共5531句英语音频。
具体按照以下步骤实施：
第一步：对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n]，每个语音波形的采样率设置为16KHZ，16bit量化，同时使用窗长和偏移为250ms和10ms的Hamming窗口，再将语音信号转变为原始语音波形图；
第二步：利用sincnet滤波器层来学习针对语音情感识别而调整的定制滤波器组，将x[n]与sincnet层g[n,θ]之间执行卷积计算，用于初步选取语音信号中低级情感信息特征h[n]；
第三步：将第二步得到的低级情感信息特征h[n]输入至多层transformer模型编码器中，得到具有全局信息的帧级情感特征y[n]；
第四步：将第三步得到的具有全局信息的帧级情感特征y[n]输入至池化层，通话池化并与经验权重向量相乘，使每一次迭代中的帧级特征合并，生成一个话语级特征向量；
第五步：将话语级特征向量输入至softmax层，进行情感分类。
通常transformer网络的层数越多，提取的特征也就越具有区分性，但是会导致训练时长过长或者难以收敛等问题，且不适用于数据集较少的语料库，所以我们构建一个两层transformer编码器网络，这样既能提取具有区分性的特征，也能降低训练时间，具体网络如图1，图2所示。该transformer编码器网络主要由三层多头注意力子层和三层前向反馈子层以及六个残差连接结构组成，最终提取倒数第二层共768维输出序列作为语音情感特征。
随机将实验中原始波形图的80％作为训练数据库，20％作为测试数据库，训练数据库用于通过调整改进的transformer编码器网络上的权重来创建一个有效的特征提取器，测试数据集用于测试最终的训练完成的模型，以确认该模型的实际分类能力。为了进一步说明本发明，将本发明与传统语音情感特征进行对比，其中传统特征采用openSMILE工具包分别提取384维，988维以及1582维声学特征，其中openSMILE工具包为语音情感识别领域常用的特征提取工具，其不同配置文件可提取出不同维度的情感声学特征，这些声学特征主要由低级描述符(如强度、响度、MFCC和音调等)及其统计特性组成。其次，不同特征直接送入softmax分类器，进行语音情感分类，结果如表1所示，如表所示，采用本发明总体效果良好，平均识别率为63.43％，明显优于传统方式提取出的情感声学特征。
综上所述，本发明从分许语音原始波形的角度，针对如何挖掘更加适合于语音情感识别的特征，采用改进的transformer编码器直接提取语音中深层次包含全局上下文信息的特征，并结合sincnet滤波器层，更好地捕捉对语音情感有益的信息，最终能提高语音情感识别的识别率。
表1在IEMOCAP数据库上不同特征进行语音情感分类的准确度的结果展示
Figure BDA0002833361310000071

Claims (6)

1.一种基于transformer模型编码器的语音情感特征提取方法，其特征在于：首先利用sincnet滤波器从原始语音波形中提取低级语音情感特征，然后利用多层transformer模型编码器对低级语音情感特征进一步学习；多层transformer模型编码器为常规transformer模型编码器前添加一层sincnet滤波器，即一组具有带通滤波器的参数化sinc函数，利用sincnet滤波器完成语音原始波形信号的低级特征提取工作，并使网络更好的捕捉重要的窄带情感特征；
多层transformer模型编码器，由sincnet滤波器与transformer模型编码器构建的一种融合上下文特征的神经网络结构，包括输入层、中间层以及输出层，中间层包括顺序连接的sincnet滤波器、transformer模型编码器结构以及池化层，常规transformer模型编码器部分包括多头注意力子层、全连接层以及前馈神经网络。
2.根据权利要求1所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于具体步骤如下：
S1：将输入的语音数据预处理后转换为原始语音波形；
S2：在常规transformer模型编码器的前添加一层sincnet滤波器，构建出一个可融合全局上下文信息特征的改进transformer模型编码器；
S3：将原始语音波形与sincnet进行卷积计算，捕捉出语音信号中包含的低级情感信息特征h[n]；
S4：使用transformer模型编码器对低级情感信息特征h[n]再次进行处理，得到更深层次包含全局上下文信息的帧级情感特征y[n]
S5：将具有全局信息的帧级情感特征y[n]输入池化层，通过池化并与经验权重向量相乘，使每一次迭代中的帧级特征合并，最终合并为一个话语级情感特征向量；
S6：利用softmax分类器对话语级情感特征进行分类，从而获得当前的输入语音数据的情感。
3.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于将语音数据转换成原始语音波形的步骤如下：首先对原始波形信号进行预加重、加窗分帧和端点检测的预处理获得x[n]，每个语音波形的采样率设置为16KHZ，16bit量化，同时使用窗长和偏移为250ms和10ms的Hamming窗口，再将语音信号转变为原始语音波形图。
4.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于步骤S2具体为：
将语音波形信号x[n]和SincNet层滤波器组函数g[n,θ]之间执行卷积计算，构建出包含低级情感信息特征h[n]，其映射关系式为：h[n]＝x[n]*g[n,θ]，其中θ为可学习参数，g为滤波器组函数；
所述sincnet层是一种基于参数化sinc函数，由矩形带通滤波器组成，矩形带通滤波器能够用两个具有可学习截止频率的低通滤波器来表示，具体公式如下：
g[n,f1,f2]＝2f2sinc(2πf2n)-2f1sinc(2πf1n)，
其中，f1,f2表示低截止频率和高截止频率，低截止频率和高截止频率是从数据中学习到的滤波器的唯一参数。
5.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于步骤S4的具体为：
S41：将S3得到的包含浅层情感信息的特征向量输入到transformer模型编码器的多头注意力子层，得到输入语音的帧级注意力特征向量；
多头注意力子层先将输入向量映射到不同的子空间中，再分别在所有子空间上做点乘运算，计算出注意力向量，最后把所有子空间计算得到的注意力向量拼接起来，并映射到原输入空间中，得到最终的注意力向量作为输出；从而获取到全局的上下文信息，避免传统循环神经网络因梯度消失或梯度爆炸而导致的信息消失问题；具体公式如下：
MutiHead(Q,K,V＝Concat(head1,…,headh)Wo
其中，headi＝Attention(QWi Q,KWi K,VWi V)
其中MutiHead(Q,K,V是Multi-HeadAttention层的输出结果；Concat是矩阵拼接函数；headi是第i个head的输出结果，h是head的个数；Wo是输出的映射参数矩阵；Wi Q、Wi K、Wi V分别为Q、K、V在第i个head上的映射参数矩阵；
每一个head均采用scaleddot-productattention，具体计算公式如下
Figure QLYQS_1
其中Attention(Q,K,V是scaleddot-productattention的输出，softmax(x是归一化指数函数；Wrl是序列相对位置关系权重参数；KT为矩阵K的转置；
Figure QLYQS_2
为比例因子；
S42：将S41得到的输入语音的帧级注意力特征向量输入到编码器的前向反馈子层，得到输入语音的上下文特征向量；前向反馈子层由两层前馈神经网络组成，是对多头注意力子层的输出进行两次线性变换和一次RELU激活，具体公式如下：
FFN(x)＝max(0,xW1+b1)W2+b2
多头注意力子层和前向反馈子层都包含一个残差连接结构，将子层输出与子层输入相加再做规范化作为子层最终输出，每个子层最后的输出公式为：output＝LayerNorm(input+subLayer(input))，
其中，LayerNorm为层规范化操作，input为子层输入，subLayer为子层相应的计算公式，即上述MutiHead或FFN公式；
S43：重复S41与S42的步骤6次，得到输入语音的最终上下文特征向量。
6.根据权利要求2所述的基于transformer模型编码器的语音情感特征提取方法，其特征在于所述S6具体为：将话语级情感特征向量输入到softmax分类中，使用softmax分类器来预测标签情感类别，将输出映射到(0,1)区间内，可以对应情感类别的概率；最终取概率最大的维度所对应的情感类别作为最终输出结果，从而输出与整段语音相对应的情感类别，即模型对预测的情感进行分类。
CN202011470115.9A 2020-12-14 2020-12-14 一种基于transformer模型编码器的语音情感特征提取方法 Active CN112466326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011470115.9A CN112466326B (zh) 2020-12-14 2020-12-14 一种基于transformer模型编码器的语音情感特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011470115.9A CN112466326B (zh) 2020-12-14 2020-12-14 一种基于transformer模型编码器的语音情感特征提取方法

Publications (2)

Publication Number Publication Date
CN112466326A CN112466326A (zh) 2021-03-09
CN112466326B true CN112466326B (zh) 2023-06-20

Family

ID=74804116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011470115.9A Active CN112466326B (zh) 2020-12-14 2020-12-14 一种基于transformer模型编码器的语音情感特征提取方法

Country Status (1)

Country Link
CN (1) CN112466326B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687263B (zh) * 2021-03-11 2021-06-29 南京硅基智能科技有限公司 语音识别神经网络模型及其训练方法、语音识别方法
CN113268628B (zh) * 2021-04-14 2023-05-23 上海大学 一种基于模块化的加权融合神经网络的音乐情感识别方法
CN113257280A (zh) * 2021-06-07 2021-08-13 苏州大学 基于wav2vec的语音情感识别方法
CN113397572A (zh) * 2021-07-23 2021-09-17 中国科学技术大学 基于Transformer模型的表面肌电信号分类方法及系统
CN113593526A (zh) * 2021-07-27 2021-11-02 哈尔滨理工大学 一种基于深度学习的语音情感识别方法
CN115712828A (zh) * 2021-08-18 2023-02-24 华为技术有限公司 一种图像分类方法及其相关设备
CN113869154B (zh) * 2021-09-15 2022-09-02 中国科学院大学 根据语言描述的视频动作者分割方法
CN114242113B (zh) * 2021-12-16 2023-08-08 北京百度网讯科技有限公司 语音检测方法、训练方法、装置和电子设备
CN115359909A (zh) * 2022-10-19 2022-11-18 之江实验室 一种基于注意力机制的癫痫发作检测系统
CN115456114A (zh) * 2022-11-04 2022-12-09 之江实验室 一种模型训练和业务执行的方法、装置、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112071329A (zh) * 2020-09-16 2020-12-11 腾讯科技（深圳）有限公司 一种多人的语音分离方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019013555A2 (pt) * 2017-01-03 2020-01-07 Koninklijke Philips N.V. Aparelho para captura de áudio, método de captura de áudio e produto de programa de computador

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112071329A (zh) * 2020-09-16 2020-12-11 腾讯科技（深圳）有限公司 一种多人的语音分离方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials?;Pavol Partila等;IEEE Communications Magazine;全文 *
Multimodal Approach of Speech Emotion Recognition Using Multi-Level Multi-Head Fusion Attention-Based Recurrent Neural Network;NGOC-HUYNH HO等;《IEEE ACCESS》;全文 *
语音情感识别研究进 展综述;韩文静 等;软件学报;第25卷(第1期);全文 *

Also Published As

Publication number Publication date
CN112466326A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112466326B (zh) 一种基于transformer模型编码器的语音情感特征提取方法
CN108597541B (zh) 一种增强愤怒与开心识别的语音情感识别方法及系统
CN110992987B (zh) 语音信号中针对通用特定语音的并联特征提取系统及方法
CN110400579B (zh) 基于方向自注意力机制和双向长短时网络的语音情感识别
CN108564942B (zh) 一种基于敏感度可调的语音情感识别方法及系统
CN107492382B (zh) 基于神经网络的声纹信息提取方法及装置
Deb et al. Emotion classification using segmentation of vowel-like and non-vowel-like regions
Schuller et al. Emotion recognition in the noise applying large acoustic feature sets
CN110634491B (zh) 语音信号中针对通用语音任务的串联特征提取系统及方法
CN108986798B (zh) 语音数据的处理方法、装置及设备
Samantaray et al. A novel approach of speech emotion recognition with prosody, quality and derived features using SVM classifier for a class of North-Eastern Languages
Li et al. Learning fine-grained cross modality excitement for speech emotion recognition
CN109979436A (zh) 一种基于频谱自适应法的bp神经网络语音识别系统及方法
CN113571095B (zh) 基于嵌套深度神经网络的语音情感识别方法和系统
Kaur et al. Impact of feature extraction and feature selection algorithms on Punjabi speech emotion recognition using convolutional neural network
Brucal et al. Female voice recognition using artificial neural networks and MATLAB voicebox toolbox
CN111145787B (zh) 一种基于主辅网络的语音情感特征融合方法及系统
CN112329819A (zh) 基于多网络融合的水下目标识别方法
Ye et al. Attention bidirectional LSTM networks based mime speech recognition using sEMG data
Raju et al. AUTOMATIC SPEECH RECOGNITION SYSTEM USING MFCC-BASED LPC APPROACH WITH BACK PROPAGATED ARTIFICIAL NEURAL NETWORKS.
Hanifa et al. Comparative Analysis on Different Cepstral Features for Speaker Identification Recognition
Yousfi et al. Isolated Iqlab checking rules based on speech recognition system
Jagadeeshwar et al. ASERNet: Automatic speech emotion recognition system using MFCC-based LPC approach with deep learning CNN
Jadhav et al. An Emotion Recognition from Speech using LSTM
Safie Spoken Digit Recognition Using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant