CN112784730B - 一种基于时域卷积网络的多模态情感识别方法 - Google Patents
一种基于时域卷积网络的多模态情感识别方法 Download PDFInfo
- Publication number
- CN112784730B CN112784730B CN202110072249.3A CN202110072249A CN112784730B CN 112784730 B CN112784730 B CN 112784730B CN 202110072249 A CN202110072249 A CN 202110072249A CN 112784730 B CN112784730 B CN 112784730B
- Authority
- CN
- China
- Prior art keywords
- convolution
- sequence
- frame
- time domain
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 28
- 238000001228 spectrum Methods 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 230000008451 emotion Effects 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000037433 frameshift Effects 0.000 claims description 7
- 230000001364 causal effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时域卷积网络的多模态情感识别方法，对音视频样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列；进行短时傅里叶变换并通过梅尔滤波器组，得到梅尔声谱图；将灰度人脸图像序列和梅尔声谱图分别通过人脸图像卷积网络和声谱图像卷积网络，并进行特征融合；将融合特征序列输入时域卷积网络得到高级特征向量；将高级特征向量通过全连接层以及Softmax回归，得到每一情感类别的预测概率，与实际概率分布之间计算交叉熵损失，并通过反向传播训练整个网络，得到训练好的神经网络模型。本发明能够通过音视频预测情感，同时训练时长短，识别准确率高。
Description
技术领域
本发明涉及音视频处理、模式识别、深度学习技术，尤其涉及一种基于时域卷积网络的多模态情感识别方法。
背景技术
1997年，Picard教授首先提出了“情感计算”的概念，情感计算涉及心理学、认知学、模式识别、语音信号处理、生理学、社会学、计算机视觉和人工智能等方面，它利用计算机获取人类的脸部表情、语音等信息来识别人类表现出的情感状态，从而使机器能够更好地理解人类的情感和行为，以此带来更流畅和高效的交互体验。多模态情感识别，旨在利用表情和语音模态信息来识别人的基本情感，一般分为6类，依次为高兴(Happy)、悲伤(Sad)、吃惊(Surprise)、愤怒(Angry)、恐惧(Fear)和厌恶(Disgust)，多模态融合的方法一般有特征融合和决策融合。特征融合能够最大程度得保留各个模态的信息，但也存在着多个模态信息同步问题和因特征维度太大而出现的过拟合问题。决策融合是在各个模态模型得出情感识别结果后，对最后的结果以某种规则进行最后判决，灵活性高，实时性强，但由于最后只能获得各个模态上的判定结果，信息量较少，相对精度较低。
随着近年来深度学习技术的不断发展，越来越多的研究者将其应用于多模态情感识别，Chen等人在2016年EmotiW情感识别挑战赛中，在语音模态上使用声学统计特征等多种语音特征，在人脸表情模态上使用CNN特征等多种人脸表情特征，针对每种特征训练支持向量机、随机森林和逻辑回归分类器，并采用决策融合的方法来实现最后的情感识别，取得了远高于基线的成绩。Noroozi等人提出了一种新型的基于语音和视频的决策融合方法的多模态情感识别系统，从语音中提取基于MFCC的特征，并从视频中计算面部标记的几何关系,在eNTERFACE’05数据库上取得了较好的识别效果。Chao等人在2015年EmotiW情感识别挑战赛中融合了使用长短时记忆神经网络聚合的语音和人脸表情特征，并对得到的特征采用SVM分类器来实现最后的分类，实现特征融合方法的情感识别方法，在测试集上取得了很高的识别率。
样本的时序建模是多模态情感识别中的关键问题，在深度学习背景下一般使用与与递归神经网络(RNN)有关的架构如长短时记忆(LSTM)网络、门控循环单元(GRU)等，但RNN等架构存在多个缺陷，如易出现梯度消失和梯度爆炸问题、内存占用问题、顺序处理的耗时过长问题等，因此S.Bai等人认为在对序列数据进行建模时，应该将卷积网络作为主要候选者之一加以考虑，他们在2018年提出了称为时域卷积网络(Temporal ConvolutionalNetwork,TCN)的架构，能够有效解决以上问题，因此同样可应用于多模态情感识别的时序建模。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种准确率高的基于时域卷积网络的多模态情感识别方法。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于时域卷积网络的多模态情感识别方法，包括以下步骤：
步骤1，获取含有情感信息的音视频作为训练样本。
步骤2，对步骤1获得的训练样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列。
步骤3，对样本中的音频模态数据进行短时傅里叶变换STFT并通过梅尔滤波器组，得到梅尔声谱图。
步骤4，构建神经网络模型，以训练样本得到的灰度人脸图像序列、梅尔声谱图输入神经网络模型，以交叉熵L作为损失函数进行反向传播训练神经网络模型，并采用自适应矩估计Adam方法进行训练优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，最终得到训练好的神经网络模型。
所述神经网络模型包括人脸图像卷积网络、声谱图像卷积网络以及时域卷积网络，其中：
所述人脸图像卷积网络包括依次连接的卷积层一、最大值池化层一、残差单元、全局平均值池化层一和全连接层一，所述残差单元包括八个残差模块，每个残差模块包括两个由3×3尺寸卷积核构成的卷积层，残差模块以shortcut结构连接。
所述声谱图像卷积网络包括依次连接的卷积层二、归一化层一、最大值池化层二、卷积层三、归一化层二、最大值池化层三、全局平均值池化层二。
所述时域卷积网络TCN包括四个膨胀系数呈2的幂级数增长的时域卷积模块和全连接层二，所述时域卷积模块按膨胀系数由低到高依次连接，最后的时域卷积模块与全连接层二连接。
所述时域卷积模块由两个因果膨胀1维卷积层以shortcut结构进行连接构成。因果膨胀1维卷积对于输入的融合特征序列，随机初始化一个大小为7的1维卷积核，在序列的时间维度上进行滑动，依次与相同长度的子序列点乘得到输出序列中的一个元素。对于输出序列{x′0,...,x′T-1}的第i个元素，仅依赖于输入序列中索引为{0,...,i-1}即其之前的元素，为保持输入输出序列长度相等，仅在输入序列左侧填充0，从而使得该卷积操作是严格约束的因果模型。为使得1维卷积能够分析长期的时序关系，卷积核采用膨胀操作，即在与输入序列点乘时进行间隔采样，在卷积核大小不变的情况下使其感受野更大，能够与输入序列中更大范围的子序列进行点乘，在每个时域卷积模块中，两个卷积层的膨胀系数相同，而在时域卷积模块之间，膨胀系数呈2的幂级数逐渐增长。每一个时域卷积模块的输出序列长度与输入序列长度相等，而特征维度等同于卷积核的数量。
神经网络模型训练方法如下：
步骤4-1，将所有提取到的灰度人脸图像序列输入人脸图像卷积网络，将每一幅图像编码为128维、列宽T的特征向量一，所有的特征向量一组成特征矩阵一。
步骤4-2，将梅尔声谱图输入声谱图像卷积网络，编码为行高128、列宽为T的特征矩阵二。
步骤4-3，将特征矩阵一、特征矩阵二在纵向进行拼接，即逐帧进行特征融合，得到特征向量维度为256、长度为T的融合特征序列。
步骤4-4，将所述的融合特征序列输入时域卷积网络TCN，并选取经过时序建模的序列的末尾元素作为高级特征向量。
步骤4-5，将高级特征向量输入全连接层二得到一个维度等同于分类数量的输出向量z，使用Softmax函数映射为概率分布后计算输出向量z与样本实际概率分布之间的交叉熵L，并通过反向传播训练整个神经网络模型不断更新权重，得到对音视频样本进行情感分类的训练好的神经网络模型。
交叉熵L：
式中，Ri为样本实际概率分布，zi为第i个输出神经元的值，K为分类数量。
步骤5，识别时，获取待识别的含有情感信息的音视频作为识别样本，将识别样本通过步骤2、步骤3的处理得到识别样本的灰度人脸图像序列、梅尔声谱图，将识别样本的灰度人脸图像序列、梅尔声谱图输入训练好的神经网络模型得到情绪识别结果。
优选的：步骤2中得到灰度人脸图像序列的方法：
步骤2-1，对视频模态数据进行间隔采样，每80毫秒提取一帧图像并转换为灰度色域得到灰度图像。
步骤2-2，使用基于HOG特征的人脸检测器和基于回归树集合的人脸配准器对所有提取到的灰度图像进行人脸检测及68点关键点定位。
步骤2-3，根据定位得到的关键点，以30号关键点鼻尖作为中心，以s作为边长，裁剪出人脸正方形区域，并归一化为64×64的尺寸、[0,1]的像素值范围，其中s具体为：
式中，xright表示人脸最左侧0号关键点横坐标，xleft表示人脸最右侧16号关键点的横坐标，xcenter表示中心点的横坐标，ycenter表示中心点的纵坐标，width表示图像帧宽，height表示图像帧高。
优选的：步骤3得到梅尔声谱图方法：
步骤3-1，对样本中的音频模态数据以8kHz的采样率进行采样并将1024个采样点集合成一个观测单位，称为帧，帧长为64ms。两相邻帧之间有一段重叠区域，此重叠区域长度，称为帧移。帧移＝音频采样率Hz*音频采样间隔s+1＝641。
步骤3-2，对每一帧加汉明窗，具体为：
s′(n)＝s(n)×w(n,a)
式中，n＝0,1,...,N-1，N为帧长，s(n)表示加窗前的帧，s′(n)表示加窗后的帧，w(n,a)为汉明窗函数，具体为：
式中，a为预设常量。
步骤3-3，对分帧加窗后的各帧信号进行快速傅里叶变换FFT得到各帧的频谱，并对频谱取模平方得到功率谱，所述的频谱计算和功率谱计算具体为：
式中，S(k)为频谱，P(k)为功率谱，j表示虚数，k＝0,1,...,N-1，N为帧长。
步骤3-4，定义一个梅尔滤波器组，滤波器频率响应Hm(k)为：
式中，k表示变量，f(m)为中心频率，m＝1,2,...,M，M为滤波器个数。
步骤3-5，将功率谱P(k)分别与滤波器组中的每一个滤波器进行频率相乘累加并取对数，得到第k帧数据在第m个滤波器对应频段的功率值h(m)，具体为：
步骤3-6，对每一帧数据重复步骤2-2到步骤2-5的操作，得到整段音频数据的梅尔声谱图。
优选的：所述卷积层一步长为2，卷积层一由64个7×7尺寸卷积核构成。所述最大值池化层一滑动窗口尺寸为3×3，步长为2。所述全局平均值池化层一滑动窗口尺寸等同于特征图尺寸。
优选的：所述卷积层二、卷积层三的卷积核尺寸为3×1、纵向步长为2。最大值池化层二、最大值池化层三的滑动窗口尺寸为3×1、纵向步长为2。
本发明相比现有技术，具有以下有益效果：
本发明能够通过音视频预测情感，同时训练时长短，识别准确率高。
附图说明
图1是本发明提供的基于时域卷积网络的多模态情感识别方法的一个实施例的流程示意图。
图2是梅尔声谱图的示意图。
图3是人脸图像卷积网络结构图。
图4是声谱图像卷积网络结构图。
图5是用于融合特征序列时序建模的时域卷积网络的结构图。
图6是本发明更换时序建模方法在eNTERFACE'05数据集下的对比实验结果。
图7是本发明在eNTERFACE'05数据集下的归一化混淆矩阵。
图8是本发明在RAVDESS数据集下的归一化混淆矩阵。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于时域卷积网络的多模态情感识别方法，如图1所示，该方法包括：
(1)获取若干含有情感信息的音视频样本，对样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列。
该步骤具体包括：
(1-1)对所述的视频模态数据进行间隔采样，每80毫秒提取一帧图像并转换为灰度色域，图像序列长为T。
(1-2)使用基于HOG特征的人脸检测器和基于回归树集合的人脸配准器对所有提取到的灰度图像进行人脸检测及68点关键点定位。
(1-3)根据定位得到的关键点，以30号关键点鼻尖作为中心，以s作为边长，裁剪出人脸正方形区域，如图2所示，并归一化为64×64的尺寸、[0,1]的像素值范围，其中所述的s具体为：
式中，xright与xleft分别表示表示人脸最左侧0号关键点与最右侧16号关键点的横坐标，xcenter与ycenter分别表示中心点的横纵坐标，width与height分别表示图像帧宽与帧高。
(2)对样本中的音频模态数据进行短时傅里叶变换(STFT)并通过梅尔滤波器组，得到梅尔声谱图。
该步骤具体包括：
(2-1)对样本中的音频模态数据以8kHz的采样率进行采样并将1024个采样点集合成一个观测单位，称为帧，帧长为64ms。两相邻帧之间有一段重叠区域，此重叠区域长度，称为帧移。帧移将决定由音频数据提取得到的帧数，为保证音频序列与视频序列长度均为T，本实施例中取帧移＝音频采样率(Hz)*音频采样间隔(s)+1＝641。
(2-2)对每一帧音频数据加汉明窗以增加帧左端和右端的连续性，所述的加窗操作具体为：
s′(n)＝s(n)×w(n,a)
式中，n＝0,1,...,N-1，N为帧长，s(n)表示加窗前的帧,s′(n)表示加窗后的帧，w(n,a)为汉明窗函数，具体为：
式中，a为预设常量，本实施例中取0.46。
(2-3)对分帧加窗后的各帧信号进行快速傅里叶变换(FFT)得到各帧的频谱，并对频谱取模平方得到功率谱，所述的频谱计算和功率谱计算具体为：
式中，k＝0,1,...,N-1，N为帧长，S(k)为频谱，P(k)为功率谱。
(2-4)定义一个梅尔滤波器组(Mel Filterbank)，滤波器频率响应Hm(k)具体为：
式中，f(m)为中心频率，m＝1,2,...,M，M为滤波器个数，本实施例中取22。
(2-5)对于所述的功率谱P(k)，分别与(2-4)所述滤波器组中的每一个滤波器进行频率相乘累加并取对数，得到的值h(m)即为该帧数据在该滤波器对应频段的功率值，具体为：
(2-6)对每一帧数据重复(2-1到2-5)中的操作，即可得到整段音频数据的梅尔声谱图，其可视化结果如图2所示。
(3)将灰度人脸图像序列和梅尔声谱图分别通过人脸图像卷积网络和声谱图像卷积网络，并进行特征融合。
该步骤具体包括：
(3-1)将所有提取到的人脸图像输入人脸图像卷积网络，将每一幅图像编码为128维的特征向量。其中，如图3所示，所述的人脸图像卷积网络依次连接的一个由64个7×7尺寸卷积核构成、步长为2的头部卷积层一，对特征图尺寸进行0.5倍下采样并将通道数升维至64维。一个滑动窗口尺寸为3×3、步长为2最大值池化层一，对特征图进行0.5倍下采样。两个为一组共八个残差模块，每个残差模块含两个由3×3尺寸卷积核构成的卷积层，并以shortcut结构连接，每组中的卷积层参数一致，组内首个卷积层步长为2其余为1，卷积核数量由浅至深逐步增加，最终将特征图尺寸下采样至输入的1/32、通道数升维至512维。一个滑动窗口尺寸等同于特征图尺寸的全局平均值池化层一，将特征图尺寸下采样为1×1。一个全连接层一，将平化后的特征向量转换为期望的特征维度，本实施例中取128维。
(3-2)将梅尔声谱图输入声谱图像卷积网络，编码为行高128、列宽为T的矩阵。其中，如图4所示，所述的声谱图像卷积网络包括依次连接的卷积层二、归一化(BN)层一、最大值池化层二、卷积层三、归一化(BN)层二、最大值池化层三、全局平均值池化层二。由于梅尔声谱图的宽等同于时间长度T，因此在卷积过程中特征图的宽应是不变的，为此卷积层二、卷积层三的卷积核尺寸以及最大值池化层二、最大值池化层三的滑动窗口尺寸均为3×1，横向步长均为1、纵向步长均为2。卷积层二将特征图升维至64通道并在纵向进行0.5倍下采样、卷积层三将特征图升维到128通道并在纵向进行0.5倍下采样，最大值池化层二、最大值池化层三每次将特征图在纵向进行0.5倍下采样，最后的全局平均值池化层二将特征图尺寸下采样为1×T，而BN层能够加快模型的收敛速度并避免梯度爆炸和过拟合。
(3-3)人脸图像序列与梅尔声谱图分别经过卷积网络后均转换为行高128、列宽T的特征矩阵，对两个特征矩阵在纵向进行拼接，即逐帧进行特征融合，得到特征向量维度为256、长度为T的融合特征序列{x0,...,xT-1}。
(4)将融合特征序列输入时域卷积网络(TCN)进行时序建模。
该步骤具体包括：
(4-1)构建时域卷积网络(TCN)，TCN由四个膨胀系数呈2的幂级数增长的时域卷积模块构成，时域卷积模块由两个因果膨胀1维卷积层组成并以shortcut结构进行连接，如图5所示，所述时域卷积模块按膨胀系数由低到高依次连接，最后的时域卷积模块与全连接层二连接。
其中，所述的因果膨胀1维卷积具体为对于输入的融合特征序列，随机初始化一个大小为7的1维卷积核，在序列的时间维度上进行滑动，依次与相同长度的子序列点乘得到输出序列中的一个元素。对于输出序列{x′0,...,x′T-1}的第i个元素，仅依赖于输入序列中索引为{0,...,i-1}即其之前的元素，为保持输入输出序列长度相等，仅在输入序列左侧填充0，从而使得该卷积操作是严格约束的因果模型。为使得1维卷积能够分析长期的时序关系，卷积核采用膨胀操作，即在与输入序列点乘时进行间隔采样，在卷积核大小不变的情况下使其感受野更大，能够与输入序列中更大范围的子序列进行点乘，在每个时域卷积模块中，两个卷积层的膨胀系数相同，而在模块之间，膨胀系数呈2的幂级数逐渐增长。每一个时域卷积模块的输出序列长度与输入序列长度相等，而特征维度等同于卷积核的数量。
(4-2)将所述的融合特征序列{x0,...,xT-1}输入TCN，得到序列长度相等，而特征向量维度升维至256的高级特征序列{c0,...,cT-1}。
(5)将高级特征向量通过全连接层二以及Softmax回归，得到每一情感类别的预测概率，与实际概率分布之间计算交叉熵损失，并通过反向传播训练整个网络不断更新权重，得到可以对音视频样本进行情感分类的神经网络模型。
该步骤具体包括：
(5-1)将所述的高级特征序列的末尾元素cT-1输入全连接层二得到一个维度为K的输出向量z，映射为概率分布后计算其与样本实际概率分布之间的交叉熵(Cross Entropy)L，具体为：
式中，Ri为样本实际概率分布，zi为第i个输出神经元的值，K为分类数量，本实施例进行6类基本情绪(愤怒、恶心、恐惧、喜悦、悲伤、惊讶)的分类，故K＝6。
(5-2)以含有情感信息的音视频数据作为训练样本、以所述的交叉熵L作为损失函数进行反向传播训练整个神经网络，并采用权值衰减设置为5e-5的自适应矩估计(Adam)方法进行训练优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，最终得到可以预测音视频样本情感分类概率的神经网络模型。
本实施例在训练神经网络时采取五折交叉验证，选取数据集中4/5的样本作为训练集、1/5的样本作为验证集，以32个样本作为一个小批次进行输入，学习率初始化为4e-3，每20个迭代周期衰减为原先的一半，共迭代100个周期。
对于完成训练的神经网络模型，会进行测试，测试结果如下：
为验证本发明的时域卷积网络的有效性与必要性，在公开的多模态情感识别数据集eNTERFACE'05使用不同的时序建模方法，在控制超参数使得总参数量一致的前提下对比100个迭代周期的训练时长和识别准确率，如图6所示，可以观察到本发明的时域卷积网络同时取得了最低的训练时长和最高的识别准确率。同时为避免由于数据集中各类情绪样本数量不平衡导致的识别率无法完全客观地评价模型的问题，我们对于神经网络模型在eNTERFACE'05和RAVDESS两个数据集上的结果计算了归一化混淆矩阵，如图7和图8所示。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于时域卷积网络的多模态情感识别方法，其特征在于，包括以下步骤：
步骤1，获取含有情感信息的音视频作为训练样本；
步骤2，对步骤1获得的训练样本中的视频模态数据间隔采样并进行人脸检测与关键点定位，得到灰度人脸图像序列；
步骤3，对样本中的音频模态数据进行短时傅里叶变换STFT并通过梅尔滤波器组，得到梅尔声谱图；
步骤4，构建神经网络模型，以训练样本得到的灰度人脸图像序列、梅尔声谱图输入神经网络模型，以交叉熵L作为损失函数进行反向传播训练神经网络模型，并采用自适应矩估计Adam方法进行训练优化，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，最终得到训练好的神经网络模型；
所述神经网络模型包括人脸图像卷积网络、声谱图像卷积网络以及时域卷积网络，其中：
所述人脸图像卷积网络包括依次连接的卷积层一、最大值池化层一、残差单元、全局平均值池化层一和全连接层一，所述残差单元包括八个残差模块，每个残差模块包括两个由3×3尺寸卷积核构成的卷积层，残差模块以shortcut结构连接；
所述声谱图像卷积网络包括依次连接的卷积层二、归一化层一、最大值池化层二、卷积层三、归一化层二、最大值池化层三、全局平均值池化层二；
所述时域卷积网络TCN包括四个膨胀系数呈2的幂级数增长的时域卷积模块和全连接层二，所述时域卷积模块按膨胀系数由低到高依次连接，最后的时域卷积模块与全连接层二连接；
所述时域卷积模块由两个因果膨胀1维卷积层以shortcut结构进行连接构成；因果膨胀1维卷积对于输入的融合特征序列，随机初始化一个大小为7的1维卷积核，在序列的时间维度上进行滑动，依次与相同长度的子序列点乘得到输出序列中的一个元素；对于输出序列{x′0,...,x′T-1}的第i个元素，仅依赖于输入序列中索引为{0,...,i-1}即其之前的元素，为保持输入输出序列长度相等，仅在输入序列左侧填充0，从而使得该卷积操作是严格约束的因果模型；为使得1维卷积能够分析长期的时序关系，卷积核采用膨胀操作，即在与输入序列点乘时进行间隔采样，在卷积核大小不变的情况下使其感受野更大，能够与输入序列中更大范围的子序列进行点乘，在每个时域卷积模块中，两个卷积层的膨胀系数相同，而在时域卷积模块之间，膨胀系数呈2的幂级数逐渐增长；每一个时域卷积模块的输出序列长度与输入序列长度相等，而特征维度等同于卷积核的数量；
神经网络模型训练方法如下：
步骤4-1，将所有提取到的灰度人脸图像序列输入人脸图像卷积网络，将每一幅图像编码为128维、列宽T的特征向量一，所有的特征向量一组成特征矩阵一；
步骤4-2，将梅尔声谱图输入声谱图像卷积网络，编码为行高128、列宽为T的特征矩阵二；
步骤4-3，将特征矩阵一、特征矩阵二在纵向进行拼接，即逐帧进行特征融合，得到特征向量维度为256、长度为T的融合特征序列；
步骤4-4，将所述的融合特征序列输入时域卷积网络TCN，并选取经过时序建模的序列的末尾元素作为高级特征向量；
步骤4-5，将高级特征向量输入全连接层二得到一个维度等同于分类数量的输出向量z，使用Softmax函数映射为概率分布后计算输出向量z与样本实际概率分布之间的交叉熵L，并通过反向传播训练整个神经网络模型不断更新权重，得到对音视频样本进行情感分类的训练好的神经网络模型；
交叉熵L：
式中，Ri为样本实际概率分布，zi为第i个输出神经元的值，K为分类数量；
步骤5，识别时，获取待识别的含有情感信息的音视频作为识别样本，将识别样本通过步骤2、步骤3的处理得到识别样本的灰度人脸图像序列、梅尔声谱图，将识别样本的灰度人脸图像序列、梅尔声谱图输入训练好的神经网络模型得到情绪识别结果。
2.根据权利要求1所述基于时域卷积网络的多模态情感识别方法，其特征在于：步骤2中得到灰度人脸图像序列的方法：
步骤2-1，对视频模态数据进行间隔采样，每80毫秒提取一帧图像并转换为灰度色域得到灰度图像；
步骤2-2，使用基于HOG特征的人脸检测器和基于回归树集合的人脸配准器对所有提取到的灰度图像进行人脸检测及68点关键点定位；
步骤2-3，根据定位得到的关键点，以30号关键点鼻尖作为中心，以s作为边长，裁剪出人脸正方形区域，并归一化为64×64的尺寸、[0,1]的像素值范围，其中s具体为：
式中，xright表示人脸最左侧0号关键点横坐标，xleft表示人脸最右侧16号关键点的横坐标，xcenter表示中心点的横坐标，ycenter表示中心点的纵坐标，width表示图像帧宽，height表示图像帧高。
3.根据权利要求2所述基于时域卷积网络的多模态情感识别方法，其特征在于：步骤3得到梅尔声谱图方法：
步骤3-1，对样本中的音频模态数据以8kHz的采样率进行采样并将1024个采样点集合成一个观测单位，称为帧，帧长为64ms；两相邻帧之间有一段重叠区域，此重叠区域长度，称为帧移；帧移＝音频采样率Hz*音频采样间隔s+1＝641；
步骤3-2，对每一帧加汉明窗，具体为：
s′(n)＝s(n)×w(n,a)
式中，n＝0,1,...,N-1，N为帧长，s(n)表示加窗前的帧，s′(n)表示加窗后的帧，w(n,a)为汉明窗函数，具体为：
式中，a为预设常量；
步骤3-3，对分帧加窗后的各帧信号进行快速傅里叶变换FFT得到各帧的频谱，并对频谱取模平方得到功率谱，所述的频谱计算和功率谱计算具体为：
式中，S(k)为频谱，P(k)为功率谱，j表示虚数，k＝0,1,...,N-1，N为帧长；
步骤3-4，定义一个梅尔滤波器组，滤波器频率响应Hm(k)为：
式中，f(m)为中心频率，m＝1,2,...,M，M为滤波器个数；
步骤3-5，将功率谱P(k)分别与滤波器组中的每一个滤波器进行频率相乘累加并取对数，得到第k帧数据在第m个滤波器对应频段的功率值h(m)，具体为：
步骤3-6，对每一帧数据重复步骤2-2到步骤2-5的操作，得到整段音频数据的梅尔声谱图。
4.根据权利要求3所述基于时域卷积网络的多模态情感识别方法，其特征在于：所述卷积层一步长为2，卷积层一由64个7×7尺寸卷积核构成；所述最大值池化层一滑动窗口尺寸为3×3，步长为2；所述全局平均值池化层一滑动窗口尺寸等同于特征图尺寸。
5.根据权利要求4所述基于时域卷积网络的多模态情感识别方法，其特征在于：所述卷积层二、卷积层三的卷积核尺寸为3×1、纵向步长为2；最大值池化层二、最大值池化层三的滑动窗口尺寸为3×1、纵向步长为2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110072249.3A CN112784730B (zh) | 2021-01-20 | 2021-01-20 | 一种基于时域卷积网络的多模态情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110072249.3A CN112784730B (zh) | 2021-01-20 | 2021-01-20 | 一种基于时域卷积网络的多模态情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112784730A CN112784730A (zh) | 2021-05-11 |
| CN112784730B true CN112784730B (zh) | 2022-03-29 |
Family
ID=75757856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110072249.3A Active CN112784730B (zh) | 2021-01-20 | 2021-01-20 | 一种基于时域卷积网络的多模态情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784730B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259122B (zh) * | 2020-10-20 | 2024-07-19 | 北京小米松果电子有限公司 | 音频类型识别方法、装置及存储介质 |
| CN113643723B (zh) * | 2021-06-29 | 2023-07-25 | 重庆邮电大学 | 一种基于注意力CNN Bi-GRU融合视觉信息的语音情感识别方法 |
| CN113408649A (zh) * | 2021-07-09 | 2021-09-17 | 南京工业大学 | 基于视频图像面部表情和语音的多模态儿童情绪识别融合模型 |
| KR20230012785A (ko) * | 2021-07-16 | 2023-01-26 | 서울대학교산학협력단 | 비디오 스토리 질의응답을 위한 트랜스포머 모델을 구축하는 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| CN113433874B (zh) * | 2021-07-21 | 2023-03-31 | 广东工业大学 | 一种基于5g的无人艇综合控制管理系统 |
| CN113837858A (zh) * | 2021-08-19 | 2021-12-24 | 同盾科技有限公司 | 用户信贷风险预测的方法、系统、电子装置和存储介质 |
| CN113673465B (zh) * | 2021-08-27 | 2024-08-02 | 中国信息安全测评中心 | 图像检测方法、装置、设备及可读存储介质 |
| KR102596650B1 (ko) * | 2021-09-03 | 2023-10-31 | 동의대학교 산학협력단 | 다중 데이터 합성을 이용한 신원 인증 방법 |
| CN115529475B (zh) * | 2021-12-29 | 2024-07-16 | 北京国瑞数智技术有限公司 | 视频流量内容检测与风控的方法和系统 |
| CN114399818A (zh) * | 2022-01-05 | 2022-04-26 | 广东电网有限责任公司 | 一种多模态人脸情绪识别方法及装置 |
| CN116347598B (zh) * | 2023-05-30 | 2023-08-15 | 华南师范大学 | 一种基于Wi-Fi的室内定位方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808146A (zh) * | 2017-11-17 | 2018-03-16 | 北京师范大学 | 一种多模态情感识别分类方法 |
| CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN111326178A (zh) * | 2020-02-27 | 2020-06-23 | 长沙理工大学 | 基于卷积神经网络的多模态语音情感识别系统及方法 |
-
2021
- 2021-01-20 CN CN202110072249.3A patent/CN112784730B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808146A (zh) * | 2017-11-17 | 2018-03-16 | 北京师范大学 | 一种多模态情感识别分类方法 |
| CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN111326178A (zh) * | 2020-02-27 | 2020-06-23 | 长沙理工大学 | 基于卷积神经网络的多模态语音情感识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的多模态融合网民情感识别研究;范涛等;《信息资源管理学报》;20191218;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112784730A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784730B (zh) | 一种基于时域卷积网络的多模态情感识别方法 | |
| CN112784798B (zh) | 一种基于特征-时间注意力机制的多模态情感识别方法 | |
| CN109599129B (zh) | 基于注意力机制和卷积神经网络的语音抑郁症识别系统 | |
| CN108597541B (zh) | 一种增强愤怒与开心识别的语音情感识别方法及系统 | |
| CN108717856B (zh) | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 | |
| CN110211574B (zh) | 基于瓶颈特征和多尺度多头注意力机制的语音识别模型建立方法 | |
| CN108597539B (zh) | 基于参数迁移和语谱图的语音情感识别方法 | |
| Wang et al. | Human emotion recognition by optimally fusing facial expression and speech feature | |
| CN110188343B (zh) | 基于融合注意力网络的多模态情感识别方法 | |
| CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
| CN110400579B (zh) | 基于方向自注意力机制和双向长短时网络的语音情感识别 | |
| CN112818861B (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
| CN112581979B (zh) | 一种基于语谱图的语音情绪识别方法 | |
| CN111583964B (zh) | 一种基于多模深度特征学习的自然语音情感识别方法 | |
| CN110459225B (zh) | 一种基于cnn融合特征的说话人辨认系统 | |
| CN110826466A (zh) | 基于lstm音像融合的情感识别方法、装置及存储介质 | |
| CN110853680A (zh) | 一种用于语音情感识别的具有多输入多融合策略的双BiLSTM结构 | |
| CN112466326A (zh) | 一种基于transformer模型编码器的语音情感特征提取方法 | |
| CN113343860A (zh) | 一种基于视频图像和语音的双模态融合情感识别方法 | |
| CN110534133A (zh) | 一种语音情感识别系统及语音情感识别方法 | |
| CN112559797A (zh) | 一种基于深度学习的音频多标签分类方法 | |
| CN112185423B (zh) | 基于多头注意力机制的语音情感识别方法 | |
| CN113450830A (zh) | 具有多重注意机制的卷积循环神经网络的语音情感识别方法 | |
| CN110348482A (zh) | 一种基于深度模型集成架构的语音情感识别系统 | |
| CN112562725A (zh) | 基于语谱图和胶囊网络的混合语音情感分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |