CN115393933A - 一种基于帧注意力机制的视频人脸情绪识别方法 - Google Patents
一种基于帧注意力机制的视频人脸情绪识别方法 Download PDFInfo
- Publication number
- CN115393933A CN115393933A CN202211012667.4A CN202211012667A CN115393933A CN 115393933 A CN115393933 A CN 115393933A CN 202211012667 A CN202211012667 A CN 202211012667A CN 115393933 A CN115393933 A CN 115393933A
- Authority
- CN
- China
- Prior art keywords
- video
- representing
- face
- emotion
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000007246 mechanism Effects 0.000 title claims abstract description 16
- 230000008451 emotion Effects 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 14
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000014509 gene expression Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人工智能、多模态人脸情绪识别技术领域，具体涉及一种基于帧注意力机制的视频人脸情绪识别方法，包括：将含有人脸的视频转换人脸与声音两种模态的特征表示，将人脸模态特征和声音模态特征进行特征联合表示，得到联合多模态特征，通过全连接计算，得到情绪分类的预测结果值，通过函数归一化情绪分类的预测结果值，并将预测概率分布值最大的视频人脸情绪作为最终的视频人脸情绪识别结果。本发明通过改进的帧注意力网络模型能有效的提取人脸模态特征和声音模态特征的时序信息和空间信息，从而能提升情绪识别的精度。
Description
技术领域
本发明属于人工智能与多模态人脸情绪识别技术领域，具体涉及一种基于帧注意力机制的视频人脸情绪识别方法。
背景技术
人脸识别技术是依据人脸生理特征来进行身份识别的一种生物特征识别技术。随着虚拟现实、人机交互、增强现实技术、计算机辅助教育的发展，情绪识别已经成为人工智能领域研究的重点，而情感的重要性早在几十年前就被人注意到了，人工智能之父Minsky曾指出“问题不是智能机器能不能有情感，而是机器没有情感能不能智能”。情感在日常生活中几乎无处不在，还会影响我们的判断与决策。文字是记录人类自然语言的一种形式，它隐含着信息情感。数字音频信号是声音的一种表现形式，通常使用一系列二进制数字来存储和传输。语音主要关注人类的声音信息，其内容何以翻译成自然语言，不同于与语音，音频更一般，包括任何声音，如音乐或鸟鸣等。图像是彩色点在空间上的分布，心理学已经证明，人类情绪可以通过图像来唤起。随着深度学习的发展，单模态的情绪识别取得了非常大的进展。在我们的现实生活之中，人们在移动设备以及社交网络中都习惯以视频来分享自己的经验以及观点，因此网络上充斥着大量的视频信息，而视频本身包含了多种模态的信息，因此，基于视频的多模态情绪分析也是情绪识别研究的重点。
人的情绪状态(生气、愤怒、惊讶、开心等)会伴随人体的多个生理或行为特征的变化，某些生理或行为也会影响情绪的状态。当我们表达情感时，往往涉及多种形式，包括显式表达(如面部表情、声音)，以及隐式表达(如文字、行为动作)。由于情感特征的复杂性，很难用单一的状态表达来描述一个人的情感，往往需要结合多种表达方式才能更好的理解一个人所表达出来的情绪状态。多模态(主要是音频和视频)情感识别往往备受青睐，但如何抽取有效的特征参数并运用恰当的模型来表达这些特征参数和情感之间的关联性，是亟待解决的一个关键问题。
情感是一个时序变化的行为，其演变都会经历一定的时间，因此需要考虑情感信息的前后依赖性与相关性。传统的动态模型如隐马尔科夫模型和条件随机场，由于其可以对时序上下文信息建模的内在属性，取得了比静态模型更好的识别性能。然而这些模型考虑的前后时序信息较短，因此取得的效果有限。基于深度学习的情感识别系统具有更强的非线性建模能力，在情感识别领域取得了广泛应用；但是经典的基于卷积神经网络(Convolutional Neural Networks，CNN)和长短期记忆网络(Long Short-Term Memory，LSTM)的模型在建模过程中对于每一帧预测情感的贡献度是相同的，这种假设存在着不合理性。针对这种问题引入注意力机制，通过全局上下文信息自动学习不同帧对于情感识别的重要性得到相匹配的权重系数，可以实现更有针对性的情感建模，显著提高情感识别的性能。
综上所述，现有技术问题是：由于多模态情绪识别中数据来源的多样性，如何有效的表示多模态的数据是现有技术的一大挑战，现有情感识别模型对于视频数据的每一帧进行情感预测的贡献度是相同的，存在不合理性。
发明内容
为解决上述技术问题，本发明提出一种基于帧注意力机制的视频人脸情绪识别方法，包括以下步骤：
S1：获取原始视频数据，提取原始视频数据的视频部分和音频部分；
S2：将视频部分转化为视频帧，检测视频帧中的人脸图像，并进行预处理，得到人脸模态特征，对音频部分进行分帧处理并转化成声谱图，得到声音模态特征；
S3：将人脸模态特征和声音模态特征输入到自编码网络中进行提取模态的特征，并利用解码器对模态特征进行特征联合表示，得到联合多模态特征；
S4：将联合多模态特征输入到改进的帧注意力残差网络模型中提取空间信息特征和时序信息特征；
S5：将提取的空间信息特征和时序信息特征通过全连接计算，得到情绪分类的预测结果值；
S6：通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，并将多分类目标预测概率分布值最大的视频人脸情绪作为最终的视频人脸情绪识别结果。
优选的，所述S2具体包括：
提取原始视频的视频帧，对视频帧进行人脸检测，对检测出的人脸进行定位，将定位出的人脸剪裁为统一大小，并进行人脸对齐处理，得到处理后的人脸图，每个视频中的视频帧分别选取固定帧作为一组视频序列，得到人脸模态特征；
提取原始视频音频部分的语音信号，将语音信号进行分帧处理，将分帧后的语音信号通过短时傅里叶变换转换成频域上的声谱图，得到声音模态特征。
优选的，所述改进的帧注意力残差网络模型包括：四层卷积层、两层池化层、六层残差模块、全连接层、两层swin-transformer模块、帧注意力模块，两层swin-transformer模块设置在第一层的池化层之后，帧注意力模块设置在最后一层池化层之后。
优选的，提取空间信息特征和时序信息特征的过程具体包括：
将联合多模态特征输入第一层卷积层提取粗略特征并通过第一层池化层进行特征降维，将降维后的特征输入到两层的swin-transformer模块中，第一层swin-transformer模块对特征区域进行划分，第二层swin-transformer模块使用窗口移位的方式进行计算跨区域自注意力，获取粗略的全局空间信息特征，将粗略的全局空间信息特征输入到多层残差模块中进行跳越连接，并利用多层卷积进行进一步的特征提取获取最终的空间信息特征；将最终的空间信息特征输入到帧注意模块中计算自注意力权重和关系注意力权重，并将自注意力权重和关系注意力权重通过两层全连接层聚合，得到时序信息特征。
进一步的，计算自注意力权重，表示为：
αi＝σ(fi Tq0+b0)
其中，αi表示自注意权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，T表示转置操作，q0表示第一全连接层的参数，b0表示第一偏置参数，σ表示sigmod函数。
进一步的，计算关系注意力权重，表示为：
βi＝σ([fi:f′v]Tq1+b1)
其中，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，q1表示第二全连接层的参数，b1表示第二偏置参数，
n表示帧的数量，αi表示自注意权重。
进一步的，将自注意力权重和关系注意力权重聚合，得到时序信息，表示为：
其中，fv表示联合多模态特征的时序信息特征，αi表示自注意权重，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，V表示一个可学习的参数矩阵，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，softmax表示softmax函数，n表示帧的数量。
优选的，将提取的空间信息特征和时序信息特征通过全连接计算，得到情绪分类的预测结果值，表示为：
其中，z表示情绪分类的预测结果值，z＝[z1,z2,…,zC]，C表示情绪分类的类别数量，
表示第一层全连接层的参数，
表示第二层全连接层的参数，T表示转置操作，fv表示联合多模态特征的时序信息特征，b1表示第一层全连接层的偏置参数，b2是第二层全连接层的偏置参数。
优选的，通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，表示为：
其中，zj表示第j类情绪分类的预测结果值，C表示情绪分类的类别数量，e表示自然底数，zk表示第k类情绪分类的预测结果值。
本发明的有益效果：
1.针对视频信息，将有人脸的视频帧处理成人脸图像序列、语音转换成声谱图，并对两种模态使用自编码解码器进行特征提取，再对特征进行联合表示，得到更易于学习的多模态特征；
2.在resnet网络中插入swin-transformer模块，其在提取全局空间信息特征能力上远大于卷积神经网络(CNN)，可以有效减少resnet的卷积层堆叠层数,提高了特征提取的效率和精度；
3.对帧特征使用帧注意力网络，可以更充分的利用到视频以及音频本身存在的时序信息，建立上下文的关系，其能够有效提取时序信息的优点，从而有效提升情绪识别的精度。
附图说明
图1为本发明的流程图；
图2为本发明改进的基于帧注意力的残差网络模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于帧注意力机制的视频人脸情绪识别方法，如图1所示，包括以下步骤：
S1：获取原始视频数据，提取原始视频数据的视频部分和音频部分；
S2：将视频部分转化为视频帧，检测视频帧中的人脸图像，并进行预处理，得到人脸模态特征，对音频部分进行分帧处理并转化成声谱图，得到声音模态特征；
S3：将人脸模态特征和声音模态特征输入到自编码网络中进行提取模态的特征，并利用解码器对模态特征进行特征联合表示，得到联合多模态特征；
S4：将联合多模态特征输入到改进的帧注意力残差网络模型中提取空间信息特征和时序信息特征；
S5：将提取的空间信息特征和时序信息特征通过全连接计算，得到情绪分类的预测结果值；
S6：通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，并将多分类目标预测概率分布值最大的视频人脸情绪作为最终的视频人脸情绪识别结果。
在本实施例中，使用IEMOCAP数据集，数据集有对应的视频与音频数据，而数据中的视频需要转换为视频帧序列的形式。
在本实施例中，采用MTCNN对视频帧进行人脸定位，并将检测到的人脸裁剪为固定尺寸大小，这里通过resize()将图像大小归于化224*224大小，并且对裁剪的图片做人脸对齐处理；将对应的语音数据通过预处理、分帧，最后经过短时傅里叶变换将声音信号转换为声谱图。
提取原始视频的视频帧，对视频帧进行人脸检测，对检测出的人脸进行定位，将定位出的人脸剪裁为统一大小，并进行人脸对齐处理，得到处理后的人脸图，每个视频中的视频帧分别选取固定帧作为一组视频序列，得到人脸模态特征；
提取原始视频音频部分的语音信号，将语音信号进行分帧处理，将分帧后的语音信号通过短时傅里叶变换转换成频域上的声谱图，得到声音模态特征。
使用自编码网络对人脸图像与声音模态两种模态进行联合表示：使用单独的网络对一段序列内的人脸图像与声谱图特征进行建模计算视觉与听觉嵌入；计算加权平均值，对于两种模态的联合表示数据，先设置默认的权重占比，人脸图像特征占比0.6,语音模态占比0.4，计算平均加权值，后期通过对模型的微调，更改模型多模态联合特征表示的权重占比，以达到最优联合表示。
优选的，所述改进的帧注意力残差网络模型，如图2所示，包括：四层卷积层、两层池化层、六层残差模块、全连接层、两层swin-transformer模块、帧注意力模块，两层swin-transformer模块设置在第一层的池化层之后，帧注意力模块设置在最后一层池化层之后，其中残差模块依次由1*1、3*3、1*1，3个卷积层构成；swin-transformer模块则设置在第一层的池化层之后；帧注意力模块设置在最后一层池化层之后；并在最后一层全连接层之后再添加一个全连接层获得最终的样本输出。
进一步的，调整模型的参数，完成对模型的训练，计算模型的损失函数的过程包括将输入的联合向量特征和该向量的实际标签做交叉熵，使用交叉熵作为模型的损失函数；模型的损失函数表达式为：
hy′(y)＝-∑y′ilog(yi)
其中，y′i是实际的表情类别标签；yi为当前模型训练的样本i预测的表情概率。
优选的，所述S4具体包括：将联合多模态特征输入第一层卷积层提取粗略特征并通过第一层池化层进行特征降维，将降维后的特征输入到两层的swin-transformer模块中用于获取初步的全局空间信息特征；其中第一层swin-transformer模块首先会对特征区域的划分，在每个区域内会独立计算自注意力，同时第二层swin-transformer模块使用窗口移位使得自注意力的计算不仅仅只限制在不重叠的区域内，进行跨区域的计算，带来了更高的计算效率；经过两层swin-transformer模块后获取粗略的全局空间信息特征；接下来将这个全局空间信息特征输入到多层残差模块中进行跳越连接，并利用多层卷积进行进一步的特征提取获取最终的空间信息特征，再将最终的空间信息特征输入到帧注意模块中计算自注意力权重和关系注意力权重，并将自注意力权重和关系注意力权重通过两层全连接层聚合，得到时序信息特征。
进一步窗口移位的方式进行跨区域的计算自注意力，表示为：
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，B表示可学习的偏置矩阵，d表示维度，softmax表示softmax函数，Q＝wqX，K＝wkX,V＝wvX，X表示划分后的一个区域矩阵，wq，wk，wv表示三个可学习矩阵参数。
进一步的，所述计算自注意力权重，表示为：
αi＝σ(fi Tq0+b0)
其中，αi表示自注意权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，T表示转置操作，q0表示第一全连接层的参数，b0表示第一偏置参数，σ表示sigmod函数。
进一步的，所述计算关系注意力权重，表示为：
βi＝σ([fi:f′v]Tq1+b1)
其中，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，q1表示第二全连接层的参数，b1表示第二偏置参数，
n表示帧的数量，αi表示自注意权重。
进一步的，将自注意力权重和关系注意力权重聚合，得到时序信息，表示为：
其中，fv表示联合多模态特征的时序信息特征，αi表示自注意权重，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，V表示一个可学习的参数矩阵，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，softmax表示softmax函数，n表示帧的数量。
最终fv会经过两个全连接层，再经过softmax函数计算得出最终的结果向量，取输出结果中最大概率对应的表情分类作为视频的情绪识别结果，其中经过两层全连接层计算公式如下：
其中，z表示情绪分类的预测结果值，z＝[z1,z2,…,zC]，C表示情绪分类的类别数量，
表示第一层全连接层的参数，
表示第二层全连接层的参数，T表示转置操作，fv表示联合多模态特征的时序信息特征，b1表示第一层全连接层的偏置参数，b2是第二层全连接层的偏置参数。
通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，公式如下:
其中，zj表示第j类情绪分类的预测结果值，C表示情绪分类的类别数量，e表示自然底数，zk表示第k类情绪分类的预测结果值。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，具体包括以下步骤：
S1：获取原始视频数据，提取原始视频数据的视频部分和音频部分；
S2：将视频部分转化为视频帧，检测视频帧中的人脸图像，并进行预处理，得到人脸模态特征，对音频部分进行分帧处理并转化成声谱图，得到声音模态特征；
S3：将人脸模态特征和声音模态特征输入到自编码网络中进行提取模态的特征，并利用解码器对模态特征进行特征联合表示，得到联合多模态特征；
S4：将联合多模态特征输入到改进的帧注意力残差网络模型中提取空间信息特征和时序信息特征；
S5：将提取的空间信息特征和时序信息特征通过全连接计算，得到情绪分类的预测结果值；
S6：通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，并将多分类目标预测概率分布值最大的视频人脸情绪作为最终的视频人脸情绪识别结果。
2.根据权利要求1所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，所述S2具体包括：
提取原始视频的视频帧，对视频帧进行人脸检测，对检测出的人脸进行定位，将定位出的人脸剪裁为统一大小，并进行人脸对齐处理，得到处理后的人脸图，每个视频中的视频帧分别选取固定帧作为一组视频序列，得到人脸模态特征；
提取原始视频音频部分的语音信号，将语音信号进行分帧处理，将分帧后的语音信号通过短时傅里叶变换转换成频域上的声谱图，得到声音模态特征。
3.根据权利要求1所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，所述改进的帧注意力残差网络模型包括：四层卷积层、两层池化层、六层残差模块、两层全连接层、两层swin-transformer模块、帧注意力模块，两层swin-transformer模块设置在第一层的池化层之后，帧注意力模块设置在最后一层池化层之后。
4.根据权利要求1所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，提取空间信息特征和时序信息特征的过程具体包括：
将联合多模态特征输入第一层卷积层提取粗略特征并通过第一层池化层进行特征降维，将降维后的特征输入到两层的swin-transformer模块中，第一层swin-transformer模块对特征区域进行划分，第二层swin-transformer模块使用窗口移位的方式进行计算跨区域自注意力，获取粗略的全局空间信息特征，将粗略的全局空间信息特征输入到多层残差模块中进行跳越连接，并利用多层卷积进行进一步的特征提取获取最终的空间信息特征；将最终的空间信息特征输入到帧注意模块中计算自注意力权重和关系注意力权重，并将自注意力权重和关系注意力权重通过两层全连接层聚合，得到时序信息特征。
5.根据权利要求4所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，窗口移位的方式进行跨区域的计算自注意力，表示为：
其中，Q表示查询矩阵，K表示键矩阵，V表示值矩阵，B表示可学习的偏置矩阵，d表示维度，softmax表示softmax函数，Q＝wqX，K＝wkX,V＝wvX，X表示划分后的一个区域矩阵，wq，wk，wv表示三个可学习矩阵参数。
6.根据权利要求4所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，所述计算自注意力权重，表示为：
αi＝σ(fi Tq0+b0)
其中，αi表示自注意权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，T表示转置操作，q0表示第一全连接层的参数，b0表示第一偏置参数，σ表示sigmod函数。
7.根据权利要求4所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，所述计算关系注意力权重，表示为：
βi＝σ([fi:f′v]Tq1+b1)
其中，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，q1表示第二全连接层的参数，b1表示第二偏置参数，
n表示帧的数量，αi表示自注意权重。
8.根据权利要求4所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，将自注意力权重和关系注意力权重聚合，得到时序信息，表示为：
其中，fv表示联合多模态特征的时序信息特征，αi表示自注意权重，βi表示关系注意力权重，fi表示卷积池化操作后的第i个多模态联合表示的特征，V表示一个可学习的参数矩阵，f′v表示帧序列全局锚点，[fi:f′v]T表示fi与f′v的拼接后的转置，softmax表示softmax函数，n表示帧的数量。
9.根据权利要求1所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，将提取的空间信息特征和时序信息特征通过全连接计算，得到情绪分类的预测结果值，表示为：
其中，z表示情绪分类的预测结果值，z＝[z1,z2,…,zC]，C表示情绪分类的类别数量，
表示第一层全连接层的参数，
表示第二层全连接层的参数，T表示转置操作，fv表示联合多模态特征的时序信息特征，b1表示第一层全连接层的偏置参数，b2是第二层全连接层的偏置参数。
10.根据权利要求1所述的一种基于帧注意力机制的视频人脸情绪识别方法，其特征在于，通过softmax函数归一化情绪分类的预测结果值，得到视频人脸情绪的多分类目标预测概率分布值，表示为：
其中，zj表示第j类情绪分类的预测结果值，C表示情绪分类的类别数量，e表示自然底数，zk表示第k类情绪分类的预测结果值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211012667.4A CN115393933A (zh) | 2022-08-23 | 2022-08-23 | 一种基于帧注意力机制的视频人脸情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211012667.4A CN115393933A (zh) | 2022-08-23 | 2022-08-23 | 一种基于帧注意力机制的视频人脸情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393933A true CN115393933A (zh) | 2022-11-25 |
Family
ID=84120583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211012667.4A Pending CN115393933A (zh) | 2022-08-23 | 2022-08-23 | 一种基于帧注意力机制的视频人脸情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393933A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402811A (zh) * | 2023-06-05 | 2023-07-07 | 长沙海信智能系统研究院有限公司 | 一种打架斗殴行为识别方法及电子设备 |
| CN116453024A (zh) * | 2023-04-23 | 2023-07-18 | 中国传媒大学 | 视频情绪识别系统、方法 |
| CN116701708A (zh) * | 2023-07-27 | 2023-09-05 | 上海蜜度信息技术有限公司 | 多模态增强的视频分类方法、系统、存储介质及电子设备 |
-
2022
- 2022-08-23 CN CN202211012667.4A patent/CN115393933A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116453024A (zh) * | 2023-04-23 | 2023-07-18 | 中国传媒大学 | 视频情绪识别系统、方法 |
| CN116453024B (zh) * | 2023-04-23 | 2023-09-22 | 中国传媒大学 | 视频情绪识别系统、方法 |
| CN116402811A (zh) * | 2023-06-05 | 2023-07-07 | 长沙海信智能系统研究院有限公司 | 一种打架斗殴行为识别方法及电子设备 |
| CN116402811B (zh) * | 2023-06-05 | 2023-08-18 | 长沙海信智能系统研究院有限公司 | 一种打架斗殴行为识别方法及电子设备 |
| CN116701708A (zh) * | 2023-07-27 | 2023-09-05 | 上海蜜度信息技术有限公司 | 多模态增强的视频分类方法、系统、存储介质及电子设备 |
| CN116701708B (zh) * | 2023-07-27 | 2023-11-17 | 上海蜜度信息技术有限公司 | 多模态增强的视频分类方法、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
| CN108597541B (zh) | 一种增强愤怒与开心识别的语音情感识别方法及系统 | |
| CN112818861B (zh) | 一种基于多模态上下文语义特征的情感分类方法及系统 | |
| CN109637522B (zh) | 一种基于语谱图提取深度空间注意特征的语音情感识别方法 | |
| KR20180125905A (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
| CN111312245B (zh) | 一种语音应答方法、装置和存储介质 | |
| CN115393933A (zh) | 一种基于帧注意力机制的视频人脸情绪识别方法 | |
| CN112233698B (zh) | 人物情绪识别方法、装置、终端设备及存储介质 | |
| US20220172710A1 (en) | Interactive systems and methods | |
| CN110060657B (zh) | 基于sn的多对多说话人转换方法 | |
| Wei et al. | A novel speech emotion recognition algorithm based on wavelet kernel sparse classifier in stacked deep auto-encoder model | |
| CN112257449A (zh) | 命名实体识别方法、装置、计算机设备和存储介质 | |
| CN115641543A (zh) | 一种多模态抑郁情绪识别方法及装置 | |
| CN114550057A (zh) | 一种基于多模态表示学习的视频情绪识别方法 | |
| Lee et al. | Deep representation learning for affective speech signal analysis and processing: Preventing unwanted signal disparities | |
| Wu et al. | Research on the Application of Deep Learning-based BERT Model in Sentiment Analysis | |
| CN114694255A (zh) | 基于通道注意力与时间卷积网络的句子级唇语识别方法 | |
| Akman et al. | Lip reading multiclass classification by using dilated CNN with Turkish dataset | |
| CN111462762B (zh) | 一种说话人向量正则化方法、装置、电子设备和存储介质 | |
| Hu et al. | Speech Emotion Recognition Based on Attention MCNN Combined With Gender Information | |
| Hong et al. | When hearing the voice, who will come to your mind | |
| Huilian et al. | Speech emotion recognition based on BLSTM and CNN feature fusion | |
| CN115017900B (zh) | 一种基于多模态多去偏见的对话情感识别方法 | |
| CN116258147A (zh) | 一种基于异构图卷积的多模态评论情感分析方法及系统 | |
| Shen | Application of transfer learning algorithm and real time speech detection in music education platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |