CN116740795B - 基于注意力机制的表情识别方法、模型及模型训练方法 - Google Patents
基于注意力机制的表情识别方法、模型及模型训练方法 Download PDFInfo
- Publication number
- CN116740795B CN116740795B CN202311027078.8A CN202311027078A CN116740795B CN 116740795 B CN116740795 B CN 116740795B CN 202311027078 A CN202311027078 A CN 202311027078A CN 116740795 B CN116740795 B CN 116740795B
- Authority
- CN
- China
- Prior art keywords
- expression recognition
- recognition model
- expression
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 109
- 230000007246 mechanism Effects 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 title claims description 32
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 238000012805 post-processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于注意力机制的表情识别模型，包括编码器以及与编码器连接的后处理层，编码器内包括若干编码单元，编码单元用于对输入序列进行学习，以提取面部重要特征数据，部分编码单元之间设置基于区域的非局部注意力模块，非局部注意力模块建立长距离图像特征之间的相关性，以捕获全局的图像信息，后处理层对面部重要特征数据进行归一化处理和指数变换，以得到表情序列的预测值；结合Timesformer的时空分离注意力机制和基于区域的非局部注意力机制，充分利用Timesformer提取上下文的信息学习视频的时空维度特征，利用基于区域的非局部注意力机制学习每个时间点的空间特征，有效地检测、识别和分类人面部表情，准确率高。
Description
技术领域
本发明涉及视频表情识别技术领域，具体涉及基于注意力机制的表情识别方法、模型及模型训练方法。
背景技术
随着计算机科学的发展，表情识别技术在现实社会中有着越来越广泛的应用，比如人机交互、安全驾驶和视频情感分析等。同时，由于教师的情绪与教学质量息息相关，因此许多研究人员试图将表情识别引入教育教学领域，以期在课堂教学活动中发挥重要作用。但是如何准确有效地提取视频序列表情特征，提高视频表情识别的准确率是该技术投入实际应用时要解决的关键问题。
针对视频中的表情识别问题，已有研究人员提出许多解决方法，旨在通过视频序列中的面部表情预测人类情绪状态，如基于传统的手工特征提取算法，但操作复杂且鲁棒性太差。随着深度学习技术的发展，提出了一系列可用于提取视频人脸表情特征的深度神经网络，如CNN和LSTM、堆叠LSTM和注意力机制、RNN和3D卷积神经网络、双流网络。现有基于深度学习方法的视频表情识别模型大多具有较强的特征提取能力，同时也考虑了视频序列的时间维度信息，但很少关注视频序列中长距离图像信息特征之间关系对视频表情识别的重要性，只关注部分导致难以全面地理解视频的内容。
发明内容
针对现有技术存在的不足，本发明的目的在于提供基于注意力机制的表情识别方法、模型及模型训练方法。
为了实现上述目的，本发明提供如下技术方案：
一种基于注意力机制的表情识别模型，包括编码器以及与编码器连接的后处理层，所述编码器内包括若干编码单元，所述编码单元用于对输入序列进行学习，以提取面部重要特征数据，使识别模型根据各时间步之间的相关性和重要性进行动态调整，其中部分所述编码单元之间设置基于区域的非局部注意力模块，所述非局部注意力模块建立长距离图像特征之间的相关性，以捕获全局的图像信息，所述后处理层对面部重要特征数据进行归一化处理和指数变换，以得到表情序列的预测值。
在本发明中，优选的，所述编码器内包括6个顺序设置的编码单元，每一所述编码单元输入输出维度相同。
在本发明中，优选的，其中所述编码单元包括一个时空分离注意力模块。
在本发明中，优选的，第3、4、5、6编码器之间设置基于区域的非局部注意力模块，以计算区域与整幅图像之间的相似度，选取关联度高的特征进行加权融合。
基于注意力机制的表情识别模型的训练方法，包括如下步骤：
S1，获取视频序列；
S2，视频序列预处理，划分表情识别训练集和表情识别验证集；
S3，采用表情识别训练集对表情识别模型进行训练，并采用表情识别验证集对训练好的表情识别模型进行验证。
在本发明中，优选的，步骤S2具体还包括：
S21，使用Opencv-DNN对所述视频序列进行人脸检测；
S22，使用dlib对所述视频序列实现人脸对齐；
S23，使用限制对比度自适应直方图均衡（CLAHE）对视频序列进行图像增强；
S24，获取每个视频序列的表情帧数，并赋予标签；
S25，划分表情识别训练集和表情识别验证集。
在本发明中，优选的，对表情识别训练集进行如下处理：
S31，将表情识别训练集内的整图像划分为若干图像块，每个图像块之间区域不相交；
S32，对图像块进行处理和编码，形成编码图像块；
S33，对图像块每个视频帧进行特征提取，得到对应的特征向量，对特征向量归一化处理；
S34，将处理后的特征向量合成一个序列，作为表情识别模型的输入，对表情识别模型进行训练。
在本发明中，优选的，通过在线增强技术和调整模型的学习率、动量、迭代次数来实现对于所述表情识别模型的训练。
在本发明中，优选的，步骤S1具体还包括如下步骤：
S11，获取原始视频进行表情分类；
S12，使用ffmpeg对视频进行分帧，得到所述视频序列。
基于注意力机制的表情识别模型的表情识别方法，待识别视频输入后首先进行图像预处理，得到待识别图像数据，将待识别图像数据平铺成向量，并嵌入位置数据后输入编码器中，通过编码单元依序多次提取图像中的面部特征向量，并基于区域的非局部注意力对相关的特征向量进行加权融合，最后通过归一化和指数变换输出表情序列的预测值。
与现有技术相比，本发明的有益效果是：
本发明的模型结合Timesformer的时空分离注意力机制和基于区域的非局部注意力机制，充分利用Timesformer提取上下文的信息学习视频的时空维度特征，利用基于区域的非局部注意力机制学习到每个时间点的空间特征，可以有效地检测、识别和分类人面部表情，准确率高；
本发明训练方法采用的视频图像预处理是基于深度学习的视频序列表情识别方法，通过使用限制对比度自适应直方图均衡(CLAHE)进行图像增强，Opencv-DNN进行人脸检测，dlib进行人脸对齐，使得图像更加清晰易于处理。
附图说明
图1为本发明所述的一种基于注意力机制的表情识别模型的结构示意图。
图2为本发明所述的一种基于注意力机制的表情识别模型的时空分离注意力模块的结构示意图。
图3为本发明所述的一种基于注意力机制的表情识别模型法的基于区域的非局部注意力模块的结构示意图。
图4为本发明所述的一种基于注意力机制的表情识别模型的训练方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请同时参见图1-3，本发明一较佳实施方式提供一种基于注意力机制的表情识别模型，针对现有的由于视频序列中存在的动态变化和复杂性会对模型的性能产生一定的挑战，视频序列中可能会存在漂移或者噪声，另外，视频序列通常具有多种不同的物体和行为，现有识别方法只关注部分，难以全面地理解视频的内容，识别表情不准确的问题，通过结合图像增强和人脸对齐进行图像处理技术，将Timesformer的时空注意力机制和基于区域的非局部注意力机制相结合，具备一定的鲁棒性，可以很好地分析视频序列中的教师表情，识别准确率高，本模型具体包括包括编码器以及与编码器连接的后处理层，所述编码器内包括若干编码单元，所述编码单元用于对输入序列进行学习，以提取面部重要特征数据，使识别模型根据各时间步之间的相关性和重要性进行动态调整，其中部分所述编码单元之间设置基于区域的非局部注意力模块，所述非局部注意力模块建立长距离图像特征之间的相关性，以捕获全局的图像信息，所述后处理层对面部重要特征数据进行归一化处理和指数变换，以得到表情序列的预测值。
具体的，视频序列表情识别模型基于Timesformer模型，编码器包括若干编码单元，每个编码单元内均包括一个时空分离注意力机制，每一编码单元输入输出维度相同。
进一步的，视频序列表情识别模型包括6个编码单元，每个编码单元的作用是对序列进行逐级的特征学习和降维，以提取序列的重要特征，同时保留序列的长时记忆，后处理层内设置有归一化函数及Softmax函数，后处理层将编码器输出的表情特征数据进行归一化和指数变换操作，得到表情序列预测值。
进一步的，在第3，4，5，6的编码单元结构之间加入基于区域的非局部注意力机制，其中，该注意力使用了区域建模的方法，将输入特征图分成多个区域，然后对每个区域进行特征提取，以计算每个位置与其他位置之间的相似度，再进行加权融合，以获得全局信息，从而选取最相关的特征进行加权融合，这种方法在保留全局上下文信息的同时，减少了计算的复杂度，提升了特征表达的能力。
在本实施方式中，其中编码单元内设置有一个时空分离注意力模块。
进一步的，编码器单元采用了一个时空分离注意力机制，该注意力机制是分别关注空间和时间上信息特征的一种注意力机制，同时，在第3、4、5、6的编码单元之间，采用了基于区域的非局部注意力机制，捕获长时距离之间的信息特征。
请参见图4，本发明另一较佳实施方式提供一种基于注意力机制的表情识别模型的训练方法，包括如下步骤：
S1，获取视频序列；
S2，视频序列预处理，划分表情识别训练集和表情识别验证集；
S3，采用表情识别训练集对表情识别模型进行训练，并采用表情识别验证集对训练好的表情识别模型进行验证。
具体的，步骤S1包括如下步骤：
S11，获取原始视频进行表情分类；
S12，使用ffmpeg对视频进行分帧，得到视频序列。
进一步的，原始视频来自于视频人脸表情DFEW数据集。
进一步的，将原始视频序列的每个视频序列分割成帧数为T=8的固定时长的片段，作为模型的输入，借助ffmpeg等软件来实现。将每个情绪类别的视频截取为对应的视频帧图像，按照情绪类别和视频编号依次对应，可得到约11552个视频序列，92416张人脸表情图像。
在本实施方式中，由于原始视频截取的视频帧包含复杂场景，同时人脸部位可能受到模糊轮廓，光照强弱的影响，使原始图片包含大量噪音，提取不到有用信息，若图像未经过处理直接使用，对神经网络识别精度产生很大的影响，所以对视频帧图像做数据预处理，把图像中无关信息的影响降至最低，增强图像中有效信息，从而降低对后续情绪识别算法的影响，故进行如下步骤：
S21，使用Opencv-DNN对视频序列进行人脸检测；
进一步的，将视频帧图像进行人脸检测，将视频帧图像裁剪为包含人脸大小的224×224，去掉非人脸部分和背景的干扰。其中，采用OpenCV-DNN进行人脸检测，检测精度高，且适用于不同的面部朝向，对侧脸检测效果也好。将提取到的人脸图像按原排序方式进行保存，重新排成视频序列。
S22，使用dlib对视频序列实现人脸对齐；
进一步的，由于视频中的人脸在不同图像中的位置、角度、大小等因素，导致不同图像中的同一人脸在像素上不完全重合，从而影响识别的效果。采用dlib人脸对齐技术对不同图像中的人脸进行对齐，使得同一人脸在像素上能够完全重合，从而提高识别的准确率和图像质量。
S23，使用限制对比度自适应直方图均衡（CLAHE）对视频序列进行图像增强；
进一步的，将人脸检测和人脸对齐后的每一帧图像进行CLAHE增强处理，CLAHE通过将图像分成小图像块，并在每个小图像块上进行直方图均衡化，同时限制每个图像块中像素的最大对比度，以避免过度增强或失真，与传统的全局直方图均衡化相比，CLAHE算法可以有效地处理具有局部对比度变化的图像，并且能够避免过度增强图像噪声的问题，这将有助于削弱图像中的无关信息的影响，从而提高后续表情识别算法的准确性。
S24，获取每个视频序列的表情帧数，并赋予标签；
S25，划分表情识别训练集和表情识别验证集。
进一步的，可按8:1的比例对标注完成的视频序列进行划分，得到表情识别训练集和表情识别验证集，其中表情识别训练集用于训练表情识别模型，表情识别验证集用于验证训练好的表情识别模型。
在本实施方式中，还包括如下步骤：
S31，将表情识别训练集内的整个图像划分为若干图像块，每个图像块之间区域不相交；
S32，对图像块进行处理和编码，形成编码图像块；
S33，对图像块每个视频帧进行特征提取，得到对应的特征向量，对特征向量归一化处理；
S34，将处理后的特征向量合成一个序列，作为待训练表情识别模型的输入，对待训练表情识别模型进行训练。
在本实施方式中，表情识别模型通过在原始Timesformer模型中加入基于区域的非局部注意力机制得到。
在本实施方式中，在步骤S3中，通过在线增强技术和调整模型的学习率、动量、迭代次数来实现对于表情识别模型的训练。
进一步的，在对于表情识别模型进行重新训练时，将训练视频序列输入到表情识别模型中，通过调整模型的学习率、动量、迭代次数等参数来实现对于表情识别模型的重新训练，以得到表情识别模型的新训练权重。其中，可采用余弦退火算法动态调整学习率，即根据learning rate和回调函数不断调整学习率。同时，将视频序列进行数据增强，拟采用的是在线增强，是在经过一轮的训练后，对这些数据进行扩充，如镜面翻转、平移、旋转等。
在本实施方式中，在利用具有新训练权重的表情识别模型对于目标对象的表情进行检测时，可基于具有新训练权重的表情识别模型构建目标对象，比如可借助PYQT5和opencv函数等开发界面和接口，基于具有新训练权重的视频序列表情识别模型来搭建目标对象表情实时识别系统。在使用时，步骤包括：
步骤S41：加载具有新训练权重的视频序列表情识别模型；
步骤S42: 选择推理模式，可以在线推理或离线推理。
步骤S43: 若离线推理，则选择一段教学视频进行分析，信息保存在后台；若在线推理，则选择摄像头，信息同时通过界面进行展示。
本发明另一较佳实施方式提供一种基于注意力机制的表情识别模型的表情识别方法，待识别视频输入后首先进行图像预处理，得到待识别图像数据，将待识别图像数据平铺成向量，并嵌入位置数据后输入编码器中，通过编码单元进行学习学习，以提取面部重要特征数据，使模型能根据各个时间步之间的相关性和重要性进行动态调整，基于区域的非局部注意力模块建立长距离图像特征之间的相关性，以捕获全局的图像信息，最后通过归一化和指数变换输出表情序列的预测值。
如图1所示，具体的，输入待识别视频，进行预处理，预处理包括人脸检测，人脸对齐以及图像增强，接着获取视频序列的表情帧数，得到 T帧预处理后的RGB图像，大小为H*W，其中H=W=224，T=8，首先将每帧图像分割成N个图像块，每个图像块的大小为P*P，其中N=HW/P2，p=16，最后，将图像块平铺成向量，其中p=1...N，代表图像块的位置，t=1....T，代表帧的索引，接着为每个图像块添加一个位置嵌入数据/>，将置嵌入数据线性映射到一个嵌入向量/>，其中/>是一个可学习分类向量，/>代表的是编码单元的索引，/>=1,...,L，L=6，最后将/>输入到编码器中，当编码器接收到该向量时，首先计算出时间维度的查询/键/值（q/k/v），这是由前一编码单元输出向量/>计算出来的当前模块/>的查询/键/值（q/k/v）。
接着，在编码单元中计算时间上的注意力权重矩阵，其中，/>=48，表示每个注意力头输入的维度：
(1)
设，/>及/>分别表示第/>个编码单元第/>个头的q,k,v向量：
(2)
(3)
(4)
其中，=1,...,A表示注意力头索引，A=16，/>是可学习映射矩阵，LN（）代表的是归一化；
再与v加权求和得到各注意力头的输出，
(5)
然后，将各注意力头输出向量连接成矩阵，并经过线性映射得到时间注意力的特征图和残差操作得到中间编码特征图/>，其中/>是可学习映射矩阵，
（6）
（7）
接着，将经过公式（2-4）得到更新后的q、k和v，计算空间上的自注意力权重，
（8）
同样经过公式（5），与v加权求和得到各注意力头的加权输出，将各注意力头输出向量连接成矩阵，如图2所示,并经过线性映射得到空间编码的特征图/>和残差操作得到中间编码特征图/>:
（9）
（10）
在经过归一化和前馈神经网络FFN（），得到第个编码单元的编码特征图的输出，如下公式
（11）
其中在3、4、5、6编码单元之间添加了基于区域的非局部注意力机制，其输入的数据是前一编码单元输出的编码特征图z，对其每个位置i，定义了一个以i为中心的固定大小的长方形区域/>，/>=/>，来计算各位置之间的关系，如下式：
（12）
其中，j表示列举所有与i相关的位置，=/>，/>是一个可学习的权重矩阵，是用1*1*1的卷积核去计算/>的一种表示形式，其/>是计算两者位置之间的相似性，并将其设置为
（13）
其中代表/>，是一个聚合函数，是用3*7*7的卷积核去学习每个区域内的信息特征，/>表示区域/>共享的向量，设置为一个可学习的向量，采用随机初始化的方式为/>赋予初始值，如图3所示，最终，/>经过一个可学习矩阵/>，是用1*1*1的卷积核去计算/>的一种表示形式，再与原始的输入/>相加，定义最终输出/>。
最后一个编码单元的输出给到后处理层，通过归一化函数和softmax函数进行分类预测，其中归一化函数的目的是将输入的数据进行归一化处理，使得向量中每个元素都在一个相似的尺度范围内（0,1）；softmax函数将归一化后的向量作为softmax函数的输入，对向量中的每一个元素进行指数变换，并将变换后的元素进行归一化，得到一个概率分布，这个概率分布就是每个表情类别的概率。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。
Claims (9)
1.一种基于注意力机制的表情识别模型，其特征在于：包括编码器以及与编码器连接的后处理层，所述编码器内包括若干编码单元，每一所述编码单元包括一个时空分离注意力模块，所述编码单元用于对输入序列进行学习，以提取面部重要特征数据，使识别模型根据各时间步之间的相关性和重要性进行动态调整，其中部分所述编码单元之间设置基于区域的非局部注意力模块，所述非局部注意力模块建立长距离图像特征之间的相关性，将输入特征图分成多个区域，然后对每个区域进行特征提取，
所述非局部注意力模块输入的数据是前一编码单元输出的编码特征图z，对其每个位置i，定义了一个以i为中心的固定大小的长方形区域/>，/>=/>，来计算各位置之间的关系，如下式：
（12）
其中，j表示列举所有与i相关的位置，长方形区域的大小为P*P，=/>，/>代表帧的索引，/>是一个可学习的权重矩阵，是用1*1*1的卷积核去计算与i相关所有位置/>的一种表示形式，其/>是计算两者位置之间的相似性，并将其设置为
（13）
其中代表/>，是一个聚合函数，是用3*7*7的卷积核去学习每个区域内的信息特征，/>表示区域/>共享的向量，设置为一个可学习的向量，采用随机初始化的方式为/>赋予初始值；
以捕获全局的图像信息，所述后处理层对面部重要特征数据进行归一化处理和指数变换，以得到表情序列的预测值。
2.根据权利要求1所述的一种基于注意力机制的表情识别模型，其特征在于，所述编码器内包括6个顺序设置的编码单元，每一所述编码单元输入输出维度相同。
3.根据权利要求2所述的一种基于注意力机制的表情识别模型，其特征在于，第3、4、5、6编码器之间设置基于区域的非局部注意力模块，以计算区域与整幅图像之间的相似度，选取关联度高的特征进行加权融合。
4.权利要求1-3任意一项所述的一种基于注意力机制的表情识别模型的训练方法，其特征在于，包括如下步骤：
S1，获取视频序列；
S2，视频序列预处理，划分表情识别训练集和表情识别验证集；
S3，采用表情识别训练集对表情识别模型进行训练，并采用表情识别验证集对训练好的表情识别模型进行验证。
5.根据权利要求4所述的一种基于注意力机制的表情识别模型的训练方法，其特征在于，步骤S2具体还包括：
S21，使用Opencv-DNN对所述视频序列进行人脸检测；
S22，使用dlib对所述视频序列实现人脸对齐；
S23，使用限制对比度自适应直方图均衡（CLAHE）对视频序列进行图像增强；
S24，获取每个视频序列的表情帧数，并赋予标签；
S25，划分表情识别训练集和表情识别验证集。
6.根据权利要求5所述的一种基于注意力机制的表情识别模型的训练方法，其特征在于，对表情识别训练集进行如下处理：
S31，将表情识别训练集内的整图像划分为若干图像块，每个图像块之间区域不相交；
S32，对图像块进行处理和编码，形成编码图像块；
S33，对图像块每个视频帧进行特征提取，得到对应的特征向量，对特征向量归一化处理；
S34，将处理后的特征向量合成一个序列，作为表情识别模型的输入，对表情识别模型进行训练。
7.根据权利要求4所述的一种基于注意力机制的表情识别模型的训练方法，其特征在于，通过在线增强技术和调整模型的学习率、动量、迭代次数来实现对于所述表情识别模型的训练。
8.根据权利要求4所述的一种基于注意力机制的表情识别模型的训练方法，其特征在于，步骤S1具体还包括如下步骤：
S11，获取原始视频进行表情分类；
S12，使用ffmpeg对视频进行分帧，得到所述视频序列。
9.采用权利要求1-3任意一项所述的基于注意力机制的表情识别模型的表情识别方法，其特征在于，待识别视频输入后首先进行图像预处理，得到待识别图像数据，将待识别图像数据平铺成向量，并嵌入位置数据后输入编码器中，通过编码单元依序多次提取图像中的面部特征向量，并基于区域的非局部注意力对相关的特征向量进行加权融合，最后通过归一化和指数变换输出表情序列的预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311027078.8A CN116740795B (zh) | 2023-08-16 | 2023-08-16 | 基于注意力机制的表情识别方法、模型及模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311027078.8A CN116740795B (zh) | 2023-08-16 | 2023-08-16 | 基于注意力机制的表情识别方法、模型及模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740795A CN116740795A (zh) | 2023-09-12 |
| CN116740795B true CN116740795B (zh) | 2023-11-24 |
Family
ID=87919062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311027078.8A Active CN116740795B (zh) | 2023-08-16 | 2023-08-16 | 基于注意力机制的表情识别方法、模型及模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740795B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN111754637A (zh) * | 2020-06-30 | 2020-10-09 | 华东交通大学 | 一种样本相似度抑制的大尺度三维人脸合成系统 |
| CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
| CN112382338A (zh) * | 2020-11-16 | 2021-02-19 | 南京理工大学 | 基于自注意力残差网络的dna-蛋白质结合位点预测方法 |
| CN112784763A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 基于局部与整体特征自适应融合的表情识别方法及系统 |
| CN113065550A (zh) * | 2021-03-12 | 2021-07-02 | 国网河北省电力有限公司 | 基于自注意力机制的文本识别方法 |
| CN113486863A (zh) * | 2021-08-20 | 2021-10-08 | 西南大学 | 一种表情识别方法及装置 |
| CN113935435A (zh) * | 2021-11-17 | 2022-01-14 | 南京邮电大学 | 基于时空特征融合的多模态情感识别方法 |
| CN114494929A (zh) * | 2020-11-13 | 2022-05-13 | 北京三星通信技术研究有限公司 | 视频处理方法及装置 |
| CN114863508A (zh) * | 2022-03-24 | 2022-08-05 | 华南理工大学 | 自适应注意力机制的表情识别模型生成方法、介质及设备 |
| CN115205336A (zh) * | 2022-07-25 | 2022-10-18 | 浙江工业大学 | 一种基于多层感知机的特征融合目标感知跟踪方法 |
| CN115294655A (zh) * | 2022-08-18 | 2022-11-04 | 中科天网（广东）科技有限公司 | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 |
| CN115578774A (zh) * | 2022-10-27 | 2023-01-06 | 国网天津市电力公司 | 一种基于非局部通道注意力的面部运动单元检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220392637A1 (en) * | 2021-06-02 | 2022-12-08 | Neumora Therapeutics, Inc. | Multimodal dynamic attention fusion |
-
2023
- 2023-08-16 CN CN202311027078.8A patent/CN116740795B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN111754637A (zh) * | 2020-06-30 | 2020-10-09 | 华东交通大学 | 一种样本相似度抑制的大尺度三维人脸合成系统 |
| CN112257647A (zh) * | 2020-11-03 | 2021-01-22 | 徐州工程学院 | 基于注意力机制的人脸表情识别方法 |
| CN114494929A (zh) * | 2020-11-13 | 2022-05-13 | 北京三星通信技术研究有限公司 | 视频处理方法及装置 |
| CN112382338A (zh) * | 2020-11-16 | 2021-02-19 | 南京理工大学 | 基于自注意力残差网络的dna-蛋白质结合位点预测方法 |
| CN112784763A (zh) * | 2021-01-27 | 2021-05-11 | 南京邮电大学 | 基于局部与整体特征自适应融合的表情识别方法及系统 |
| CN113065550A (zh) * | 2021-03-12 | 2021-07-02 | 国网河北省电力有限公司 | 基于自注意力机制的文本识别方法 |
| CN113486863A (zh) * | 2021-08-20 | 2021-10-08 | 西南大学 | 一种表情识别方法及装置 |
| CN113935435A (zh) * | 2021-11-17 | 2022-01-14 | 南京邮电大学 | 基于时空特征融合的多模态情感识别方法 |
| CN114863508A (zh) * | 2022-03-24 | 2022-08-05 | 华南理工大学 | 自适应注意力机制的表情识别模型生成方法、介质及设备 |
| CN115205336A (zh) * | 2022-07-25 | 2022-10-18 | 浙江工业大学 | 一种基于多层感知机的特征融合目标感知跟踪方法 |
| CN115294655A (zh) * | 2022-08-18 | 2022-11-04 | 中科天网（广东）科技有限公司 | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 |
| CN115578774A (zh) * | 2022-10-27 | 2023-01-06 | 国网天津市电力公司 | 一种基于非局部通道注意力的面部运动单元检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Is Space-Time Attention All You Need for Video Understanding?;Gedas Bertasius 等;《arXiv:2102.05095v4 [cs.CV]》;第1-13页 * |
| 戴口罩多人脸识别系统研究;吴家宝 等;《天津职业技术师范大学学报》;第7-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740795A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059662B (zh) | 一种深度视频行为识别方法及系统 | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
| WO2022000420A1 (zh) | 人体动作识别方法、人体动作识别系统及设备 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN113688723A (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN112785637B (zh) | 一种基于动态融合网络的光场深度估计方法 | |
| CN111105439A (zh) | 一种使用残差注意力机制网络的同步定位与建图方法 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN112084952B (zh) | 一种基于自监督训练的视频点位跟踪方法 | |
| CN116309725A (zh) | 基于多尺度可形变注意力机制的多目标跟踪方法 | |
| CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
| CN113378949A (zh) | 一种基于胶囊网络和混合注意力的双重生成对抗学习方法 | |
| CN116168329A (zh) | 基于关键帧筛选像素块的视频动作检测方法、设备及介质 | |
| CN114913342A (zh) | 融合事件和图像的运动模糊图像线段检测方法及系统 | |
| Singh et al. | Action recognition in dark videos using spatio-temporal features and bidirectional encoder representations from transformers | |
| CN113657200A (zh) | 一种基于掩码r-cnn的视频行为动作识别方法及系统 | |
| CN116246338B (zh) | 一种基于图卷积和Transformer复合神经网络的行为识别方法 | |
| CN115641445B (zh) | 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法 | |
| CN116740795B (zh) | 基于注意力机制的表情识别方法、模型及模型训练方法 | |
| CN116453025A (zh) | 一种缺帧环境下融合时空信息的排球比赛群体行为识别方法 | |
| CN116597144A (zh) | 一种基于事件相机的图像语义分割方法 | |
| CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
| Huang et al. | Temporally-aggregating multiple-discontinuous-image saliency prediction with transformer-based attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |