CN113052132A - 基于面部关键点轨迹特征图的视频情感识别方法 - Google Patents
基于面部关键点轨迹特征图的视频情感识别方法 Download PDFInfo
- Publication number
- CN113052132A CN113052132A CN202110425610.6A CN202110425610A CN113052132A CN 113052132 A CN113052132 A CN 113052132A CN 202110425610 A CN202110425610 A CN 202110425610A CN 113052132 A CN113052132 A CN 113052132A
- Authority
- CN
- China
- Prior art keywords
- video
- key point
- face key
- key points
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000013135 deep learning Methods 0.000 claims description 19
- 230000008451 emotion Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于面部关键点轨迹特征图的视频情感识别方法，包括以下步骤：步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将关键点轨迹特征编码成面部关键点轨迹特征图；步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN‑LSTM深度时空网络中进行情感识别任务。本发明将关键点轨迹特征编码成面部关键点轨迹特征图输入CNN‑LSTM深度时空网络用于视频情感识别，在RAVDESS数据集上验证所述发明取得了较高的水平。
Description
技术领域
本发明属于多媒体信号处理领域，涉及一种基于面部关键点轨迹特征图的视频情感识别方法。
背景技术
视频情感识别技术在各种智能系统中的应用具有很大的潜力，包括数字广告业务，在线游戏，客户反馈评估，医疗行业等。
早期的视频情感识别分类器主要是基于从静态面部图像中提取的手工浅层特征。面部特征可以从整个面部区域或特定的局部区域中提取，并分为两类：基于几何形状或基于外观。基于几何形状的特征表示考虑形状信息(如面部点或眉毛、眼睛、嘴、鼻子的位置)，而忽略面部的纹理。值得注意的是，这种特征表示易受光照变化影响。大多基于几何特征的方法通过主动外观模型跟踪一组面部关键点。另一方面，基于外观的特征表示利用强度值或像素值来表示面部的纹理变化，例如皱纹和条纹。基于外观的经典特征有尺度不变特征变换(SIFT)、局部二值模式(LBP)、梯度直方图(HOG)、Gabor小波表示。主成分分析(PCA)技术被广泛用于特征降维，并在表情识别中取得了很好的成绩。
2002年自动表情识别领域的相关研究发现CNN对人脸位置变化和尺度变化具有鲁棒性，并且在出现之前未见的人脸姿态变化的情况时CNN的表现超过多层感知机(MLP)。利用CNN可以解决人脸表情识别中的主体独立性、平移、旋转、尺度不变性等问题。基于CNN的基础架构，一些变型也被应用于解决表情识别的问题，包括AlexNET、深度卷积神经网络(DCNN)、残差神经网络(Resnet)、Inception和双通道CNN，一个通道是标准CNN网络，另一个通道被训练为卷积自编码器。在视频中帧和帧之间有上下文关联性，增加了比单纯的图像更多的时间信息。Donahue等人于2018年通过将CNN中学习到的视觉特征表示和LSTM的可变长输入输出优势相结合，创造了一种时间和空间上的深度模型，该模型将CNN的输出作为LSTM网络的输入，用于设计时变输入和输出的各种视觉任务中，许多类似的级联网络被陆续提出。
2015年Jung等人提出了人脸关键点轨迹，然而当前的人脸关键点轨迹特征的使用方法存在不足，直接使用了没有归一化的关键点坐标，或者将一组特征点坐标拼接成一维特征向量送入浅层的分类网络中。这样做的不足在于人脸的关键点运动不仅仅受到面部表情的驱动，头部的姿态变化和运动同样会导致面部关键点发生位移。即使面部关键点位置进行了归一化处理，但是侧脸、低头、抬头等动作都能引发面部关键点的位移，真正有意义的是这些点之间的相对距离变化。此外，浅层分类网络的性能也很难让人满意。
发明内容
本发明的目的是提供一种基于面部关键点轨迹特征图的视频情感识别方法，以缓解现有的人脸关键点轨迹特征的使用不充分的问题。
为实现上述目的，本发明采用的技术方案为：
一种基于面部关键点轨迹特征图的视频情感识别方法，包括以下步骤：
步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；
步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将面部关键点轨迹特征编码，得到面部关键点轨迹特征图；
步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN-LSTM深度时空网络中进行情感识别任务。
进一步的，所述步骤1包括：
步骤1.1，将视频序列中的视频帧图像进行预处理，得到每帧图像；
步骤1.2，通过Dlib提供的基于集成回归树的面部关键点定位方法获取每帧图像上的面部的68个关键点坐标。
所述步骤1.1中，视频序列来源于RAVDESS数据集，RAVDESS数据集中的视频帧大小为1280*720，将每帧图像的大小调整到128*128。
进一步的，所述步骤2包括：
步骤2.1，对于每一帧图像，计算68个面部关键点之间的L2范数，并进行归一化处理，得到维度为68*68的面部关键点归一化距离矩阵，对于视频序列，获得一组面部关键点归一化距离矩阵；
步骤2.2，对相邻两帧的面部关键点归一化距离矩阵逐元素做差，获得面部关键点归一化距离在相邻两帧上的差分值矩阵，作为最终的面部关键点轨迹特征图。
进一步的，所述步骤3包括：
步骤3.1，将步骤2得到的一组面部关键点轨迹特征图送入深度神经网络中，从中提取抽象特征，用于生成帧级别的深度学习特征表示；
步骤3.2，将步骤3.1得到的帧级别的深度学习特征表示送入LSTM长短期记忆网络中，学习这一组面部关键点轨迹特征图之间的长期相关性，得到视频序列级的深度学习特征表示；
步骤3.3，将步骤3.2得到的视频序列级的深度学习特征表示输入到全连接网络中，然后将全连接网络连接到Softmax层，利用softmax将网络的输出压缩到0到1之间，并且输出的和为1，表征视频序列所属情感类别的概率；
步骤3.4，将步骤3.3得到的概率利用交叉熵损失函数得到网络的损失值(Loss)，通过反向误差传播算法优化网络参数；
步骤3.5，在测试过程中，将由步骤2得到的一组面部关键点轨迹特征图送入CNN-LSTM深度时空网络后，会得到视频序列对应的情感类别的概率向量，最大概率值所对应的情感类别即为视频序列的预测情感类别。
进一步的，所述步骤3.1中，深度神经网络利用1×1，3×3，5×5的不同尺度卷积核并联，从面部关键点轨迹特征图中提取不同尺度的特征进行拼接，从而聚合高层次的全局特征和低层次的局部细节特征。
进一步的，所述步骤3.2中，LSTM网络中，信息在LSTM节点上流动，从而对这一组帧级别的深度学习特征表示进行聚合，生成视频序列级的深度学习特征表示。
有益效果：针对现有的人脸关键点轨迹特征的使用不充分的问题，本发明方法通过计算一组关键点之间的相对距离在相邻帧上的变化值矩阵将关键点轨迹特征编码成面部关键点轨迹特征图，然后输入CNN-LSTM深度时空网络提取序列级别的深度学习特征表示用于视频情感识别，有效的提升了模型的识别准确率。
附图说明
图1为本发明基于面部关键点轨迹特征图的视频情感识别方法流程图；
图2为本发明深度时空情感分类网络示意图；
图3为本发明深度神经网络结构示意图；
图4为训练过程准确率曲线图；
图5为本发明在RAVDESS测试集上的混淆矩阵。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种基于面部关键点轨迹特征图的视频情感识别方法，包括以下步骤：
步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；具体步骤为：
步骤1.1，将视频序列中的视频帧图像进行预处理，得到每帧图像；其中，视频序列来源于RAVDESS数据集，RAVDESS数据集中的视频帧大小为1280*720，将每帧图像的大小调整到128*128；
步骤1.2，通过Dlib提供的基于集成回归树的面部关键点定位方法获取每帧图像上的面部的68个关键点坐标。
步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将面部关键点轨迹特征编码，得到面部关键点轨迹特征图；具体步骤为：
步骤2.1，对于每一帧图像，计算68个面部关键点之间的L2范数，并进行归一化处理，得到维度为68*68的面部关键点归一化距离矩阵，对于视频序列，获得一组面部关键点归一化距离矩阵；
步骤2.2，对相邻两帧的面部关键点归一化距离矩阵逐元素做差，获得面部关键点归一化距离在相邻两帧上的差分值矩阵，作为最终的面部关键点轨迹特征图。
步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN-LSTM深度时空网络中进行情感识别任务；具体步骤为：
步骤3.1，将一组面部关键点轨迹特征图送入深度神经网络中，从中提取抽象特征，用于生成帧级别的深度学习特征表示；其中，深度神经网络利用1×1，3×3，5×5的不同尺度卷积核并联，从面部关键点轨迹特征图中提取不同尺度的特征进行拼接，从而聚合高层次的全局特征和低层次的局部细节特征；
步骤3.2，将步骤3.1得到的帧级别的深度学习特征表示送入LSTM长短期记忆网络中，学习这一组面部关键点轨迹特征图之间的长期相关性，得到视频序列级的深度学习特征表示；其中，LSTM网络中，信息在LSTM节点上流动，从而对这一组帧级别的深度学习特征表示进行聚合，生成视频序列级的深度学习特征表示；
步骤3.3，将步骤3.2得到的视频序列级的深度学习特征表示输入到全连接网络中，然后将全连接网络连接到Softmax层，利用softmax将网络的输出压缩到0到1之间，并且输出的和为1，表征视频序列所属情感类别的概率；
步骤3.4，将步骤3.3得到的概率利用交叉熵损失函数得到网络的损失值(Loss)，通过反向误差传播算法优化网络参数；
步骤3.5，在测试过程中，将由步骤2得到的一组面部关键点轨迹特征图送入CNN-LSTM深度时空网络后，会得到视频序列对应的情感类别的概率向量，最大概率值所对应的情感类别即为视频序列的预测情感类别。
如图4所示，整个迭代过程为100次，大约在70次迭代左右模型收敛，在验证集上的准确率开始保持稳定。由于利用了视频帧之间的上下文关联，同时RAVDESS数据集是不含噪声的实验室数据集，从而取得了比基于单张图片的情感分类器更高的准确率，在测试集上最终取得了73.88％的分类准确率。如图5为RAVDESS数据集上的混淆矩阵，在混淆矩阵中，快乐、厌恶和惊讶的识别率较高，这是由于这几种情感在面部肌肉运动的方向上有着显著特征，更易被检出。整体而言，本发明提出的基于面部关键点轨迹特征图的视频情感识别方法在RAVDESS数据集上的识别率达到了73.88％，性能表现理想。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：包括以下步骤：
步骤1，对视频序列中的视频帧图像进行处理，并获得一组面部关键点坐标；
步骤2，计算步骤1得到的这一组面部关键点坐标之间的相对距离在相邻视频帧上的变化值矩阵，将面部关键点轨迹特征编码，得到面部关键点轨迹特征图；
步骤3，将视频序列对应的一系列面部关键点轨迹特征图送入CNN-LSTM深度时空网络中进行情感识别任务。
2.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤1包括：
步骤1.1，将视频序列中的视频帧图像进行预处理，得到每帧图像；
步骤1.2，通过Dlib提供的基于集成回归树的面部关键点定位方法获取每帧图像上的面部的68个关键点坐标。
3.根据权利要求2所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤1.1中，视频序列来源于RAVDESS数据集，RAVDESS数据集中的视频帧大小为1280*720，将每帧图像的大小调整到128*128。
4.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤2包括：
步骤2.1，对于每一帧图像，计算68个面部关键点之间的L2范数，并进行归一化处理，得到维度为68*68的面部关键点归一化距离矩阵，对于视频序列，获得一组面部关键点归一化距离矩阵；
步骤2.2，对相邻两帧的面部关键点归一化距离矩阵逐元素做差，获得面部关键点归一化距离在相邻两帧上的差分值矩阵，作为最终的面部关键点轨迹特征图。
5.根据权利要求1所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3包括：
步骤3.1，将通过步骤2得到的一组面部关键点轨迹特征图送入深度神经网络中，从中提取抽象特征，用于生成帧级别的深度学习特征表示；
步骤3.2，将步骤3.1得到的帧级别的深度学习特征表示送入LSTM长短期记忆网络中，学习这一组面部关键点轨迹特征图之间的长期相关性，得到视频序列级的深度学习特征表示；
步骤3.3，将步骤3.2得到的视频序列级的深度学习特征表示输入到全连接网络中，然后将全连接网络连接到Softmax层，利用softmax将网络的输出压缩到0到1之间，并且输出的和为1，表征视频序列所属情感类别的概率；
步骤3.4，将步骤3.3得到的概率利用交叉熵损失函数得到网络的损失值(Loss)，通过反向误差传播算法优化网络参数；
步骤3.5，在测试过程中，将由步骤2得到的一组面部关键点轨迹特征图送入CNN-LSTM深度时空网络后，会得到视频序列对应的情感类别的概率向量，最大概率值所对应的情感类别即为视频序列的预测情感类别。
6.根据权利要求5所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3.1中，深度神经网络利用1×1，3×3，5×5的不同尺度卷积核并联，从面部关键点轨迹特征图中提取不同尺度的特征进行拼接，从而聚合高层次的全局特征和低层次的局部细节特征。
7.根据权利要求5所述的基于面部关键点轨迹特征图的视频情感识别方法，其特征在于：所述步骤3.2中，LSTM网络中，信息在LSTM节点上流动，从而对这一组帧级别的深度学习特征表示进行聚合，生成视频序列级的深度学习特征表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110425610.6A CN113052132A (zh) | 2021-04-20 | 2021-04-20 | 基于面部关键点轨迹特征图的视频情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110425610.6A CN113052132A (zh) | 2021-04-20 | 2021-04-20 | 基于面部关键点轨迹特征图的视频情感识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113052132A true CN113052132A (zh) | 2021-06-29 |
Family
ID=76520712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110425610.6A Pending CN113052132A (zh) | 2021-04-20 | 2021-04-20 | 基于面部关键点轨迹特征图的视频情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052132A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023009060A1 (en) * | 2021-07-30 | 2023-02-02 | Lemon Inc. | Neural network architecture for face tracking |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934375A (zh) * | 2017-03-15 | 2017-07-07 | 中南林业科技大学 | 基于特征点运动轨迹描述的人脸表情识别方法 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
-
2021
- 2021-04-20 CN CN202110425610.6A patent/CN113052132A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934375A (zh) * | 2017-03-15 | 2017-07-07 | 中南林业科技大学 | 基于特征点运动轨迹描述的人脸表情识别方法 |
| CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
| CN109635727A (zh) * | 2018-12-11 | 2019-04-16 | 昆山优尼电能运动科技有限公司 | 一种人脸表情识别方法及装置 |
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
Non-Patent Citations (5)
| Title |
|---|
| HEECHUL JUNG 等: "Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, 13 December 2015 (2015-12-13), pages 2983 - 2991, XP032866646, DOI: 10.1109/ICCV.2015.341 * |
| KIM DAE HA 等: "Multi-modal emotion recognition using semi-supervised learning and multiple neural networks in the wild", 《PROCEEDINGS OF THE 19TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》, 30 November 2017 (2017-11-30), pages 529 - 535 * |
| YAN JINGWEI 等: "Multi-cue fusion for emotion recognition in the wild", 《NEUROCOMPUTING》, vol. 309, 2 October 2018 (2018-10-02), pages 27 - 35, XP085405744, DOI: 10.1016/j.neucom.2018.03.068 * |
| 李珊, 邓伟洪: "深度人脸表情识别研究进展", 《中国图象图形学报》, vol. 25, no. 11, 16 November 2020 (2020-11-16), pages 2306 - 2320 * |
| 王晓红 等: "一种基于Inception思想的人脸表情分类深度学习算法研究", 《光学技术》, vol. 46, no. 3, 15 May 2020 (2020-05-15), pages 347 - 353 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023009060A1 (en) * | 2021-07-30 | 2023-02-02 | Lemon Inc. | Neural network architecture for face tracking |
| US11803996B2 (en) | 2021-07-30 | 2023-10-31 | Lemon Inc. | Neural network architecture for face tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Das et al. | Sign language recognition using deep learning on custom processed static gesture images | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| Youssif et al. | Automatic facial expression recognition system based on geometric and appearance features | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Yang et al. | Facial expression recognition based on dual-feature fusion and improved random forest classifier | |
| CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
| EP3799647A1 (en) | Fast and robust friction ridge impression minutiae extraction using feed-forward convolutional neural network | |
| CN111860046B (zh) | 一种改进MobileNet模型的人脸表情识别方法 | |
| CN107480723B (zh) | 基于局部二进制阈值学习网络的纹理识别方法 | |
| Ahmed et al. | Wild facial expression recognition based on incremental active learning | |
| CN112164002A (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
| Kishore et al. | Selfie sign language recognition with convolutional neural networks | |
| Xu et al. | Face expression recognition based on convolutional neural network | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
| Huang et al. | Human emotion recognition based on face and facial expression detection using deep belief network under complicated backgrounds | |
| CN111160327B (zh) | 一种基于轻量化卷积神经网络的表情识别方法 | |
| CN113052132A (zh) | 基于面部关键点轨迹特征图的视频情感识别方法 | |
| Sumalakshmi et al. | Fused deep learning based Facial Expression Recognition of students in online learning mode | |
| Zeng et al. | Video‐driven state‐aware facial animation | |
| Kakkar | Facial expression recognition with LDPP & LTP using deep belief network | |
| CN111242114A (zh) | 文字识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |