CN108764207A - 一种基于多任务卷积神经网络的人脸表情识别方法 - Google Patents
一种基于多任务卷积神经网络的人脸表情识别方法 Download PDFInfo
- Publication number
- CN108764207A CN108764207A CN201810582457.6A CN201810582457A CN108764207A CN 108764207 A CN108764207 A CN 108764207A CN 201810582457 A CN201810582457 A CN 201810582457A CN 108764207 A CN108764207 A CN 108764207A
- Authority
- CN
- China
- Prior art keywords
- expression
- class
- loss
- sample
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于多任务卷积神经网络的人脸表情识别方法,首先设计多任务卷积神经网络结构,在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征;然后采用多任务学习,同时学习多个单表情判别性特征学习任务以及多表情识别任务,使用一种联合损失来监督网络的所有任务,并且使用两种损失权重来平衡网络的损失;最后根据训练好的网络模型,从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习,从输入图片中提取出判别性特征,对输入图片做出可靠地表情识别。通过实验分析可知,本算法性能卓越,可有效地区分复杂的人脸表情,在多个公开的数据集上都取得了良好的识别性能。
Description
技术领域
本发明涉及计算机视觉技术,尤其是涉及一种基于多任务卷积神经网络的人脸表情识别方法。
背景技术
在过去的几十年时间里,人脸表情自动识别已经吸引了越来越多计算机视觉的专家和学者广泛的关注。人脸表情识别的目标是,对给定的人脸表情图片,设计一种系统,能够自动预测其所属的人脸表情类别。人脸表情自动识别技术有着广泛的应用场景,如人机交互,安全驾驶和医疗保健等。尽管这些年来这项技术已经取得了不小的成功,但是在不可控的环境条件下进行可靠的人脸表情自动识别仍然是一个巨大的挑战。
一个人脸表情识别系统包括三个模块:人脸检测、特征提取和人脸表情分类。其中,人脸检测技术已经发展得相当成熟,目前的人脸表情识别方法主要集中解决特征提取和人脸表情分类这两个模块。通常来说,这些技术可大致分为两类:基于手工设计特征的方法和基于卷积神经网络特征的方法。Zhong等人(L.Zhong,Q.Liu,P.Yang,J.Huang,D.N.Metaxas,“Learning active facial patches for expression analysis”,in IEEEConference on Computer Vision and Pattern Recognition(CVPR),2012,pp.2562–2569.)提出了一种多任务稀疏学习方法,该方法使用多任务学习从人脸表情图片中提取通用人脸区域和特定人脸区域,其中,通用人脸区域对所有表情的识别都有作用,特定人脸区域只对特定一种表情的识别有作用。然而,这种方法所提取出的通用人脸区域和特定人脸区域可能会有重合,为了解决这个问题,Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of featureselection and disentangling in facial expression analysis”,in EuropeanConference on Computer Vision(ECCV),2014,pp.151–166.)提出了一种人脸表情特征分解的方法,该方法将稀疏SVM和多任务学习结合到一个框架中,从人脸表情图片中直接提取两种没有重合的特征:通用特征和特定特征,通用特征被所有表情所共享,而特定特征用于识别特定的一种表情。然而,这些基于手工设计特征的方法将特征学习和分类器训练分开进行,可能会导致比较差的泛化性能。最近,卷积神经网络在计算机视觉领域取得了重大的突破。借助卷积神经网络,许多计算视觉领域的工作取得了非常不错的结果。多数的卷积神经网络模型是通过在交叉熵损失监督下训练得到的。虽然利用交叉熵损失学习到的特征是可分的,但是只用交叉熵损失来训练网络可能无法得到令人满意的判别性的特征分布。最近Wen等人(Y.Wen,K.Zhang,Z.Li,Y.Qiao,“A discriminative feature learning ap-620proach for deep face recognition”,in European Conference on ComputerVision(ECCV),2016,pp.499–515.)提出一种类内损失作为卷积神经网络的辅助监督信号。类内损失可以有效地减小特征的类内差异性,然而,类内损失并没有显式地扩大特征的类间差异性。
发明内容
本发明的目的在于提供一种基于多任务卷积神经网络的人脸表情识别方法。
本发明包括以下步骤:
1)准备训练样本集i=1,...,N,j=1,...c,其中,N为样本的数目,c表示训练样本集包含的类别数,N和c为自然数;Pi表示第i个训练样本对应的固定大小的图像;表示第i个训练样本对于第j类表情的类别标签:
2)设计多任务卷积神经网络结构,网络由两部分组成,第一部分用于提取图片的低层语义特征,第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别;
3)在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征;
4)使用大的人脸识别数据集,利用反向传播算法进行预训练;
5)使用给定的人脸表情训练样本集进行微调,得到训练好的模型;
6)利用训练好的模型进行人脸表情识别。
在步骤2)中,所述设计多任务卷积神经网络结构的具体方法可为:
(1)网络的第一部分为全卷积网络,用于提取输入图像的中被所有表情所共享的低层语义特征,对于网络的第一部分,采用预激活残差单元结构(K.He,X.Zhang,S.Ren,J.Sun,“Identity Mappings in Deep Residual Networks”,arXiv:1603.05027,2016.)堆叠多个卷积层;
(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大(softmax)分类层组成,多个并行的全连接层的个数与训练样本集包含的类别数一致,每个并行的全连接层接收网络的第一部分所输出的特征作为输入,获得所有并行的全连接层的输出之后,将这些输出串联起来,作为柔性最大分类层的输入。
在步骤3)中,所述在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法可为:
(1)每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征,第j个任务对应所有并行的全连接层中的第j个全连接层,每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心,表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心,计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征。为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方;
(2)在和的基础上,对每个输入样本,计算如下两种损失:
其中是在单个样本上的类内损失,是在单个样本上的类间损失,α是边界阈值,用于控制和的相对间隔;
(3)在每个样本上,使用样本敏感损失权重对两种损失和进行加权:
其中,和分别是样本的类内损失和类间损失的损失敏感权重,通过一种调制函数得来,调制函数公式如下:
调制函数δ(x)将输入的样本损失归一化到区间[0,1),作为样本的损失敏感权重,和分别对应第j个表情的类内损失和类间损失,m为第j个任务训练时的样本数量;
(4)对每个表情,使用动态表情权重对两种损失和进行加权,所有单表情判别性特征学习任务的联合损失为:
其中,和分别是第j个任务的类内损失和类间损失的动态表情权重,由柔性最大函数计算得来,计算公式如下:
经过柔性最大函数计算得到的权重之和为1.0,即
(5)将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类,对柔性最大分类层计算交叉熵损失:
其中,网络计算得到的表明训练样本Pi属于第j类表情的概率;
(6)联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls。 (12)
整个网络通过反向传播算法进行优化。
本发明首先设计多任务卷积神经网络结构,在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征;然后采用多任务学习,同时学习多个单表情判别性特征学习任务以及多表情识别任务,使用一种联合损失来监督网络的所有任务,并且使用两种损失权重来平衡网络的损失;最后根据训练好的网络模型,从模型最后的柔性最大分类层得到最终的人脸表情识别结果。
本发明使用多任务学习来同时训练多个单表情判别性特征学习任务,尽可能地利用不同表情之间的内在依赖,来提升所学习特征的判别力。本发明使用一种联合损失来监督每个任务,联合损失可以有效地减少特征的类内差异性同时提高特征的类间差异性,使得每个任务所学习到的特征可以对某种特定表情具有极高的判别力。本发明考虑到不同样本与不同表情的分类难度,提出了两种损失权重来平衡网络的损失,使得网络在训练过程中可以很好地聚焦到难以分类的样本与难以分类的表情。本发明将特征学习与表情分类放在一个网络中执行,优化了人脸表情识别的结果,达到了端到端的训练。
附图说明
图1为本发明实施例的框架图。
图2为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失可视化图。
图3为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失和类内损失可视化图。
图4为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失、类内损失和类间损失可视化图。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明。
参见图1,本发明实施例的实施方式包括以下步骤:
1.设计多任务卷积神经网络。对输入的图像,使用网络的第一部分提取图像的低层语义特征,在所提取的低层语义特征基础上,使用多个并行的全连接层进一步提取网络的高层语义特征。
2.在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征。
B1.每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征。第j个任务对应所有并行的全连接层中的第j个全连接层。每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心。表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心。计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征。为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方。
B2.在和的基础上,对每个输入样本,计算如下两种损失:
其中,是在单个样本上的类内损失,是在单个样本上的类间损失。α是边界阈值,用于控制和的相对间隔。
B3.在每个样本上,使用样本敏感损失权重对两种损失和进行加权:
其中,和分别是样本的类内损失和类间损失的损失敏感权重,通过一种调制函数得来,调制函数公式如下:
调制函数δ(x)将输入的样本损失归一化到区间[0,1),作为样本的损失敏感权重。和分别对应第j个表情的类内损失和类间损失。m为第j个任务训练时的样本数量。
B4.对每个表情,使用动态表情权重对两种损失和进行加权,所有单表情判别性特征学习任务的联合损失为:
其中,和分别是第j个任务的类内损失和类间损失的动态表情权重,由柔性最大函数计算得来,计算公式如下:
经过柔性最大函数计算得到的权重之和为1.0,即
B5.将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类。对柔性最大分类层计算交叉熵损失:
其中,网络计算得到的表明训练样本Pi属于第j类表情的概率,
B6.联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls。 (12)
整个网络通过反向传播算法进行优化。
3.使用大的人脸识别数据集,利用反向传播算法进行预训练。
4.使用给定的人脸表情训练样本集进行微调,得到训练好的模型。
5.利用训练好的模型而已进行人脸表情识别。
图2~4为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征可视化图。
表1
表1为在CK+,Oulu-CASIA和MMI数据集上,本发明提出的方法与其他方法的人脸表情结果对比。其中
LBP-TOP对应G.Zhao等人提出的方法(G.Zhao,M.Pietikainen,“Dynamic texturerecognition using local binary patterns with an application to facialexpressions”,in IEEE Transactions on Pattern Analysis and MachineIntelligence 29(6)(2007)915–928.);
STM-ExpLet对应M.Liu等人提出的方法(M.Liu,S.Shan,R.Wang,X.Chen,“Learning expressionlets on spatiotemporal manifold for dynamic facialexpression recognition”,in IEEE Conference on Computer Vision andPatternRecognition(CVPR),2014,pp.1749–1756);
DTAGN对应H.Jung等人提出的方法(H.Jung,S.Lee,J.Yim,S.Park,“Joint fine-tuning in deep neural networks for facial expression recognition”,in IEEEInternational Conference on ComputerVision(ICCV),2015,pp.2983–2991);
PHRNN-MSCNN对应K.Zhang等人提出的方法(K.Zhang,Y.Huang,Y.Du,L.Wang,“Facial expression recognitionbased on deep evolutional spatial-temporalnetworks”,in IEEE Transactions on Image Processing 26(9)(2017)4193–4203)。
本发明将特征提取与表情分类放在一个端到端的框架中进行学习,可以有效地从输入图片中提取出判别性特征,并且对输入图片做出可靠地表情识别。通过实验分析可知,本算法性能卓越,可以有效地区分复杂的人脸表情,在多个公开的数据集上都取得了良好的识别性能。
Claims (3)
1.一种基于多任务卷积神经网络的人脸表情识别方法,其特征在于包括以下步骤:
1)准备训练样本集i=1,...,N,j=1,...c,其中,N为样本的数目,c表示训练样本集包含的类别数,N和c为自然数;Pi表示第i个训练样本对应的固定大小的图像;表示第i个训练样本对于第j类表情的类别标签:
2)设计多任务卷积神经网络结构,网络由两部分组成,第一部分用于提取图片的低层语义特征,第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别;
3)在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征;
4)使用大的人脸识别数据集,利用反向传播算法进行预训练;
5)使用给定的人脸表情训练样本集进行微调,得到训练好的模型;
6)利用训练好的模型进行人脸表情识别。
2.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法,其特征在于在步骤2)中,所述设计多任务卷积神经网络结构的具体方法为:
(1)网络的第一部分为全卷积网络,用于提取输入图像的中被所有表情所共享的低层语义特征,对于网络的第一部分,采用预激活残差单元结构堆叠多个卷积层;
(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大分类层组成,多个并行的全连接层的个数与训练样本集包含的类别数一致,每个并行的全连接层接收网络的第一部分所输出的特征作为输入,获得所有并行的全连接层的输出之后,将这些输出串联起来,作为柔性最大分类层的输入。
3.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法,其特征在于在步骤3)中,所述在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法为:
(1)每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征,第j个任务对应所有并行的全连接层中的第j个全连接层,每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心,表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心,计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征,为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方;
(2)在和的基础上,对每个输入样本,计算如下两种损失:
其中是在单个样本上的类内损失,是在单个样本上的类间损失,α是边界阈值,用于控制和的相对间隔;
(3)在每个样本上,使用样本敏感损失权重对两种损失和进行加权:
其中,和分别是样本的类内损失和类间损失的损失敏感权重,通过一种调制函数得来,调制函数公式如下:
调制函数δ(x)将输入的样本损失归一化到区间[0,1),作为样本的损失敏感权重,和分别对应第j个表情的类内损失和类间损失,m为第j个任务训练时的样本数量;
(4)对每个表情,使用动态表情权重对两种损失和进行加权,所有单表情判别性特征学习任务的联合损失为:
其中,和分别是第j个任务的类内损失和类间损失的动态表情权重,由柔性最大函数计算得来,计算公式如下:
经过柔性最大函数计算得到的权重之和为1.0,即
(5)将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类,对柔性最大分类层计算交叉熵损失:
其中,网络计算得到的表明训练样本Pi属于第j类表情的概率;
(6)联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls
整个网络通过反向传播算法进行优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810582457.6A CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810582457.6A CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108764207A true CN108764207A (zh) | 2018-11-06 |
CN108764207B CN108764207B (zh) | 2021-10-19 |
Family
ID=64000526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810582457.6A Active CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764207B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508669A (zh) * | 2018-11-09 | 2019-03-22 | 厦门大学 | 一种基于生成式对抗网络的人脸表情识别方法 |
CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
CN109993100A (zh) * | 2019-03-27 | 2019-07-09 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
CN110188615A (zh) * | 2019-04-30 | 2019-08-30 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110309854A (zh) * | 2019-05-21 | 2019-10-08 | 北京邮电大学 | 一种信号调制方式识别方法及装置 |
CN110348416A (zh) * | 2019-07-17 | 2019-10-18 | 北方工业大学 | 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法 |
CN110363204A (zh) * | 2019-06-24 | 2019-10-22 | 杭州电子科技大学 | 一种基于多任务特征学习的对象表示方法 |
CN110414611A (zh) * | 2019-07-31 | 2019-11-05 | 北京市商汤科技开发有限公司 | 图像分类方法及装置、特征提取网络训练方法及装置 |
CN110490057A (zh) * | 2019-07-08 | 2019-11-22 | 特斯联(北京)科技有限公司 | 一种基于人脸大数据人工智能聚类的自适应识别方法与系统 |
CN110532900A (zh) * | 2019-08-09 | 2019-12-03 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
CN110598587A (zh) * | 2019-08-27 | 2019-12-20 | 汇纳科技股份有限公司 | 结合弱监督的表情识别网络训练方法、系统、介质及终端 |
CN110929099A (zh) * | 2019-11-28 | 2020-03-27 | 杭州趣维科技有限公司 | 一种基于多任务学习的短视频帧语义提取方法及系统 |
CN111160189A (zh) * | 2019-12-21 | 2020-05-15 | 华南理工大学 | 一种基于动态目标训练的深度神经网络人脸表情识别方法 |
CN111325256A (zh) * | 2020-02-13 | 2020-06-23 | 上海眼控科技股份有限公司 | 车辆外观检测方法、装置、计算机设备和存储介质 |
CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111626115A (zh) * | 2020-04-20 | 2020-09-04 | 北京市西城区培智中心学校 | 一种人脸属性识别方法和装置 |
CN111652293A (zh) * | 2020-05-20 | 2020-09-11 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
CN111767842A (zh) * | 2020-06-29 | 2020-10-13 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
CN112766134A (zh) * | 2021-01-14 | 2021-05-07 | 江南大学 | 一种强化类间区分的表情识别方法 |
CN112766145A (zh) * | 2021-01-15 | 2021-05-07 | 深圳信息职业技术学院 | 人工神经网络的人脸动态表情识别方法及装置 |
CN112825119A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 人脸属性判断方法、装置、计算机可读存储介质及设备 |
CN113159066A (zh) * | 2021-04-12 | 2021-07-23 | 南京理工大学 | 基于类间相似度的分布式标签的细粒度图像识别算法 |
CN113936317A (zh) * | 2021-10-15 | 2022-01-14 | 南京大学 | 一种基于先验知识的人脸表情识别方法 |
CN114333027A (zh) * | 2021-12-31 | 2022-04-12 | 之江实验室 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
CN115410265A (zh) * | 2022-11-01 | 2022-11-29 | 合肥的卢深视科技有限公司 | 模型训练方法、人脸识别方法、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042992A1 (ko) * | 2011-09-23 | 2013-03-28 | (주)어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
CN104408440A (zh) * | 2014-12-10 | 2015-03-11 | 重庆邮电大学 | 一种基于两步降维和并行特征融合的人脸表情识别方法 |
CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
US20170236057A1 (en) * | 2016-02-16 | 2017-08-17 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | System and Method for Face Detection and Landmark Localization |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
CN107657204A (zh) * | 2016-07-25 | 2018-02-02 | 中国科学院声学研究所 | 深层网络模型的构建方法及人脸表情识别方法和系统 |
-
2018
- 2018-06-07 CN CN201810582457.6A patent/CN108764207B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042992A1 (ko) * | 2011-09-23 | 2013-03-28 | (주)어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
CN104408440A (zh) * | 2014-12-10 | 2015-03-11 | 重庆邮电大学 | 一种基于两步降维和并行特征融合的人脸表情识别方法 |
US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
US20170236057A1 (en) * | 2016-02-16 | 2017-08-17 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | System and Method for Face Detection and Landmark Localization |
CN107657204A (zh) * | 2016-07-25 | 2018-02-02 | 中国科学院声学研究所 | 深层网络模型的构建方法及人脸表情识别方法和系统 |
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
Non-Patent Citations (3)
Title |
---|
NI ZHANG,ETC.: "Multi-task Learning of Cascaded CNN for Facial Attribute Classification", 《ARXIV》 * |
XI YIN ETC: "Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition", 《IEEE》 * |
董德轩: "基于深度学习的人脸检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508669B (zh) * | 2018-11-09 | 2021-07-23 | 厦门大学 | 一种基于生成式对抗网络的人脸表情识别方法 |
CN109508669A (zh) * | 2018-11-09 | 2019-03-22 | 厦门大学 | 一种基于生成式对抗网络的人脸表情识别方法 |
CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
CN109993100B (zh) * | 2019-03-27 | 2022-09-20 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
CN109993100A (zh) * | 2019-03-27 | 2019-07-09 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
CN110188615A (zh) * | 2019-04-30 | 2019-08-30 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110188615B (zh) * | 2019-04-30 | 2021-08-06 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及系统 |
CN110309854A (zh) * | 2019-05-21 | 2019-10-08 | 北京邮电大学 | 一种信号调制方式识别方法及装置 |
CN110363204A (zh) * | 2019-06-24 | 2019-10-22 | 杭州电子科技大学 | 一种基于多任务特征学习的对象表示方法 |
CN110490057A (zh) * | 2019-07-08 | 2019-11-22 | 特斯联(北京)科技有限公司 | 一种基于人脸大数据人工智能聚类的自适应识别方法与系统 |
CN110348416A (zh) * | 2019-07-17 | 2019-10-18 | 北方工业大学 | 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法 |
CN110414611A (zh) * | 2019-07-31 | 2019-11-05 | 北京市商汤科技开发有限公司 | 图像分类方法及装置、特征提取网络训练方法及装置 |
CN110532900A (zh) * | 2019-08-09 | 2019-12-03 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
CN110532900B (zh) * | 2019-08-09 | 2021-07-27 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
CN110598587B (zh) * | 2019-08-27 | 2022-05-13 | 汇纳科技股份有限公司 | 结合弱监督的表情识别网络训练方法、系统、介质及终端 |
CN110598587A (zh) * | 2019-08-27 | 2019-12-20 | 汇纳科技股份有限公司 | 结合弱监督的表情识别网络训练方法、系统、介质及终端 |
CN112825119A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 人脸属性判断方法、装置、计算机可读存储介质及设备 |
CN110929099A (zh) * | 2019-11-28 | 2020-03-27 | 杭州趣维科技有限公司 | 一种基于多任务学习的短视频帧语义提取方法及系统 |
CN110929099B (zh) * | 2019-11-28 | 2023-07-21 | 杭州小影创新科技股份有限公司 | 一种基于多任务学习的短视频帧语义提取方法及系统 |
CN111160189B (zh) * | 2019-12-21 | 2023-05-26 | 华南理工大学 | 一种基于动态目标训练的深度神经网络人脸表情识别方法 |
CN111160189A (zh) * | 2019-12-21 | 2020-05-15 | 华南理工大学 | 一种基于动态目标训练的深度神经网络人脸表情识别方法 |
CN111325256A (zh) * | 2020-02-13 | 2020-06-23 | 上海眼控科技股份有限公司 | 车辆外观检测方法、装置、计算机设备和存储介质 |
CN111626115A (zh) * | 2020-04-20 | 2020-09-04 | 北京市西城区培智中心学校 | 一种人脸属性识别方法和装置 |
CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111652293B (zh) * | 2020-05-20 | 2022-04-26 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
CN111652293A (zh) * | 2020-05-20 | 2020-09-11 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
CN111767842A (zh) * | 2020-06-29 | 2020-10-13 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
CN111767842B (zh) * | 2020-06-29 | 2024-02-06 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
CN112766134A (zh) * | 2021-01-14 | 2021-05-07 | 江南大学 | 一种强化类间区分的表情识别方法 |
CN112766134B (zh) * | 2021-01-14 | 2024-05-31 | 江南大学 | 一种强化类间区分的表情识别方法 |
CN112766145B (zh) * | 2021-01-15 | 2021-11-26 | 深圳信息职业技术学院 | 人工神经网络的人脸动态表情识别方法及装置 |
CN112766145A (zh) * | 2021-01-15 | 2021-05-07 | 深圳信息职业技术学院 | 人工神经网络的人脸动态表情识别方法及装置 |
CN113159066A (zh) * | 2021-04-12 | 2021-07-23 | 南京理工大学 | 基于类间相似度的分布式标签的细粒度图像识别算法 |
CN113159066B (zh) * | 2021-04-12 | 2022-08-30 | 南京理工大学 | 基于类间相似度的分布式标签的细粒度图像识别算法 |
CN113936317A (zh) * | 2021-10-15 | 2022-01-14 | 南京大学 | 一种基于先验知识的人脸表情识别方法 |
CN114333027A (zh) * | 2021-12-31 | 2022-04-12 | 之江实验室 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
CN114333027B (zh) * | 2021-12-31 | 2024-05-14 | 之江实验室 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
CN115410265B (zh) * | 2022-11-01 | 2023-01-31 | 合肥的卢深视科技有限公司 | 模型训练方法、人脸识别方法、电子设备及存储介质 |
CN115410265A (zh) * | 2022-11-01 | 2022-11-29 | 合肥的卢深视科技有限公司 | 模型训练方法、人脸识别方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108764207B (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764207A (zh) | 一种基于多任务卷积神经网络的人脸表情识别方法 | |
Li et al. | Attention mechanism-based CNN for facial expression recognition | |
Ge et al. | Facial expression recognition based on deep learning | |
Chai et al. | Two streams recurrent neural networks for large-scale continuous gesture recognition | |
Ranganathan et al. | Deep active learning for image classification | |
An et al. | Facial expression recognition algorithm based on parameter adaptive initialization of CNN and LSTM | |
Wang et al. | Large-scale isolated gesture recognition using convolutional neural networks | |
CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
Al-Jarrah et al. | Recognition of gestures in Arabic sign language using neuro-fuzzy systems | |
CN111639544A (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
CN107092894A (zh) | 一种基于lstm模型的运动行为识别方法 | |
Wang et al. | Facial expression recognition using iterative fusion of MO-HOG and deep features | |
CN111414862A (zh) | 基于神经网络融合关键点角度变化的表情识别方法 | |
CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
Hasanuzzaman et al. | Adaptive visual gesture recognition for human–robot interaction using a knowledge-based software platform | |
CN111339847A (zh) | 一种基于图卷积神经网络的人脸情绪识别方法 | |
Yamashita et al. | Hand posture recognition based on bottom-up structured deep convolutional neural network with curriculum learning | |
Yewale et al. | Hand gesture recognition using different algorithms based on artificial neural network | |
CN110135251B (zh) | 一种基于注意力机制和混合网络的群体图像情绪识别方法 | |
CN111709266A (zh) | 基于时空融合网络的面部表情识别方法 | |
Xu et al. | Face expression recognition based on convolutional neural network | |
He et al. | Global and local fusion ensemble network for facial expression recognition | |
Wei et al. | A survey of facial expression recognition based on deep learning | |
CN117636436A (zh) | 基于注意力机制的多人实时面部表情识别方法和系统 | |
Jiang | Face gender classification based on convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |