CN107066951A - 一种人脸自发表情的识别方法及系统 - Google Patents
一种人脸自发表情的识别方法及系统 Download PDFInfo
- Publication number
- CN107066951A CN107066951A CN201710153525.2A CN201710153525A CN107066951A CN 107066951 A CN107066951 A CN 107066951A CN 201710153525 A CN201710153525 A CN 201710153525A CN 107066951 A CN107066951 A CN 107066951A
- Authority
- CN
- China
- Prior art keywords
- expression
- mrow
- face
- depth
- spontaneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人脸自发表情的识别方法及系统，其方法包括以下步骤，S1，提取图像中人脸的显著优化深度卷积特征；S2，估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；S3，在表情先验条件概率模型确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。在本发明一种人脸自发表情的识别方法中可以解决自发表情中的自动特征提取和多噪声干扰等问题，快速精准的识别各类自发表情。
Description
技术领域
本发明涉及表情识别领域，具体的涉及一种人脸自发表情的识别方法及系统。
背景技术
人脸表情识别(Facial expression recognition)是人工智能领域近年来一个备受关注的研究方向，它是指利用计算机视觉技术对人脸表情信息进行特征提取和表情分类。在人脸表情识别的研究领域中，主要分为两个大类：“人为表情识别”和“自发表情识别”。人为表情(pose expression)指的是在搜集表情数据集时，在实验室等特定场景中要求人做出的标准的夸张的表情，而非自发的表情；自发表情(spontaneous expression)指的是自然表现的、无伪装的表情，它是人们日常生活中自然产生的、复杂多变的表情。目前，国内外对于人脸表情识别的研究大都集中于人为表情识别，并取得了较好的研究成果，而自发表情识别仍处于起步阶段。
为了克服自然环境下的自发表情识别中的多噪声干扰问题，近年来，一些研究者亦做了一些工作，利用高性能的机器学习算法，如深度学习、决策森林、SVM等，来提高自发表情的识别效果。随机森林(Random Forests)有快速高效的决策能力和数据处理能力，易于实现，且具有一定的抗噪能力，可以对全局的人脸特征进行识别，但是对悲伤和厌恶等区分度不高的表情具有一定的局限性。SVM多依赖于精确的局部特征训练，对遮挡等噪声鲁棒性不高。深度学习的准确率高，自动学习特征能力强，但是由于多层网络学习和反馈，计算时间长，多依赖于高性能计算机系统和大量的训练集。然而自然环境中，一方面多噪声使人脸的局部精确特征难以提取，另一方面现有的自发表情数据集样本数量较少，单个分类器都有各自的不足之处。
发明内容
本发明所要解决的技术问题是提供一种人脸自发表情的识别方法及系统，可以解决自发表情中的自动特征提取和多噪声干扰等问题，快速精准的识别各类自发表情。
本发明解决上述技术问题的技术方案如下：一种人脸自发表情的识别方法，包括以下步骤，
S1，提取图像中人脸的显著优化深度卷积特征；
S2，估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
S3，在表情先验条件概率模型确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
本发明的有益效果是：在本发明一种人脸自发表情的识别方法中，首先，为了消除自然环境中人脸遮挡和光照等噪声影响，提高自发表情特征的区分力，在图像人脸中提取显著优化深度特征；其次，头部姿态运动是自发表情特有的特征，为了消除头部姿态运动的影响，估计图像中的头部姿态建立与头部姿态相关的表情先验条件概率模型；最后，基于条件深度网络增强决策森林分类自发表情；本发明的方法可以解决自发表情中的自动特征提取和多噪声干扰等问题，快速精准的识别各类自发表情。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，S1具体为，
S11，从图像中获取人脸区域；
S12，在所述人脸区域中随机稠密抽取多个人脸子区域；
S13，提取每一个人脸子区域中的显著优化深度卷积特征。
采用上述进一步方案的有益效果是：本发明中显著优化深度卷积特征提取的步骤简单。
进一步，在S11采用基于Haar特征的层级式AdaBoost算法从图像中提取人脸区域。
采用上述进一步方案的有益效果是：采用基于Haar特征的层级式AdaBoost算法从图像中提取人脸区域，可以提高提取精度。
进一步，S13具体为，
S131，通过GBVS算法在每一个人脸子区域中提取视觉显著区域，并利用ReLU激活函数对视觉显著区域进行优化；
S132，通过深度卷积网络CNN模型对优化后的视觉显著区域进行显著优化深度卷积特征提取。
采用上述进一步方案的有益效果是：深度卷积网络CNN模型具体为卷积神经网络VGG-FACE的框架，VGG-FACE是基于百万张人脸图片训练的深度卷积网络CNN网络模型；通过已有的卷积神经网络VGG-FACE的框架，迁移学习鲁棒的显著优化深度特征表达，通过迁移学习模型，基于VGG-FACE已有的CNN网络参数，可以通过少量表情数据集微调网络参数提取显著优化深度特征。
进一步，在S131中，利用ReLU激活函数对视觉显著区域进行优化的模型为，
P＝ReLU(x-mean)
其中，p为优化后的视觉显著区域，x为优化前的视觉显著区域，mean为优化前的视觉显著区域的灰度均值，ReLU为激活函数，且
进一步，在S132中，显著优化深度卷积特征的表达式为，
其中，i,j定义为视觉显著区域的位置，tanh是hyperbolic tangent函数，b是视觉显著区域的矩阵的偏置，为视觉显著区域通过第l层卷积层的输出描述符，且
其中，Wi,j,k为视觉显著区域在第l层的权值，dl为第l层卷积层的卷积核长度，S定义为第l-1卷积层的特征图的数量。
进一步，S2具体为，在不同的头部姿态条件下，构造多个先验的条件深度网络增强决策森林，并将不同的头部姿态与多个先验的条件深度网络增强决策森林之间建立映射关系形成表情先验条件概率模型。
采用上述进一步方案的有益效果是：表情先验条件概率模型是将头部姿态与条件深度网络增强决策森林之间建立联系，可以校正头部姿态运动对表情分类的影响。
进一步，所述表情先验条件概率模型具体为，
p(y|F)＝∫p(y|θ)p(θ|F)dθ
其中，θ为头部姿态，y为自发表情的类别，F为显著优化深度卷积特征。
进一步，S3具体为，
S31，在表情先验条件概率模型确定的头部姿态的先验条件概率下，利用已训练的对应的条件深度网络增强决策森林对显著优化深度卷积特征进行学习条件深度特征表达，并对表达后的学习条件深度特征进行强化；
S32，通过节点学习选择强化后的学习条件深度特征，建立条件深度网络增强决策森林的分裂节点；
S33，通过条件深度网络增强决策森林的分裂节点学习和权重投票决策，确定自发表情的类型。
采用上述进一步方案的有益效果是：条件深度网络增强决策森林在有限的数据集上达到大数据集的训练效果，可以快速精确的实现自发表情识别。
基于上述一种人脸自发表情的识别方法，本发明还提供一种人脸自发表情的识别系统。
一种人脸自发表情的识别系统，包括显著优化深度卷积特征提取模块、表情先验条件概率模型生成模块和条件深度网络增强决策森林预测模块，
显著优化深度卷积特征提取模块，其用于提取图像中人脸的显著优化深度卷积特征；
表情先验条件概率模型生成模块，其用于估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
条件深度网络增强决策森林预测模块，其用于在确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
本发明的有益效果是：在本发明一种人脸自发表情的识别系统中，首先，为了消除自然环境中人脸遮挡和光照等噪声影响，提高自发表情特征的区分力，通过显著优化深度卷积特征提取模块在图像人脸中提取显著优化深度特征；其次，头部姿态运动是自发表情特有的特征，为了消除头部姿态运动的影响，通过表情先验条件概率模型生成模块估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；最后，基于条件深度网络增强决策森林训练模块分类自发表情；本发明的系统可以解决自发表情中的自动特征提取和多噪声干扰等问题，快速精准的识别各类自发表情。
附图说明
图1为本发明一种人脸自发表情的识别方法的流程图；
图2为本发明一种人脸自发表情的识别方法中深度卷积网络CNN模型；
图3为本发明一种人脸自发表情的识别方法中与头部姿态相关的表情先验条件概率模型；
图4为本发明一种人脸自发表情的识别方法中条件深度网络增强决策森林的算法结构示意图；
图5为本发明一种人脸自发表情的识别系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种人脸自发表情的识别方法，包括以下步骤，
S1，提取图像中人脸的显著优化深度卷积特征；
S2，估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
S3，在表情先验条件概率模型确定的头部姿态的先验条件下，基于条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
以下为本具体实施例中对S1、S2和S3进行进一步的解释说明：
S1具体包括S11-S13，
S11，从图像中获取人脸区域；其中采用基于Haar特征的层级式AdaBoost算法从图像中提取人脸区域。
S12，在所述人脸区域中随机稠密抽取多个人脸子区域；本具体实施例在人脸区域通过随机稠密抽取200个的人脸子区域。
S13，提取每一个人脸子区域中的显著优化深度卷积特征；
其中S13中提取每一个人脸子区域中的显著优化深度卷积特征，如图2所示，提取的原理为，通过已有的卷积神经网络VGG-FACE的框架，迁移学习鲁棒的显著优化深度特征表达。VGG-FACE是基于百万张人脸图片训练的深度卷积网络CNN模型，包含13个卷积层，5个池化层，3个全连接层，共计21层；本发明通过迁移学习模型，基于VGG-FACE已有的CNN网络参数，通过少量表情数据集微调网络参数，在第一层全连接层后提取显著优化深度特征；具体实现如下S31-S32：
S131，通过GBVS算法在每一个人脸子区域中提取视觉显著区域(视觉显著区域是指人脸子区域中具有强区分力和抗噪声能力的区域)，并利用ReLU激活函数对视觉显著区域进行优化；其中，视觉显著性区域是指人脸子区域中具有强区分力和抗噪声能力的区域。
利用ReLU激活函数对视觉显著区域进行优化的模型为，
P＝ReLU(x-mean)
其中，p为优化后的视觉显著区域，x为优化前的视觉显著区域，mean为优化前的视觉显著区域的灰度均值，ReLU为激活函数，且
S132，通过深度卷积网络CNN模型对优化后的视觉显著区域进行显著优化深度卷积特征提取；参考FACEVGG-16网络模型，包括5个卷积层和池化层，3个全连接层，一个softmax分类层，通过实验证明，本发明选择第一层全连接层(FC6)作为特征提取层，可以获得最佳的分类结果，FC6的特征维度为4096；显著优化深度卷积特征的表达式为(其具体为基于迁移性学习的显著优化深度卷积特征表达式)，
其中，i,j定义为视觉显著区域的位置，tanh是hyperbolic tangent函数(双曲正切函数)，b是视觉显著区域的矩阵的偏置，为视觉显著区域通过第l层卷积层的输出描述符，且
其中，Wi,j,k为视觉显著区域在第l层的权值，dl为第l层卷积层的卷积核长度，S定义为第l-1卷积层的特征图的数量。
S2具体为：在不同的头部姿态条件下，构造多个先验的条件深度网络增强决策森林，并将不同的头部姿态与多个先验的条件深度网络增强决策森林之间建立映射关系形成表情先验条件概率模型。
具体的如图3所示，在不同的头部姿态条件下，构造多个条件深度网络增强决策森林，当视觉显著区域块样本P＝{Fi,j}进行分类测试时(Fi，j是显著优化深度卷积特征)，根据头部姿态估计先验条件概率选择相应的条件深度网络增强决策森林识别表情。
所述表情先验条件概率模型(也可以称为基于头部姿态先验条件概率的表情分类模型)具体为，
p(y|F)＝∫p(y|θ)p(θ|F)dθ
其中，θ为头部姿态，y为自发表情的类型，F为显著优化深度卷积特征。
为了获得p(y|θ)，训练集可分为不同的子集，θ的参数空间可离散化为不相交的子集Ω，公式p(y|F)＝∫p(y|θ)p(θ|F)dθ可转化为：
p(y|F)＝∑i(p(y|Ωi)∫p(θ|F)dθ)
其中：p(θ|F)由条件深度网络增强决策森林多分类方法获得，条件概率p(y|Ωi)可通过基于不相交的子集Ωi训练获得。
S3具体为：S31，在表情先验条件概率模型确定的头部姿态的先验条件概率下，利用已训练的对应的条件深度网络增强决策森林对显著优化深度卷积特征进
学习条件深度特征表达具体为dn(Pn,y|Ωi)＝σ(fn(Pn,y|Ωi))，其中，y是自发表情类别，σ是sigmoid函数，Ωi为头部姿态先验条件概率；
条件深度网络增强决策森林的训练方法为：在CK+自发表情数据集、LFW人脸数据集和BU-3DFE多姿态自发表情数据集上进行。将三个数据集按头部姿态的水平旋转角度分为离散的7个表情训练子集，在不同的子集中基于显著优化深度卷积特征训练表情分类器，得到条件深度网络增强决策森林。在本发明中，数据集是提前分为训练集和测试集的，本发明采用8-交叉验证的方法进行测试，80％的数据用以训练，20％的数据用以测试。
S32，通过节点学习选择强化后的学习条件深度特征，建立条件深度网络增强决策森林的分裂节点；其中，节点学习具体为增强节点学习函数，分裂节点包括左子节点和右子节点；另外，当树的深度达到最大或者迭代收敛后，生成决策森林的叶子节点，反之重复执行S32直至深度达到最大或者迭代收敛。
S33，通过条件深度网络增强决策森林的分裂节点学习和权重投票决策，确定自发表情的类型；具体的为，从训练的条件深度网络增强决策森林的根节点开始学习至叶子节点，采用权重稀疏投票算法对叶子节点上有效的人脸显著子区域块的表情概率进行投票，获得表情类别的概率p(y|Ωi)。
下面分层介绍S31-S33，S3采用的主要算法结构如下图4所示：
条件CNN层：在已估计的不同头部姿态下，对显著优化深度卷积特征进行学习条件特征表达{Pn＝(Fi,j,θi),y}({Pn＝(Fi,j,θi),y}为一个特征集合)。其中Fi，j是显著优化深度卷积特征，θi为已估计的头部姿态，y是自发表情类别。
增强联合层：基于深度卷积网络CNN模型中全联接层的联接函数，提出一个联合强化函数fn，用以强化视觉显著区域的学习条件特征表达Pn，用强化后的学习特征表达作为条件深度网络增强决策森林的节点特征选择dn，
dn(Pn,y|Ωi)＝σ(fn(Pn,y|Ωi))
其中，y是自发表情类别，σ是sigmoid函数，Ωi为头部姿态条件下的表情子森林。
节点学习层：条件深度网络增强决策森林的节点数量即为增强联合层的输出数量。采用信息增益(IG)最大作为节点学习的度量函数，当IG达到最大时则学习完成，生成节点；当树的深度达到最大或者迭代收敛后，生成子节点，否则继续迭代节点学习；其中，L、R分别为节点特征分裂后的左子节点和右子节点，
决策投票层：采用权重稀疏投票算法对子节点πl上有效的人脸显著子区域块的表情概率进行投票，获得表情类别的概率p(y|Ωi)，其中at为森林Ωi中的树，Ca为树的权值，k为树的棵树。
本发明在CK+自发表情数据集、LFW人脸数据集和BU-3DFE多姿态自发表情数据集上进行了训练和预测。CK+是应用最广的人脸表情数据集，它采集了128人的6种表情序列表情，每个表情包括593张图片。为了增强数据的多样性，本发明对CK+数据集进行人为的遮挡、加高斯和椒盐噪声处理。LFW是公共的自然环境下的人脸数据集，它包括了5749人的不同表情、姿态、环境、光照等因素，为了进行训练和预测，本发明对该数据库进行6类表情的标注。BU-3DFE是一个公共的多姿态自发表情数据集，该数据集采集了100个人的不同表情和姿态的2D和3D图像，包含不同的年龄，性别等。本发明采用8-交叉验证的方法进行测试，80％的数据用以训练，20％的数据用以预测。本发明在三个数据集上的平均识别率分别为99.6％，86.8％和95.1％。可见，本发明提出的条件深度网络增强决策森林，可以在有限的数据集上，达到大数据集的训练效果，具有强的抗噪性和区分力。
基于上述一种人脸自发表情的识别方法，本发明还提供一种人脸自发表情的识别系统。
如图5所示，一种人脸自发表情的识别系统，包括显著优化深度卷积特征提取模块、表情先验条件概率模型生成模块和条件深度网络增强决策森林预测模块，
显著优化深度卷积特征提取模块，其用于提取图像中人脸的显著优化深度卷积特征；
表情先验条件概率模型生成模块，其用于估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
条件深度网络增强决策森林预测模块，其用于在表情先验条件概率模型确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
在本发明一种人脸自发表情的识别系统中，首先，为了消除自然环境中人脸遮挡和光照等噪声影响，提高自发表情特征的区分力，通过显著优化深度卷积特征提取模块在图像人脸中提取显著优化深度特征；其次，头部姿态运动是自发表情特有的特征，为了消除头部姿态运动的影响，通过表情先验条件概率模型生成模块估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；最后，基于条件深度网络增强决策森林训练模块分类自发表情；本发明的系统可以解决自发表情中的自动特征提取和多噪声干扰等问题，快速精准的识别各类自发表情。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸自发表情的识别方法，其特征在于：包括以下步骤，
S1，提取图像中人脸的显著优化深度卷积特征；
S2，估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
S3，在表情先验条件概率模型确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
2.根据权利要求1所述的一种人脸自发表情的识别方法，其特征在于：S1具体为，
S11，从图像中获取人脸区域；
S12，在所述人脸区域中随机稠密抽取多个人脸子区域；
S13，提取每一个人脸子区域中的显著优化深度卷积特征。
3.根据权利要求2所述的一种人脸自发表情的识别方法，其特征在于：在S11中采用基于Haar特征的层级式AdaBoost算法从图像中提取人脸区域。
4.根据权利要求3所述的一种人脸自发表情的识别方法，其特征在于：S13具体为，
S131，通过GBVS算法在每一个人脸子区域中提取视觉显著区域，并利用ReLU激活函数对视觉显著区域进行优化；
S132，通过深度卷积网络CNN模型对优化后的视觉显著区域进行显著优化深度卷积特征提取。
5.根据权利要求4所述的一种人脸自发表情的识别方法，其特征在于：在S131中，利用ReLU激活函数对视觉显著区域进行优化的模型为，
P＝ReLU(x-mean)
其中，p为优化后的视觉显著区域，x为优化前的视觉显著区域，mean为优化前的视觉显著区域的灰度均值，ReLU为激活函数，且
<mrow>
<mi>Re</mi>
<mi>L</mi>
<mi>U</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>t</mi>
</mtd>
<mtd>
<mrow>
<mi>t</mi>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>t</mi>
<mo>&le;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
6.根据权利要求5所述的一种人脸自发表情的识别方法，其特征在于：在S132中，显著优化深度卷积特征的表达式为，
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>tanh</mi>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>+</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，i,j定义为视觉显著区域的位置，tanh是hyperbolic tangent函数，b是视觉显著区域的矩阵的偏置，为视觉显著区域通过第l层卷积层的输出描述符，且
<mrow>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>&Element;</mo>
<mi>S</mi>
</mrow>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mi>l</mi>
</msub>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>W</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mrow>
<mi>l</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
其中，Wi,j,k为视觉显著区域在第l层的权值，dl为第l层卷积层的卷积核长度，S定义为第l-1卷积层的特征图的数量。
7.根据权利要求1至6任一项所述的一种人脸自发表情的识别方法，其特征在于：S2具体为，在不同的头部姿态条件下，构造多个先验的条件深度网络增强决策森林，并将不同的头部姿态与多个先验的条件深度网络增强决策森林之间建立映射关系形成表情先验条件概率模型。
8.根据权利要求7所述的一种人脸自发表情的识别方法，其特征在于：所述表情先验条件概率模型具体为，
p(y|F)＝∫p(y|θ)p(θ|F)dθ
其中，θ为头部姿态，y为自发表情的类型，F为显著优化深度卷积特征。
9.根据权利要求8所述的一种人脸自发表情的识别方法，其特征在于：S3具体为，
S31，在表情先验条件概率模型确定的头部姿态的先验条件概率下，利用已训练的对应的条件深度网络增强决策森林对显著优化深度卷积特征进行学习条件深度特征表达，并对表达后的学习条件深度特征进行强化；
S32，通过节点学习选择强化后的学习条件深度特征，建立条件深度网络增强决策森林的分裂节点；
S33，通过条件深度网络增强决策森林的分裂节点学习和权重投票决策，确定自发表情的类型。
10.一种人脸自发表情的识别系统，其特征在于：包括显著优化深度卷积特征提取模块、表情先验条件概率模型生成模块和条件深度网络增强决策森林预测模块，
显著优化深度卷积特征提取模块，其用于提取图像中人脸的显著优化深度卷积特征；
表情先验条件概率模型生成模块，其用于估计图像中的头部姿态，建立与头部姿态相关的表情先验条件概率模型；
条件深度网络增强决策森林预测模块，其用于在表情先验条件概率模型确定的头部姿态的先验条件下，基于已训练的条件深度网络增强决策森林对显著优化深度卷积特征进行学习和分类，预测图像中人脸的自发表情的类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153525.2A CN107066951B (zh) | 2017-03-15 | 2017-03-15 | 一种人脸自发表情的识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710153525.2A CN107066951B (zh) | 2017-03-15 | 2017-03-15 | 一种人脸自发表情的识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107066951A true CN107066951A (zh) | 2017-08-18 |
| CN107066951B CN107066951B (zh) | 2020-01-14 |
Family
ID=59620592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710153525.2A Expired - Fee Related CN107066951B (zh) | 2017-03-15 | 2017-03-15 | 一种人脸自发表情的识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107066951B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| CN109117731A (zh) * | 2018-07-13 | 2019-01-01 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| CN110119702A (zh) * | 2019-04-30 | 2019-08-13 | 西安理工大学 | 基于深度学习先验的人脸表情识别方法 |
| CN110598648A (zh) * | 2019-09-17 | 2019-12-20 | 江苏慧眼数据科技股份有限公司 | 视频人脸检测的方法、视频人脸检测单元和系统 |
| CN111401175A (zh) * | 2020-03-09 | 2020-07-10 | 北京航空航天大学 | 一种同时识别面部多种属性特征的方法 |
| CN111444787A (zh) * | 2020-03-12 | 2020-07-24 | 江西赣鄱云新型智慧城市技术研究有限公司 | 一种性别约束的全智能化人脸表情识别方法及系统 |
| CN112151040A (zh) * | 2020-09-27 | 2020-12-29 | 湖北工业大学 | 一种基于端到端联合优化及决策的鲁棒性说话人识别方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233197A1 (en) * | 2002-03-19 | 2003-12-18 | Padilla Carlos E. | Discrete bayesian analysis of data |
| CN101079103A (zh) * | 2007-06-14 | 2007-11-28 | 上海交通大学 | 基于稀疏贝叶斯回归的人脸姿势识别方法 |
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| CN101561874A (zh) * | 2008-07-17 | 2009-10-21 | 清华大学 | 一种人脸图像识别的方法 |
| CN103793718A (zh) * | 2013-12-11 | 2014-05-14 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| CN104036255A (zh) * | 2014-06-21 | 2014-09-10 | 电子科技大学 | 一种人脸表情识别方法 |
| CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
| CN105469080A (zh) * | 2016-01-07 | 2016-04-06 | 东华大学 | 一种人脸表情识别方法 |
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
-
2017
- 2017-03-15 CN CN201710153525.2A patent/CN107066951B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030233197A1 (en) * | 2002-03-19 | 2003-12-18 | Padilla Carlos E. | Discrete bayesian analysis of data |
| CN101079103A (zh) * | 2007-06-14 | 2007-11-28 | 上海交通大学 | 基于稀疏贝叶斯回归的人脸姿势识别方法 |
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| CN101561874A (zh) * | 2008-07-17 | 2009-10-21 | 清华大学 | 一种人脸图像识别的方法 |
| CN103793718A (zh) * | 2013-12-11 | 2014-05-14 | 台州学院 | 一种基于深度学习的人脸表情识别方法 |
| CN104036255A (zh) * | 2014-06-21 | 2014-09-10 | 电子科技大学 | 一种人脸表情识别方法 |
| CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
| CN104376333A (zh) * | 2014-09-25 | 2015-02-25 | 电子科技大学 | 基于随机森林的人脸表情识别方法 |
| CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
| CN105469080A (zh) * | 2016-01-07 | 2016-04-06 | 东华大学 | 一种人脸表情识别方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| CN109117731B (zh) * | 2018-07-13 | 2022-02-18 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
| CN109117731A (zh) * | 2018-07-13 | 2019-01-01 | 华中师范大学 | 一种课堂教学认知负荷测量系统 |
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| CN110119702B (zh) * | 2019-04-30 | 2022-12-06 | 西安理工大学 | 基于深度学习先验的人脸表情识别方法 |
| CN110119702A (zh) * | 2019-04-30 | 2019-08-13 | 西安理工大学 | 基于深度学习先验的人脸表情识别方法 |
| CN110598648A (zh) * | 2019-09-17 | 2019-12-20 | 江苏慧眼数据科技股份有限公司 | 视频人脸检测的方法、视频人脸检测单元和系统 |
| CN110598648B (zh) * | 2019-09-17 | 2023-05-09 | 无锡慧眼人工智能科技有限公司 | 视频人脸检测的方法、视频人脸检测单元和系统 |
| CN111401175A (zh) * | 2020-03-09 | 2020-07-10 | 北京航空航天大学 | 一种同时识别面部多种属性特征的方法 |
| CN111444787A (zh) * | 2020-03-12 | 2020-07-24 | 江西赣鄱云新型智慧城市技术研究有限公司 | 一种性别约束的全智能化人脸表情识别方法及系统 |
| CN111444787B (zh) * | 2020-03-12 | 2023-04-07 | 江西赣鄱云新型智慧城市技术研究有限公司 | 一种性别约束的全智能化人脸表情识别方法及系统 |
| CN112151040A (zh) * | 2020-09-27 | 2020-12-29 | 湖北工业大学 | 一种基于端到端联合优化及决策的鲁棒性说话人识别方法 |
| CN112151040B (zh) * | 2020-09-27 | 2023-04-28 | 湖北工业大学 | 一种基于端到端联合优化及决策的鲁棒性说话人识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107066951B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066951A (zh) | 一种人脸自发表情的识别方法及系统 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN106372581B (zh) | 构建及训练人脸识别特征提取网络的方法 | |
| CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
| CN104036255B (zh) | 一种人脸表情识别方法 | |
| CN108647583B (zh) | 一种基于多目标学习的人脸识别算法训练方法 | |
| CN103514443B (zh) | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 | |
| CN107085704A (zh) | 基于elm自编码算法的快速人脸表情识别方法 | |
| CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
| CN106485214A (zh) | 一种基于卷积神经网络的眼睛和嘴部状态识别方法 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN112949647B (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN106778810A (zh) | 基于rgb特征与深度特征的原始图像层融合方法及系统 | |
| CN104992142A (zh) | 一种基于深度学习和属性学习相结合的行人识别方法 | |
| CN112069397A (zh) | 自注意力机制与生成对抗网络相结合的谣言检测方法 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN112215280A (zh) | 一种基于元骨干网络的小样本图像分类方法 | |
| CN106897669A (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
| CN109344856B (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
| Chen et al. | Human-like sketch object recognition via analogical learning | |
| CN103065158A (zh) | 基于相对梯度的isa模型的行为识别方法 | |
| CN113239884A (zh) | 电梯轿厢内人体行为识别方法 | |
| CN109271546A (zh) | 图像检索特征提取模型建立、数据库建立及检索方法 | |
| CN107563319A (zh) | 一种基于图像的亲子间人脸相似性度量计算方法 | |
| CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200114 |