CN111523367B - 基于人脸属性分析的智能化人脸表情识别方法与系统 - Google Patents

基于人脸属性分析的智能化人脸表情识别方法与系统 Download PDF

Info

Publication number
CN111523367B
CN111523367B CN202010074445.XA CN202010074445A CN111523367B CN 111523367 B CN111523367 B CN 111523367B CN 202010074445 A CN202010074445 A CN 202010074445A CN 111523367 B CN111523367 B CN 111523367B
Authority
CN
China
Prior art keywords
face
attribute
facial
random forest
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010074445.XA
Other languages
English (en)
Other versions
CN111523367A (zh
Inventor
廖海斌
徐斌
丁玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Jinwei Intelligent Technology Co ltd
Original Assignee
Hubei University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Science and Technology filed Critical Hubei University of Science and Technology
Priority to CN202010074445.XA priority Critical patent/CN111523367B/zh
Publication of CN111523367A publication Critical patent/CN111523367A/zh
Application granted granted Critical
Publication of CN111523367B publication Critical patent/CN111523367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种人脸属性约束下的人脸表情识别方法和系统，包括（1）人脸表情识别模型训练。训练集根据人脸属性类别被分成
Figure 565716DEST_PATH_IMAGE002
个子集，每一个子集被用于训练生成一组条件随机森林
Figure DEST_PATH_IMAGE003
，用于人脸表情分类。（2）人脸表情识别。首先，利用人脸属性随机森林对测试人脸图像进行属性估计。然后，根据属性估计结果，随机的从条件随机森林
Figure 545173DEST_PATH_IMAGE004
中选择相应数量的决策树动态构建人脸表情识别随机森林
Figure DEST_PATH_IMAGE005
。最后，根据构建的人脸表情识别随机森林
Figure 387227DEST_PATH_IMAGE006
进行人脸表情分类识别。本发明解决了人脸性别和年龄等属性变化因素对人脸表情识别的影响，本发明提出属性约束随机森林人脸表情识别方法解决了人脸表情识别中不同性别和年龄等因素干扰问题。

Description

基于人脸属性分析的智能化人脸表情识别方法与系统
技术领域
本发明属于图像处理与模式识别领域，具体涉及人脸表情识别技术方法及系统。
背景技术
人脸表情识别与人脸身份识别一样，是一个热门的研究领域，具有广泛应用场景。如可 应用于安全驾驶、卫生保健、视频会议、虚拟现实和认知科学等。早在二十世纪，Ekman和 Friesen基于跨文化跨区域研究，设计了6种基本情感(愤怒、厌恶、恐惧、高兴、悲伤和惊讶)，他们指出不同文化背景的人类具有同样的基本情感表达方式。然而，最近神经科学和 心理学高级研究表明，人类的6种基本情感表达是和特定文化背景相关的，不具有普适性。 与此同时，本发明人发现不同性别和年龄的人表现出不同的表情表现模式，如，小孩和成年 人就有着不同的悲伤表情。即人脸的性别和年龄属性对人脸表情识别有着重要影响。然而， 目前大多数人脸表情识别方法并没有考虑到人脸性别和年龄等属性变化的影响。
发明将充分利用人脸的性别和年龄属性进行鲁棒性人脸表情识别。
发明内容
本发明所述解决的技术问题是：利用深度多示例特征提取和属性条件随机森林方法进行鲁 棒性人脸表情分类识别的方法及系统。
本发明的技术方案是：
基于人脸属性分析的智能化人脸表情识别方法，其特征在于包括如下四大部分，
S1基于深度多示例学习的人脸特征提取：
首先根据人脸的“三眼五庭”结构特性和人脸表情显著性分析提取7个人脸图像块作为 人脸表情示例，然后使用深度卷积神经网络对每个示例进行特征提取，最后采用深度学习的 方法对得到的7个人脸表情示例特征进行融合学习和降维处理得到最终的鲁棒性人脸特征向 量；
S2随机森林人脸属性识别：
将人脸属性根据性别和年龄情况分为如下8类：
Figure BDA0002378135930000021
使用训练样本训练生成一个基于人脸性别和年龄属性分类的随机森林TA，将S1得到的 人脸特征向量输入TA进行人脸属性识别，得出式中的人脸属性类别信息；
S3人脸属性条件随机森林训练和学习：
将训练集S人脸属性类别分成N个子集，每一个子集被用于训练生成一组人脸属性条件 随机森林
Figure BDA0002378135930000022
随机的从条件随机森林
Figure BDA0002378135930000023
中选择相应数量的决策树动态构建 人脸表情识别随机森林TE；
所述条件随机森林{TS(Ωn)}中的每棵决策树Tt S(Ωn)采用相同的方法独立训练；
为了更好的学习和生长条件随机森林中的分裂节点，所述智能化人脸表情识别方法采用 NCSF分裂模型，结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行随 机森林的节点生长；
S4基于属性条件随机森林的人脸表情识别：
首先，根据S2得到的人脸属性类别结果从条件随机森林TS(Ωn)中随机选取kn棵决策树动 态构建人脸属性条件随机森林TE；然后，将S1得到的人脸特征向量y输入人脸属性条件随机 森林，由TE中决策树投票得出测试样本的表情类别概率p(e|y)；最后，由最大概率得到人 脸表情类别。
所述的人脸表情识别方法，其特征在于，其人脸表情示例提取方法为：
根据人脸表情表现方式和特点，利用人脸关键点定位算法和图像分割算法提取7个人脸图像 块作为人脸表情示例，具体包括整个人脸图像、左眼区域块、右眼区域块、眼部区域块、嘴 部区域块一、嘴部区域块二和嘴部区域块三。
进一步地，深度多示例特征提取方法为：
将得到的人脸表情示例送入GoogleNet网络模型进行人脸表情示例特征提取：
Figure BDA0002378135930000024
其中，yi表示最后的高层特征输出，
Figure BDA0002378135930000025
表示第i个示例在“Depthconcat”层中的特征图，w是权值项，b为偏置项；GoogleNet通过LFW和YTF人脸库进行预训练，使其具有高层语义信息表示能力；
进一步地，深度多示例特征融合方法为：
首先，将提取的7个多示例特征进行串连：
y＝[y1 y2 y3 y4 y5 y6 y7]
然后，在深度学习网络模型中增加一个全连接层对得到的多示例串连特征y进行降维处 理，得到最终的鲁棒性人脸特征向量。
进一步地，上述NCSF分裂模型为：
结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强 树的节点生长。基于CNN隐藏层的联接函数fn强化人脸样本的条件特征表示y，用增强后特 征表示作为网络增强森林的节点特征选择：
dn(y,K|Ωa)＝σ(fn(y,K|Ωa))
其中，σ(x)＝(1+e-x)-1是sigmoid函数，Ωa为不同属性下的表情子森林，dn为增强森林中的 一个分裂节点，K是CNN网络模型参数，通过随机梯度下降法(SGD)更新。
进一步地，上述属性条件随机森林人脸表情识别步骤为：
首先，利用人脸属性随机森林TA对测试人脸图像进行属性估计；然后，根据属性估计结果， 随机的从条件随机森林
Figure BDA0002378135930000031
中选择相应数量的决策树动态构建人脸表情识别随机森林 TE；最后，根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
进一步地，上述人脸表情识别方法为：
在人脸属性a∈Ωn已知的条件下，人脸y属于表情e的概率p(e|Ωn,y)由随机森林TE中 所有树投票得到：
Figure BDA0002378135930000032
其中，M为树的数量，lm为第m棵树上样本特征y达到的叶子节点；人脸属性a未知的条件下，人脸样本y属于表情e的概率p(e|y)可以表示为：
Figure BDA0002378135930000033
其中，
Figure BDA0002378135930000041
p(e|y)。
基于人脸属性分析的智能化人脸表情识别系统，包括深度多示例人脸特征提取模块、人 脸属性估计模块和属性约束人脸表情识别模块：
深度多示例人脸特征提取模块输入是人脸图像，输出是人脸特征向量；将所有输入图像 归一化到256*256大小，通过深度多示例学习后提取的人脸特征向量维数为512；
人脸属性估计模块输入是人脸特征向量，输出是人脸属性类别；所述智能化人脸表情识 别系统采用随机森林分类方法进行人脸属性分类估计；
属性约束人脸表情识别模块输入是人脸特征向量和人脸属性类别，输出是人脸表情类别； 所述智能化人脸表情识别系统采用属性条件随机森林方法进行人脸表情分类识别。
进一步地，上述人脸深度多示例特征提取为：根据人脸表情的表现方式将人脸分成7个示例， 7个示例为整个人脸图像、左眼区域块、右眼区域块、眼部区域块、嘴部区域块一、嘴部区域 块二和嘴部区域块三；针对每个示例采用GoogleNet或RestNet50进行特征提取，整合所述7个 示例特征得到最终的人脸特征向量。
进一步地，人脸属性定义为：根据人脸性别和年龄特征性分为8类，
所述8类为：
Figure BDA0002378135930000042
上述人脸表情类别为高兴、悲伤、惊讶、愤怒、厌恶和害怕6种基本表情。
本发明与现有技术相比：
1)具有很好的人脸遮挡、噪声和分辨率等变化鲁棒性，本发明通过深度多示例学习方法提取 人脸特征，解决人脸表情识别中的人脸遮挡、噪声和分辨率等变化问题。
2)解决了人脸性别和年龄等属性变化因素对人脸表情识别的影响，本发明提出属性约束随机 森林人脸表情识别方法解决了人脸表情识别中不同性别和年龄等因素干扰问题。
3)本发明方法与目前热门的深度学习方法相比，具有更好的实施性，只需要少量训练样本就 能达到很好的效果。
附图说明
图1是本发明的人脸表情识别技术架构图；
图2是本发明的人脸表情示例选择示意图；
图3是本发明的人脸属性约束下的人脸表情识别系统流程图；
图中，1-整个人脸图像；2-左眼区域块；3-右眼区域块；4-眼部区域块；5-嘴部区域块 一；6-嘴部区域块二；7-嘴部区域块三。
具体实施方式
下面结合具体实施例对于本发明作进一步的说明：
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发 明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。
其中，人脸表情识别方法为：
(1)人脸表情识别模型训练。训练集S根据人脸属性类别被分成N个子集，每一个子集 被用于训练生成一组条件随机森林
Figure BDA0002378135930000051
用于人脸表情分类。
(2)人脸表情识别。首先，利用人脸属性随机森林TA对测试人脸图像进行属性估计。 然后，根据属性估计结果，随机的从条件随机森林
Figure BDA0002378135930000052
中选择相应数量的决策树动态 构建人脸表情识别随机森林TE。最后，根据构建的人脸表情识别随机森林TE进行人脸表情 分类识别。
具体地，本发明公开的基于人脸属性分析的智能化人脸表情识别方法，主要包括深度多 示例人脸特征提取、随机森林人脸属性识别、条件随机森训练和基于属性条件随机森林的人 脸表情识别四大部分：
S1深度多示例人脸特征提取
首先，根据人脸结构特性选取人脸表情示例；然后，将选取的人脸表情示例送入经过预 训练的GoogLeNet网络模型进行示例表示和多示例融合提取人脸特征。
(1)人脸表情示例选择
根据人脸的“三眼五庭”结构特性，提取7个人脸图像块作为人脸表情示例，如图2所 示，包括整个人脸图像、左眼区域块、右眼区域块、眼部区域块、嘴部区域块一、嘴部区域块二和嘴部区域块三，共7个示例。之所以选取以上7个人脸图像块作为表情示例的原因是由于人脸表情变化主要集中在眉毛、眼睛、嘴巴等关键区域。
(2)多示例特征提取与融合
将上步得到的人脸表情示例送入GoogleNet网络模型进行表示学习。GoogleNet通过LFW 和YTF人脸库进行预训练，使其具有高层语义信息表示能力。基于GoogleNet的人脸表情示 例特征提取可以表示为：
Figure BDA0002378135930000061
其中，yi表示最后的高层特征输出，
Figure BDA0002378135930000062
表示第i个示例在“Depthconcat”层中的特征图， w是权值项，b为偏置项。因此，多示例融合特征可以通过将各示例特征串连而得到：
y＝[y1 y2 y3 y4 y5 y6 y7].(2)
最后，在深度学习网络模型中增加一个全连接层对式(2)得到的多示例特征y进行降维 处理，以便得到最终的鲁棒性人脸特征向量。
S2随机森林人脸属性识别
本发明将人脸属性根据性别和年龄情况分为8类：
Figure BDA0002378135930000063
首先，使用整个训练集S去训练生成一个基于人脸性别和年龄属性分类的随机森林TA。 在训练生成属性随机森林TA模型时，采用如下不确定性测度：
Figure BDA0002378135930000064
其中，a表示人脸属性类别。不确定性测度引导各节点从二值测试候选库中选择最优的 二值测试，以保证能不断将当前节点分裂为不确定性降低的两个子节点。
然后，基于深度多示例学习提取的人脸特征y，采用随机森林TA进行人脸属性分类。人 脸属性以高斯模型的方式储于随机森林TA的每个叶子节点l上：
Figure BDA0002378135930000066
其中，
Figure BDA0002378135930000065
和σl表示叶子节点l上属性均值和方差。生成叶子节点后，人脸特征y在随机 森林TA上的属性类别概率可以通过投票方式获得：
Figure BDA0002378135930000071
其中，lm为决策树对应的叶子节点，M为决策树的数量。
S3条件随机森林训练
训练集S根据人脸属性类别被分成N个子集，每一个子集被用于训练生成一组条件随机 森林
Figure BDA0002378135930000072
用于人脸表情分类。条件随机森林{TS(Ωn)}中的每棵决策树Tt S(Ωn)采用相 同的方法独立训练。为构建每棵决策树，从相应的数据子集
Figure BDA0002378135930000073
中随机选取图像构成训练数据 集；然后，从每张训练样本特征y中随机提取一组子特征{yi＝(ei,Ii)}，其中ei为人脸表情类 别，
Figure BDA0002378135930000074
为提取的子特征集合；最后，提取的子特征集合被用于决策树节点的分 裂以便生成最终的决策树。
为了更好的学习和生长分裂节点，本发明采用NCSF分裂模型，结合决策树的度量函数信 息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长。基于CNN隐藏 层的联接函数fn强化人脸样本的条件特征表示y，用增强后特征表示作为网络增强森林的节 点特征选择：
dn(y,K|Ωa)＝σ(fn(y,K|Ωa)) (7)
其中，σ(x)＝(1+e-x)-1是sigmoid函数，Ωa为不同属性下的表情子森林，dn为增强森林 中的一个分裂节点，K是CNN网络模型参数，通过随机梯度下降法(SGD)更新：
Figure BDA0002378135930000075
其中，η为学习率，e为表情类别，B为随机抽取的特征子集(即mini-batch)，L(K,e；y) 为训练样本y的损失函数，定义如下：
Figure BDA0002378135930000076
其中，p(e|dn,K,y)为人脸表情概率。根据链式求导法对K求导：
Figure BDA0002378135930000077
其中，a为属性类别，第2项求导可由CNN网络参数优化得到；第1项求导根据生成树的 左、右子节点特征选择得到：
Figure BDA0002378135930000078
其中，
Figure BDA0002378135930000079
和
Figure BDA00023781359300000710
分别表示生成树的右、左节点。当信息增益IG最大时， 分裂生成树的左、右子节点：
Figure RE-GDA0002567949310000081
其中，
Figure BDA0002378135930000082
为左、右子节点特征样本数量概率，H(dn)为节点dn的熵。当树的 深度达到最大或者损失函数迭代收敛后，生成叶子节点；否则，继续迭代节点学习。
S4基于属性条件随机森林的人脸表情识别
首先，利用人脸属性随机森林TA对测试人脸图像进行属性估计。然后，根据属性估计结 果，随机的从条件随机森林
Figure BDA0002378135930000083
中选择相应数量的决策树动态构建人脸表情识别随机 森林TE。最后，根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
在人脸属性a∈Ωn已知的条件下，人脸样本y属于表情e的概率p(e|Ωn,y)由随机森林 TE中所有树投票得到：
Figure BDA0002378135930000084
其中，M为树的数量，lm为第m棵树上样本特征y达到的叶子节点。在人脸属性a未知的条件下，人脸样本y属于表情e的概率p(e|y)可以表示为：
Figure BDA0002378135930000085
其中，∑nkn＝M，
Figure BDA0002378135930000086
从上面式子可以看出，在进行人脸表情识别时：首先，根据属性估计的结果从条件随机 森林TS(Ωn)中随机选取kn棵决策树动态构建随机森林TE；然后，由TE中决策树投票得出测 试样本y的表情类别概率p(e|y)。
本发明公开的基于人脸属性分析的智能化人脸表情识别系统，如图2所示，主要包括深 度多示例人脸特征提取、人脸属性估计和属性约束人脸表情识别三大模块：
深度多示例人脸特征提取：此模块输入是人脸图像，输出是人脸特征向量。本发明将所 有输入图像归一化到256*256大小，通过深度多示例学习后提取的人脸特征向量维数为512。 为了提高人脸特征提取的鲁棒性，本发明采用目前效果较好的多示例学习和RestNet50残差神 经网络模型进行人脸特征提取。
人脸属性估计：此模块输入是人脸特征向量，输出是人脸属性类别。其中，输入是512维 的人脸特征向量，输出为如公式3所示的8类中的一类。为了提高人脸属性估计的准确性，
本发明采用随机森林分类方法进行人脸属性分类估计。
属性约束人脸表情识别：此模块输入是人脸特征向量和人脸属性类别，输出是人脸表情 类别。其中，人脸特征向量为512维，人脸属性类别为1-8中的一种；人脸表情类别为1(高兴)、 2(悲伤)、3(惊讶)、4(愤怒)、5(厌恶)和6(害怕)中的一种。为了提高人脸表情识别的准确性，本发明采用属性条件随机森林方法进行人脸表情分类识别。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当 视为本发明所公开的内容。

Claims (10)

1.一种基于人脸属性分析的智能化人脸表情识别方法，其特征在于包括如下四大部分，
S1基于深度多示例学习的人脸特征提取：
首先根据人脸的“三眼五庭”结构特性和人脸表情显著性分析提取7个人脸图像块作为人脸表情示例，然后使用深度卷积神经网络对每个示例进行特征提取，最后采用深度学习的方法对得到的7个人脸表情示例特征进行融合学习和降维处理得到最终的鲁棒性人脸特征向量；
S2随机森林人脸属性识别：
将人脸属性根据性别和年龄情况分为如下8类：
Figure FDA0003644356250000011
使用训练样本训练生成一个基于人脸性别和年龄属性分类的随机森林TA，将S1得到的人脸特征向量输入TA进行人脸属性识别，得出式中的人脸属性类别信息；
S3人脸属性条件随机森林训练和学习：
将训练集S根据人脸属性类别分成N个子集，每一个子集被用于训练生成一组人脸属性条件随机森林
Figure FDA0003644356250000012
随机的从人脸属性条件随机森林中选择相应数量的决策树动态构建人脸表情识别随机森林TE；
所述人脸属性条件随机森林
Figure FDA0003644356250000013
中的每棵决策树Tt S(Ωn)采用相同的方法独立训练；
为了更好的学习和生长人脸属性条件随机森林中的分裂节点，采用NCSF分裂模型，结合决策树的度量函数信息增益和深度学习模型中的损失函数进行随机森林的节点生长；
S4基于属性条件随机森林的人脸表情识别：
首先，根据S2得到的人脸属性类别结果从人脸属性条件随机森林
Figure FDA0003644356250000014
中随机选取kn棵决策树动态构建人脸表情识别随机森林TE；然后，将S1得到的人脸特征向量y输入人脸表情识别随机森林，由TE中决策树投票得出人脸特征向量的表情类别概率p(e|y)；最后，由最大概率得到人脸表情类别。
2.如权利要求1所述的人脸表情识别方法，其特征在于，其人脸表情示例提取方法为：
根据人脸表情表现方式和特点，利用人脸关键点定位算法和图像分割算法提取7个人脸图像块作为人脸表情示例，具体包括整个人脸图像、左眼区域块、右眼区域块、眼部区域块、嘴部区域块一、嘴部区域块二和嘴部区域块三，共7个示例。
3.如权利要求1所述的人脸表情识别方法，其特征在于，深度多示例特征提取方法为：
将得到的人脸表情示例送入GoogleNet网络模型进行人脸表情示例特征提取：
Figure FDA0003644356250000021
其中，yi表示最后的高层特征输出，
Figure FDA0003644356250000022
表示第i个示例在“Depthconcat”层中的特征图，w是权值项，b为偏置项；GoogleNet通过LFW和YTF人脸库进行预训练，使其具有高层语义信息表示能力。
4.如权利要求1所述的人脸表情识别方法，其特征在于，深度多示例特征融合方法为：
首先，将提取的7个多示例特征进行串连：
Figure FDA0003644356250000023
然后，在深度学习网络模型中增加一个全连接层对得到的多示例串连特征
Figure FDA0003644356250000025
进行降维处理，得到最终的鲁棒性人脸特征向量。
5.如权利要求1所述的人脸表情识别方法，其特征在于，所述NCSF分裂模型为：
结合决策树的度量函数信息增益和深度学习模型中的损失函数进行深度网络增强树的节点生长，基于CNN隐藏层的联接函数fn强化人脸特征向量y，用增强后特征表示作为网络增强森林的节点特征选择：
dn(y,K|Ωa)＝σ(fn(y,K|Ωa))
其中，σ(x)＝(1+e-x)-1是sigmoid函数，Ωa为不同属性下的表情子森林，dn为增强森林中的一个分裂节点，K是CNN网络模型参数，通过随机梯度下降法更新。
6.如权利要求1所述的人脸表情识别方法，其特征在于，属性条件随机森林人脸表情识别步骤为：
首先，利用基于人脸性别和年龄属性分类的随机森林TA对测试人脸图像进行属性估计；然后，根据属性估计结果，随机的从人脸属性条件随机森林
Figure FDA0003644356250000024
中选择相应数量的决策树动态构建人脸表情识别随机森林TE；最后，根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
7.如权利要求6所述的人脸表情识别方法，其特征在于，人脸表情识别方法为：
在人脸属性a已知的条件下，人脸特征向量y属于表情e的概率p(e|Ωn,y)由人脸表情识别随机森林TE中所有树投票得到：
Figure FDA0003644356250000031
其中，M为树的数量，lm为第m棵树上人脸特征向量y达到的叶子节点；人脸属性a未知的条件下，人脸特征向量y属于表情e的概率p(e|y)表示为：
Figure FDA0003644356250000032
其中，∑nkn＝M，
Figure FDA0003644356250000033
8.一种基于人脸属性分析的智能化人脸表情识别系统，其特征在于，实现如权利要求1至7中任一项所述的基于人脸属性分析的智能化人脸表情识别方法的步骤，包括深度多示例人脸特征提取模块、人脸属性估计模块和属性约束人脸表情识别模块：
所述深度多示例人脸特征提取模块输入是人脸图像，输出是人脸特征向量；将所有输入图像归一化到256*256大小，通过深度多示例学习后提取的人脸特征向量维数为512；
所述人脸属性估计模块输入是人脸特征向量，输出是人脸属性类别；采用随机森林分类方法进行人脸属性分类估计；
所述属性约束人脸表情识别模块输入是人脸特征向量和人脸属性类别，输出是人脸表情类别；采用属性条件随机森林方法进行人脸表情分类识别。
9.如权利要求8述的基于人脸属性分析的智能化人脸表情识别系统，其特征在于，人脸深度多示例特征提取为：根据人脸表情的表现方式将人脸分成7个示例，7个示例为整个人脸图像、左眼区域块、右眼区域块、眼部区域块、嘴部区域块一、嘴部区域块二和嘴部区域块三；针对每个示例采用GoogleNet或RestNet50进行特征提取，整合所述7个示例特征得到最终的人脸特征向量。
10.如权利要求8述的基于人脸属性分析的智能化人脸表情识别系统，其特征在于，人脸属性定义为：根据人脸性别和年龄特征性分为8类，
所述8类为：
Figure FDA0003644356250000041
CN202010074445.XA 2020-01-22 2020-01-22 基于人脸属性分析的智能化人脸表情识别方法与系统 Active CN111523367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074445.XA CN111523367B (zh) 2020-01-22 2020-01-22 基于人脸属性分析的智能化人脸表情识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074445.XA CN111523367B (zh) 2020-01-22 2020-01-22 基于人脸属性分析的智能化人脸表情识别方法与系统

Publications (2)

Publication Number Publication Date
CN111523367A CN111523367A (zh) 2020-08-11
CN111523367B true CN111523367B (zh) 2022-07-22

Family

ID=71900347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074445.XA Active CN111523367B (zh) 2020-01-22 2020-01-22 基于人脸属性分析的智能化人脸表情识别方法与系统

Country Status (1)

Country Link
CN (1) CN111523367B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381047B (zh) * 2020-11-30 2023-08-22 华南理工大学 一种人脸表情图像的增强识别方法
CN112733717B (zh) * 2021-01-11 2021-11-23 广州市金其利信息科技有限公司 一种基于人脸属性优化人脸识别的方法
CN112949522B (zh) * 2021-03-11 2022-06-21 重庆邮电大学 一种基于支持向量机的人像数据的分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376333A (zh) * 2014-09-25 2015-02-25 电子科技大学 基于随机森林的人脸表情识别方法
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
KR101784418B1 (ko) * 2016-04-04 2017-10-11 연세대학교 산학협력단 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법
CN107330412A (zh) * 2017-07-06 2017-11-07 湖北科技学院 一种基于深度稀疏表示的人脸年龄估计方法
CN108596011A (zh) * 2017-12-29 2018-09-28 中国电子科技集团公司信息科学研究院 一种基于组合深度网络的人脸属性识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664716B2 (en) * 2017-07-19 2020-05-26 Vispek Inc. Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376333A (zh) * 2014-09-25 2015-02-25 电子科技大学 基于随机森林的人脸表情识别方法
KR101784418B1 (ko) * 2016-04-04 2017-10-11 연세대학교 산학협력단 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법
CN106650637A (zh) * 2016-12-02 2017-05-10 华中师范大学 一种基于条件随机森林的笑脸检测器及方法
CN107330412A (zh) * 2017-07-06 2017-11-07 湖北科技学院 一种基于深度稀疏表示的人脸年龄估计方法
CN108596011A (zh) * 2017-12-29 2018-09-28 中国电子科技集团公司信息科学研究院 一种基于组合深度网络的人脸属性识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Facial Expression Recognition Based on Random Forest and Convolutional Neural Network;Yingying Wang等;《Information》;20191128;第1-16页 *
分而冶之的人脸图像年龄估计;刘玉坤 等;《计算机工程与设计》;20171130;第38卷(第11期);第3162-3169页 *
基于改进随机森林分类器在ＲGBD面部表情上的应用研究;张御宇 等;《南京师大学报(自然科学版)》;20190331;第42卷(第1期);第82-89页 *

Also Published As

Publication number Publication date
CN111523367A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
Liu et al. Hard negative generation for identity-disentangled facial expression recognition
Sandoval et al. Two-stage deep learning approach to the classification of fine-art paintings
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN113496217B (zh) 视频图像序列中人脸微表情识别方法
Bavkar et al. Multimodal sarcasm detection via hybrid classifier with optimistic logic
CN111523367B (zh) 基于人脸属性分析的智能化人脸表情识别方法与系统
CN112417306B (zh) 基于知识图谱的推荐算法性能优化的方法
KR20200000824A (ko) 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN111583964B (zh) 一种基于多模深度特征学习的自然语音情感识别方法
US10853986B2 (en) Creative GAN generating art deviating from style norms
CN111666588B (zh) 一种基于生成对抗网络的情绪差分隐私保护方法
CN111753207B (zh) 一种基于评论的神经图协同过滤方法
CN112580555B (zh) 一种自发微表情识别方法
CN112784929A (zh) 一种基于双元组扩充的小样本图像分类方法及装置
Parthasarathy et al. Improving emotion classification through variational inference of latent variables
Xu et al. Person-independent facial expression recognition method based on improved Wasserstein generative adversarial networks in combination with identity aware
CN110175578B (zh) 应用于刑侦的基于深度森林的微表情识别方法
Jaymon et al. Real time emotion detection using deep learning
CN113851112A (zh) 一种基于多监督多特征融合的语音测谎方法
Njoku et al. Deep learning based data fusion methods for multimodal emotion recognition
CN111444787B (zh) 一种性别约束的全智能化人脸表情识别方法及系统
Vijayaraju Image retrieval using image captioning
CN113792541B (zh) 一种引入互信息正则化器的方面级情感分析方法
Tripathi et al. Facial expression recognition using data mining algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230414

Address after: 437000 High tech Yangtze River Industrial Park, Xianning City, Hubei Province

Patentee after: Hubei Jinwei Intelligent Technology Co.,Ltd.

Address before: No. 88 Xianning Avenue, Xianning, Hubei Province, Hubei

Patentee before: HUBEI University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right