CN111444787B - 一种性别约束的全智能化人脸表情识别方法及系统 - Google Patents

一种性别约束的全智能化人脸表情识别方法及系统 Download PDF

Info

Publication number
CN111444787B
CN111444787B CN202010172458.0A CN202010172458A CN111444787B CN 111444787 B CN111444787 B CN 111444787B CN 202010172458 A CN202010172458 A CN 202010172458A CN 111444787 B CN111444787 B CN 111444787B
Authority
CN
China
Prior art keywords
gender
face
facial
random forest
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010172458.0A
Other languages
English (en)
Other versions
CN111444787A (zh
Inventor
廖海斌
李淑琴
邱吉刚
晏丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Ganpoyun New Smart City Technology Research Co ltd
Original Assignee
Jiangxi Ganpoyun New Smart City Technology Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Ganpoyun New Smart City Technology Research Co ltd filed Critical Jiangxi Ganpoyun New Smart City Technology Research Co ltd
Priority to CN202010172458.0A priority Critical patent/CN111444787B/zh
Publication of CN111444787A publication Critical patent/CN111444787A/zh
Application granted granted Critical
Publication of CN111444787B publication Critical patent/CN111444787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Abstract

本发明公开了一种性别约束的全智能化人脸表情识别方法及系统,包括人脸特征提取、人脸性别估计、条件随机森训练和基于性别条件随机森林的人脸表情识别四个步骤,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别。本发明提出的基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决了非可控环境和小样本下的人脸表情识别问题,解决了深度学习方法需要大量训练样本支持的问题,同时提高了非可控环境下的人脸表情识别准确性和有效性。

Description

一种性别约束的全智能化人脸表情识别方法及系统
技术领域
本发明属于图像处理与模式识别技术领域,具体涉及一种性别约束的全智能化人脸表情识别方法及系统。
背景技术
人脸表情是人类一种最直接、自然和有效的情感表达方式,它是人工智能和计算机领域的一个重要研究方向。人脸表情识别可以广泛应用于安全驾驶、智能教室、视频监控、虚拟现实和人工机交互等场景。由于人脸表情识别是一种特殊的模式识别问题,因此一般的模式分类方法可以自然而然的应用于人脸表情识别问题。受到人脸识别和ImageNet图像识别巨大突破的启示,深度学习技术被广泛应用于人脸表情识别。如,Kim等人通过多样化CNNs设计出一种层次化的网络结构应用于人脸表情识别,在国际人脸表情竞赛(EmotiW2015)上获得第一名成绩。目前,在可控环境下,已经出现了大量的人脸表情识别方法并获得很大的成功。但是,只有少数工作去研究非可控环境下的人脸表情识别问题,非可控环境和小样本下的人脸表情识别问题仍然是一个具有挑战的问题。本发明提出基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决深度学习方法需要大量训练样本支持的问题,同时提高非可控环境下的人脸表情识别准确性和有效性。
发明内容
本发明提出了一种性别约束的全智能化人脸表情识别方法及系统,以解决上述背景技术中提出的问题。本发明的技术方案是这样实现的:
一种性别约束的全智能化人脸表情识别方法,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别,
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络CNN进行表示学习,提取人脸高层语义特征,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征表示为y;
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林
Figure GDA0004070140390000021
用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male};
步骤三:条件随机森林训练
条件随机森林
Figure GDA0004070140390000022
中的每棵决策树Tt Sn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集
Figure GDA0004070140390000023
中随机选取图像构成训练数据集,然后,从人脸特征y中随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,
Figure GDA0004070140390000024
为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的分裂以便生成最终的决策树;
步骤四:基于性别条件随机森林的人脸表情识别
首先,利用人脸性别随机森林TG对测试人脸图像进行性别估计,然后,根据性别估计结果,随机的从条件随机森林
Figure GDA0004070140390000025
中选择相应数量的决策树动态构建人脸表情识别随机森林TE,最后,根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤一中,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤一中,将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习,GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,基于GoogleNet的人脸特征提取可以表示为:
y=xcw+b                                 (1)
式(1)中,其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项,其中,深度学习框架采用Caffe开源平台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法,最终得到人脸特征y的维度为256。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤二中,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
Figure GDA0004070140390000026
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点分裂为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
Figure GDA0004070140390000031
式(3)中,
Figure GDA0004070140390000032
和σl表示叶子节点l上性别均值和方差,生成叶子节点后,人脸特征y在人脸性别随机森林TG上的性别类别概率可以通过投票方式获得:
Figure GDA0004070140390000033
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤三中,采用NCSF分裂模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸特征y的表示,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg))                (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个分裂节点,K是CNN网络模型参数,通过随机梯度下降法(SGD)或Adam(Adaptive Moment Estimation)方法进行更新,当信息增益IG最大时,分裂生成树的左、右子节点:
Figure GDA0004070140390000034
式(10)中
Figure GDA0004070140390000035
左、右子节点为特征样本数量概率,H(dn)为节点dn的熵。
在本发明的性别约束的全智能化人脸表情识别方法中,步骤四中,在人脸性别g∈Ωn已知的条件下,人脸特征y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
Figure GDA0004070140390000036
式(11)中,M为树的数量,lm为第m棵树上人脸特征y达到的叶子节点,在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
Figure GDA0004070140390000041
式(12)中,∑nkn=M,
Figure GDA0004070140390000042
一种性别约束的全智能化人脸表情识别系统,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,采用卷积神经网络模型进行人脸特征提取,如GoogleNet和RestNet50等;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,采用性别条件随机森林方法进行人脸表情分类识别。
实施本发明的这种性别约束的全智能化人脸表情识别方法及系统,具有以下有益效果:
本发明提出的基于深度学习和条件随机森林的鲁棒性人脸表情识别方法,解决了非可控环境和小样本下的人脸表情识别问题,解决了深度学习方法需要大量训练样本支持的问题,同时提高了非可控环境下的人脸表情识别准确性和有效性。
附图说明
图1为本发明性别约束的全智能化人脸表情识别的技术框架图;
图2为本发明性别约束的全智能化人脸表情识别的系统图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1:
一种性别约束的全智能化人脸表情识别方法,其技术架构及流程如图1所示,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别。
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络(CNN)进行表示学习,提取人脸高层语义特征,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征提取表示为y。
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林
Figure GDA0004070140390000051
用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male}。
优选的,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
Figure GDA0004070140390000052
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点分裂为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
Figure GDA0004070140390000053
式(3)中,
Figure GDA0004070140390000054
和σl表示叶子节点l上性别均值和方差,生成叶子节点后,人脸特征y在人脸性别随机森林TG上的性别类别概率可以通过投票方式获得:
Figure GDA0004070140390000055
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
步骤三:条件随机森林训练
条件随机森林
Figure GDA0004070140390000056
中的每棵决策树Tt Sn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集
Figure GDA0004070140390000061
中随机选取图像构成训练数据集,然后,从人脸特征表示为y的每张训练样本特征{yi=(ei,Ii)},其中ei为人脸表情类别,
Figure GDA0004070140390000062
为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的分裂以便生成最终的决策树。
优选的,采用NCSF分裂模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸样本的条件特征表示y,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg))                (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个分裂节点,K是CNN网络模型参数,通过随机梯度下降法(SGD)或Adam(Adaptive Moment Estimation)方法进行更新,当信息增益IG最大时,分裂生成树的左、右子节点:
Figure GDA0004070140390000063
式(10)中
Figure GDA0004070140390000064
左、右子节点为特征样本数量概率,H(dn)为节点dn的熵。
步骤四:基于性别条件随机森林的人脸表情识别
首先,利用人脸性别随机森林TG对测试人脸图像进行性别估计,然后,根据性别估计结果,随机的从条件随机森林
Figure GDA0004070140390000065
中选择相应数量的决策树动态构建人脸表情识别随机森林TE,最后,根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
优选的,在人脸性别g∈Ωn已知的条件下,人脸样本y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
Figure GDA0004070140390000066
式(11)中,M为树的数量,lm为第m棵树上人脸特征y特征达到的叶子节点,在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
Figure GDA0004070140390000071
式(12)中,∑nkn=M,
Figure GDA0004070140390000072
一种性别约束的全智能化人脸表情识别系统,如图2所示,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,为了提高人脸特征提取的鲁棒性,采用卷积神经网络模型进行人脸特征提取,如GoogleNet和RestNet50等;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,为了提高人脸性别估计的准确性,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,为了提高人脸表情识别的准确性,采用性别条件随机森林方法进行人脸表情分类识别。
实施例2:
一种性别约束的全智能化人脸表情识别方法,主要包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四大部分:
①人脸特征提取
对输入的人脸图像利用人脸检测算法剪切出无背景的人脸图像。然后利用图像质量评判算法挑选出具有正面姿态和高分辨率的高质量人脸图像。最后,将挑选出的高质量人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习。GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力。基于GoogleNet的人脸特征提取可以表示为:
y=xcw+b                                 (1)
其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项。其中,深度学习框架采用Caffe开源平台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法。最终得到人脸特征表示为y中人脸高层特征表示向量的维度为256。
②人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG。然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林
Figure GDA0004070140390000081
用于人脸表情分类。本文将人脸性别划分成两类{Ω1:female,Ω2:male}。
根据得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类。在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
Figure GDA0004070140390000082
其中,g表示人脸性别类别。不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点分裂为不确定性降低的两个子节点。人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
Figure GDA0004070140390000083
其中,
Figure GDA0004070140390000084
和σl表示叶子节点l上性别均值和方差。生成叶子节点后,人脸特征y在人脸性别随机森林TG上的性别类别概率可以通过投票方式获得:
Figure GDA0004070140390000085
其中,lm为决策树对应的叶子节点,M为决策树的数量。
③条件随机森林训练
条件随机森林
Figure GDA0004070140390000086
中的每棵决策树Tt Sn)采用相同的方法独立训练。为构建每棵决策树,从相应的数据子集
Figure GDA0004070140390000087
中随机选取图像构成训练数据集;然后,从人脸特征表示为y的每张训练样本特征随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,
Figure GDA0004070140390000088
为提取的子特征集合;最后,提取的子特征集合被用于决策树节点的分裂以便生成最终的决策树。
为了更好的学习和生长分裂节点,本发明采用NCSF分裂模型,结合决策树的度量函数信息增益(IG)和深度学习模型中的损失函数进行深度网络增强树的节点生长。基于CNN隐藏层的联接函数fn强化人脸样本的条件特征表示y,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg))                (5)
其中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个分裂节点,K是CNN网络模型参数,本实施例通过随机梯度下降法(SGD)更新:
Figure GDA0004070140390000091
其中,η为学习率,e为表情类别,B为随机抽取的特征子集(即mini-batch),L(K,e;y)为训练样本y的损失函数,定义如下:
Figure GDA0004070140390000092
其中,p(e|dn,K,y)为人脸表情概率。根据链式求导法对K求导:
Figure GDA0004070140390000093
其中,g为性别类别,第2项求导可由CNN网络参数优化得到;第1项求导根据生成树的左、右子节点特征选择得到:
Figure GDA0004070140390000094
其中,
Figure GDA0004070140390000095
Figure GDA0004070140390000096
分别表示生成树的右、左节点。当信息增益IG最大时,分裂生成树的左、右子节点:
Figure GDA0004070140390000097
其中,
Figure GDA0004070140390000098
为左、右子节点特征样本数量概率,H(dn)为节点dn的熵。当树的深度达到最大或者损失函数迭代收敛后,生成叶子节点;否则,继续迭代节点学习。
④基于性别条件随机森林的人脸表情识别
在人脸性别g∈Ωn已知的条件下,人脸特征y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
Figure GDA0004070140390000099
其中,M为树的数量,lm为第m棵树上人脸特征y特征达到的叶子节点。在人脸性别g未知的条件下,人脸特征y属于表情e的概率p(e|y)可以表示为:
Figure GDA0004070140390000101
其中,∑nkn=M,
Figure GDA0004070140390000102
从上面式子可以看出,在进行人脸表情识别时:首先,根据性别估计的结果从条件随机森林TSn)中随机选取kn棵决策树动态构建随机森林TE;然后,由TE中决策树投票得出测试样本y的表情类别概率p(e|y)。
一种性别约束的全智能化人脸表情识别系统,如图2所示,主要包括人脸特征提取、人脸性别估计和人脸表情识别三大模块:
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量。本发明将所有输入图像归一化到256*256大小,通过卷积神经网络后提取的人脸特征向量维数为256。为了提高人脸特征提取的鲁棒性,本发明采用目前效果较好的RestNet50残差神经网络模型进行人脸特征提取。
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别。其中,输入是256维的人脸特征向量,输出为1(代表女性)或-1(代表男性)。为了提高人脸性别估计的准确性,本发明采用随机森林分类方法进行人脸性别分类估计。
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别。其中,人脸特征向量为256维,人脸性别类别为1或-1;人脸表情类别为1(高兴)、2(悲伤)、3(惊讶)、4(愤怒)、5(厌恶)和6(害怕)中的一种。为了提高人脸表情识别的准确性,本发明采用性别条件随机森林方法进行人脸表情分类识别。
实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种性别约束的全智能化人脸表情识别方法,其特征在于,包括人脸特征提取、人脸性别估计、条件随机森林训练和基于性别条件随机森林的人脸表情识别四个步骤,首先,对输入的人脸图像进行人脸检测和图像质量评判以后,将其送入预训练好的深度神经网络中进行学习提取深度学习特征,然后,基于提取的人脸特征,利用随机森林分类方法进行人脸性别估计,最后,基于提取的人脸特征及其性别属性,利用条件随机森林进行人脸表情识别,
步骤一:人脸特征提取
将采集的人脸图像送入卷积神经网络CNN进行表示学习,提取人脸高层语义特征,并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,人脸特征表示为y;
步骤二:人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的人脸性别随机森林TG,然后,训练集S根据人脸性别类别被分成N=2个子集,每一个子集被用于训练生成一组条件随机森林
Figure FDA0004070140370000011
用于人脸表情分类,将人脸性别划分成两类{Ω1:female,Ω2:male};
步骤三:条件随机森林训练
条件随机森林
Figure FDA0004070140370000012
中的每棵决策树Tt Sn)采用相同的方法独立训练,为构建每棵决策树,从相应的数据子集
Figure FDA0004070140370000013
中随机选取图像构成训练数据集,然后,从人脸特征y中随机提取一组子特征{yi=(ei,Ii)},其中ei为人脸表情类别,
Figure FDA0004070140370000014
为提取的子特征集合,最后,提取的子特征集合被用于决策树节点的分裂以便生成最终的决策树;
步骤四:基于性别条件随机森林的人脸表情识别
首先,利用人脸性别随机森林TG对测试人脸图像进行性别估计,然后,根据性别估计结果,随机的从条件随机森林
Figure FDA0004070140370000015
中选择相应数量的决策树动态构建人脸表情识别随机森林TE,最后,根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。
2.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤一中,为了提高特征的鲁棒性,CNN采用目前效果较好的GoogleNet、VGG21或RestNet50。
3.根据权利要求2所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤一中,将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习,GoogleNet通过LFW和YTF人脸库进行预训练,使其更具高层语义信息表示能力,基于GoogleNet的人脸特征提取表示为:
y=xcw+b                                 (1)
式(1)中,其中,人脸特征y表示最后的高层特征输出,xc表示人脸图像在“Depthconcat”层中的特征图,w是权值项,b为偏置项,其中,深度学习框架采用Caffe开源平台,学习率λ=0.005,epochs为5000,优化函数采用“Adam”算法,最终得到人脸特征y的维度为256。
4.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤二中,根据步骤一中得到的人脸特征y,采用人脸性别随机森林TG进行人脸性别分类,在训练生成人脸性别随机森林TG模型时,采用如下不确定性测度:
Figure FDA0004070140370000021
式(2)中,g表示人脸性别类别,不确定性测度引导各节点从二值测试候选库中选择最优的二值测试,以保证能不断将当前节点分裂为不确定性降低的两个子节点,人脸性别以高斯模型的方式储于人脸性别随机森林TG的每个叶子节点l上:
Figure FDA0004070140370000022
式(3)中,
Figure FDA0004070140370000023
和σl表示叶子节点l上性别均值和方差,生成叶子节点后,人脸特征y在人脸性别随机森林TG上的性别类别概率可以通过投票方式获得:
Figure FDA0004070140370000024
式(4)中,lm为决策树对应的叶子节点,M为决策树的数量。
5.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤三中,采用NCSF分裂模型,结合决策树的度量函数信息增益IG和深度学习模型中的损失函数进行深度网络增强树的节点生长,基于CNN隐藏层的联接函数fn强化人脸特征y的表示,用增强后特征表示作为网络增强森林的节点特征选择:
dn(y,K|Ωg)=σ(fn(y,K|Ωg))                (5)
式(5)中,σ(x)=(1+e-x)-1是sigmoid函数,Ωg为不同性别下的表情子森林,为增强森林中的一个分裂节点,K是CNN网络模型参数,通过随机梯度下降法SGD或Adam方法进行更新,当度量函数信息增益IG最大时,分裂生成树的左、右子节点:
Figure FDA0004070140370000031
式(10)中
Figure FDA0004070140370000032
为左、右子节点特征样本数量概率,H(dn)为节点dn的熵。
6.根据权利要求1所述的性别约束的全智能化人脸表情识别方法,其特征在于,步骤四中,在人脸性别g∈Ωn已知的条件下,人脸特征y属于表情e的概率p(e|Ωn,y)由随机森林TE中所有树投票得到:
Figure FDA0004070140370000033
式(11)中,M为树的数量,lm为第m棵树上人脸特征y达到的叶子节点,在人脸性别g∈Ωn未知的条件下,人脸特征y属于表情e的概率p(e|y)表示为:
Figure FDA0004070140370000034
式(12)中,∑nkn=M,
Figure FDA0004070140370000035
7.一种基于权利要求1-6任意一项所述的性别约束的全智能化人脸表情识别方法的识别系统,其特征在于,包括人脸特征提取、人脸性别估计和人脸表情识别三大模块,
人脸特征提取:此模块输入是人脸图像,输出是人脸特征向量,采用卷积神经网络模型进行人脸特征提取,为GoogleNet和RestNet50;
人脸性别估计:此模块输入是人脸特征向量,输出是人脸性别类别,采用随机森林分类方法进行人脸性别分类估计;
人脸表情识别:此模块输入是人脸特征向量和人脸性别类别,输出是人脸表情类别,采用性别条件随机森林方法进行人脸表情分类识别。
CN202010172458.0A 2020-03-12 2020-03-12 一种性别约束的全智能化人脸表情识别方法及系统 Active CN111444787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010172458.0A CN111444787B (zh) 2020-03-12 2020-03-12 一种性别约束的全智能化人脸表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010172458.0A CN111444787B (zh) 2020-03-12 2020-03-12 一种性别约束的全智能化人脸表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN111444787A CN111444787A (zh) 2020-07-24
CN111444787B true CN111444787B (zh) 2023-04-07

Family

ID=71627411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010172458.0A Active CN111444787B (zh) 2020-03-12 2020-03-12 一种性别约束的全智能化人脸表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN111444787B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705333A (zh) * 2021-07-14 2021-11-26 深圳市有为信息技术发展有限公司 驾驶员面部图像筛选方法、装置、电子设备和商用车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN107066951A (zh) * 2017-03-15 2017-08-18 中国地质大学(武汉) 一种人脸自发表情的识别方法及系统
KR101784418B1 (ko) * 2016-04-04 2017-10-11 연세대학교 산학협력단 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법
CN107330412A (zh) * 2017-07-06 2017-11-07 湖北科技学院 一种基于深度稀疏表示的人脸年龄估计方法
CN107358172A (zh) * 2017-06-22 2017-11-17 华南理工大学 一种基于人脸朝向分类的人脸特征点初始化方法
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN108596011A (zh) * 2017-12-29 2018-09-28 中国电子科技集团公司信息科学研究院 一种基于组合深度网络的人脸属性识别方法和装置
CN109389037A (zh) * 2018-08-30 2019-02-26 中国地质大学(武汉) 一种基于深度森林和迁移学习的情感分类方法
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110414483A (zh) * 2019-08-13 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于深度神经网络和随机森林的人脸识别方法及系统
CN110516537A (zh) * 2019-07-15 2019-11-29 电子科技大学 一种基于自步学习的人脸年龄估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190172458A1 (en) * 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
KR101784418B1 (ko) * 2016-04-04 2017-10-11 연세대학교 산학협력단 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN107066951A (zh) * 2017-03-15 2017-08-18 中国地质大学(武汉) 一种人脸自发表情的识别方法及系统
CN107358172A (zh) * 2017-06-22 2017-11-17 华南理工大学 一种基于人脸朝向分类的人脸特征点初始化方法
CN107330412A (zh) * 2017-07-06 2017-11-07 湖北科技学院 一种基于深度稀疏表示的人脸年龄估计方法
CN108108677A (zh) * 2017-12-12 2018-06-01 重庆邮电大学 一种基于改进的cnn人脸表情识别方法
CN108596011A (zh) * 2017-12-29 2018-09-28 中国电子科技集团公司信息科学研究院 一种基于组合深度网络的人脸属性识别方法和装置
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN109389037A (zh) * 2018-08-30 2019-02-26 中国地质大学(武汉) 一种基于深度森林和迁移学习的情感分类方法
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110516537A (zh) * 2019-07-15 2019-11-29 电子科技大学 一种基于自步学习的人脸年龄估计方法
CN110414483A (zh) * 2019-08-13 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于深度神经网络和随机森林的人脸识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jingying Chen.Automatic social signal analysis: Facial expression recognition using difference convolution neural network.《Journal of Parallel and Distributed Computing》.2019,第131卷97-102. *
刘尚旺.基于深度可分卷积神经网络的实时人脸表情和性别分类.《计算机应用》.2019,第40卷(第4期),990-995. *
邱益鸣.基于鉴别字典学习的遮挡人脸姿态识别.《武汉大学学报(信息科学版)》.2018,第43卷(第2期),275-281. *

Also Published As

Publication number Publication date
CN111444787A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN112651448B (zh) 一种面向社交平台表情包的多模态情感分析方法
Fabius et al. Variational recurrent auto-encoders
Kuo et al. Green learning: Introduction, examples and outlook
CN110046656B (zh) 基于深度学习的多模态场景识别方法
US10853986B2 (en) Creative GAN generating art deviating from style norms
CN110232341A (zh) 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN111753207B (zh) 一种基于评论的神经图协同过滤方法
CN112800891B (zh) 一种用于微表情识别的鉴别性特征学习方法与系统
CN111523367B (zh) 基于人脸属性分析的智能化人脸表情识别方法与系统
CN112101473B (zh) 一种基于小样本学习的烟雾检测算法
CN113127737B (zh) 融合注意力机制的个性化搜索方法和搜索系统
Zhang et al. Evolving neural network classifiers and feature subset using artificial fish swarm
CN111046178A (zh) 一种文本序列生成方法及其系统
CN114187493A (zh) 一种基于生成对抗网络的零样本学习算法
CN111444787B (zh) 一种性别约束的全智能化人脸表情识别方法及系统
Yuan et al. A novel forget-update module for few-shot domain generalization
CN113221683A (zh) 教学场景下基于cnn模型的表情识别方法
Zhu A face recognition system using ACO-BPNN model for optimizing the teaching management system
CN113204971B (zh) 一种基于深度学习的场景自适应Attention多意图识别方法
CN112633425B (zh) 图像分类方法和装置
CN115408603A (zh) 一种基于多头自注意力机制的在线问答社区专家推荐方法
Zhang From artificial neural networks to deep learning: A research survey
CN113792541A (zh) 一种引入互信息正则化器的方面级情感分析方法
CN111767825A (zh) 一种人脸属性不变鲁棒性人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant