CN105447473B - 一种基于PCANet-CNN的任意姿态人脸表情识别方法 - Google Patents

一种基于PCANet-CNN的任意姿态人脸表情识别方法 Download PDF

Info

Publication number
CN105447473B
CN105447473B CN201510926925.3A CN201510926925A CN105447473B CN 105447473 B CN105447473 B CN 105447473B CN 201510926925 A CN201510926925 A CN 201510926925A CN 105447473 B CN105447473 B CN 105447473B
Authority
CN
China
Prior art keywords
feature
face
image
pcanet
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510926925.3A
Other languages
English (en)
Other versions
CN105447473A (zh
Inventor
毛启容
张飞飞
于永斌
詹永照
许国朋
屈兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201510926925.3A priority Critical patent/CN105447473B/zh
Publication of CN105447473A publication Critical patent/CN105447473A/zh
Application granted granted Critical
Publication of CN105447473B publication Critical patent/CN105447473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Abstract

本发明公开了一种基于PCANet‑CNN的任意姿态人脸表情识别方法。首先对原始图像进行预处理得到统一大小的灰度人脸图像，包括正脸图像和侧脸图像。正脸图像输入无监督特征学习模型PCANet中，学习得到正脸图像所对应的特征。将侧脸图像输入有监督特征学习模型CNN中，并将无监督特征学习得到的正脸特征作为标签，训练得到正脸特征和侧脸特征之间的映射关系。通过此映射关系便可以得到任意姿态的人脸图像所对应的统一正脸特征，最终将统一正脸特征送入SVM中训练得到针对任意姿态的统一识别模型。本发明解决了传统多姿态人脸表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成的模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。

Description

一种基于PCANet-CNN的任意姿态人脸表情识别方法
技术领域
本发明属于情感识别领域，具体涉及一种基于PCANet-CNN的任意姿态人脸表情识别方法及系统
背景技术
人脸表情识别是模式识别、人机交互和计算机视觉等领域涉及的重要研究方向，目前已成为国内外的研究热点。一般来说人类最常见的六种基本表情为高兴、悲伤、愤怒、惊讶、厌恶与恐惧。近年来，随着各种对姿态具有鲁棒性的特征的不断提出，促进了多姿态自动人脸表情识别技术的发展。比如传统的人脸识别模型只能基于正脸或者接近正脸的图片进行表情识别，而对侧脸或者有一定角度的人脸表情识别效果非常差。接着有研究者提出针对不同姿态的人脸图片训练不同的表情识别模型。然而自然环境下姿态的变化是非线性的。即使将其设定为固定的几种姿态，随着姿态的不断增多，模型的训练也是非常耗时的。这就促使了是否可以通过寻找对姿态具有鲁棒性的特征来进行任意姿态的人脸表情识别，从而在提高效率的同时得到更好的表情识别结果。
(1)在S.Eleftheriadis等人，名为“Discriminative Shared GaussianProcesses for Multiview and View-Invariant Facial Expression Recognition”的论文中，利用一种判别式高斯过程隐变量模型进行多姿态的人脸表情识别，但是该方法应用的是传统的手工特征，它对于物体的遮挡，人脸的变形以及姿态的不断变化不具备很好的鲁棒性。(2)在O.Rudovic等人，名为“Coupled Gaussian Processes forPose-InvariantFacial Expression Recognition”的论文中，作者首先对不同姿态的人脸图像进行关键点检测，然后通过学习侧脸图像的关键点和正脸图像的关键点的映射关系来进行姿态的归一化操作，最后基于映射之后的关键点提取手工特征。首先该方法仅仅利用关键点学习正脸图像和侧脸图像的映射关系，信息是不充足的；其次它的姿态的归一化以及特征提取是通过两个单独的步骤完成的，这降低了模型的识别率以及效率。
发明内容
为了解决上述问题，本发明通过深度学习的方法进一步拓展了背景技术中论文(2)的方法，通过自动学习正脸特征和侧脸特征之间映射关系的方法将姿态归一化和特征提取在同一个步骤完成，进而得到一个可用于任意姿态的统一表情识别模型。实现本发明的技术方案如下：
一种基于PCANet-CNN的任意姿态人脸表情识别方法，包括如下步骤：
S1，对样本图片预处理得到统一像素的的灰度图像，然后将统一像素的的灰度图像分为正脸图像和侧脸图像，对所得的正脸图像提取尺寸为k1×k2大小的特征块；对所得到的侧脸图像提取尺寸为k1×k2大小的特征块；
S2，将步骤S1中的正脸图像作为无监督特征学习PCANet的输入进行无监督正脸特征学习，得到正脸特征；
S3，将步骤S1中的侧脸图像作为有监督特征学习CNN的输入，并结合步骤S2的正脸特征，通过有监督学习CNN的处理建立侧脸特征和正脸特征之间的映射关系；
S4，利用步骤S3的映射关系得到对任意姿态具有鲁棒性的统一正脸特征；
S5，将步骤S4所得的对姿态具有鲁棒性的统一正脸特征送入支持向量机SVM中进行识别模型的训练，得到一个针对任意姿态的统一识别模型；
S6，利用步骤S3所述的映射关系以及步骤S5所述的统一识别模型识别出任意姿态人脸图像所属的人脸表情类别。
作为优选技术方案，所述步骤S1中预处理的过程包括：通过一个级联的VJ框架检测样本图片中的人脸，再通过二值化对检测到的人脸图片进行灰度处理得到灰度图像，然后对所得灰度图像进行大小归一化得到统一像素的灰度图像。
作为优选技术方案，所述步骤S1中正脸图像和侧脸图像的统一像素的灰度图像大小均设置为96×96，特征块大小均为5*5。
作为优选技术方案，所述步骤S2中无监督特征学习的过程包括：
步骤S2-1，对正脸图像进行白化处理；
步骤S2-2，通过预训练得到不同尺寸的卷积核，再用所得卷积核对正脸图像进行卷积，得到PCANet第一层的输出；
步骤S2-3，将PCANet第一层的输出作为PCANet第二层的输入，经过与第一层相同的卷积过程得到PCANet第二层的输出；
步骤S2-4，对PCANet第二层的输出进行二值哈希处理以及直方图分块处理，最终将所得特征堆叠串联起来形成对光照具有鲁棒性的正脸特征。
作为优选技术方案，所述步骤S2-1中白化处理的过程：
读取正脸图像的像素特征，然后以步长大小为1、特征块大小为5*5对得到的像素特征进行分块处理，然后对每一个小的特征块串联得到一个一维的特征，对此一维的特征均除以其标准差，从而得到具有相同方差的特征。
作为优选技术方案，所述步骤S3的具体实现包括：
S3-1，将步骤S1中侧脸图像输入至有监督特征学习CNN的卷积层，将步骤S2中所得正脸特征作为CNN的标签，通过反向传播算法更新卷积核；对输入的侧脸图像首先经过卷积层和池化层得到CNN第一层的输出，然后将池化后的结果作为CNN第二层的输入，经过卷积和池化得到第二层的输出，即得到侧脸特征；
S3-2，计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征之间的平均误差值，并以此平均误差来反向传播更新各层卷积核，当此平均误差值趋于收敛时，算法停止，得到侧脸特征和正脸特征之间的映射关系，所述映射关系由两层CNN中的权重W1,W2以及偏置b1,b2构成。
作为优选技术方案，所述步骤S4具体包括：
S4-1，输入一张任意姿态的灰度人脸图像，通过步骤S3的侧脸特征和正脸特征之间的映射关系，得到这张任意姿态的灰度人脸图像所对应的正脸特征；
S4-2，对所有的任意姿态的灰度人脸图像均按照步骤S4-1的处理，得到对姿态具有鲁棒性的统一正脸特征。
作为优选技术方案，所述步骤S6中识别出任意姿态的人脸表情的具体过程包括：对任意一张待测人脸图片，采用步骤S1所述预处理的方法进行预处理得到统一像素的的灰度图像，然后按照步骤S4处理得到此未知姿态的人脸表情图片所对应的统一正脸特征，将此统一正脸特征送入步骤S5中训练好的统一识别模型中得到此待测人脸图片所属的表情类别。
和现有技术相比，本发明的有益效果：
(1)本发明提出的基于PCANet--CNN的任意姿态人脸表情识别方法，通过学习侧脸特征和正脸特征之间的映射关系，使得不同姿态的人脸图像的表情识别可以在一个完整统一的模型中进行，而无需再为每一种姿态分别建立不同的识别模型。
(2)利用所学的映射关系，将侧脸特征映射到统一的正脸特征上，通过归一化后的特征训练一个完整统一的识别模型，提高了模型的效率以及识别率。
(3)本发明解决了多姿态人脸表情识别中需要为每种姿态分别建立模型的问题，使得训练得到的模型不受姿态，光照等因素的干扰，能够有效地提高多姿态人脸表情识别的准确率。
附图说明
图1是基于PCANet--CNN的任意姿态人脸表情识别流程图；
图2是基于PCANet的特征提取流程图；
图3是基于CNN的映射关系学习流程图。
具体实施方式
本发明首先对原始图像进行预处理，包括人脸检测，图像灰度化以及图像大小归一化。然后通过无监督学习方法——主成分分析网络PCANet对预处理后的正面人脸图像进行特征学习，得到正脸特征。学习得到的正脸特征将作为有监督卷积神经网络CNN的标签更新两层CNN的权重和偏置，预处理之后的任意姿态的人脸图像作为CNN的输入，计算侧脸特征和正脸特征之间的重构误差函数值，当重构误差函数值趋于收敛时停止，得到最终的正脸特征和侧脸特征之间的映射关系。对任意待识别人脸图像的特征采用该映射关系得到统一正脸特征，然后输入支持向量机SVM进行训练和人脸表情识别。
下面结合附图和具体实施例来对本发明作进一步详细描述。
图1为本发明提出的基于PCANet-CNN的任意姿态人脸表情识别的流程图。本发明首先对任意姿态的人脸图像进行预处理，利用无监督特征学习算法PCANet得到一组正脸特征。然后利用有监督卷积神经网络算法学习正脸特征和侧脸特征之间的映射关系，将任意姿态的人脸图像特征映射到它所对应的正脸特征，得到对姿态具有鲁棒性的统一正脸特征。最终利用此统一正脸特征训练得到可用于任意姿态的人脸表情的统一识别模型。具体包括以下步骤：
S1，样本图片预处理：对样本图片预处理得到统一像素的的灰度图像，然后将统一像素的的灰度图像分为正脸图像和侧脸图像(非正脸图像)，对所得的正脸图像提取尺寸为k1×k2大小的特征块；对所得到的侧脸图像提取尺寸为k1×k2大小的特征块；
具体实现：通过一个级联的VJ框架检测样本图片中的人脸，再通过二值化对检测到的人脸图片进行灰度处理得到灰度图像，然后对所得灰度图像进行大小归一化得到统一像素的灰度人脸图像，统一像素的灰度人脸图像的大小为96*96。
然后将统一像素的灰度人脸图像分为正脸图像和侧脸图像，对所得的正脸图像提取尺寸为k1×k2大小的特征块；对所得到的侧脸图像同样提取尺寸为k1×k2大小的特征块，本发明中的特征块大小设置为5*5。
S2，无监督正脸特征学习：将S1中所述统一像素的正脸图像作为无监督特征学习PCANet的输入进行无监督正脸特征学习，得到正脸特征。
具体实现：首先对正脸图像进行白化处理，然后通过预训练得到不同尺寸的卷积核，再用所得卷积核对正脸图像进行卷积，得到PCANet第一层的输出。将所得结果作为PCANet第二层的输入，经过与第一层相同的卷积过程得到PCANet第二层的输出，对PCANet第二层的输出进行二值哈希处理以及直方图分块处理，最终将所得特征堆叠串联起来形成对光照具有鲁棒性的正脸特征。
进一步，所述步骤S2中无监督正脸特征学习中白化处理的具体过程为：对得到的统一像素的灰度正脸图像读取其像素特征，然后以一定大小的步长和特征块(本发明中设置步长大小为1特征块大小为5*5)对得到的像素特征进行分块处理，然后对每一个小的特征块串联得到一个一维的特征，对此一维特征均除以其标准差，从而得到具有相同方差的特征。通过此操作可以降低输入的冗余性。
S3，侧脸特征与正脸特征映射关系的有监督学习：将步骤S1中的侧脸图像作为有监督特征学习CNN的输入，并结合步骤S2的正脸特征，通过有监督学习CNN的处理建立侧脸特征和正脸特征之间的映射关系。
具体实现：将S1中所述统一像素的侧脸图像输入至有监督特征学习CNN的卷积层，将S2中所得正脸特征作为CNN的标签通过反向传播算法更新卷积核(权重以及偏置)。在CNN中采用和PCANet相似的处理操作，对输入的侧脸图像首先经过卷积层和池化层得到CNN第一层的输出，然后将池化后的结果作为CNN第二层的输入，经过与第一层相同的卷积和池化得到第二层的输出，即得到侧脸特征。
然后计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征之间的均方误差值，并以此均方误差值来反向传播更新各层卷积核，当此均方误差值趋于收敛时，算法停止。最终得到侧脸特征和正脸特征之间的映射关系。
进一步，步骤S3学习得到侧脸特征与正脸特征映射关系的具体过程为：通过计算侧脸特征和正脸特征之间的平均误差来更新有监督特征学习CNN各层的权重和偏置，当此平均误差值趋于收敛时算法结束。此时所得到的CNN中的权重和偏置构成了侧脸特征和正脸特征之间的映射关系。
S4，学习得到对姿态具有鲁棒性的统一正脸特征：输入一张任意姿态的灰度人脸图像，通过步骤S3学习得到的侧脸特征和正脸特征之间的映射关系，得到这张任意姿态的灰度人脸图像所对应的正脸特征。
对所有的(人类表情总共有8种)任意姿态的灰度人脸图像均进行此操作，得到对姿态具有鲁棒性的统一正脸特征。
进一步，所述步骤S4学习得到对姿态具有鲁棒性的统一正脸特征的具体过程为：通过步骤S3学习得到侧脸特征和正脸特征之间的映射关系，此特征映射关系由两层CNN中的权重W1,W2以及偏置b1,b2构成。对于一张任意姿态的测试图片，提取原始像素特征，然后以特征块大小为5*5步长为1提取新的特征，表示为Ii，通过((Ii*W1+b1)*W2+b2)计算得到的特征作为映射之后的特征，即为所述对姿态具有鲁棒性的统一正脸特征。
S5，任意姿态人脸表情识别模型训练：利用步骤S4所得的对姿态具有鲁棒性的统一正脸特征送入支持向量机SVM中进行识别模型的训练。由于所得的特征是统一姿态的特征，因此可以训练得到一个针对任意姿态的统一识别模型。
进一步，所述步骤S5中统一识别模型为：通过学习得到任意姿态人脸图像对应的正脸特征，将此正脸特征作为SVM的输入，从而得到一个可用于任意姿态的统一识别模型。
S6，任意姿态人脸表情识别：对任意一张待测人脸图片，采用步骤S1所述预处理的方法进行预处理得到归一化像素的灰度人脸图像，然后按照步骤S3、S4中的侧脸特征和正脸特征之间的映射关系得到此未知姿态的人脸表情图片所对应的统一正脸特征，将此统一正脸特征送入步骤S5中训练好的统一识别模型中即可得到此待测人脸图片所属的表情类别。
下面通过具体实施例来对本发明进行说明。本发明的实现包括模型的训练过程和图像的识别过程，下面分别详细描述。
1.模型的训练过程，包括如下：
1.1任意姿态人脸图像的预处理过程：
对输入的任意姿态的人脸图像首先进行人脸检测，然后对检测到的人脸图像进行灰度化处理，得到灰度图像。最后对所得的灰度图像进行大小归一化处理得到统一像素的灰度图像，得到大小为96×96的灰度人脸图像，并将图像分为正脸图像和侧脸图像。
1.2无监督特征学习：
由图2可知，此无监督特征学习方法PCANet总共分为三个步骤，即PCANet的第一层处理，PCANet的第二层处理以及哈希二值化与直方图处理过程。
1.2.1 PCANet的第一层处理：
对步骤1.1所得的统一像素的正脸图像I提取尺寸为5*5的特征块，因此I可以表示为Ii＝{xi,1,...,xi,mn}。其中xi,1,Rk1k2表示xi,j(j＝1,2…,mn)都属于一个k1*k2大小的向量(本发明中k1、k2均设为5)，xi,j表示第i张图片的第j个特征块，m n表示此正脸图像的大小(本发明中为96*96)。接下来将所有的特征块堆叠起来可以得到一个特征向量Xi，然后对Xi进行归一化处理得到向量对所有的正脸图像均做此处理，然后将所有处理后的特征向量连接起来得到：
式(1)中，X表示按特征块提取的正脸图像的像素特征，表示对每i个小特征块进行归一化处理所得的像素特征，下标N表示一张正脸图像共包含了N个特征块，表示每一个X属于一个k1k2*Nh行的向量，Nh表示一共取出的特征块的个数，k1，k2表示每个特征块的大小，h表示每一个特征向量Xi的维数。
假设PCANet第i层的卷积核的个数为Li，然后可以通过一个正交函数来最小化重构误差函数，即
式(2)中，IL1是一个大小为L1×L1的单位矩阵，VTV表示PCANet卷积层的权重，L1表示PCANet第一层滤波器的个数。接下来求解XXT的特征向量，然后对其进行从大到小的排序。最终取前L1个作为PCA滤波器第一层的卷积核。因此，PCANet第一层的滤波器可以表示为：
式(3)中，是一个映射函数，它可以将一个向量m映射到一个矩阵W上。ql(XXT)表示的是将XXT的特征向量排序后的第l个。当求得之后PCANet的第一层完成。1.2.2PCANet的第二层处理：
PCANet的第二层与第一层相似，它的输入是第一层第l个滤波器的输出，即
然后经过与公式(1)相同的处理过程得到归一化之后的特征为
式(5)中，Y表示图像I经过PCANet第一层之后得到的卷积输出，输入PCANet的第二层，可得其第二层的滤波器为：
式(6)中，表示PCANet第二层的滤波器，L2为PCANet第二层滤波器的个数；对于每一个我们可以得到L2个输出，对每一个乘以得到PCANet第二层中每个卷积核的输出结果(大小为L1L2)为：
式(7)中，表示PCANet第二层每个卷积核的输出，表示图像Ii在第l个卷积核的输入，是通过公式(6)学习得到的PCANet第二层的滤波器，L2是PCANet第二层滤波器的个数。
1.2.3哈希二值化与直方图处理过程：
通过公式(7)可知，对于L1个输入图像信息经过PCANet第二层处理之后每个有L2个输出。然后我们对这些输出进行二值化处理得到T，并将它们归一化到范围内，即
式(8)中，表示PCANet第二层的滤波器，H(·)是赫维赛德阶跃函数，它可将中的正直转化为1，负值转化为0。然后将L1个划分为B个块(本发明中B的值为64)，计算每个块内的十进制直方图。将处理后的所有的B个块连接起来得到一个向量因此，最终对一张输入图像Ii，其特征fi表示形式我们可以由逐个的直方图形式连接得到，即
所得fi即为正脸特征，它将被作为有监督特征学习CNN的标签来更新其参数，进而学习得到正脸特征和侧脸特征之间的映射关系。
1.3有监督特征映射关系学习
由图3可知，此有监督特征映射关系的学习分为三个步骤，即CNN的第一层处理，CNN的第二层处理以及通过反向传播算法计算正脸特征和侧脸特征之间映射关系的过程。
1.3.1CNN的第一层处理：
对步骤1.1所得的统一大小的侧脸图像I提取尺寸为5*5大小的特征块，因此I可以表示为Ii＝{xi,1,...,xi,mn}。然后将所有的特征块堆叠得到特征矩阵通过预训练得到的CNN第一层的权重可以得到L1个子矩阵。经过池化层降低特征的维数。然后得到CNN第一层的输出即
式(10)中，σ(x)＝max(0,x)是一个线性激活函数，为CNN第一层的权重，b1是CNN第一层中学习得到的偏置。
1.3.2 CNN的第二层处理：
经过与1.3.1相同的处理的过程，学习得到CNN第二层的权重和偏置b2，然后得到CNN第二层的输出即
式(11)中，为CNN第二层的权重，b2是CNN第二层中学习得到的偏置，L2为CNN第二层卷积核的个数，最终一张图像I的侧脸特征为连接L2个子矩阵得到，即为
1.3.3正脸特征和侧脸特征之间映射关系的训练过程：
我们通过反向传播算法来学习正脸特征和侧脸特征之间的映射关系。将1.2所学正脸特征作为标签，通过计算正脸特征和侧脸特征之间的重构误差来更新CNN每一层中的权重和偏置，当此误差值趋于收敛时算法停止。此过程可以表示为
式(12)中，fi为公式(9)所得的正脸特征，X2是通过公式(11)所得的对任意姿态的人脸图像的特征，通过一个二范式||·||F求得正脸特征和任意姿态的人脸图像的特征之间的误差。最终当此误差函数值收敛时所得的CNN的权重和偏置构成了最终所需的正脸特征和侧脸特征之间的映射关系，为：
map＝((Ii*W1+b1)*W2+b2) (13)
式(13)中，Ii表示输入的任意姿态的人脸图像，W1,W2表示CNN两层卷积学习到的权重(卷积核)，b1,b2表示CNN两层卷积中学习到的偏置项。
1.4识别模型的训练
对于所有的任意姿态的训练图片，通过1.3节中公式(13)的映射关系得到针对任意姿态的统一正脸特征，将此统一正脸特征送入支持向量机SVM中进行训练得到一个可用于任意姿态的统一识别模型。
2.图像的识别过程
采用1.3节所述的映射关系，对一张任意姿态的待测图片，经过公式(13)得到其所对应的正脸特征，然后送入已训练好的SVM中进行表情识别，最终得到其所属的人脸表情类别。
综上所述，本发明公开了一种基于PCANet-CNN的任意姿态人脸表情识别方法。把任意姿态的人脸表情识别过程分为三个步骤：首先通过无监督特征学习方法PCANet进行无监督正面人脸特征学习，然后通过有监督特征学习方法CNN学习正脸特征和侧脸特征之间的映射关系，进而得到统一的人脸特征表示形式。最后基于此统一的特征进行模型的训练和识别。通过以上三个步骤得到了一个可以对任意姿态人脸图像进行识别的统一模型。通过学习侧脸特征和正脸特征之间映射关系的方法来训练一个可以用于任意姿态人脸表情识别的模型。因此本发明解决了多姿态人脸表情识别需要分别针对不同的姿态建立不同模型，以及由于多姿态因素导致人脸表情识别准确率不高的问题。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，包括如下步骤：
S1，对样本图片预处理得到统一像素的灰度图像，然后将统一像素的灰度图像分为正脸图像和侧脸图像，对所得的正脸图像提取尺寸为k1×k2大小的特征块；对所得到的侧脸图像提取尺寸为k1×k2大小的特征块；
S2，将步骤S1中的正脸图像作为无监督特征学习PCANet的输入进行无监督正脸特征学习，得到正脸特征；
S3，将步骤S1中的侧脸图像作为有监督特征学习CNN的输入，并结合步骤S2的正脸特征，通过有监督学习CNN的处理建立侧脸特征和正脸特征之间的映射关系；
S4，利用步骤S3的映射关系得到对任意姿态具有鲁棒性的统一正脸特征；
S5，将步骤S4所得的对姿态具有鲁棒性的统一正脸特征送入支持向量机SVM中进行识别模型的训练，得到一个针对任意姿态的统一识别模型；
S6，利用步骤S3所述的映射关系以及步骤S5所述的统一识别模型识别出任意姿态人脸图像所属的人脸表情类别。
2.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S1中预处理的过程包括：通过一个级联的VJ框架检测样本图片中的人脸，再通过二值化对检测到的人脸图片进行灰度处理得到灰度图像，然后对所得灰度图像进行大小归一化得到统一像素的灰度图像。
3.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S1中统一像素的灰度图像大小设为96*96，正脸图像和侧脸图像的特征块大小设置为5*5。
4.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S2中无监督特征学习的过程包括：
步骤S2-1，对正脸图像进行白化处理；
步骤S2-2，通过预训练得到不同尺寸的卷积核，再用所得卷积核对正脸图像进行卷积，得到PCANet第一层的输出；
步骤S2-3，将PCANet第一层的输出作为PCANet第二层的输入，经过与第一层相同的卷积过程得到PCANet第二层的输出；
步骤S2-4，对PCANet第二层的输出进行二值哈希处理以及直方图分块处理，最终将所得特征堆叠串联起来形成对光照具有鲁棒性的正脸特征。
5.根据权利要求4所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S2-1中白化处理的过程：
读取正脸图像的像素特征，然后以步长大小为1、特征块大小为5*5对得到的像素特征进行分块处理，然后对每一个小的特征块串联得到一个一维的特征，对此一维的特征均除以其标准差，从而得到具有相同方差的特征。
6.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S3的具体实现包括：
S3-1，将步骤S1中侧脸图像输入至有监督特征学习CNN的卷积层，将步骤S2中所得正脸特征作为CNN的标签，通过反向传播算法更新卷积核；对输入的侧脸图像首先经过卷积层和池化层得到CNN第一层的输出，然后将池化后的结果作为CNN第二层的输入，经过卷积和池化得到第二层的输出，即得到侧脸特征；
S3-2，计算侧脸特征和正脸特征之间的重构误差函数来计算侧脸特征和正脸特征之间的平均误差值，并以此平均误差来反向传播更新各层卷积核，当此平均误差值趋于收敛时，算法停止，得到侧脸特征和正脸特征之间的映射关系，所述映射关系由两层CNN中的权重W1,W2以及偏置b1,b2构成。
7.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S4具体包括：
S4-1，输入一张任意姿态的灰度人脸图像，通过步骤S3的侧脸特征和正脸特征之间的映射关系，得到这张任意姿态的灰度人脸图像所对应的正脸特征；
S4-2，对所有的任意姿态的灰度人脸图像均按照步骤S4-1的处理，得到对姿态具有鲁棒性的统一正脸特征。
8.根据权利要求1所述的一种基于PCANet-CNN的任意姿态人脸表情识别方法，其特征在于，所述步骤S6中识别出任意姿态的人脸表情的具体过程包括：
对任意一张待测人脸图片，采用步骤S1所述预处理的方法进行预处理得到统一像素的的灰度图像，然后按照步骤S4处理得到此未知姿态的人脸表情图片所对应的统一正脸特征，将此统一正脸特征送入步骤S5中训练好的统一识别模型中得到此待测人脸图片所属的表情类别。
CN201510926925.3A 2015-12-14 2015-12-14 一种基于PCANet-CNN的任意姿态人脸表情识别方法 Active CN105447473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510926925.3A CN105447473B (zh) 2015-12-14 2015-12-14 一种基于PCANet-CNN的任意姿态人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510926925.3A CN105447473B (zh) 2015-12-14 2015-12-14 一种基于PCANet-CNN的任意姿态人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN105447473A CN105447473A (zh) 2016-03-30
CN105447473B true CN105447473B (zh) 2019-01-08

Family

ID=55557633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510926925.3A Active CN105447473B (zh) 2015-12-14 2015-12-14 一种基于PCANet-CNN的任意姿态人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN105447473B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956571B (zh) * 2016-05-13 2019-03-12 华侨大学 一种人脸图像的年龄估计方法
CN107871102A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN106980811A (zh) * 2016-10-21 2017-07-25 商汤集团有限公司 人脸表情识别方法和人脸表情识别装置
CN108475438B (zh) * 2016-10-31 2022-04-12 谷歌有限责任公司 基于学习的嵌入的面部重建
CN108073855B (zh) * 2016-11-11 2020-07-07 腾讯科技（深圳）有限公司 一种人脸表情的识别方法及系统
CN106776842B (zh) * 2016-11-28 2021-03-19 腾讯科技（上海）有限公司 多媒体数据检测方法及装置
CN107506707B (zh) * 2016-11-30 2021-05-25 奥瞳系统科技有限公司 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
CN107895150B (zh) * 2016-11-30 2021-07-16 奥瞳系统科技有限公司 基于嵌入式系统小规模卷积神经网络模块的人脸检测和头部姿态角评估
CN106778554A (zh) * 2016-12-01 2017-05-31 广西师范大学 基于联合特征PCANet的宫颈细胞图像识别方法
CN106778563A (zh) * 2016-12-02 2017-05-31 江苏大学 一种基于空间连贯特征的快速任意姿态人脸表情识别方法
CN106599865A (zh) * 2016-12-21 2017-04-26 四川华雁信息产业股份有限公司 刀闸状态识别装置与方法
CN106599878A (zh) * 2016-12-28 2017-04-26 深圳市捷顺科技实业股份有限公司 一种基于深度学习的人脸重建矫正方法及装置
CN106683091B (zh) * 2017-01-06 2019-09-24 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN107066951B (zh) * 2017-03-15 2020-01-14 中国地质大学（武汉） 一种人脸自发表情的识别方法及系统
CN107133578B (zh) * 2017-04-19 2020-05-22 华南理工大学 一种基于文件传输的人脸表情识别方法及系统
CN107180225A (zh) * 2017-04-19 2017-09-19 华南理工大学 一种针对卡通人物面部表情的识别方法
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学（武汉） 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107704813B (zh) * 2017-09-19 2020-11-17 北京一维大成科技有限公司 一种人脸活体识别方法及系统
CN109670520B (zh) * 2017-10-13 2021-04-09 杭州海康威视数字技术股份有限公司 一种目标姿态识别方法、装置及电子设备
CN108288034B (zh) * 2018-01-11 2019-09-17 中国地质大学（武汉） 一种游戏设计的质量评估方法及系统
CN108259788A (zh) * 2018-01-29 2018-07-06 努比亚技术有限公司 视频编辑方法、终端和计算机可读存储介质
CN108197602B (zh) * 2018-01-30 2020-05-19 厦门美图之家科技有限公司 一种卷积神经网络生成方法及表情识别方法
CN108446609B (zh) * 2018-03-02 2022-03-11 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法
CN108509993A (zh) * 2018-04-02 2018-09-07 安徽理工大学 一种矿井突水激光诱导荧光光谱图像识别方法
CN108537168B (zh) * 2018-04-09 2021-12-31 云南大学 基于迁移学习技术的面部表情识别方法
JP2019192145A (ja) 2018-04-27 2019-10-31 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN109254654B (zh) * 2018-08-20 2022-02-01 杭州电子科技大学 一种结合PCA和PCANet的驾驶疲劳特征提取方法
CN109447998B (zh) * 2018-09-29 2020-12-18 华中科技大学 基于PCANet深度学习模型下的自动分割方法
CN109800781A (zh) * 2018-12-07 2019-05-24 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN109726648A (zh) * 2018-12-14 2019-05-07 深圳壹账通智能科技有限公司 一种基于机器学习的人脸图像识别方法和装置
CN109784243B (zh) * 2018-12-29 2021-07-09 网易（杭州）网络有限公司 身份确定方法及装置、神经网络训练方法及装置、介质
CN109886173B (zh) * 2019-02-02 2021-01-15 中国科学院电子学研究所 基于视觉的侧脸姿态解算方法及情绪感知自主服务机器人
CN110008371A (zh) * 2019-04-16 2019-07-12 张怡卓 一种基于人脸表情识别的个性化音乐推荐方法及系统
CN110363091B (zh) * 2019-06-18 2021-08-10 广州杰赛科技股份有限公司 侧脸情况下的人脸识别方法、装置、设备及存储介质
CN110570450B (zh) * 2019-09-18 2023-03-24 哈尔滨工业大学 一种基于级联的上下文感知框架的目标跟踪方法
CN111488907B (zh) * 2020-03-05 2023-07-14 浙江工业大学 一种基于稠密PCANet的鲁棒图像识别方法
CN112329735B (zh) * 2020-11-30 2022-05-10 深圳市海洋网络科技有限公司 人脸识别模型的训练方法及在线教育系统
CN113269137B (zh) * 2021-06-18 2023-10-31 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400105A (zh) * 2013-06-26 2013-11-20 东南大学 基于姿态归一化的非正面人脸表情识别方法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400105A (zh) * 2013-06-26 2013-11-20 东南大学 基于姿态归一化的非正面人脸表情识别方法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法

Also Published As

Publication number Publication date
CN105447473A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
Su et al. Deep learning-based solar-cell manufacturing defect detection with complementary attention network
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
Zhao et al. A visual long-short-term memory based integrated CNN model for fabric defect image classification
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
CN103279768B (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
Perveen et al. Facial expression recognition using facial characteristic points and Gini index
Arkin et al. A survey of object detection based on CNN and transformer
Xu et al. Face expression recognition based on convolutional neural network
CN110837777A (zh) 基于改进VGG-Net的部分遮挡的人脸表情识别方法
Singh et al. Leaf identification using feature extraction and neural network
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Chahla et al. Learned versus handcrafted features for person re-identification
Zhang et al. Classroom behavior recognition based on improved yolov3
Yan et al. An incremental intelligent object recognition system based on deep learning
Sooch et al. Emotion Classification and Facial Key point detection using AI
Jeevanantham et al. Deep Learning Based Plant Diseases Monitoring and Detection System
Nie Research on facial expression recognition of robot based on CNN convolution neural network
Ling et al. A facial expression recognition system for smart learning based on YOLO and vision transformer
Gao et al. Chinese fingerspelling sign language recognition using a nine-layer convolutional neural network
Liu et al. A dual-branch balance saliency model based on discriminative feature for fabric defect detection
Raju et al. Convolutional neural network demystified for a comprehensive learning with industrial application
Li et al. INDReview on facial expression analysis and its application in education
Depuru et al. Hybrid CNNLBP using facial emotion recognition based on deep learning approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant