CN104463172B - 基于人脸特征点形状驱动深度模型的人脸特征提取方法 - Google Patents

Abstract

本发明涉及一种基于人脸特征点形状驱动深度模型的人脸特征提取方法，该方法建立一种人脸特征点形状驱动深度模型，利用N个深度卷积神经网络对根据人脸特征点位置划分的N个人脸区域提取特征，得到各区域的判别性特征和属性特征，然后将这些判别性特征和属性特征进行融合，得到描述能力更强的特征。本发明提供的一种基于人脸特征点形状驱动深度模型的人脸特征提取方法，能更好的克服人脸识别在光照、角度、表情、遮挡等变化条件下的鲁棒性问题，提高这些条件下人脸识别的识别率。

Description

基于人脸特征点形状驱动深度模型的人脸特征提取方法

技术领域

本发明涉及一种人脸特征提取方法，特别涉及一种基于人脸特征点形状驱动深度模型的人脸特征提取方法。

背景技术

人脸特征提取是人脸识别最为关键的步骤之一，在对目标人脸图像进行识别之前，首先需要从每一人脸样本的多幅样本图像中，提取图像中的人脸特征。人脸特征提取的质量，将直接决定人脸识别的效果。现有的大部分人脸特征提取方法为人工特征的提取，如SIFT、Gabor、HoG、LBP等。进一步地，可以通过将这些人工特征进行合并来获取更优异的性能。近几年，采用深度学习进行特征提取逐渐成为研究热点，相比于人工特征提取方法，深度学习由于具有深层结构及强大的学习能力，从而可以通过分层的非线性映射获取更有效的特征。目前，用于人脸特征提取的深度学习模型包括深度置信网络(DBN,Deep BeliefNetwork)、栈式自编码器(SA,Stacked auto-encoder)、以及深度卷积神经网络(DCNN,DeepConvolutional Neural networks)等。尽管基于深度学习的特征表示为人脸识别带来了巨大的突破，非约束条件(光照、角度、表情等变化条件)下的人脸识别仍然存在很大挑战。而且，现有深度学习特征提取方法通常只对整张人脸图像提取全局特征，在局部变化(光照、角度、表情等变化都会带来局部变化)条件下，尤其在遮挡情况下，容易出现识别误差。

发明内容

有鉴于此，本发明的目的在于提供一种基于人脸特征点形状驱动深度模型的人脸特征提取方法，该方法基于DCNN建立了一种人脸特征点形状驱动深度模型，然后对人脸特征点形状驱动深度模型进行训练；最后利用人脸特征点形状驱动模型进行特征提取，所提取的特征融合了人脸各部分的判别性特征与该区域的光照、表情、角度、遮挡等属性特征，该方法提高了非约束条件下人脸识别的识别率。

为达到上述目的，本发明提供如下技术方案：

基于人脸特征点形状驱动深度模型的人脸特征提取方法，该方法包括以下步骤：

步骤一：基于深度卷积神经网络DCNN建立人脸特征点形状驱动深度模型；

步骤二：对人脸特征点形状驱动深度模型进行训练；训练样本为两张人脸图片及图像中相应的N个区域，每个区域的样本对应每个区域卷积神经网络，输出为两类soft-max，o_ti,t＝1,2,...,T，i∈{1,2}；

步骤三：利用人脸特征点形状驱动深度模型进行人脸特征提取和特征融合，首先对矫正后的人脸图片进行区域的划分，然后利用人脸特征点形状驱动模型进行特征提取，所提取的特征融合了人脸各部分的判别性特征与属性特征。

进一步，所述步骤一中的人脸特征点形状驱动深度模型包括区域卷积网络和全连接网络。

进一步，所述区域卷积网络为N个，区域卷积网络由DCNN中卷积层和池化层所构成，用于对人脸的N个区域进行特征提取；其中，N为根据人脸特征点的位置信息，将人脸图像划分的N个区域。

进一步，所述全连接网络为T个，T>N，全连接网络由DCNN中的全连接层构成，全连接网络与区域卷积网络相连，每个区域卷积网络对应一个输出判别性特征的全连接网络及多个输出属性特征的全连接网络。

进一步，所述N个区域之间有重合。

进一步，所述N为十，区域的划分方法为将人脸划分为整张人脸、头发、前额、眉毛、眼睛、鼻子、两颊、唇上、嘴和下巴十个区域，其中前额、眉毛、眼睛、唇上、嘴巴为矩形区域，鼻子、头发为梯形区域，下巴、两颊及整张人脸为椭圆形区域。

本发明的有益效果在于：本发明提出基于人脸特征点形状驱动深度模型的人脸特征提取方法，通过融合人脸特征点周围的局部特征及光照、角度、遮挡等属性特征提高特征的描述能力。该方法具有以下优点：1)层次化深度学习特征相比于低层特征具有更好的描述能力，同时，人脸特征点形状驱动使得模型获取的特征融合了全局特征、局部特征及属性特征，能更好的克服人脸识别在光照、角度、表情等变化条件下的失配问题；2)通过人脸分块和区域遮挡信息特征融合，能够有效解决部分遮挡问题，提高遮挡条件下人脸识别的识别率。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为DCNN结构图；

图2为人脸特征点形状驱动特征提取网络结构；

图3为人脸特征点示例图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提供的一种基于人脸特征点形状驱动深度模型的人脸特征提取方法，该方法包括以下步骤：

步骤一：基于DCNN建立人脸特征点形状驱动深度模型；

步骤二：对人脸特征点形状驱动深度模型进行训练；

步骤三：利用人脸特征点形状驱动深度模型进行人脸特征提取和特征融合，首先对矫正后的人脸图片进行区域的划分，然后利用人脸特征点形状驱动模型进行特征提取，所提取的特征融合了人脸各部分的判别性特征与属性特征。

采用深度卷积神经网络(DCNN)来提取人脸特征，DCNN是一个层次化的结构，如图1所示，除了输入层和输出层之外，每层都将上一层的输出作为输入，并将本层的输出传递到下一层。其前半部分由多个卷积(convolution)层与池化(pooling)层交替连接而成，这里采用最大池化(Max Pooling)；卷积层与池化层之后是全连接层，其输入为前一层的多个特征面，输出是用于分类的特征；DCNN的输出是一个n类soft-max：i＝1,2,...,n，其中u_i表示输出神经元i的全部输入(上一层全部神经元输出值的加权和)，o_i为其输出，描述了n类的概率分布。DCNN通过最小化-log o_i来训练参数，其中i∈{1,2,...,n}。

DCNN良好的分类性能来源于卷积层和池化层的设计。每个卷积层或池化层都由多个平面组成(称为特征图)，每个平面中的神经元只和前一层平面中的一个小区域有连接。相比于全连接(与前一层中的所有神经元相连接)，局部连接可以减少参数个数，提高分类效率，并且避免参数训练时发生过拟合，提高分类器的泛化性能。卷积层通过卷积操作从输入图像或前一层的特征图中提取特征，池化层用于降低特征维数，并吸收形状和位置变化的影响。DCNN可以提取图像的层次化特征，通过卷积层与池化层，低层特征被逐渐合并成高层特征。相比于低层特征，高层特征具有更好的描述能力，这也是DCNN在图像分类任务中取得良好表现的原因。

本发明基于DCNN设计了一种基于人脸特征点形状驱动的人脸特征深度提取模型，在深度模型的不同层次融合人脸特征点的形状信息，使得最终学习得到的人脸特征能够更好地处理自然环境下的人脸变换。该模型是根据人脸特征点的位置信息，将人脸图像分为N个区域；再利用卷积网络(图1中卷积层与池化层构成的网络)对每个区域提取特征，我们称之为区域卷积网络；然后再进行特征融合，得到描述能力更强的特征。人脸特征点形状驱动特征提取网络结构，如图2所示。人脸特征点即人脸中具有明显特征的一些关键点，如瞳孔中心、鼻尖、眉毛两端点、嘴角等，如图3所示。对于区域的划分方法可以是将人脸划分为十个区域，分别为整张人脸、头发、前额、眉毛、眼睛、鼻子、两颊、唇上、嘴和下巴，根据形状前额、眉毛、眼睛、唇上、嘴巴为矩形区域，鼻子、头发选取梯形区域，下巴、两颊及整张人脸则为椭圆形区域。为了使得区域的划分能够对角度变化、误差、人脸对齐等因素鲁棒，各个区域需要包含相对大一点的面积，各区域之间可以有重合。T(T>N)个全连接网络输出的特征包含每个区域的判别性特征与带有光照、角度、表情、以及遮挡等信息的属性特征，即每个区域卷积网络对应一个输出判别性特征的全连接网络及多个输出属性特征的全连接网络。属性特征的融合有利于提升人脸识别在光照、角度、遮挡等变化条件下的识别效果。

训练过程：为实现基于人脸特征点形状驱动深度模型的特征提取方法，首先需要训练人脸特征点形状驱动的深度模型。训练样本为两张人脸图片及图像中相应的N个区域(每张人脸图片及每块区域都带有“是否为同一人”、光照、角度、表情、遮挡等标注信息)，每个区域的样本对应每个区域卷积神经网络，输出为o_ti,t＝1,2,...,T。对于本发明中的情况，由于仅需要描述是否为同一人或者某种属性是否出现(如是否被遮挡或角度是否为10°)，故模型输出为两类soft-max，即i∈{1,2}。利用DCNN的训练方法——随机梯度下降法，通过最小化-log o_ti，即可训练出模型的参数。

测试过程：利用人脸特征点形状驱动模型进行特征提取，首先需要对矫正后的人脸图片(特征提取通常是在人脸矫正或对齐步骤之后)进行区域的划分，然后即可以利用本发明提出的人脸特征点形状驱动模型进行特征提取，提取的特征融合了具有判别性特征与属性特征，因此对光照、表情、角度、遮挡等变化具有更强的鲁棒性。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.基于人脸特征点形状驱动深度模型的人脸特征提取方法，其特征在于：该方法包括以下步骤：

步骤一：基于深度卷积神经网络DCNN建立人脸特征点形状驱动深度模型；

步骤二：对人脸特征点形状驱动深度模型进行训练；训练样本为两张人脸图片及图片中相应的N个区域，每张人脸图片及每个区域都带有“是否为同一人”、光照、角度、表情、遮挡标注信息，每个区域的样本对应每个区域深度卷积神经网络，输出为两类soft-max，输出结果为o_ti,t＝1,2,...,T，i∈{1,2}；

步骤三：利用人脸特征点形状驱动深度模型进行人脸特征提取和特征融合，首先对矫正后的人脸图片进行区域的划分，然后利用人脸特征点形状驱动深度模型进行特征提取，所提取的特征融合了人脸各部分的判别性特征与属性特征；

所述步骤一中的人脸特征点形状驱动深度模型包括区域卷积网络和全连接网络；

所述区域卷积网络为N个，区域卷积网络由DCNN中卷积层和池化层所构成，用于对人脸的N个区域进行特征提取；其中，N为根据人脸特征点的位置信息，将人脸图片划分的N个区域；

所述全连接网络为T个，T>N，全连接网络由DCNN中的全连接层构成，全连接网络与区域卷积网络相连，每个区域卷积网络对应一个输出判别性特征的全连接网络及多个输出属性特征的全连接网络。

2.根据权利要求1所述的基于人脸特征点形状驱动深度模型的人脸特征提取方法，其特征在于：所述N个区域之间有重合。

3.根据权利要求1所述的基于人脸特征点形状驱动深度模型的人脸特征提取方法，其特征在于：所述N为十，区域的划分方法为将人脸划分为整张人脸、头发、前额、眉毛、眼睛、鼻子、两颊、唇上、嘴和下巴十个区域，其中前额、眉毛、眼睛、唇上、嘴为矩形区域，鼻子、头发为梯形区域，下巴、两颊及整张人脸为椭圆形区域。