CN107169455B - 基于深度局部特征的人脸属性识别方法 - Google Patents

Abstract

本发明提供的方法是基于局部区域特征来进行人脸属性识别的，局部区域特征与全部区域特征相比更有鲁棒性和判别力；再者，利用降维和多尺度特征融合，比传统的降维方式和仅使用最后一层特征的方式，能得到更多有用的深度层级视觉特征；利用局部区域定位、分类和局部属性识别，能够更好的找到各属性所对应的人脸关键特征区域。

Description

基于深度局部特征的人脸属性识别方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于深度局部特征的人脸属性识别方法。

背景技术

在大规模人脸检索、图像理解和人脸识别等应用中，对图像中人脸的属性进行结构化分析是非常有用的。基于人脸属性，不仅可以构建人脸描述子、更深层次地理解人脸图像，还可以进一步开展由属性到图片再生等有趣的新任务。然而，人脸属性识别这个问题却又是极具挑战性的，因为在现实世界中所捕获到的人脸往往受到诸如光照和姿态变化等不利的影响。目前的人脸属性识别方法通常是对整张人脸图像提取特征描述，然后再训练相应的分类器对属性进行识别的。然而，这些方法所提取到的特征都是全局特征，对于大多数局部属性而言，存在大量冗余、甚至是不利干扰。

发明内容

本发明为解决以上现有技术在进行人脸属性识别时存在提取的全局特征存在大量冗余、甚至是不利干扰的缺陷，提供了一种基于深度局部特征的人脸属性识别方法，该方法能够得到更有鲁棒性、更有判别力的特征，从而对非控条件下的人脸属性具有更高的识别率。

为实现以上发明目的，采用的技术方案是：

基于深度局部特征的人脸属性识别方法，包括以下步骤：

一、训练阶段

S1.对于训练集中的每一幅人脸图像，利用深度卷积神经网络的不同卷积层计算得到多个尺度下的特征图；

S2.利用得到的多个尺度下的特征图和人脸图像N个局部区域的边界框类标，分别为N个局部区域训练相应的局部区域定位网络；其中N为大于2的整数；

S3.根据训练集中的每一幅人脸图像的多尺度特征图和N个局部区域的边界框类标，计算各个局部区域的多尺度特征图；

S4.将计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S5.将步骤S4得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；

二、测试阶段

S6.利用步骤S1提取测试集中人脸图像多个尺度下的特征图，然后利用步骤S2得到的局部区域定位网络从多个尺度下的特征图中定位出N个局部区域；

S7.利用定位出的N各局部区域的边界框类标及人脸图像多个尺度下的特征图算各个局部区域的多尺度特征图；

S8.对计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S9.利用步骤S5训练好的局部属性分类器对融合特征进行属性识别，得到各局部区域相关的人脸属性，将各个局部区域相关的人脸属性组合起来，得到测试集中人脸图像的人脸属性。

与现有技术相比，本发明的有益效果是：

本发明提供的方法是基于局部区域特征来进行人脸属性识别的，局部区域特征与全部区域特征相比更有鲁棒性和判别力；再者，利用降维和多尺度特征融合，比传统的降维方式和仅使用最后一层特征的方式，能得到更多有用的深度层级视觉特征；利用局部区域定位、分类和局部属性识别，能够更好的找到各属性所对应的人脸关键特征区域。

附图说明

图1为训练阶段的示意图。

图2为测试阶段的示意图。

图3为边界框差值定义图。

图4为9个局部区域的定义图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

本发明提供的基于深度局部特征的人脸属性识别方法可分为训练阶段(包含三个任务)和测试阶段：(1)训练阶段的局部区域定位和分类任务：首先利用深度卷积神经网络提取训练集中人脸图像的多尺度特征，然后利用得到的特征和9个局部区域的边界框类标，进行局部区域定位和分类任务的训练；(2)训练阶段的局部属性识别任务：根据训练集中每个人脸图像9个局部区域的边界框类标和用深度卷积神经网络提取的多尺度特征，映射计算各局部区域的多尺度特征，分别进行2DPCA降维和特征融合后，送入各自的局部属性识别网络进行局部属性分类器训练；(3)测试阶段：将测试的人脸图像输入深度卷积神经网络得到整幅图像的多尺度特征，将得到的特征送入局部区域定位网络定位得到9个局部区域位置坐标，根据得到的位置坐标和整图多尺度特征，映射计算各局部区域多尺度特征，分别做2DPCA降维和特征融合后，送入局部属性分类器，识别得到局部属性，组合即为全部人脸属性。

如图1、2所示，本发明具体包括下述步骤：

步骤1：将人脸图像数据集中的图片，部分作为训练集，剩下的作为测试集；

步骤2：对于训练集中每一个人脸图像，用深度卷积神经网络的不同卷积层计算得到不同尺度的特征图；

步骤3：利用得到的特征图和每个人脸的额头至头顶、眉毛、眼睛、鼻子、嘴巴、下巴、脖颈、面部、头部等9个局部区域的边界框类标，训练局部区域定位网络；

所述局部区域定位网络在进行边界框回归训练时，利用候选边界框与真值之间的重叠率和9个局部区域固有的位置关系作为约束条件：

记第i个局部区域边界框的左上角坐标(x_i,y_i)，宽和高分别为w_i,h_i；

对一给定的像素点(x',y')，记它与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，如图3所示，则显然：

Δx_li＝x'-x_i；Δy_li＝y'-y_i；Δx_ri＝x_i+w_i-x'；Δy_ri＝y_i-h_i-y'

若记该点与真值边界框

左上角、右下角的坐标差值分别为

和

真值边界框与候选边界框重叠区域的宽、高分别为Δx_i、Δy_i，则可得：

候选边界框的面积为：S_i＝(Δx_li+Δx_ri)×(Δy_li+Δy_ri)

真值边界框的面积为：

候选边界框与真值边界框重叠面积为：S_∩i＝Δx_i×Δy_i

其中，

而且，若重叠面积为0，即若

或

则Δx_i＝0，Δy_i＝0；

则可以计算出，第i个局部区域候选边界框与真值边界框的重叠率为：

则对于任何一个局部区域i，真值边界框的约束关系在loss函数中可以表示为

其中i＝1,2,...,9

此外，如图4所示，根据9个局部区域的标记规则和人脸图像固有的生理构造，各局部区域边界框之间存在如下约束关系：

记额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域9个局部区域的边界框坐标分别为(x_i,y_i,w_i,h_i)，其中i＝1,2,...,9，则存在：

y₁+h₁＝y₂；x₂＝x₃；y₂＝y₃；x₃＜x₄＜x₄+w₄＜x₃+w₃；y₃＜y₄＜y₅；

y₅+h₅＝y₆；y₆+h₆＝y₇；y₈+h₈＝y₉+h₉；x₈＝x₉；w₈＝w₉；y₉＝y₁

记像素点(x',y')与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，则以上约束关系可对应转化为：

Δy_r1＝-Δy_l2；Δx_l2＝Δx_l3；Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4＜Δx_r4＜Δx_r3；Δy_l3＞Δy_l4＞Δy_l5；

Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9；Δx_l8＝Δx_l9；Δx_l8+Δx_r8＝Δx_l9+Δx_r9；Δy_l9＝Δy_l1

定义条件函数

以Δy_r1＝-Δy_l2；Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9作为约束，取相应loss函数为L”_loc1i＝β₁(i)|Δy_ri+Δy_li+1|

以Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4；Δx_r4＜Δx_r3；Δy_l3＞Δy_l4作为约束，取相应loss函数为L”_loc2i＝β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))

以Δx_l2＝Δx_l3；Δx_l8＝Δx_l9作为约束，取相应loss函数为L”_loc3i＝β₂(i)|Δx_li-Δx_li+1|

以Δy_l9＝Δy_l1作为约束，取loss函数为L”_loc4i＝β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)

以-Δx_l4＜Δx_r4；Δy_l4＞Δy_l5作为约束，取相应loss函数为

L”_loc5i＝β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))

以上约束均为两个局部区域相对位置关系的局部约束，组合起来，即可做为整个人脸9个局部区域间的边界框约束条件：

L”_loci＝L”_loc1i+L”_loc2i+L”_loc3i+L”_loc4i+L”_loc5i

＝β₁(i)|Δy_ri+Δy_li+1|+β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))

+β₂(i)|Δx_li-Δx_li+1|+β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)+β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))

综上，利用候选边界框与真值之间的重叠率和9个局部区域固有的位置关系作为约束条件，可得第i个局部区边界框回归的loss函数为：

步骤4：根据训练集每个人脸图像的多尺度特征图和局部区域的边界框类标，计算各局部区域的多尺度特征图；

对于一幅w×h的人脸图像，定义第i个局部区域的边界框坐标为(x_i,y_i,w_i,h_i)，其中i＝1,2,...,9，若该人脸图像经过第j个卷积层之后，所得到的特征图尺寸为w_j×h_j，(j＝1,2,...)，则该人脸图像第i个局部区域在第j个特征图上所对应的特征区域坐标为：

由此即可得到全部9个局部区域各自的多尺度特征图。

步骤5：对步骤4得到各局部区域的多尺度特征图进行2DPCA降维，并把降维后得到的特征按区域连接到一起进行特征融合；

对于任一尺度，记训练样本的数目为N，S_ni为第n个样本的第i个局部区域在该尺度下的特征图，

表示该尺度下所有样本第i个局部区域的特征图均值，则可以得到，该尺度下第i个局部区域在整个样本集的协方差矩阵为：

则按照广义总体散布准则，第i个局部区域所对应的投影矩阵的目标函数可以表示为：

选取协方差矩阵C_i的前d个较大的特征值所对应的特征向量作为最优投影轴：

则可得第i个局部区域所对应的的最优投影矩阵X_i＝[X_i1,X_i2,...,X_id]，则所选尺度下，第n个样本的第i个局部区域投影后的特征图为Y_ni＝S_niX_i，即为降维后的新的特征图。

把降维后得到的新的多尺度特征，分别按区域连接为一个列向量来进行特征融合，作为各局部区域提取的总特征。

步骤6：把步骤5得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；

三个训练任务同时进行：局部区域边界框回归、局部区域类别识别、局部区域属性识别。总体目标损失函数是三个任务损失函数的加权和：

其中，N为训练样本的数目，M为第i个局部区域相关的属性个数，λ₁，λ₂，λ₃是三个任务的loss权重；

(1)L_locji：局部区域边界框回归loss

根据步骤3的详细推导：

(2)L_confji：局部区域类别识别loss

定义

表示第j张样本图片的第i个边界框区域是真类u的概率，

表示真值标记，则

(3)L_attrjim：局部区域属性识别loss

定义第j张样本图片的第i个边界框内包含M个人脸属性，y_jim和f_m(x_ji)分别表示第m个属性的真值类标和预测值，则L_attrjim＝||f_m(x_ji)-y_jim||²

步骤7：将测试集人脸图像通过步骤2提取多尺度特征，输入步骤3定位得到9个局部区域，利用步骤4计算得到各局部区域的多尺度特征，并利用步骤5进行2DPCA降维和特征融合，然后用步骤6训练好的分类器进行属性识别，得到各局部区域相关的人脸属性，组合起来即得到全部人脸属性。

本实施例通过以下实验对本发明的效果进行说明：选择CelebA人脸数据库，该数据库共有202599张人脸图像，每张均标注40个人脸属性。按6:3:1的比例，随机选取相应数目的图片，分别用于训练、验证和测试。按照本发明算法的步骤，首先用深度卷积神经网络提取训练集人脸图像的多尺度特征，进行局部区域定位和分类任务、局部属性识别任务的训练，然后用训练得到的多任务属性识别模型对测试集图像40个人脸属性进行识别，得到最终的识别结果。

对于该实验，一共评估了5种不同的方法，它们是：Triplet-kNN、PANDA、ANet、LMLE-kNN和本发明提出的方法。5种方法对40个人脸属性的识别准确率和平均准确率如表1所示，其中前四种方法的准确率数据引自2016年发表在CVPR的《Learning DeepRepresentation for Imbalanced Classification》。由表1可知，本发明所提出方法的平均检测准确率最高，而且对于局部属性的识别准确率普遍远远高于其他四种方法，说明有针对性地提取人脸局部区域的特征，比用整幅人脸图像来做属性识别效果要好。

表1：本发明方法在CelebA数据库上与其他方法的比较

Attribute	Triplet-kNN	PANDA	ANet	LMLE-kNN	本发明
						5_o_Clock_Shadow	66	76	81	82	87
Arched_Eyebrows	73	77	76	79	82
						Attractive	83	85	87	88	83
Bags_Under_Eyes	63	67	70	73	80
						Bald	75	74	73	90	97
Bangs	81	92	90	98	94
						Big_Lips	55	56	57	60	69
Big_Nose	68	72	78	80	80
						Black_Hair	82	84	90	92	89
Blond_Hair	81	91	90	99	94
						Blurry	43	50	56	59	89
Brown_Hair	76	85	83	87	82
						Bushy_Eyebrows	68	74	82	82	86
Chubby	64	65	70	79	88
						Double_Chin	60	64	68	74	84
Eyeglasses	82	88	95	98	99
						Goatee	73	84	86	95	95
Gray_Hair	72	79	85	91	91
						Heavy_Makeup	88	95	96	98	92
High_Cheekbones	86	89	89	92	88
						Male	91	99	99	99	99
Mouth_Slightly_Open	92	93	96	96	94
						Mustache	57	63	61	73	93
Narrow_Eyes	47	51	57	59	79
						No_Beard	82	87	93	96	93
Oval_Face	61	66	67	68	66
						Pale_Skin	63	69	77	80	91
Pointy_Nose	61	67	69	72	72
						Receding_Hairline	60	67	70	76	85
Rosy_Cheeks	64	68	76	78	89
						Sideburns	71	81	79	88	96
Smiling	92	98	97	99	94
						Straight_Hair	63	66	69	73	72
Wavy_Hair	77	78	81	83	76
						Wearing_Earrings	69	77	83	83	86
Wearing_Hat	84	90	90	99	96
						Wearing_Lipstick	91	97	95	99	91
Wearing_Necklace	50	51	59	59	78
						Wearing_Necktie	73	85	79	90	92
Young	75	78	84	87	77
						Average	72	77	80	84	87

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.基于深度局部特征的人脸属性识别方法，其特征在于：包括以下步骤：

一、训练阶段

S1.对于训练集中的每一幅人脸图像，利用深度卷积神经网络的不同卷积层计算得到多个尺度下的特征图；

S2.利用得到的多个尺度下的特征图和人脸图像N个局部区域的边界框类标，分别为N个局部区域训练相应的局部区域定位网络；其中N为大于2的整数；

S3.根据训练集中的每一幅人脸图像的多尺度特征图和N个局部区域的边界框类标，计算各个局部区域的多尺度特征图；

S4.将计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S5.将步骤S4得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；

二、测试阶段

S6.利用步骤S1提取测试集中人脸图像多个尺度下的特征图，然后利用步骤S2得到的局部区域定位网络从多个尺度下的特征图中定位出N个局部区域；

S7.利用定位出的N个 局部区域的边界框类标及人脸图像多个尺度下的特征图计 算各个局部区域的多尺度特征图；

S8.对计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；

S9.利用步骤S5训练好的局部属性分类器对融合特征进行属性识别，得到各局部区域相关的人脸属性，将各个局部区域相关的人脸属性组合起来，得到测试集中人脸图像的人脸属性；

所述人脸图像N个局部区域包括：额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域；

所述步骤S2的局部区域定位网络在进行边界框回归训练时，利用候选边界框和真值边界框的重叠率和9个局部区域固有的位置关系作为约束条件：

记第i个局部区域边界框的左上角坐标(x_i,y_i)，宽和高分别为w_i,h_i；

对一给定的像素点(x',y')，记它与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，则显然：

Δx_li＝x'-x_i；Δy_li＝y'-y_i；Δx_ri＝x_i+w_i-x'；Δy_ri＝y_i-h_i-y'

若记该点与真值边界框

左上角、右下角的坐标差值分别为

和

真值边界框与候选边界框重叠区域的宽、高分别为Δx_i、Δy_i，则可得：

候选边界框的面积为：S_i＝(Δx_li+Δx_ri)×(Δy_li+Δy_ri)

真值边界框的面积为：

候选边界框与真值边界框重叠面积为：S_∩i＝Δx_i×Δy_i

其中，

而且，若重叠面积为0，即若

或

则Δx_i＝0，Δy_i＝0；

则可以计算出，第i个局部区域候选边界框与真值边界框的重叠率为：

则对于任何一个局部区域i，真值边界框的约束关系在loss函数中可以表示为

此外根据9个局部区域的标记规则和人脸图像固有的生理构造，各局部区域边界框之间存在如下约束关系：

记额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域9个局部区域的边界框坐标分别为(x_i,y_i,w_i,h_i)，其中i＝1,2,...,9，则存在：

y₁+h₁＝y₂；x₂＝x₃；y₂＝y₃；x₃＜x₄＜x₄+w₄＜x₃+w₃；y₃＜y₄＜y₅；

y₅+h₅＝y₆；y₆+h₆＝y₇；y₈+h₈＝y₉+h₉；x₈＝x₉；w₈＝w₉；y₉＝y₁

记像素点(x',y')与第i个局部区域边界框(x_i,y_i,w_i,h_i)左上角、右下角的坐标差值分别为：(Δx_li,Δy_li)和(Δx_ri,Δy_ri)，则以上约束关系可对应转化为：

Δy_r1＝-Δy_l2；Δx_l2＝Δx_l3；Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4＜Δx_r4＜Δx_r3；Δy_l3＞Δy_l4＞Δy_l5；

Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9；Δx_l8＝Δx_l9；Δx_l8+Δx_r8＝Δx_l9+Δx_r9；Δy_l9＝Δy_l1

定义条件函数

则：

以Δy_r1＝-Δy_l2；Δy_r5＝-Δy_l6；Δy_r6＝-Δy_l7；Δy_r8＝-Δy_l9作为约束，取相应loss函数为L”_loc1i＝β₁(i)|Δy_ri+Δy_li+1|

以Δy_l2＝Δy_l3；-Δx_l3＜-Δx_l4；Δx_r4＜Δx_r3；Δy_l3＞Δy_l4作为约束，取相应loss函数为L”_loc2i＝β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))

以Δx_l2＝Δx_l3；Δx_l8＝Δx_l9作为约束，取相应loss函数为L”_loc3i＝β₂(i)|Δx_li-Δx_li+1|

以Δy_l9＝Δy_l1作为约束，取loss函数为L”_loc4i＝β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)

以-Δx_l4＜Δx_r4；Δy_l4＞Δy_l5作为约束，取相应loss函数为

L”_loc5i＝β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))

以上约束均为两个局部区域相对位置关系的局部约束，组合起来，即可做为整个人脸9个局部区域间的边界框约束条件：

L”_loci＝L”_loc1i+L”_loc2i+L”_loc3i+L”_loc4i+L”_loc5i

＝β₁(i)|Δy_ri+Δy_li+1|+β₃(i)(|Δy_li-1-Δy_li|+θ(Δx_li-Δx_li+1)+θ(Δx_ri-Δx_ri+1)+θ(Δy_li-Δy_li+1))+β₂(i)|Δx_li-Δx_li+1|+β₄(i)(|Δy_li-Δy_li-8|+|Δx_ri-1-Δx_ri|)+β₅(i)(θ(Δx_ri+Δx_li)+θ(Δy_li-Δy_li+1))。

2.根据权利要求1所述的基于深度局部特征的人脸属性识别方法，其特征在于：所述降维为2DPCA降维。

Images