CN107169455A - 基于深度局部特征的人脸属性识别方法 - Google Patents

基于深度局部特征的人脸属性识别方法 Download PDF

Info

Publication number
CN107169455A
CN107169455A CN201710344364.5A CN201710344364A CN107169455A CN 107169455 A CN107169455 A CN 107169455A CN 201710344364 A CN201710344364 A CN 201710344364A CN 107169455 A CN107169455 A CN 107169455A
Authority
CN
China
Prior art keywords
local
bounding box
region
local area
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710344364.5A
Other languages
English (en)
Other versions
CN107169455B (zh
Inventor
赖剑煌
马伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201710344364.5A priority Critical patent/CN107169455B/zh
Publication of CN107169455A publication Critical patent/CN107169455A/zh
Application granted granted Critical
Publication of CN107169455B publication Critical patent/CN107169455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的方法是基于局部区域特征来进行人脸属性识别的，局部区域特征与全部区域特征相比更有鲁棒性和判别力；再者，利用降维和多尺度特征融合，比传统的降维方式和仅使用最后一层特征的方式，能得到更多有用的深度层级视觉特征；利用局部区域定位、分类和局部属性识别，能够更好的找到各属性所对应的人脸关键特征区域。

Description

基于深度局部特征的人脸属性识别方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于深度局部特征的人脸属性识别方法。
背景技术
在大规模人脸检索、图像理解和人脸识别等应用中，对图像中人脸的属性进行结构化分析是非常有用的。基于人脸属性，不仅可以构建人脸描述子、更深层次地理解人脸图像，还可以进一步开展由属性到图片再生等有趣的新任务。然而，人脸属性识别这个问题却又是极具挑战性的，因为在现实世界中所捕获到的人脸往往受到诸如光照和姿态变化等不利的影响。目前的人脸属性识别方法通常是对整张人脸图像提取特征描述，然后再训练相应的分类器对属性进行识别的。然而，这些方法所提取到的特征都是全局特征，对于大多数局部属性而言，存在大量冗余、甚至是不利干扰。
发明内容
本发明为解决以上现有技术在进行人脸属性识别时存在提取的全局特征存在大量冗余、甚至是不利干扰的缺陷，提供了一种基于深度局部特征的人脸属性识别方法，该方法能够得到更有鲁棒性、更有判别力的特征，从而对非控条件下的人脸属性具有更高的识别率。
为实现以上发明目的，采用的技术方案是：
基于深度局部特征的人脸属性识别方法，包括以下步骤：
一、训练阶段
S1.对于训练集中的每一幅人脸图像，利用深度卷积神经网络的不同卷积层计算得到多个尺度下的特征图；
S2.利用得到的多个尺度下的特征图和人脸图像N个局部区域的边界框类标，分别为N个局部区域训练相应的局部区域定位网络；其中N为大于2的整数；
S3.根据训练集中的每一幅人脸图像的多尺度特征图和N个局部区域的边界框类标，计算各个局部区域的多尺度特征图；
S4.将计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；
S5.将步骤S4得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；
二、测试阶段
S6.利用步骤S1提取测试集中人脸图像多个尺度下的特征图，然后利用步骤S2得到的局部区域定位网络从多个尺度下的特征图中定位出N个局部区域；
S7.利用定位出的N各局部区域的边界框类标及人脸图像多个尺度下的特征图算各个局部区域的多尺度特征图；
S8.对计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；
S9.利用步骤S5训练好的局部属性分类器对融合特征进行属性识别，得到各局部区域相关的人脸属性，将各个局部区域相关的人脸属性组合起来，得到测试集中人脸图像的人脸属性。
与现有技术相比，本发明的有益效果是：
本发明提供的方法是基于局部区域特征来进行人脸属性识别的，局部区域特征与全部区域特征相比更有鲁棒性和判别力；再者，利用降维和多尺度特征融合，比传统的降维方式和仅使用最后一层特征的方式，能得到更多有用的深度层级视觉特征；利用局部区域定位、分类和局部属性识别，能够更好的找到各属性所对应的人脸关键特征区域。
附图说明
图1为训练阶段的示意图。
图2为测试阶段的示意图。
图3为边界框差值定义图。
图4为9个局部区域的定义图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
本发明提供的基于深度局部特征的人脸属性识别方法可分为训练阶段(包含三个任务)和测试阶段：(1)训练阶段的局部区域定位和分类任务：首先利用深度卷积神经网络提取训练集中人脸图像的多尺度特征，然后利用得到的特征和9个局部区域的边界框类标，进行局部区域定位和分类任务的训练；(2)训练阶段的局部属性识别任务：根据训练集中每个人脸图像9个局部区域的边界框类标和用深度卷积神经网络提取的多尺度特征，映射计算各局部区域的多尺度特征，分别进行2DPCA降维和特征融合后，送入各自的局部属性识别网络进行局部属性分类器训练；(3)测试阶段：将测试的人脸图像输入深度卷积神经网络得到整幅图像的多尺度特征，将得到的特征送入局部区域定位网络定位得到9个局部区域位置坐标，根据得到的位置坐标和整图多尺度特征，映射计算各局部区域多尺度特征，分别做2DPCA降维和特征融合后，送入局部属性分类器，识别得到局部属性，组合即为全部人脸属性。
如图1、2所示，本发明具体包括下述步骤：
步骤1：将人脸图像数据集中的图片，部分作为训练集，剩下的作为测试集；
步骤2：对于训练集中每一个人脸图像，用深度卷积神经网络的不同卷积层计算得到不同尺度的特征图；
步骤3：利用得到的特征图和每个人脸的额头至头顶、眉毛、眼睛、鼻子、嘴巴、下巴、脖颈、面部、头部等9个局部区域的边界框类标，训练局部区域定位网络；
所述局部区域定位网络在进行边界框回归训练时，利用候选边界框与真值之间的重叠率和9个局部区域固有的位置关系作为约束条件：
记第i个局部区域边界框的左上角坐标(xi,yi)，宽和高分别为wi,hi；
对一给定的像素点(x',y')，记它与第i个局部区域边界框(xi,yi,wi,hi)左上角、右下角的坐标差值分别为：(Δxli,Δyli)和(Δxri,Δyri)，如图3所示，则显然：
Δxli＝x'-xi；Δyli＝y'-yi；Δxri＝xi+wi-x'；Δyri＝yi+hi-y'
若记该点与真值边界框左上角、右下角的坐标差值分别为和真值边界框与候选边界框重叠区域的宽、高分别为Δxi、Δyi，则可得：候选边界框的面积为：Si＝(Δxli+Δxri)×(Δyli+Δyri)
真值边界框的面积为：
候选边界框与真值边界框重叠面积为：S∩i＝Δxi×Δyi
其中，而且，若重叠面积为0，即若或则Δxi＝0，Δyi＝0；
则可以计算出，第i个局部区域候选边界框与真值边界框的重叠率为：
则对于任何一个局部区域i，真值边界框的约束关系在loss函数中可以表示
为
此外，如图4所示，根据9个局部区域的标记规则和人脸图像固有的生理构造，各局部区域边界框之间存在如下约束关系：
记额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区
域、脖颈区域、面部区域、头部区域9个局部区域的边界框坐标分别为(xi,yi,wi,hi)(i＝1,2,...,9)，则存在：
y1+h1＝y2；x2＝x3；y2＝y3；x3＜x4＜x4+w4＜x3+w3；y3＜y4＜y5；
y5+h5＝y6；y6+h6＝y7；y8+h8＝y9+h9；x8＝x9；w8＝w9；y9＝y1
记像素点(x',y')与第i个局部区域边界框(xi,yi,wi,hi)左上角、右下角的坐标差值分别为：(Δxli,Δyli)和(Δxri,Δyri)，则以上约束关系可对应转化为：
Δyr1＝-Δyl2；Δxl2＝Δxl3；Δyl2＝Δyl3；-Δxl3＜-Δxl4＜Δxr4＜Δxr3；Δyl3＞Δyl4＞Δyl5；
Δyr5＝-Δyl6；Δyr6＝-Δyl7；Δyr8＝-Δyl9；Δxl8＝Δxl9；Δxl8+Δxr8＝Δxl9+Δxr9；Δyl9＝Δyl1
定义条件函数 则：
以Δyr1＝-Δyl2；Δyr5＝-Δyl6；Δyr6＝-Δyl7；Δyr8＝-Δyl9作为约束，取相应loss函数为L″loc1i＝β1(i)|Δyri+Δyli+1|
以Δyl2＝Δyl3；-Δxl3＜-Δxl4；Δxr4＜Δxr3；Δyl3＞Δyl4作为约束，取相应loss函数为L″loc2i＝β3(i)(|Δyli-1-Δyli|+θ(Δxli-Δxli+1)+θ(Δxri-Δri+1)+θ(Δyli-Δyli+1))
以Δxl2＝Δxl3；Δxl8＝Δxl9作为约束，取相应loss函数为L″loc3i＝β2(i)|Δxli-Δxli+1|
以Δyl9＝Δyl1作为约束，取loss函数为L″loc4i＝β4(i)(Δyli-Δyli-8|+|Δxri-1-Δxri|)
以-Δxl4＜Δxr4；Δyl4＞Δyl5作为约束，取相应loss函数为
L″loc5i＝β5(i)(θ(Δxri+Δxli)+θ(Δyli-Δyli+1))
以上约束均为两个局部区域相对位置关系的局部约束，组合起来，即可做为整个人脸9个局部区域间的边界框约束条件：
L″loci＝L″loc1i+L″loc2i+L″loc3i+L″loc4i+L″loc5i＝β1(i)|Δyri+Δyli+1|+β3(i)(|Δyli-1-Δyli|+θ(Δxli-Δxli+1)+θ(Δxri-Δxri+1)+θ(Δyli-Δyli+1))+β2(i)|Δxli-Δxli+1|+β4(i)(|Δyli-Δyli-8|+|Δxri-1-Δxri|)+β5(i)(θ(Δxri+Δxli)+θ(Δyli-Δyli+1))
综上，利用候选边界框与真值之间的重叠率和9个局部区域固有的位置关系作为约束条件，可得第i个局部区边界框回归的loss函数为：
步骤4：根据训练集每个人脸图像的多尺度特征图和局部区域的边界框类标，计算各局部区域的多尺度特征图；
对于一幅w×h的人脸图像，定义第i个局部区域的边界框坐标为(xi,yi,wi,hi)(i＝1,2,...,9)，若该人脸图像经过第j个卷积层之后，所得到的特征图尺寸为wj×hj(j＝1,2,...)，则该人脸图像第i个局部区域在第j个特征图上所对应的特征区域坐标为：由此即可得到全部9个局部区域各自的多尺度特征图。
步骤5：对步骤4得到各局部区域的多尺度特征图进行2DPCA降维，并把降维后得到的特征按区域连接到一起进行特征融合；
对于任一尺度，记训练样本的数目为N，Sni为第n个样本的第i个局部区域在该尺度下的特征图，表示该尺度下所有样本第i个局部区域的特征图均值，则可以得到，该尺度下第i个局部区域在整个样本集的协方差矩阵为：
则按照广义总体散布准则，第i个局部区域所对应的投影矩阵的目标函数可以表示为：
选取协方差矩阵Ci的前d个较大的特征值所对应的特征向量作为最优投影轴：则可得第i个局部区域所对应的的最优投影矩阵Xi＝[Xi1,Xi2,...,Xid]，则所选尺度下，第n个样本的第i个局部区域投影后的特征图为Yni＝SniXi，即为降维后的新的特征图。
把降维后得到的新的多尺度特征，分别按区域连接为一个列向量来进行特征融合，作为各局部区域提取的总特征。
步骤6：把步骤5得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；
三个训练任务同时进行：局部区域边界框回归、局部区域类别识别、局部区域属性识别。总体目标损失函数是三个任务损失函数的加权和：
其中，N为训练样本的数目，M为第i个局部区域相关的属性个数，λ1，λ2，λ3是三个任务的loss权重；
(1)Llocji：局部区域边界框回归loss
根据步骤3的详细推导：
(2)Lconfji：局部区域类别识别loss
定义表示第j张样本图片的第i个边界框区域是真类u的概率，表示真值标记，则
(3)Lattrjim：局部区域属性识别loss
定义第j张样本图片的第i个边界框内包含M个人脸属性，yjim和fm(xji)分别表示第m个属性的真值类标和预测值，则Lattrjim＝||fm(xji)-yjim||2
步骤7：将测试集人脸图像通过步骤2提取多尺度特征，输入步骤3定位得到9个局部区域，利用步骤4计算得到各局部区域的多尺度特征，并利用步骤5进行2DPCA降维和特征融合，然后用步骤6训练好的分类器进行属性识别，得到各局部区域相关的人脸属性，组合起来即得到全部人脸属性。
本实施例通过以下实验对本发明的效果进行说明：选择CelebA人脸数据库，该数据库共有202599张人脸图像，每张均标注40个人脸属性。按6:3:1的比例，随机选取相应数目的图片，分别用于训练、验证和测试。按照本发明算法的步骤，首先用深度卷积神经网络提取训练集人脸图像的多尺度特征，进行局部区域定位和分类任务、局部属性识别任务的训练，然后用训练得到的多任务属性识别模型对测试集图像40个人脸属性进行识别，得到最终的识别结果。
对于该实验，一共评估了5种不同的方法，它们是：Triplet-kNN、PANDA、ANet、LMLE-kNN和本发明提出的方法。5种方法对40个人脸属性的识别准确率和平均准确率如表1所示，其中前四种方法的准确率数据引自2016年发表在CVPR的《Learning DeepRepresentation for Imbalanced Classification》。由表1可知，本发明所提出方法的平均检测准确率最高，而且对于局部属性的识别准确率普遍远远高于其他四种方法，说明有针对性地提取人脸局部区域的特征，比用整幅人脸图像来做属性识别效果要好。
表1：本发明方法在CelebA数据库上与其他方法的比较
Attribute Triplet-kNN PANDA ANet LMLE-kNN 本发明
5_o_Clock_Shadow 66 76 81 82 87
Arched_Eyebrows 73 77 76 79 82
Attractive 83 85 87 88 83
Bags_Under_Eyes 63 67 70 73 80
Bald 75 74 73 90 97
Bangs 81 92 90 98 94
Big_Lips 55 56 57 60 69
Big_Nose 68 72 78 80 80
Black_Hair 82 84 90 92 89
Blond_Hair 81 91 90 99 94
Blurry 43 50 56 59 89
Brown_Hair 76 85 83 87 82
Bushy_Eyebrows 68 74 82 82 86
Chubby 64 65 70 79 88
Double_Chin 60 64 68 74 84
Eyeglasses 82 88 95 98 99
Goatee 73 84 86 95 95
Gray_Hair 72 79 85 91 91
Heavy_Makeup 88 95 96 98 92
High_Cheekbones 86 89 89 92 88
Male 91 99 99 99 99
Mouth_Slightly_Open 92 93 96 96 94
Mustache 57 63 61 73 93
Narrow_Eyes 47 51 57 59 79
No_Beard 82 87 93 96 93
Oval_Face 61 66 67 68 66
Pale_Skin 63 69 77 80 91
Pointy_Nose 61 67 69 72 72
Receding_Hairline 60 67 70 76 85
Rosy_Cheeks 64 68 76 78 89
Sideburns 71 81 79 88 96
Smiling 92 98 97 99 94
Straight_Hair 63 66 69 73 72
Wavy_Hair 77 78 81 83 76
Wearing_Earrings 69 77 83 83 86
Wearing_Hat 84 90 90 99 96
Wearing_Lipstick 91 97 95 99 91
Wearing_Necklace 50 51 59 59 78
Wearing_Necktie 73 85 79 90 92
Young 75 78 84 87 77
Average 72 77 80 84 87
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.基于深度局部特征的人脸属性识别方法，其特征在于：包括以下步骤：
一、训练阶段
S1.对于训练集中的每一幅人脸图像，利用深度卷积神经网络的不同卷积层计算得到多个尺度下的特征图；
S2.利用得到的多个尺度下的特征图和人脸图像N个局部区域的边界框类标，分别为N个局部区域训练相应的局部区域定位网络；其中N为大于2的整数；
S3.根据训练集中的每一幅人脸图像的多尺度特征图和N个局部区域的边界框类标，计算各个局部区域的多尺度特征图；
S4.将计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；
S5.将步骤S4得到的融合特征送入各局部区域的识别网络，训练局部属性分类器；
二、测试阶段
S6.利用步骤S1提取测试集中人脸图像多个尺度下的特征图，然后利用步骤S2得到的局部区域定位网络从多个尺度下的特征图中定位出N个局部区域；
S7.利用定位出的N各局部区域的边界框类标及人脸图像多个尺度下的特征图算各个局部区域的多尺度特征图；
S8.对计算得到的各个局部区域的多尺度特征图进行降维，然后将降维后得到的各个局部区域的特征图按其局域区域所在的位置拼接在一起然后进行特征融合；
S9.利用步骤S5训练好的局部属性分类器对融合特征进行属性识别，得到各局部区域相关的人脸属性，将各个局部区域相关的人脸属性组合起来，得到测试集中人脸图像的人脸属性。
2.根据权利要求1所述的基于深度局部特征的人脸属性识别方法，其特征在于：所述人脸图像N个局部区域包括：额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域。
3.根据权利要求1所述的基于深度局部特征的人脸属性识别方法，其特征在于：所述降维为2DPCA降维。
4.根据权利要求2所述的基于深度局部特征的人脸属性识别方法，其特征在于：所述步骤S2D的局部区域定位网络在进行边界框回归训练时，利用候选边界框和真值边界框的重叠率和9个局部区域固有的位置关系作为约束条件：
记第i个局部区域边界框的左上角坐标(xi,yi)，宽和高分别为wi,hi；
对一给定的像素点(x',y')，记它与第i个局部区域边界框(xi,yi,wi,hi)左上角、右下角的坐标差值分别为：(Δxli,Δyli)和(Δxri,Δyri)，则显然：
Δxli＝x'-xi；Δyli＝y'-yi；Δxri＝xi+wi-x'；Δyri＝yi+hi-y'
若记该点与真值边界框左上角、右下角的坐标差值分别为和真值边界框与候选边界框重叠区域的宽、高分别为Δxi、Δyi，则可得：
候选边界框的面积为：Si＝(Δxli+Δxri)×(Δyli+Δyri)
真值边界框的面积为：
候选边界框与真值边界框重叠面积为：S∩i＝Δxi×Δyi
其中，而且，若重叠面积为0，即若或则Δxi＝0，Δyi＝0；
则可以计算出，第i个局部区域候选边界框与真值边界框的重叠率为：
<mrow> <msub> <mi>&amp;phi;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>S</mi> <mrow> <mo>&amp;cap;</mo> <mi>i</mi> </mrow> </msub> <mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>+</mo> <msubsup> <mi>S</mi> <mi>i</mi> <mi>u</mi> </msubsup> <mo>-</mo> <msub> <mi>S</mi> <mrow> <mo>&amp;cap;</mo> <mi>i</mi> </mrow> </msub> </mrow> </mfrac> </mrow>
则对于任何一个局部区域i，真值边界框的约束关系在loss函数中可以表示为
此外根据9个局部区域的标记规则和人脸图像固有的生理构造，各局部区域边界框之间存在如下约束关系：
记额头至头顶的区域、眉毛区域、眼睛区域、鼻子区域、嘴巴区域、下巴区域、脖颈区域、面部区域、头部区域9个局部区域的边界框坐标分别为(xi,yi,wi,hi)(i＝1,2,...,9)，则存在：
y1+h1＝y2；x2＝x3；y2＝y3；x3＜x4＜x4+w4＜x3+w3；y3＜y4＜y5；
y5+h5＝y6；y6+h6＝y7；y8+h8＝y9+h9；x8＝x9；w8＝w9；y9＝y1
记像素点(x',y')与第i个局部区域边界框(xi,yi,wi,hi)左上角、右下角的坐标差值分别为：(Δxli,Δyli)和(Δxri,Δyri)，则以上约束关系可对应转化为：
Δyr1＝-Δyl2；Δxl2＝Δxl3；Δyl2＝Δyl3；-Δxl3＜-Δxl4＜Δxr4＜Δxr3；Δyl3＞Δyl4＞Δyl5；
Δyr5＝-Δyl6；Δyr6＝-Δyl7；Δyr8＝-Δyl9；Δxl8＝Δxl9；Δxl8+Δxr8＝Δxl9+Δxr9；Δyl9＝Δyl1
定义条件函数 则：
以Δyr1＝-Δyl2；Δyr5＝-Δyl6；Δyr6＝-Δyl7；Δyr8＝-Δyl9作为约束，取相应loss函数为L”loc1i＝β1(i)|Δyri+Δyli+1|
以Δyl2＝Δyl3；-Δxl3＜-Δxl4；Δxr4＜Δxr3；Δyl3＞Δyl4作为约束，取相应loss函数为L”loc2i＝β3(i)(|Δyli-1-Δyli|+θ(Δxli-Δxli+1)+θ(Δxri-Δxri+1)+θ(Δyli-Δyli+1))
以Δxl2＝Δxl3；Δxl8＝Δxl9作为约束，取相应loss函数为L”loc3i＝β2(i)|Δxli-Δxli+1|
以Δyl9＝Δyl1作为约束，取loss函数为L”loc4i＝β4(i)(|Δyli-Δyli-8|+|Δxri-1-Δxri|)
以-Δxl4＜Δxr4；Δyl4＞Δyl5作为约束，取相应loss函数为
L”loc5i＝β5(i)(θ(Δxri+Δxli)+θ(Δyli-Δyli+1))
以上约束均为两个局部区域相对位置关系的局部约束，组合起来，即可做为整个人脸9个局部区域间的边界框约束条件：
L”loci＝L”loc1i+L”loc2i+L”loc3i+L”loc4i+L”loc5i
＝β1(i)|Δyri+Δyli+1|+β3(i)(|Δyli-1-Δyli|+θ(Δxli-Δxli+1)+θ(Δxri-Δxri+1)+θ(Δyli-Δyli+1))
+β2(i)|Δxli-Δxli+1|+β4(i)(|Δyli-Δyli-8|+|Δxri-1-Δxri|)+β5(i)(θ(Δxri+Δxli)+θ(Δyli-Δyli+1))。
CN201710344364.5A 2017-05-16 2017-05-16 基于深度局部特征的人脸属性识别方法 Active CN107169455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344364.5A CN107169455B (zh) 2017-05-16 2017-05-16 基于深度局部特征的人脸属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344364.5A CN107169455B (zh) 2017-05-16 2017-05-16 基于深度局部特征的人脸属性识别方法

Publications (2)

Publication Number Publication Date
CN107169455A true CN107169455A (zh) 2017-09-15
CN107169455B CN107169455B (zh) 2020-08-28

Family

ID=59815133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344364.5A Active CN107169455B (zh) 2017-05-16 2017-05-16 基于深度局部特征的人脸属性识别方法

Country Status (1)

Country Link
CN (1) CN107169455B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN108009521A (zh) * 2017-12-21 2018-05-08 广东欧珀移动通信有限公司 人脸图像匹配方法、装置、终端及存储介质
CN108073910A (zh) * 2017-12-29 2018-05-25 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术（北京）有限公司 用于检测人脸的方法和装置
WO2019061660A1 (zh) * 2017-09-30 2019-04-04 平安科技（深圳）有限公司 招聘方法、电子装置及可读存储介质
CN110084109A (zh) * 2019-03-19 2019-08-02 西安电子科技大学 一种低分辨率人脸图像识别方法、装置、电子设备及存储介质
CN110232340A (zh) * 2019-05-30 2019-09-13 北京百度网讯科技有限公司 建立视频分类模型以及视频分类的方法、装置
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112434678A (zh) * 2021-01-27 2021-03-02 成都无糖信息技术有限公司 基于人工神经网络的人脸测量特征空间搜索系统及方法
CN112560831A (zh) * 2021-03-01 2021-03-26 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN113762022A (zh) * 2021-02-09 2021-12-07 北京沃东天骏信息技术有限公司 人脸图像的融合方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956560A (zh) * 2016-05-06 2016-09-21 电子科技大学 一种基于池化多尺度深度卷积特征的车型识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956560A (zh) * 2016-05-06 2016-09-21 电子科技大学 一种基于池化多尺度深度卷积特征的车型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尹洪涛等: "基于局部特征融合的人脸识别", 《测试技术学报》 *
王镇: "基于HOG特征的人脸表情识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019061660A1 (zh) * 2017-09-30 2019-04-04 平安科技（深圳）有限公司 招聘方法、电子装置及可读存储介质
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN108009521B (zh) * 2017-12-21 2021-05-04 Oppo广东移动通信有限公司 人脸图像匹配方法、装置、终端及存储介质
CN108009521A (zh) * 2017-12-21 2018-05-08 广东欧珀移动通信有限公司 人脸图像匹配方法、装置、终端及存储介质
CN108073910A (zh) * 2017-12-29 2018-05-25 百度在线网络技术（北京）有限公司 用于生成人脸特征的方法和装置
US11270099B2 (en) 2017-12-29 2022-03-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating facial feature
CN108090468A (zh) * 2018-01-05 2018-05-29 百度在线网络技术（北京）有限公司 用于检测人脸的方法和装置
CN110084109A (zh) * 2019-03-19 2019-08-02 西安电子科技大学 一种低分辨率人脸图像识别方法、装置、电子设备及存储介质
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN110232340A (zh) * 2019-05-30 2019-09-13 北京百度网讯科技有限公司 建立视频分类模型以及视频分类的方法、装置
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN111428671A (zh) * 2020-03-31 2020-07-17 杭州博雅鸿图视频技术有限公司 人脸结构化信息识别方法、系统、装置及存储介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112434678A (zh) * 2021-01-27 2021-03-02 成都无糖信息技术有限公司 基于人工神经网络的人脸测量特征空间搜索系统及方法
CN113762022A (zh) * 2021-02-09 2021-12-07 北京沃东天骏信息技术有限公司 人脸图像的融合方法和装置
CN112560831A (zh) * 2021-03-01 2021-03-26 四川大学 一种基于多尺度空间校正的行人属性识别方法
CN112560831B (zh) * 2021-03-01 2021-05-04 四川大学 一种基于多尺度空间校正的行人属性识别方法

Also Published As

Publication number Publication date
CN107169455B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
CN110443189B (zh) 基于多任务多标签学习卷积神经网络的人脸属性识别方法
CN108629336B (zh) 基于人脸特征点识别的颜值计算方法
Guo et al. Facial expression recognition influenced by human aging
CN109034099B (zh) 一种表情识别方法及装置
Sánchez et al. Differential optical flow applied to automatic facial expression recognition
CN109389074A (zh) 一种基于人脸特征点提取的表情识别方法
CN102013011B (zh) 基于正脸补偿算子的多姿态人脸识别方法
CN106951840A (zh) 一种人脸特征点检测方法
CN101833654B (zh) 基于约束采样的稀疏表示人脸识别方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN105868716A (zh) 一种基于面部几何特征的人脸识别方法
Park et al. Attributed grammars for joint estimation of human attributes, part and pose
CN109377429A (zh) 一种人脸识别素质教育智慧评价系统
JP2000030065A (ja) パターン認識装置及びその方法
Upadhyay et al. A review on different facial feature extraction methods for face emotions recognition system
Marčetić et al. Deformable part-based robust face detection under occlusion by using face decomposition into face components
Zheng et al. Facial expression recognition for children: Can existing methods tuned for adults be adopted for children?
Chen et al. A novel race classification method based on periocular features fusion
Tin Robust Algorithm for face detection in color images
Kim et al. Facial landmark extraction scheme based on semantic segmentation
Moeini et al. Regression facial attribute classification via simultaneous dictionary learning
Rodríguez-Moreno et al. Sign language recognition by means of common spatial patterns
Riaz et al. A model based approach for expressions invariant face recognition
Mehta et al. Human Face Shape Classification with Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared