CN111160119A - 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 - Google Patents

一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 Download PDF

Info

Publication number
CN111160119A
CN111160119A CN201911263264.5A CN201911263264A CN111160119A CN 111160119 A CN111160119 A CN 111160119A CN 201911263264 A CN201911263264 A CN 201911263264A CN 111160119 A CN111160119 A CN 111160119A
Authority
CN
China
Prior art keywords
layer
ddml
fda
task
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911263264.5A
Other languages
English (en)
Other versions
CN111160119B (zh
Inventor
陆兵
周国华
蒋晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ansei Rui (Changzhou) Information Technology Co.,Ltd.
Original Assignee
Changzhou Vocational Institute of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Vocational Institute of Light Industry filed Critical Changzhou Vocational Institute of Light Industry
Priority to CN201911263264.5A priority Critical patent/CN111160119B/zh
Publication of CN111160119A publication Critical patent/CN111160119A/zh
Application granted granted Critical
Publication of CN111160119B publication Critical patent/CN111160119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，针对人脸化妆会导致人脸验证方法性能的降低的问题，提出了融合Fisher判别分析的多任务深度判别度量学习模型MT‑DDML‑FDA，使用深度度量学习结构，通过共享一个网络层在多个任务之间学习共享的转换知识，来捕获不同任务的人脸图像之间的潜在识别信息。同时，MT‑DDML‑FDA使用Fisher判别分析将类内相关矩阵和类间相关矩阵引入该模型，使每一个任务具有良好的距离度量。实验证明，MT‑DDML‑FDA在真实化妆人脸数据集上能够有效提高人脸验证的性能。

Description

一种用于化妆人脸验证的多任务深度判别度量学习模型构建 方法
技术领域
本发明涉及人脸识别领域，具体涉及一种融合Fisher判别分析的多任务深度判别度量学习(MT-DDML-FDA)的化妆人脸验证方法。
背景技术
随着人工智能、云计算和高性能计算的发展，人脸验证领域出现了大量性能优秀的算法，逐步解决了与姿势、照片和面部表情等相关的难题，这些算法能够在不同应用场景中实现无约束的人脸验证和面部识别。但人脸验证仍在一些应用中存在挑战，包括跨年龄场景和化妆场景等。在现实世界的应用中，面部化妆常见且会显著改变面部的感知外观，降低人脸的辨识，化妆前后的人脸可以直观地感受到面部外观的明显变化。因此，对人脸化妆具有鲁棒性的人脸验证算法对实际应用有着重要的意义。为了开发一个强大的面部识别系统，化妆品对人脸验证的影响亟需解决。近年来，深度学习方法显著改善了人脸验证。深度学习方法可以分为两类：一类是基于深度神经网络提取非线性特征和识别特征来表示人脸图像。深度学习的另一类是深度度量学习。目前常用的距离学习的距离度量方法主要基于欧式距离和马式距离，但这些方法不足以解决复杂场景下的人脸识别问题。深度度量学习的目标是使用深度学习的方法来学习距离度量，以发现配对样本之间的相似性和不配对样本之间的差异性。
在面对化妆人脸验证的任务时，无论外表如何变化，同一个人的一对面部图像与所呈现的化妆品都应具有最大的相关性，而不同的人即使拥有相同的化妆品或不化妆，也不应具有很大的相关性。人脸验证可以看作是一个二值分类问题，同一个人的图像对可以标记为正对，不同人的图像对可以标记为负对。从分类的角度来看，如果能找到一个投影空间，使得同一个人图像距离尽可能得小，不同人图像间的距离尽可能地大，那么人脸验证问题可以得到有效解决。
发明内容
本发明基于深度判别度量学习(DDML)模型构建一个深度判别度量学习，并融入Fisher判别分析和多任务的思想，提出了融合Fisher判别分析的多任务深度判别度量学习(Multi-task Deep Discriminative Metric Learning with Fisher DiscriminantAnalysis，MT-DDML-FDA)模型。MT-DDML-FDA使用多层深度判别度量学习结构，通过共享一个网络层，在多个任务之间学习共享的转换知识来捕获不同任务的人脸图像之间的潜在识别信息。神经网络的每一层次均形成非线性变换，以形成一个良好的距离度量。同时，融合Fisher判别分析将类内相关矩阵和类间相关矩阵引入深度神经网络，将具有高相似性的类间样本投影到一个邻域中，使得类间邻域样本尽可能远离，保证每个任务所学习的距离度量以有效的方式执行。
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，所述人脸验证方法为，步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。
进一步地，假设同时有M个任务学习，给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i＝1,2,...,nm,m＝1,2,...,M}，其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i，lm,i表示其相应的图像对的标签，lm,i＝1说明图像xm,i和ym,i来源于同一人，lm,i＝-1说明图像xm,i和ym,i来源于不同的人。
进一步地，步骤1中，MT-DDML-FDA的第1层是所有任务的共享层，输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为：
g(1)(xm,i)＝φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量；
MT-DDML-FDA从第2层开始，每个人脸图像对应不同的任务，设
Figure BDA0002312151840000031
和
Figure BDA0002312151840000032
分别表示第2层第m个任务对应的映射矩阵和偏差向量，xm,i在第2层网络的输出
Figure BDA0002312151840000033
表示为：
Figure BDA0002312151840000034
MT-DDML-FDA从第3层开始，前一层的输出作为后一层的输入，依照这一方式传递至最顶层，得xm,i在最顶层，即第P层，的输出
Figure BDA0002312151840000035
为：
Figure BDA0002312151840000036
其中
Figure BDA0002312151840000037
和
Figure BDA0002312151840000038
分别表示最顶层第m个任务对应的映射矩阵和偏差向量，此时，人脸图像对(xm,i,ym,i)的距离度量由下式计算得到：
Figure BDA0002312151840000039
进一步地，在多任务深度判别度量学习的框架上考虑Fisher准则，MT-DDML-FDA定义的优化问题为：
Figure BDA0002312151840000041
其中
Figure BDA0002312151840000042
和
Figure BDA0002312151840000043
分别为第m个任务在多任务深度判别度量学习中最顶层的类内相关矩阵和类间相关矩阵：
Figure BDA0002312151840000044
Figure BDA0002312151840000045
式(10)和(11)中的qi,c和qi,b分别定义为
Figure BDA0002312151840000046
Figure BDA0002312151840000047
进一步地，步骤2中，MT-DDML-FDA的求解方法，采用反向传播方法，在训练过程的每次迭代中，根据梯度下降公式更新各层的参数，映射矩阵和偏差向量可用下式更新：
Figure BDA0002312151840000048
Figure BDA0002312151840000049
其中μ是梯度下降的学习速率；
通过最小化MT-DDML-FDA的目标函数，共享层的梯度和偏差向量
Figure BDA00023121518400000410
和
Figure BDA00023121518400000411
为
Figure BDA00023121518400000412
Figure BDA0002312151840000051
Figure BDA0002312151840000052
类似地，得第p层的第m个任务的梯度和偏差向量
Figure BDA0002312151840000053
和
Figure BDA0002312151840000054
为：
Figure BDA0002312151840000055
Figure BDA0002312151840000056
对于顶层网络的参数
Figure BDA0002312151840000057
和
Figure BDA0002312151840000058
得到如下更新公式：
Figure BDA0002312151840000059
Figure BDA00023121518400000510
对于非顶层网络的参数
Figure BDA00023121518400000511
和
Figure BDA00023121518400000512
得到如下更新公式：
Figure BDA00023121518400000513
Figure BDA00023121518400000514
其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入，得到：
Figure BDA00023121518400000515
Figure BDA0002312151840000061
进一步地，最终得到的用于化妆人脸验证的MT-DDML-FDA模型，其算法如下：
输入：P个任务的人脸图像，正则化参数α,β，最大迭代次数T，最大近邻数k和收敛阈值ε；
输出：映射矩阵W(1)和
Figure BDA0002312151840000062
偏差向量b(1)和
Figure BDA0002312151840000063
k＝1,2,…，P；
Step1，特征提取每对人脸图像的特征，得到P个任务的人脸图像对的特征向量表示Xk＝{(xk,i,xk,j,li,j)|k＝1,2,...,P}；
Step2，初始化所有映射矩阵和偏差向量；
Step3，从第一层到第L层使用式(7)计算
Figure BDA0002312151840000064
和
Figure BDA0002312151840000065
For t＝1,2,…,T
For k＝1,2,…,P
Step 4，使用式(10)和(11)计算
Figure BDA0002312151840000066
和
Figure BDA0002312151840000067
Step5，使用式(8)计算d2(xp,i,yp,i)；
Step6，从第L层到第一层使用式(14)和(15)计算
Figure BDA00023121518400000612
和
Figure BDA00023121518400000613
；
Step7，更新映射矩阵W(1)和偏差向量b(1)；
Step8，从第2层到第L层更新映射矩阵
Figure BDA0002312151840000068
和偏差向量
Figure BDA0002312151840000069
Step9，使用式(9)计算目标函数Jt；
Step10，使用W和b更新
Figure BDA00023121518400000610
和
Figure BDA00023121518400000611
end
本发明达到的有益效果为：1)引入多任务学习框架，在多个任务之间学习共享的投影信息，这些投影信息可以捕获不同任务的人脸图像之间的潜在识别信息。2)利用每个任务特殊的识别信息，同时考虑不同的任务之间的差异性，使得每个任务所学习的距离度量更有效。3)图像的局部几何信息是人脸识别问题的重要信息，将Fisher判别引入多任务深度度量学习，在投影过程基于配对信息建立能较好区分人脸图像的方法。实验结果表明MT-DDML-FDA在真实化妆人脸数据集Disguised Faces in the Wild(DFW)上取得较好的性能。
附图说明
图1为本发明中MT-DDML-FDA模型的示意图。
图2为本发明中化妆数据集DWF示意图。
图3为本发明中DFW数据集多任务子集表。
图4为本发明中不同特征下不同算法ROC曲线比较示意图。
图5为本发明中不同特征下不同算法ROC曲线比较示意图。
图6为本发明中基于HOG特征提取的CAR、EER和AUC性能(％)及其方差示意表。
图7为本发明中基于LBP特征提取的CAR、EER和AUC性能(％)及其方差示意表。
图8为本发明中不同参数β时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
图9为本发明中不同参数γ时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
图10为本发明中不同参数k时基于HOG特征提取的MT-DDML-FDA模型6个任务的平均性能示意表。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，包括如下步骤：步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。
假设同时有M个任务学习，给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i＝1,2,...,nm,m＝1,2,...,M}，其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i，lm,i表示其相应的图像对的标签，lm,i＝1说明图像xm,i和ym,i来源于同一人，lm,i＝-1说明图像xm,i和ym,i来源于不同的人。
步骤1中，MT-DDML-FDA的第1层是所有任务的共享层，输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为：
g(1)(xm,i)＝φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量。
MT-DDML-FDA从第2层开始，每个人脸图像对应不同的任务，设
Figure BDA0002312151840000081
和
Figure BDA0002312151840000082
分别表示第2层第m个任务对应的映射矩阵和偏差向量，xm,i在第2层网络的输出
Figure BDA0002312151840000083
表示为：
Figure BDA0002312151840000084
MT-DDML-FDA从第3层开始，前一层的输出作为后一层的输入，依照这一方式传递至最顶层，得xm,i在最顶层，即第P层，的输出
Figure BDA0002312151840000085
为：
Figure BDA0002312151840000086
其中
Figure BDA0002312151840000091
和
Figure BDA0002312151840000092
分别表示最顶层第m个任务对应的映射矩阵和偏差向量，此时，人脸图像对(xm,i,ym,i)的距离度量由下式计算得到：
Figure BDA0002312151840000093
在多任务深度判别度量学习的框架上考虑Fisher准则，MT-DDML-FDA定义的优化问题为：
Figure BDA0002312151840000094
其中
Figure BDA0002312151840000095
和
Figure BDA0002312151840000096
分别为第m个任务在多任务深度判别度量学习中最顶层的类内相关矩阵和类间相关矩阵：
Figure BDA0002312151840000097
Figure BDA0002312151840000098
式(10)和(11)中的qi,c和qi,b分别定义为：
Figure BDA0002312151840000099
Figure BDA00023121518400000910
步骤2中，MT-DDML-FDA的求解方法，采用反向传播方法，在训练过程的每次迭代中，根据梯度下降公式更新各层的参数，映射矩阵和偏差向量可用下式更新：
Figure BDA00023121518400000911
Figure BDA00023121518400000912
其中μ是梯度下降的学习速率。
通过最小化MT-DDML-FDA的目标函数，共享层的梯度和偏差向量
Figure BDA0002312151840000101
和
Figure BDA0002312151840000102
为：
Figure BDA0002312151840000103
Figure BDA0002312151840000104
类似地，得第p层的第m个任务的梯度和偏差向量
Figure BDA0002312151840000105
和
Figure BDA0002312151840000106
为：
Figure BDA0002312151840000107
Figure BDA0002312151840000108
对于顶层网络的参数
Figure BDA0002312151840000109
和
Figure BDA00023121518400001010
得到如下更新公式：
Figure BDA00023121518400001011
Figure BDA00023121518400001012
对于非顶层网络的参数
Figure BDA00023121518400001013
和
Figure BDA00023121518400001014
得到如下更新公式：
Figure BDA0002312151840000111
Figure BDA0002312151840000112
其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入，得到：
Figure BDA0002312151840000113
Figure BDA0002312151840000114
最终得到的用于化妆人脸验证的MT-DDML-FDA模型，其算法如下：
输入：P个任务的人脸图像，正则化参数α,β，最大迭代次数T，最大近邻数k和收敛阈值ε。
输出：映射矩阵W(1)和
Figure BDA0002312151840000115
偏差向量b(1)和
Figure BDA0002312151840000116
k＝1,2,…，P。
Step1，特征提取每对人脸图像的特征，得到P个任务的人脸图像对的特征向量表示Xk＝{(xk,i,xk,j,li,j)|k＝1,2,...,P}。
Step2，初始化所有映射矩阵和偏差向量。
Step3，从第一层到第L层使用式(7)计算
Figure BDA0002312151840000117
和
Figure BDA0002312151840000118
For t＝1,2,…,T
For k＝1,2,…,P
Step 4，使用式(10)和(11)计算
Figure BDA0002312151840000119
和
Figure BDA00023121518400001110
Step5，使用式(8)计算d2(xp,i,yp,i)。
Step6，从第L层到第一层使用式(14)和(15)计算
Figure BDA00023121518400001113
和
Figure BDA00023121518400001114
。
Step7，更新映射矩阵W(1)和偏差向量b(1)。
Step8，从第2层到第L层更新映射矩阵
Figure BDA00023121518400001111
和偏差向量
Figure BDA00023121518400001112
Step9，使用式(9)计算目标函数Jt。
Step10，使用W和b更新
Figure BDA0002312151840000121
和
Figure BDA0002312151840000122
end
接下来介绍实验中所使用的数据集、算法和评测标准，然后在真实数据集上将MT-DDML-FDA与对比算法进行了比较。
选用了被广泛被应用于化妆人脸数据集Disguised Faces in the Wild(DFW)，如图2所示。DFW数据集中包含了从网络上收集的1000个人的11155幅不同的图片，来自于电影明星、歌星，运动员和政治家等的人脸图像，每个人物均包含一张未化妆和多张化妆人脸图像，并且在在姿态、年龄、光照和表情等方面存在差异。每人有多幅不同图片，包含一幅不化妆照片和多幅化妆照片，佩戴眼镜和帽子也算化妆的范畴。实验选取900对人脸，按照男士(不戴帽子和眼镜)、男士戴帽子、男士戴眼镜、女士(不戴帽子和眼镜)、女士戴帽子和女士戴眼镜，分成6个任务，每个任务中的负对采用随机选取的方式获得，各个任务的基本信息如表1所示。每个任务随机将75％的数据作为训练集，用于多任务学习，剩下25％的数据作为测试集。整个训练和测试过程执行5次，取5次的平均计算结果作为最终结果。
使用HOG(Histogram of Oriented Gradient)和LBP](Local Binary Pattern)2种特征提取算法对人脸图像进行处理。HOG算法设置图像块大小为16*16，共提取特征为1764维。LBP将每幅人脸数据集图片分为16*16像素的16块非重叠区域，共提取3776为数据特征。获得的特征经Principal Component Analysis(PCA)处理将至500维。实验对比方法采用了LFDA(Local Fisher Discriminant Analysis)、Sub-SM(Large Margin NearestNeighbor)和DDML(Deep Discriminative metric learning)。在实验中，DDML和提出的MT-DDML-FDA均采用3层神经网络，神经节点为200→200→100，激活函数使用sigmoid函数。每一层的初始化权重矩阵其主对角线上的元素为1，其他元素为零；初始偏移向量为0。参数β和γ的网格搜索范围{10-2,10-1,...,102},最大近邻数k的网格搜索范围{5,7,...,13}。经过大量实验，收敛阈值ε取值10-5，梯度下降的学习速率为0.05。3个对比算法参数的设置均按照对应文献中的默认设置进行设定。评价标准采用了分类精确率(ClassificationAccuracy Rate，CAR)、错误率(Equal Error Rate,EER)和ROC曲线下面积(area under theRoc curve，AUC)。CAR为nc/nt,nc为测试集中分类正确的图片对的数目，nt为测试集中所有图片对的数目。实验采用的二分类器为support vector machine(SVM)。
图6显示了MT-DDML-FDA和3种对比算法在CAR、EER和AUC指标上的性能比较。实验结果表明:1)MT-DDML-FDA在CAR、EER和AUC指标上均取得了最佳结果。MT-DDML-FDA使用深度判别度量学习和多任务的学习框架，同时利用Fisher判别能提取每个任务的独立信息，挖掘所有任务之间共享的隐藏相关信息，MTCS-TSK-FS能够获得最佳的性能。LFDA主要基于局部判别扩大负对数据的间隔；Sub-SM主要利用领域间样本的大间隔信息，均不能有效地充分利用配对信息，因此仍然表现出较差的能力。DDML虽然使用多任务深度判别度量学习方法，但不能有效地充分利用所有任务之间的信息，特别是不能利用所有任务之间的公共信息，其性能不能达到理想的结果。2)所有算法在Task1和Task4任务取得了相对较高的性能，在其它4个任务上取得了较低的性能，这是因为Task1和Task4任务人物图像仅化妆而没有佩戴眼镜和帽子，Task2、Task3、Task5和Task6任务在化妆的基础上还佩戴了眼镜或者帽子，使得脸部增加了遮挡的物品，提升了人脸验证的难度。如何进一步提升面部有遮挡时的人脸识别问题是我们下一段的目标。3)对比算法在CAR、EER和AUC指标取得了一致的结果，说明使用这3个指标来评价化妆人脸的验证结果是合适的。另外，在HOG和LBP特征上也取得了类似的结果，也说明这2种特征提取方法是适合用来提取化妆人脸特征向量的。
为了更好地比较MT-DDML-FDA与3种对比算法的性能比，图7和图4-5比较了4种算法的ROC曲线。从图7和图4-5可以看出：1)2种深度学习方法(MT-DDML-FDA和DDML)都优于度量学习方法，因为深度学习方法可以在深度多层次结构中学习更多的人脸识别信息。2)在多任务学习的启发下，MT-DDML-FDA在不同任务的人脸图像中学习到比其他深度学习方法更有用的识别信息。因此，深度学习非常适合于多任务学习。3)MT-DDML-FDA基于Fisher准则充分考虑了人脸图像对的配对信息，使得同一人人脸图像在投影空间尽可能地接近，不同人的人脸图像在投影空间尽可能地远离。因此，配对信息和样本几何信息都对人脸配对的性能产生积极的影响。
MT-DDML-FDA模型中参数β、γ和最大近邻数k均与模型的性能有关，本小节对参数β、γ和k进行分析，图8-10显示了MT-DDML-FDA模型6个任务在基于HOG特征提取的不同参数β、γ和k值下的CAR、EER和AUC的平均值。
从图8的结果可以看出：1)β取值的不同导致了MT-DDML-FDA模型的不同性能。β数值的高低体现了多层深度神经网络的共享层上学到的共享参数映射矩阵W(1)和偏差向量b(1)在目标函数中的比重。β值越大，W(1)和b(1)在目标函数中的比重越大，目标函数更多地考虑共享知识在多任务学习中的作用。2)从表中数据看出，β值与CAR、EER和AUC的平均值之间无规律可循。MT-DDML-FDA算法在DWF数据集上β＝1时，CAR、EER和AUC的平均值取得了最佳性能。因此，使用网格搜索法确定β的最优值是可行的。
从图9的结果可以看出：1)γ取值的不同也导致了MT-DDML-FDA模型的不同性能。γ体现了多层深度神经网络的各个独立层上学到的映射矩阵和偏差向量在目标函数中的比重。γ值越大，各个独立层参数在目标函数中的比重越大。2)从表中数据看出，γ＝1时，CAR、EER和AUC的平均值在化妆数据集DWF取得了最佳性能。
从图10的结果可以看出：1)k值表示类内相关矩阵和类间相关矩阵中的近邻数。k值过小或过大时，类内相关矩阵和类间相关矩阵均不能合适地表示人脸图像的内在数据结构。因此，k值小于7值，CAR、EER和AUC的平均值较低；当k值大于11值，CAR、EER和AUC的平均值也出现了下降的趋势。2)因为k取值与数据集的分布和内在结构密切相关，因此，针对数据集使用网格搜索法确定k的最优值是可行的。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：
所述人脸验证方法为，步骤1，建立融合Fisher判别分析的多任务深度判别度量学习模型MT-DDML-FDA；步骤2，对该模型进行求解，最终得到用于化妆人脸验证的MT-DDML-FDA模型。
2.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：假设同时有M个任务学习，给定第m个任务的人脸图像对{(xm,i,ym,i,lm,i)|i＝1,2,...,nm,m＝1,2,...,M}，其中xm,i,ym,i∈Rd表示任一人脸图像对xm,i，lm,i表示其相应的图像对的标签，lm,i＝1说明图像xm,i和ym,i来源于同一人，lm,i＝-1说明图像xm,i和ym,i来源于不同的人。
3.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：步骤1中，MT-DDML-FDA的第1层是所有任务的共享层，输入的人脸图像xm,i在共享层的输出g(1)(xm,i)为：
g(1)(xm,i)＝φ(W(1)xm,i+b(1)) (5)
其中W(1)和b(1)表示共享层的映射矩阵和偏移向量；
MT-DDML-FDA从第2层开始，每个人脸图像对应不同的任务，设
Figure FDA0002312151830000011
和
Figure FDA0002312151830000012
分别表示第2层第m个任务对应的映射矩阵和偏差向量，xm,i在第2层网络的输出
Figure FDA0002312151830000013
表示为：
Figure FDA0002312151830000014
MT-DDML-FDA从第3层开始，前一层的输出作为后一层的输入，依照这一方式传递至最顶层，得xm,i在最顶层，即第P层，的输出
Figure FDA0002312151830000021
为：
Figure FDA0002312151830000022
其中
Figure FDA0002312151830000023
和
Figure FDA0002312151830000024
分别表示最顶层第m个任务对应的映射矩阵和偏差向量，此时，人脸图像对(xm,i,ym,i)的距离度量由下式计算得到：
Figure FDA0002312151830000025
4.根据权利要求3所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：在多任务深度判别度量学习的框架上考虑Fisher准则，MT-DDML-FDA定义的优化问题为：
Figure FDA0002312151830000026
其中
Figure FDA0002312151830000027
和
Figure FDA0002312151830000028
分别为第m个任务在多任务深度判别度量学习中最顶层的类内相关矩阵和类间相关矩阵：
Figure FDA0002312151830000029
Figure FDA00023121518300000210
式(10)和(11)中的qi,c和qi,b分别定义为
Figure FDA00023121518300000211
Figure FDA00023121518300000212
5.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：步骤2中，MT-DDML-FDA的求解方法，采用反向传播方法，在训练过程的每次迭代中，根据梯度下降公式更新各层的参数，映射矩阵和偏差向量可用下式更新：
Figure FDA0002312151830000031
Figure FDA0002312151830000032
其中μ是梯度下降的学习速率；
通过最小化MT-DDML-FDA的目标函数，共享层的梯度和偏差向量
Figure FDA0002312151830000033
和
Figure FDA0002312151830000034
为
Figure FDA0002312151830000035
Figure FDA0002312151830000036
类似地，得第p层的第m个任务的梯度和偏差向量
Figure FDA0002312151830000037
和
Figure FDA0002312151830000038
为：
Figure FDA0002312151830000039
Figure FDA00023121518300000310
对于顶层网络的参数
Figure FDA0002312151830000041
和
Figure FDA0002312151830000042
得到如下更新公式：
Figure FDA0002312151830000043
Figure FDA0002312151830000044
对于非顶层网络的参数
Figure FDA0002312151830000045
和
Figure FDA0002312151830000046
得到如下更新公式：
Figure FDA0002312151830000047
Figure FDA0002312151830000048
其中Δ表示元素乘法运算.根据MT-DDML-FDA的输入，得到：
Figure FDA0002312151830000049
Figure FDA00023121518300000410
6.根据权利要求1所述的一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法，其特征在于：最终得到的用于化妆人脸验证的MT-DDML-FDA模型，其算法如下：
输入：P个任务的人脸图像，正则化参数α,β，最大迭代次数T，最大近邻数k和收敛阈值ε；
输出：映射矩阵W(1)和
Figure FDA00023121518300000411
偏差向量b(1)和
Figure FDA00023121518300000412
Step1，特征提取每对人脸图像的特征，得到P个任务的人脸图像对的特征向量表示Xk＝{(xk,i,xk,j,li,j)|k＝1,2,...,P}；
Step2，初始化所有映射矩阵和偏差向量；
Step3，从第一层到第L层使用式(7)计算
Figure FDA00023121518300000413
和
Figure FDA00023121518300000414
For t＝1,2,…,T
For k＝1,2,…,P
Step 4，使用式(10)和(11)计算
Figure FDA0002312151830000051
和
Figure FDA0002312151830000052
Step5，使用式(8)计算d2(xp,i,yp,i)；
Step6，从第L层到第一层使用式(14)和(15)计算
Figure FDA0002312151830000053
和
Figure FDA0002312151830000054
Step7，更新映射矩阵W(1)和偏差向量b(1)；
Step8，从第2层到第L层更新映射矩阵
Figure FDA0002312151830000055
和偏差向量
Figure FDA0002312151830000056
Step9，使用式(9)计算目标函数Jt；
Step10，使用W和b更新
Figure FDA0002312151830000057
和
Figure FDA0002312151830000058
End。
CN201911263264.5A 2019-12-11 2019-12-11 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法 Active CN111160119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263264.5A CN111160119B (zh) 2019-12-11 2019-12-11 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263264.5A CN111160119B (zh) 2019-12-11 2019-12-11 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法

Publications (2)

Publication Number Publication Date
CN111160119A true CN111160119A (zh) 2020-05-15
CN111160119B CN111160119B (zh) 2023-07-14

Family

ID=70556958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263264.5A Active CN111160119B (zh) 2019-12-11 2019-12-11 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法

Country Status (1)

Country Link
CN (1) CN111160119B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667055A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN113128605A (zh) * 2021-04-23 2021-07-16 浙江理工大学 基于粒子滤波及深度距离度量学习的目标跟踪方法
CN115690758A (zh) * 2022-12-12 2023-02-03 吉林农业大学 一种基于深度度量学习的茶脸验真方法及验真系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123560A (zh) * 2014-07-03 2014-10-29 中山大学 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN104462818A (zh) * 2014-12-08 2015-03-25 天津大学 一种基于Fisher准则的嵌入流形回归模型

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123560A (zh) * 2014-07-03 2014-10-29 中山大学 基于相位编码特征和多度量学习的模糊人脸图像验证方法
CN104462818A (zh) * 2014-12-08 2015-03-25 天津大学 一种基于Fisher准则的嵌入流形回归模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡正平等: "深层融合度量子空间学习稀疏特征提取算法", 《信号处理》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667055A (zh) * 2020-06-05 2020-09-15 北京百度网讯科技有限公司 用于搜索模型结构的方法和装置
CN113128605A (zh) * 2021-04-23 2021-07-16 浙江理工大学 基于粒子滤波及深度距离度量学习的目标跟踪方法
CN115690758A (zh) * 2022-12-12 2023-02-03 吉林农业大学 一种基于深度度量学习的茶脸验真方法及验真系统
CN115690758B (zh) * 2022-12-12 2023-08-08 吉林农业大学 一种基于深度度量学习的茶脸验真方法及验真系统

Also Published As

Publication number Publication date
CN111160119B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
EP3485425B1 (en) Deep neural network for iris identification
CN106372581B (zh) 构建及训练人脸识别特征提取网络的方法
Perveen et al. Spontaneous expression recognition using universal attribute model
Luo et al. Group sparsity and geometry constrained dictionary learning for action recognition from depth maps
US10339685B2 (en) System for beauty, cosmetic, and fashion analysis
US8379940B2 (en) Robust human authentication using holistic anthropometric and appearance-based features and boosting
CN109460734B (zh) 基于层次动态深度投影差值图像表示的视频行为识别方法及系统
CN111160119B (zh) 一种用于化妆人脸验证的多任务深度判别度量学习模型构建方法
Li et al. Bimodal gender recognition from face and fingerprint
Wang et al. A survey of face recognition
Xu et al. Speed-invariant gait recognition using single-support gait energy image
Neverova Deep learning for human motion analysis
TWI731919B (zh) 圖像識別方法與裝置及度量學習方法與裝置
Ramanathan et al. Robust human authentication using appearance and holistic anthropometric features
Jadhav et al. HDL-PI: hybrid DeepLearning technique for person identification using multimodal finger print, iris and face biometric features
Sokolova et al. Methods of gait recognition in video
Kächele et al. Cascaded fusion of dynamic, spatial, and textural feature sets for person-independent facial emotion recognition
Appenrodt et al. Multi stereo camera data fusion for fingertip detection in gesture recognition systems
Bao et al. A supervised neighborhood preserving embedding for face recognition
Carvajal et al. Joint recognition and segmentation of actions via probabilistic integration of spatio-temporal fisher vectors
Jan Deep learning based facial expression recognition and its applications
Li et al. Boosting constrained mutual subspace method for robust image-set based object recognition
Li et al. Intelligent terminal face spoofing detection algorithm based on deep belief network
Upadhyay et al. Face Recognition Using EfficientNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240617

Address after: No. 98 Wangjiang Road, Menghe Town, Xinbei District, Changzhou City, Jiangsu Province (Building 1, 440)

Patentee after: Ansei Rui (Changzhou) Information Technology Co.,Ltd.

Country or region after: China

Address before: 213164 No.28, Mingxin Middle Road, Wujin District, Changzhou City, Jiangsu Province

Patentee before: Changzhou Polytechnic

Country or region before: China