CN106203533B - 基于混合训练的深度学习人脸验证方法 - Google Patents

基于混合训练的深度学习人脸验证方法 Download PDF

Info

Publication number
CN106203533B
CN106203533B CN201610592954.5A CN201610592954A CN106203533B CN 106203533 B CN106203533 B CN 106203533B CN 201610592954 A CN201610592954 A CN 201610592954A CN 106203533 B CN106203533 B CN 106203533B
Authority
CN
China
Prior art keywords
face
training
triple
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610592954.5A
Other languages
English (en)
Other versions
CN106203533A (zh
Inventor
严严
陈日伟
王菡子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201610592954.5A priority Critical patent/CN106203533B/zh
Publication of CN106203533A publication Critical patent/CN106203533A/zh
Application granted granted Critical
Publication of CN106203533B publication Critical patent/CN106203533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于混合训练的深度学习人脸验证方法。准备人脸数据集；对每幅图像进行人脸和人脸关键点检测；对所有人脸归一化，得人脸图像训练集，再划分为训练和验证数据集，计算所有人脸图像的均值图像；将所有人脸图像都减去均值图像得均值化的训练数据集和验证数据集；训练深度卷积神经网络；对每幅人脸图像生成对应的三元组，构成三元组训练数据集和三元组验证数据集；再次训练深度卷积神经网络；对于给定待验证的两幅图像进行人脸和人脸特征点检测，并减去均值图像，输入深度卷积神经网络中，进行网络前馈操作，并提取特征；根据选定的阈值，当两幅图像提取特征之间的距离大于阈值，判定两张图像中的人脸属于同一个人，否则判定为不同人。

Description

基于混合训练的深度学习人脸验证方法
技术领域
本发明涉及计算机视觉中的人脸识别，具体是涉及一种基于混合训练的深度学习人脸验证方法。
背景技术
人脸识别是一种生物特征识别方法。相比于其它传统的生物特征识别方法，人脸识别具有无接触性、隐蔽性、用户接受度高等优点。人脸识别在国家安全、安防、门禁控制等领域具有广泛应用，具有巨大的市场价值和科研价值。人脸识别属于基于图像的识别方法。基于图像的识别方法的挑战在于如何从图像中获取有效的特征表示，以便后续的识别分类等任务。
传统的人脸识别方法，将识别任务分解为人工特征设计和分类器训练这两个独立部分分别进行学习。人脸特征提取在人脸识别中起到至关重要的作用，直接制约着人脸识别的性能。传统的特征提取方法采用的是基于人工设计，如LBP特征(T.Ahonen,A.Hadid,M.Pietikainen.Face description with local binary patterns:Application to facerecognition[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2006,28(12):2037–2041)、SIFT特征(D.G.Lowe.Distinctive imagefeatures from scale-invariant keypoints[J].International Journal of ComputerVision,2004,60(2):91–110)等。但是，这些浅层的特征往往无法捕获高级语义信息，极大地制约着人脸识别的性能。此外，将人脸识别分解为两个独立的步骤不利于最终的人脸识别任务。人工设计的特征可能无法跟分类器很好地匹配，造成最终整体人脸识别性能的下降。最后，手工设计的特征非常依靠于专家经验，常常需要很长的一段时间才能设计出一个好的特征，即构建一个合适于目标任务的人工特征费时费力。
在基于深度学习的人脸识别方法中，卷积神经网络是一种鲁棒的特征提取方法。DeepFace(Y.Taigman,M.Yang,M.Ranzato,L.Wolf.Deepface:Closing the gap to human-level performance in face verification[C].Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2014,1701–1708)是第一个提出用卷积神经网络进行人脸特征提取的方法。该方法利用了超过440万张人脸图像作为训练数据，采用3D人脸对齐预处理方法，基于级联的卷积层和局部连接层进行特征提取。最终利用4096维特征在LFW(LabeledFaces in the Wild)(G.B.Huang,M.Ramesh,T.Berg,E.Learned-Miller.Labeled faces in the wild:A database for studying face recognition inunconstrained environments[R].Technical Report 07-49,University ofMassachusetts,Amherst.2007)人脸验证评测数据中，取得了97.35％的识别率。该方法首次在LFW评测数据库中，取得了接近于人类的识别水平。紧随着，DeepID(Y.Sun,X.Wang,X.Tang.Deep learning face representation from predicting 10,000classes[C].Proceedings of the IEEE Conference on Computer Vision and Patternrecognition,2014,1891–1898)系列方法被提出。该方法主要采用了多块集成模型(multi-patch ensemble model)提高模型精度，其在不同的人脸区域中分类训练了超过25个不同的特征并进行集成融合，并利用联合贝叶斯(Joint Bayesian)方法来获取最后的特征表示。此外，DeepID还采用结合分类损失函数和验证损失函数来扩大类间特征距离同时缩小类内特征距离，以进一步提高人脸验证的性能。DeepID系列方法在LFW评测数据库中，取得了98.97％的识别率。最近三元组损失函数被引入到卷积神经网络中。比如，FaceNet(F.Schroff,D.Kalenichenko,J.Philbin.FaceNet:A unified embedding for facerecognition and clustering[C].Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2015,815–823)提出了利用三元组损失函数训练卷积神经网络来进行人脸特征提取。该方法利用了超过200万人脸图像训练网络，并在LFW评测数据库中获得了99.63％的识别率。
虽然基于深度卷积神经网络模型的各种方法，在LFW等评测数据库中取得了良好的性能。然而，目前在基于深度卷积神经网络模型的各类方法中，依然存在着如下一些问题：第一，训练数据需求量大。例如在DeepFace和FaceNet中，训练集都需要利用超过200万张的人脸数据。而大量的训练数据的获取有时候是一件困难的事情。第二，模型训练时间复杂度高并且计算量大。如在FaceNet中，为了训练一个好的模型，需要超过2,000h的训练时长。研究如何利用深度学习进行快速而有效的特征表示学习，是人脸识别中的一个关键的问题。
发明内容
本发明的目的是提供一种基于混合训练的深度学习人脸验证方法。
本发明包括以下步骤：
A.准备人脸数据集，其包含人脸的图像以及相应的身份标签；
B.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置；
C.根据人脸关键点的位置对所有人脸进行归一化处理，得到人脸图像训练集；
D.对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像；
E.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集；
F.利用均值化的训练数据集和验证数据集训练深度卷积神经网络，采用Softmax损失函数对训练数据集进行训练和学习网络参数；同时按照一定的训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；
G.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集；
H.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；
I.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到深度卷积神经网络中，进行网络前馈操作，并提取最后一层特征f1和f2；
J.根据事先选定的阈值T，当f1与f2之间的欧式距离大于阈值T，判定两张图像中的人脸属于同一个人，否则判定为不同人，从而完成人脸验证。
在步骤A中，所述准备人脸数据集可采用复杂场景下采集的人脸数据库。
在步骤B中，所述人脸检测和人脸关键点的检测方法可采用OpenCV提供的方法，以得到人脸关键点的位置。
在步骤C中，所述归一化处理可采用基于仿射变换的人脸归一化方法，其具体步骤可为：
C1.根据检测到的人脸关键点坐标和标准的人脸关键点坐标，利用最小二乘法拟合一个最优的仿射变换矩阵；
C2.利用仿射变换矩阵，将大小不同的人脸图像变换到统一大小的标准人脸图像；
C3.对收集的人脸数据集中的所有图像执行C1和C2，最终构成人脸图像训练集。
在步骤D中，所述对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像的具体方法可为：
D1.对人脸图像训练集按照9︰1的比例进行划分，分为训练数据集和验证数据集；
D2.计算训练数据集中所有人脸图像R分量的均值，计算方法为：
其中Xi(R)为第i幅人脸图像的R分量；N为训练数据集的图像数目，且N为自然数；
D3.计算训练数据集中所有人脸图像G分量的均值，计算方法为：
其中Xi(G)为第i幅人脸图像的G分量；
D4.计算训练数据集中所有人脸图像B分量的均值，计算方法为：
其中Xi(B)分别为第i幅人脸图像的B分量；
D5.将训练数据集中所有人脸图像R、G、B分量的均值组成均值图像。
在步骤F中，所述神经网络的模型为一个包含多层卷积、下采样、激活函数堆叠构成的深度卷积神经网络，其优化函数为Softmax损失函数：
其中ln∈[1,2,...,K]表示第n个人的类别标签；K表示总人脸的类别数且K为自然数；p(n,ln)表示Softmax层将第n个数据判断为第ln类人脸的概率值；x(n,k)为Softmax层第k个输出分量。
在步骤G中，所述三元组标签的生成方法包括以下步骤：
G1.根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi(对应特征为fi)，从同属于同一个人脸标签的所有人脸图像中，选择距离最大所对应的人脸图像Pi(对应特征为fi p)；
G2.根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi(对应特征为fi)，从其它具有不同人脸标签的所有人脸图像中，选择距离最小所对应的人脸图像Ni(对应特征为fi n)；
G3.根据步骤G1和G2的结果，构成＜Xi,Pi,Ni＞三元组，该三元组表示Xi和Pi表示同一个人，其特征距离比较大；Xi和Ni表示不同的人，其特征距离比较小；
G4：对于训练数据集和验证数据集中的所有人脸图像执行步骤G1到G3，最终构成三元组训练数据集和三元组验证数据集。
在步骤H中，所述利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，除了保持除最后一层分类层之外的参数，其他部分网络结构复制3份，且每份网络中的权重参数共享，并训练优化三元组损失函数，三元组损失函数为：
其中N为三元组的个数且N为自然数；fi p表示与fi同一个人的人脸图像特征，fi n表示与fi不同人的人脸图像特征；th表示边际阈值；该三元组损失函数优化相同的身份的人脸图像特征的距离越小，不同身份的人脸图像的特征距离越大。
与现有的技术相比，本发明的关键点在于结合Softmax损失函数和三元组损失函数进行网络混合训练。本发明同时具有快速的网络训练和提取判别性的特征的优点。因此，可以在较短的时间内，快速的进行网络训练和获取更有效的特征表示。
附图说明
图1为标准的68个人脸关键点位置示意图；
图2为本发明采用的基于Softmax训练的深度卷积神经网络结构示意图；
图3为本发明采用的基于三元组训练的深度卷积神经网络结构示意图；
图4为不同的人脸验证方法在LFW评测数据库上的ROC曲线比较结果。
具体实施方式
下面结合附图对本发明的实施例做详细说明。
本实施例包括如下步骤：
S1.准备人脸数据集，其包含人脸图像以及相应的身份标签。本发明实施的数据集为公开的WebFace人脸数据集，其包含10,575个名人，共约49万张人脸图像，WebFace人脸数据多样性好，比较适合用来训练深度卷积神经网络。
S2.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置。本步骤可以采用任何一种人脸检测方法和人脸关键点检测方法。本实例采用的是基于LBP特征的Adaboost人脸检测方法和基于形状回归的人脸关键点检测方法。人脸关键点方法可检测出人脸的68个关键点，其中68个标准人脸关键点的位置如图1所示。
S3.根据人脸关键点的位置对所有人脸进行归一化处理，得人脸图像训练集。具体包括：
(1)根据检测到的人脸关键点坐标和标准的人脸关键点坐标，利用最小二乘法拟合一个最优的仿射变换矩阵。
(2)利用仿射变换矩阵，将大小不同的人脸图像变换到统一大小的标准人脸图像。
(3)对收集的人脸数据集中的所有图像执行(1)和(2)，最终构成人脸图像训练集。
S4.对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像。具体包括：
(1)对人脸图像训练集按照9︰1的比例进行划分，分为训练数据集和验证数据集。
(2)计算训练数据集中所有人脸图像R分量的均值，计算方法为：
其中Xi(R)为第i幅人脸图像的R分量；N为训练数据集的图像数目，且N为自然数。
(3)计算训练数据集中所有人脸图像G分量的均值，计算方法为：
其中Xi(G)为第i幅人脸图像的G分量；
(4)计算训练数据集中所有人脸图像B分量的均值，计算方法为：
其中Xi(B)分别为第i幅人脸图像的B分量；
(5)将训练数据集中所有人脸图像R、G、B分量的均值组成均值图像。
S5.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集。
S6.利用均值化的训练数据集和验证数据集训练深度卷积神经网络。采用Softmax损失函数对训练数据集进行训练和学习网络参数；同时按照一定的训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛。所采用的神经网络模型为一个包含多层卷积、下采样、激活函数堆叠构成的深度卷积神经网络。卷积神经网络的结构示意图如图2所示，具体的卷积神经网络结构参数如表1所示，其包含了卷积层、下采样层、激活函数层、全连接层、损失函数层。其优化函数为Softmax损失函数：
其中ln∈[1,2,...,K]表示第n个人的类别标签；K表示总人脸的类别数且K为自然数；p(n,ln)表示Softmax层将第n个数据判断为第ln类人脸的概率值；x(n,k)为Softmax层第k个输出分量。
表1
网络层名 类型 输入大小 输出大小 滤波器大小/步长
Conv1_1 卷积层 128*128*3 128*128*32 3*3/1
Conv1_2 卷积层 128*128*32 128*128*64 3*3/1
Pool1 下采样层 128*128*64 64*64*64 2*2/2
Conv2_1 卷积层 64*64*64 64*64*96 3*3/1
Conv2_2 卷积层 64*64*96 64*64*128 3*3/1
Pool2 下采样层 64*64*128 32*32*128 2*2/2
Conv3_1 卷积层 32*32*128 32*32*128 3*3/1
Conv3_2 卷积层 32*32*128 32*32*192 3*3/1
Pool3 下采样层 32*32*192 16*16*192 2*2/2
Conv4_1 卷积层 16*16*192 16*16*256 3*3/1
Conv4_2 卷积层 16*16*256 16*16*256 3*3/1
Pool4 下采样层 16*16*256 8*8*256 2*2/2
Conv5_1 卷积层 8*8*256 8*8*320 3*3/1
Conv5_2 卷积层 8*8*320 8*8*320 3*3/1
Pool5 下采样层 8*8*320 4*4*320 2*2/2
Dropout1 Dropout层 4*4*320 4*4*320
Fc1 全连接层 4*4*320 1*1*128
Fc2 全连接层 1*1*128 1*1*10575
表1中的标记*代表数学运算符号×。
S7.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集。具体包括：
(1)根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi(对应特征为fi)，从同属于同一个人脸标签的所有人脸图像中，选择距离最大所对应的人脸图像Pi(对应特征为fi p)。
(2)根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi(对应特征为fi)，从其它具有不同人脸标签的所有人脸图像中，选择距离最小所对应的人脸图像Ni(对应特征为fi n)。
(3)根据G1和G2步骤的结果，构成＜Xi,Pi,Ni＞三元组。该三元组表示Xi和Pi表示同一个人，其特征距离比较大；Xi和Ni表示不同的人，其特征距离比较小。
(4)对于训练数据集和验证数据集中的所有人脸图像执行步骤(1)～(3)，最终构成三元组训练数据集和三元组验证数据集。
本发明采用的基于三元组训练的深度卷积神经网络结构示意图参见图3。
S8.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络。采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛。对于再次训练的深度卷积神经网络，除了保持除最后一层分类层之外的参数，其他部分网络结构复制3份，且每份网络中的权重参数共享，并训练优化三元组损失函数，三元组损失函数为：
其中N为三元组的个数且N为自然数；fi p表示与fi同一个人的人脸图像特征，fi n表示与fi不同人的人脸图像特征；th表示边际阈值。该三元组损失函数优化相同的身份的人脸图像特征的距离越小，不同身份的人脸图像的特征距离越大。
S9.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到深度卷积神经网络中，进行网络前馈操作，并提取最后一层特征f1和f2。
S10.根据事先选定的阈值T，当f1与f2之间的欧式距离大于阈值T，判定两张图像中的人脸属于同一个人，否则判定为不同人，从而完成人脸验证。两张人脸图像经过预处理和减去均值人脸图像之后，分别放入三元组损失函数训练好的网络中获取特征f1和f2，并直接计算这两个特征之间的欧式距离d，当d大于阈值T的时候，判断两张图像中的人脸属于同一个人，否则判定为不同人。T根据不同的场景要求会有所差异，一般情况下可设置为0.5。
S11.将LFW人脸评测数据进行步骤S2～S4的操作，然后减去均值图像，放入训练好的网络中，进行人脸特征提取。最后，根据计算每个比对的人脸特征的欧式距离，进行人脸验证。分别与TL-FaceVerification、High-dim LBP、Convnet-rbm、DeepID、DeepFace-Ensemble方法进行比较。实验结果如图4所示，从图4中可以看出，基于混合训练的深度学习人脸验证方法要明显好于基本的Softmax方法。此外，在单个模型上的识别结果可以接近或者好于DeepID和DeepFace等方法。
在图4中，曲线1对应于Cao等提出的TL-FaceVerification方法(X.Cao,D.Wipf,F.Wen,G.Duan,J.Sun.A Practical Transfer Learning Algorithm for FaceVerification[C].Proceedings of theIEEE International Conference on ComputerVision,2013,3208–3215)；曲线2对应于Sun等提出的DeepID方法(Y.Sun,X.Wang,X.Tang.Deep learning face representation from predicting 10,000classes[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2014,1891–1898)；曲线3对应的是Taigman等提出的DeepFace-Ensemble方法(Y.Taigman,M.Yang,M.Ranzato,L.Wolf.Deepface:Closing the gap to human-levelperformance in face verification[C].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2014,1701–1708)；曲线4对应的是Chen等提出的High-dim LBP方法(D.Chen,X.Cao,F.Wen,J.Sun.Blessing of dimensionality:High-dimensional feature and its efficient compression for face verification[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2013,3025–3032)；曲线5对应的是Sun等提出的Convnet-rbm方法(Y.Sun,X.Wang,X.Tang.Hybrid Deep Learning for Face Verification[C].Proceedings ofthe IEEE International Conference on Computer Vision,2013,1489–1496)；曲线6对应的是基于Softmax训练的深度学习人脸验证结果；曲线7对应的是本发明的基于混合训练的深度学习人脸验证结果。
S12.为了更好地说明基于混合训练的深度学习人脸特征提取具有更好的判别性，我们选取50个人，每人分别15张人脸图像，进行特征提取，并利用PCA降维进行特征可视化，从实验结果可以看出，基于混合训练的深度人脸特征，具有更好的判别性，能较好的将不同身份的人脸图像区分开，不同身份的人脸之间的区分度较大，相同身份的人脸之间更加紧凑。
S13.分别比较不同的深度卷积神经网络方法所需要的训练时间。训练基于Softmax网络模型花费了接近1天的时间。基于混合训练的网络使用接近3天的时间开始收敛到一个比较好的模型。同时，而训练一个基于三元组损失函数的方法，训练一周的时间依然没有能收敛到一个比较好的模型。所有的这些训练时间数据是Ubuntu14.04系统环境下，采用CPU为Intel core i7，内存大小为16G下，并利用Titan X GPU环境下测试的结果。在FaceNet中报告了他们训练网络的所需要的时间为1,000h到2,000h。不同的深度学习人脸验证方法所需要的训练时间比较如表2中所示。从表2中可以看出，基于混合训练的方法，可以大大加快模型的收敛时间。
表2
人脸验证方法 基于Softmax 基于三元组 基于混合训练 FaceNet
训练时间(h) 24 超过168 96 超过1,000
本发明采用先利用基于Softmax损失函数训练深度卷积神经网络，然后利用基于三元组损失函数重新训练深度卷积神经网络的混合训练方法。

Claims (9)

1.基于混合训练的深度学习人脸验证方法，其特征在于包括以下步骤：
A.准备人脸数据集，其包含人脸的图像以及相应的身份标签；
B.对人脸数据集中的每幅图像分别进行人脸检测和人脸关键点检测，获取人脸关键点在每幅图像中的位置；
C.根据人脸关键点的位置对所有人脸进行归一化处理，得到人脸图像训练集；
D.将人脸图像训练集划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像；
E.将训练数据集和验证数据集中的所有人脸图像都减去均值图像，得到均值化的训练数据集和验证数据集；
F.利用均值化的训练数据集和验证数据集训练深度卷积神经网络，对训练数据集进行训练和学习网络参数；同时按照训练步长，将验证数据集放入卷积神经网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；
G.对于训练数据集和验证数据集中的每幅人脸图像，生成一个对应的三元组，从而构成三元组训练数据集和三元组验证数据集；
H.利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，采用三元组损失函数对三元组训练数据集进行训练和学习网络参数；将验证数据放入卷积神经网络网络中进行测试，以此观察网络的训练收敛情况，直至训练网络收敛；
I.对于给定待验证的两幅图像，分别进行人脸检测和人脸特征点检测，并减去均值图像，输入到深度卷积神经网络中，进行网络前馈操作，并提取最后一层特征f1和f2；
J.根据事先选定的阈值T，当f1和f2之间的欧式距离小于阈值T，判定两张图像中的人脸属于同一个人，否则判定为不同人，从而完成人脸验证。
2.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤A中，所述准备人脸数据集采用场景下采集的人脸数据库。
3.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤B中，所述人脸检测和人脸关键点的检测方法采用OpenCV提供的方法，以得到人脸关键点的位置。
4.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤C中，所述归一化处理采用基于仿射变换的人脸归一化方法，其具体步骤为：
C1.根据检测到的人脸关键点坐标和标准的人脸关键点坐标，利用最小二乘法拟合一个最优的仿射变换矩阵；
C2.利用仿射变换矩阵，将大小不同的人脸图像变换到统一大小的标准人脸图像；
C3.对收集的人脸数据集中的所有图像执行C1和C2，最终构成人脸图像训练集。
5.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤D中，所述对人脸图像训练集按照一定的比例划分为训练数据集和验证数据集，并计算训练数据集中所有人脸图像的均值图像的具体方法为：
D1.对人脸图像训练集按照9︰1的比例进行划分，分为训练数据集和验证数据集；
D2.计算训练数据集中所有人脸图像R分量的均值，计算方法为：
其中Xi(R)为第i幅人脸图像的R分量；N为训练数据集的图像数目，且N为自然数；
D3.计算训练数据集中所有人脸图像G分量的均值，计算方法为：
其中Xi(G)为第i幅人脸图像的G分量；
D4.计算训练数据集中所有人脸图像B分量的均值，计算方法为：
其中Xi(B)分别为第i幅人脸图像的B分量；
D5.将训练数据集中所有人脸图像R、G、B分量的均值组成均值图像。
6.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤F中，所述神经网络的模型为一个包含多层卷积、下采样、激活函数堆叠构成的深度卷积神经网络，其优化函数为Softmax损失函数：
其中ln∈[1,2,...,K]表示第n个人的类别标签；K表示总人脸的类别数且K为自然数；p(n,ln)表示Softmax层将第n个数据判断为第ln类人脸的概率值；x(n,k)为Softmax层第k个输出分量。
7.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤F中，所述对训练数据集进行训练和学习网络参数采用Softmax损失函数对训练数据集进行训练和学习网络参数。
8.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤G中，所述三元组标签的生成方法包括以下步骤：
G1.根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi，对应特征为fi，从同属于同一个人脸标签的所有人脸图像中，选择距离最大所对应的人脸图像Pi，对应特征为
G2.根据从训练得到的卷积神经网络提取特征之间的欧式距离，对于每一幅人脸图像Xi，对应特征为fi，从其它具有不同人脸标签的所有人脸图像中，选择距离最小所对应的人脸图像Ni，对应特征为
G3.根据步骤G1和G2的结果，构成＜Xi,Pi,Ni＞三元组，该三元组表示Xi和Pi表示同一个人，其特征距离比较大；Xi和Ni表示不同的人，其特征距离比较小；
G4：对于训练数据集和验证数据集中的所有人脸图像执行步骤G1到G3，最终构成三元组训练数据集和三元组验证数据集。
9.如权利要求1所述基于混合训练的深度学习人脸验证方法，其特征在于在步骤H中，所述利用三元组训练数据集和三元组验证数据集再次训练深度卷积神经网络，除了保持除最后一层分类层之外的参数，其他部分网络结构复制3份，且每份网络中的权重参数共享，并训练优化三元组损失函数，三元组损失函数为：
其中N为三元组的个数且N为自然数；表示与fi同一个人的人脸图像特征，表示与fi不同人的人脸图像特征；th表示边际阈值；该三元组损失函数优化相同的身份的人脸图像特征的距离越小，不同身份的人脸图像的特征距离越大。
CN201610592954.5A 2016-07-26 2016-07-26 基于混合训练的深度学习人脸验证方法 Active CN106203533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610592954.5A CN106203533B (zh) 2016-07-26 2016-07-26 基于混合训练的深度学习人脸验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610592954.5A CN106203533B (zh) 2016-07-26 2016-07-26 基于混合训练的深度学习人脸验证方法

Publications (2)

Publication Number Publication Date
CN106203533A CN106203533A (zh) 2016-12-07
CN106203533B true CN106203533B (zh) 2019-09-20

Family

ID=57495937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592954.5A Active CN106203533B (zh) 2016-07-26 2016-07-26 基于混合训练的深度学习人脸验证方法

Country Status (1)

Country Link
CN (1) CN106203533B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975959B (zh) * 2016-06-14 2019-09-03 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106780906B (zh) * 2016-12-28 2019-06-21 北京品恩科技股份有限公司 一种基于深度卷积神经网络的人证合一识别方法及系统
CN106709528A (zh) * 2017-01-10 2017-05-24 深圳大学 基于多目标函数深度学习的车辆重识别方法及装置
CN107066941A (zh) * 2017-03-01 2017-08-18 桂林电子科技大学 一种人脸识别方法和系统
CN108304755B (zh) 2017-03-08 2021-05-18 腾讯科技（深圳）有限公司 用于图像处理的神经网络模型的训练方法和装置
KR102359558B1 (ko) * 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
CN107577987A (zh) * 2017-08-01 2018-01-12 广州广电卓识智能科技有限公司 身份认证的方法、系统和装置
CN107358223B (zh) * 2017-08-16 2021-06-22 上海荷福人工智能科技（集团）有限公司 一种基于yolo的人脸检测与人脸对齐方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法
US10452954B2 (en) * 2017-09-14 2019-10-22 Google Llc Object detection and representation in images
CN209132890U (zh) * 2017-09-27 2019-07-19 中山市宾哥网络科技有限公司 结算箱
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质
CN108269371B (zh) * 2017-09-27 2020-04-03 缤果可为（北京）科技有限公司 商品自动结算方法、装置、自助收银台
CN107633236B (zh) * 2017-09-28 2019-01-22 北京达佳互联信息技术有限公司 图像内容理解方法、装置及服务器
CN108875487B (zh) * 2017-09-29 2021-06-15 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN108090451B (zh) * 2017-12-20 2019-12-24 湖北工业大学 一种人脸识别方法及系统
CN109951724A (zh) * 2017-12-20 2019-06-28 阿里巴巴集团控股有限公司 直播推荐方法、主播推荐模型训练方法及相关设备
CN108229398A (zh) * 2018-01-04 2018-06-29 中科汇通投资控股有限公司 一种自我学习的人脸验证方法
CN108073917A (zh) * 2018-01-24 2018-05-25 燕山大学 一种基于卷积神经网络的人脸识别方法
CN108681689B (zh) * 2018-04-02 2021-06-04 中国科学院自动化研究所 基于生成对抗网络的帧率增强步态识别方法及装置
CN108921026A (zh) * 2018-06-01 2018-11-30 平安科技（深圳）有限公司 动物身份的识别方法、装置、计算机设备和存储介质
CN109145704B (zh) * 2018-06-14 2022-02-22 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
CN108831103A (zh) * 2018-06-19 2018-11-16 合肥凌极西雅电子科技有限公司 网络视频监控安防报警系统
CN109002767A (zh) * 2018-06-22 2018-12-14 恒安嘉新（北京）科技股份公司 一种基于深度学习的人脸验证方法及系统
CN109460773A (zh) * 2018-07-27 2019-03-12 北京电影学院 一种基于深度卷积网络的跨域图像稀疏匹配方法
CN110795975B (zh) * 2018-08-03 2023-07-21 浙江宇视科技有限公司 人脸误检优化方法及装置
CN109284685B (zh) * 2018-08-22 2021-08-31 一石数字技术成都有限公司 一种基于积分法的人脸识别方法和系统
CN108932783A (zh) * 2018-09-19 2018-12-04 南京邮电大学 一种基于二维人脸识别的面向大流量场景的门禁系统
CN109214360B (zh) * 2018-10-15 2021-03-26 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109377616B (zh) * 2018-10-30 2021-02-12 南京邮电大学 一种基于二维人脸识别的门禁控制系统
CN112912887A (zh) * 2018-11-08 2021-06-04 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109886080A (zh) * 2018-12-29 2019-06-14 深圳云天励飞技术有限公司 人脸活体检测方法、装置、电子设备及可读存储介质
CN109948441B (zh) * 2019-02-14 2021-03-26 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109949452A (zh) * 2019-02-21 2019-06-28 广州维实信息科技有限公司 基于人脸识别的通道出入检测方法
CN110296705B (zh) * 2019-06-28 2022-01-25 苏州瑞久智能科技有限公司 一种基于距离度量学习的视觉slam回环检测方法
CN110309778A (zh) * 2019-07-01 2019-10-08 江苏医像信息技术有限公司 眼底图身份识别方法
CN110532920B (zh) * 2019-08-21 2023-12-29 长江大学 基于FaceNet方法的小数量数据集人脸识别方法
CN111310648B (zh) * 2020-02-13 2023-04-11 中国科学院西安光学精密机械研究所 基于解纠缠表达学习的跨模态生物特征匹配方法及系统
CN111401277A (zh) * 2020-03-20 2020-07-10 深圳前海微众银行股份有限公司 人脸识别模型更新方法、装置、设备和介质
CN111679949A (zh) * 2020-04-23 2020-09-18 平安科技（深圳）有限公司 基于设备指标数据的异常检测方法及相关设备
CN111539008B (zh) * 2020-05-22 2023-04-11 蚂蚁金服（杭州）网络技术有限公司 保护隐私的图像处理方法及装置
CN111985310B (zh) * 2020-07-08 2023-06-30 华南理工大学 一种用于人脸识别的深度卷积神经网络的训练方法
CN111951384B (zh) * 2020-08-13 2024-05-28 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统
CN112287753B (zh) * 2020-09-23 2024-09-06 武汉天宝莱信息技术有限公司 一种基于机器学习提升人脸识别精度的系统及其算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
CN105701482A (zh) * 2016-02-29 2016-06-22 公安部第研究所 基于非平衡标签信息融合的人脸识别算法架构

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866829A (zh) * 2015-05-25 2015-08-26 苏州大学 一种基于特征学习的跨年龄人脸验证方法
CN105631296A (zh) * 2015-12-30 2016-06-01 北京工业大学 一种基于cnn特征提取器的安全人脸认证系统设计方法
CN105701482A (zh) * 2016-02-29 2016-06-22 公安部第研究所 基于非平衡标签信息融合的人脸识别算法架构

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《FaceNet: A unified embedding for face recognition and clustering》;Florian Schroff 等;《2015 IEEE Conference on Computer Vision and Pattern Recognition》;20150612;全文 *

Also Published As

Publication number Publication date
CN106203533A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203533B (zh) 基于混合训练的深度学习人脸验证方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN106127103B (zh) 一种离线身份认证的方法和装置
CN104036255B (zh) 一种人脸表情识别方法
CN102663413B (zh) 一种面向多姿态和跨年龄的人脸图像认证方法
CN101777131B (zh) 双模人脸识别方法及装置
CN110610129A (zh) 一种基于自注意力机制的深度学习人脸识别系统及方法
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN106503687A (zh) 融合人脸多角度特征的监控视频人物身份识别系统及其方法
Tivive et al. A gender recognition system using shunting inhibitory convolutional neural networks
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
Lin et al. Face gender recognition based on face recognition feature vectors
Borgalli et al. Deep learning for facial emotion recognition using custom CNN architecture
CN106650798A (zh) 一种结合深度学习与稀疏表示的室内场景识别方法
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Ali et al. Attendance System Optimization through Deep Learning Face Recognition
Kang et al. Deep convolution neural network with stacks of multi-scale convolutional layer block using triplet of faces for face recognition in the wild
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
CN114998966A (zh) 基于特征融合的人脸表情识别方法
Fang et al. (Retracted) Face recognition technology in classroom environment based on ResNet neural network
Mitchell et al. Off line signature verification using transfer learning and data Augmentation on Imbalanced Dataset
Sabharwal et al. A comparative analysis of various deep learning models for facial recognition
Abhila et al. A deep learning method for identifying disguised faces using AlexNet and multiclass SVM
Lefebvre et al. Supervised image classification by SOM activity map comparison
Omotosho et al. A real time face recognition system using Alexnet deep convolutional network transfer learning model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant