CN109635643B - 一种基于深度学习的快速人脸识别方法 - Google Patents
一种基于深度学习的快速人脸识别方法 Download PDFInfo
- Publication number
- CN109635643B CN109635643B CN201811295723.3A CN201811295723A CN109635643B CN 109635643 B CN109635643 B CN 109635643B CN 201811295723 A CN201811295723 A CN 201811295723A CN 109635643 B CN109635643 B CN 109635643B
- Authority
- CN
- China
- Prior art keywords
- face
- face recognition
- training
- classifier
- same person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 70
- 238000012360 testing method Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的快速人脸识别方法，该快速人脸识别方法针对实时人脸识别技术受限于网络带宽和硬件处理能力的影响以及识别速度不高的问题进行了探索，在兼顾人脸识别准确率的同时，考虑到人脸识别占用内存空间和识别速度问题，对轻量级的卷积神经网络模型SqueezeNet进行改进，实现SqueezeNet的特征提取和分类功能分离，以欧式距离代替Softmax和全连接层的分类能力来减少模型参数，利用改进的SqueezeNet提取特征，利用欧氏距离进行分类识别，不仅可以兼顾识别准确率，而且能提高人脸识别的识别速度，相比于现有技术算法，具有一定优势。
Description
技术领域
本发明涉及人脸智能识别技术领域，具体涉及一种基于深度学习的快速人脸识别方法。
背景技术
生活工作中的方方面面都涉及到个人身份的识别和验证。传统身份识别与验证方式安全性都很低，用来标识身份的个人物品容易丢失或者被仿造，用来标识身份的符号容易被遗忘或者窃取，生物特征作为身份验证和识别依据越来越被重视，人脸识别是比较友好的生物识别技术，已经被广泛研究及应用。
近年来，自从人脸识别引入了深度卷积网络后，人脸识别的效果取得巨大的提高。2014年，Facebook利用大规模人脸图像对卷积神经网络进行训练得到Deepface。该方法在LFW人脸识别数据集的识别准确率为97.35％，性能几乎可以与人工识别媲美。Simonyan和Zisserman采取深层网络拓扑结构和较大的输入图像构建的VGG网络获得了98.95％的准确率。香港中文大学提出的DeepId网络对卷积神经网络做了一系列改进，采用局部和全局特征相联合、利用联合贝叶斯处理卷积特征及利用识别和认证两种监督信息进行训练，将准确率提升到99％以上。随着人脸数据集的扩大，人脸识别精度也得到了相应的提高。2015年Google采用三元组损失函数(TripletLoss)作为其监督信息，只利用200张图片训练得到的FaceNet，取得了99.63％的识别准确率。随后，百度在LFW数据集上得到了99.77％的识别准确率。与此同时，深度卷积神经网络的结构变更大更深：VGGFace的网络层数是16层，FaceNet的网络层数是22层，ResNet的网络层数已达152层。
目前，人脸识别技术由于网络带宽，硬件处理能力的限制，识别速度不高，在保证准确率的前提下，需对算法进行改进优化，提高识别速度，实现准确快速的人脸识别。
发明内容
本发明的目的是为了克服现有人脸识别算法复杂度太高、训练时间和测试时间过长给人脸识别速度带来的影响，提供一种保证准确率的条件下进行快速人脸识别的方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于深度学习的快速人脸识别方法，所述的快速人脸识别方法包括下列步骤：
S1、利用人脸数据库，训练人脸检测分类器，根据检测结果对弱分类器个数、强分类器个数进行调节优化；
S2、对人脸数据库进行人脸检测并进行裁剪，作为人脸识别方法的训练集和验证集；
S3、设置批数据的大小和基本学习率，利用训练集对卷积神经网络模型SqueezeNet进行训练，并根据训练结果判断模型的泛化能力并通过扩充数据量来防止过拟合；
训练是对改进前的squeezenet卷积神经网络模型进行训练，设置超参数、做出防拟合措施等，确定squeezenet卷积神经网络的参数及整体模型，然后在确定的模型的基础上再进行改进，分离其特征提取和分类功能，保留其特征提取功能，通过特征分类器进行特征分类等。
超参数是在开始训练前人为设置的参数，用于定义模型的复杂性、学习能力。通过合理地设计超参数可以使模型具有更高的准确率和更好地泛化能力。
批数据的大小和基本学习率是超参数。
批数据的大小(Batch size)指的是组成一个batch的样本个数，选取合适的Batchsize能够减少训练的损失函数值的震荡，提高内存效率。
基本学习率(base_lr)是用于所有层的梯度下降求解最优值的步长。在迭代过程中，基本学习率需要动态地调整来适应迭代的变化。
合理的批数据的大小设置能够减少训练的损失函数值的震荡，提高内存效率；用于定义模型的复杂性和学习能力的超参数，除了批数据还有其他参数，设置批数据的大小只是其中一方面。
S4、将卷积神经网络模型SqueezeNet的特征提取和分类功能分离，首先，将删除Softmax Loss层和全连接层后的卷积神经网络模型SqueezeNet作为人脸识别模型进行特征提取，提取人脸图像的256维的特征向量，然后，通过特征分类器对特征进行分类；
S5、以欧氏距离衡量特征之间的相似度进行分类，并根据ROC评价标准确定欧氏距离的分类阈值。
进一步地，所述的步骤S1中训练人脸检测分类器的过程如下：
S11、利用Adaboost算法，采用MIT人脸数据库进行训练；
S12、训练得出分类器后，利用包含不同姿态和光照条件下、不同背景下的加州理工大学的人脸数据库进行测试；
S13、将级联分类器作为决策树，通过多层检测的检测结果，对弱分类器个数、强分类器个数进行调节，以实现对分类器的结构的调整测试，得出检测结果最优的分类器结构，其中，级联分类器是由一系列强分类器串联组成的，每层强分类器包含多个弱分类器，强分类器的判断结果由各个弱分类器的投票加权平均结果得出。
进一步地，所述的步骤S2过程如下：
S21、对CASIA-WebFace人脸数据集进行人脸检测并进行裁剪；
S22、把CASIA-WebFace人脸数据集分成两部分，第一部分为每个人的图片集的前10张，这部分作为验证集，用于评估模型的泛化能力；第二部分为剩余的图片，这部分作为训练集，用于模型的训练。
进一步地，所述的步骤S3过程如下：
S31、对批数据的大小和基本学习率进行设置；
S32、根据模型输出的测试准确率和训练准确率相差是否悬殊来判断模型的泛化能力，并通过将数据集中的图像进行左右映射来扩充数据量，作为防止过拟合的措施。
进一步地，所述的卷积神经网络模型SqueezeNet由1个数据层、1个卷积层、8个Fire module、4个池化层、1个Softmax Loss层、1个全连接层、1个准确率层和1个accuracy_top5层组成。
进一步地，所述的步骤S5过程如下：
S51、计算两张图像的标准化特征向量，设两张图像的特征向量分别为(a1,a2,a3,…an)和(b1,b2,b3,…bn)，对特征向量进行标准化，得到标准化的特征向量(A1,A2,A3,…An)和(B1,B2,B3,…Bn),标准化计算公式如下：
S52、计算两个特征之间的欧氏距离d，计算公式如下：
S53、以欧氏距离d衡量特征之间的相似度进行分类，当d小于设定的分类阈值时，判定(a1,a2,a3,…an)和(b1,b2,b3,…bn)所对应的人脸属于同一个人，否则，不属于同一个人。
进一步地，所述的步骤S5中，根据ROC评价标准来评价基于欧氏距离方法的人脸识别性能，利用穷举法确定欧氏距离的分类阈值，通过设定不同分类阈值来测试分类的准确率，以确定在该数据库下人脸识别的最佳分类阈值。
进一步地，所述的根据ROC评价标准来评价基于欧氏距离方法的人脸识别性能具体如下：
用ROC评价标准来评价基于欧氏距离方法的人脸识别性能，通过计算模型的真阳性率和假阳性率来执行这一评价标准，准确率ACC为：
其中，TP表示真阳性，即测试集中人脸对为同一人，分类器也识别为同一个人；TN为真阴性，即测试集中人脸对不是同一人，分类器识别也不是同一人；FP为假阳性，即测试集中人脸对不是同一人，但是分类器识别成同一人；FN表示假阴性，即测试集中人脸是同一人，但是分类器识别不是同一人；P表示分类器识别为同一人；N表示分类器识别不是同一人。
本发明相对于现有技术具有如下的优点及效果：
1、本发明公开的基于深度学习的快速人脸识别方法在现有的人脸识别技术基础上进行了创新，新识别方法复杂度较低，训练收敛更快，减少了训练参数的数量，降低了资源消耗，增大了实现移动端本地应用的可能性，同时提高了人脸识别系统的安全性，非常具有实用价值。
2、本发明中，利用欧氏距离对SqueezeNet得到的人脸特征进行分类具有良好的效果。同时由于SqueezeNet只起到提取特征的作用，对识别分类的类别没有起到限制作用。当增加识别类别时，只需要重新计算欧氏距离的分类阈值，不需要增加全连接层的维度来重新训练模型。
附图说明
图1是本发明实施例中左右映射效果对比图；
图2是本发明实施例中损失函数值与迭代次数的关系示意图一，其中，最大迭代次数为300000；
图3是本发明实施例中损失函数值与迭代次数的关系示意图二，其中，最大迭代次数为150000；
图4是本发明实施例中测试准确率与迭代次数的关系示意图；
图5是本发明实施例中删除softmax层的SqueezeNet人脸识别结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例具体公开了一种基于深度学习的快速人脸识别方法，包括以下步骤：
S1、利用人脸数据库，训练人脸检测分类器，根据检测结果对弱分类器个数、强分类器个数等相关参数进行调节优化；
所述的步骤S1中训练人脸检测分类器的过程如下：
S11、利用Adaboost算法，采用MIT人脸数据库进行训练；
S12、训练得出分类器后，利用包含不同姿态和光照条件下、不同背景下的加州理工大学的人脸数据库进行测试；
S13、级联分类器是由一系列强分类器串联组成的，每层强分类器包含多个弱分类器，强分类器的判断结果由各个弱分类器的投票加权平均结果得出。级联分类器实际上是决策树，通过多层检测，检测结果更为可靠。根据测试结果，对弱分类器个数、强分类器个数等参数进行调节，以实现对分类器的结构的调整测试，得出检测结果最优的分类器结构。
S2、对人脸数据库进行人脸检测并进行裁剪，作为人脸识别方法的训练集和验证集；
所述的步骤S2过程如下：
S21、对CASIA-WebFace人脸数据集进行人脸检测并进行裁剪；
S22、把CASIA-WebFace人脸数据集分成两部分，第一部分为每个人的图片集的前10张，这部分作为验证集，用于评估模型的泛化能力；第二部分为剩余的图片，这部分作为训练集，用于模型的训练。
加州理工大学的人脸数据库和CASIA-WebFace人脸数据集都是人脸数据库，其中，加州理工大学的人脸数据库是用来测试检测效果的，而对CASIA-WebFace人脸数据集进行检测是为了接下来进一步的特征提取和分类。
S3、超参数是在开始训练前人为设置的参数，用于定义模型的复杂性、学习能力。设置超参数批数据的大小和基本学习率，利用训练集对卷积神经网络模型SqueezeNet进行训练，并根据训练结果判断模型的泛化能力并通过扩充数据量来防止过拟合。
所述的步骤S3过程如下：
S31、对批数据的大小(Batch_size)和基本学习率(base_lr)进行设置；
S32、根据模型输出的测试准确率和训练准确率相差是否悬殊来判断模型的泛化能力，即算法对新鲜样本的适应能力，并通过将数据集中的图像进行左右映射来扩充数据量，作为防止过拟合的措施。
S4、将卷积神经网络模型SqueezeNet的特征提取和分类功能分离，通过特征分类器对特征进行分类，代替Softmax和全连接层的分类能力来减少模型参数，提高人脸识别速度。
其中，卷积神经网络模型SqueezeNet作为人脸识别模型是由1个数据层、1个卷积层、8个Fire module、4个池化层(pooling Layer)、1个Softmax Loss层、1个全连接层、1个准确率层和1个accuracy_top5层组成的，在这个训练过程中，卷积神经网络模型SqueezeNet最后一层全连接层和Softmax Loss层起的作用是分类，其余层的作用是特征提取。将轻量级的卷积神经网络模型SqueezeNet进行改进，为减少参数、扩展识别类别，删除Softmax Loss层和全连接层；
删除Softmax Loss层和全连接层的卷积神经网络模型SqueezeNet的人脸识别结构主要起到特征提取的作用，提取人脸图像的256维的特征向量。通过特征分类器对特征进行分类，代替Softmax和全连接层的分类能力。
S5、通过特征分类器对特征进行分类，以欧氏距离衡量特征之间的相似度进行分类，并根据ROC评价标准确定欧氏距离的分类阈值。
所述的步骤S5过程如下：
S51、计算两张图像的标准化特征向量，设两张图像的特征向量分别为(a1,a2,a3,…an)和(b1,b2,b3,…bn)，对特征向量进行标准化，得到标准化的特征向量(A1,A2,A3,…An)和(B1,B2,B3,…Bn),标准化计算公式如下：
S52、计算两个特征之间的欧氏距离d，计算公式如下：
S53、以欧氏距离d衡量特征之间的相似度进行分类，当d小于设定的阈值时，判定(a1,a2,a3,…an)和(b1,b2,b3,…bn)所对应的人脸属于同一个人，否则，不属于同一个人；
本实施例根据ROC评价标准来评价基于欧氏距离方法的人脸识别性能，利用穷举法确定欧氏距离的分类阈值，通过设定不同阈值来测试分类的准确率，以确定在该数据库下人脸识别的最佳分类阈值。
用ROC评价标准来评价基于欧氏距离方法的人脸识别性能，通常通过计算模型的真阳性率(TPR)和假阳性率(TPR)来执行这一评价标准，准确率(ACC)为：
其中，TP表示真阳性，即测试集中人脸对为同一人，分类器也识别为同一个人；TN为真阴性，即测试集中人脸对不是同一人，分类器识别也不是同一人；FP为假阳性，即测试集中人脸对不是同一人，但是分类器识别成同一人；FN表示假阴性，即测试集中人脸是同一人，但是分类器识别不是同一人；P表示分类器识别为同一人；N表示分类器识别不是同一人。
根据ROC评价标准，利用穷举法确定欧氏距离的分类阈值，该阈值可以使识别准确率达到高。本发明使用循环迭代的方法来确定最佳阈值，初步设定阈值为0.7，以0.005的间隔向前迭代，通过比较每次迭代后的准确率来确定最佳阈值，求得在LFW数据集上最优的分类阈值为0.865，人脸识别的准确率为98.5714％。
通过上述公开的一种基于深度学习的快速人脸识别方法，选择合适测试对象，测试所提人脸识别算法在实际环境中的应用效果。
比如，建立一个实时的人脸识别系统，进行实时检测和识别处理，以某段视频为测试对象，测试所提人脸识别算法在实际环境中的应用效果。
实施例二
本实施例公开了一种基于深度学习的快速人脸识别方法，包括下述步骤：
T1、利用Adaboost算法，采用MIT人脸数据库训练人脸检测分类器。该人脸图像数据库包含2706张不同人种、不同形态下的人脸图像，以及4381张非人脸图像，可以直接用于人脸检测算法的训练。训练得出分类器后，利用包含不同姿态和光照条件下、不同背景下的加州理工大学的人脸数据库进行测试，对分类器的结构进行调整测试，得出检测结果最优的分类器结构。
级联分类器是由一系列强分类器串联组成的，每层强分类器包含多个弱分类器，强分类器的判断结果由各个弱分类器的投票加权平均结果得出。级联分类器实际上是决策树，通过多层检测，检测结果更为可靠。根据测试结果，对弱分类器个数、强分类器个数等参数进行调节，以实现对分类器的结构的调整测试，得出检测结果最优的分类器结构。
T2、对轻量级的卷积神经网络模型SqueezeNet进行改进，实现SqueezeNet的特征提取和分类功能分离。特征提取功能的实现如下，设置超参数，利用训练集对改进后的卷积神经网络模型SqueezeNet进行训练，并根据训练结果判断模型的泛化能力并作出一些防止过拟合的措施。
①超参数的设置。超参数中最重要的是批数据的大小(Batch_size)和基本学习率(base_lr)的设置。
选取合适的Batch size能够减少训练的损失函数值的震荡，提高内存效率。在双卡Nvidia P40的浪潮服务器上进行多次试验，得到合适的Batch size。在训练集的Batchsize为512，验证集的Batch size为256的条件下，1秒大约可以实现5.3个迭代训练。
较高的学习率可以加快训练速度，但是有可能会导致网络不收敛，损失函数值震荡等问题的出现。而较低的学习率可以提高训练准确率，但是训练速度会比较慢，训练时间变长。本文根据硬件环境，经过多次试验，将基本学习率设定为0.01，避免了设置更多参数带导致学习率变化不合理。本文设置的最大迭代次数为15000，初始网络权重为0.0002，每100个迭代输出一次训练准确率，每1000个迭代保存一次网络快照并利用验证集测试网络模型的识别准确率，利用服务器上所有的GPU进行训练。
②为防止网络过拟合，应在数据和网络结构两个方面做好防护措施。在数据方面，本文通过将数据集中的图像进行左右映射来扩充数据量，可以对过拟合起到一定的防范作用，左右映射的效果如图1所示。
本发明利用dropout舍弃某些神经元的输出以减少神经元之间的协调来防止过拟合。从以上网络描述可得，dropout层对pooling层的输出进行概率为0.3的随机置零操作，然后训练置零的网络，最后把所有的网络参数合并成一个完整的网络。通过这种方式学习到的网络，其实相当于是多个网络对同样数据进行训练，再把多个模型参数融合起来。如此，多个模型融合可以减低单个模型对训练集过于依赖的风险，从而起到防止过拟合的作用。
根据超参数和防止过拟合的设置，本发明通过运用以CASIA-WebFace为训练集的SqueezeNet模型来实现人脸识别。模型训练过程中，主要参考随迭代次数增加的softmaxloss层输出的损失函数值、识别准确率和测试准确率，这三个指标来确定模型的性能。随着对模型的训练，模型输出的损失函数值会越来越低，最终达到稳定。SqueezeNet的损失函数值达到基本稳定时，网络模型达到收敛，如图2所示。
由图2可知，当迭代次数为30000时，loss几乎为0；模型完全收敛，此时模型的训练准确率为1，很可能会过拟合模型。所以选取loss比较低的15000次迭代作为最多迭代次数，再重新训练，loss随着迭代次数变化的曲线图，如图3所示。当迭代次数为15000时，损失函数值为0.0724734，模型的训练准确率为98.4375％。
测试准确率是用验证集对训练的模型进行测试得到的。将测试准确率与训练准确率进行比较，可以得知模型是否存在过拟合的问题。测试准确率与迭代次数的关系如图4所示。
根据图3可知，模型的损失函数值已经收敛，模型能够充分地学习特征。由图4可得，测试准确率与训练准确率相差无几，模型有良好的泛化能力，没有出现过拟合的情况。
通过上述训练得到的模型能够有效地学习特征，具有良好的性能，基本满足轻量化的模型要求。在这个训练过程中，SqueezeNet最后一层全连接层和softmax层起的作用是分类，其余层的作用是特征提取。全连接层的占据了整个SqueezeNet的大部分参数，同时限制了人脸识别的扩展，为了减少参数，扩展识别类别，本文保留了SqueezeNet的特征提取功能，以传统机器学习的方法来代替SqueezeNet中全连接层的分类功能，结构如图5所示。
T3、以传统机器学习的方法来代替SqueezeNet中全连接层的分类功能，本发明以欧氏距离衡量特征之间的相似度进行分类；通过欧氏距离进行分类后，用ROC评价标准来评价基于欧氏距离方法的人脸识别性能。
设两张图像的特征向量分别为(a1,a2,a3,…an)和(b1,b2,b3,…bn)，对特征向量进行标准化，得到标准化的特征向量(A1,A2,A3,…An)和(B1,B2,B3,…Bn)，标准化如下式所示：
两个特征之间的欧氏距离为：
当d小于设定的阈值时，(a1,a2,a3,…an)和(b1,b2,b3,…bn)所对应的人脸属于同一个人。通过欧氏距离判断人脸是否是同一张人脸后，可以用ROC评价标准来评价基于欧氏距离方法的人脸识别性能。ROC是应用广泛的人脸识别模型的评价标准，通常通过计算模型的真阳性率(TPR)和假阳性率(TPR)来执行这一评价标准，准确率(ACC)为：
其中，TP表示真阳性，即测试集中人脸对为同一人，分类器也识别为同一个人；TN为真阴性，即测试集中人脸对不是同一人，分类器识别也不是同一人；FP为假阳性，即测试集中人脸对不是同一人，但是分类器识别成同一人；FN表示假阴性，即测试集中人脸是同一人，但是分类器识别不是同一人；P表示分类器识别为同一人；N表示分类器识别不是同一人。
根据ROC评价标准，本文利用穷举法确定欧氏距离的分类阈值，该阈值可以使识别准确率达到高。本文使用循环迭代的方法来确定最佳阈值，初步设定阈值为0.7，以0.005的间隔向前迭代，通过比较每次迭代后的准确率来确定最佳阈值，求得在LFW数据集上最优的分类阈值为0.865，人脸识别的准确率为98.5714％。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的快速人脸识别方法，其特征在于，所述的快速人脸识别方法包括下列步骤：
S1、利用人脸数据库，训练人脸检测分类器，根据检测结果对弱分类器个数、强分类器个数进行调节优化；
S2、对人脸数据库进行人脸检测并进行裁剪，作为人脸识别方法的训练集和验证集；
S3、设置批数据的大小和基本学习率，利用训练集对卷积神经网络模型SqueezeNet进行训练，并根据训练结果判断模型的泛化能力并通过扩充数据量来防止过拟合；
S4、将卷积神经网络模型SqueezeNet的特征提取和分类功能分离，首先，将删除Softmax Loss层和全连接层后的卷积神经网络模型SqueezeNet作为人脸识别模型进行特征提取，提取人脸图像的256维的特征向量，然后，通过特征分类器对特征进行分类；所述的卷积神经网络模型SqueezeNet由1个数据层、1个卷积层、8个Fire module、4个池化层、1个Softmax Loss层、1个全连接层、1个准确率层和1个accuracy_top5层组成；
S5、以欧氏距离衡量特征之间的相似度进行分类，并根据ROC评价标准确定欧氏距离的分类阈值；所述的步骤S5中，根据ROC评价标准来评价基于欧氏距离方法的人脸识别性能，利用穷举法确定欧氏距离的分类阈值，通过设定不同分类阈值来测试分类的准确率，以确定在该数据库下人脸识别的最佳分类阈值。
2.根据权利要求1所述的一种基于深度学习的快速人脸识别方法，其特征在于，所述的步骤S1中训练人脸检测分类器的过程如下：
S11、利用Adaboost算法，采用MIT人脸数据库进行训练；
S12、训练得出分类器后，利用包含不同姿态和光照条件下、不同背景下的加州理工大学的人脸数据库进行测试；
S13、将级联分类器作为决策树，通过多层检测的检测结果，对弱分类器个数、强分类器个数进行调节，以实现对分类器的结构的调整测试，得出检测结果最优的分类器结构，其中，级联分类器是由一系列强分类器串联组成的，每层强分类器包含多个弱分类器，强分类器的判断结果由各个弱分类器的投票加权平均结果得出。
3.根据权利要求1所述的一种基于深度学习的快速人脸识别方法，其特征在于，所述的步骤S2过程如下：
S21、对CASIA-WebFace人脸数据集进行人脸检测并进行裁剪；
S22、把CASIA-WebFace人脸数据集分成两部分，第一部分为每个人的图片集的前10张，这部分作为验证集，用于评估模型的泛化能力；第二部分为剩余的图片，这部分作为训练集，用于模型的训练。
4.根据权利要求1所述的一种基于深度学习的快速人脸识别方法，其特征在于，所述的步骤S3过程如下：
S31、对批数据的大小和基本学习率进行设置；
S32、根据模型输出的测试准确率和训练准确率相差是否悬殊来判断模型的泛化能力，并通过将数据集中的图像进行左右映射来扩充数据量，作为防止过拟合的措施。
5.根据权利要求1所述的一种基于深度学习的快速人脸识别方法，其特征在于，所述的步骤S5过程如下：
S51、计算两张图像的标准化特征向量，设两张图像的特征向量分别为(a1,a2,a3,…an)和(b1,b2,b3,…bn)，对特征向量进行标准化，得到标准化的特征向量(A1,A2,A3,…An)和(B1,B2,B3,…Bn),标准化计算公式如下：
S52、计算两个特征之间的欧氏距离d，计算公式如下：
S53、以欧氏距离d衡量特征之间的相似度进行分类，当d小于设定的分类阈值时，判定(a1,a2,a3,…an)和(b1,b2,b3,…bn)所对应的人脸属于同一个人，否则，不属于同一个人。
6.根据权利要求1所述的一种基于深度学习的快速人脸识别方法，其特征在于，所述的根据ROC评价标准来评价基于欧氏距离方法的人脸识别性能具体如下：
用ROC评价标准来评价基于欧氏距离方法的人脸识别性能，通过计算模型的真阳性率和假阳性率来执行这一评价标准，准确率ACC为：
其中，TP表示真阳性，即测试集中人脸对为同一人，分类器也识别为同一个人；TN为真阴性，即测试集中人脸对不是同一人，分类器识别也不是同一人；FP为假阳性，即测试集中人脸对不是同一人，但是分类器识别成同一人；FN表示假阴性，即测试集中人脸是同一人，但是分类器识别不是同一人；P表示分类器识别为同一人；N表示分类器识别不是同一人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811295723.3A CN109635643B (zh) | 2018-11-01 | 2018-11-01 | 一种基于深度学习的快速人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811295723.3A CN109635643B (zh) | 2018-11-01 | 2018-11-01 | 一种基于深度学习的快速人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109635643A CN109635643A (zh) | 2019-04-16 |
| CN109635643B true CN109635643B (zh) | 2023-10-31 |
Family
ID=66067095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811295723.3A Active CN109635643B (zh) | 2018-11-01 | 2018-11-01 | 一种基于深度学习的快速人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635643B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532920B (zh) * | 2019-08-21 | 2023-12-29 | 长江大学 | 基于FaceNet方法的小数量数据集人脸识别方法 |
| CN111428655A (zh) * | 2020-03-27 | 2020-07-17 | 厦门大学 | 一种基于深度学习的头皮检测方法 |
| CN111652285A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种茶饼类别识别方法、设备及介质 |
| CN112749978B (zh) * | 2020-12-31 | 2024-02-06 | 百度在线网络技术（北京）有限公司 | 检测方法、装置、设备、存储介质以及程序产品 |
| CN113361654A (zh) * | 2021-07-12 | 2021-09-07 | 广州天鹏计算机科技有限公司 | 一种基于机器学习的图像识别方法和系统 |
| TWI819417B (zh) * | 2021-11-26 | 2023-10-21 | 元氣智能股份有限公司 | 以並行卷積神經網路進行模式選擇的人臉識別的系統和方法 |
| CN115035337B (zh) * | 2022-06-08 | 2024-09-06 | 暨南大学 | 一种基于模型融合的交替训练方法 |
| CN116657348B (zh) * | 2023-06-02 | 2023-11-21 | 浙江正源丝绸科技有限公司 | 真丝前处理方法及其系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及系统 |
| CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
| CN108491884A (zh) * | 2018-03-27 | 2018-09-04 | 中山大学 | 基于轻量级网络的行人再识别系统及实现方法 |
-
2018
- 2018-11-01 CN CN201811295723.3A patent/CN109635643B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845421A (zh) * | 2017-01-22 | 2017-06-13 | 北京飞搜科技有限公司 | 基于多区域特征与度量学习的人脸特征识别方法及系统 |
| CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
| CN108491884A (zh) * | 2018-03-27 | 2018-09-04 | 中山大学 | 基于轻量级网络的行人再识别系统及实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| "基于卷积神经网络的人脸识别系统";白创 等;《电子世界》;20180630(第12期);第31-32页 * |
| "基于轻量级卷积神经网络的人脸检测算法";廖辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115(第1期);正文第18-28页 * |
| 基于卷积神经网络的车辆和行人检测算法;潘婷等;《浙江科技学院学报》;20181030(第05期);第51-56页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109635643A (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635643B (zh) | 一种基于深度学习的快速人脸识别方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN111553193B (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| TWI665613B (zh) | 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品 | |
| Yu et al. | Unsupervised out-of-distribution detection by maximum classifier discrepancy | |
| US11417148B2 (en) | Human face image classification method and apparatus, and server | |
| CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
| Zheng et al. | Background learnable cascade for zero-shot object detection | |
| CN106778796B (zh) | 基于混合式协同训练的人体动作识别方法及系统 | |
| CN111126482B (zh) | 一种基于多分类器级联模型的遥感影像自动分类方法 | |
| CN110263774A (zh) | 一种人脸检测方法 | |
| CN109815801A (zh) | 基于深度学习的人脸识别方法及装置 | |
| CN106096538A (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
| US11335127B2 (en) | Media processing method, related apparatus, and storage medium | |
| JP5394959B2 (ja) | 判別器生成装置および方法並びにプログラム | |
| CN106156777B (zh) | 文本图片检测方法及装置 | |
| CN110348416A (zh) | 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法 | |
| CN104504362A (zh) | 基于卷积神经网络的人脸检测方法 | |
| CN107492103A (zh) | 基于自适应粒子群算法的灰度阈值获取方法、图像分割方法 | |
| CN104992191A (zh) | 基于深度学习的特征和最大置信路径的图像分类方法 | |
| CN107579846B (zh) | 一种云计算故障数据检测方法及系统 | |
| CN107392241A (zh) | 一种基于加权列抽样XGBoost的图像目标分类方法 | |
| CN108734145B (zh) | 一种基于密度自适应人脸表征模型的人脸识别方法 | |
| CN110942091A (zh) | 寻找可靠的异常数据中心的半监督少样本图像分类方法 | |
| CN111353411A (zh) | 一种基于联合损失函数的遮挡人脸的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |