CN113723205A - 一种基于人脸底库特征分组的人脸识别方法 - Google Patents

一种基于人脸底库特征分组的人脸识别方法 Download PDF

Info

Publication number
CN113723205A
CN113723205A CN202110892618.3A CN202110892618A CN113723205A CN 113723205 A CN113723205 A CN 113723205A CN 202110892618 A CN202110892618 A CN 202110892618A CN 113723205 A CN113723205 A CN 113723205A
Authority
CN
China
Prior art keywords
face
group
feature extraction
face recognition
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110892618.3A
Other languages
English (en)
Inventor
郭凌
万平
安建勇
万飞
李睿
闫华
李德
漆磊
刘波
赵爽
谭涛
张娅芳
李培培
郑海明
杨建成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Service Academy of PLA
Original Assignee
Army Service Academy of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Service Academy of PLA filed Critical Army Service Academy of PLA
Priority to CN202110892618.3A priority Critical patent/CN113723205A/zh
Publication of CN113723205A publication Critical patent/CN113723205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于人脸底库特征分组的人脸识别方法，属于计算机视觉及深度学习技术领域。该方法包括：S1：构建人脸特征提取模型；S2：构建训练策略和人脸特征提取模型loss函数；S3：提取人脸库特征提取并进行聚类分组。本发明能极大的降低人脸识别的时间，能在不降低人脸识别性能的基础上，通过最快的速度从大库中检索出测试人员的脸；并通过加入特征分级提取和难样本挖掘训练策略，很大程度上提升人脸识别的精度。

Description

一种基于人脸底库特征分组的人脸识别方法
技术领域
本发明属于计算机视觉及深度学习技术领域，涉及一种基于人脸底库特征分组的人脸识别方法。
背景技术
物联网技术在校园安全应用中有很大的作用。其中人脸识别是校园的门禁系统和追踪嫌疑人的基础技术。目前的人脸识别在1：N场景中实现过程是：首先通过构建卷积神经网络搭建人脸检测模型，对人脸图像进行检测，把检测结果裁剪出来，输入到性能良好的人脸特征提取模型对人脸特征进行提取。接着通过人脸特征提取模型对人脸库所有人脸的特征进行提取，然后利用欧氏距离或者cos距离作为衡量标准，用测试人员的人脸特征和人脸库的所有特征一一比对。最后给出top-1或者top-5个比较相似的人脸结果，完成人脸识别。
目前人脸检测模型性能已经达到了很高的水平，但是人脸特征提取模型的改进还是有很大上升空间。由于人脸特征比较相似，导致目前的人脸特征提取模型出现类内距离过大，类间距离过小，最终导致识别错误。把同一个人识别为不同的人，把相似的人识别为同一个人。主要原因是训练模型的时候loss函数设计不合理，其次因为训练数据分布不均衡或者训练数据有噪声数据存在所造成。
而且目前1：N大库检索耗时很长，消耗的计算资源很大。是因为提取大量的人脸特征，并且比对次数多，会造成大库检索的时间长，尤其是学校这种人数规模较大的场景，人脸底库最少也有万级以上。而且在人脸识别过程中，为了达到人脸识别的很高的精度，人脸特征提取出来的维度要高一些，计算量成指数增加导致。
人脸特征提取模型的性能和大库检索的速度会成为影响人脸识别最为重要的两个因素。只有提高这两个方面的性能，才能真正意义上提高人脸识别的性能。
发明内容
有鉴于此，本发明的目的在于提供一种基于人脸底库特征分组的人脸识别方法，在不降低人脸识别性能的基础上，通过最快的速度从大库中检索出测试人员的脸；并通过加入特征分级提取和难样本挖掘训练策略，很大程度上提升人脸识别的精度。
为达到上述目的，本发明提供如下技术方案：
一种基于人脸底库特征分组的人脸识别方法，具体包括以下步骤：
S1：构建人脸特征提取模型；
S2：构建训练策略和人脸特征提取模型loss函数；
S3：提取人脸库特征提取并进行聚类分组。
进一步，步骤S1中，构建的人脸特征提取模型共有15层，具体包括：四个卷积层，四个最大池化层，一个Flatten层，一个Dropout层，一个BN层，三个全连接层，最后接一个softmax层；训练好该网络之后将softmax层去掉。
进一步，步骤S2中，构建的训练策略包括：对人脸识别网络进行训练的时候，每一次batchsize的训练数据记录识别错误的数据，将识别错误的数据作为下一batchsize的训练数据一部分(该部分被称为难样本)；随着训练次数的增多，难样本在batchsize中的比例会增大。
进一步，步骤S2中，构建的人脸特征提取模型loss函数为：
Figure BDA0003196701070000021
其中，P(Xi)是把特征X预测为label为i的概率。
进一步，步骤S3中，提取人脸库特征提取并进行聚类分组的具体步骤为：
S31：利用构建人脸特征提取模型对人脸库的人脸特征进行提取，根据人脸特征，以cos距离作为聚类标准，通过均值漂移聚类方法对人脸底库的特征进行聚类；在完成聚类之后，求每一个分组的人脸特征的平均特征，并将每一个组的平均特征进行保存；计算方法如下：
Groupx＝(∑γi)/n
其中，Groupx表示第x个组的平均特征，γi表示第x个分组当中第i张人脸的特征，n表示第x个分组的图片数量；
S32：提取测试人员数据特征，并进行预处理；
S33：特征对比。
进一步，所述步骤S32具体包括：首先对提取测试人员数据进行滤波，去掉光照非自身因素的影响，然后利用构建的人脸特征提取模型对测试人员的数据进行特征提取。
进一步，所述步骤S33具体包括：首先用测试人员的特征和各个组的平均特征进行比较，找到最相似的分组；然后对分组中的底库人员进行特征提取，测试人员的特征和该小组的人脸特征进行比对；完成人脸识别任务。
本发明的有益效果在于：本发明能极大的降低人脸识别的时间，能在不降低人脸识别性能的基础上，通过最快的速度从大库中检索出测试人员的脸。并通过加入特征分级提取和难样本挖掘训练策略，很大程度上提升人脸识别的精度。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明人脸特征提取模型框架图；
图2为难样本示例图；
图3为本发明基于人脸底库特征分组的人脸识别方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图3，图3为本发明基于人脸底库特征分组的人脸识别方法流程图，该方法具体包括以下步骤：
S1：构建人脸特征提取模型。
目前人脸特征提取直接对整个人脸区域完成特征提取。人脸特征所有区域的权值默认是一样的。但是人脸某些地方具有相似性，某些地方具有特征性。所以模型的设计要加入分段特征提取，分段后使用精细特征提取网络对分段特征进行提取特征，最终把所有特征进行融合，这样的特征才具有高表征性。
本实施例设计一种人脸特征提取模型，如图3所示，该模型的结构参数如下表1所示。
表1人脸特征提取模型内部结构参数表
Figure BDA0003196701070000031
Figure BDA0003196701070000041
本实施例设计的人脸特征提取模型15层，4个卷积层，4个最大池化层，一个Flatten层，一个Dropout层，一个BN层，三个全连接层，最后接一个softmax层。训练好该网络之后将softmax层去掉，就是人脸特征提取模型。各层参数设置见上表。前三层卷积层选择填充是为了更好的提取边缘信息，后边卷积层不填充是为了降低计算量，删除一些冗余信息。Dropout层是为了降低过拟合的可能性。输入该网络的人脸需要通过resize到(128,128)的大小。该种形状的人脸既能很好的保留人脸的信息还能减小模型在推演过程中的计算量。
提取到(1，1024)维度的特征之后，将特征分成16个分组，每组特征维度是(1,64)，每组特征附一个随机的权重，在训练的时候作为学习参数进行训练。局部特征提取网络设计结构如下表2所示。
表2局部特征提取网络内部结构参数表
Figure BDA0003196701070000042
Figure BDA0003196701070000051
16个局部特征提取网络的最后输出通过向量加和运算，作为最终的特征向量。
S2：构建训练策略和人脸特征提取模型loss函数。
1)训练策略
对人脸识别网络进行训练的时候，每一次batchsize的训练数据记录识别错误的数据，将识别错误的数据作为下一batchsize的训练数据一部分(该部分被称为难样本)。随着训练次数的增多，难样本在batchsize中的比例会增大。该过程为本人设计的先易后难的学习策略。
2)人脸特征提取模型loss函数
一般的训练loss函数为sotfmax-based loss函数。随着人脸识别的发展，出现了边缘loss函数。但是边缘loss函数还是解决不了难样本的识别问题。在后来出现了基于挖掘思想的loss函数。本人脸识别的loss函数设计如下：
Figure BDA0003196701070000052
其中，P(Xi)是把特征X预测为label为i的概率。
S3：提取人脸库特征提取并进行聚类分组。
(1)利用设计好的人脸特征提取网络对人脸库的人脸特征进行提取，根据人脸特征，以cos距离作为聚类标准，通过均值漂移聚类方法对人脸底库的特征进行聚类。在完成聚类之后，求每一个分组的人脸特征的平均特征，并将每一个组的平均特征进行保存。计算方法如下：
Groupx＝(∑γi)/n
其中，Groupx表示第x个组的平均特征，γi表示第x个分组当中第i张人脸的特征，n表示第x个分组的图片数量。
(2)测试人员数据特征提取
对测试人员数据进行滤波，去掉光照非自身因素的影响。然后利用设计好的人脸特征提取模型对测试人员的数据进行特征提取。
(3)特征比对
首先用测试人员的特征和各个组的平均特征进行比较，找到最相似的分组。然后对分组中的底库人员进行特征提取，测试人员的特征和该小组的人脸特征进行比对。完成人脸识别任务。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于人脸底库特征分组的人脸识别方法，其特征在于，该方法具体包括以下步骤：
S1：构建人脸特征提取模型；
S2：构建训练策略和人脸特征提取模型loss函数；
S3：提取人脸库特征提取并进行聚类分组。
2.根据权利要求1所述的人脸识别方法，其特征在于，步骤S1中，构建的人脸特征提取模型共有15层，具体包括：四个卷积层，四个最大池化层，一个Flatten层，一个Dropout层，一个BN层，三个全连接层，最后接一个softmax层；训练好该网络之后将softmax层去掉。
3.根据权利要求1所述的人脸识别方法，其特征在于，步骤S2中，构建的训练策略包括：对人脸识别网络进行训练的时候，每一次batchsize的训练数据记录识别错误的数据，将识别错误的数据作为下一batchsize的训练数据一部分，该部分被称为难样本；随着训练次数的增多，难样本在batchsize中的比例会增大。
4.根据权利要求1所述的人脸识别方法，其特征在于，步骤S2中，构建的人脸特征提取模型loss函数为：
Figure FDA0003196701060000011
其中，P(Xi)是把特征X预测为label为i的概率。
5.根据权利要求1所述的人脸识别方法，其特征在于，步骤S3中，提取人脸库特征提取并进行聚类分组的具体步骤为：
S31：利用构建人脸特征提取模型对人脸库的人脸特征进行提取，根据人脸特征，以cos距离作为聚类标准，通过均值漂移聚类方法对人脸底库的特征进行聚类；在完成聚类之后，求每一个分组的人脸特征的平均特征，并将每一个组的平均特征进行保存；计算方法如下：
Groupx＝(∑γi)/n
其中，Groupx表示第x个组的平均特征，γi表示第x个分组当中第i张人脸的特征，n表示第x个分组的图片数量；
S32：提取测试人员数据特征，并进行预处理；
S33：特征对比。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述步骤S32具体包括：首先对提取测试人员数据进行滤波，去掉光照非自身因素的影响，然后利用构建的人脸特征提取模型对测试人员的数据进行特征提取。
7.根据权利要求5所述的人脸识别方法，其特征在于，所述步骤S33具体包括：首先用测试人员的特征和各个组的平均特征进行比较，找到最相似的分组；然后对分组中的底库人员进行特征提取，测试人员的特征和该小组的人脸特征进行比对；完成人脸识别任务。
CN202110892618.3A 2021-08-04 2021-08-04 一种基于人脸底库特征分组的人脸识别方法 Pending CN113723205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110892618.3A CN113723205A (zh) 2021-08-04 2021-08-04 一种基于人脸底库特征分组的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110892618.3A CN113723205A (zh) 2021-08-04 2021-08-04 一种基于人脸底库特征分组的人脸识别方法

Publications (1)

Publication Number Publication Date
CN113723205A true CN113723205A (zh) 2021-11-30

Family

ID=78674976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110892618.3A Pending CN113723205A (zh) 2021-08-04 2021-08-04 一种基于人脸底库特征分组的人脸识别方法

Country Status (1)

Country Link
CN (1) CN113723205A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960331A (zh) * 2018-07-10 2018-12-07 重庆邮电大学 一种基于行人图像特征聚类的行人再识别方法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110569780A (zh) * 2019-09-03 2019-12-13 北京清帆科技有限公司 一种基于深度迁移学习的高精度人脸识别方法
CN111079517A (zh) * 2019-10-31 2020-04-28 福建天泉教育科技有限公司 人脸管理及识别方法及计算机可读存储介质
CN111291625A (zh) * 2020-01-16 2020-06-16 广东工业大学 一种基于人脸检索的好友推荐方法及系统
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质
CN111626132A (zh) * 2020-04-27 2020-09-04 上海携程国际旅行社有限公司 模型生成方法、人脸识别方法、系统、设备和介质
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置
CN111652148A (zh) * 2020-06-04 2020-09-11 航天科工智慧产业发展有限公司 人脸识别方法、装置与电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960331A (zh) * 2018-07-10 2018-12-07 重庆邮电大学 一种基于行人图像特征聚类的行人再识别方法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110569780A (zh) * 2019-09-03 2019-12-13 北京清帆科技有限公司 一种基于深度迁移学习的高精度人脸识别方法
CN111079517A (zh) * 2019-10-31 2020-04-28 福建天泉教育科技有限公司 人脸管理及识别方法及计算机可读存储介质
CN111291625A (zh) * 2020-01-16 2020-06-16 广东工业大学 一种基于人脸检索的好友推荐方法及系统
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质
CN111626132A (zh) * 2020-04-27 2020-09-04 上海携程国际旅行社有限公司 模型生成方法、人脸识别方法、系统、设备和介质
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置
CN111652148A (zh) * 2020-06-04 2020-09-11 航天科工智慧产业发展有限公司 人脸识别方法、装置与电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
言有三: "深度学习之人脸图像处理 核心算法与案例实战", 机械工业出版社, pages: 107 *

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111177446B (zh) 一种用于足迹图像检索的方法
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN106294344A (zh) 视频检索方法和装置
CN104008395A (zh) 一种基于人脸检索的不良视频智能检测方法
CN109886284B (zh) 基于层次化聚类的欺诈检测方法及系统
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN110413791A (zh) 基于cnn-svm-knn组合模型的文本分类方法
CN107220598A (zh) 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法
CN109271546A (zh) 图像检索特征提取模型建立、数据库建立及检索方法
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN110750663B (zh) 一种面向生活记录的跨模态图像检索方法
CN109670423A (zh) 一种基于深度学习的图像识别系统、方法及介质
CN115393666A (zh) 图像分类中基于原型补全的小样本扩充方法及系统
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及系统
CN113220915A (zh) 一种基于残差注意力的遥感图像检索方法及装置
CN117408699A (zh) 一种基于银行卡数据的电信诈骗识别方法
CN116403252A (zh) 基于双向动态分组的多目标特征选择的人脸识别分类方法
CN113723205A (zh) 一种基于人脸底库特征分组的人脸识别方法
CN110287973A (zh) 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法
CN113627498B (zh) 人物丑化图像识别和模型训练方法与装置
CN115563196A (zh) 一种基于多源数据增强对象信息价值的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination