CN113076929A - 一种角度余量自适应的人脸识别模型训练方法 - Google Patents
一种角度余量自适应的人脸识别模型训练方法 Download PDFInfo
- Publication number
- CN113076929A CN113076929A CN202110456897.9A CN202110456897A CN113076929A CN 113076929 A CN113076929 A CN 113076929A CN 202110456897 A CN202110456897 A CN 202110456897A CN 113076929 A CN113076929 A CN 113076929A
- Authority
- CN
- China
- Prior art keywords
- angle
- class
- face recognition
- training
- allowance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 31
- 238000012360 testing method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种角度余量自适应的人脸识别模型训练方法,包括以下步骤,基于人脸识别数据集,进行预训练,得到预训练模型;将人脸识别数据集中的样本输入预训练模型,得到对应的特征向量;对数据集中的每个类别,分别求出对应的类内方差;根据所得每个类别对应的类内方差,得到对应的角度余量大小;结合每个类别的角度余量和加法角度余量损失函数,构成类别角度余量自适应的加法角度余量损失函数;用类别角度余量自适应的加法角度余量损失函数监督人脸识别模型进行训练,得到最终的人脸识别模型并可用于人脸识别。通过本发明可以实现在角度余量损失函数的基础上,引入了类别自适应角度余量算法,使得训练出的模型具有更高的准确率和泛化能力。
Description
技术领域
本发明涉及人脸识别的技术领域,尤其涉及一种角度余量自适应的人脸识别模型训练方法。
背景技术
目前,人脸识别已经成为十分重要的用于身份认证的生物识别技术,广泛应用于金融、商业、安防等多个领域。传统的人脸识别方法一般采用描述符算子对人脸图像就行特征提取,如局部二值模式(LBP)算子等。这类方法实现简单,但提取的特征的辨别力低,用于人脸识别准确率低。目前,主流的人脸识别模型均采用基于深度学习的方法。基于深度学习的人脸识别方法的核心是损失函数的设计,近年来,基于余弦距离优化并且引入角度余量思想的损失函数的提出和不断优化,促进了人脸识别的快速发展。如SphereFace,CosFace和ArcFace等一系列加入角度余量的损失函数,所监督训练出的人脸识别网络获得了很高的准确率。然而,这些算法引入的都是一个固定的角度余量值,这个值作为一个固定参数,在训练前人为设定。这种做法是存在一定问题的。
人脸识别数据集中普遍存在着长尾分布的问题,类别之间的分布极度不平衡,存在富裕类(Rich Class)和贫穷类(Poor Class)的区别。对样本数足够多且类内方差足够大的富裕类,数据集中的该类数据样本的分布可以近似表示这一类别的真实分布。但是对于样本数稀少且类内方差小的贫穷类,数据集中该类数据样本的分布只是该类别真实分布的一小部分,无法表示完整的真实分布。如果在训练中,富裕类和贫穷类的样本都使用相同的角度余量,那么贫穷类人脸样本对应的特征向量的分布会不如富裕类的紧凑,即贫穷类人脸特征向量的类内距离会更大,这是因为贫穷类真实的样本分布要比观测到的更大,但在训练中却没有注意到这一点,导致网络的泛化能力降低。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种角度余量自适应的人脸识别模型训练方法,该发明能够对人脸识别数据集中不同的类别设定自适应的角度余量,解决类别之间的分布极度不平衡的问题。
技术方案:为了实现上述发明目的,本发明提供了一种角度余量自适应的人脸识别模型训练方法,包括以下步骤,
步骤1,基于人脸识别数据集,采用损失函数进行预训练,得到预训练模型;
步骤2,将人脸识别数据集中的样本输入预训练模型,得到对应的特征向量;
步骤3,对人脸识别数据集中的每个类别,分别求出对应的类内方差;
步骤4,根据所得每个类别对应的类内方差,得到对应的角度余量大小;
步骤5,结合每个类别的角度余量和加法角度余量损失函数,构成类别角度余量自适应的加法角度余量损失函数;
步骤6,用类别角度余量自适应的加法角度余量损失函数监督人脸识别模型进行训练,以端到端的方式,采用随机梯度下降法进行训练,当类别角度余量自适应的加法角度余量损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型并可用于人脸识别。
进一步的,在本发明中:所述步骤1还包括,
步骤1.1,对预训练网络模型的参数进行初始化;
步骤1.2,以简单的人脸识别损失函数为监督,采用随机梯度下降法进行训练;
步骤1.3,当损失函数下降收敛后,保存网络参数,得到预训练模型。
进一步的,在本发明中:所述步骤2还包括,
步骤2.1,将数据集中的样本xi依次输入到预训练模型中,i=1,2,...,N,得到对应的特征向量f(xi);
步骤2.2,将特征向量f(xi)进行L2归一化。
进一步的,在本发明中:所述步骤3还包括,
步骤3.1,对数据集中的每个类别Cj,计算其平均特征向量μj,计算式为:
其中,nj为每个类别Cj的样本数;
进一步的,在本发明中:所述步骤4还包括,
步骤4.1,确定角度余量值的上界Mmax和下界Mmin;
步骤4.2,统计得到所有类别中最大的方差Varmax和最小的方差Varmin;
步骤4.3,通过线性映射,将每个类别Cj的方差映射为角度余量值并且在映射中遵循类别角度余量值与对应的类内方差呈负相关的准则,即类内方差越大对应的角度余量越小,类内方差越小对应的角度余量越大,具体的映射公式为:
进一步的,在本发明中:所述步骤5还包括,
步骤5.1,将加法角度余量损失函数表达式中的固定角度余量参数修改为类别自适应的角度余量参数;
步骤5.2,将步骤4中得到的每个类别的角度余量值作为参数值,构成类别角度余量自适应的加法角度余量损失函数LCRMA,其计算公式为:
其中,yi表示i个样本所属的类别,表示类别yi在训练过程中的角度余量值,表示通过步骤4得到的类别yi对应的角度余量值,表示第i个样本输出的特征向量与其对应类中心的夹角,θj表示第i个样本输出的特征向量与第j类样本的类中心的夹角。
进一步的,在本发明中:所述步骤6还包括,
步骤6.1,对人脸识别网络模型的参数进行初始化;
步骤6.2,以类别角度余量自适应的加法角度余量损失函数作为监督,采用随机梯度下降法进行训练。
步骤6.3,当损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型。
有益效果:本发明与现有技术相比,其有益效果是:
(1)本发明针对人脸识别数据集中存在的长尾分布问题,在角度余量损失函数的基础上,引入了类别自适应角度余量,使得角度余量不再是固定的超参数,而是与类别属性有关的参数,使得训练出的模型具有更高的准确率和泛化能力从而在一定程度上解决了类别分布不均衡的问题;
(2)本方明提供的训练方法,首先通过预训练模型得到人脸样本对应的特征向量,计算出数据集中每个类别的特征向量方差,方差大的类别赋予更小的角度余量,方差小的类别赋予更大的角度余量,从而实现类别自适应,训练得到的人脸识别模型在准确率和泛化能力上都有所提高。
附图说明
图1为本发明所述角度余量自适应的人脸识别模型训练方法的整体流程示意图;
图2为本发明方差和角度余量映射关系示意图;
图3为本发明人脸识别模型的准确率测试结果对比示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明可以用许多不同的形式实现,而不应当认为限于这里所述的实施例。相反,提供这些实施例以便使本公开透彻且完整,并且将向本领域技术人员充分表达本发明的范围。
如图1所示,为本发明所述一种角度余量自适应的人脸识别模型训练方法的整体流程示意图,该方法包括以下步骤,
步骤1,基于人脸识别数据集,采用损失函数进行预训练,得到预训练模型;其中,人脸识别数据集可以采用UMDFaces数据集和MegaFace数据集。
具体的,步骤1还包括,
步骤1.1,对预训练网络模型的参数进行初始化;
步骤1.2,以简单人脸识别损失函数为监督,采用随机梯度下降法进行训练;其中,简单人脸识别损失函数可以选择NormFace损失函数。
步骤1.3,当损失函数下降收敛后,保存网络参数,得到预训练模型。
步骤2,将人脸识别数据集中的样本输入预训练模型,得到对应的特征向量;
具体的,步骤2还包括,
步骤2.1,将数据集中的样本xi依次输入到预训练模型中,i=1,2,...,N,得到对应的特征向量f(xi);
步骤2.2,将特征向量f(xi)进行L2归一化。
步骤3,对人脸识别数据集中的每个类别,分别求出对应的类内方差;其中,人脸识别数据集中每个人代表一个类别。
具体的,步骤3还包括,
步骤3.1,对数据集中的每个类别Cj,计算其平均特征向量μj,计算式为:
其中,nj为每个类别Cj的样本数;
步骤4,根据所得每个类别对应的类内方差,得到对应的角度余量大小;参照图2的示意,为类内方差和角度余量映射关系示意图,其中横坐标为类内方差,纵坐标为角度余量值,可以看出二者为线性负相关关系,映射函数为斜率为负一次函数。
具体的,步骤4还包括,
步骤4.1,确定角度余量值的上界Mmax和下界Mmin;
步骤4.2,统计得到所有类别中最大的方差Varmax和最小的方差Varmin;
步骤4.3,通过线性映射,将每个类别Cj的方差映射为角度余量值并且在映射中遵循类别角度余量值与对应的类内方差呈负相关的准则,即类内方差越大对应的角度余量越小,类内方差越小对应的角度余量越大,具体的映射公式为:
步骤5,结合每个类别的角度余量和加法角度余量损失函数,构成类别角度余量自适应的加法角度余量损失函数;
具体的,步骤5还包括,
步骤5.1,将加法角度余量损失函数表达式中的固定角度余量参数修改为类别自适应的角度余量参数;
步骤5.2,将步骤4中得到的每个类别的角度余量值作为参数值,构成类别角度余量自适应的加法角度余量损失函数LCRMA,其计算公式为:
其中,yi表示i个样本所属的类别,表示类别yi在训练过程中的角度余量值,表示通过步骤4得到的类别yi对应的角度余量值,表示第i个样本输出的特征向量与其对应类中心的夹角,θj表示第i个样本输出的特征向量与第j类样本的类中心的夹角。
步骤6,用类别角度余量自适应的加法角度余量损失函数监督人脸识别模型进行训练,以端到端的方式,采用随机梯度下降法进行训练,当类别角度余量自适应的加法角度余量损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型并可用于人脸识别。
具体的,步骤6还包括,
步骤6.1,对人脸识别网络模型的参数进行初始化;
步骤6.2,以类别角度余量自适应的加法角度余量损失函数作为监督,采用随机梯度下降法进行训练。
步骤6.3,当损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型。
进一步的,为了验证本发明所提出方法的有益效果,参照图3的示意,分别使用传统的加法角度余量损失函数监督网络进行训练和本发明提出的类别角度余量自适应的加法角度余量损失函数监督进行训练,并采用训练后的网络进行人脸识别测试,对比两种训练方法下得到的网络在不同测试集上识别的准确率,采用的测试集包括LFW测试集、AgeDB-30测试集和CALFW测试集,可以看出,在本发明提出的训练方法下,网络识别准确率在各测试集上均高于传统训练方法下网络识别的准确率,验证了本发明的有益效果。
应说明的是,以上所述实施例仅表达了本发明的部分实施方式,其描述并不能理解为对本发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干改进,这些均应落入本发明的保护范围。
Claims (7)
1.一种角度余量自适应的人脸识别模型训练方法,其特征在于:包括以下步骤,
步骤1,基于人脸识别数据集,采用损失函数进行预训练,得到预训练模型;
步骤2,将人脸识别数据集中的样本输入预训练模型,得到对应的特征向量;
步骤3,对人脸识别数据集中的每个类别,分别求出对应的类内方差;
步骤4,根据所得每个类别对应的类内方差,得到对应的角度余量大小;
步骤5,结合每个类别的角度余量和加法角度余量损失函数,构成类别角度余量自适应的加法角度余量损失函数;
步骤6,用类别角度余量自适应的加法角度余量损失函数监督人脸识别模型进行训练,以端到端的方式,采用随机梯度下降法进行训练,当类别角度余量自适应的加法角度余量损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型并可用于人脸识别。
2.如权利要求1所述的角度余量自适应的人脸识别模型训练方法,其特征在于:所述步骤1还包括,
步骤1.1,对预训练网络模型的参数进行初始化;
步骤1.2,以简单的人脸识别损失函数为监督,采用随机梯度下降法进行训练;
步骤1.3,当损失函数下降收敛后,保存网络参数,得到预训练模型。
3.如权利要求1或2所述的角度余量自适应的人脸识别模型训练方法,其特征在于:所述步骤2还包括,
步骤2.1,将数据集中的样本xi依次输入到预训练模型中,i=1,2,...,N,得到对应的特征向量f(xi);
步骤2.2,将特征向量f(xi)进行L2归一化。
7.如权利要求6所述的角度余量自适应的人脸识别模型训练方法,其特征在于:所述步骤6还包括,
步骤6.1,对人脸识别网络模型的参数进行初始化;
步骤6.2,以类别角度余量自适应的加法角度余量损失函数作为监督,采用随机梯度下降法进行训练。
步骤6.3,当损失函数下降收敛后,保存网络参数,得到最终的人脸识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110456897.9A CN113076929A (zh) | 2021-04-27 | 2021-04-27 | 一种角度余量自适应的人脸识别模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110456897.9A CN113076929A (zh) | 2021-04-27 | 2021-04-27 | 一种角度余量自适应的人脸识别模型训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113076929A true CN113076929A (zh) | 2021-07-06 |
Family
ID=76618970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110456897.9A Pending CN113076929A (zh) | 2021-04-27 | 2021-04-27 | 一种角度余量自适应的人脸识别模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113076929A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989519A (zh) * | 2021-12-28 | 2022-01-28 | 中科视语(北京)科技有限公司 | 一种长尾目标检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
CN111860364A (zh) * | 2020-07-24 | 2020-10-30 | 携程计算机技术(上海)有限公司 | 人脸识别模型的训练方法、装置、电子设备和存储介质 |
CN111967392A (zh) * | 2020-08-18 | 2020-11-20 | 广东电科院能源技术有限责任公司 | 一种人脸识别神经网络训练方法、系统、设备及储存介质 |
US20200410214A1 (en) * | 2018-03-09 | 2020-12-31 | South China University Of Technology | Angle interference resistant and occlusion interference resistant fast face recognition method |
-
2021
- 2021-04-27 CN CN202110456897.9A patent/CN113076929A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200410214A1 (en) * | 2018-03-09 | 2020-12-31 | South China University Of Technology | Angle interference resistant and occlusion interference resistant fast face recognition method |
CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
CN111860364A (zh) * | 2020-07-24 | 2020-10-30 | 携程计算机技术(上海)有限公司 | 人脸识别模型的训练方法、装置、电子设备和存储介质 |
CN111967392A (zh) * | 2020-08-18 | 2020-11-20 | 广东电科院能源技术有限责任公司 | 一种人脸识别神经网络训练方法、系统、设备及储存介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989519A (zh) * | 2021-12-28 | 2022-01-28 | 中科视语(北京)科技有限公司 | 一种长尾目标检测方法及系统 |
CN113989519B (zh) * | 2021-12-28 | 2022-03-22 | 中科视语(北京)科技有限公司 | 一种长尾目标检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194341B (zh) | Maxout多卷积神经网络融合人脸识别方法和系统 | |
CN108182427B (zh) | 一种基于深度学习模型和迁移学习的人脸识别方法 | |
US11417148B2 (en) | Human face image classification method and apparatus, and server | |
CN106326886B (zh) | 基于卷积神经网络的手指静脉图像质量评估方法 | |
CN106096538B (zh) | 基于定序神经网络模型的人脸识别方法及装置 | |
CN109214360A (zh) | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 | |
CN109993236B (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
CN107273872A (zh) | 用于图像或视频中行人重识别的深度判别网络模型方法 | |
Khalil-Hani et al. | A convolutional neural network approach for face verification | |
CN110929848B (zh) | 基于多挑战感知学习模型的训练、跟踪方法 | |
CN110084610A (zh) | 一种基于孪生神经网络的网络交易欺诈检测系统 | |
CN109635643B (zh) | 一种基于深度学习的快速人脸识别方法 | |
CN110084149A (zh) | 一种基于难样本四元组动态边界损失函数的人脸验证方法 | |
CN109344856B (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
CN111753881A (zh) | 一种基于概念敏感性量化识别对抗攻击的防御方法 | |
CN111639558A (zh) | 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法 | |
JP2022141931A (ja) | 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
CN107067022B (zh) | 图像分类模型的建立方法、建立装置和设备 | |
Perveen et al. | Facial expression recognition using facial characteristic points and Gini index | |
CN110188673A (zh) | 表情识别方法和装置 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
CN111144566A (zh) | 神经网络权重参数的训练方法、特征分类方法及对应装置 | |
CN115048983A (zh) | 数据流形拓扑感知的人工智能系统对抗样本防御方法 | |
CN113076929A (zh) | 一种角度余量自适应的人脸识别模型训练方法 | |
CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |