CN110879985B - 一种抗噪声数据的人脸识别模型训练方法 - Google Patents

一种抗噪声数据的人脸识别模型训练方法 Download PDF

Info

Publication number
CN110879985B
CN110879985B CN201911129505.7A CN201911129505A CN110879985B CN 110879985 B CN110879985 B CN 110879985B CN 201911129505 A CN201911129505 A CN 201911129505A CN 110879985 B CN110879985 B CN 110879985B
Authority
CN
China
Prior art keywords
face
training
model
noise data
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911129505.7A
Other languages
English (en)
Other versions
CN110879985A (zh
Inventor
龚勋
周炀
章哲敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201911129505.7A priority Critical patent/CN110879985B/zh
Publication of CN110879985A publication Critical patent/CN110879985A/zh
Application granted granted Critical
Publication of CN110879985B publication Critical patent/CN110879985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种抗噪声数据的人脸识别模型训练方法，包括如下步骤：S1、构建人脸识别数据集，按照个体ID进行分类；S2、对步骤S1所获得的数据集进行预处理；S3、根据步骤S2的预处理结果，构建20层的ResNet网络结构提取特征，使用ArcFace损失函数训练人脸识别模型；S4、统计最近一定数量Batch中cosθ值的分布情况，以cosθ值为横坐标，同一个cosθ的数量为纵坐标，绘制曲线图P；S5、重复步骤S4，直到cosθ分布呈现两个高斯分布，分别计算两个高斯分布顶点横坐标α、β和交点横坐标λ；S6、根据α、β值的大小，判断模型拟合情况，动态调整损失函数。本发明能够自动过滤噪声数据扰，提高模型训练效果。

Description

一种抗噪声数据的人脸识别模型训练方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种抗噪声数据的人脸识别模型训练方法。
背景技术
人脸识别是指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。在人脸识别的过程，主要包括人脸图像的匹配和识别过程，就是将提取到的待识别的人脸特征与已得到的存储在数据库中的人脸特征模板进行匹配，根据相似程度对人脸图像的身份信息进行判断。因此，能够提取到准确而丰富的人脸特征对于人脸识别的结果具有重要影响。
由于大部分应用场景下，人脸识别任务需要判断不在训练数据集内的人脸数据，这也就要求人脸识别的训练数据集包含尽可能多的人脸数据，来提高模型的鲁棒性。在通常情况下，人脸识别训练数据集的数量需要达到百万级才能具备较好的鲁棒性，通过设备去采集如此巨大的数据量显然是不现实的。
随着互联网技术的进步，我们可以通过网络平台自动收集人脸数据，这也是目前公开数据集的收集方案。但是这也会带来数据噪声问题，例如：1)收集到非人脸的数据。2)人的身份ID标注错误。3)标有ID的数据类型不包含在训练集内。显然这些噪声数据会对模型的训练造成极大的干扰。由于数据量巨大，噪声数据的清理一直一个非常棘手的问题。目前，除了手动清理外，没有一个有效的人脸识别数据集噪声清理方法。
发明内容
本发明的目的在于提供一种抗噪声数据的人脸识别模型训练方法，旨在解决人脸数据集中噪声数据对模型训练的干扰问题。
为达到上述目的，本发明是这样实现的：
一种抗噪声数据的人脸识别模型训练方法，包括如下步骤：
S1、构建人脸识别数据集，按照个体ID进行分类，即同一个人的多张人脸照片作为同一个类别ID；
S2、对步骤S1所获得的数据集进行预处理，包括：人脸检测，人脸对齐，人脸裁剪，图片归一化；
S3、根据步骤S2的预处理结果，构建20层的ResNet网络结构提取特征，使用ArcFace损失函数训练人脸识别模型；
ArcFace损失函数的表达式如下：
Figure BDA0002277882980000021
式中，lCE表示训练的损失函数值，
Figure BDA0002277882980000022
表示归一化的xi∈Rd与wj∈Rd的乘积，也就是两个特征之间的余弦距离，xj∈Rd表示一个Batch中第j个样本的输出特征，它的类别标签为yi，wi∈Rd表示输出层的权重的第i列，
Figure BDA0002277882980000023
表示标签对应权重与特征向量之间的余弦距离，M为一个Batch中样本数量，m、s为超参数，n表示训练集类别数；
S4、统计最近一定数量Batch中cosθ值的分布情况，以cosθ值为横坐标，同一个cosθ的数量为纵坐标，绘制曲线图P；
S5、重复步骤S4，直到cosθ分布呈现两个高斯分布，分别计算两个高斯分布顶点横坐标α、β和交点横坐标λ；
S6、根据α、β值的大小，判断模型拟合情况，动态调整损失函数；
若模型拟合程度欠缺，则重复步骤S4、S5；若模型初步拟合，则暂停训练，将Arcface损失函数中的超参数m修改为动态Margin来降低噪声数据对模型训练的干扰；直到模型完全拟合，结束训练。
进一步的，在步骤S2中，对收集到的数据集进行预处理的具体方式如下：使用MTCNN算法进行人脸检测，得到人脸左眼、右眼、鼻尖、左嘴角、右嘴角五个特征点；然后使用五个人脸特征点对图片进行仿射变换，将图片旋转一定角度，使两眼为水平方向；再将人脸裁剪到固定的大小，然后将人脸图片的每个点的像素值先减去127.5后除以128得到归一化的人脸像素值。
进一步的，在步骤S5中，对cosθ值的分布情况进行统计，对处理的具体过程如下：
以0.1为长度，从-1.00到1.00，以0.01为单位依次右移，若存在数γ在10次位移中内纵坐标皆为最大值，且该值大于0，则记录γ第一次出现的位置为α，表示噪声数据分布中心轴横坐标；第二次出现的位置为β，表示正常数据中心轴横坐标；若存在数γ在10次位移中内纵坐标皆为最小值且该值>0，则记录γ的值为交点λ，表示噪声数据与正常数据分布交点。
进一步的，在步骤S6中，动态设置Margin的方法如下：
以v＝(β-α)的值作为判断模型拟合程度的依据，当噪声数据与干净数据分布能够分离时即v>0.6根据每个样本情况修改Margin值，设定方法如下：
Figure BDA0002277882980000031
根据每个样本对应的cosθ值，按照公式(2)动态修改Margin。
相对于现有技术，本发明具有如下益效果：
1、本发明在不需要设置额外网络分支和任何先验知识的前提下，模型训练过程中能够自动判断样本属于噪声数据的概率。本发明步骤S5中通过cosθ值的分布情况，找到噪声数据与正常数据的分布区间，来估计样本属于噪声数据的概率。
2、本发明能够自动过滤噪声数据，本发明步骤S6中根据样本属于噪声数据的概率动态修改损失函数的Margin值，降低噪声数据的反向传播梯度，从而降低噪声数据对模型训练的干扰，提高模型训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种抗噪声数据的人脸识别模型训练方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供一种抗噪声数据的人脸识别模型训练方法，包括如下步骤：
S1、构建人脸识别数据集，按照个体ID进行分类，即同一个人的多张人脸照片作为同一个类别ID。
S2、对步骤S1所获得的数据集进行预处理，包括：人脸检测，人脸对齐，人脸裁剪，图片归一化；具体方式如下：使用MTCNN算法进行人脸检测，得到人脸左眼、右眼、鼻尖、左嘴角、右嘴角五个特征点；然后使用五个人脸特征点对图片进行仿射变换，将图片旋转一定角度，使两眼为水平方向；再将人脸裁剪到固定的大小，然后将人脸图片的每个点的像素值先减去127.5后除以128得到归一化的人脸像素值。
S3、根据步骤S2的预处理结果，构建20层的ResNet网络结构提取特征，使用ArcFace损失函数训练人脸识别模型；
ArcFace损失函数的表达式如下：
Figure BDA0002277882980000051
式中，lCE表示训练的损失函数值，
Figure BDA0002277882980000052
表示归一化的xi∈Rd与wj∈Rd的乘积，也就是两个特征之间的余弦距离，xj∈Rd表示一个Batch中第j个样本的输出特征，它的类别标签为yi，wi∈Rd表示输出层的权重的第i列，
Figure BDA0002277882980000053
表示标签对应权重与特征向量之间的余弦距离，M为一个Batch中样本数量，m、s为超参数，n表示训练集类别数。
S4、统计最近一定数量Batch中cosθ值的分布情况，以cosθ值为横坐标，同一个cosθ的数量为纵坐标，绘制曲线图P。
S5、重复步骤S4，直到cosθ分布呈现两个高斯分布，分别计算两个高斯分布顶点横坐标α、β和交点横坐标λ；
在本发明中，以0.1为长度，从-1.00到1.00，以0.01为单位依次右移，若存在数γ在10次位移中内纵坐标皆为最大值，且该值大于0，则记录γ第一次出现的位置为α，表示噪声数据分布中心轴横坐标；第二次出现的位置为β，表示正常数据中心轴横坐标；若存在数γ在10次位移中内纵坐标皆为最小值且该值>0，则记录γ的值为交点λ，表示噪声数据与正常数据分布交点。
S6、根据α、β值的大小，判断模型拟合情况；
若模型拟合程度欠缺，则重复步骤S4、S5；若模型初步拟合，则暂停训练，将Arcface损失函数中的超参数m修改为动态Margin来降低噪声数据对模型训练的干扰；直到模型完全拟合，结束训练，从而得到优化后的的人脸识别模型；
其中，动态设置Margin的方法如下：
以v＝(β-α)的值作为判断模型拟合程度的依据，当噪声数据与干净数据分布能够分离时即v>0.6根据每个样本情况修改Margin值，设定方法如下：
Figure BDA0002277882980000061
根据每个样本对应的cosθ值，按照公式(2)动态修改Margin。
本发明提供的抗噪声数据的人脸识别模型训练方法，在不需要设置额外网络分支和任何先验知识的前提下，模型训练过程中能够自动判断样本属于噪声数据的概率。本发明步骤S5中通过cosθ值的分布情况，找到噪声数据与正常数据的分布区间，来估计样本属于噪声数据的概率。同时，本发明能够自动过滤噪声数据，本发明步骤S6中根据样本属于噪声数据的概率动态修改损失函数的Margin值，降低噪声数据的反向传播梯度，从而降低噪声数据对模型训练的干扰，提高模型训练效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种抗噪声数据的人脸识别模型训练方法，其特征在于，包括如下步骤：
S1、构建人脸识别数据集，按照个体ID进行分类，即同一个人的多张人脸照片作为同一个类别ID；
S2、对步骤S1所获得的数据集进行预处理，包括：人脸检测，人脸对齐，人脸裁剪，图片归一化；
S3、根据步骤S2的预处理结果，构建20层的ResNet网络结构提取特征，使用ArcFace损失函数训练人脸识别模型；
ArcFace损失函数的表达式如下：
Figure FDA0003880586040000011
式中，lCE表示训练的损失函数值，
Figure FDA0003880586040000012
表示归一化的xi∈Rd与wj∈Rd的乘积，也就是两个特征之间的余弦距离，xj∈Rd表示一个Batch中第j个样本的输出特征，它的类别标签为yi，wi∈Rd表示输出层的权重的第i列，
Figure FDA0003880586040000013
表示标签对应权重与特征向量之间的余弦距离，M为一个Batch中样本数量，m、s为超参数，n表示训练集类别数；
S4、统计最近一定数量Batch中cosθ值的分布情况，以cosθ值为横坐标，同一个cosθ的数量为纵坐标，绘制曲线图P；
S5、重复步骤S4，直到cosθ分布呈现两个高斯分布，分别计算两个高斯分布顶点横坐标α、β和交点横坐标λ；
S6、根据α、β值的大小，判断模型拟合情况；
若模型拟合程度欠缺，则重复步骤S4、S5；若模型初步拟合，则暂停训练，将Arcface损失函数中的超参数m修改为动态Margin来降低噪声数据对模型训练的干扰；直到模型完全拟合，结束训练；
在步骤S5中，对cosθ值的分布情况进行统计，对处理的具体过程如下：
以0.1为长度，从-1.00到1.00，以0.01为单位依次右移，若存在数γ在10次位移中内纵坐标皆为最大值，且该值大于0，则记录γ第一次出现的位置为α，表示噪声数据分布中心轴横坐标；第二次出现的位置为β，表示正常数据中心轴横坐标；若存在数γ在10次位移中内纵坐标皆为最小值且该值>0，则记录γ的值为交点λ，表示噪声数据与正常数据分布交点；
在步骤S6中，动态设置Margin的方法如下：
以v＝(β-α)的值作为判断模型拟合程度的依据，当噪声数据与干净数据分布能够分离时即v>0.6根据每个样本情况修改Margin值，设定方法如下：
Figure FDA0003880586040000021
根据每个样本对应的cosθ值，按照公式(2)动态修改Margin。
2.如权利要求1所述的一种抗噪声数据的人脸识别模型训练方法，其特征在于，在步骤S2中，对收集到的数据集进行预处理的具体方式如下：使用MTCNN算法进行人脸检测，得到人脸左眼、右眼、鼻尖、左嘴角、右嘴角五个特征点；然后使用五个人脸特征点对图片进行仿射变换，将图片旋转一定角度，使两眼为水平方向；再将人脸裁剪到固定的大小，然后将人脸图片的每个点的像素值先减去127.5后除以128得到归一化的人脸像素值。
CN201911129505.7A 2019-11-18 2019-11-18 一种抗噪声数据的人脸识别模型训练方法 Active CN110879985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911129505.7A CN110879985B (zh) 2019-11-18 2019-11-18 一种抗噪声数据的人脸识别模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911129505.7A CN110879985B (zh) 2019-11-18 2019-11-18 一种抗噪声数据的人脸识别模型训练方法

Publications (2)

Publication Number Publication Date
CN110879985A CN110879985A (zh) 2020-03-13
CN110879985B true CN110879985B (zh) 2022-11-11

Family

ID=69729778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911129505.7A Active CN110879985B (zh) 2019-11-18 2019-11-18 一种抗噪声数据的人脸识别模型训练方法

Country Status (1)

Country Link
CN (1) CN110879985B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160538B (zh) * 2020-04-02 2020-09-01 北京精诊医疗科技有限公司 一种损失函数中margin参数值的更新方法和系统
CN113205058A (zh) * 2021-05-18 2021-08-03 中国科学院计算技术研究所厦门数据智能研究院 一种防止非活体攻击的人脸识别方法
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2421468A1 (en) * 2002-03-14 2003-09-14 Matsushita Electric Industrial Co., Ltd. Image processing device and ultrasonic diagnostic device
CN109544523A (zh) * 2018-11-14 2019-03-29 北京智芯原动科技有限公司 基于多属性人脸比对的人脸图像质量评价方法及装置
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446754A (zh) * 2015-08-11 2017-02-22 阿里巴巴集团控股有限公司 图像识别方法、度量学习方法、图像来源识别方法及装置
CN110197099B (zh) * 2018-02-26 2022-10-11 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN109376603A (zh) * 2018-09-25 2019-02-22 北京周同科技有限公司 一种视频识别方法、装置、计算机设备及存储介质
CN109993125B (zh) * 2019-04-03 2022-12-23 腾讯科技（深圳）有限公司 模型训练方法、人脸识别方法、装置、设备及存储介质
CN110245550B (zh) * 2019-04-22 2021-05-11 北京云识图信息技术有限公司 一种基于总体余弦分布的人脸噪音数据集cnn训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2421468A1 (en) * 2002-03-14 2003-09-14 Matsushita Electric Industrial Co., Ltd. Image processing device and ultrasonic diagnostic device
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN109544523A (zh) * 2018-11-14 2019-03-29 北京智芯原动科技有限公司 基于多属性人脸比对的人脸图像质量评价方法及装置
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Additive Margin Softmax for Face Verification;Feng Wang等;《IEEE Signal Processing Letters》;20180404;第25卷(第7期);926-930 *
基于多任务学习的深层人脸识别算法;杨恢先等;《激光与光电子学进展》;20190417;第56卷(第18期);134-142 *

Also Published As

Publication number Publication date
CN110879985A (zh) 2020-03-13

Similar Documents

Publication Publication Date Title
CN109657609B (zh) 人脸识别方法及系统
CN110879985B (zh) 一种抗噪声数据的人脸识别模型训练方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
CN108090830B (zh) 一种基于面部画像的信贷风险评级方法和装置
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
CN105893946A (zh) 一种正面人脸图像的检测方法
CN112232184B (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN111950525B (zh) 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN106203284B (zh) 基于卷积神经网络和条件随机场的人脸检测方法
CN111126307B (zh) 联合稀疏表示神经网络的小样本人脸识别方法
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
Du High-precision portrait classification based on mtcnn and its application on similarity judgement
CN112150692A (zh) 一种基于人工智能的门禁控制方法及系统
CN114863189B (zh) 一种基于大数据的图像智能识别方法
CN108537143A (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN111832475A (zh) 一种基于语义特征的人脸误检筛除方法
CN111160292A (zh) 人眼检测方法
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
CN107016675A (zh) 一种基于非局部时空特征学习的无监督视频分割方法
CN109741345A (zh) 强化特定区域类目标属性的中智分割参数自动选取方法
CN112949361A (zh) 指纹识别方法及装置
Karungaru et al. Feature extraction for face detection and recognition

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant