CN111339930A - 一种联合口罩属性损失函数的人脸识别方法 - Google Patents

一种联合口罩属性损失函数的人脸识别方法 Download PDF

Info

Publication number
CN111339930A
CN111339930A CN202010115686.4A CN202010115686A CN111339930A CN 111339930 A CN111339930 A CN 111339930A CN 202010115686 A CN202010115686 A CN 202010115686A CN 111339930 A CN111339930 A CN 111339930A
Authority
CN
China
Prior art keywords
loss function
face
mask
face recognition
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010115686.4A
Other languages
English (en)
Inventor
卢丽
闫超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yifei Technology Co ltd
Original Assignee
Sichuan Yifei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yifei Technology Co ltd filed Critical Sichuan Yifei Technology Co ltd
Priority to CN202010115686.4A priority Critical patent/CN111339930A/zh
Publication of CN111339930A publication Critical patent/CN111339930A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种联合口罩属性损失函数的人脸识别方法,包括以下步骤:采集并获得人脸数据集,对人脸数据集中的任一图像进行归一化和去均值处理;将人脸数据集划分为训练集、测试集和验证集,并作相应的标记;将训练集输入至Resnet残差网络模型,并利用联合口罩损失函数得到最优的人脸识别的模型;将带有标记的训练集和测试集的图像输入至Resnet残差网络模型,以获得高维特征;采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图像;利用最优的人脸识别的模型的全连接层提取的特征向量与口罩属性损失函数的特征向量之间夹角余弦求得人脸之间的相似度,预设阀值,并进行人脸识别判断。

Description

一种联合口罩属性损失函数的人脸识别方法
技术领域
本发明涉及人脸识别技术领域,尤其是一种联合口罩属性损失函数的人脸 识别方法。
背景技术
随着科学技术的快速发展和人类社会的进步,人脸识别技术在社会起着至 关重要的作用,这是因为人脸识别方法不仅比传统身份证认证方法更安全可靠, 还比指纹和虹膜方法更具有唯一性且更容易识别。因此,人脸识别技术在人们 的生活中起着关键的作用,人脸识别技术结合了图像处理和人工智能方法,通 过深度学习来提取人脸的高维特征,接着对这些高维特征进行分类,从而准确 地识别遮挡的人脸图像。
人脸识别的准确率受以下两方面影响:
第一,人外部结构(嘴,眼和鼻子)的变化来区分不同的人脸,这些外形 结构增大了类间特征的距离,以较好地区分人脸图像;
第二,人内部特征的变化也能区分不同的人脸。在遮挡和未遮挡的情况下 人,同一人脸的特征有明显的差异,因此需要减小类内的距离。
然而,靠面部特征与分类模型进行比较来识别人脸的传统的方法,还存在 以下两方面不足:
第一,人工设计和提取特征不仅费时还增加了维护成本;
第二,当人们带着口罩时,人的面部区域被口罩遮挡导致人的关键特征丢 失。在遮挡的情况下,传统算法没法精确地辨别人脸图像。因此,提取完整的 特征在人脸识别中占有非常重要的作用,迫切需要开发出一种方法来准确地识 别带口罩的人脸图像。
随着深度学习的发展,再加上硬件GPU的升级和大量训练的数据集,主流 的深度学习的方法明显提高了局部信息的准确率,深度学习通过层与层之间的 网络结构来提取具有区分度的人脸高维特征,这些高维特征通过损失函数来聚 集相似的人脸特征,以得到训练好的人脸模型库,接着测试图像与人脸模型库 进行匹配,当人脸的相似度在一定范围时判定为同一个人。因此,损失函数在 人脸识别中起着承上启下的关键作用,目前损失函数有如下两类:
第一类是Softmax Loss函数,此函数能够对人脸图像进行分类,目前仍存 在以下两方面不足:1)在复杂场景(口罩遮挡)下,识别率还很低;2)人脸 图像分类过程中不能增大类间距离,也不能减少类内距离。
第二类是中心损失函数,此函数在分类过程中一方面减少了相似类特征的 距离,使同一类特征靠近中心聚簇;另一方面此函数增大了类间的间隔,使不 同的人脸特征彼此远离。另外,与Softmax Loss函数相比,此函数能够更进一 步改善人脸的分类效果。但是,此函数不能准确地识别人脸图像。
因此,迫切需要提出一种扩大类间距离和缩小类内距离的损失函数,以实 时、准确高效地识别带口罩的人脸图像的识别方法。
发明内容
针对上述问题,本发明的目的在于提供一种联合口罩属性损失函数的人脸 识别方法,本发明采用的技术方案如下:
一种联合口罩属性损失函数的人脸识别方法,包括以下步骤:
采集并获得人脸数据集,对人脸数据集中的任一图像进行归一化和去均值 处理;将人脸数据集分为划分训练集、测试集和验证集,并作相应的标记;
将训练集输入至Resnet残差网络模型,并利用联合口罩损失函数得到最优 的人脸识别的模型;所述联合口罩属性损失函数的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示 两个损失函数的权重参数;
将带有标记的训练集和测试集的图像输入至Resnet残差网络模型,以获得 高维特征;
采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图像;
利用最优的人脸识别的模型的全连接层提取的特征向量与口罩属性损失函 数的特征向量之间夹角余弦求得人脸之间的相似度,并预设阀值;若相似度小 于阀值,则测试图像属于同一类别;否则,不属于同一类别。
进一步地,所述联合口罩属性损失函数的人脸识别方法,还包括对人脸数 据集的任一图像进行水平和垂直翻转。
进一步地,所述人脸数据集的图像包括人脸遮挡图像和人脸非遮挡图像; 且将训练集输入至Resnet残差网络模型,并利用联合口罩损失函数得到最优的 人脸识别的模型,包括以下步骤:
将带有标记的训练集转换成tfrecord格式数据,并读取人脸图像的数据;
将tfrecord格式数据输入至Resnet残差网络模型,利用联合口罩损失函数得 到最优的人脸识别的模型;并利用最优的人脸识别的模型进行训练集分类。
进一步地,所述并利用联合口罩损失函数得到最优的人脸识别的模型,还 包括以下步骤:
初始化Resnet残差网络模型的参数;
将训练集的图像依次输入至卷积层和归一化层;
采用联合口罩属性损失函数求得最小化网络模型的损失值;
采用反向传播算法求得网络模型的梯度,采用SGD梯度下降算法优化网络 节点的参数,并更新任一层的参数,以最小化网络结构的损失值,以得到最优 的人脸识别的模型;
将测试集的图像输入最优的人脸识别的模型中,并利用相似度进行人脸识 别。
优选地,所述Resnet残差网络模型包括依次连接的4个卷积层、4个归一 化层、16个残缺块和2个全连接层;且倒数第二个全连接层内将Center loss损 失函数和口罩属性损失函数结合得到联合口罩属性损失函数Lu
进一步地,所述联合口罩属性损失函数Lu的推导过程如下:
所述Center loss损失函数的表达式如下:
Figure BDA0002391420700000041
其中,xi表示人脸特征向量,cyi表示人脸图像的中心距离,M表示人脸数据 集的大小;
所述口罩属性损失函数的表达式为:
Figure BDA0002391420700000042
其中,d(pi,pj)是pi和pj特征向量的距离;α是用户自定义阈值;特征 向量pi表示新增的遮挡属性;G是训练的矩阵参数;
所述联合口罩属性损失函数Lu的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示 两个损失函数的权重参数。
更进一步地,所述相似度的表达式为:
Figure BDA0002391420700000043
其中,θ1为全连接层提取的特征向量;θ2为口罩属性损失函数的特征向量。
优选地,所述人脸数据集中的任一图像的尺寸为320×320。
一种联合口罩属性损失函数的人脸识别系统,包括:
数据预处理模块,预设图像的尺寸,并对人脸数据集中的任一图像进行归 一化和去均值处理;对人脸数据集的任一图像进行水平和垂直翻转;将人脸数 据集分为划分训练集、测试集和验证集,并作相应的标记;
高维特征提取模块,将带有标记的训练集和测试集的图像输入至Resnet残 差网络模型,以获得高维特征;
聚类模块,采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图 像;
人脸识别模块,利用特征向量之间夹角余弦求得人脸之间的相似度,并预 设阀值;若相似度小于阀值,则测试图像属于同一类别;否则,不属于同一类 别。
进一步地,所述Resnet残差网络模型包括依次连接的4个卷积层、4个归 一化层、16个残缺块和2个全连接层;且倒数第二个全连接层内将Center loss 损失函数和口罩属性损失函数结合得到联合口罩属性损失函数Lu;所述联合口罩 属性损失函数的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示 两个损失函数的权重参数。
与现有技术相比,本发明具有以下有益效果:
(1)本发明巧妙地设计了一个最优的Resnet网络结构,卷积、归一化、全 连接层相互连接在一起,降低了网络参数的数目,减少了网络的计算时间,从 而提升了算法的效率。
(2)本发明巧妙地设置了最优的损失函数UMAL,此函数优于其他损失函 数,UMAL在不同的数据集下能够提高遮挡人脸图像的准确率。
(3)本发明巧妙地增加了口罩属性损失函数,人脸口罩遮挡属性与人脸的 面部特征密切相关。当人脸被遮挡时,丢弃了人脸的关键特征导致人脸识别的 误差较大。新增的口罩属性损失函数有助于提取有用的面部特征,以增加人脸 识别的准确率。
(4)本发明采用联合口罩损失函数能够紧密地聚集类内特征和分离类间特 征,将相似的人脸特征更紧密地聚集在一起,从而更好地实现分类。本发明的 联合口罩属性损失函数通过微调参数得到优化的特征向量,以减少口罩遮挡带 来的误差。
(5)本发明的Resnet网络结构中各层相互连接,最大化地传递各层网络中 的信息。网络结构引入ResNet残差模块,不仅优化网络结构的参数并有效地抑 制了梯度爆炸的发生,同加快了网络模型的运行速率。
(6)本发明采用SGD梯度下降算法,不仅减少了网络结构的参数还减少 了算法计算的时间。另外,此模型在大规模数据集下,仍能有较高的性能,能 够应用在真实环境中。
(7)本发明巧妙地采用预处理数据集,其有利于提高人脸识别的准确度, 并提高网络模型的计算速度,从而提升整体算法的性能。
(8)本发明巧妙地对任一图像进行水平和垂直翻转,增加数据样本,以防 止过拟合。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需使用 的附图作简单介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此 不应被看作是对保护范围的限定,对于本领域技术人员来说,在不付出创造性 劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的人脸识系统原理图。
图2为本发明的Resnet网络结构框架图。
图3为本发明的人脸识别流程图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚,下面结合附图和实施例对 本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。基于本申 请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的 所有其他实施例,都属于本申请保护的范围。
实施例
如图1至图3所示,本实施例提供了一种联合口罩属性损失函数的人脸识 别系统及方法,其中,人脸识别系统包括:
数据预处理模块,预设图像的尺寸,并对人脸数据集中的任一图像进行归 一化和去均值处理;对人脸数据集的任一图像进行水平和垂直翻转;将人脸数 据集划分为训练集、测试集和验证集,并作相应的标记;
高维特征提取模块,将带有标记的训练集和测试集的图像输入至Resnet残 差网络模型,以获得高维特征;
聚类模块,采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图 像;
人脸识别模块,利用特征向量之间夹角余弦求得人脸之间的相似度,并预 设阀值;若相似度小于阀值,则测试图像属于同一类别;否则,不属于同一类 别。
下面详细阐述联合口罩属性损失函数的人脸识别方法,包括以下步骤:
第一步,据预处理模块,统一设置人脸数据集的图像大小为320×320,并进 行归一化和去均值操作。另外,数据集通过水平和垂直翻转得到更多的数据样 本以防止过拟合。预处理有利于规范数据集并为后续特征提取提供了原材料。
第二步,本实施例采用深度学习Resnet作为网络模型,将带有标记的人脸 图像输入Resnet网络结构中,通过网络模型的各层结构来提取不同的纹理和颜 色特征,以获取具有明显区分度的高维特征。其中,本实施例的的Resnet网络 结构一共包含36层网络结构,层与层之间紧密相连,其中包括4个卷积层,4 个批归一化层(优化网络结构的参数并抑制了梯度爆炸的发生,同加快了网络 模型运行的速率),16个残差块(用于提取人脸的高维特征)和2个全连接层。 在网络结构的倒数第二个全连接层上改进了两种损失函数:1)最后一个全连接 层上添加Center loss函数;2)Center loss和口罩属性损失函数联合成一个损失 函数。联合口罩属性损失函数通过微调参数得到优化的特征向量,以减少口罩 遮挡带来的误差。
第三步,人脸的高维特征通过联合口罩属性损失函数层来聚集相似的人脸 图像,以增大类间的距离和缩小类内的距离。
由于Softmax loss能够区分不同的人脸图像,但是没有考虑人脸特征的距离 导致分类不准确。为了进一步提高损失函数的性能,Center loss使人脸特征向聚 簇中心靠近。但是以两种损失函数没有考虑口罩遮挡带为的影响,为了适应不 同环境的需要,本发明全新改进了一种口罩属性的损失函数(UMAL),来弥 补传统损失函数(Softmax loss和中心损失函数)的不足,能够更好地聚集相似 的人脸特征。UMAL的具体步骤如下:
(1)用于分类的Softmax loss函数(Lsoft)公式如下:
Figure BDA0002391420700000081
其中,w是全连接层的权重值;b表示相应的偏置项;M表示处理块的大小; x表示全连接层输出的人脸特征;y表示对应向量x的分类标签。Softmax loss 使用非线性函数划分不同的特征后,损失函数不再起作用,从而不能较好地聚 集相似人脸的特征。
(2)为了弥补Softmax loss函数的不足,Center Loss函数(Lcenter)计算了 人脸特征向量xi和中心距离{cyi}的差,使相似的特征向其中心靠近并分离不同的 类,其公式如下:
Figure BDA0002391420700000082
(3)上一步的Lcenter在大量数据集下误差较大,不能准确地识别出不同的人 脸图像。另外,人脸图像的分类还与口罩遮挡部位密切相关,在没有口罩遮挡 的情况下能够获取人脸的所有特征,在遮挡情况下丢弃了部分人脸的关键特征。 因此,损失函数需要增加遮挡属性来弥补缺失的人脸特征,增加更多的人脸特 征来提高准确率。口罩属性的损失函数的公式如下:
Figure BDA0002391420700000091
其中,Lmass表示新增口罩属性的损失函数;d(pi,pj)是pi和pj特征向量 的距离;α是用户自定义阈值;特征向量pi表示新增的遮挡属性;G是训练的矩 阵参数。
(4)本实施例将两种损失函数(第二步的Center Loss和第三步的口罩属性 损失函数)改进成联合口罩属性损失函数(UMAL),以最小化网络结构的损 失值,从而紧密地聚集相似的人脸特征,其公式为
Lu=Lcenter+λLmass
其中,两种联合的损失函数为Lu;参数λ(λ<1)用来平衡这两个损失函数; 以聚集相似特征并分离不同的特征。
第四步,在识别阶段,聚类的特征与训练好的网络模型进行匹配,通过特 征向量之间的余弦相似度来判别人脸图像之间的相似度,并根据设定的阀值来 判定人脸图像的分类。识别阶段的步骤如下:
(1)两个特征向量夹角余弦相似度r的计算公式如下:
Figure BDA0002391420700000092
其中,θ1为全连接层提取的特征向量;θ2为口罩属性损失函数的特征向量。 特征向量的夹角越小,r的值越大。人脸图像的夹角余弦得到r=(r1,r2,…, rn),最大的值为rn可作为人脸相似度的阀值。
(2)本实施例的Resnet网络结构框架如表1所示,一共包含36层网络结 构,层与层之间紧密相连,其中包括4个卷积层,4个批归一化层(优化网络结 构的参数并抑制梯度爆炸的发生,同加快了网络模型运行的速率),16个残差 块(用于提取人脸的高维特征)和2个全连接层。在网络结构的倒数第二个全 连接层上改进了两种损失函数:1)最后一个全连接层上添加Center loss函数; 2)Center loss和口罩属性损失函数联合成一个损失函数。联合口罩属性损失函 数通过微调参数得到优化的特征向量,以减少口罩遮挡带来的误差。
表1 Resnet网络结构
Figure BDA0002391420700000101
(3)本实施例的基于联合口罩损失函数的人脸的识别方法,此方法包括两 个阶段(训练和测试),具体步骤如下:
1)预处理收集的训练集(包括统一调整图像大小,水平和垂直翻转和去均 值操作)。然后,标记相应属性的标签,将带标签的数据集转化为相应的tfrecord 格式数据,以并行化读取人脸图像的数据。
2)Resnet网络结构的倒数第二个全连接层加入UMAL损失函数,将带标签 的数据集输入Resnet残差网络中训练,以提高网络模型的容忍度。
3)初始化网络模型参数(学习率,动量和迭代次数等参数),并打乱数据 集的存放顺序。
4)人脸图像通过卷积神经网络的参数共享和局部感受视野方法,降低了权 重参数的数量,并通过非线性函数映射来提取人脸特征,从而得到相应的特征 图。
5)图像通过归一化层来加速训练过程网络模型的收敛性,有效地防止了梯 度弥散现象,从而减少了网络的计算时间。
6)ResNet残差模块减少了网络模型的参数,提高了人脸识别的准确率。另 外,残差层有效地防止网络模型的过拟合现象。
7)前向传播算法根据网络层的权重和偏置逐层输出每层网络的结果,使用 联合口罩属性损失函数来最小化网络模型的损失值(Lu=Lcenter+λLmass)。
8)输出层通过反向传播算法来计算网络模型的梯度,采用SGD梯度下降 算法来优化网络节点的参数,并更新每个batch块的参数(权重w、偏向b和矩 阵的参数G),以最小化网络结构的损失值,参数更新的公式如下:
Figure BDA0002391420700000111
Figure BDA0002391420700000112
9)在测试阶段识别方法的流程图如3所示,提取测试图像的特征与训练好 的网络模型进行匹配,通过特征向量之间的夹角余弦来计算人脸之间的相似度, 然后根据相似度进行排序,接着对于相似度最大的图像,根据设定的阀值来判 定人脸所属的分类,当相似度小于设定的阀值时,则判定测试图像属于同一类 别,否则未能识别。
(4)收集人脸图像的数据集,本发明采用公开的LFW,FDDB和AgeDB 数据集,LFW包含6000人的15000张图像,大小为350×350的RGB三通道图 像。FDDB是最常用的人脸数据集,包含3500人的15000张人脸图像。AgeDB 数据集包含4000人的20000张图像。所有数据集都包含正常的人脸图像和带有 口罩遮挡的人脸图像。为了提高网络模型的精度,在训练前需要进行预处理数 据,统一设置数据集的大小为320×320,划分训练集、测试集和验证集的比例为 7:2:1。在训练和测试阶段需要进行去均值操作,首先计算训练集的均值,然 后将训练集和测试集减去均值操作以提高后续网络训练和测试的准确度。另外, 实验设置Resnet网络结构的学习率为0.01,动量为0.9,批处理为32,λ设置为 0.6,并采用SGD随机梯度下降法来优化网络结构。
(5)性能分析,实验使用人脸图像的平均准确率来计算训练模型的精度。 测试集Dtest为{I1,I2,…,Im}共m张图像。ti∈T为查询的人脸图像,result为查 询的结果。评估准确度(map)的公式如下:
Figure BDA0002391420700000121
(6)实验1,本发明使用公开的LFW,FDDB和AgeDB三种数据集来检 测不同网络结构的效果,其中包括Resnet18、Mobilenet、Basic Resnet36和 Resnet36+UMAL四种网络结构对口罩遮挡的人脸图像进行测试,测试结果如 表2所示,在三种数据集下,Resnet36+UMAL网络结构的准确率是最高的, 并且Resnet36+UMAL的准确率优于其他三种网络结构。由此可知,加入联合 口罩损失函数提高了人脸图像的准确率,证明了联合口罩属性损失函数的有效 性,为后续人脸识别的模型打下坚实的基础。
表2不同损失函数的准确率
Figure BDA0002391420700000122
Figure BDA0002391420700000131
实验2,Resnet网络结构使用不同的损失函数来验证人脸图像(包括LFW, FDDB和AgeDB)的准确率,结果如表3所示,UMAL在三个数据集上的准确 率比其他两种损失函数(Softmax和Center loss)的准确率都高,证明了UMAL 能够有效地识别被口罩遮挡的人脸图像。另外,年龄变化大的AgeDB数据集的 识别率最高,表明UMAL在年龄变化较大的数据集下仍具有很高的识别率。
表3不同损失函数的准确率
Figure BDA0002391420700000132
本发明的数据预处理操作用来规范和调整数据集,为后续特征提取提供了 原材料;带有标签的人脸图像输入Resnet残差网络中,从而得到区分度明显的 高维特征;在Resnet网络结构中通过两种损失函数(中心和口罩属性损失函数) 来改进损失函数(UMAL),提取的高维特征结合UMAL来聚集相似的特征,以 较好地扩大类间距离和缩小类内距离;聚类特征与训练好的网络模型进行匹配, 通过特征向量之间的夹角余弦来计算人脸之间的相似度,并设定阀值来判定人 脸所属的分类。综上所述,本发明具有突出的实质性特点和显著的进步,在人 脸识别技术领域具有很高的实用价值和推广价值。
上述实施例仅为本发明的优选实施例,并非对本发明保护范围的限制,但 凡采用本发明的设计原理,以及在此基础上进行非创造性劳动而作出的变化, 均应属于本发明的保护范围之内。

Claims (10)

1.一种联合口罩属性损失函数的人脸识别方法,其特征在于,包括以下步骤:
采集并获得人脸数据集,对人脸数据集中的任一图像进行归一化和去均值处理;将人脸数据集分为划分训练集、测试集和验证集,并作相应的标记;
将训练集输入至Resnet残差网络模型,并利用联合口罩损失函数得到最优的人脸识别的模型;所述联合口罩属性损失函数的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示两个损失函数的权重参数;
将带有标记的训练集和测试集的图像输入至Resnet残差网络模型,以获得高维特征;
采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图像;
利用最优的人脸识别的模型的全连接层提取的特征向量与口罩属性损失函数的特征向量之间夹角余弦求得人脸之间的相似度,并预设阀值;若相似度小于阀值,则测试图像属于同一类别;否则,不属于同一类别。
2.根据权利要求1所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,还包括对人脸数据集的任一图像进行水平和垂直翻转。
3.根据权利要求1所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,所述人脸数据集的图像包括人脸遮挡图像和人脸非遮挡图像;且将训练集输入至Resnet残差网络模型,并利用联合口罩损失函数得到最优的人脸识别的模型,包括以下步骤:
将带有标记的训练集和测试集转换成tfrecord格式数据,并读取人脸图像的数据;
将tfrecord格式数据输入至Resnet残差网络模型,利用联合口罩损失函数得到最优的人脸识别的模型;并利用最优的人脸识别的模型进行训练集分类。
4.根据权利要求3所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,还包括以下步骤:
初始化Resnet残差网络模型的参数;
将训练集的图像依次输入至卷积层和归一化层;
采用联合口罩属性损失函数求得最小化网络模型的损失值;
采用反向传播算法求得网络模型的梯度,采用SGD梯度下降算法优化网络节点的参数,并更新任一层的参数,以最小化网络结构的损失值,以得到最优的人脸识别的模型;
将测试集的图像输入最优的人脸识别的模型中,并利用相似度进行人脸识别。
5.根据权利要求1所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,所述Resnet残差网络模型包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层;且倒数第二个全连接层内将Center loss损失函数和口罩属性损失函数结合得到联合口罩属性损失函数Lu
6.根据权利要求5所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,所述联合口罩属性损失函数Lu的推导过程如下:
所述Centerloss损失函数的表达式如下:
Figure FDA0002391420690000021
其中,xi表示人脸特征向量,cyi表示人脸图像的中心距离,M表示人脸数据集的大小;
所述口罩属性损失函数的表达式为:
Figure FDA0002391420690000022
其中,d(pi,pj)是pi和pj特征向量的距离;α是用户自定义阈值;特征向量pi表示新增的遮挡属性;G是训练的矩阵参数;
所述联合口罩属性损失函数Lu的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示两个损失函数的权重参数。
7.根据权利要求1所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,所述相似度的表达式为:
Figure FDA0002391420690000031
其中,θ1为全连接层提取的特征向量;θ2为口罩属性损失函数的特征向量。
8.根据权利要求1所述的一种联合口罩属性损失函数的人脸识别方法,其特征在于,所述人脸数据集中的任一图像的尺寸为320×320。
9.一种联合口罩属性损失函数的人脸识别系统,其特征在于,包括:
数据预处理模块,预设图像的尺寸,并对人脸数据集中的任一图像进行归一化和去均值处理;对人脸数据集的任一图像进行水平和垂直翻转;将人脸数据集划分为训练集、测试集和验证集,并作相应的标记;
高维特征提取模块,将带有标记的训练集和测试集的图像输入至Resnet残差网络模型,以获得高维特征;
聚类模块,采用联合口罩属性损失函数将高维特征进行聚集相似的人脸图像;
人脸识别模块,利用特征向量之间夹角余弦求得人脸之间的相似度,并预设阀值;若相似度小于阀值,则测试图像属于同一类别;否则,不属于同一类别。
10.根据权利要求8所述的一种联合口罩属性损失函数的人脸识别系统,其特征在于,所述Resnet残差网络模型包括依次连接的4个卷积层、4个归一化层、16个残缺块和2个全连接层;且倒数第二个全连接层内将Center loss损失函数和口罩属性损失函数结合得到联合口罩属性损失函数Lu;所述联合口罩属性损失函数的表达式为:
Lu=Lcenter+λLmass
其中,Lcenter表示Center Loss函数,Lmass表示新增口罩属性的损失函数,λ表示两个损失函数的权重参数。
CN202010115686.4A 2020-02-25 2020-02-25 一种联合口罩属性损失函数的人脸识别方法 Withdrawn CN111339930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115686.4A CN111339930A (zh) 2020-02-25 2020-02-25 一种联合口罩属性损失函数的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115686.4A CN111339930A (zh) 2020-02-25 2020-02-25 一种联合口罩属性损失函数的人脸识别方法

Publications (1)

Publication Number Publication Date
CN111339930A true CN111339930A (zh) 2020-06-26

Family

ID=71183699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115686.4A Withdrawn CN111339930A (zh) 2020-02-25 2020-02-25 一种联合口罩属性损失函数的人脸识别方法

Country Status (1)

Country Link
CN (1) CN111339930A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832488A (zh) * 2020-07-14 2020-10-27 星宏集群有限公司 基于mobilefacenet的人脸特征值提取方法、系统、终端及存储介质
CN111832465A (zh) * 2020-07-08 2020-10-27 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112766119A (zh) * 2021-01-11 2021-05-07 厦门兆慧网络科技有限公司 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN112861626A (zh) * 2021-01-04 2021-05-28 西北工业大学 基于小样本学习的细粒度表情分类方法
CN113436020A (zh) * 2021-08-26 2021-09-24 深圳华锐金融技术股份有限公司 违规账户的识别方法、装置、计算机设备和存储介质
CN113947802A (zh) * 2021-12-21 2022-01-18 武汉天喻信息产业股份有限公司 有遮挡人脸识别方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509862A (zh) * 2018-03-09 2018-09-07 华南理工大学 抗角度与遮挡干扰的快速人脸识别方法
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN110826519A (zh) * 2019-11-14 2020-02-21 深圳市华付信息技术有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509862A (zh) * 2018-03-09 2018-09-07 华南理工大学 抗角度与遮挡干扰的快速人脸识别方法
CN109165566A (zh) * 2018-08-01 2019-01-08 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN109753875A (zh) * 2018-11-28 2019-05-14 北京的卢深视科技有限公司 基于人脸属性感知损失的人脸识别方法、装置与电子设备
CN110826519A (zh) * 2019-11-14 2020-02-21 深圳市华付信息技术有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐迅等: "基于卷积神经网络的带遮蔽人脸识别", 《江汉大学学报(自然科学版)》 *
李振东等: "角度余量损失和中心损失联合的深度人脸识别", 《计算机应用》 *
许超: "基于通道池化的深度人脸识别网络", 《科技视界》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832465A (zh) * 2020-07-08 2020-10-27 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN111832465B (zh) * 2020-07-08 2022-03-29 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN111832488A (zh) * 2020-07-14 2020-10-27 星宏集群有限公司 基于mobilefacenet的人脸特征值提取方法、系统、终端及存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN112861626A (zh) * 2021-01-04 2021-05-28 西北工业大学 基于小样本学习的细粒度表情分类方法
CN112861626B (zh) * 2021-01-04 2024-03-08 西北工业大学 基于小样本学习的细粒度表情分类方法
CN112766119A (zh) * 2021-01-11 2021-05-07 厦门兆慧网络科技有限公司 一种基于多维度人脸分析精准识别陌生人构建社区安防的方法
CN113436020A (zh) * 2021-08-26 2021-09-24 深圳华锐金融技术股份有限公司 违规账户的识别方法、装置、计算机设备和存储介质
CN113947802A (zh) * 2021-12-21 2022-01-18 武汉天喻信息产业股份有限公司 有遮挡人脸识别方法、装置、设备及可读存储介质
CN113947802B (zh) * 2021-12-21 2022-04-01 武汉天喻信息产业股份有限公司 有遮挡人脸识别方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111339930A (zh) 一种联合口罩属性损失函数的人脸识别方法
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN111898547A (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN109359541A (zh) 一种基于深度迁移学习的素描人脸识别方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN107578007A (zh) 一种基于多特征融合的深度学习人脸识别方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN111353411A (zh) 一种基于联合损失函数的遮挡人脸的识别方法
CN111368683A (zh) 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111401292A (zh) 一种融合红外图像训练的人脸识别网络构建方法
CN108108760A (zh) 一种快速人脸识别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN107545243A (zh) 基于深度卷积模型的黄种人脸识别方法
CN112052772A (zh) 一种人脸遮挡检测算法
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN113220926B (zh) 基于多尺度局部注意力增强网络的足迹图像检索方法
CN116386102A (zh) 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法
CN110414431B (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
CN110427804B (zh) 一种基于二次迁移学习的虹膜身份验证方法
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200626