CN113807332A - 口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 - Google Patents
口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113807332A CN113807332A CN202111372957.5A CN202111372957A CN113807332A CN 113807332 A CN113807332 A CN 113807332A CN 202111372957 A CN202111372957 A CN 202111372957A CN 113807332 A CN113807332 A CN 113807332A
- Authority
- CN
- China
- Prior art keywords
- network
- face recognition
- features
- shallow
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 11
- 210000000887 face Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 208000032443 Masked facies Diseases 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于计算机视觉领域，提供了一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质，该人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而提高了人脸识别网络对口罩人脸的鲁棒性。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质。
背景技术
人脸识别技术被广泛用于生物识别领域。相比于其他的生物识别手段，比如指纹，虹膜等，人脸识别技术具有无接触性，易采集等特点。在深度学习理论日益发展的今天，对于遮挡识别问题，基于人工、遮挡检测、分割的方法选择提前获得人脸图像中的遮挡区域，然后对非遮挡区域进行特征提取；基于直接特征提取的方法则会利用各种损失函数强制约束遮挡图片和非遮挡图片之间的距离；基于图像重建的方法则通常利用生成对抗网络对图片进行复原或重建。相比于遮挡人脸识别，口罩人脸识别问题具有独特性，其口罩（遮挡）的分布区域相对固定，可以作为先验知识帮助我们设计网络结构。
虽然口罩的遮挡形式相对更单一，但其本质上还是带来了与人脸识别无关的非生物信息。Geng, Mengyue等人（GENG M, PENG P, HUANG Y等，Masked Face Recognitionwith Generative Data Augmentation and Domain Constrained Ranking[C]//MM 2020- Proceedings of the 28th ACM International Conference on Multimedia. 2020）试图利用对比学习法学习口罩人脸和正常人脸图像的共同特征，但训练过程依赖于对训练样本的采样，训练结果不稳定。Song, Lingxue等人（SONG L, GONG D, LI Z等，Occlusionrobust face recognition based on mask learning with pairwise differentialsiamese network[C]//Proceedings of the IEEE International Conference onComputer Vision. Institute of Electrical and Electronics Engineers Inc.,2019）利用卷积神经网络学习与各种遮挡对应的mask字典，在得到最终的特征表示前都会与字典进行匹配。这种方法训练过程复杂，设计多个模型的训练且其结果依赖于最终的mask字典。Montero, David等人（MONTERO D, NIETO M, LESKOVSKY P等，Boosting MaskedFace Recognition with Multi-Task ArcFace[J]. CoRR, 2021, abs/2104.0.）提出直接在原始人脸识别神经网络中添加针对口罩分类的分支，同时完成对人脸识别任务以及是否佩戴口罩的分类任务。这种方法会扰乱人脸识别任务的学习过程，因为分类任务关注的是口罩区域，与口罩人脸识别任务的需求刚好相反。
如果将口罩人脸看成是一种噪音数据的话，Deng, Jiankang等人（DENG J, GUOJ, LIU T等，Sub-center ArcFace: Boosting Face Recognition by Large-Scale NoisyWeb Faces[C]//ECCV. 2020）依据Ghazi等人（GHAZI M M, EKENEL H K，A ComprehensiveAnalysis of Deep Learning Based Representation for Face Recognition[J]. IEEEComputer Society Conference on Computer Vision and Pattern RecognitionWorkshops, IEEE Computer Society, 2016）对人脸识别任务分类特性的研究，将人脸识别任务中学习（聚类）得到的类中心扩展成多个类中心，并从中分出主类中心和次类中心，其中后者便被作为噪音数据的类中心参与训练。但这种主次之分导致整个网络虽然增加了参数量，同时也放宽了训练约束。
口罩作为非生物信息参与到了生物识别应用之中，这给之前基于正常人脸研发的人脸识别技术带来了巨大的挑战，现有技术中在完成口罩人脸识别任务时正常人脸识别性能均受到影响。
发明内容
本发明的目的在于提供一种口罩鲁棒的人脸识别网络、方法、电子设备及存储介质，旨在解决如何在不损失正常人脸识别性能的情况下完成口罩人脸识别任务的问题。
一方面，本发明提供了一种口罩鲁棒的人脸识别网络，所述人脸识别网络包括整图特征提取网络、与所述整图特征提取网络连接的特征分割模块、与所述特征分割模块分别连接的第一分支网络和第二分支网络，其中，
所述整图特征提取网络，用于从输入的人脸图像中提取浅层整图特征；
所述特征分割模块，用于根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；
所述第一分支网络，用于提取上半部浅层特征的上半部高级特征，所述上半部高级特征用于口罩人脸识别；
所述第二分支网络，用于提取下半部浅层特征的下半部高级特征，所述下半部高级特征用于与所述上半部高级特征拼接，拼接得到的全特征用于正常人脸识别。
优选地，所述人脸识别网络为改进后的ResNet网络。
优选地，所述特征分割模块用于根据所述人脸图像中鼻子的位置模拟口罩区域的上边界，基于所述上边界对所述浅层整图特征进行空间上的分割。
另一方面，本发明还提供了一种基于以上所述人脸识别网络的人脸识别网络训练方法，所述方法包括：
获取训练数据集，所述训练数据集中包含多张正常人脸图像；
基于所述训练数据集，使用多损失函数联合训练所述人脸识别网络，得到训练好的人脸识别网络。
优选地，使用多损失函数联合训练所述人脸识别网络的步骤之前，还包括：
对所述训练数据集进行口罩人脸图像的数据增广。
优选地，所述第一分支网络和所述第二分支网络采用的损失函数均采用AM-Softmax函数。
优选地，所述人脸识别网络的损失函数如下：
L mc (f up ，f down ，w n ，w m )=L am (f up ，w m )+ L am (f down ，w n )，
其中，L mc (f up ，f down ，w n ，w m )表示所述人脸识别网络的联合损失，L am (f up ，w m )表示所述第一分支网络的损失，L am (f down ，w n )表示所述第二分支网络的损失，f up 表示分割出的上半部浅层特征，f down 表示分割出的下半部浅层特征，w n 、w m 分别表示所述第一分支网络和所述第二分支网络的参数。
另一方面，本发明还提供了一种基于以上所述人脸识别网络的人脸识别方法，所述方法包括下述步骤：
从输入的人脸图像中提取浅层整图特征；
根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；
若所述人脸图像为口罩人脸图像，则通过所述第一分支网络提取所述上半部浅层特征的上半部高级特征，基于所述上半部高级特征进行人脸识别；
若所述人脸图像为正常人脸图像，则通过所述第一分支网络和所述第二分支网络，分别提取所述上、下两部分浅层特征的上、下两部分高级特征，基于由所述上、下两部分高级特征拼接得到的全特征进行人脸识别。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而通过该人脸识别网络即可实现人脸识别任务中正常人脸特征和口罩人脸特征的提取，提高了人脸识别网络的鲁棒性。
附图说明
图1是本发明实施例一提供的口罩鲁棒的人脸识别网络的结构示意图；
图2是本发明实施例二提供的口罩鲁棒的人脸识别网络训练方法的实现流程图；
图3是本发明实施例三提供的口罩鲁棒的人脸识别方法的实现流程图；以及
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的口罩鲁棒的人脸识别网络的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
本发明实施例提供的口罩鲁棒的人脸识别网络1包括整图特征提取网络11、与整图特征提取网络连接的特征分割模块12、与特征分割模块分别连接的第一分支网络13和第二分支网络14。其中，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别。从而通过该人脸识别网络即可实现人脸识别任务中正常人脸特征和口罩人脸特征的提取，提高了人脸识别网络对口罩人脸的鲁棒性。其中，第一分支网络和第二分支网络的结构通常相同，正常人脸即未佩戴口罩的人脸。
具体地，在特征提取过程中，输入图像会先与预设好的人脸关键点（例如，双眼、鼻子、左右嘴角五个人脸关键点）进行对齐，得到对齐之后的人脸图像，例如为112x112，然后将该图像输入到人脸识别网络中通过提取浅层整图特征，该人脸识别网络通用卷积神经网络，通过整图特征提取网络提取浅层整图特征，然后根据预设的分割点的位置坐标对浅层整图特征进行分割，得到上、下两部分浅层特征，最后这上、下两部分浅层特征分别经过第一分支网络和第二分支网络得到对应的两个高级特征表达。
优选地，人脸识别网络为改进后的ResNet网络，以通过对ResNet网络的改进，得到对口罩人脸鲁棒的人脸识别网络。具体地，在特征提取过程中，将人脸图像输入到改进后的ResNet网络，通过前几个区块提取人脸图像的浅层整图特征，可以选择第三个block之前的结构作为整图特征提取网络提取浅层整图特征，然后根据预设的分割关键点的位置坐标对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，最后这两部分特征分别经过相同结构的两个分支网络（第一分支网络和第二分支网络）得到对应的两个高级特征表达，其中，上述的两个分支网络可以选择ResNet网络剩下的网络结构。
优选地，特征分割模块用于根据人脸图像中鼻子的位置模拟口罩区域的上边界，基于上边界对浅层整图特征进行空间上的分割，以通过检测到的人脸鼻子的位置对整图特征进行分割。
在本发明实施例中，人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而通过该人脸识别网络即可实现人脸识别任务中正常人脸特征和口罩人脸特征的提取，提高了人脸识别网络的鲁棒性。
实施例二：
本发明实施例基于实施例一，图2示出了本发明实施例二提供的口罩鲁棒的人脸识别网络训练方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，获取训练数据集，训练数据集中包含多张正常人脸图像。
在本发明实施例中，可先获取基础数据集，该基础数据集中包含多张正常人脸图像，基础数据集可以为从通用数据集中选取的图像数据，例如，Megaface等，在此不作限定。在获取基础数据集之后，对基础数据集中的每个人脸图像进行关键点检测，将检测到的关键点与标准关键点进行对齐，具体地，可经过MTCNN等检测每个人脸图像的人脸关键点，例如，双眼、鼻子、左右嘴角五个关键点，并与标准关键点对齐裁剪得到最终的人脸图片，所有对齐后的人脸图像形成训练数据集。
在步骤S203中，基于训练数据集，使用多损失函数联合训练人脸识别网络，得到训练好的人脸识别网络。
在本发明实施例中，通过使用多损失函数联合训练人脸识别网络，从而缓解了人脸识别网络对口罩人脸识别任务的偏向。在使用多损失函数联合训练人脸识别网络之前，优选地，对训练数据集进行口罩人脸图像的数据增广，以通过增广后的训练数据集对人脸识别网络进行训练，从而提高了后续人脸识别的准确度。
在使用训练数据集对人脸识别网络进行训练时，两个分支网络分别提取到的高级特征均会被两个损失函数约束更新为更有代表性的特征表达。优选地，第一分支网络和第二分支网络采用的损失函数均为AM-Softmax函数，以提高网络训练效果。
优选地，人脸识别网络的损失函数如下：
L mc (f up ，f down ，w n ，w m )=L am (f up ，w m )+ L am (f down ，w n )，
其中，L mc (f up ，f down ，w n ，w m )表示人脸识别网络的联合损失，L am (f up ，w m )表示第一分支网络的损失，L am (f down ，w n )表示第二分支网络的损失，f up 表示分割出的上半部浅层特征，f down 表示分割出的下半部浅层特征，w n 、w m 分别表示第一分支网络和第二分支网络的参数。
在测试过程中，由f up 、f down 前后拼接而成的full特征（即全特征）通常被用于正常人脸识别，而f up 形成的HIF特征（higher identity-related feature），即上半部高级特征通常被用于口罩人脸识别任务。
在本发明实施例中，获取训练数据集，训练数据集中包含多张正常人脸图像，基于训练数据集，使用多损失函数联合训练人脸识别网络，得到训练好的人脸识别网络，从而通过使用多损失函数联合训练人脸识别网络，缓解了人脸识别网络对口罩人脸识别任务的偏向，提高了人脸识别网络对口罩人脸的鲁棒性。
实施例三：
本发明实施例三基于实施例一，图3示出了本发明实施例三提供的口罩鲁棒的人脸识别方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S301中，从输入的人脸图像中提取浅层整图特征。
在本发明实施例中，该输入的人脸图像为对齐后的人脸图像。在输入人脸图像之前，可将获取的人脸图像与预设好的人脸关键点（例如，双眼、鼻子、左右嘴角五个人脸关键点）进行对齐，将对齐之后的人脸图像输入到训练好的人脸识别网络中。该训练好的人脸识别网络可采用实施例二描述的方法训练得到。
在步骤S302中，根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征。
在本发明实施例中，在提取浅层整图特征之后，在空间上根据预设的分割点的位置对浅层整图特征进行分割，得到上半部浅层特征和下半部浅层特征，以进一步提取高级特征。
在步骤S303中，若人脸图像为口罩人脸图像，则通过第一分支网络提取上半部浅层特征的上半部高级特征，基于上半部高级特征进行人脸识别。
在步骤S304中，若人脸图像为正常人脸图像，则通过第一分支网络和第二分支网络，分别提取上、下两部分浅层特征的上、下两部分高级特征，基于由上、下两部分高级特征拼接得到的全特征进行人脸识别。
在本发明实施例中，从输入的人脸图像中提取浅层整图特征，根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，若人脸图像为口罩人脸图像，则通过第一分支网络提取上半部浅层特征的上半部高级特征，基于上半部高级特征进行人脸识别，若人脸图像为正常人脸图像，则通过第一分支网络和第二分支网络，分别提取上、下两部分浅层特征的上、下两部分高级特征，基于由上、下两部分高级特征拼接得到的全特征进行人脸识别，从而提高了人脸识别网络的鲁棒性。
实施例四：
本实施例结合实验例对前述实施例做进一步说明。
（1）本实验例使用的数据集
Megaface（MILLER D, BROSSARD E, SEITZ S等，MegaFace: A Million Facesfor Recognition at Scale[C]//CVPR. 2016）是一个通用的用于开放测试的数据集，其注册集含有超过1百万的噪音图片，其探针集有两个，本实验例选取了其中的Facecrub（HONG-WEI N, STEFAN W，A DATA-DRIVEN APPROACH TO CLEANING LARGE FACE DATASETS[C]//International Conference on Image Processing(ICIP). 2014.）作为探针集。
LFW（ZHANG N, DENG W，Labeled Faces in the Wild: A Database forStudying Face Recognition in Unconstrained Environments[R]. 2007.）是一个标准的用于测试模型人脸验证性能的数据集，其包含5749人超过13000张非限制环境下的图片。
（2）实验描述
本实验例的实验和测试均采用Pytorch（PASZKE A, GROSS S, MASSA F等，PyTorch: An imperative style, high-performance deep learning library[C]//Advances in Neural Information Processing Systems. 2019）深度学习框架，训练中采用随机梯度下降法进行优化。具体的，训练时每批次对512张图片进行学习，初始学习率设置为0.01，并分别在第5、10、20次遍历学习完全部训练图片之后递减为原来的十分之一，最后将第25轮学习之后的模型作为最终的模型。模型权重归一化损失权重设置为5x10-4，训练过程中的动量参数设置为0.9，PReLU（HE K, ZHANG X, REN S等，Delving deep intorectifiers: Surpassing human-level performance on imagenet classification[C]//Proceedings of the IEEE International Conference on Computer Vision.2015）作为激活函数接在卷积操作之后。
训练数据来自MS1M-v1c（GUO Y, ZHANG L, HU Y等，MS-celeb-1M: A datasetand benchmark for large-scale face recognition[C]//ECCV. Springer Verlag,2016），其中目标人脸图片经过MTCNN（ZHANG K, ZHANG Z, LI Z等，Joint Face Detectionand Alignment Using Multitask Cascaded Convolutional Networks[J]. IEEE SignalProcessing Letters, 2016）检测得到五个人脸关键点，并与标准关键点对齐裁剪得到112x112最终的人脸图片。本实验例在训练过程中对数据集进行口罩数据增广，利用Dlib（KING D E，Dlib-ml: A machine learning toolkit[J]. Journal of Machine LearningResearch, 2009）检测人脸中68点关键点，然后依此为图像中的人脸佩戴口罩。所有实验都在1显卡（NVIDIA 3090）工作站上进行。
（3）实验结果
本实验例在Megaface Challenge 1数据集上进行针对开放场景的1：N测试，得到了Rank-1（正常人脸的首位命中率）的性能，同时本实验例利用了在训练过程使用的口罩数据增广方式对该数据集进行增广，将探针集内的人脸图片替换为对应口罩人脸图片，注册集中仍然是正常人脸图片，得到Rank-1-Occ（口罩人脸的首位命中率）的性能。本实验例选择了与流行的Amsoft（WANG F, CHENG J, LIU W等，Additive Margin Softmax for FaceVerification[J]. IEEE Signal Processing Letters, 2018），Arcface（DENG J, GUO J,XUE N等，ArcFace: Additive Angular Margin Loss for Deep Face Recognition[C]//CVPR. 2019）损失函数训练得到的模型进行对比（对应表1中Amsoft，Arcface行），同时也对比了在相同损失函数的情况下，使用增广方式进行训练得到的模型的性能（对应表1中Baseline_am行）。从图中可以看到，本实验例的模型（对应表1中Ours_am行）取得了更好的结果。
表1
表2
本实验例在LFW数据集上进行了完善的1：1测试，并同样对测试集中的人脸图片进行了上述的口罩图片增广，由此得到两组分别在n-n，n-m测试方协议（protocol）下模型的性能，前者表示在测试集中随机选取两张图片构成的1：1配对中，两张图片均是正常人脸图片，而后者则表示配对图片中有一张为增广得到的口罩人脸图片。从表2中可以看到，本实验例的方法在两种测试协议下均取得了最好的效果。表2中FAR表示误识率。
本实验例在Megaface测试集上验证了特征空间分割操作以及训练方式的有效性。从表3中可以看到在相同训练集的情况下，使用多损失函数联合的训练方式（对应表3中Baseline_ml行）极大的缓解了模型对口罩人脸识别任务的偏向。同时，仅加上特征空间分割操作而不使用多损失函数联合训练（对应表3中Ours w/o ml行），模型就能在正常人脸识别和口罩人脸识别任务上取得很好的性能。在联合两者之后，模型（对应表3中Ours行）的性能有了进一步的提高。
表3
本实验例在通用CPU和GPU上测试了本方法的推理速度，在CPU和GPU上可以分别达到9FPS（Frames Per Second，每秒传输帧数）和86FPS的速度。
实施例五：
图4示出了本发明实施例五提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各方法实施例中的步骤，例如，图2所示的步骤S201至S202，又如，图3所示的步骤S301至S304。或者，处理器40执行计算机程序42时实现上述人脸识别网络的功能。
在本发明实施例中，人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而通过该人脸识别网络即可实现人脸识别任务中正常人脸特征和口罩人脸特征的提取，提高了人脸识别网络的鲁棒性。
实施例六：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图2所示的步骤S201至S202，又如，图3所示的步骤S301至S304。或者，该计算机程序被处理器执行时实现上述人脸识别网络的功能。
在本发明实施例中，人脸识别网络包括整图特征提取网络、特征分割模块、第一分支网络和第二分支网络，整图特征提取网络用于从输入的人脸图像中提取浅层整图特征，特征分割模块用于根据预设的分割点的位置对浅层整图特征进行空间上的分割，得到上、下两部分浅层特征，第一分支网络用于提取上半部浅层特征的上半部高级特征，上半部高级特征用于口罩人脸识别，第二分支网络用于提取下半部浅层特征的下半部高级特征，下半部高级特征用于与上半部高级特征拼接，拼接得到的全特征用于正常人脸识别，从而通过该人脸识别网络即可实现人脸识别任务中正常人脸特征和口罩人脸特征的提取，提高了人脸识别网络的鲁棒性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种口罩鲁棒的人脸识别网络，其特征在于，所述人脸识别网络包括整图特征提取网络、与所述整图特征提取网络连接的特征分割模块、与所述特征分割模块分别连接的第一分支网络和第二分支网络，其中，
所述整图特征提取网络，用于从输入的人脸图像中提取浅层整图特征；
所述特征分割模块，用于根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；
所述第一分支网络，用于提取上半部浅层特征的上半部高级特征，所述上半部高级特征用于口罩人脸识别；
所述第二分支网络，用于提取下半部浅层特征的下半部高级特征，所述下半部高级特征用于与所述上半部高级特征拼接，拼接得到的全特征用于正常人脸识别。
2.如权利要求1所述的人脸识别网络，其特征在于，所述人脸识别网络为改进后的ResNet网络。
3.如权利要求1所述的人脸识别网络，其特征在于，所述特征分割模块用于根据所述人脸图像中鼻子的位置模拟口罩区域的上边界，基于所述上边界对所述浅层整图特征进行空间上的分割。
4.一种基于权利要求1-3任意一项所述人脸识别网络的网络训练方法，其特征在于，所述方法包括：
获取训练数据集，所述训练数据集中包含多张正常人脸图像；
基于所述训练数据集，使用多损失函数联合训练所述人脸识别网络，得到训练好的人脸识别网络。
5.如权利要求4所述的方法，其特征在于，使用多损失函数联合训练所述人脸识别网络的步骤之前，还包括：
对所述训练数据集进行口罩人脸图像的数据增广。
6.如权利要求4所述的方法，其特征在于，所述第一分支网络和所述第二分支网络采用的损失函数均采用AM-Softmax函数。
7.如权利要求4所述的方法，其特征在于，所述人脸识别网络的损失函数为：
L mc (f up ，f down ，w n ，w m )=L am (f up ，w m )+ L am (f down ，w n )，
其中，L mc (f up ，f down ，w n ，w m )表示所述人脸识别网络的联合损失，L am (f up ，w m )表示所述第一分支网络的损失，L am (f down ，w n )表示所述第二分支网络的损失，f up 表示分割出的上半部浅层特征，f down 表示分割出的下半部浅层特征，w n 、w m 分别表示所述第一分支网络和所述第二分支网络的参数。
8.一种基于权利要求1-3任意一项所述人脸识别网络的人脸识别方法，其特征在于，所述方法包括下述步骤：
从输入的人脸图像中提取浅层整图特征；
根据预设的分割点的位置对所述浅层整图特征进行空间上的分割，得到上、下两部分浅层特征；
若所述人脸图像为口罩人脸图像，则通过所述第一分支网络提取所述上半部浅层特征的上半部高级特征，基于所述上半部高级特征进行人脸识别；
若所述人脸图像为正常人脸图像，则通过所述第一分支网络和所述第二分支网络，分别提取所述上、下两部分浅层特征的上、下两部分高级特征，基于由所述上、下两部分高级特征拼接得到的全特征进行人脸识别。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求4至8任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372957.5A CN113807332A (zh) | 2021-11-19 | 2021-11-19 | 口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111372957.5A CN113807332A (zh) | 2021-11-19 | 2021-11-19 | 口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113807332A true CN113807332A (zh) | 2021-12-17 |
Family
ID=78938398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111372957.5A Pending CN113807332A (zh) | 2021-11-19 | 2021-11-19 | 口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113807332A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457624A (zh) * | 2022-08-18 | 2022-12-09 | 中科天网（广东）科技有限公司 | 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质 |
| CN116563926A (zh) * | 2023-05-17 | 2023-08-08 | 智慧眼科技股份有限公司 | 一种人脸识别方法、系统、设备及计算机可读存储介质 |
| WO2023231399A1 (zh) * | 2022-05-31 | 2023-12-07 | 青岛云天励飞科技有限公司 | 人脸属性预测网络生成方法、人脸属性预测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170032179A1 (en) * | 2015-07-31 | 2017-02-02 | King Abdulaziz City For Science And Technology | Identifying non-occluded faces by learning from partially occluded faces |
| WO2020036734A2 (en) * | 2018-08-17 | 2020-02-20 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN112200154A (zh) * | 2020-11-17 | 2021-01-08 | 苏州方正璞华信息技术有限公司 | 一种戴口罩人脸识别方法、装置、电子设备及存储介质 |
| CN112800847A (zh) * | 2020-12-30 | 2021-05-14 | 广州广电卓识智能科技有限公司 | 人脸采集源检测方法、装置、设备和介质 |
| CN112818901A (zh) * | 2021-02-22 | 2021-05-18 | 成都睿码科技有限责任公司 | 一种基于眼部注意力机制的戴口罩人脸识别方法 |
| CN113158883A (zh) * | 2021-04-19 | 2021-07-23 | 汇纳科技股份有限公司 | 基于区域注意力的人脸识别方法、系统、介质及终端 |
| WO2021203718A1 (zh) * | 2020-04-10 | 2021-10-14 | 嘉楠明芯(北京)科技有限公司 | 人脸识别方法及系统 |
-
2021
- 2021-11-19 CN CN202111372957.5A patent/CN113807332A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170032179A1 (en) * | 2015-07-31 | 2017-02-02 | King Abdulaziz City For Science And Technology | Identifying non-occluded faces by learning from partially occluded faces |
| WO2020036734A2 (en) * | 2018-08-17 | 2020-02-20 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| WO2021203718A1 (zh) * | 2020-04-10 | 2021-10-14 | 嘉楠明芯(北京)科技有限公司 | 人脸识别方法及系统 |
| CN112200154A (zh) * | 2020-11-17 | 2021-01-08 | 苏州方正璞华信息技术有限公司 | 一种戴口罩人脸识别方法、装置、电子设备及存储介质 |
| CN112800847A (zh) * | 2020-12-30 | 2021-05-14 | 广州广电卓识智能科技有限公司 | 人脸采集源检测方法、装置、设备和介质 |
| CN112818901A (zh) * | 2021-02-22 | 2021-05-18 | 成都睿码科技有限责任公司 | 一种基于眼部注意力机制的戴口罩人脸识别方法 |
| CN113158883A (zh) * | 2021-04-19 | 2021-07-23 | 汇纳科技股份有限公司 | 基于区域注意力的人脸识别方法、系统、介质及终端 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023231399A1 (zh) * | 2022-05-31 | 2023-12-07 | 青岛云天励飞科技有限公司 | 人脸属性预测网络生成方法、人脸属性预测方法及装置 |
| CN115457624A (zh) * | 2022-08-18 | 2022-12-09 | 中科天网（广东）科技有限公司 | 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质 |
| CN115457624B (zh) * | 2022-08-18 | 2023-09-01 | 中科天网（广东）科技有限公司 | 一种局部与整体人脸特征交叉融合的戴口罩人脸识别方法、装置、设备和介质 |
| CN116563926A (zh) * | 2023-05-17 | 2023-08-08 | 智慧眼科技股份有限公司 | 一种人脸识别方法、系统、设备及计算机可读存储介质 |
| CN116563926B (zh) * | 2023-05-17 | 2024-03-01 | 智慧眼科技股份有限公司 | 一种人脸识别方法、系统、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020151489A1 (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
| CN113807332A (zh) | 口罩鲁棒的人脸识别网络、方法、电子设备及存储介质 | |
| Bansal et al. | The do's and don'ts for cnn-based face verification | |
| CN111402259B (zh) | 一种基于多层次结构关系学习网络的脑肿瘤分割方法 | |
| Vazquez et al. | Virtual and real world adaptation for pedestrian detection | |
| CN111160264B (zh) | 一种基于生成对抗网络的漫画人物身份识别方法 | |
| Keskin et al. | Randomized decision forests for static and dynamic hand shape classification | |
| Boehnen et al. | A fast multi-modal approach to facial feature detection | |
| CN112541434B (zh) | 一种基于中心点跟踪模型的人脸识别方法 | |
| CN109784219A (zh) | 一种基于集中协调学习的人脸识别方法、系统及装置 | |
| CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
| Ziaeetabar et al. | Recognition and prediction of manipulation actions using enriched semantic event chains | |
| KR20220056707A (ko) | 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치 | |
| Wu et al. | Privacy leakage of sift features via deep generative model based image reconstruction | |
| Atzori et al. | Demographic bias in low-resolution deep face recognition in the wild | |
| CN117333908A (zh) | 基于姿态特征对齐的跨模态行人重识别方法 | |
| Ma et al. | Feature extraction for visual speaker authentication against computer-generated video attacks | |
| Jang et al. | Robust deep age estimation method using artificially generated image set | |
| CN117911827A (zh) | 多模态目标检测方法、装置、设备及存储介质 | |
| Cai et al. | Performance analysis of distance teaching classroom based on machine learning and virtual reality | |
| CN113538720A (zh) | 基于海思智能ai芯片的嵌入式人脸识别考勤方法 | |
| CN113158788B (zh) | 人脸表情识别方法、装置、终端设备及存储介质 | |
| Li et al. | Occluded person re-identification method based on multiscale features and human feature reconstruction | |
| Yin et al. | Semantics constrained dictionary learning for signer-independent sign language recognition | |
| Mishra | Persuasive boundary point based face detection using normalized edge detection in regular expression face morphing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211217 |