CN111582199B - 一种人脸识别模型训练方法和人脸识别方法 - Google Patents

一种人脸识别模型训练方法和人脸识别方法 Download PDF

Info

Publication number
CN111582199B
CN111582199B CN202010397387.4A CN202010397387A CN111582199B CN 111582199 B CN111582199 B CN 111582199B CN 202010397387 A CN202010397387 A CN 202010397387A CN 111582199 B CN111582199 B CN 111582199B
Authority
CN
China
Prior art keywords
mask
face
face image
training
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010397387.4A
Other languages
English (en)
Other versions
CN111582199A (zh
Inventor
李刚
黄翰
阮子琦
刘沛贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Jiuzhang Intelligent Technology Co ltd
Original Assignee
Foshan Jiuzhang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Jiuzhang Intelligent Technology Co ltd filed Critical Foshan Jiuzhang Intelligent Technology Co ltd
Priority to CN202010397387.4A priority Critical patent/CN111582199B/zh
Publication of CN111582199A publication Critical patent/CN111582199A/zh
Application granted granted Critical
Publication of CN111582199B publication Critical patent/CN111582199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种人脸识别模型训练方法和人脸识别方法,其训练方法包括:获取第一人脸图像集和第二人脸图像集;将第一人脸图像集输入第一神经网络模型中进行训练,得到口罩识别模型;将第二人脸图像集随机分成第一类人脸图像和第二类人脸图像;对第一类人脸图像在相应位置添加口罩;将添加口罩后的第一类人脸图像输入第二神经网络模型中进行训练,得到戴口罩识别模型;将第二类人脸图像输入第二神经网络模型中进行训练,得到无口罩识别模型。本发明对人脸识别问题和口罩识别问题进行了分解,针对两个问题进行有针对性的训练以及神经网络模型的设计和调整,无论是在戴口罩情景还是在无口罩情景,均可以保证人脸识别的稳定精准,满足快速检测的需求。

Description

一种人脸识别模型训练方法和人脸识别方法
技术领域
本发明涉及人脸识别技术领域,更具体地,涉及一种人脸识别模型训练方法和人脸识别方法。
背景技术
以人脸面部特征为基础进行生物识别的人脸识别技术,相对于其他生物识别技术而言,有着其独特的可理解性和广泛性,一直被视为在安全、保密等领域重点关注的对象。随着近几年计算机视觉技术的发展,人脸识别作为人工智能浪潮兴起后的一个重要方向,现已经在各个住宅小区、学校、办公楼等重要的日常生活场景有着越来越广泛的具体应用。而人脸识别技术经过近年来的发展已经日趋成熟,为社会大众安全保障工作做出了不可忽视的贡献。
但是,在有疫情爆发的时候,世界各国公民均需要提高公共卫生安全意识,戴起口罩以防止疾病的传播,使得人脸面部特征被部分遮挡,这对现有的人脸识别技术提出了挑战。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷(不足),提供一种人脸识别模型训练方法和人脸识别方法,用于解决无论是否在戴口罩情景下均能进行稳定、快速、准确的人脸识别问题。
本发明采取的技术方案是:
第一方面,本发明提供一种人脸识别模型训练方法,包括:获取第一人脸图像集和第二人脸图像集;将第一人脸图像集输入第一神经网络模型中进行训练,得到口罩识别模型;将第二人脸图像集随机分成第一类人脸图像和第二类人脸图像;对第一类人脸图像在相应位置添加口罩;将添加口罩后的第一类人脸图像输入第二神经网络模型中进行训练,得到戴口罩识别模型;将第二类人脸图像输入第二神经网络模型中进行训练,得到无口罩识别模型。
在完成训练样本的采集后,先进行第一阶段的模型训练,训练出可以识别人脸图像中的人脸是否戴口罩的口罩识别模型,再进行第二阶段的模型训练,训练出针对戴口罩情景下的戴口罩识别模型和针对无口罩情景下的无口罩识别模型。通过多阶段的模型训练,可以将人脸识别问题和口罩识别问题进行分阶段地有针对性地进行设计和攻克,使得所训练出的模型无论人脸是否戴口罩,都可以既保证人脸识别的稳定精准,又满足快速检测的需求。
进一步地,第一神经网络模型包括先行结构和多级残差结构,先行结构的输出端与多级残差结构的输入端连接,先行结构包括多个依次连接的提取块,每个提取块包括依次连接的池化层、卷积层和激活层。
第一人脸图像集从先行结构的输入端输入,通过多个连续的提取块初步提取出第一人脸图像集的人脸图片特征,再输入到后续的多级残差结构中。
进一步地,多级残差结构包括k级扩张网络、第一激活层、第二激活层、第一全连接层和损失层,每级扩张网络对输入进行n阶扩张形成n个输出分支;第一级扩张网络的输入端与先行结构的输出端连接,上一级扩张网络的其中1个输出分支与下一级扩张网络的输入端连接,前k/2级扩张网络的其余n-1个输出分支的其中一部分与第一激活层的输入端连接,前k/2级扩张网络的其余n-1个输出分支的另一部分连接第一全连接层,后k/2级扩张网络的其余n-1个输出分支的其中一部分与第一全连接层的输入端连接,后k/2级扩张网络的其余n-1个输出分支的另一部分与第二激活层的输入端连接;第一激活层的输出端与第一全连接层的输出端融合形成位置信息输出分支,位置信息输出分支与第二激活层的输出端融合形成分类信息输出分支,分类信息输出分支与损失层的输入端连接。
多级残差结构利用扩张网络的方法增加了第一神经网络模型的宽度、减少第一神经网络模型的深度,使得第一神经网络模型的参数量只有百万级别。利用多级残差结构还可以减少过拟合的现象,提高口罩信息的提取效率,加快口罩的识别。
进一步地,损失层以softmax loss为损失函数并以Adam作为反向传播的优化器。
进一步地,第二神经网络采用Inception-Resnet-v2网络结构,在Inception-Resnet-v2网络结构的平均池化层与损失层之间设有第二全连接层。
以Inception-Resnet-v2网络结构作为深度卷积网络模块,并在最后的连接特征图之后再加一层全连接层输出,可以提取更具体的眼部特征。
进一步地,Inception-Resnet-v2网络结构的损失层以center loss为损失函数。
进一步地,将添加口罩后的第一类人脸图像输入第二神经网络模型中进行训练的步骤,包括:根据添加口罩后的第一类人脸图像,构建第一类人脸图像对应的三元组样本;将第一类人脸图像对应的三元组样本输入第二神经网络模型中进行训练;将第二类人脸图像输入第二神经网络模型中进行训练的步骤,包括:根据第二类人脸图像,构建第二类人脸图像对应的三元组样本;将第二类人脸图像对应的三元组样本输入第二神经网络模型中进行训练。
在进行戴口罩识别模型和无口罩识别模型的训练时,根据训练样本构建出三元组样本,以正、反、锚三组对照数据输入Inception-Resnet-v2网络结构,可以进一步地适应模型注重眼部特征提取的要求,以提高戴口罩识别模型和无口罩识别模型的识别精度。
进一步地,对第一类人脸图像在相应位置添加口罩的步骤,包括:获取第一类人脸图像上的人脸标定点、人脸宽度和人脸高度;根据人脸标定点定位人脸的嘴唇部分,根据所定位的人脸的嘴唇部分确定口罩的添加位置;根据人脸宽度和人脸高度确定所添加口罩的尺寸。
第二方面,本发明提供一种人脸识别方法,包括:将待识别人脸图像输入如第一方面所述的口罩识别模型,得到口罩识别结果;根据口罩识别结果,判断待识别人脸图像的人脸是否戴口罩;根据待识别人脸图像的人脸是否戴口罩的判断结果,将待识别人脸图像输入如第一方面所述的戴口罩识别模型或如第二方面所述的无口罩识别模型,得到人脸特征。
在第一阶段,先通过口罩识别模型判断待识别人脸图像上的人脸是否戴口罩,在第二阶段,再根据识别人脸图像上的人脸是否戴口罩选择戴口罩识别模型或选择无口罩识别模型进行人脸识别。通过多阶段的识别,可以分阶段地、有针对性地对人脸识别问题和口罩识别问题分别进行设计和攻克,无论待识别人脸图像上的人脸是否戴口罩,都可以既保证人脸识别的稳定精准,又满足快速检测的需求。
进一步地,根据口罩识别结果,判断待识别人脸图像的人脸是否戴口罩的步骤,包括:根据口罩识别结果,确定待识别人脸图像的人脸戴口罩的置信度和无口罩的置信度;当无口罩的置信度不小于第一阈值时,判断待识别人脸图像的人脸是不戴口罩的;当无口罩的置信度小于第一阈值且无口罩的置信度与戴口罩的置信度之差大于第二阈值时,判断待识别人脸图像的人脸是不戴口罩的;当无口罩的置信度小于第一阈值且无口罩的置信度与戴口罩的置信度之差不大于第二阈值时,判断待识别人脸图像的人脸是戴口罩的。
通过设置第一阈值和第二阈值,采用多阈值分条件情况的分析方法对待识别人脸图像的人脸是否戴口罩进行判断,可以使得人脸识别方法更加贴切实际情景下的应用。
与现有技术相比,本发明的有益效果为:本发明对人脸识别问题和口罩识别问题进行了分解,针对两个问题进行有针对性的训练以及神经网络模型的设计和调整,避免了直接一刀切地进行口罩人脸训练,有效提高戴口罩人脸识别的准确率同时也不会影响无口罩人脸识别的准确率,并且能保证有足够的识别速率。
附图说明
图1为本发明实施例1的人脸识别模型训练方法流程图。
图2为本发明实施例1的第一神经网络模型结构示意图。
图3为本发明实施例1的Inception-Resnet-v2网络结构示意图。
图4为本发明实施例1的Inception-Resnet-v2网络输入三元组样本示意图。
图5为本发明实施例2的人脸识别方法流程图。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示,本实施例提供一种人脸识别模型训练方法,可以训练出人脸识别模型,所训练出的人脸识别模型可以内置于能拍摄到人脸图像的智能终端中,也可以内置于能上传和/或存储和/或下载人脸图像的智能终端中,使得该智能终端能完成人脸识别,其包括以下步骤:A1.获取第一人脸图像集和第二人脸图像集;
A2.将第一人脸图像集输入第一神经网络模型中进行训练,得到口罩识别模型;
A3.将第二人脸图像集随机分成第一类人脸图像和第二类人脸图像;
A4.对第一类人脸图像在相应位置添加口罩;
A5.将添加口罩后的第一类人脸图像输入第二神经网络模型中进行训练,得到戴口罩识别模型;A6.将第二类人脸图像输入第二神经网络模型中进行训练,得到无口罩识别模型。
在步骤A1中所获取的人脸图像集是模型的训练样本;完成训练样本的采集后,在步骤A2中进行第一阶段的模型训练,训练出可以识别人脸图像中的人脸是否戴口罩的口罩识别模型;在步骤A3、A4中对训练样本处理成人脸戴口罩的第一类人脸图像和人脸无口罩的第二类人脸图像;在步骤A5、A6中分别进行第二阶段的模型训练,针对戴口罩的情景下利用人脸戴口罩的第一类人脸图像训练出可以在人脸戴口罩的情况下进行人脸识别的模型,针对无口罩的情景下利用人脸无口罩的第二类人脸图像训练出可以在人脸无口罩的情况下进行人脸识别的模型。
通过步骤A1至A6,可以将人脸识别问题和口罩识别问题进行分阶段地有针对性地进行设计和攻克,所训练出的戴口罩识别模型和无口罩识别模型对人脸识别应以准确性和精确性为侧重点,所训练出的口罩识别模型对口罩识别应以快速判断和信息反馈为侧重点,针对不同模型的侧重点采用不同的神经网络模型进行训练原型,采用多阶段训练、分模型的训练方法,使得所训练出的模型无论人脸是否戴口罩,都可以既保证人脸识别的稳定精准,又满足快速检测的需求。
在具体实施过程中,第一人脸图像集和第二人脸图像集可以采用相同的人脸图像集,也可以采用不同的人脸图像集。当第一人脸图像集和第二人脸图像集采用不同的人脸图像集时,第一人脸图像集可以采用WIDER Face图像集和/或MAFA图像集,第二人脸图像集可以通过广泛收集各个真实场景中的人脸数据。
在步骤A1中,当获取到第一人脸图像集和第二人脸图像集后,可以对第一人脸图像集和第二人脸图像集进行筛选,排除宽高比过大或过小的图片,以方便后续的放缩处理,同时对第一人脸图像集和第二人脸图像集中的模糊人脸和清晰人脸、对焦远近、单图人脸数量、各种口罩类型、单人脸像素占比、暗图和亮图等不同因素在其中的数量占比进行平衡,筛选出符合要求的第一人脸图像集和第二人脸图像集后,再进行后续的步骤A2至步骤A6。
在步骤A2之前,可以对第一人脸图像集采取适当的预处理措施。例如:当第一人脸图像集采用WIDER Face图像集和MAFA图像集时,可以对WIDER Face图像集和MAFA图像集进行预处理和重新校验标注,以拟合两者对人脸位置的定义;对第一人脸图像集进行像素放缩操作,以统一图像的大小;对第一人脸图像集归一化到[0,1]区间,并在第0维度进行维度扩展。
在步骤A3之前,也可以对第二人脸图像集采取适当的预处理措施。例如:对第二人脸图像集进行随机裁剪、翻转、旋转、水平/垂直翻转,裁切、色彩抖动、对比度变换、旋转变换(反射变换)和噪声扰动等数据增强,在数据增强的过程中可以进行具体调节,避免过度集中于某种增强范围区间。
由于口罩识别模型对人脸图像中的人脸是否戴口罩的识别要求为快速判断和信息反馈,所以在步骤A2中,对口罩识别模型的训练所采用的第一神经网络模型进行了设计,如图2所示,第一神经网络模型包括先行结构和多级残差结构,先行结构的输出端与多级残差结构的输入端连接,先行结构包括多个依次连接的提取块,每个提取块包括依次连接的池化层、卷积层和激活层。
第一人脸图像集从先行结构的输入端输入,通过多个连续的提取块初步提取出第一人脸图像集的人脸图片特征,再输入到后续的多级残差结构中。
多级残差结构包括k级扩张网络、第一激活层、第二激活层、第一全连接层和损失层,每级扩张网络对输入进行n阶扩张形成n个输出分支;
第一级扩张网络的输入端与先行结构的输出端连接,上一级扩张网络的其中1个输出分支与下一级扩张网络的输入端连接,前k/2级扩张网络的其余n-1个输出分支的其中一部分与第一激活层的输入端连接,前k/2级扩张网络的其余n-1个输出分支的另一部分连接第一全连接层,后k/2级扩张网络的其余n-1个输出分支的其中一部分与第一全连接层的输入端连接,后k/2级扩张网络的其余n-1个输出分支的另一部分与第二激活层的输入端连接;第一激活层的输出端与第一全连接层的输出端融合形成位置信息输出分支,位置信息输出分支与第二激活层的输出端融合形成分类信息输出分支,分类信息输出分支与损失层的输入端连接。
多级残差结构利用扩张网络的方法增加了第一神经网络模型的宽度、减少第一神经网络模型的深度,使得第一神经网络模型的参数量只有百万级别。利用多级残差结构还可以减少过拟合的现象,提高口罩信息的提取效率,加快口罩的识别。
优选地,当k设置为4、n设置为3可以减小网络深度,扩张网络宽度。具体地,当n设置为3时,前k/2级扩张网络中可以选取第1个输出分支连接下一级扩张网络的输入端,剩下的2个输出分支可以随机选取1个输出分支连接第一激活层,另1个输出分支则不进行非线性激活而与第一全连接层的输入端连接。
损失层对分类信息输出分支构建softmax loss(交叉熵损失函数),并以Adam作为反向传播的优化器。其中Adam算法使用动量变量和RMSProp算法中小批量随机梯度按元素平方的指数加权平均移动变量,在时间步0将它们中每个元素初始化为0,并使用偏差修正使过去各时间步小批量随机梯度权值之和为1,最后将模型参数中每个元素的学习率通过按元素运算重新调整。softmax loss的公式为
Figure BDA0002488092180000061
其中/>
Figure BDA0002488092180000062
为第一全连接层参数/>
Figure BDA0002488092180000063
与该层特征向量xi的内积,/>
Figure BDA0002488092180000064
为W第j列参数值,N为训练样本的数量。
由于戴口罩识别模型和无口罩识别模型的识别要求为准确性和精准性,所以在步骤A5、A6中,对戴口罩识别模型和无口罩识别模型的训练所采用的第二神经网络模型进行了设计,第二神经网络采用Inception-Resnet-v2网络结构,其具体结构如图3所示,在Inception-Resnet-v2网络结构的平均池化层(Average Pooling)与损失层(Softmax)之间设有第二全连接层。以Inception-Resnet-v2网络结构作为深度卷积网络模块,并在最后的连接特征图之后再加一层全连接层输出,可以提取更具体的眼部特征。
Inception-Resnet-v2网络结构的损失层采用center loss(中心损失函数),以特征的类内距离和类间距离为依据更新深度卷积网络模块的权重,其中类内距离是指同一个人的不同图片得到的特征之间的距离,类间距离是指不同人不同照片得到的特征之间的距离,原则上以增大类间距离、减小类内距离为衡量依据,用反向传播进行更新,因此将损失函数确定为center loss,可以尽可能缩小每个类中样本之间的类内距离,同时也借此达到扩大类间距离的目的。center loss的计算公式
Figure BDA0002488092180000071
其中/>
Figure BDA0002488092180000072
而xi为第i张图片经过深度卷积网络模块之后得到的特征向量,/>
Figure BDA0002488092180000073
表示特征类别的中心,m为训练样本的数量。
如图4所示,采用正、反、锚三组对照数据输入Inception-Resnet-v2网络结构,可以进一步地适应注重眼部特征提取的要求。因此,步骤A5中的将添加口罩后的第一类人脸图像输入第二神经网络模型中进行训练,具体可以包括:根据添加口罩后的第一类人脸图像,构建第一类人脸图像对应的三元组样本;将第一类人脸图像对应的三元组样本输入第二神经网络模型中进行训练。步骤A6中的将第二类人脸图像输入第二神经网络模型中进行训练的步骤,具体可以包括:根据第二类人脸图像,构建第二类人脸图像对应的三元组样本;将第二类人脸图像对应的三元组样本输入第二神经网络模型中进行训练。
为了加快口罩识别模型、戴口罩识别模型和无口罩识别模型的训练,在模型训练过程中可以使用GPU和多进程的方式进行加速。
步骤A3中将第二人脸图像集随机分成第一类人脸图像和第二类人脸图像,具体可以是按照一定的数量占比随机分成第一类人脸图像和第二类人脸图像这两类图像,两类图像的数量之差优选为小于第二人脸图像集图像数量的5%。
步骤A4中对第一类人脸图像在相应位置添加口罩,可以采用一种或多种添加口罩方式对第一类人脸图像进行处理。当采用多种添加口罩方式对第一类人脸图像进行处理时,可以是对同一人脸图像采用多种不同的添加口罩方式在相应位置添加口罩,也可以是对不同人脸图像对应采用不同的添加口罩方式在相应位置添加口罩。
其中一种添加口罩的方式可以是:获取第一类人脸图像上的人脸标定点、人脸宽度和人脸高度;根据人脸标定点定位人脸的嘴唇部分,根据所定位的人脸的嘴唇部分确定口罩的添加位置;根据人脸宽度和人脸高度确定所添加口罩的尺寸。
具体实施过程中,以上添加口罩的方式可以编写成自动化程序,具体包括:以dlib库为基准,依次调用人脸分类器和正面人脸检测器,获取单张人脸的68个标定点,以及第一类人脸图像中人脸的大小信息(如人脸宽度、高度等信息);以标定点48到67判定人脸的嘴唇部分,根据人脸宽高自适应计算口罩具体位置,而口罩大小则可以设置为高度为人脸高度的五分之二、宽度为人脸宽度的二分之一。
实施例2
如图5所示,本实施例提供一种人脸识别方法,可以识别出待识别人脸图像上的人脸特征,所识别出的人脸特征可以用于核实待识别人脸图像上人脸的身份,其包括以下步骤:B1.将待识别人脸图像输入如实施例1的口罩识别模型,得到口罩识别结果;
B2.根据口罩识别结果,判断待识别人脸图像的人脸是否戴口罩;
B3.根据待识别人脸图像的人脸是否戴口罩的判断结果,将待识别人脸图像输入如实施例1的戴口罩识别模型或如实施例1的无口罩识别模型,得到人脸特征。
在第一阶段,先通过由实施例1所训练出的口罩识别模型得到口罩识别结果,根据口罩识别结果判断待识别人脸图像上的人脸是否戴口罩。在第二阶段,如果判断出待识别人脸图像上的人脸是戴口罩的,则通过由实施例1所训练出的戴口罩识别模型对待识别人脸图像的人脸进行识别;如果判断出待识别人脸图像上的人脸是无口罩的,则通过由实施例1所训练出的无口罩识别模型对待识别人脸图像的人脸进行识别,最终得到人脸特征。
所得到的人脸特征可以与预设人脸库中的人脸特征进行比对,根据比对结果,匹配到人脸库中所对应的身份,从而可以核实到待识别人脸图像上人脸所对应的身份。
通过步骤B1至B3,可以分阶段地、有针对性地对人脸识别问题和口罩识别问题分别进行设计和攻克,无论待识别人脸图像上的人脸是否戴口罩,都可以既保证人脸识别的稳定精准,又满足快速检测的需求。
而且,在将所得到的人脸特征与预设人脸库中的人脸特征进行比对并根据比对结果匹配身份时,预设人脸库中的人脸特征可以是无口罩下的人脸特征,由此在实际应用时,无需将戴口罩的人脸特征也录入到预设人脸库中。
步骤B2可以采用多阈值分析方法进行待识别人脸图像的人脸是否戴口罩的判断,其具体包括:根据口罩识别结果,确定待识别人脸图像的人脸戴口罩的置信度和无口罩的置信度;当无口罩的置信度不小于第一阈值时,判断待识别人脸图像的人脸是不戴口罩的;当无口罩的置信度小于第一阈值且无口罩的置信度与戴口罩的置信度之差大于第二阈值时,判断待识别人脸图像的人脸是不戴口罩的;当无口罩的置信度小于第一阈值且无口罩的置信度与戴口罩的置信度之差不大于第二阈值时,判断待识别人脸图像的人脸是戴口罩的。
以第一阈值为0.9、第二阈值为0.6为例。根据口罩识别结果,可以确定待识别人脸图像的人脸戴口罩的置信度C1,以及待识别人脸图像的人脸无口罩的置信度C2。(1)当C2不小于0.9,则可以直接判断待识别人脸图像的人脸是不戴口罩的;(2)当C2小于0.9,且C2与C1之差大于0.6,则可以判断待识别人脸图像的人脸是不戴口罩的;(3)当条件(1)和条件(2)均不满足,也即C2小于0.9且C2与C1之差不大于0.6时,则可以判断待识别人脸图像的人脸是戴口罩的。
采用以上多阈值分条件情况的分析方法,可以使得人脸识别方法更加贴切实际情景下的应用。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种人脸识别模型训练方法,其特征在于,包括:
获取第一人脸图像集和第二人脸图像集;
将所述第一人脸图像集输入第一神经网络模型中进行训练,得到可以识别人脸图像中的人脸是否戴口罩的口罩识别模型;
将所述第二人脸图像集随机分成第一类人脸图像和第二类人脸图像;
对所述第一类人脸图像在相应位置添加口罩;
将添加口罩后的所述第一类人脸图像输入第二神经网络模型中进行训练,得到可以识别戴口罩情境下的人脸的戴口罩识别模型;
将所述第二类人脸图像输入第二神经网络模型中进行训练,得到可以识别无口罩情景下的人脸的无口罩识别模型;
所述第一神经网络模型包括先行结构和多级残差结构,所述先行结构的输出端与所述多级残差结构的输入端连接,所述先行结构包括多个依次连接的提取块,每个所述提取块包括依次连接的池化层、卷积层和激活层;
所述多级残差结构包括k级扩张网络、第一激活层、第二激活层、第一全连接层和损失层,每级所述扩张网络对输入进行n阶扩张形成n个输出分支;
第一级扩张网络的输入端与所述先行结构的输出端连接,上一级扩张网络的其中1个输出分支与下一级扩张网络的输入端连接,前k/2级扩张网络的其余n-1个输出分支的其中一部分与第一激活层的输入端连接,前k/2级扩张网络的其余n-1个输出分支的另一部分连接第一全连接层,后k/2级扩张网络的其余n-1个输出分支的其中一部分与第一全连接层的输入端连接,后k/2级扩张网络的其余n-1个输出分支的另一部分与第二激活层的输入端连接;
所述第一激活层的输出端与所述第一全连接层的输出端融合形成位置信息输出分支,所述位置信息输出分支与所述第二激活层的输出端融合形成分类信息输出分支,所述分类信息输出分支与所述损失层的输入端连接;
所述第二神经网络采用Inception-Resnet-v2网络结构,在所述Inception-Resnet-v2网络结构的平均池化层与损失层之间设有第二全连接层。
2.根据权利要求1所述的人脸识别模型训练方法,其特征在于,所述损失层以softmaxloss为损失函数并以Adam作为反向传播的优化器。
3.根据权利要求1所述的人脸识别模型训练方法,其特征在于,所述Inc eption-Resnet-v2网络结构的损失层以center loss为损失函数。
4.根据权利要求1所述的人脸识别模型训练方法,其特征在于,将添加口罩后的所述第一类人脸图像输入第二神经网络模型中进行训练的步骤,包括:
根据添加口罩后的所述第一类人脸图像,构建所述第一类人脸图像对应的三元组样本;
将所述第一类人脸图像对应的三元组样本输入第二神经网络模型中进行训练;
将所述第二类人脸图像输入第二神经网络模型中进行训练的步骤,包括:
根据所述第二类人脸图像,构建所述第二类人脸图像对应的三元组样本;
将所述第二类人脸图像对应的三元组样本输入第二神经网络模型中进行训练。
5.根据权利要求1所述的人脸识别模型训练方法,其特征在于,对所述第一类人脸图像在相应位置添加口罩的步骤,包括:
获取第一类人脸图像上的人脸标定点、人脸宽度和人脸高度;
根据所述人脸标定点定位人脸的嘴唇部分,根据所定位的人脸的嘴唇部分确定口罩的添加位置;
根据所述人脸宽度和所述人脸高度确定所添加口罩的尺寸。
6.一种人脸识别方法,其特征在于,包括:
将待识别人脸图像输入如权利要求1至5任一项所述的口罩识别模型,得到口罩识别结果;
根据所述口罩识别结果,判断所述待识别人脸图像的人脸是否戴口罩;
根据所述待识别人脸图像的人脸是否戴口罩的判断结果,将所述待识别人脸图像输入如权利要求1至5任一项所述的戴口罩识别模型或如权利要求1至5任一项所述的无口罩识别模型,得到人脸特征。
7.根据权利要求6所述的人脸识别方法,其特征在于,根据所述口罩识别结果,判断所述待识别人脸图像的人脸是否戴口罩的步骤,包括:
根据所述口罩识别结果,确定所述待识别人脸图像的人脸戴口罩的置信度和无口罩的置信度;
当所述无口罩的置信度不小于第一阈值时,判断所述待识别人脸图像的人脸是不戴口罩的;
当所述无口罩的置信度小于第一阈值且所述无口罩的置信度与所述戴口罩的置信度之差大于第二阈值时,判断所述待识别人脸图像的人脸是不戴口罩的;
当所述无口罩的置信度小于第一阈值且所述无口罩的置信度与所述戴口罩的置信度之差不大于第二阈值时,判断所述待识别人脸图像的人脸是戴口罩的。
CN202010397387.4A 2020-05-12 2020-05-12 一种人脸识别模型训练方法和人脸识别方法 Active CN111582199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397387.4A CN111582199B (zh) 2020-05-12 2020-05-12 一种人脸识别模型训练方法和人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397387.4A CN111582199B (zh) 2020-05-12 2020-05-12 一种人脸识别模型训练方法和人脸识别方法

Publications (2)

Publication Number Publication Date
CN111582199A CN111582199A (zh) 2020-08-25
CN111582199B true CN111582199B (zh) 2023-05-23

Family

ID=72112118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397387.4A Active CN111582199B (zh) 2020-05-12 2020-05-12 一种人脸识别模型训练方法和人脸识别方法

Country Status (1)

Country Link
CN (1) CN111582199B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147767A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Domain generalized margin via meta-learning for deep face recognition
US20220327864A1 (en) * 2020-10-12 2022-10-13 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Face recognition method, device employing method, and readable storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872B (zh) 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112001372B (zh) * 2020-09-30 2023-02-03 苏州科达科技股份有限公司 人脸识别模型生成和人脸识别方法、系统、设备及介质
CN112948618B (zh) * 2021-02-25 2023-03-24 成都旺小宝科技有限公司 一种用于售楼处的有效客户识别方法
CN112818926B (zh) * 2021-02-26 2022-05-24 燕山大学 一种基于多层残差学习的草图识别方法及系统
CN112907810A (zh) * 2021-04-02 2021-06-04 吉林大学 一种基于嵌入式gpu的人脸识别测温校园门禁系统
CN113052120B (zh) * 2021-04-08 2021-12-24 深圳市华途数字技术有限公司 一种戴口罩人脸识别的门禁设备
CN113963183B (zh) * 2021-12-22 2022-05-31 合肥的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN115188111A (zh) * 2022-07-14 2022-10-14 安徽安联云服务有限公司 一种智能楼宇访客管理的安全验证系统
CN115619410B (zh) * 2022-10-19 2024-01-26 闫雪 自适应金融支付平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
WO2017215240A1 (zh) * 2016-06-14 2017-12-21 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
WO2017215240A1 (zh) * 2016-06-14 2017-12-21 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张延安 ; 王宏玉 ; 徐方 ; .基于深度卷积神经网络与中心损失的人脸识别.科学技术与工程.2017,(35),全文. *
邓黄潇 ; .基于迁移学习与RetinaNet的口罩佩戴检测的方法.电子技术与软件工程.2020,(05),全文. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220327864A1 (en) * 2020-10-12 2022-10-13 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Face recognition method, device employing method, and readable storage medium
US20220147767A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Domain generalized margin via meta-learning for deep face recognition

Also Published As

Publication number Publication date
CN111582199A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582199B (zh) 一种人脸识别模型训练方法和人脸识别方法
CN110889813B (zh) 基于红外信息的低光图像增强方法
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
KR101993266B1 (ko) 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN106845450A (zh) 基于近红外成像与深度学习的黑暗环境人脸识别方法
CN112149616B (zh) 基于动态信息的人物交互行为识别方法
CN111931758A (zh) 一种结合面部静脉的人脸识别方法及装置
CN111401188B (zh) 一种基于人体关键点特征的交警手势识别方法
CN110276252B (zh) 一种基于生成式对抗网络的抗表情干扰的人脸识别方法
CN109472193A (zh) 人脸检测方法及装置
CN114724222B (zh) 一种基于多模态的ai数字人情感分析方法
CN111382690B (zh) 基于多损失融合模型的车辆再识别方法
CN110909672A (zh) 一种基于双流卷积神经网络和svm的抽烟动作识别方法
CN111798404B (zh) 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
CN112733665B (zh) 一种基于轻量化网络结构设计的人脸识别方法及系统
CN108681928A (zh) 一种智能广告投放方法
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
Arafah et al. Face recognition system using Viola Jones, histograms of oriented gradients and multi-class support vector machine
CN111667511B (zh) 一种在动态视频中提取背景的方法、装置和系统
CN111626197B (zh) 一种基于人体行为识别网络模型的识别方法
CN110796008A (zh) 一种基于视频图像的早期火灾检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant