CN114937300A - 一种遮挡人脸识别方法和系统 - Google Patents

一种遮挡人脸识别方法和系统 Download PDF

Info

Publication number
CN114937300A
CN114937300A CN202210563327.4A CN202210563327A CN114937300A CN 114937300 A CN114937300 A CN 114937300A CN 202210563327 A CN202210563327 A CN 202210563327A CN 114937300 A CN114937300 A CN 114937300A
Authority
CN
China
Prior art keywords
face recognition
shielding
model
light
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210563327.4A
Other languages
English (en)
Inventor
常涵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co Ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co Ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co Ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co Ltd
Priority to CN202210563327.4A priority Critical patent/CN114937300A/zh
Publication of CN114937300A publication Critical patent/CN114937300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遮挡人脸识别方法和系统，涉及人脸识别领域。在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果，通过本方案的目标人脸识别模型显著提升了遮挡人脸的识别效果，训练简单，辅助分支可以通过剪枝进一步优化推理时间，提升模型表征能力，训练过程简洁，模型部署方便。

Description

一种遮挡人脸识别方法和系统
技术领域
本发明涉及人脸识别领域，尤其涉及一种遮挡人脸识别方法和系统。
背景技术
人脸识别(Face Recognition)技术已经广泛应用于门禁识别、手机支付、内容审核等方方面面。如今疫情席卷全球，广泛出现的遮挡人脸，对识别效果提出了更高的要求。尤其在社交平台的内容审核场景，拦截敏感和违规涉政人物遮挡人脸的效果不佳，现有技术方案都无法很好的解决这个缺陷。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种遮挡人脸识别方法和系统。
本发明解决上述技术问题的技术方案如下：
一种遮挡人脸识别方法，包括：
S1，在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
S2，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
本发明的有益效果是：本方案在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，显著提升了遮挡人脸的识别效果，训练简单，辅助分支可以通过剪枝进一步优化推理时间，提升模型表征能力，训练过程简洁，模型部署方便。
进一步地，还包括：在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
采用上述进一步方案的有益效果是：本方案通过在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型，可以增强其特征提取能力和对遮挡人脸任务的适应能力。
进一步地，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
采用上述进一步方案的有益效果是：本方案通过遮挡模式预测模块，很好的保留了其中的遮挡空间信息，通过1×1conv组件降低学习难度，改善人脸识别效果。
进一步地，在所述S2之前还包括：
对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别包括：
通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
采用上述进一步方案的有益效果是：本方案通过剪枝处理后的目标人脸识别模型，可以降低模型的推理时间。
进一步地，在所述S2之前还包括：
在训练集中导入dlib库，并对训练集进行人脸关键点检测，并做遮挡增强；
通过遮挡增强后的训练集对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
采用上述进一步方案的有益效果是：本方案通过训练后的目标人脸识别模型，方便模型快速收敛，达到平衡的准召指标。
本发明解决上述技术问题的另一种技术方案如下：
一种遮挡人脸识别系统，包括：模型辅助模块和遮挡识别模块；
所述模型辅助模块用于在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
所述遮挡识别模块用于根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
本发明的有益效果是：本方案在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，显著提升了遮挡人脸的识别效果，训练简单，辅助分支可以通过剪枝进一步优化推理时间，提升模型表征能力，训练过程简洁，模型部署方便。
进一步地，还包括：模型结构改进模块，用于在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
采用上述进一步方案的有益效果是：本方案通过在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型，可以增强其特征提取能力和对遮挡人脸任务的适应能力。
进一步地，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
采用上述进一步方案的有益效果是：本方案通过遮挡模式预测模块，很好的保留了其中的遮挡空间信息，通过1×1conv组件降低学习难度，改善人脸识别效果。
进一步地，还包括：剪枝模块，用于对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述遮挡识别模块用于通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
采用上述进一步方案的有益效果是：本方案通过剪枝处理后的目标人脸识别模型，可以降低模型的推理时间。
进一步地，还包括：导入dlib库，对训练集做在线人脸关键点检测，对关键点检测后的训练集做遮挡增强；
通过遮挡增强后的训练集对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
采用上述进一步方案的有益效果是：本方案通过训练后的目标人脸识别模型，方便模型快速收敛，达到平衡的准召指标。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种遮挡人脸识别方法的流程示意图；
图2为本发明的实施例提供的一种遮挡人脸识别系统的结构框图；
图3为本发明的其他实施例提供的目标人脸识别模型的结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种遮挡人脸识别方法，包括：
S1，在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
在某一实施例中，改进目标人脸识别模型的过程可以包括：
改进人脸识别骨干网络(backbone)resenet50，如图3的C1到C4，增强其特征提取能力和对遮挡人脸任务的适应能力，主要体现在两点：
一、引入特征金字塔结构(FPN，feature pyramid networks)，主要包括如图3中的P2和P3，构建出携带深层语义特征与浅层遮挡特征融合信息的P2，为后续遮挡信息的提取做准备。
二、对组件Cx引入轻量注意力模块(CBAM，Convolutional Block AttentionModule)，在通道和空间维度进行attention，有助于遮挡位置和识别任务的学习。
在另一实施例中，轻量辅助分支可以包括：遮挡特征提取模块、遮挡模式预测模块、1×1conv组件，遮挡特征提取模块的典型组成：卷积层+激活层+BN层，遮挡模式预测模块的典型组成：FC层+BN层+dropout层+输出层，数量和顺序可以不同。各个模块的作用说明如下：
遮挡特征提取模块的作用是将P2中的遮挡位置信息提取出来，输出与C4长宽相同且通道数也相同的M矩阵；
遮挡模式预测模块的作用是将M矩阵中信息进一步提取，预测遮挡类别结果，如无遮挡0，口罩遮,1、眼部遮挡2等，不用M矩阵直接预测遮挡类别的原因是为了保留其中的遮挡空间信息；
1×1conv组件的作用是将M矩阵的通道数调整为1，输出M2，与C4乘生成New_C4，通过辅助分支遮挡分类任务的学习，M2中携带了遮挡类别空间信息，通过乘法可以降低C4中人脸被遮挡部分的权重，改善人脸识别效果。调整通道为1的主要意义体现在以下几点：①限制辅助分支对识别任务产生过大影响，M中高维通道的权重，绝大部分为冗余无效信息，在学习初期直接与C4乘会破坏其数据分布，加大识别任务的学习难度，通过将通道调整为1可以限制其对识别任务的影响，有利于识别任务的快速收敛；②可以让辅助分支更聚焦于遮挡空间信息的学习，降低识别任务和辅助分支分类任务之间的相互影响；③只有一个通道，方便使用grad-cam技术进行可视化分析。
S2，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
在人脸测试集上进行效果测试，主要包含真实人脸、真实遮挡人脸、另外一种方式构建的遮挡增强人脸，通过网络提取人脸的embedding特征，计算与未在测试集中出现的人脸库的欧式距离，计算召回和准确指标，可以发现在准确基本不变前提下，模型在增强人脸上和真实遮挡人脸的召回均高于未采用辅助分支训练的模型。例如：一个带口罩的人脸a，通过遮挡模型提取特征，计算跟人脸库中现有人物的距离，如果与人脸库中的某个人物的某张图片的距离d小于某一阈值th，那么认为这个人脸a可以被遮挡模型召回。传统模型因为表征能力不够，计算出来的距离d，可能会超过设定的这个阈值th，也就是不能被召回。
在某一实施例中，如图3所示，原始的resenet50包括：C1*、C2*、C3*、C4*，其中，C1*表示原始的未经过改动的resenet50的组件，是一个代号，通过多个单元模块构成，其中，C2*、C3*、C4*，类似；Cx*由多个unit_module组成，每个unit_module最后添加CBAM模块，变成Cx，其中，Cx是C1、C2、C3、C4的代称；改进的backbone包括：C1、C2、C3、C4、P2、P3，其中P2和P3为1×1卷积层；辅助分支：遮挡特征提取模块、遮挡模式预测模块、1×1conv组件。剪枝位置：如图2中剪刀标识处；识别任务路径包括：C1>C2>C3>C4>New_C4>embedding；M表示：遮挡特征提取模块的输出结果；M2表示：M通过1×1conv将通道调整为1的结果；New_C4表示：C4与M2乘的结果，通过FC调整为embedding前的特征。
本方案在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，显著提升了遮挡人脸的识别效果，训练简单，辅助分支可以通过剪枝进一步优化推理时间，提升模型表征能力，训练过程简洁，模型部署方便。
优选地，在上述任意实施例中，还包括：在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
本方案通过在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型，可以增强其特征提取能力和对遮挡人脸任务的适应能力。
优选地，在上述任意实施例中，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
本方案通过遮挡模式预测模块，很好的保留了其中的遮挡空间信息，通过1×1conv组件，改善人脸识别效果。
优选地，在上述任意实施例中，在所述S2之前还包括：
对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别包括：
通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
在某一实施例中，可以包括：在模型推理阶段，可以按需对辅助分支进行剪枝操作，即舍弃遮挡模式预测模块，具体剪枝位置在如图3中的虚线剪刀处，这样可以降低模型的推理时间。
本方案通过剪枝处理后的目标人脸识别模型，可以降低模型的推理时间。
优选地，在上述任意实施例中，在所述S2之前还包括：
在训练集中导入dlib库进行人脸关键点检测，对关键点检测后的训练集做遮挡增强；
通过遮挡增强后的训练集对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
在某一实施例中，可以包括：在训练代码中导入dlib库，并做在线遮挡增强，其中，dlib库包含了常用的人脸检测模型的开源机器学习算法库。调用dlib正脸检测器，可以获得人脸的68个关键点，对多个口罩模板定义6个关键点，分别位于口罩模板边缘，顶部3个，底部3个，将口罩通过关键点匹配到人脸关键点上，得到口罩增强后的人脸，墨镜增强人脸过程类似。为了方便模型快速收敛，达到平衡的准召指标，主要措施有：
将遮挡程度分为3挡：重度、中度、轻度，以遮挡人脸增强为例，调整口罩模板顶部3个关键点，对准鼻梁为重度、对准鼻尖为中度、对准上嘴唇顶部为轻度；
不对大角度侧脸做遮挡在线增强，dlib正脸检测器支持轻度侧脸检测，检测不到的侧脸会原图进入训练，可以避免显著提升遮挡模型的训练难度；在另一实施例中，只调用dlib库中的正脸检测器，可以避免检测出侧脸。
遮挡纹理可以随机大量采用真实口罩纹理，避免模板的过拟合，提升模型的识别效果和鲁棒性。
在另一实施例中，采用真实人脸与遮挡人脸混合训练的方式，为了达到平衡的召回率和准确率，经验选取在线遮挡增强的概率，其中，在线遮挡增强的概率优选为0.25，如果增强概率过高，可能会带来准确率下降，训练耗时增加的问题，如果概率过低，可能会导致遮挡人脸召回效果不佳，一般在量级上应保证真实人脸为主、增强人脸为辅。
启动模型训练，识别任务loss采用基于ArcFace的rvface loss，其中，基于ArcFace的rvface loss表示一种最新的人脸训练loss函数，选择这个loss训练可以提高识别效果，其清晰定义容易错分的semi-hard样本,其中，semi-hard样本表示，表示介于简单样本和困难样本之间容易错分的样本，可以提高识别任务对错分样本的关注，改进识别效果，辅助分支分类任务loss采用常见的BCE(Binary Cross Entropy)，学习可能共存的多种遮挡类型(比如戴口罩又戴墨镜)，训练过程中辅助分支通过标签的监督，可以在M矩阵处学习到遮挡空间信息，通过1×1conv组件将通道调整为1得到M2，M2中携带了遮挡空间信息，C4为backbone提取的原始展平前的人脸特征，M2与C4相乘，降低C4中出现遮挡人脸特征的权重，从而改善遮挡人脸识别效果。其中，如图3所示，M表示：遮挡特征提取模块的输出结果；M2表示：M通过1×1conv将通道调整为1的结果；New_C4表示：C4与M2乘的结果，通过FC调整为embedding前的特征。
本方案通过训练后的目标人脸识别模型，方便模型快速收敛，达到平衡的准召指标。
在某一实施例中，如图2所示，一种遮挡人脸识别系统，包括：模型辅助模块1101和遮挡识别模块1102；
所述模型辅助模块1101用于在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
所述遮挡识别模块1102用于根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
本方案在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，显著提升了遮挡人脸的识别效果，训练简单，辅助分支可以通过剪枝进一步优化推理时间，提升模型表征能力，训练过程简洁，模型部署方便。
优选地，在上述任意实施例中，还包括：模型结构改进模块，用于在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
本方案通过在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型，可以增强其特征提取能力和对遮挡人脸任务的适应能力。
优选地，在上述任意实施例中，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
本方案通过遮挡模式预测模块，很好的保留了其中的遮挡空间信息，通过1×1conv组件，改善人脸识别效果。
优选地，在上述任意实施例中，还包括：剪枝模块，用于对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述遮挡识别模块用于通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
本方案通过剪枝处理后的目标人脸识别模型，可以降低模型的推理时间。
优选地，在上述任意实施例中，还包括：在训练集中导入dlib库进行人脸关键点检测，对关键点检测后的训练集做遮挡增强；
通过遮挡增强后的训练集对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
本方案通过训练后的目标人脸识别模型，方便模型快速收敛，达到平衡的准召指标。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种遮挡人脸识别方法，其特征在于，包括：
S1，在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
S2，根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
2.根据权利要求1所述的一种遮挡人脸识别方法，其特征在于，还包括：在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
3.根据权利要求1所述的一种遮挡人脸识别方法，其特征在于，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
4.根据权利要求1-3任一项所述的一种遮挡人脸识别方法，其特征在于，在所述S2之前还包括：
对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别包括：
通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
5.根据权利要求1所述的一种遮挡人脸识别方法，其特征在于，在所述S2之前还包括：
导入dlib库，对训练集做在线人脸关键点检测，对关键点检测后的训练集做遮挡增强；
通过遮挡增强后的训练集，对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
6.一种遮挡人脸识别系统，其特征在于，包括：模型辅助模块和遮挡识别模块；
所述模型辅助模块用于在通过遮挡人脸识别改进后的目标人脸识别模型中引入轻量辅助分支，获得引入轻量辅助分支后的目标人脸识别模型；
所述遮挡识别模块用于根据引入轻量辅助分支后的目标人脸识别模型对遮挡人脸图像进行识别，获得遮挡人脸识别结果。
7.根据权利要求6所述的一种遮挡人脸识别系统，其特征在于，还包括：模型结构改进模块，用于在基于ResNet50网络结构的初始人脸识别模型中引入特征金字塔结构和轻量注意力模块，获得改进后的目标人脸识别模型。
8.根据权利要求6所述的一种遮挡人脸识别系统，其特征在于，所述轻量辅助分支包括：遮挡特征提取模块、遮挡模式预测模块和1×1conv组件。
9.根据权利要求6-8任一项所述的一种遮挡人脸识别系统，其特征在于，还包括：剪枝操作，用于对所述轻量辅助分支进行剪枝处理，去除所述轻量辅助分支中的遮挡模式预测模块，获得剪枝处理后的目标人脸识别模型；
所述遮挡识别模块用于通过剪枝处理后的目标人脸识别模型对遮挡人脸图像进行识别。
10.根据权利要求6所述的一种遮挡人脸识别系统，其特征在于，还包括：训练模块，用于导入dlib库，对训练集做在线人脸关键点检测，对关键点检测后的训练集做遮挡增强；
通过遮挡增强后的训练集，对所述目标人脸识别模型进行训练，获得训练后的目标人脸识别模型。
CN202210563327.4A 2022-05-20 2022-05-20 一种遮挡人脸识别方法和系统 Pending CN114937300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210563327.4A CN114937300A (zh) 2022-05-20 2022-05-20 一种遮挡人脸识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210563327.4A CN114937300A (zh) 2022-05-20 2022-05-20 一种遮挡人脸识别方法和系统

Publications (1)

Publication Number Publication Date
CN114937300A true CN114937300A (zh) 2022-08-23

Family

ID=82864655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563327.4A Pending CN114937300A (zh) 2022-05-20 2022-05-20 一种遮挡人脸识别方法和系统

Country Status (1)

Country Link
CN (1) CN114937300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416666A (zh) * 2023-04-17 2023-07-11 北京数美时代科技有限公司 一种基于分布式蒸馏的人脸识别方法、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860101A (zh) * 2020-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种人脸关键点检测模型的训练方法及装置
CN111914628A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 人脸识别模型的训练方法和装置
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860101A (zh) * 2020-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种人脸关键点检测模型的训练方法及装置
CN111914628A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 人脸识别模型的训练方法和装置
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112380981A (zh) * 2020-11-12 2021-02-19 平安科技（深圳）有限公司 人脸关键点的检测方法、装置、存储介质及电子设备
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王振华等: "基于深度学习的部分遮挡人脸识别", 《电子技术与软件工程》 *
董洪义: "特征金字塔FPN", 《深度学习之PYTORCH物体检测实战》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416666A (zh) * 2023-04-17 2023-07-11 北京数美时代科技有限公司 一种基于分布式蒸馏的人脸识别方法、系统和存储介质

Similar Documents

Publication Publication Date Title
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN110781784A (zh) 基于双路注意力机制的人脸识别方法、装置及设备
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN111415336A (zh) 一种图像篡改识别方法、装置、服务器及存储介质
CN113011307A (zh) 一种基于深度残差网络的人脸识别身份认证方法
CN112613414A (zh) 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN115512399A (zh) 一种基于局部特征和轻量级网络人脸融合攻击检测的方法
CN113705468B (zh) 基于人工智能的数字图像识别方法及相关设备
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114937300A (zh) 一种遮挡人脸识别方法和系统
CN116229531A (zh) 一种协作渐进生成对抗网络的人脸正面图像合成方法
Hu et al. Deep learning for distinguishing computer generated images and natural images: A survey
Maiano et al. Depthfake: a depth-based strategy for detecting deepfake videos
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN112861743B (zh) 一种掌静脉图像防伪方法、装置和设备
CN116205726B (zh) 一种贷款风险预测方法、装置、电子设备及存储介质
CN111104844B (zh) 多发票信息录入方法、装置、电子设备及存储介质
Ren et al. EMF-Net: An edge-guided multi-feature fusion network for text manipulation detection
CN115830381A (zh) 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件
CN111491180B (zh) 关键帧的确定方法和装置
Zeng et al. MGQFormer: Mask-Guided Query-Based Transformer for Image Manipulation Localization
CN111639536A (zh) 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN116112763B (zh) 一种自动化生成短视频内容标签的方法及系统
CN118522056B (zh) 一种基于双重辅助监督的轻量化人脸活体检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220823