CN111914665A - 一种人脸遮挡检测方法、装置、设备及存储介质 - Google Patents

一种人脸遮挡检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111914665A
CN111914665A CN202010647515.6A CN202010647515A CN111914665A CN 111914665 A CN111914665 A CN 111914665A CN 202010647515 A CN202010647515 A CN 202010647515A CN 111914665 A CN111914665 A CN 111914665A
Authority
CN
China
Prior art keywords
face
occlusion
parameter
detection frame
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010647515.6A
Other languages
English (en)
Other versions
CN111914665B (zh
Inventor
韩森尧
李驰
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202010647515.6A priority Critical patent/CN111914665B/zh
Publication of CN111914665A publication Critical patent/CN111914665A/zh
Application granted granted Critical
Publication of CN111914665B publication Critical patent/CN111914665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人脸遮挡检测方法、装置、设备及存储介质，用于检测人脸图像中的人脸区域是否被遮挡。本发明实施例从待检测图像中提取出人脸区域，并获取人脸区域的多个不同尺度的人脸特征；根据多个人脸特征，基于已训练的遮挡分类子网络，确定待检测图像对应的第一遮挡参数；根据多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定待检测图像对应的第二遮挡参数；根据第一遮挡参数和第二遮挡参数进行加权处理，确定待检测图像对应的目标遮挡参数。由于本发明实施例综合了遮挡分类子网络和目标检测框子网络的人脸遮挡检测结果，提高人脸遮挡检测的准确性，能够对人脸区域中人脸遮挡情况进行准确判断，完善人脸检测功能。

Description

一种人脸遮挡检测方法、装置、设备及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种人脸遮挡检测方法、装置、设备及存储介质。
背景技术
随着大数据技术的发展，越来越多的身份验证或图像处理场景中都采用了人脸识别技术，人脸识别技术为一种生物身份验证手段，自动人脸识别系统能够对一般图象中的人脸具有一定的识别能力，从而检测图像中人脸对应的身份信息。
目前的人脸识别技术在对图像中的人脸进行识别时，若人脸有遮挡或人脸图像不完整，则会导致无法进行人脸识别，或人脸识别结果不准确，影响人脸识别的准确性，因此，目前亟需一种检测人脸图像中的人脸区域是否被遮挡的方法。
发明内容
本发明涉及一种人脸遮挡检测方法、装置、设备及存储介质，用于检测人脸图像中的人脸区域是否被遮挡。
基于上述问题，第一方面，本发明实施例提供一种人脸遮挡检测方法，该方法包括：
从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及
对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
一种可能的实施方式，所述根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数，包括：
针对任意一个人脸特征，基于所述已训练的遮挡分类子网络的至少一个卷积层，对所述人脸区域的所述人脸特征进行卷积处理，得到所述人脸特征对应的中间遮挡参数；
基于所述已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到所述第一遮挡参数。
一种可能的实施方式，所述根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数，包括：
将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数；
根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框；
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数。
一种可能的实施方式，所述将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数，包括：
针对任意一个融合特征，基于所述已训练的目标检测子网络的至少一个卷积层，对所述融合特征进行卷积处理，得到所述融合特征对应的候选检测框的位置信息和筛选参数；
基于所述已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到所述至少一个检测框的位置信息和筛选参数。
一种可能的实施方式，所述根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框，包括：
筛选出至少一个检测框作为目标检测框；其中，筛选出的检测框包括筛选参数最大的检测框；若筛选出多个检测框，则所述多个检测框中的任意两个检测框的交并比小于预设阈值。
一种可能的实施方式，所述根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数，包括：
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定预设的人脸部位在所述目标检测框内，则确定所述预设的人脸部位未被遮挡，否则，确定所述预设的人脸部位被遮挡；
根据确定出的预设的人脸部位是否被遮挡的遮挡结果确定所述第二遮挡参数。
一种可能的实施方式，根据下列方式对所述遮挡分类子网络进行训练：
将数据集中的样本图像作为所述遮挡分类子网络的输入，将所述样本图像对应的预先标注的实际遮挡参数作为输出，对所述遮挡分类子网络进行训练，通过损失函数确定所述遮挡分类子网络输出的预测遮挡参数与实际遮挡参数之间的第一损失值，根据所述第一损失值调整所述遮挡分类子网络的参数，直至所述第一损失值收敛到第一预设范围；
根据下列方式对所述目标检测框子网络进行训练：
将数据集中的样本图像作为所述目标检测框子网络的输入，将所述样本图像对应的预先标注的样本图像中至少一个人脸部位的检测框的位置信息作为输出，对所述目标检测框子网络进行训练，通过损失函数确定所述目标检测框子网络输出的预测检测框的位置信息与实际检测框的位置信息之间的第二损失值，根据所述第二损失值调整所述目标检测框子网络的参数，直至所述第二损失值收敛到第二预设范围。
第二方面，本发明实施例提供一种人脸遮挡检测装置，包括：
提取模块，用于从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
确定模块，用于根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
处理模块，用于根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
第三方面，本发明实施例提供一种人脸遮挡检测设备，包括处理器和存储器，
其中，所述处理器，用于读取存储器中的程序并执行如上述第一方面所述人脸遮挡检测方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述人脸遮挡检测方法的步骤。
本发明实施例提供的技术方案至少带来以下有益效果：
本发明实施例提供的人脸遮挡检测方法，从待检测图像中提取人脸区域后，获取人脸区域的多个不同尺度的人脸特征，基于已训练的遮挡分类子网络确定第一遮挡参数；对多个不同尺度的人脸特征进行特征融合处理后，得到多个不同尺度的融合特征，基于已训练的目标检测框子网络确定第二遮挡参数，并对第一遮挡参数和第二遮挡参数进行加权处理，确定目标遮挡参数。由于本发明实施例中基于多个不同尺度的人脸特征确定人脸部位是否遮挡的第一遮挡参数，以及基于多个不同尺度的融合特征确定人脸部位是否遮挡的第二遮挡参数，从而能够更加全面的获取图像的人脸特征，提高确定出的第一遮挡参数和第二遮挡参数的准确性，根据第一遮挡参数以及第二遮挡参数确定出的目标遮挡参数，综合了遮挡分类子网络和目标检测框子网络的人脸遮挡检测结果，进一步提高人脸遮挡检测的准确性，能够对人脸区域中人脸遮挡情况进行准确判断，完善人脸检测功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种人脸遮挡检测方法流程图；
图2为本发明实施例一种待检测图像示意图；
图3为本发明实施例一种提取出的人脸区域示意图；
图4为本发明实施例一种resnet50网络提取四个不同尺度的人脸特征的过程示意图；
图5为本发明实施例一种特征金字塔的特征融合过程示意图；
图6为本发明实施例一种特征点选取示意图；
图7为本发明实施例一种完整的人脸遮挡检测方法流程图；
图8为本发明实施例一种人脸遮挡检测装置的结构示意图；
图9为本发明实施例一种人脸遮挡检测设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面对文中出现的一些术语进行解释：
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本发明实施例中术语“特征金字塔网络(Feature Pyramid Networks，FPN)”，是根据特征金字塔概念设计的特征提取器，目的是提高精度和速度，能够生成更高质量的特征图金字塔。
3、本发明实施例中术语“卷积神经网络(Convolutional Neural Networks,CNN)”，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks，SIANN)。
4、本发明实施例中术语“非极大值抑制(Non-Maximum Suppression，NMS)”，是一种去除非极大值的算法，可以理解为局部最大搜索；NMS常用于计算机视觉中的边缘检测、物体识别等。
人脸识别技术作为一种可靠性较高的生物身份验证手段，被广泛应用于身份验证或图像处理场景中，如电子设备解锁或查询个人信息时的身份验证，但目前的人脸识别技术要求图像中人脸区域清晰完整，若人脸图像不完整或有遮挡，则会影响人脸识别结果，导致无法识别人脸或人脸识别结果不准确的问题。
基于上述问题，本发明实施例提供一种人脸遮挡检测方法，用于检测人脸图像中人脸的各部位是否有遮挡。
如图1所示，为本发明实施例一种人脸遮挡检测方法，包括以下步骤：
步骤S101、从包含人脸的待检测图像中提取出人脸区域，并获取人脸区域的多个不同尺度的人脸特征；
步骤S102、根据多个人脸特征，基于已训练的遮挡分类子网络，确定待检测图像对应的用于表示人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及对人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定待检测图像对应的用于表示人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
步骤S103、根据第一遮挡参数和第二遮挡参数进行加权处理，确定待检测图像对应的目标遮挡参数。
本发明实施例提供的人脸遮挡检测方法，从待检测图像中提取人脸区域后，获取人脸区域的多个不同尺度的人脸特征，基于已训练的遮挡分类子网络确定第一遮挡参数；对多个不同尺度的人脸特征进行特征融合处理后，得到多个不同尺度的融合特征，基于已训练的目标检测框子网络确定第二遮挡参数，并对第一遮挡参数和第二遮挡参数进行加权处理，确定目标遮挡参数。由于本发明实施例中基于多个不同尺度的人脸特征确定人脸部位是否遮挡的第一遮挡参数，以及基于多个不同尺度的融合特征确定人脸部位是否遮挡的第二遮挡参数，从而能够更加全面的获取图像的人脸特征，提高确定出的第一遮挡参数和第二遮挡参数的准确性，根据第一遮挡参数以及第二遮挡参数确定出的目标遮挡参数，综合了遮挡分类子网络和目标检测框子网络的人脸遮挡检测结果，进一步提高人脸遮挡检测的准确性，能够对人脸区域中人脸遮挡情况进行准确判断，完善人脸检测功能。
一种可选的实施方式为，在获取到需要进行人脸遮脸检测的待检测图像后，从该待检测图像中提取中人脸区域；具体实施中，对待检测图像进行人脸校正处理后，根据预设尺寸切割待检测图像，提取出人脸区域；例如，如图2所示的待检测图像，提取出人脸区域如图3所示。
在从待检测图像中提取出人脸区域后，获取人脸区域的多个不同尺度的人脸特征，具体实施中，可以采用resnet网络提取人脸区域的不同尺度的人脸特征，例如，通过resnet50网络提取人脸区域的四个不同尺度的人脸特征，resnet50网络提取四个不同尺度的人脸特征的过程如图4所示，从人脸区域中提取中第一尺度的人脸特征A后，对该第一尺度的人脸特征A进行下采样，获取第二尺度的人脸特征B，再对第二尺度的人脸特征B进行下采样，获取第三尺度的人脸特征C，最后对第三尺度的人脸特征C进行下采样，获取第四尺度的人脸特征D，从而得到了四个不同尺度的人脸特征A、B、C、D。
本发明实施例在获取到人脸区域的多个不同尺度的人脸特征后，分别基于已训练的遮挡分类子网络以及已训练的目标检测框子网络确定待检测图像对应的用于表示人脸区域中预设的人脸部位是否遮挡的第一遮挡参数以及第二遮挡参数，下面分别对确定第一遮挡参数以及第二遮挡参数的方式进行说明：
一、基于已训练的遮挡分类子网络确定第一遮挡参数
将获取到的多个不同尺度的人脸特征输入到遮挡分类子网络中，遮挡分类子网络对多个不同尺度的人脸特征分别进行卷积处理，得到每个尺度人脸特征对应的中间遮挡参数，对多个不同尺度的人脸特征对应的中间遮挡参数进行加权平均，得到第一遮挡参数。
具体实施中，对于获取到的多个不同尺度的人脸特征中的任一尺度的人脸特征，基于已训练的遮挡分类子网络的至少一个卷积层，对人脸区域的人脸特征进行卷积处理，得到该尺度的人脸特征对应的中间遮挡参数；
需要说明的是，遮挡参数可以为一维数组，其中数组中的每个元素的值用于表示对应的人脸部位的遮挡情况；例如，假设检测人脸区域中左眼、右眼、鼻子、嘴巴以及下巴的遮挡情况，若遮挡参数为[0，0，1，0，1]，其中，0表示该元素对应的部位无遮挡，1表示该元素对应的部位有遮挡，则该遮挡参数的含义为：左眼、右眼和嘴巴无遮挡，鼻子和下巴有遮挡。
对多个尺度的人脸特征均确定对应的中间遮挡参数后，基于已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到第一遮挡参数。
例如，根据下列公式计算第一遮挡参数：
S＝a*s1+b*s2+c*s3+d*s4
其中，S为第一遮挡参数，a、b、c、d分别为四个不同尺度的人脸特征对应的权重值，s1、s2、s3、s4分别为四个不同尺度的人脸特征对应的中间遮挡参数。
二、基于已训练的目标检测框子网络确定第二遮挡参数
获取到人脸区域的多个不同尺度的人脸特征后，根据特征金字塔网络，对多个尺度的人脸特征进行融合，例如，特征金字塔的特征融合过程可以如图5所示，假设提取到四个不同尺度的人脸特征A、B、C、D，对四个不同尺度的人脸特征A、B、C、D进行特征融合，人脸特征D直接作为融合后的融合特征D’，对融合特征D’和人脸特征C进行融合得到融合特征C’，对融合特征C’和人脸特征B进行融合得到融合特征B’，对融合特征B’和人脸特征A进行融合得到融合特征A’，从而获取到四个不同尺度的融合特征A’，B’，C’，D’。
将多个不同尺度的融合特征输入到已训练的目标检测子网络中，获取已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数；
一种可选的实施方式为，针对任意一个融合特征，基于已训练的目标检测子网络的至少一个卷积层，对融合特征进行卷积处理，得到融合特征对应的候选检测框的位置信息和筛选参数；
基于已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到至少一个检测框的位置信息和筛选参数。
需要说明的是，目标检测子网络输出的至少一个检测框的位置信息和筛选参数，为目标检测框子网络检测人脸区域后，确定的人脸区域中能够识别到的人脸部位对应的检测框，多个检测框对应不同的人脸部位或对应相同的人脸部位。
在基于已训练的目标检测子网络得到至少一个检测框的位置信息和筛选参数后，根据非极大值抑制算法，从至少一个检测框中筛选出目标检测框；
一种可选的实施方式中，采用非极大值抑检制算法筛选目标测框时，假设得到的检测框为E、F、G、H、I、J、K七个检测框，则选择出筛选参数最大的检测框E，分别计算检测框E与剩余检测框F、G、H、I、J、K的位置信息的交并比(Intersection over Union，IOU)，例如，若检测框E与检测框F的位置信息的IOU大于预设阈值，则确定检测框F与检测框E检测到的人脸部位为相似或重叠的部位，则删除检测框F；若检测框E与检测框G的位置信息的IOU小于预设阈值，则确定检测框E与检测框G检测到的人脸部位为不同的部位，保留检测框E和检测框G；假设该轮对比完成后，保留的检测框为E、G、I、K，则选择当前保留的检测框中筛选参数从大到小排列后第二位的检测框G，分别计算检测框G与剩余检测框I、K的位置信息的IOU，并与预设阈值比较后判断是否保留检测框I和检测框K，由此类推，完成检测框的多轮筛选过程；
其中，预设阈值可以为技术人员的经验数值，例如，可以设置预设阈值为0.05。
在从至少一个检测框中筛选出目标检测框后，根据目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示待检测图像中人脸各部位是否遮挡的第二遮挡参数；
具体实施中，预设的人脸部位的位置信息为人脸部位特征点的平均坐标位置，例如，假设选取人脸中左眼、右眼、鼻子、嘴巴和下巴作为需要检测是否有遮挡的人脸部位，则确定数据集中的样本图像的人脸中左眼、右眼、鼻子、嘴巴和下巴对应位的特征点的平均置坐标，作为预设的人脸部位的位置信息；在获取到目标检测框后，判断预设的人脸部位的平均位置坐标是否落在目标检测框内，例如，若左眼对应的特征点的平均位置坐标作为落在目标检测框E中，则左眼对应的遮挡结果为无遮挡；若右眼对应的特征点的平均位置坐标没有落在任意一个目标检测框中，则右眼对应的遮挡结果为有遮挡。
根据对比预设的人脸部位的位置信息与目标检测框的位置信息，确定用于表示待检测图像中人脸各部位是否遮挡的第二遮挡参数，例如，得到的第二遮挡参数为[0，1，0，1，0]，则表示右眼与嘴巴有遮挡，左眼、鼻子和下巴无遮挡。
在确定出第一遮挡参数和第二遮挡参数后，根据第一遮挡参数和第二遮挡参数进行加权处理，确定待检测图像对应的目标遮挡参数；
具体实施中，根据预设的第二遮挡参数与第二权重值的对应关系，确定第二遮挡参数对应的第二权重值，以及根据第二遮挡参数对应的第二权重值确定第一遮挡参数对应的第一权重值，由于第二遮挡参数为基于目标检测框子网络得到的遮挡参数，目标检测框子网络对人脸部位有遮挡的情况判断较为准确，则当第二遮挡参数中人脸部位对应的元素的值为1，即该人脸部位有遮挡时，该元素对应的第二权重值较大；例如，假设第一遮挡参数为[0，0，0，1，0]，第二遮挡参数为[0，1，0，1，0]，当第二遮挡参数中的元素对应的值为1时，该元素对应的第二权重值为0.8，当第二遮挡参数中的元素对应的值为0时，该元素对应的第二权重值为0.05，则确定出第二遮挡参数对应的第二权重值为0.05、0.8、0.05、0.8、0.05，根据第二权重值确定第一权重值为0.95、0.2、0.95、0.2、0.95，根据第一遮挡参数中的每个元素及其对应的第一权重值、第二遮挡参数中的每个元素及其对应的第二权重值确定目标遮挡参数中每个元素的值，计算得到目标遮挡参数为[0，0.8，0，1，0]，归一化处理后得到目标遮挡参数为[0，1，0，1，0]。
一种可选的实施方式，本发明实施例还提供一种遮挡分类子网络以及目标检测框子网络的训练方法，下面对本发明实施例中的训练方法进行介绍：
(1)选取特征点
本发明实施例选择COFW数据集作为训练使用的数据集，其中，COFW数据集中包含了图像、图像中29个人脸特征点的坐标以及特征点对应的是否遮挡的标签值，本发明实施例中可以选择29个人脸特征点中的任意组合作为本发明实施例需要检测的人脸部位的特征点；例如，基于COFW数据集中的29个人脸特征点，如图6所示，若特征点17对应的标签值为1，则左眼有遮挡；若特征点16对应的标签值为1，则右眼有遮挡；若特征点20对应的标签值为1，则鼻子有遮挡；若特征点22、23、25、26、27中任一个特征点的标签值为1，则嘴巴有遮挡；若特征点28的标签值为1，则下巴有遮挡。
(2)扩充数据集
由于训练过程中使用的数据集越大，训练得到遮挡分类子网络和目标检测框子网络检测人脸遮挡的结果越准确，通过将图像调暗、将图像调亮以及添加高斯噪声等图像处理方式，对COFW数据集进行扩充以增加数据集的数据数量。
增加数据集数据数量后，随机为数据集中的图像添加用于遮挡图像中人脸部位的矩形框，以增加数据集中人脸部位有遮挡的样本图像数量。
(3)训练遮挡分类子网络
将扩充后数据集中的样本图像作为遮挡分类子网络的输入，将样本图像对应的预先标注的实际遮挡参数作为输出，对遮挡分类子网络进行训练，通过损失函数确定遮挡分类子网络输出的预测遮挡参数与实际遮挡参数之间的第一损失值，根据第一损失值调整遮挡分类子网络的参数，直至第一损失值收敛到第一预设范围，则确定遮挡分类子网络训练完成。
(4)训练目标检测框子网络
将数据集中的样本图像作为目标检测框子网络的输入，将样本图像对应的预先标注的样本图像中至少一个人脸部位的检测框的位置信息作为输出，对目标检测框子网络进行训练，通过损失函数确定目标检测框子网络输出的预测检测框的位置信息与实际检测框的位置信息之间的第二损失值，根据第二损失值调整目标检测框子网络的参数，直至第二损失值收敛到第二预设范围，则确定目标检测框子网络训练完成。
如图7所示，为本发明实施例一种完整的人脸遮挡检测方法流程图，包括以下步骤：
步骤S701、从包含人脸的待检测图像中提取出人脸区域，并获取人脸区域的多个不同尺度的人脸特征；
步骤S702、针对任意一个人脸特征，基于已训练的遮挡分类子网络的至少一个卷积层，对人脸区域的人脸特征进行卷积处理，得到人脸特征对应的中间遮挡参数；
步骤S703、基于已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到第一遮挡参数；
步骤S704、对人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；
步骤S705、针对任意一个融合特征，基于已训练的目标检测子网络的至少一个卷积层，对融合特征进行卷积处理，得到融合特征对应的候选检测框的位置信息和筛选参数；
步骤S706、基于已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到至少一个检测框的位置信息和筛选参数；
步骤S707、根据非极大值抑制算法，从至少一个检测框中筛选出目标检测框；
步骤S708、根据目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示待检测图像中人脸各部位是否遮挡的第二遮挡参数；
步骤S709、根据第一遮挡参数和第二遮挡参数进行加权处理，确定待检测图像对应的目标遮挡参数。
需要说明的是，步骤S702～步骤S703与步骤S704～步骤S708也可以同时执行。
基于同一发明构思，本发明实施例中还提供了一种人脸遮挡检测装置，由于该装置解决问题的原理与本发明实施例提供的一种人脸遮挡检测方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图8所示，为本发明实施例一种人脸遮挡检测装置，包括：
提取模块801，用于从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
确定模块802，用于根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
处理模块803，用于根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
一种可能的实施方式，所述确定模块802具体用于：
针对任意一个人脸特征，基于所述已训练的遮挡分类子网络的至少一个卷积层，对所述人脸区域的所述人脸特征进行卷积处理，得到所述人脸特征对应的中间遮挡参数；基于所述已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到所述第一遮挡参数。
一种可能的实施方式，所述确定模块802具体用于：
将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数；根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框；根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数。
一种可能的实施方式，所述确定模块802具体用于：
针对任意一个融合特征，基于所述已训练的目标检测子网络的至少一个卷积层，对所述融合特征进行卷积处理，得到所述融合特征对应的候选检测框的位置信息和筛选参数；基于所述已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到所述至少一个检测框的位置信息和筛选参数。
一种可能的实施方式，所述确定模块802具体用于：
筛选出至少一个检测框作为目标检测框；其中，筛选出的检测框包括筛选参数最大的检测框；若筛选出多个检测框，则所述多个检测框中的任意两个检测框的交并比小于预设阈值。
一种可能的实施方式，所述处理模块803具体用于：
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定预设的人脸部位在所述目标检测框内，则确定所述预设的人脸部位未被遮挡，否则，确定所述预设的人脸部位被遮挡；根据确定出的预设的人脸部位是否被遮挡的遮挡结果确定所述第二遮挡参数。
一种可能的实施方式，所述人脸遮挡检测装置还包括训练模块804，所述训练模块804具体用于：
根据下列方式对所述遮挡分类子网络进行训练：
将数据集中的样本图像作为所述遮挡分类子网络的输入，将所述样本图像对应的预先标注的实际遮挡参数作为输出，对所述遮挡分类子网络进行训练，通过损失函数确定所述遮挡分类子网络输出的预测遮挡参数与实际遮挡参数之间的第一损失值，根据所述第一损失值调整所述遮挡分类子网络的参数，直至所述第一损失值收敛到第一预设范围；
根据下列方式对所述目标检测框子网络进行训练：
将数据集中的样本图像作为所述目标检测框子网络的输入，将所述样本图像对应的预先标注的样本图像中至少一个人脸部位的检测框的位置信息作为输出，对所述目标检测框子网络进行训练，通过损失函数确定所述目标检测框子网络输出的预测检测框的位置信息与实际检测框的位置信息之间的第二损失值，根据所述第二损失值调整所述目标检测框子网络的参数，直至所述第二损失值收敛到第二预设范围。
基于同一发明构思，本发明实施例中还提供了一种人脸遮挡检测设备，由于该设备解决问题的原理与本发明实施例提供的一种人脸遮挡检测方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图9所示，本发明实施例提供一种人脸遮挡检测设备，包括处理器901和存储器902，
其中，所述处理器901，用于读取存储器902中的程序并执行：
从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及
对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
一种可能的实施方式，所述处理器901具体用于：
针对任意一个人脸特征，基于所述已训练的遮挡分类子网络的至少一个卷积层，对所述人脸区域的所述人脸特征进行卷积处理，得到所述人脸特征对应的中间遮挡参数；
基于所述已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到所述第一遮挡参数。
一种可能的实施方式，所述处理器901具体用于：
将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数；
根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框；
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数。
一种可能的实施方式，所述处理器901具体用于：
针对任意一个融合特征，基于所述已训练的目标检测子网络的至少一个卷积层，对所述融合特征进行卷积处理，得到所述融合特征对应的候选检测框的位置信息和筛选参数；
基于所述已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到所述至少一个检测框的位置信息和筛选参数。
一种可能的实施方式，所述处理器901具体用于：
筛选出至少一个检测框作为目标检测框；其中，筛选出的检测框包括筛选参数最大的检测框；若筛选出多个检测框，则所述多个检测框中的任意两个检测框的交并比小于预设阈值。
一种可能的实施方式，所述处理器901具体用于：
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定预设的人脸部位在所述目标检测框内，则确定所述预设的人脸部位未被遮挡，否则，确定所述预设的人脸部位被遮挡；
根据确定出的预设的人脸部位是否被遮挡的遮挡结果确定所述第二遮挡参数。
一种可能的实施方式，所述处理器901还用于：
根据下列方式对所述遮挡分类子网络进行训练：
将数据集中的样本图像作为所述遮挡分类子网络的输入，将所述样本图像对应的预先标注的实际遮挡参数作为输出，对所述遮挡分类子网络进行训练，通过损失函数确定所述遮挡分类子网络输出的预测遮挡参数与实际遮挡参数之间的第一损失值，根据所述第一损失值调整所述遮挡分类子网络的参数，直至所述第一损失值收敛到第一预设范围；
根据下列方式对所述目标检测框子网络进行训练：
将数据集中的样本图像作为所述目标检测框子网络的输入，将所述样本图像对应的预先标注的样本图像中至少一个人脸部位的检测框的位置信息作为输出，对所述目标检测框子网络进行训练，通过损失函数确定所述目标检测框子网络输出的预测检测框的位置信息与实际检测框的位置信息之间的第二损失值，根据所述第二损失值调整所述目标检测框子网络的参数，直至所述第二损失值收敛到第二预设范围。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸遮挡检测方法，其特征在于，该方法包括：
从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及
对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
2.如权利要求1所述的方法，其特征在于，所述根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数，包括：
针对任意一个人脸特征，基于所述已训练的遮挡分类子网络的至少一个卷积层，对所述人脸区域的所述人脸特征进行卷积处理，得到所述人脸特征对应的中间遮挡参数；
基于所述已训练的遮挡分类子网络的输出层，根据每个人脸特征的尺度对应的权重值，对多个人脸特征对应的中间遮挡参数进行加权平均，得到所述第一遮挡参数。
3.如权利要求1所述的方法，其特征在于，所述根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数，包括：
将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数；
根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框；
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数。
4.如权利要求3所述的方法，其特征在于，所述将所述多个不同尺度的融合特征输入到所述已训练的目标检测子网络中，获取所述已训练的目标检测子网络输出的至少一个检测框的位置信息和筛选参数，包括：
针对任意一个融合特征，基于所述已训练的目标检测子网络的至少一个卷积层，对所述融合特征进行卷积处理，得到所述融合特征对应的候选检测框的位置信息和筛选参数；
基于所述已训练的目标检测子网络的输出层，根据每个融合特征的尺度对应的权重值，对多个融合特征对应的候选检测框的位置信息和筛选参数进行加权平均，得到所述至少一个检测框的位置信息和筛选参数。
5.如权利要求3所述的方法，其特征在于，所述根据非极大值抑制算法，从所述至少一个检测框中筛选出目标检测框，包括：
筛选出至少一个检测框作为目标检测框；其中，筛选出的检测框包括筛选参数最大的检测框；若筛选出多个检测框，则所述多个检测框中的任意两个检测框的交并比小于预设阈值。
6.如权利要求3所述的方法，其特征在于，所述根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定用于表示所述待检测图像中人脸各部位是否遮挡的第二遮挡参数，包括：
根据所述目标检测框的位置信息以及预设的人脸部位的位置信息，确定预设的人脸部位在所述目标检测框内，则确定所述预设的人脸部位未被遮挡，否则，确定所述预设的人脸部位被遮挡；
根据确定出的预设的人脸部位是否被遮挡的遮挡结果确定所述第二遮挡参数。
7.如权利要求1所述的方法，其特征在于，根据下列方式对所述遮挡分类子网络进行训练：
将数据集中的样本图像作为所述遮挡分类子网络的输入，将所述样本图像对应的预先标注的实际遮挡参数作为输出，对所述遮挡分类子网络进行训练，通过损失函数确定所述遮挡分类子网络输出的预测遮挡参数与实际遮挡参数之间的第一损失值，根据所述第一损失值调整所述遮挡分类子网络的参数，直至所述第一损失值收敛到第一预设范围；
根据下列方式对所述目标检测框子网络进行训练：
将数据集中的样本图像作为所述目标检测框子网络的输入，将所述样本图像对应的预先标注的样本图像中至少一个人脸部位的检测框的位置信息作为输出，对所述目标检测框子网络进行训练，通过损失函数确定所述目标检测框子网络输出的预测检测框的位置信息与实际检测框的位置信息之间的第二损失值，根据所述第二损失值调整所述目标检测框子网络的参数，直至所述第二损失值收敛到第二预设范围。
8.一种人脸遮挡检测装置，其特征在于，包括：
提取模块，用于从包含人脸的待检测图像中提取出人脸区域，并获取所述人脸区域的多个不同尺度的人脸特征；
确定模块，用于根据多个人脸特征，基于已训练的遮挡分类子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第一遮挡参数；以及对所述人脸区域的多个不同尺度的人脸特征进行特征融合处理，得到多个不同尺度的融合特征；根据所述多个不同尺度的融合特征，基于已训练的目标检测框子网络，确定所述待检测图像对应的用于表示所述人脸区域中预设的人脸部位是否遮挡的第二遮挡参数；
处理模块，用于根据所述第一遮挡参数和所述第二遮挡参数进行加权处理，确定所述待检测图像对应的目标遮挡参数。
9.一种人脸遮挡检测设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1～7中任一项所述的人脸遮挡检测方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1～7中任一项所述的人脸遮挡检测方法。
CN202010647515.6A 2020-07-07 2020-07-07 一种人脸遮挡检测方法、装置、设备及存储介质 Active CN111914665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010647515.6A CN111914665B (zh) 2020-07-07 2020-07-07 一种人脸遮挡检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010647515.6A CN111914665B (zh) 2020-07-07 2020-07-07 一种人脸遮挡检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111914665A true CN111914665A (zh) 2020-11-10
CN111914665B CN111914665B (zh) 2023-06-20

Family

ID=73227578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010647515.6A Active CN111914665B (zh) 2020-07-07 2020-07-07 一种人脸遮挡检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111914665B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308045A (zh) * 2020-11-30 2021-02-02 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN112633065A (zh) * 2020-11-19 2021-04-09 特斯联科技集团有限公司 一种基于数据增强的人脸检测方法、系统、存储介质及终端
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113536886A (zh) * 2021-04-07 2021-10-22 广州晟烨信息科技股份有限公司 一种人脸采集特征提取方法、系统及存储介质
CN113936256A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 一种图像目标检测方法、装置、设备以及存储介质
CN114399813A (zh) * 2021-12-21 2022-04-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN115249281A (zh) * 2022-01-29 2022-10-28 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN110363134A (zh) * 2019-07-10 2019-10-22 电子科技大学 一种基于语义分割的人脸遮挡区定位方法
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法
CN111274947A (zh) * 2020-01-19 2020-06-12 广州广电卓识智能科技有限公司 一种多任务多线索人脸识别方法、系统及存储介质
CN111310718A (zh) * 2020-03-09 2020-06-19 成都川大科鸿新技术研究所 一种遮挡人脸图像高准确率检测对比方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347475A1 (en) * 2013-05-23 2014-11-27 Sri International Real-time object detection, tracking and occlusion reasoning
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN108805040A (zh) * 2018-05-24 2018-11-13 复旦大学 一种基于分块的有遮挡人脸识别算法
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN110363134A (zh) * 2019-07-10 2019-10-22 电子科技大学 一种基于语义分割的人脸遮挡区定位方法
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法
CN111274947A (zh) * 2020-01-19 2020-06-12 广州广电卓识智能科技有限公司 一种多任务多线索人脸识别方法、系统及存储介质
CN111310718A (zh) * 2020-03-09 2020-06-19 成都川大科鸿新技术研究所 一种遮挡人脸图像高准确率检测对比方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LI MAO ET AL.: "Face Occlusion Recognition With Deep Learning in Security Framework for the IoT", 《IEEE ACCESS》, vol. 07 *
QITING YE: "Masked Face Detection Via a Novel Framework", 《2ND INTERNATIONAL CONFERENCE ON MECHANICAL, ELECTRONIC, CONTROL AND AUTOMATION ENGINEERING(MECAE 2018)》 *
TIANPENG WU ET AL.: "Score-specific Non-maximum Suppression and Coexistence Prior for Multi-scale Face Detection", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
刘瑞钦: "基于卷积神经网络和改进LBP的部分遮挡人脸识别", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 01 *
衣帅 等: "铁路刷脸场景下基于MTCNN的人脸遮挡识别研究", 《计算机仿真》, vol. 37, no. 05 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633065A (zh) * 2020-11-19 2021-04-09 特斯联科技集团有限公司 一种基于数据增强的人脸检测方法、系统、存储介质及终端
CN112308045A (zh) * 2020-11-30 2021-02-02 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN112308045B (zh) * 2020-11-30 2023-11-24 深圳集智数字科技有限公司 一种密集人群的检测方法、装置及电子设备
CN113012176A (zh) * 2021-03-17 2021-06-22 北京百度网讯科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113012176B (zh) * 2021-03-17 2023-12-15 阿波罗智联(北京)科技有限公司 样本图像的处理方法、装置、电子设备及存储介质
CN113536886A (zh) * 2021-04-07 2021-10-22 广州晟烨信息科技股份有限公司 一种人脸采集特征提取方法、系统及存储介质
CN113936256A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 一种图像目标检测方法、装置、设备以及存储介质
CN114399813A (zh) * 2021-12-21 2022-04-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN114399813B (zh) * 2021-12-21 2023-09-26 马上消费金融股份有限公司 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN115249281A (zh) * 2022-01-29 2022-10-28 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质
CN115249281B (zh) * 2022-01-29 2023-11-24 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111914665B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
US11188783B2 (en) Reverse neural network for object re-identification
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN108805016B (zh) 一种头肩区域检测方法及装置
CN111368758B (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN108009554A (zh) 一种图像处理方法以及装置
CN109697716B (zh) 青光眼图像识别方法、设备和筛查系统
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN106570478A (zh) 视觉跟踪中的目标丢失判断方法和装置
CN113033523B (zh) 跌倒判断模型的构建方法及系统、跌倒判断方法及系统
CN109583364A (zh) 图像识别方法及设备
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN112417955A (zh) 巡检视频流处理方法及装置
CN113705294A (zh) 一种基于人工智能的图像识别方法、装置
CN112507981B (zh) 模型生成方法、虹膜图像质量评估方法及电子设备
CN110837760A (zh) 目标检测方法、用于目标检测的训练方法和装置
CN112991343A (zh) 眼底图像黄斑区域的识别检测方法和装置及设备
CN111652145A (zh) 一种公式检测的方法、装置、电子设备和存储介质
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN114842205B (zh) 车损检测方法、装置、设备及存储介质
CN117035125B (zh) 一种分布式人工智能模型的决策系统、方法及装置
CN118095971B (zh) 一种ad钙奶饮料加工工艺评估方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant