CN111598046A - 人脸遮挡检测方法及人脸遮挡检测装置 - Google Patents

人脸遮挡检测方法及人脸遮挡检测装置 Download PDF

Info

Publication number
CN111598046A
CN111598046A CN202010465166.6A CN202010465166A CN111598046A CN 111598046 A CN111598046 A CN 111598046A CN 202010465166 A CN202010465166 A CN 202010465166A CN 111598046 A CN111598046 A CN 111598046A
Authority
CN
China
Prior art keywords
face
shielding
occlusion
data set
mafa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010465166.6A
Other languages
English (en)
Inventor
翟新刚
张楠赓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canaan Bright Sight Co Ltd
Original Assignee
Canaan Creative Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canaan Creative Co Ltd filed Critical Canaan Creative Co Ltd
Priority to CN202010465166.6A priority Critical patent/CN111598046A/zh
Publication of CN111598046A publication Critical patent/CN111598046A/zh
Priority to PCT/CN2020/132312 priority patent/WO2021238125A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸遮挡检测方法及人脸遮挡检测装置，其中，所述人脸遮挡检测方法包括：利用WiderFace数据集和MAFA数据集获取训练数据；利用获取的所述训练数据对人脸遮挡检测网络进行训练；以及利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。本发明提高了人脸遮挡检测网络模型的鲁棒性，有利于准确的进行人脸遮挡检测。

Description

人脸遮挡检测方法及人脸遮挡检测装置
技术领域
本发明涉及人工智能技术领域，特别涉及一种人脸遮挡检测方法及人脸遮挡检测装置。
背景技术
目前，随着对抗新冠疫情的战役正式打响，越来越多的科技行业及人工智能领域的从业者也在贡献着他们的力量。佩戴口罩对于疫情控制起到了关键的作用，由此监督每个人佩戴口罩成为抗疫的重要管理工作之一，然而人力监督工作量大、成本较高、难以保证监督的质量。
现有提出智能化的人脸遮挡检测方案，但是其通常采用自采数据集、手动打标进行口罩检测的训练。一方面自采数据集质量参差不齐影响检测效果，具体的，自采数据集往往通过戴口罩或者不戴口罩等等关键字在网络上爬虫得到，这样图片中的人脸质量不一，口罩类型也不确定，有时甚至会出现遮挡类型不明确的问题，最终导致训练出来的网络模型不准确，影响检测效果。另一方面，手动打标不规范影响检测效果，具体的，手动打标受限于打标经验，在没有严格的打标经验的情况下，手动打标人脸数据时，会出现随意打标，最终导致训练出来的网络模型鲁棒性不强，影响检测效果。
发明内容
(一)要解决的技术问题
鉴于上述问题，本发明的主要目的在于提供一种人脸遮挡检测方法及人脸遮挡检测装置，以期至少部分地解决上述提及的技术问题中的至少之一。(二)技术方案
根据本发明的一个方面，提供了一种人脸遮挡检测方法，包括：
利用WiderFace数据集和MAFA数据集获取训练数据；
利用获取的所述训练数据对人脸遮挡检测网络进行训练；以及
利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
进一步的，利用WiderFace数据集和MAFA数据集获取训练数据，包括：
利用WiderFace数据集获取无遮挡的人脸训练数据；
利用MAFA数据集获取有遮挡的人脸训练数据。
进一步的，利用MAFA数据集获取有遮挡的人脸训练数据，包括：
利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据。
进一步的，利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据，包括：
利用所述MAFA数据集通过人脸框获取有遮挡的人脸数据；
利用所述MAFA数据集通过遮挡框及其类型获取口罩遮挡和人体遮挡的人脸训练数据。
进一步的，在利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测之前，还包括：获取待检测人脸数据。
进一步的，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测，还包括：
将获取的所述待检测人脸数据输入至所述训练后的所述人脸遮挡检测网络；
利用所述训练后的所述人脸遮挡检测网络进行检测，确定所述待检测人脸是否存在遮挡。
进一步的，若确定所述待检测人脸存在遮挡，则还包括确定遮挡类型。
进一步的，所述遮挡类型为口罩遮挡和人体遮挡。
根据本发明的一个方面，提供了一种人脸遮挡检测装置，包括：
获取模块，用于利用WiderFace数据集和MAFA数据集获取训练数据；
训练模块，用于利用获取的所述训练数据对人脸遮挡检测网络进行训练；
以及检测模块，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
进一步的，所述获取模块用于利用WiderFace数据集获取无遮挡的人脸训练数据以及利用MAFA数据集获取有遮挡的人脸训练数据。
(三)有益效果
从上述技术方案可以看出，本发明一种人脸遮挡检测方法及人脸遮挡检测装置至少具有以下有益效果其中之一：
(1)本发明选用公开数据集Widerface和MAFA训练出来的人脸遮挡检测网络模型鲁棒性较强。
(2)本发明利用所述MAFA数据集通过人脸框获取有遮挡的人脸数据；利用所述MAFA数据集通过遮挡框及其类型获取口罩遮挡和人体遮挡的人脸训练数据，操作简单，使用方便，提高了训练数据的质量，有利于准确的进行人脸遮挡检测。
(3)本发明不仅可以检测人脸是否有遮挡，而且可以准确区分遮挡类型，提高了佩戴口罩监测的有效性。
(4)本发明可以较好的满足不同的防控级别，安全等级需求，在防控级别要求较高时对人脸遮挡的类型进行检测，监控人脸口罩遮挡情况，在防控级别要求稍低时仅对人脸是否有遮挡进行检测即可，应用范围更广，实用性更强。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明人脸遮挡检测方法流程图。
图2为本发明人脸遮挡检测方法另一流程图。
图3为本发明人脸遮挡检测方法又一流程图。
图4为本发明人脸遮挡检测方法再一流程图。
图5为本发明人脸遮挡检测装置方框图。
图6为本发明获取模块方框图。
图7为本发明实施例遮挡类型图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明提出一种人脸遮挡检测方法，如图1所示，所述人脸遮挡检测方法包括：
利用WiderFace数据集和MAFA(MAsked Face)数据集获取训练数据；
利用获取的所述训练数据对人脸遮挡检测网络进行训练；以及
利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
本发明人脸遮挡检测，即对人体面部的遮挡情况进行检测，包括但不限于人体面部是否存在遮挡的检测、人体面部遮挡类型(口罩遮挡类型、人体遮挡类型(如手捂住面部的某个部位)等)等。相应的，人脸遮挡检测网络，即对人体面部的遮挡情况进行检测的网络，可以是现有的人脸检测网络经训练之后用于人脸遮挡检测，包括但不限于Mobilenet。相较于现有的采用自采数据集，通过网络上爬虫得到训练数据，本发明人脸遮挡检测方法利用WiderFace数据集和MAFA数据集获取训练数据，提高了人脸遮挡检测网络模型训练数据的质量，能够有效避免由于自采数据集质量参差不齐影响人脸遮挡检测效果。
具体的，如图2所示，利用WiderFace数据集和MAFA数据集获取训练数据，包括：
利用WiderFace数据集获取无遮挡的人脸训练数据；以及
利用MAFA数据集获取有遮挡的人脸训练数据。
本发明利用WiderFace数据集获取无遮挡的人脸训练数据，同时利用MAFA数据集获取有遮挡的人脸训练数据，由此训练得到人脸遮挡检测网络模型具有较强的鲁棒性。
更具体而言，利用MAFA数据集获取有遮挡的人脸训练数据，包括：利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据。
如图3所示，利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据，包括：
利用所述MAFA数据集通过人脸框获取有遮挡的人脸数据；
利用所述MAFA数据集通过遮挡框及其类型获取口罩遮挡和人体遮挡的人脸训练数据。
本发明利用所述MAFA数据集通过人脸框获取有遮挡的人脸数据，利用所述MAFA数据集通过遮挡框及其类型获取口罩遮挡和人体遮挡的人脸训练数据，操作简单，使用方便，提高了训练数据的质量，有利于准确的进行人脸遮挡检测。
其中，利用获取的所述训练数据对人脸遮挡检测网络进行训练，具体可采用现有的训练方式，本发明对此不作限制。
此外，在利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测之前，还包括：获取待检测人脸数据。相应的，如图4所示，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测，还包括：
将获取的所述待检测人脸数据输入至所述训练后的所述人脸遮挡检测网络；
利用所述训练后的所述人脸遮挡检测网络进行检测，确定所述待检测人脸是否存在遮挡。若确定所述待检测人脸存在遮挡，则所述人脸遮挡检测方法还进一步包括确定遮挡类型。其中，所述遮挡类型为口罩遮挡和人体遮挡。
由此，本发明不仅可以检测人脸是否有遮挡，而且可以准确区分遮挡类型。通常，相较于人体遮挡，口罩遮挡的防护性更强，因此在防控级别要求较高时(例如人员较多的商场、电梯、电影院等场所)，采用本发明方法对人脸遮挡的类型进行检测，可以监控人脸口罩遮挡情况，对非口罩遮挡的人群进行甄别从而禁止其进入上述场所，由此可以有效的保障安全。而在防控级别要求稍低时，采用本发明方法仅对人脸是否有遮挡进行检测即可。本发明可以较好的满足不同的防控级别及安全等级需求，应用范围更广，实用性更强。
本发明还提出一种人脸遮挡检测装置，如图5所示，所述人脸遮挡检测装置包括：
获取模块，用于利用WiderFace数据集和MAFA数据集获取训练数据；
训练模块，用于利用获取的所述训练数据对人脸遮挡检测网络进行训练；
以及检测模块，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
本发明人脸遮挡检测装置利用WiderFace数据集和MAFA数据集获取训练数据，提高了人脸遮挡检测网络模型训练数据的质量，能够有效避免由于自采数据集质量参差不齐影响人脸遮挡检测效果。
具体的，所述获取模块用于利用WiderFace数据集获取无遮挡的人脸训练数据以及利用MAFA数据集获取有遮挡的人脸训练数据。更具体而言，如图6所示，所述获取模块包括第一获取单元和第二获取单元，所述第一获取单元用于利用WiderFace数据集获取无遮挡的人脸训练数据，所述第二获取单元用于利用MAFA数据集获取有遮挡的人脸训练数据。
所述检测模块利用所述训练后的所述人脸遮挡检测网络进行检测，确定所述待检测人脸是否存在遮挡。若确定所述待检测人脸存在遮挡，则所述人脸遮挡检测方法还包括确定遮挡类型。其中，所述遮挡类型为口罩遮挡和人体遮挡。
此外，本发明人脸遮挡检测装置还可进一步包括报警模块，在所述检测模块检测到人脸无口罩遮挡时进行报警。
下面结合附图详细介绍本发明实施例。
本实施例的目的在于提出一种有较强鲁棒性的人脸遮挡检测方法，不仅可以检测无遮挡的人脸和有遮挡的人脸，还可以区分遮挡类型，例如是口罩遮挡还是人体遮挡。所述人脸遮挡检测方法主要包括数据集的选取也即训练数据的确定、人脸遮挡检测网络模型训练及人脸遮挡检测，详细流程如下：
一、数据集的选取
为提高鲁棒性以及提升检测未戴口罩人脸和有遮挡人脸的能力，本实施例分别选取WiderFace数据集和MAFA数据集作为基础数据集并进行清洗。
1、清洗WiderFace数据集
所述WiderFace数据集打标信息包括：
Attached the mappings between attribute names and label values.
blur：
clear-＞0
normal blur-＞1
heavy blur-＞2
expression：
typical expression-＞0
exaggerate expression-＞1
illumination：
normal illumination-＞0
extreme illumination-＞1
occlusion：
no occlusion-＞0
partial occlusion-＞1
heavy occlusion-＞2
pose：
typical pose-＞0
a typical pose-＞1
invalid：
false-＞0(valid image)
true-＞0(invalid image)
the format of txt ground truth.
File name
Number of bounding box
x1，y1，w，h，blur，expression，illumination，invalid，occlusion，pose
其中，上述信息包括文件名，图片中人脸的数量，以及人脸信息的参数。
具体的，x1，y1，w，h，表示人脸框的位置(检测算法一般都要画个框框把人脸圈出来)；
blur：模糊度，分为三档：0，表示清晰；1，表示一般；2，表示难以区分；
express：表达；
illumination：曝光，分正常和过曝；
occlusion：遮挡，分为三档：0，表示无遮挡；1，表示小遮挡；2，表示大遮挡；
invalid：不确定；
pose：姿态，分为典型和非典型姿态。
本实施例只需选择遮挡为0、人脸大小在(32*32)以上的图片作为未戴口罩人脸数据。利用WiderFace数据集获取无遮挡的人脸训练数据。
2、清洗MAFA数据集
所述MAFA数据集打标信息包括：
MAFA training set
1)images folder puts the 25876image files；
2)the label is stored in label Train all.mat，
3)the fomat is stored in 18d array(x，y，w，h，x1，yl，x2，y2，x3，y3，w3，h3，occ_type，occ_degree，gender，race，orientation，x4，y4，w4，h4)，where
(a)(x，y，w，h)is the bounding box of aface，
(b)(x1，y1，x2，y2)is the position of two eyes.
(c)(x3，y3，w3，h3)is the bouding boxof occlude.Note that(x3，y3)isrelated to the face bounding box
(d)Occ_type stands for the occluder type and has：1 for simple，2forcomplex and 3 for human body.
(e)Occ_degree stands for the number of occluded face parts
(f)Gender and race for the gender and race of one face
(g)Orientation stands for the face orientation/pose，and has：1-left，2-left frontal，3-frontal，4-right frontal，5-right
(h)(x4，y4，w4，h4)is the bounding box of the glasses and is set to(-1，-1，-1，-1)when no glasses.
Note that(x4，y4)is related to the face bounding box position(x，y)
MAFA包括人脸框、遮挡框、眼镜框。本实施例只需选用人脸框、遮挡框即可。其中，如图7所示，所述遮挡框的类型分为Simple、Complex和Human body三类。
经分析，Simple类型中大部分为口罩遮挡，而Complex中既有口罩遮挡也有其他遮挡，Human body类型中大部分为人体遮挡，因此选择MAFA数据集中的Simple类型作为口罩遮挡数据集，而Human body类型作为人体遮挡数据集。利用MAFA数据集获取有遮挡的人脸训练数据，具体也即利用MAFA数据集的遮挡框的类型Simple和Human body获取口罩遮挡和人体遮挡的人脸训练数据。
二、人脸遮挡检测网络模型训练
将没有遮挡的人脸类别设置为0，有遮挡的人脸类别设置为1，口罩遮挡类别设置为2，人体遮挡类别设置为3，利用0.25Mobilenet-YOLO模型进行人脸遮挡检测，将目标检测和分类包在一个模型中，并且同时训练，其损失函数如下：
Figure BDA0002510930340000091
式中，
Figure BDA0002510930340000092
为打标的真值xi，yi，hi，ci，pi(c)为预测值，x，y，w，h为预测框，c为置信度，p为每一类别的预测概率，λ为损失的加权值，B为边框(Bounding box)的个数，S为当前层特征图(featuremap)的长宽。
在模型网络及参数设定之后，利用所述选取的数据集进行人脸遮挡检测网络训练。当然，本发明人脸遮挡检测网络及损失函数并不仅限于此，本领域技术人员可以根据需要适当调整。
三、人脸遮挡检测
利用训练好的所述人脸遮挡检测网络进行人脸遮挡检测。具体的，将待检测人脸数据输入至所述训练后的所述人脸遮挡检测网络；利用所述训练好的所述人脸遮挡检测网络进行检测，确定所述待检测人脸是否存在遮挡。若确定所述待检测人脸存在遮挡，则还包括确定遮挡类型。所述遮挡类型为口罩遮挡和人体遮挡。
本实施例提高了人脸遮挡检测网络模型的鲁棒性，有利于准确的进行人脸遮挡检测，而且不仅可以检测未戴口罩人脸和有遮挡的人脸，还可以区分遮挡类型。
至此，已经结合附图对本发明进行了详细描述。依据以上描述，本领域技术人员应当对本发明有了清楚的认识。
本发明人脸遮挡检测方案具有良好的应用前景，在防疫的关键阶段可发挥重要的作用。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
当然，根据实际需要，本发明还可以包含其他的部分，由于同本发明的创新之处无关，此处不再赘述。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
再者，说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意含及代表该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能作出清楚区分。
此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。
虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本发明的限制。
虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸遮挡检测方法，其特征在于，包括：
利用WiderFace数据集和MAFA数据集获取训练数据；
利用获取的所述训练数据对人脸遮挡检测网络进行训练；以及
利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
2.根据权利要求1所述的人脸遮挡检测方法，其特征在于，利用WiderFace数据集和MAFA数据集获取训练数据，包括：
利用WiderFace数据集获取无遮挡的人脸训练数据；
利用MAFA数据集获取有遮挡的人脸训练数据。
3.根据权利要求2所述的人脸遮挡检测方法，其特征在于，利用MAFA数据集获取有遮挡的人脸训练数据，包括：
利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据。
4.根据权利要求3所述的人脸遮挡检测方法，其特征在于，利用MAFA数据集通过人脸框和遮挡框获取有遮挡的人脸训练数据，包括：
利用所述MAFA数据集通过人脸框获取有遮挡的人脸数据；
利用所述MAFA数据集通过遮挡框及其类型获取口罩遮挡和人体遮挡的人脸训练数据。
5.根据权利要求1所述的人脸遮挡检测方法，其特征在于，在利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测之前，还包括：获取待检测人脸数据。
6.根据权利要求5所述的人脸遮挡检测方法，其特征在于，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测，还包括：
将获取的所述待检测人脸数据输入至所述训练后的所述人脸遮挡检测网络；
利用所述训练后的所述人脸遮挡检测网络进行检测，确定所述待检测人脸是否存在遮挡。
7.根据权利要求6所述的人脸遮挡检测方法，其特征在于，若确定所述待检测人脸存在遮挡，则还包括确定遮挡类型。
8.根据权利要求7所述的人脸遮挡检测方法，其特征在于，所述遮挡类型为口罩遮挡和人体遮挡。
9.一种人脸遮挡检测装置，其特征在于，包括：
获取模块，用于利用WiderFace数据集和MAFA数据集获取训练数据；
训练模块，用于利用获取的所述训练数据对人脸遮挡检测网络进行训练；
以及检测模块，利用训练后的所述人脸遮挡检测网络进行人脸遮挡检测。
10.根据权利要求9所述的人脸遮挡检测装置，其特征在于，所述获取模块用于利用WiderFace数据集获取无遮挡的人脸训练数据以及利用MAFA数据集获取有遮挡的人脸训练数据。
CN202010465166.6A 2020-05-27 2020-05-27 人脸遮挡检测方法及人脸遮挡检测装置 Pending CN111598046A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010465166.6A CN111598046A (zh) 2020-05-27 2020-05-27 人脸遮挡检测方法及人脸遮挡检测装置
PCT/CN2020/132312 WO2021238125A1 (zh) 2020-05-27 2020-11-27 人脸遮挡检测方法及人脸遮挡检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465166.6A CN111598046A (zh) 2020-05-27 2020-05-27 人脸遮挡检测方法及人脸遮挡检测装置

Publications (1)

Publication Number Publication Date
CN111598046A true CN111598046A (zh) 2020-08-28

Family

ID=72189399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465166.6A Pending CN111598046A (zh) 2020-05-27 2020-05-27 人脸遮挡检测方法及人脸遮挡检测装置

Country Status (2)

Country Link
CN (1) CN111598046A (zh)
WO (1) WO2021238125A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238125A1 (zh) * 2020-05-27 2021-12-02 嘉楠明芯(北京)科技有限公司 人脸遮挡检测方法及人脸遮挡检测装置
CN116524573A (zh) * 2023-05-19 2023-08-01 北京弘治锐龙教育科技有限公司 异常物品与口罩检测系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663966B (zh) * 2022-05-25 2023-06-16 深圳市博德致远生物技术有限公司 基于人工智能的信息采集管理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107909065A (zh) * 2017-12-29 2018-04-13 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
US20190114467A1 (en) * 2016-08-31 2019-04-18 Tencent Technology (Shenzhen) Company Limited Human face authentication method and apparatus, and storage medium
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332312B2 (en) * 2016-12-25 2019-06-25 Facebook, Inc. Shape prediction model compression for face alignment
CN111598046A (zh) * 2020-05-27 2020-08-28 北京嘉楠捷思信息技术有限公司 人脸遮挡检测方法及人脸遮挡检测装置
CN111832465B (zh) * 2020-07-08 2022-03-29 星宏集群有限公司 基于MobileNetV3的实时人头分类检测方法
CN112232205B (zh) * 2020-10-16 2022-05-27 中科智云科技有限公司 移动端cpu实时多功能人脸检测方法
CN112232204B (zh) * 2020-10-16 2022-07-19 中科智云科技有限公司 基于红外图像的活体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190114467A1 (en) * 2016-08-31 2019-04-18 Tencent Technology (Shenzhen) Company Limited Human face authentication method and apparatus, and storage medium
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107909065A (zh) * 2017-12-29 2018-04-13 百度在线网络技术（北京）有限公司 用于检测人脸遮挡的方法及装置
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSDN 风度78: "开源！人脸口罩检测数据+模型+代码+在线网页体验", 《HTTPS://BLOG.CSDN.NET/FENGDU78/ARTICLE/DETAILS/104489299/》 *
搜狐网 AI研习社: "口罩佩戴识别挑战赛上线：5000 元奖金，邀你加入疫情攻防战！", 《HTTPS://WWW.SOHU.COM/A/377238489_717210》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238125A1 (zh) * 2020-05-27 2021-12-02 嘉楠明芯(北京)科技有限公司 人脸遮挡检测方法及人脸遮挡检测装置
CN116524573A (zh) * 2023-05-19 2023-08-01 北京弘治锐龙教育科技有限公司 异常物品与口罩检测系统

Also Published As

Publication number Publication date
WO2021238125A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
US11790637B2 (en) Method for estimating blood component quantities in surgical textiles
US11419569B2 (en) Image quality compliance tool
CN111598046A (zh) 人脸遮挡检测方法及人脸遮挡检测装置
EP3674852B1 (en) Method and apparatus with gaze estimation
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
JP5712774B2 (ja) 物体検知方法及び装置
US9818029B2 (en) Apparatus and method for computer aided diagnosis (CAD) based on eye movement
TW202008163A (zh) 醫療影像處理方法及裝置、電子設備及儲存介質
Ghose et al. UbiHeld: ubiquitous healthcare monitoring system for elderly and chronic patients
US10296810B2 (en) Apparatus and method for determining lesion similarity of medical image
JP2018000926A (ja) 動態解析システム
Huang et al. A depth-first search algorithm based otoscope application for real-time otitis media image interpretation
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
CN111811667A (zh) 温度检测方法、装置、电子设备及可读存储介质
Gilroy et al. An objective method for pedestrian occlusion level classification
CN115984206A (zh) 图像分类方法、装置和电子设备
Yassine et al. Fully automated lung segmentation from chest radiographs using SLICO superpixels
KR101592110B1 (ko) 눈 모양 분류 장치 및 방법
JP2003310587A (ja) 異常陰影の検出結果表示装置
Hwang et al. A Method for Detecting Non-Mask Wearers Based on Regression Analysis
Solomon et al. Development of local complexity metrics to quantify the effect of anatomical noise on detectability of lung nodules in chest CT imaging
Henderson et al. Meaning guides attention in real-world scene images: Evidence from eye
Xie et al. Metal implant segmentation in CT images based on diffusion model
Joy Christy et al. Analysis of High-Resolution CT Images of COVID-19 Patients
Ponnaiah et al. Detection of optic disc and hard exudates using twin plane gradient windowing technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201124

Address after: Room 206, 2 / F, building C, phase I, Zhongguancun Software Park, No. 8, Dongbei Wangxi Road, Haidian District, Beijing 100094

Applicant after: Canaan Bright Sight Co.,Ltd.

Address before: 100094 Zhongguancun Software Park Phase I Building C Block 101, 8 Wangxi Road, Haidian District, Beijing

Applicant before: Canaan Creative Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828

RJ01 Rejection of invention patent application after publication