CN111444887A - 口罩佩戴的检测方法、装置、存储介质及电子设备 - Google Patents

口罩佩戴的检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111444887A
CN111444887A CN202010360828.3A CN202010360828A CN111444887A CN 111444887 A CN111444887 A CN 111444887A CN 202010360828 A CN202010360828 A CN 202010360828A CN 111444887 A CN111444887 A CN 111444887A
Authority
CN
China
Prior art keywords
nose
mask
model
detection model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010360828.3A
Other languages
English (en)
Inventor
邓博洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Missfresh Ecommerce Co Ltd
Original Assignee
Beijing Missfresh Ecommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Missfresh Ecommerce Co Ltd filed Critical Beijing Missfresh Ecommerce Co Ltd
Priority to CN202010360828.3A priority Critical patent/CN111444887A/zh
Publication of CN111444887A publication Critical patent/CN111444887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种口罩佩戴的检测方法、装置、存储介质及电子设备，属于安全防护领域。所述方法包括：获取待检测的人脸图像；基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。本申请能够快速、简便且高精度地进行用户是否佩戴口罩的检测。

Description

口罩佩戴的检测方法、装置、存储介质及电子设备
技术领域
本申请涉及安全防护领域，特别涉及一种口罩佩戴的检测方法、装置、存储介质及电子设备。
背景技术
口罩是一种卫生用品，一般是指佩戴在口鼻部位用于过滤进入口鼻的空气，以达到阻挡有害的气体、气味、飞沫进出佩戴者口鼻的用具。换言之，口罩对进入肺部的空气有一定的过滤作用，在呼吸道传染病流行时或在粉尘等污染环境下作业时，佩戴口罩能够起到非常大的安全防护作用。
举例来说，在呼吸道传染病流行时，外出佩戴口罩能够有效地阻止病毒传播。为此，在许多场合下官方明确且严格要求用户佩戴口罩。相关技术中，通常采取人工审核的方式来检测用户是否佩戴了口罩，该种检测方式不但耗时耗力，而且还可能存在漏检。为此，时下亟需一种快速、易操作且检测精度高的检测方案。
发明内容
本申请实施例提供了一种口罩佩戴的检测方法、装置、存储介质及电子设备，能够快速、简便且高精度地进行用户是否佩戴口罩的检测。所述技术方案如下：
一方面，提供了一种口罩佩戴的检测方法，所述方法包括：
获取待检测的人脸图像；
基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；
基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；
基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；
所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。
在一种可能的实现方式中，所述基于得到的口鼻区域检测结果确定用户的口罩佩戴状态，包括：
响应于所述嘴巴检测模型检测到未被口罩遮挡的嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
在一种可能的实现方式中，所述基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，包括：
基于所述第一鼻子检测模型和所述第二鼻子检测模型，在多尺度下对所述人脸区域进行鼻子区域检测；
将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
在一种可能的实现方式中，所述人脸识别模型的训练过程包括：
获取第一训练样本集和目标训练参数，所述第一训练样本集中包括样本人脸图像和与所述样本人脸图像匹配的人脸区域标定结果；
根据所述目标训练参数，以所述样本人脸图像作为初始深度学习模型的输入，以与所述样本人脸图像匹配的人脸区域标定结果作为所述初始深度学习模型的输出，对所述初始深度学习模型进行训练，得到所述人脸识别模型；
其中，所述目标训练参数为目标迭代次数或目标检测准确度。
在一种可能的实现方式中，所述第一鼻子检测模型和所述第二鼻子检测模型均为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
在一种可能的实现方式中，所述第一鼻子检测模型的训练过程包括：
获取第二训练样本集，所述第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；
对所述第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第一鼻子检测模型。
在一种可能的实现方式中，所述第二鼻子检测模型的训练过程包括：
获取第三训练样本集，所述第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；
对所述第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第二鼻子检测模型。
在一种可能的实现方式中，所述方法还包括：
响应于检测到的口罩佩戴状态为未佩戴口罩，输出第一提示信息；
响应于检测到的口罩佩戴状态为口罩佩戴不合格，输出第二提示信息。
在一种可能的实现方式中，所述嘴巴检测模型为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
其中，所述嘴巴检测模型的训练过程包括：
获取第四训练样本集，所述第四训练样本集中包括嘴巴未被口罩遮挡的样本人脸图像；
对所述第四训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述嘴巴检测模型。
示例性地，一个Adaboost分类器(强分类器)的生成需要T轮的迭代过程，包括但不限于如下：
a、给定训练样本集；T为训练的最大循环次数；
b、初始化样本权重，将所有样本的权重设置为相同；
c、第一次迭代训练N个样本，得到第一个最优弱分类器；
d、计算该分类器的错误率，根据错误率计算要给该分类器分配的权重；提高上一轮中被误判的样本的权重，降低上一轮中分对的样本的权重；
其中，错误率的计算公式可以为：
Figure BDA0002475019460000041
分类器权重的计算公式可以为：
Figure BDA0002475019460000042
示例性地，被误判的样本的权重的更新公式可以为：
Figure BDA0002475019460000043
示例性地，分对的样本的权重更新公式可以为：
Figure BDA0002475019460000044
其中，t指代当前的分类器，i指代第i个样本。
e、将新的样本和上一轮中分错的样本放在一起进行新一轮的训练。
f、循环执行d-e步骤，T轮后得到T个最优弱分类器。
g、组合T个最优弱分类器得到一个强分类器；针对该步骤，可以将所有弱分类器根据相应的分类器权重进行加权求和，得到分类结果。
在一种可能的实现方式中，所述基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，可以包括：
针对嘴巴检测模型，获取该嘴巴检测模型包含的每个Adaboost分类器输出的检测概率值，所述检测概率值用于指示是否检测到嘴巴；根据上述每个Adaboost分类器输出的检测概率值获取总检测概率值；若总检测概率值大于第一阈值，则确定该嘴巴检测模型检测到未被口罩遮挡的嘴巴；若总检测概率值小于第一阈值，则确定该嘴巴检测模型未检测到嘴巴。
针对第一鼻子检测模型，获取第一鼻子检测模型包含的每个Adaboost分类器输出的检测概率值，所述检测概率值用于指示是否检测到鼻子；根据上述每个Adaboost分类器输出的检测概率值获取总检测概率值；若总检测概率值大于第二阈值，则确定第一鼻子检测模型检测到未被口罩遮挡的鼻子；若总检测概率值小于第二阈值，则确定第一鼻子检测模型未检测到未被口罩遮挡的鼻子。
针对第二鼻子检测模型，获取第二鼻子检测模型包含的每个Adaboost分类器输出的检测概率值，所述检测概率值用于指示是否检测到鼻子；根据上述每个Adaboost分类器输出的检测概率值获取总检测概率值；若总检测概率值大于第三阈值，则确定第二鼻子检测模型检测到被口罩遮挡的鼻子；若总检测概率值小于第三阈值，则确定第二鼻子检测模型未检测到被口罩遮挡的鼻子。
示例性地，上述获取总检测概率值的方式可以为：计算上述每个Adaboost分类器输出的检测概率值的平均值。另外，上述第一阈值、第二阈值和第三阈值的大小既可为相同，也可以不同，本申请实施例对此不进行具体限定。
另一方面，提供了一种口罩佩戴的检测装置，所述装置包括：
获取模块，被配置为获取待检测的人脸图像；
第一检测模块，被配置为基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；
第二检测模块，被配置为基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；
第三检测模块，被配置为基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；
所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。
在一种可能的实现方式中，所述第三检测模块，还被配置为响应于所述嘴巴检测模型检测到未被口罩遮挡的嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
在一种可能的实现方式中，所述第三检测模块，还被配置为基于所述第一鼻子检测模型和所述第二鼻子检测模型，在多尺度下对所述人脸区域进行鼻子区域检测；将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
在一种可能的实现方式中，所述装置还包括：
第一训练模块，被配置为获取第一训练样本集和目标训练参数，所述第一训练样本集中包括样本人脸图像和与所述样本人脸图像匹配的人脸区域标定结果；根据所述目标训练参数，以所述样本人脸图像作为初始深度学习模型的输入，以与所述样本人脸图像匹配的人脸区域标定结果作为所述初始深度学习模型的输出，对所述初始深度学习模型进行训练，得到所述人脸识别模型；
其中，所述目标训练参数为目标迭代次数或目标检测准确度。
在一种可能的实现方式中，所述第一鼻子检测模型和所述第二鼻子检测模型均为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
在一种可能的实现方式中，所述装置还包括：
第二训练模块，被配置为获取第二训练样本集，所述第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；对所述第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第一鼻子检测模型。
在一种可能的实现方式中，所述装置还包括：
第三训练模块，被配置为获取第三训练样本集，所述第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；对所述第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第二鼻子检测模型。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面所述的口罩佩戴的检测方法。
另一方面，提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的口罩佩戴的检测方法。
本申请实施例提供的技术方案带来的有益效果是：
在获取到待检测的人脸图像后，本申请实施例采用基于深度学习的人脸识别模型精准地在人脸图像中检测人脸区域；之后，在已知人脸的情况下，利用人脸子区域检测模型来区分嘴巴和鼻子等人脸子区域，以此来判断用户是否佩戴口罩。其中，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。该种结合深度学习技术检测人脸、以及结合人脸子区域匹配技术检测是否佩戴口罩的方案，能够快速、简便且高精度地进行用户是否佩戴口罩的检测，效果较佳。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种口罩佩戴的检测方法涉及的实施环境的示意图；
图2是本申请实施例提供的一种口罩佩戴的检测方法的流程图；
图3是本申请实施例提供的一种口罩佩戴的检测方法的流程图；
图4是本申请实施例提供的一种口罩佩戴检测的示意图；
图5是本申请实施例提供的一种口罩佩戴的检测装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例涉及到的一些名词术语进行介绍。
Haar-like特征：也称Haar特征或哈尔特征。
其中，Haar特征很简单，分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。该特征模板内有白色和黑色两种矩形，并定义该特征模板的特征值为白色矩形像素和减去黑色矩形像素和。
Haar特征基础性很强，能够反映图像区域性灰度变化情况。例如，脸部的一些特征能由矩形特征简单的进行描述，比如通常眼睛要比脸颊颜色深，鼻梁两侧要比鼻梁颜色深，即鼻梁通常比鼻梁两侧更明亮，嘴巴要比周围颜色深等。
下面对本申请实施例提供的口罩佩戴的检测方案的实施环境进行介绍。
参见图1，该实施环境包括电子设备101和用户102，电子设备101用于执行本申请实施例提供的口罩佩戴的检测方法。
在本申请实施例中，电子设备101的类型通常为移动式终端。作为一个示例，移动式终端包括但不限于：智能手机、平板电脑、笔记本电脑、电子阅读器、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器等。
在一种可能的实现方式中，电子设备101在获取到待检测的人脸图像后，还可将待检测的人脸图像上传至服务器，由服务器执行本申请实施例提供的口罩佩戴的检测方法，本申请实施例对此不进行具体限定。
示例性地，本申请实施例提供的口罩佩戴的检测方法的应用场景包括但不限于如下：
场景1、在呼吸道传染病流行时，疫情的防控尤为重要，官方明确要求居家隔离，必须的外出严格要求佩戴口罩，这样能够有效阻止病毒的传播。而在居家隔离时线上订购蔬菜、肉蛋、水果的需求会大幅度上升，并由配送员负责配送到家。对于配送员，严格要求佩戴口罩，为了管理配送员是否严格执行了这条要求，可以采取本申请实施例提供的口罩佩戴的检测方法。
场景2、除了上述配送员进行配送的场景之外，本申请实施例提供的口罩佩戴的检测方法还可应用在其他多种场景下。比如，在诸如车站、商场、医院、学校、电影院、网吧、图书馆或景区等人流密集场合，可以采取本申请实施例提供的口罩佩戴的检测方法来自动检测相关人员是否佩戴了口罩，本申请实施例对此不进行具体限定。
下面通过以下实施方式对本申请实施例提供的口罩佩戴的检测方案进行详细解释说明。
图2是本申请实施例提供的一种口罩佩戴的检测方法的流程图，该方法的执行主体为图1所示的电子设备，本申请实施例提供的方法流程包括：
201、获取待检测的人脸图像。
202、基于人脸识别模型在人脸图像中检测人脸区域，该人脸识别模型为深度学习模型。
203、基于人脸子区域检测模型对人脸区域进行口鼻区域检测，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；其中，嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。
204、基于得到的口鼻区域检测结果确定用户的口罩佩戴状态。
本申请实施例提供的方法，在获取到待检测的人脸图像后，本申请实施例采用基于深度学习的人脸识别模型精准地在人脸图像中检测人脸区域；之后，在已知人脸的情况下，利用人脸子区域检测模型来区分嘴巴和鼻子等人脸子区域，以此来判断用户是否佩戴口罩。其中，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。该种结合深度学习技术检测人脸、以及结合人脸子区域匹配技术检测是否佩戴口罩的方案，能够快速、简便且高精度地进行用户是否佩戴口罩的检测，效果较佳。
在一种可能的实现方式中，所述基于得到的口鼻区域检测结果确定用户的口罩佩戴状态，包括：
响应于所述嘴巴检测模型检测到未被口罩遮挡的嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
在一种可能的实现方式中，所述基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，包括：
基于所述第一鼻子检测模型和所述第二鼻子检测模型，在多尺度下对所述人脸区域进行鼻子区域检测；
将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
在一种可能的实现方式中，所述人脸识别模型的训练过程包括：
获取第一训练样本集和目标训练参数，所述第一训练样本集中包括样本人脸图像和与所述样本人脸图像匹配的人脸区域标定结果；
根据所述目标训练参数，以所述样本人脸图像作为初始深度学习模型的输入，以与所述样本人脸图像匹配的人脸区域标定结果作为所述初始深度学习模型的输出，对所述初始深度学习模型进行训练，得到所述人脸识别模型；
其中，所述目标训练参数为目标迭代次数或目标检测准确度。
在一种可能的实现方式中，所述第一鼻子检测模型和所述第二鼻子检测模型均为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
在一种可能的实现方式中，所述第一鼻子检测模型的训练过程包括：
获取第二训练样本集，所述第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；
对所述第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第一鼻子检测模型。
在一种可能的实现方式中，所述第二鼻子检测模型的训练过程包括：
获取第三训练样本集，所述第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；
对所述第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第二鼻子检测模型。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图3是本申请实施例提供的一种口罩佩戴的检测方法的流程图，该方法的执行主体为图1所示的电子设备，本申请实施例提供的方法流程包括：
301、电子设备获取待检测的人脸图像。
其中，待检测的人脸图像通常为电子设备通过摄像头采集到的包括人脸的图像。即，人脸图像在本文中特指包括人脸的图像。
举例来说，以前述的场景1为例，则针对疫情的特殊时期，还需要对配送员每日口罩的佩戴情况进行检查，进而保证配送员的安全和疫情的防控。比如，在配送员准备开始配送并完成口罩佩戴后，相关人员可以触发电子设备上安装的特定APP(Application，应用程序)进入口罩检测页面，进而触发电子设备启用摄像头拍摄配送员的正面图像，得到待检测的人脸图像。
302、电子设备基于人脸识别模型在人脸图像中检测人脸区域，该人脸识别模型为深度学习模型。
在本申请实施例中，在获取到待检测的人脸图像后，可以采用基于深度学习的人脸识别算法来检测上述人脸图像的人脸区域。
在一种可能的实现方式中，人脸识别模型的训练过程包括但不限于：
3021、获取第一训练样本集和目标训练参数，第一训练样本集中包括样本人脸图像和与样本人脸图像匹配的人脸区域标定结果。
需要说明的是，为了区分不同的训练样本集，本文将用于训练人脸识别模型的训练样本集称之为第一训练样本集。其中，目标训练参数可以为目标迭代次数或目标检测准确度。比如，目标迭代次数为20000次，目标检测准确度为95％，本申请实施例对此不进行具体限定。
另外，上述人脸区域标定结果指代预先人工标注的人脸区域。
3022、根据目标训练参数，以第一训练样本集中包括的样本人脸图像作为初始深度学习模型的输入，以与上述样本人脸图像匹配的人脸区域标定结果作为该初始深度学习模型的输出，对该初始深度学习模型进行训练，得到人脸识别模型。
针对该步骤，模型训练的停止条件即为达到目标训练参数，比如达到上述目标迭代次数或上述目标检测准确度，此时得到的模型便为训练完成的人脸识别模型。之后，通过训练得到的该人脸识别模型便可以进行人脸区域检测。而由于该人脸识别模型为基于深度学习的模型，因此能够精准地检测人脸区域。
303、电子设备基于人脸子区域检测模型对检测到的人脸区域进行口鼻区域检测，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型，其中，嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。
在得到人脸区域后，本申请实施例可以根据检测出的人脸区域，继续基于人脸子区域特征识别算法来检测人脸区域是否可见嘴巴和鼻子，进而判断是否佩戴了口罩。其中，人脸子区域指代诸如眼睛区域、鼻子区域或嘴巴区域等。
需要说明的第一点是，因为嘴巴区域被口罩罩住后特征不明显，而鼻子区域被口罩罩住后会出现口罩明显绷紧，且口罩中心轴上侧边缘特征明显，所以在本申请实施例中嘴巴检测模型仅训练未被口罩遮挡的模型，而鼻子区域需要训练两个模型，一个是鼻子未被口罩遮挡的鼻子检测模型，另一个是鼻子被口罩遮挡的鼻子检测模型。
换言之，检测鼻子区域需要训练两个鼻子检测模型，一个是未佩戴口罩的鼻子检测模型A，检测正常清晰的鼻子，该鼻子检测模型A在本文中也被称之为第一鼻子检测模型；另一个是佩戴口罩遮挡鼻子的鼻子检测模型B，检测佩戴口罩包裹住的鼻子，该鼻子检测模型B在本文中也被称之为第二鼻子检测模型。
需要说明的第二点是，上述两个鼻子检测模型均以Haar-like特征为基础，构造Adaboost级联分类器，以此来判断脸部是否有未被口罩遮住的鼻子，或者有被口罩遮住的鼻子区域。也即，第一鼻子检测模型和第二鼻子检测模型均为Adaboost级联分类器；其中，Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个Adaboost分类器包括至少一个弱分类器。
需要说明的第三点是，上述Adaboost分类器即为强分类器，即一个AdaBoost级联分类器由若干个强分类器实现，而一个强分类器是由若干个弱分类器实现。
其中，弱学习(弱分类器)，是指一个学习算法对一组概念的识别率只比随机识别好一点，强学习强分类器)，是指一个学习算法对一组概率的识别率很高。
另外，AdaBoost算法的弱分类器不是并行的，而是一个弱分类器完成了，下一个弱分类器才进行，在每个弱分类器进行时，关注的是上一个弱分类器分类错误的样本，也就是说，用当前弱分类器来弥补上一个弱分类器分类错误的样本；即用后一个弱分类器来弥补前一个弱分类器的不足。也即，AdaBoost算法是建立多个弱分类器，给每个弱分类器分配一个权重，将多个弱分类器组合在一起形成一个强分类器。
需要说明的第四点是，级联分类器相当于一种退化了的决策树。在一般的决策树中，判断后的两个分支都会有新的分支出现，而在级联分类器中，图像被拒绝后就直接被抛弃，不会再有判断了。换言之，级联的形式使的样本必须通过前置分类器，才需要进行后面分类器的运算，对于本申请实施例，对于不包含鼻子的区域，前置分类器可以直接否决，从而明显减少模型整体检测时间。
另外，训练级联分类器的目的还能够确保在检测的时候结果更加准确。即，级联强分类器的策略是，将若干个强分类器由简单到复杂排列，经过训练使每个强分类器都有较高检测率，而误识率可以降低。比如，如果一个强分类器99％的正样本可以通过，但50％的负样本也可以通过，这样如果有20个强分类器级联，那么它们的总识别率为0.99^20约等于98％，错误接受率也仅为0.5^20约等于0.0001％。
需要说明的第五点是，每个弱分类器可以基于至少一个Haar-like特征进行分类判断。比如在本文中可以设置每个弱分类器基于一个Haar-like特征进行分类判断，本申请实施例对此不进行具体限定。
示例性地，一个强分类器的生成需要T轮的迭代过程，包括但不限于如下：
a、给定训练样本集；T为训练的最大循环次数；
b、初始化样本权重，将所有样本的权重设置为相同；
c、第一次迭代训练N个样本，得到第一个最优弱分类器；
d、计算该分类器的错误率，根据错误率计算要给该分类器分配的权重；提高上一轮中被误判的样本的权重，降低上一轮中分对的样本的权重；
e、将新的样本和上一轮中分错的样本放在一起进行新一轮的训练。
f、循环执行d-e步骤，T轮后得到T个最优弱分类器。
g、组合T个最优弱分类器得到一个强分类器；针对该步骤，可以将所有弱分类器根据相应的分类器权重进行加权求和，得到分类结果。
结合以上描述，在一种可能的实现方式中，第一鼻子检测模型的训练过程包括但不限于：获取第二训练样本集，其中，第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；对第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到第一鼻子检测模型。示例性地，此处基于提取到的哈尔特征训练Adaboost分类器可参考上述强分类器的生成过程描述。
相应地，在一种可能的实现方式中，第二鼻子检测模型的训练过程包括但不限于：获取第三训练样本集，其中，第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；对第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到第二鼻子检测模型。示例性地，此处基于提取到的哈尔特征训练Adaboost分类器可参考上述强分类器的生成过程描述。
在一种可能的实现方式中，嘴巴检测模型也可以为Adaboost级联分类器；相应地，嘴巴检测模型的训练过程包括但不限于如下步骤：获取第四训练样本集，第四训练样本集中包括嘴巴未被口罩遮挡的样本人脸图像；对第四训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到嘴巴检测模型。示例性地，此处基于提取到的哈尔特征训练Adaboost分类器可参考上述强分类器的生成过程描述。
另外，在基于人脸子区域检测模型对检测到的人脸区域进行口鼻区域检测时，通常会会一个滑动窗口不断地在检测到的人脸区域上移位滑动，该滑动窗口每到一个位置，就会计算出该区域的Harr特征，然后用训练好的Adaboost级联分类器对该Harr特征进行分类筛选，一旦该Harr特征通过了Adaboost级联分类器的分类筛选，则判定该区域为嘴巴、未被口罩遮挡的鼻子或被口罩遮挡的鼻子区域。
作为一个示例，鼻子检测过程和嘴巴检测过程还可以采用多尺度检测，本申请实施例对此不进行具体限定。在一种可能的实现方式中，多尺度检测机制可以采取如下两种方式：一种是不改变搜索窗口的大小，而不断缩放图像；另一种是不改变图像大小，而不断扩大搜索窗口的大小，其中，在搜索窗口放大的过程中会出现同一个人脸子区域被多次检测到，因此需要进行区域的合并。以鼻子检测过程为例，在将不同尺度下的鼻子区域检测结果进行融合，合并重合的鼻子区域检测结果后，会得到精确的鼻子区域。
即，在一种可能的实现方式中，基于人脸子区域检测模型对人脸区域进行口鼻区域检测，包括但不限于：基于第一鼻子检测模型和第二鼻子检测模型，在多尺度下对人脸区域进行鼻子区域检测；将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
需要说明的第六点是，本申请实施例会融合上述嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型得到的检测结果，来对相关人员的口罩佩戴状态进行判断，详见下述步骤304至步骤307。
304、电子设备响应于嘴巴检测模型检测到未被口罩遮挡的嘴巴、第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩。
针对该种情形，电子设备确定相关人员未佩戴口罩，并输出第一提示信息，以提醒相关人员佩戴口罩。其中，第一提示信息可以为语音提示信息、语音与文字结合的提示信息、或语音与灯光结合的提示信息，本申请实施例对此不进行具体限定。
305、电子设备响应于嘴巴检测模型未检测到嘴巴、第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格。
针对该种情形，电子设备确定相关人员佩戴口罩不合格，并输出第二提示信息，以提醒相关人员口罩佩戴不合格。其中，第二提示信息可以为语音提示信息、语音与文字结合的提示信息、或语音与灯光结合的提示信息，本申请实施例对此不进行具体限定。
306、电子设备响应于嘴巴检测模型未检测到嘴巴、第一鼻子检测模型未检测到未被口罩遮挡的鼻子，第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格。
针对该种情形，如果第一鼻子检测模型检测到被口罩遮挡的鼻子，而第二鼻子检测模型未检测到被口罩遮挡的鼻子，则未检测到完整的鼻子区域，电子设备确定口罩佩戴不合格，比如口罩未覆盖鼻子下端呼吸区域，电子设备输入第二提示信息，以提醒相关人员口罩佩戴不合格。
该本步骤同上述步骤305类似，此处不再赘述。
307、电子设备响应于嘴巴检测模型未检测到嘴巴、第一鼻子检测模型未检测到未被口罩遮挡的鼻子，第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
针对该种情形，如图5所示，电子设备判断口罩覆盖了鼻子下端呼吸区域，口罩佩戴合格。在该种情形下，电子设备可以输入第三提示信息，以提醒相关人员口罩佩戴合格，本申请实施例对此不进行具体限定。
需要说明的是，如果相关人员的口罩佩戴不合格或者未佩戴口罩，则在调整口罩或佩戴口罩后，还需通过电子设备的摄像头再次采集自己的正面人脸图像，并再次由电子设备执行口罩佩戴的检测过程，直至通过检测。
举例来说，假设配送员未佩戴口罩或口罩佩戴不符合要求，则配送员需要调整或佩戴口罩，并再次提交自己新的脸部照片，由电子设备进行检测，直至通过，方可正式启动货品配送。
本申请实施例提供的方法至少具有以下有益效果：
在获取到待检测的人脸图像后，本申请实施例采用基于深度学习的人脸识别模型精准地在人脸图像中检测人脸区域；之后，在已知人脸的情况下，利用人脸子区域检测模型来区分嘴巴和鼻子等人脸子区域，以此来判断用户是否佩戴口罩。其中，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。该种结合深度学习技术检测人脸、以及结合人脸子区域匹配技术检测是否佩戴口罩的方案，能够快速、简便且高精度地进行用户是否佩戴口罩的检测，效果较佳。
图5是本申请实施例提供的一种口罩佩戴的检测装置的结构示意图。参见图5，该装置包括：
获取模块501，被配置为获取待检测的人脸图像；
第一检测模块502，被配置为基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；
第二检测模块503，被配置为基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；
第三检测模块504，被配置为基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；
所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。
本申请实施例提供的装置，在获取到待检测的人脸图像后，本申请实施例采用基于深度学习的人脸识别模型精准地在人脸图像中检测人脸区域；之后，在已知人脸的情况下，利用人脸子区域检测模型来区分嘴巴和鼻子等人脸子区域，以此来判断用户是否佩戴口罩。其中，该人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；嘴巴检测模型为嘴巴未被口罩遮挡的模型、第一鼻子检测模型为鼻子未被口罩遮挡的模型，第二鼻子检测模型为鼻子被口罩遮挡的模型。该种结合深度学习技术检测人脸、以及结合人脸子区域匹配技术检测是否佩戴口罩的方案，能够快速、简便且高精度地进行用户是否佩戴口罩的检测，效果较佳。
在一种可能的实现方式中，所述第三检测模块，还被配置为响应于所述嘴巴检测模型检测到未被口罩遮挡的嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
在一种可能的实现方式中，所述第三检测模块，还被配置为基于所述第一鼻子检测模型和所述第二鼻子检测模型，在多尺度下对所述人脸区域进行鼻子区域检测；将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
在一种可能的实现方式中，该装置还包括：
第一训练模块，被配置为获取第一训练样本集和目标训练参数，所述第一训练样本集中包括样本人脸图像和与所述样本人脸图像匹配的人脸区域标定结果；根据所述目标训练参数，以所述样本人脸图像作为初始深度学习模型的输入，以与所述样本人脸图像匹配的人脸区域标定结果作为所述初始深度学习模型的输出，对所述初始深度学习模型进行训练，得到所述人脸识别模型；
其中，所述目标训练参数为目标迭代次数或目标检测准确度。
在一种可能的实现方式中，所述第一鼻子检测模型和所述第二鼻子检测模型均为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
在一种可能的实现方式中，所述装置还包括：
第二训练模块，被配置为获取第二训练样本集，所述第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；对所述第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第一鼻子检测模型。
在一种可能的实现方式中，所述装置还包括：
第三训练模块，被配置为获取第三训练样本集，所述第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；对所述第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第二鼻子检测模型。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的口罩佩戴的检测装置在检测用户是否佩戴口罩时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的口罩佩戴的检测装置与口罩佩戴的检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图6示出了本申请一个示例性实施例提供的电子设备600的结构框图。
该设备600可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，设备600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的口罩佩戴的检测方法。
在一些实施例中，设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在设备600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在设备600的侧边框时，可以检测用户对设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置设备600的正面、背面或侧面。当设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在设备600的前面板。接近传感器616用于采集用户与设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与设备600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与设备600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备600中的处理器执行以完成上述实施例中的口罩佩戴的检测方法。例如，所述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种口罩佩戴的检测方法，其特征在于，所述方法包括：
获取待检测的人脸图像；
基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；
基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；
基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；
所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。
2.根据权利要求1所述的方法，其特征在于，所述基于得到的口鼻区域检测结果确定用户的口罩佩戴状态，包括：
响应于所述嘴巴检测模型检测到未被口罩遮挡的嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定未佩戴口罩；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型检测到未被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型未检测到被口罩遮挡的鼻子，确定口罩佩戴不合格；
响应于所述嘴巴检测模型未检测到嘴巴、所述第一鼻子检测模型未检测到未被口罩遮挡的鼻子，所述第二鼻子检测模型检测到被口罩遮挡的鼻子，确定口罩佩戴合格。
3.根据权利要求1所述的方法，其特征在于，所述基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，包括：
基于所述第一鼻子检测模型和所述第二鼻子检测模型，在多尺度下对所述人脸区域进行鼻子区域检测；
将在不同尺度下得到的鼻子区域检测结果进行融合，得到最终的鼻子区域检测结果。
4.根据权利要求1所述的方法，其特征在于，所述人脸识别模型的训练过程包括：
获取第一训练样本集和目标训练参数，所述第一训练样本集中包括样本人脸图像和与所述样本人脸图像匹配的人脸区域标定结果；
根据所述目标训练参数，以所述样本人脸图像作为初始深度学习模型的输入，以与所述样本人脸图像匹配的人脸区域标定结果作为所述初始深度学习模型的输出，对所述初始深度学习模型进行训练，得到所述人脸识别模型；
其中，所述目标训练参数为目标迭代次数或目标检测准确度。
5.根据权利要求1至4中任一项权利要求所述的方法，其特征在于，所述第一鼻子检测模型和所述第二鼻子检测模型均为Adaboost级联分类器；
其中，所述Adaboost级联分类器由至少一个Adaboost分类器级联而成，每个所述Adaboost分类器包括至少一个弱分类器。
6.根据权利要求5所述的方法，其特征在于，所述第一鼻子检测模型的训练过程包括：
获取第二训练样本集，所述第二训练样本集中包括鼻子未被口罩遮挡的样本人脸图像；
对所述第二训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第一鼻子检测模型。
7.根据权利要求5所述的方法，其特征在于，所述第二鼻子检测模型的训练过程包括：
获取第三训练样本集，所述第三训练样本集中包括鼻子被口罩遮挡的样本人脸图像；
对所述第三训练样本集进行哈尔特征提取，基于提取到的哈尔特征训练Adaboost分类器；
采用筛选式级联方式将训练好的至少一个Adaboost分类器进行级联，得到所述第二鼻子检测模型。
8.一种口罩佩戴的检测装置，其特征在于，所述装置包括：
获取模块，被配置为获取待检测的人脸图像；
第一检测模块，被配置为基于人脸识别模型在所述人脸图像中检测人脸区域，所述人脸识别模型为深度学习模型；
第二检测模块，被配置为基于人脸子区域检测模型对所述人脸区域进行口鼻区域检测，所述人脸子区域检测模型包括嘴巴检测模型、第一鼻子检测模型和第二鼻子检测模型；
第三检测模块，被配置为基于得到的口鼻区域检测结果确定用户的口罩佩戴状态；
所述嘴巴检测模型为嘴巴未被口罩遮挡的模型、所述第一鼻子检测模型为鼻子未被口罩遮挡的模型，所述第二鼻子检测模型为鼻子被口罩遮挡的模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7中任一项权利要求所述的口罩佩戴的检测方法。
10.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7中任一项权利要求所述的口罩佩戴的检测方法。
CN202010360828.3A 2020-04-30 2020-04-30 口罩佩戴的检测方法、装置、存储介质及电子设备 Pending CN111444887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360828.3A CN111444887A (zh) 2020-04-30 2020-04-30 口罩佩戴的检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360828.3A CN111444887A (zh) 2020-04-30 2020-04-30 口罩佩戴的检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN111444887A true CN111444887A (zh) 2020-07-24

Family

ID=71656414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360828.3A Pending CN111444887A (zh) 2020-04-30 2020-04-30 口罩佩戴的检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111444887A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036245A (zh) * 2020-07-30 2020-12-04 拉扎斯网络科技（上海）有限公司 图像检测方法、信息交互方法、装置和电子设备
CN112115803A (zh) * 2020-08-26 2020-12-22 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
CN112257552A (zh) * 2020-10-19 2021-01-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112347988A (zh) * 2020-11-30 2021-02-09 广联达科技股份有限公司 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN112464827A (zh) * 2020-11-30 2021-03-09 深圳集智数字科技有限公司 口罩佩戴识别方法、装置、设备及存储介质
CN112716758A (zh) * 2020-12-24 2021-04-30 西南医科大学附属医院 带服务功能的康复机器人
CN113052120A (zh) * 2021-04-08 2021-06-29 深圳市华途数字技术有限公司 一种戴口罩人脸识别的门禁设备
CN114140839A (zh) * 2020-08-14 2022-03-04 腾讯科技（深圳）有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN114550269A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 口罩佩戴检测方法、设备和介质
US11436881B2 (en) 2021-01-19 2022-09-06 Rockwell Collins, Inc. System and method for automated face mask, temperature, and social distancing detection
CN115716458A (zh) * 2022-10-31 2023-02-28 中国第一汽车股份有限公司 一种车辆沉水应急方法、装置及车辆
WO2024050760A1 (en) * 2022-09-08 2024-03-14 Intel Corporation Image processing with face mask detection

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003116A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
CN105844245A (zh) * 2016-03-25 2016-08-10 广州市浩云安防科技股份有限公司 一种伪装人脸检测方法及系统
CN105868689A (zh) * 2016-02-16 2016-08-17 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
US20180285630A1 (en) * 2017-03-28 2018-10-04 Samsung Electronics Co., Ltd. Face verifying method and apparatus
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质
CN110569756A (zh) * 2019-08-26 2019-12-13 长沙理工大学 人脸识别模型构建方法、识别方法、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010003116A (ja) * 2008-06-20 2010-01-07 Toyota Central R&D Labs Inc 対象物判定装置及びプログラム
CN105868689A (zh) * 2016-02-16 2016-08-17 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN105844245A (zh) * 2016-03-25 2016-08-10 广州市浩云安防科技股份有限公司 一种伪装人脸检测方法及系统
US20180285630A1 (en) * 2017-03-28 2018-10-04 Samsung Electronics Co., Ltd. Face verifying method and apparatus
CN107016370A (zh) * 2017-04-10 2017-08-04 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质
CN110569756A (zh) * 2019-08-26 2019-12-13 长沙理工大学 人脸识别模型构建方法、识别方法、设备和存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036245A (zh) * 2020-07-30 2020-12-04 拉扎斯网络科技（上海）有限公司 图像检测方法、信息交互方法、装置和电子设备
CN114140839A (zh) * 2020-08-14 2022-03-04 腾讯科技（深圳）有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN114140839B (zh) * 2020-08-14 2024-02-23 腾讯科技（深圳）有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN112115803A (zh) * 2020-08-26 2020-12-22 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
CN112115803B (zh) * 2020-08-26 2023-10-13 深圳市优必选科技股份有限公司 口罩状态提醒方法、装置及移动终端
CN112257552B (zh) * 2020-10-19 2023-09-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112257552A (zh) * 2020-10-19 2021-01-22 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112464827A (zh) * 2020-11-30 2021-03-09 深圳集智数字科技有限公司 口罩佩戴识别方法、装置、设备及存储介质
CN112347988A (zh) * 2020-11-30 2021-02-09 广联达科技股份有限公司 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN112464827B (zh) * 2020-11-30 2024-06-04 深圳集智数字科技有限公司 口罩佩戴识别方法、装置、设备及存储介质
CN112716758A (zh) * 2020-12-24 2021-04-30 西南医科大学附属医院 带服务功能的康复机器人
US11436881B2 (en) 2021-01-19 2022-09-06 Rockwell Collins, Inc. System and method for automated face mask, temperature, and social distancing detection
CN113052120A (zh) * 2021-04-08 2021-06-29 深圳市华途数字技术有限公司 一种戴口罩人脸识别的门禁设备
CN113052120B (zh) * 2021-04-08 2021-12-24 深圳市华途数字技术有限公司 一种戴口罩人脸识别的门禁设备
CN114550269A (zh) * 2022-03-02 2022-05-27 北京百度网讯科技有限公司 口罩佩戴检测方法、设备和介质
WO2024050760A1 (en) * 2022-09-08 2024-03-14 Intel Corporation Image processing with face mask detection
CN115716458A (zh) * 2022-10-31 2023-02-28 中国第一汽车股份有限公司 一种车辆沉水应急方法、装置及车辆

Similar Documents

Publication Publication Date Title
CN111444887A (zh) 口罩佩戴的检测方法、装置、存储介质及电子设备
CN111079576B (zh) 活体检测方法、装置、设备及存储介质
CN108399349B (zh) 图像识别方法及装置
CN110647865A (zh) 人脸姿态的识别方法、装置、设备及存储介质
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110992327A (zh) 镜头脏污状态的检测方法、装置、终端及存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
US11386586B2 (en) Method and electronic device for adding virtual item
CN111078521A (zh) 异常事件的分析方法、装置、设备、系统及存储介质
CN110874905A (zh) 监控方法及装置
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
CN111325701B (zh) 图像处理方法、装置及存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN111931712B (zh) 人脸识别方法、装置、抓拍机及系统
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113709353B (zh) 图像采集方法和设备
CN111860064A (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN111723615B (zh) 对检测物图像进行检测物匹配判定的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231117

AD01 Patent right deemed abandoned