CN113947795A - 口罩佩戴检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及深度学习技术领域，具体涉及一种口罩佩戴检测方法、装置、设备及存储介质，包括如下步骤：获取目标人脸图像；将目标人脸图像输入到人脸检测模型中，得到人脸检测框；将检测出未佩戴口罩的人脸检测框输入到人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值；统计检测得到未佩戴口罩的人脸检测框中各人脸关键点预测值的大小及其比例，其中，各人脸关键点为预设口罩区域的关键点；根据统计结果重新判断未佩戴口罩的人脸检测框是否正确佩戴口罩。相对于现有技术，本技术方案降低现有技术中对未佩戴口罩的误检概率，避免检测设备的频繁警报。

Description

口罩佩戴检测方法、装置、设备及存储介质

技术领域

本发明涉及深度学习技术领域，具体涉及一种口罩佩戴检测方法、装置、设备及存储介质。

背景技术

人脸识别技术目前已经非常成熟，在一些特定的场景和环境下，出现了需要进行佩戴口罩的检测，因此，现有技术中出现了在人脸识别的基础上进行口罩检测的模型，检测出戴口罩和不戴口罩的人脸框，例如百度公司paddlehub基于PyramidBox做了人脸口罩检测；AIZOO基于ssd进行口罩检测；思百达公司则基于centernet公开了sbd_mask模型，同时也开源了一部分戴口罩的数据。

现有的口罩检测往往考虑的都是如何提高准确性，因此，在考虑技术方案的时候，通常不考虑那些原本戴口罩，却被检测出未佩戴口罩的情况，这样能够降低未佩戴口罩的漏检率。然后在实际应用场景中，口罩检测的方案往往应用与人流量比较大的场所，例如，车站、机场、商场等出入口，如果出现大量的原本戴口罩，却被检测出未佩戴口罩的情况，则会导致检测设备经常处于报警状态，影响正常的运营。

发明内容

因此，本发明要解决现有技术中容易将原本戴口罩检测为未佩戴口罩，导致检测设备经常处于报警状态，影响正常的运营的技术问题，从而提供一种口罩佩戴检测方法、装置、设备及存储介质。

根据本发明实施例的一方面，提供了一种口罩佩戴检测方法，包括如下步骤：

获取目标人脸图像；

将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框；

将检测出未佩戴口罩的所述人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率；

统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点；

根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

可选地，在所述人脸关键点遮挡模型训练过程中，通过以下步骤得到人脸关键点热图的目标值，其中，所述目标值为所述人脸关键点遮挡模型在训练过程中关键点被口罩遮挡或者未被口罩遮挡所要达到的值：

获取标注的训练样本图像上所有渲染点的像素坐标，其中，所述渲染点是指所述训练样本图像对应的渲染热图上所有的像素点，所述渲染点包括标注的人脸关键点；

根据所述人脸关键点及其其他渲染点的像素坐标计算得到所述目标值。

可选地，在所述人脸关键点遮挡模型在训练过程中，通过以下渲染函数计算得到未被口罩遮挡的人脸关键点的目标值：

通过以下渲染函数计算得到被口罩遮挡的人脸关键点点的目标值：

其中，q(x,y)表示标注的关键点的像素坐标，p(x,y)表示渲染点的像素坐标，r表示预设距离，e为自然常数，σ为渲染函数的方差，其值为，

可选地，在将所述人脸检测框输入到所述人脸关键点遮挡模型中之前，还包括：

按照预设放大比例从所述人脸检测框的原图上截取放大后的人脸检测框。

可选地，所述统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，包括：

统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；

其中，所述根据统计的预测值重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩，包括：判断所述关键点数量是否大于第二预设阈值；若是，则确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；若否，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

可选地，所述方法还包括：

对于检测视频的连续帧，分别对每一帧的每个人脸检测框进行是否佩戴口罩检测；对未正确佩戴口罩的人脸检测框进行跟踪，其中，未正确佩戴口罩的人脸检测框跟踪的步骤包括：

对于每一帧，将检出的未正确佩戴口罩的人脸检测框与跟踪集中的人脸检测框跟踪项进行匹配，对匹配上的人脸检测框进行跟踪作为更新后的跟踪项，其中，所述跟踪集为包含有作为跟踪目标的未正确佩戴口罩的人脸检测框，初始为空；

若匹配失败则将该帧中的未正确佩戴口罩的人脸检测框添加到所述跟踪集中；

对于跟踪集中的跟踪目标，若连续n帧没有匹配到人脸检测框，则从所述跟踪集中去掉该跟踪目标，n为自然数；

若存在一个跟踪目标检测到连续k帧匹配到所述跟踪集中的人脸检测框，则确定该跟踪目标未正确佩戴口罩。

本发明还提供了一种口罩佩戴检测装置，包括：

获取模块，用于获取目标人脸图像；

第一检测模块，用于将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框；

第二检测模块，用于将检测出未佩戴口罩的所述人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率；

统计模块，用于统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点；

确定模块，用于根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

可选地，所述统计模块包括：

统计单元，用于统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；

其中，所述确定模块包括：判断单元，用于判断所述关键点数量是否大于第二预设阈值；确定单元，用于在所述关键点数量大于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；在所述关键点数量小于等于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

本发明还提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述的口罩佩戴检测方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述的口罩佩戴检测方法。

本发明技术方案，具有如下优点：

1.通过先用人脸检测模型来对目标人脸图像进行检测，得到佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框，然后将未佩戴口罩的人脸检测框输入到人脸关键点遮挡模型进行检测，输出每个人脸关键点的预测值，再利用该预测值确定出上述检测结果中的未佩戴口罩的结果是否是真的未佩戴口罩，从而降低现有技术中对未佩戴口罩的误检概率，避免检测设备的频繁警报。

2.在上述实施例中，将获取到的目标人脸图像输入至预先训练好的人脸遮挡检测模型中，得到人脸图像中被测人员是否佩戴有口罩，并且在检测出未佩戴有口罩的情况下，检测每个人脸关键点热图的预测值，统计未佩戴口罩的人脸检测框对应的人脸关键点热图的预测值的情况，并根据所统计的预测值来确定被测人员是否正确佩戴口罩。相对于现有技术，本技术方案不仅能够检测被测人员是否佩戴有口罩，同时还能检测被测人员是否正确佩戴口罩。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中口罩佩戴检测方法的流程图；

图2为本发明实施例1中口罩佩戴检测方法具体应用的其一场景图；

图3为本发明实施例1中口罩佩戴检测方法中计算目标值的流程图；

图4为本发明实施例1中口罩佩戴检测方法中人脸关键点分布图；

图5为本发明实施例2中口罩佩戴检测装置的结构框图；

图6为本发明实施例3中计算机设备的原理结构框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在一些特定的环境下，需要社会活动参与者在相关场合佩戴好口罩，并且需要正确佩戴好口罩。

现有技术中公开了一种采用关键点来检测脸部遮挡物的方法，以判断被测人员是否佩戴口罩。该方法存在很多缺陷，例如当被测人员使用手掌、书本或衣物等物品来遮挡脸部时，很容易出现误判的结果，将未佩戴口罩视作已佩戴口罩。并且该方法不仅不能准确地检测出被测人员是否佩戴口罩，还不能检测被测人员是否正确佩戴口罩。

实施例1

本实施例提供了一种口罩佩戴检测方法，虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。

本实施例提供了一种口罩佩戴检测方法，用于检测被测人员是否佩戴口罩和是否正确佩戴口罩，如图1所示，包括如下步骤：

S101、获取目标人脸图像。

在上述实施步骤中，目标人脸图像可由多种方式获得，包括但不限于摄像头拍摄的视频图像、手机拍摄的视频图像、影视电影的视频图像以及行车记录仪拍摄的图像等等。需要说明的是，目标人脸图像可以是单独帧的图像，也可以是由多帧图像形成的视频。获取到目标人脸图像后，可将目标人脸图像处理成固定的像素长宽。目标人脸图像是特指所要检测识别的图像，不是针对特定目标进行检测的，本发明并不做具体限定。目标人脸图像中可以包括一个人脸，也可以包括多个人脸。不同的人脸所呈现的角度也可能各不相同。

目标人脸图像是检测被测人员是否佩戴口罩和是否正确佩戴口罩的基础，例如当需要监测商场人群中是否存在未佩戴口罩或者未正确佩戴口罩的人，可以获取商场内和/或商场入口的摄像头拍摄的视频；又如当需要知道视频中佩戴口罩的人是否正确佩戴口罩，可以获取该视频或者该视频中特定帧的图像。当目标人脸图像为公共场所的图像时，图像上很可能存在多个戴口罩、多个不戴口罩的人。

在获取到目标人脸图像之后，可以将所述目标人脸图像输入到预先训练好的人脸遮挡检测模型中，得到所述人脸遮挡检测模型的第一输出结果，所述第一输出结果包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框以及每个人脸关键点热图的预测值。人脸遮挡检测模型可以包括人脸检测模型和人脸关键点遮挡模型，具体将在后面进行介绍。

S102、将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框。

在上述实施步骤中，同一目标人脸图像上可能存在佩戴口罩的人和/或不佩戴口罩的人，人脸检测模型对目标人脸图像进行处理，在目标人脸图像上框选出佩戴口罩的人脸和未佩戴口罩的人脸检测框，即在目标人脸图像上得到佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框。

S103、将所述检测出未佩戴口罩的人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率。

在上述实施步骤中，将人脸检测框(佩戴口罩和未佩戴口罩)内的图像输入至人脸关键点遮挡模型中，得到人脸每个关键点热图的预测值。举例来说，如图4所示，将人脸检测框内图像输入至人脸关键点遮挡模型中，得到关键点(1-68)热图的预测值。需要说明的是，也可以只将佩戴口罩的人脸检测框内的图像输入人脸关键点遮挡模型中，得到人脸的每个关键点热图的预测值。该预测值越大，表示对应的位置未被口罩遮挡的概率越大；反之，则越小。

在上述实施步骤中，预先训练好的模型可以存储在服务器、主机或移动终端等内，将目标人脸图像输入至预先训练好的模型中，得到所述目标人脸图像中被测人员是否佩戴有口罩和人脸每个关键点热图的预测值，以便于进一步判断是否正确佩戴口罩。

举例来说，如图2所示，预先训练好的模型存储在主机202内，摄像头201为商场或大巴内等安装的监控摄像头，用于监控商场的动态。当需要检测商场中是否存在未佩戴口罩或者未正确佩戴口罩的人时，摄像头201将所拍摄到的视频通过无线通信204传输主机202，主机202内预先训练好的人脸遮挡检测模型对视频进行逐帧处理，得到视频中每个被测人员的口罩佩戴结果及被测人员脸上每个关键点热图的预测值。

上例中，需要说明的是，摄像头201也可以将视频中的一帧图像发送给主机202，并且摄像头201也可以通过有线通信的方式将视频/图像传输给主机202。

目标人脸图像是否佩戴口罩的结果包括两种，一种是目标人脸图像中被测人员佩戴口罩，另一种是目标人脸图像中被测人员未佩戴口罩。可在被测人员的脸上选取预设数量个关键点，例如可以选取人脸的64个关键点、66个关键点、68个关键点或70个关键点。如图6所示，其中，人脸601上68个关键点囊括眉毛、眼睛、鼻子、嘴唇及脸周上的点，通过检测人脸的关键点来实现对口罩佩戴是否正确的判断。

人脸关键点热图的预测值表示对应的人脸关键点未被口罩遮挡的概率，例如在目标人脸图像中，被检测人员未佩戴口罩，可计算得到被测人员的人脸关键点被口罩遮挡的概率。

本发明实施例中，采用两个模型分别进行检测，先检测出目标人脸图像中的人脸检测框，为了降低未佩戴口罩的误判率，再将未佩戴口罩的人脸检测框输入到人脸关键点遮挡模型中进一步检测。

S104、统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点。

在上述实施步骤中，如果检测到目标人脸图像中存在未佩戴口罩的被测人员，则可发出警报信息，例如在显示器203(图2)上显示所拍摄到的图像，并标记出未佩戴口罩的人，同时也可以发出警示声。

如果检测到目标人脸图像中存在佩戴口罩的被测人员，可对所述佩戴口罩的被测人员进行进一步地检测，统计与正确佩戴口罩时口罩区域对应的人脸关键点的预测值。即如图6所示，记录面部轮廓关键点(1-17)、鼻子关键点(32-36)和嘴唇关键点(49-68)中每个关键点的预测值。主要统计预测值的大小，然后按照大小进行分类，然后统计每个类别的占比，也即是统计每个类别的总数量情况。

S105、根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

在上述实施步骤中，根据所统计的预测值，充判断出未佩戴口罩的人脸检测框是否正确佩戴口罩。例如，当所统计的预测值大于预设阈值时，则标识未正确佩戴口罩，将大于预设阈值的预测值作为一类；当所统计的预测值小于预设阈值时，则被测人员正确佩戴口罩，将小于等于预设阈值的预测值作为一类。在一些实施例中，还可根据所统计每一类预测值占总数的比例与预设比例来进行判断。

根据本发明实施例，通过先用人脸检测模型来对目标人脸图像进行检测，得到佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框，然后将未佩戴口罩的人脸检测框输入到人脸关键点遮挡模型进行检测，输出每个人脸关键点的预测值，再利用该预测值确定出上述检测结果中的未佩戴口罩的结果是否是真的未佩戴口罩，从而降低现有技术中对未佩戴口罩的误检概率，避免检测设备的频繁警报。

进一步地，在上述实施例中，将获取到的目标人脸图像输入至预先训练好的人脸遮挡检测模型中，得到人脸图像中被测人员是否佩戴有口罩，并且在检测出未佩戴有口罩的情况下，检测每个人脸关键点热图的预测值，统计未佩戴口罩的人脸检测框对应的人脸关键点热图的预测值的情况，并根据所统计的预测值来确定被测人员是否正确佩戴口罩。相对于现有技术，本技术方案不仅能够检测被测人员是否佩戴有口罩，同时还能检测被测人员是否正确佩戴口罩。

在上述实施步骤中，人脸检测模型对目标人脸图像进行处理，得到佩戴口罩的人脸图像和未佩戴口罩的人脸检测框。可根据部署模块计算量的限制，选择不同的骨干网络，例如可以选择vgg网络、resnet网络等，骨干网络提取目标人脸图像上的目标检测所需的特征，其输出模块包括像素点的类别和检测框的回归。此外，由于公共场合人员有所流动，人脸的大小也随着距离的远近发生变化，可采用特征金字塔网络(feature pyramidnetwork，FPN)对不同感受野特征的目标检测，用于得到不同大小的目标。

人脸检测模型在训练过程中，需采集目标场所的人脸数据，在不同场景、光线的条件下选择丰富背景的图片。人工标注所选择的图片形成矩形检测框，分为佩戴口罩的人脸图像和未佩戴口罩的人脸图像。用标注数据进行对人脸检测模型迭代，直至收敛得到训练好的人脸检测模型。用训练好的人脸检测模型，输入一张图像得到每块对应的类别置信度及其回归的检测框，使用非极大值抑值进行后处理，得到最后的人脸检测框。

在上述实施步骤中，将佩戴口罩的人脸图像输入至人脸关键点遮挡模型中，人脸关键点遮挡模型对人脸图像进行处理，输出人脸所有关键点热图的预测值。举例来说，将佩戴口罩的人脸图像a输入至人脸关键点遮挡模型中，人脸关键点遮挡模型对人脸图像a进行处理，得到关键点(1-68，图6)热图的预测值。可采用非极大值抑制方法，得到人脸每个关键点对应的坐标。

人脸关键点遮挡模型的骨干网络可以选用堆沙漏网络(stacked hourglassnetwork，SHN)进行特征提取，人脸关键点遮挡模型的输出模块输出所有通道的各个关键点热图的预测值。

人脸关键点遮挡模型在训练前，需收集人脸数据并对人脸关键点按照关键点排列进行标注，被遮挡的关键点根据标注人员经验标注大致位置，区分被口罩遮挡的点和其他关键点。由于实际使用时，人脸有不同的角度、被不同物体遮挡以及在图像边缘，训练数据会随机将完整人脸的一部分像素置0，并加入随机物体作为遮挡。同时由于口罩会有各种颜色形状和图案，将检测出口罩并随机更换颜色和花纹。采用交叉熵损失函数来训练人脸关键点遮挡模型，迭代直至收敛。

本发明实施例中，上述人脸关键点遮挡模型在训练过程中在一个或多个实施例中，通过以下步骤得到人脸关键点热图的目标值，其中，所述目标值为所述人脸关键点遮挡模型在训练过程中关键点被口罩遮挡或者未被口罩遮挡所要达到的值：

S301、获取标注的训练样本图像上所有渲染点的像素坐标，其中，所述渲染点是指所述训练样本图像对应的渲染热图上所有的像素点，所述渲染点包括标注的人脸关键点。

在上述实施步骤中，目标人脸图像上标注的人脸关键点由人脸关键点遮挡模型自动标注，人脸关键点遮挡模型在获取到目标人脸图像后，自动在所述目标人脸图像上进行关键点的标注，并且得到标注的人脸关键点的像素坐标。在获得到人脸关键点的像素坐标后，可其他渲染点与该关键点的距离来划定判定范围。

S302、根据所述人脸关键点的像素坐标、所述渲染点的像素坐标和所述预设距离计算得到所述目标值。

在上述实施步骤中，基于人脸关键点的像素坐标、渲染点的像素坐标和预设距离得到人脸关键点热图的目标值，可以通过以下渲染函数计算得到未被遮挡的人脸关键点的目标值：

通过以下渲染函数计算得到被口罩遮挡的人脸关键点的目标值：

其中，q(x,y)表示标注的关键点的像素坐标，p(x,y)表示渲染点的像素坐标，r表示预设距离，e为自然常数，σ为渲染函数的方差，其值为，

由此可看出，未被口罩遮挡的人脸关键点热图的目标值最大为1，而被口罩遮挡的人脸关键点热图的目标值最大为0.5。在实际检测应用的过程中，统计与正常佩戴口罩时口罩区域对应的人脸关键点热图的预测值时，统计预测值大于0.5的关键点数量，并且根据所统计的关键点数量判断被测人员是否正确佩戴口罩。需要说明的是，可根据实际情况对上述公式进行变形，例如被遮挡的点的目标值的渲染函数系数可以为0.55或0.6等。且预设距离为r(r＝10)，数值在0-1之间,被口罩遮挡的关键点的最高值是0.5，被其他遮挡合作和无遮挡的最大值是1。

作为一种可选实施方式，所述统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，包括：统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；其中，所述根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩，包括：判断所述关键点数量是否大于第二预设阈值；若是，则确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；若否，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

举例来说，如图4所示，选取人脸601的68个点作为关键点，并且根据口罩正确佩戴时的情况，将嘴唇、鼻子和脸部轮廓等42个关键点作为统计点，即统计嘴唇、鼻子和脸部轮廓上42个关键点的预测值。人脸关键点遮挡模型检测到目标人脸图像中被测人员A佩戴有口罩，则统计得到被测人员A的嘴唇、鼻子和脸部轮廓上42个关键点的预测值，如果预测值大于0.5(第一预设阈值)的数量大于第二预设阈值(例如30、32或34)，则表明被测人员A未正确佩戴口罩；如果预测值大于0.5的数量小于预设阈值，则表明被测人员A正确佩戴口罩。

虽然上文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。

在一个或多个实施例中，在将所述人脸检测框输入到所述人脸关键点遮挡模型中之前，还包括：按照预设放大比例从所述人脸检测框的原图上截取放大后的人脸检测框。

对于经人脸检测模型处理后得到的人脸检测框，包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框，可按照一定比例放大所述人脸检测框，在原图上进行截取。

举例来说，得到一个人脸检测框(矩形)，其左上角坐标是(x₁,y₁)，其右下角坐标是(x₂,y₂),按照m＝1.5的比例进行截取，即人脸检测框放大1.5倍。人脸检测框的新坐标为：

w＝x₂-x₁

h＝y₂-y₁

x_c＝x₁+0.5*w

y_c＝y₁+0.5*h

x′₁＝x_c-m*w/2

y′₁＝y_c-m*w/2

x′2₂＝x_c+m*w/2

y′₂＝y_c+m*w/2

如果(x′₁,y′₁),(x′₂,y′₂)超过了原图的坐标，则用0像素表示超过原图边界的点。对于人脸检测模型检测到的未佩戴口罩的人脸检测框和佩戴口罩的人脸检测框，分别送入人脸关键点遮挡模型，通过该模型推理得到对应人脸框是否正确佩戴口罩。

在一个或多个实施例中，对同一人脸目标进行跟踪抓拍；若检测出连续多张目标人脸图像未正确佩戴口罩，则发出警示信息。

具体地，本发明实施例中，对于检测视频的连续帧，分别对每一帧的每个人脸检测框进行是否佩戴口罩检测；对未正确佩戴口罩的人脸检测框进行跟踪，其中，未正确佩戴口罩的人脸检测框跟踪的步骤包括：

S1，对于每一帧，将检出的未正确佩戴口罩的人脸检测框与跟踪集中的人脸检测框跟踪项进行匹配，对匹配上的人脸检测框进行跟踪作为更新后的跟踪项，其中，所述跟踪集为包含有作为跟踪目标的未正确佩戴口罩的人脸检测框，初始为空；即初始的跟踪集为空。

S2，若匹配失败则将该帧中的未正确佩戴口罩的人脸检测框添加到所述跟踪集中；

S3，对于跟踪集中的跟踪目标，若连续n帧没有匹配到人脸检测框，则从所述跟踪集中去掉该跟踪目标，n为自然数；

S4，若存在一个跟踪目标检测到连续k帧匹配到所述跟踪集中的人脸检测框，则确定该跟踪目标未正确佩戴口罩。

对于同一人的人脸可采用匈牙利算法进行前后帧的匹配，如果连续n帧中，跟踪到的人脸大于m张都检测到未正确佩戴口罩，则警示该场景中有人未正确佩戴口罩，例如在显示器203(图2)中发出警示信息。

根据本发明实施例，通过对检测结果进行跟踪，从而能够更进一步地提高未正确佩戴口罩的人脸检测的准确性，避免出现误检导致的频繁警报的问题。

实施例2

本实施例提供了一种口罩佩戴检测装置，用于检测被测人员是否佩戴口罩和是否正确佩戴口罩，如图5所示，包括：

获取模块501，用于获取目标人脸图像；

第一检测模块502，用于将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框；

第二检测模块503，用于将检测出未佩戴口罩的所述人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率；

统计模块504，用于统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点；

确定模块505，用于根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

上述装置的每个模块的内容具体可以参见上述方法实施例，这里不再赘述。

根据本发明实施例，通过先用人脸检测模型来对目标人脸图像进行检测，得到佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框，然后将未佩戴口罩的人脸检测框输入到人脸关键点遮挡模型进行检测，输出每个人脸关键点的预测值，再利用该预测值确定出上述检测结果中的未佩戴口罩的结果是否是真的未佩戴口罩，从而降低现有技术中对未佩戴口罩的误检概率，避免检测设备的频繁警报。

可选地，所述统计模块包括：统计单元，用于统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；其中，所述确定模块包括：判断单元，用于判断所述关键点数量是否大于第二预设阈值；确定单元，用于在所述关键点数量大于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；在所述关键点数量小于等于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

具体描述可以参见上述方法实施例，这里不再赘述。

实施例3

本实施例提供了一种计算机设备，如图6所示，该计算机设备包括处理器401和存储器402，其中处理器401和存储器402可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器401可以为中央处理器(Central Processing Unit，CPU)。处理器401还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network ProcessingUnit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器402作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的口罩佩戴检测方法对应的程序指令/模块。处理器401通过运行存储在存储器402中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的口罩佩戴检测方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器401所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至处理器401。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器402中，当被所述处理器401执行时，执行如图1所示实施例中的口罩佩戴检测方法。

在本实施例中，存储器402存储有口罩佩戴检测方法的程序指令或模块，处理器401执行存储在存储器402内的程序指令或模块时，将获取到的目标人脸图像输入至预先训练好的人脸遮挡检测模型中，得到人脸图像中被测人员是否佩戴有口罩，并且在佩戴有口罩的情况下，得到每个人脸关键点热图的目标值，统计与正常佩戴口罩时口罩区域对应的人脸关键点热图的目标值的情况，并根据所统计的目标值来确定被测人员是否正确佩戴口罩。相对于现有技术，本技术方案不仅能够检测被测人员是否佩戴有口罩，同时还能检测被测人员是否正确佩戴口罩。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的口罩佩戴检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种口罩佩戴检测方法，其特征在于，包括如下步骤：

获取目标人脸图像；

将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框；

将检测出未佩戴口罩的所述人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率；

统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点；

根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

2.根据权利要求1所述的口罩佩戴检测方法，其特征在于，在所述人脸关键点遮挡模型训练过程中，通过以下步骤得到人脸关键点热图的目标值，其中，所述目标值为所述人脸关键点遮挡模型在训练过程中关键点被口罩遮挡或者未被口罩遮挡所要达到的值：

获取标注的训练样本图像上所有渲染点的像素坐标，其中，所述渲染点是指所述训练样本图像对应的渲染热图上所有的像素点，所述渲染点包括标注的人脸关键点；

根据所述人脸关键点及其其他渲染点的像素坐标计算得到所述目标值。

3.根据权利要求2所述的口罩佩戴检测方法，其特征在于，在所述人脸关键点遮挡模型在训练过程中，通过以下渲染函数计算得到未被口罩遮挡的人脸关键点的目标值：

通过以下渲染函数计算得到被口罩遮挡的人脸关键点的目标值：

其中，q(x,y)表示标注的关键点的像素坐标，p(x,y)表示渲染点的像素坐标，r表示预设距离，e为自然常数，σ为渲染函数的方差，其值为，

4.根据权利要求1所述的口罩佩戴检测方法，其特征在于，在将所述人脸检测框输入到所述人脸关键点遮挡模型中之前，还包括：

按照预设放大比例从所述人脸检测框的原图上截取放大后的人脸检测框。

5.根据权利要求1-4任一所述的口罩佩戴检测方法，其特征在于，所述统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，包括：

统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；

其中，所述根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩，包括：判断所述关键点数量是否大于第二预设阈值；若是，则确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；若否，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

6.根据权利要求1-4任一所述的口罩佩戴检测方法，其特征在于，所述方法还包括：

对于检测视频的连续帧，分别对每一帧的每个人脸检测框进行是否佩戴口罩检测；对未正确佩戴口罩的人脸检测框进行跟踪，其中，未正确佩戴口罩的人脸检测框跟踪的步骤包括：

对于每一帧，将检出的未正确佩戴口罩的人脸检测框与跟踪集中的人脸检测框跟踪项进行匹配，对匹配上的人脸检测框进行跟踪作为更新后的跟踪项，其中，所述跟踪集为包含有作为跟踪目标的未正确佩戴口罩的人脸检测框，初始为空；

若匹配失败则将该帧中的未正确佩戴口罩的人脸检测框添加到所述跟踪集中；

对于跟踪集中的跟踪目标，若连续n帧没有匹配到人脸检测框，则从所述跟踪集中去掉该跟踪目标，n为自然数；

若存在一个跟踪目标检测到连续k帧匹配到所述跟踪集中的人脸检测框，则确定该跟踪目标未正确佩戴口罩。

7.一种口罩佩戴检测装置，其特征在于，包括：

获取模块，用于获取目标人脸图像；

第一检测模块，用于将所述目标人脸图像输入到所述人脸检测模型中，得到人脸检测框；其中，所述人脸检测框包括佩戴口罩的人脸检测框和未佩戴口罩的人脸检测框；

第二检测模块，用于将检测出未佩戴口罩的所述人脸检测框输入到所述人脸关键点遮挡模型中，得到每个人脸关键点热图的预测值，所述预测值用于表示对应的位置作为人脸关键点时未被口罩遮挡的概率；

统计模块，用于统计所述检测得到未佩戴口罩的所述人脸检测框中各人脸关键点预测值的大小及其比例，其中，所述各人脸关键点为预设口罩区域的关键点；

确定模块，用于根据统计结果重新判断未佩戴口罩的所述人脸检测框是否正确佩戴口罩。

8.根据权利要求7所述的口罩佩戴检测装置，其特征在于，所述统计模块包括：

统计单元，用于统计未佩戴口罩的所述人脸检测框的口、鼻、下颌处的关键点的预测值大于第一预设阈值的关键点数量；

其中，所述确定模块包括：判断单元，用于判断所述关键点数量是否大于第二预设阈值；确定单元，用于在所述关键点数量大于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框确实未佩戴口罩；在所述关键点数量小于等于第二预设阈值时，确定该未佩戴口罩的所述人脸检测框实际已经佩戴口罩。

9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-6中任一项所述的口罩佩戴检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的口罩佩戴检测方法。

Images