CN114283462B - 口罩佩戴检测方法及系统 - Google Patents

Abstract

本发明提供了一种口罩佩戴检测方法及系统，其方法包括：获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据；将数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；将分类后的图像输入到MTCNN网络中构建人脸检测定位模型；人脸检测定位模型将定位到的人脸图像数据输入到MobileNetV1网络训练得到口罩检测模型；在口罩佩戴情况检测时，人脸检测定位模型对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模型进行口罩佩戴情况检测，其系统包括图像获取模块、人脸检测定位模块和口罩检测模块。本发明，具有较高的准确率，在训练集中准确率达到99.34％，在测试集中准确率达到98.75％。

Description

口罩佩戴检测方法及系统

技术领域

本发明涉及人工智能计算机视觉技术领域，具体地，涉及口罩佩戴检测方法及系统。

背景技术

目前许多公共场所的口罩检测仍基本采用人工监督的方式，但像地铁、机场等人流众多的场合，完全依靠人力检测不仅会增加工作人员被感染的风险，检测结果也会受到人的精力和视力范围的影响。而且近年来计算机技术快速发展，基于深度学习的视频图像目标检测技术逐渐发展起来。因此在新冠疫情爆发后，很多企业也都投入到智能口罩检测的研发中。当前已有的一些视频口罩检测大多数是利用one-stage算法实现，如SSD(SingleShot MultiBox Detector)、YOLO(You Only Look Once)等，这类算法会在检测到人脸的同时判断是否佩戴了口罩。但是利用这些算法仍然存在模型过大、需要GPU(GraphicsProcessing Unit)加持和不便于嵌入式应用的情况。

针对上述问题，急需新的方法，能够高效、准确地实现口罩的规范佩戴检测，并同时保证嵌入式应用和部署的要求。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种口罩佩戴检测方法及系统。

第一方面，本发明提供一种口罩佩戴检测方法，包括如下步骤：

步骤S1，获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据；

步骤S2,将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；

步骤S3,将分类后的图像输入到MTCNN网络中构建人脸检测定位模型；

步骤S4,所述人脸检测定位模型将定位到的人脸图像数据输入到MobileNet V1网络训练得到口罩检测模型；

步骤S5,在口罩佩戴情况检测时，所述人脸检测定位模型对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模型进行口罩佩戴情况检测。

可选地，所述步骤S3进一步包括：

步骤S301，将数据集中的图像进行不同尺度的变换，构建图像金字塔；

步骤S302，将得到的所述图像金字塔传入所述MTCNN网络的PNet网络层中，生成第一人脸候选框，利用所述第一人脸候选框截取出若干第一区域；

步骤S303，将所述候选框截取出的第一区域传入到所述MTCNN网络的RNet网络层中，对若干第一区域进行评分，判断出是否含有人脸，对所述第一人脸候选框进行区域修正，得到第二人脸候选框；

步骤S304，利用第二人脸候选框再次截取出若干第二区域，并传入到MTCNN网络的ONet网络层中，所述ONet网络会再次判断是否含有人脸，并再次对所述第二人脸候选框进行修正，在所述ONet网络判断出含有人脸后，所述ONet网络根据人脸特征对人脸进行定位；

步骤S305，重复执行步骤S301至步骤S304，直至步骤S1中所搜集的数据集中的所有图像数据均进行了人脸检测和定位。

可选地，所述MobileNet V1网络在训练前进行参数设置，所述参数设置进一步包括：

用ModelCheckpoint函数设置权值保存的细节；

用ReduceLROnPlateau函数设置学习率下降的方式；

通过EarlyStopping函数设定训练早停方式；

设定训练的损失函数和损失函数的优化方法，并设置一次训练输入图片数量；

设定输入的所述定位到的人脸图像数据的增强方式。

可选地，所述步骤S4进一步包括：

步骤S401：将输入的定位到的人脸图像数据进行随机打乱，划分训练集和验证集；

步骤S402：设置输入到MobileNet V1网络的图片大小、类别数量和模型保存的位置；

步骤S403：选定MobileNet V1网络的预训练权重进行迁移学习得到口罩检测模型。

可选地，所述口罩检测模型训练时采用冻结训练和解冻训练相结合的方式。

进一步地，本发明还提供一种口罩佩戴检测系统，用于实施权利要求上述所述的口罩佩戴检测方法，其特征在于包括：

图像获取模块：用于获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据，并将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；

人脸检测定位模块：对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模块；

口罩检测模块：用于进行口罩佩戴情况检测。

与现有技术相比，本发明具有如下的有益效果：

本发明的口罩检测方法及系统具有较高的准确率，在训练集中准确率达到99.34％，在测试集中准确率达到98.75％。

本发明的口罩检测方法及系统的口罩检测模型大小得到大幅缩减，仅为12.5MB，且能够不依赖GPU进行使用，满足了嵌入式应用和实时性的要求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中视频口罩检测方法的步骤流程图；

图2为本发明实施例中MTCNN网络的结构示意图；

图3为本发明实施例中MobileNet V1的深度可分离卷积基本结构示意图；

图4为本发明实施例中模型的loss值随世代次数变化的曲线图；

图5为本发明实施例中模型的准确率随世代次数变化的曲线图；

图6为本发明实施例中视频口罩检测的效果图；

图7为本发明实施例中视频口罩检测系统的模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例中视频口罩检测方法的步骤流程图；图2为本发明实施例中MTCNN网络的结构示意图；图3为本发明实施例中MobileNet V1的深度可分离卷积基本结构示意图；图4为本发明实施例中模型的loss值随世代次数变化的曲线图；图5为本发明实施例中模型的准确率随世代次数变化的曲线图；图6为本发明实施例中视频口罩检测的效果图；图7为本发明实施例中视频口罩检测系统的模块示意图，请参阅图4，图5分别为本发明实施例中模型的loss值和准确率随世代次数变化的曲线。可以发现loss值总体上处于下降收敛趋势，准确率处于上升趋势，并向1逼近。从loss值角度分析，在冻结训练时，验证集的loss处于震荡状态，在解冻训练后逐步趋向收敛，而训练集的loss可以明显观察出收敛趋势。从准确率角度分析，在冻结训练时，验证集的准确率要低于训练集，但随着训练进行，在进入解冻训练后，两者的准确率都接近于100％，最终在训练集中达99.34％，在测试集中达98.75％。

图6为本发明实施例中视频口罩检测的效果图，在视频检测时，利用OpenCV读取摄像头的视频，进行人脸检测，一旦检测到人脸，就对检测到的人脸进行编码和对齐，随后传入MobileNet V1网络进行口罩的检测。从图6的结果来看，本发明实例中的视频口罩检测不论在光照充足还是光线昏暗的情况下，都能准确检测出未佩戴口罩(nomask)、佩戴不规范(Irregularmask)和准确佩戴(mask)的情况，而且每秒帧率都在20左右，能够实现实时检测；参见图1、图2，本实施例中的方法包括如下步骤：

步骤S1，获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据。

本实施例在具体实施过程中，数据集中包括共有852张图像，图像的格式都转换成JPEG并放入指定的文件夹。

步骤S2,将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别。

在本实施例中。其中规范佩戴口罩的有267张，未佩戴口罩有430张，不规范佩戴口罩的有155张。然后将图像分别以所属类别命名。

步骤S3,将分类后的图像输入到MTCNN网络中构建人脸检测定位模型。

在本实施例中，步骤S3进一步包括：

步骤S301，将数据集中的图像进行不同尺度的变换，构建图像金字塔。

步骤S302，将得到的所述图像金字塔传入所述MTCNN网络的PNet网络层中，生成第一人脸候选框，利用所述第一人脸候选框截取出若干第一区域；

步骤S303，将所述候选框截取出的第一区域传入到所述MTCNN网络的RNet网络层中，对若干第一区域进行评分，判断出是否含有人脸，对所述第一人脸候选框进行区域修正，得到第二人脸候选框；

步骤S304，利用第二人脸候选框再次截取出若干第二区域，并传入到MTCNN网络的ONet网络层中，所述ONet网络会再次判断是否含有人脸，并再次对所述第二人脸候选框进行修正，在所述ONet网络判断出含有人脸后，所述ONet网络根据人脸特征对人脸进行定位；

步骤S305，重复执行步骤S301至步骤S304，直至步骤S1中所搜集的数据集中的所有图像数据均进行了人脸检测和定位。

在本实施例中，MTCNN网络可分为PNet、RNet和ONet三层网络结构，其通过级联的方式进行稳定高效的人脸检测。

其中，PNet网络是第一层，全称为Proposal Network，是一个全卷积网络，它将构建完成的图像金字塔进行初步特征提取与边框标定。其输出包含两个参数：

网格点上框的置信度；

2.回归框的位置。

但此时得到的回归框的位置并不是在图像上的真实位置，需要再次进行解码映射。具体解码过程如下：

(1)判断网格点的置信度，若较高，则认为该网格点内存在人脸；

(2)记录上述置信度较高的网格点的横纵坐标；

(3)计算图像上的真实回归框的左上角和右下角基点。解码完成后，再次进行回归框调整，并利用非极大抑制算法对不合格窗口进行过滤。

RNet网络是第二层，全称为Refine Network，其构造是一个卷积神经网络。相对于PNet网络而言，RNet网络增加了一个全连接层，筛选更加严格。结合图2来看，图片在经过PNet网络处理后，仍然后会留下较多的预测窗口。因此我们将PNet网络所有的预测窗口送入R-Net网络，滤除大量效果较差的预测窗口。

RNet网络的输出也包含两个参数：

1.网格点上框的置信度；

2.回归框的位置。

但此时得到的回归框的位置也并不是在图像上的真实位置，需要再次进行解码映射。该解码过程需要和PNet网络的结果进行结合，但与PNet网络的回归方式不同，RNet网络的回归是通过长宽比例的缩小进行调整。解码完成后，再次进行回归框调整，并利用非极大抑制算法对不合格窗口进行过滤。

ONet第三层网络，全称为Output Network，工作流程与RNet网络类似，是一个较为复杂的卷积神经网络。对于RNet网络而言，ONet网络多了一个卷积层。ONet网络的这一层结构会通过更多的监督来识别人脸区域，而且会对面部特征点进行回归，最终输出五个特征点，

如图2中ONet所示。ONet网络的输出包含三个参数：

1.网格点上框的置信度；

2.回归框的位置；

3.人脸的五个特征点。

此时得到的回归框的位置也并不是在图像上的真实位置，也还需要再次进行解码映射。该解码过程需要和RNet网络的结果进行结合，这里与RNet网络的回归方式相同，通过长宽比例的缩小进行调整。解码完成后，最后对回归框进行调整，并再次利用非极大抑制算法优化预测结果。

在通过MobileNet V1网络训练口罩检测模型前，需预先对MobileNet V1网络进行参数设置：

参数设置进一步包括：

用ModelCheckpoint函数设置权值保存的细节。

在本实施例中，用keras中的ModelCheckpoint函数对权值保存进行相关的设置，其中的monitor参数采用验证集的loss(损失)值，save_weights_only参数设置为True，save_best_only参数设置为False，并且设置每2个世代保存一次训练权重。

用ReduceLROnPlateau函数设置学习率下降的方式；

在本实施例中，用keras中的ReduceLROnPlateau函数对学习率进行设置，在冻结训练时的初始学习率为0.001，在全解冻训练时的初始学习率为0.0001，如果验证集的loss值连续3次不下降，就将学习率降低为一半继续训练。其它的参数factor＝0.5，verbose＝1。

通过EarlyStopping函数设定训练早停方式；

在本实施例中，用keras中的EarlyStopping函数对训练早停方式进行设置，如果验证集的loss值连续10次不下降则提早结束训练。其他的参数min_delta＝0，patience＝10，verbose＝1。

设定训练的损失函数和损失函数的优化方法，并设置一次训练输入图片数量，其中，输入图片数量可以为8。

在本实施例中，设定的损失函数为交叉熵损失函数，交叉熵损失函数的公式如下：

其中，N为样本总数；M为类别的数量；y_ic为符号函数(0或1)，如果样本i的真实类别等于c取1，否则取0；p_ic为观测样本i属于类别c的预测概率，i为观测样本的个数，L为交叉熵损失值。

而且，上述实施例中的交叉熵损失函数可以通过Adam优化器进行优化，其中，Adam优化器的学习率在冻结训练时为0.001，在全解冻训练时为0.0001。

设定输入的所述定位到的人脸图像数据的增强方式。

在本实施例中，人脸图像数据的增强方式可以为扭曲、翻转和色域变换等方式，通过上述方式进行数据增强，让训练后的网络更具鲁棒性。

步骤S4,所述人脸检测定位模型将定位到的人脸图像数据输入到MobileNet V1网络训练得到口罩检测模型；

在本实施例中，MobileNet V1模型是谷歌针对手机等嵌入式设备提出的一种轻量级的深层神经网络，核心内容是应用深度可分离卷积，因而大大缩减了参数量。其中标准卷积和深度可分离卷积的计算如下所示：

标准卷积计算量：C1＝F₁×F₁×M×N×F₂×F₂

深度可分离卷积计算量：C2＝F₁×F₁×M×F₂×F₂+M×N×F₂×F₂

其中F₁，F₂分别表示输入特征层和输出特征层的宽和高，M和N分别表示输入通道数和输出通道数，输入的特征层的大小为F₁×F₁×M，输出的特征层的大小为F₂×F₂×N。

一般情况下，输出通道数N较大，因此应用深度可分离卷积可以大大缩减了参数量。所以在建立模型时，利用Keras中的DepthwiseConv2D来实现深度可分离卷积，然后再利用1*1卷积调整通道数。此时3*3的卷积核厚度只有一层，并在输入张量上一层一层滑动，每卷积一次生成一个输出通道，最后利用1*1的卷积调整厚度。

但在真正应用中，还会利用标准化和ReLU激活函数，MobileNet V1中的深度可分离卷积基本结构如图3所示。

在MobileNet V1的网络结构中，首先是一个3*3的标准卷积，接着就是深度可分离卷积的堆积，但有部分的深度卷积会通过步长为2进行下采样，然后采用平均池化将特征层转换成1*1，并根据预测类别数加上全连接层和softmax层。

在一种可选的实施方式中，步骤S4具体包括如下步骤：

步骤S401：将输入的定位到的人脸图像数据进行随机打乱，划分训练集和验证集；

在本实施例中，输入人脸图像数据的名字生成txt文档，定位到的人脸图像数据通过shuffle进行打乱，其中，90％的人脸图像数据划分为训练集，10％的人脸图像数据划分为验证集。

步骤S402：设置输入到MobileNet V1网络的图片大小、类别数量和模型保存的位置；

在本实施例的具体实施过程中，图像的宽高都为224厘米，如果宽高不是224*224厘米，就对图片进行大小的调整，这种调整主要通过在边缘添加灰度条的方式进行，使得主体不发生失真现象，类别数量为3。

步骤S403：选定MobileNet V1网络的预训练权重进行迁移学习得到口罩检测模型。

在本实施例中，MobileNet V1网络的预训练权重是选用现有的预训练权重，通过选定MobileNet V1网络的预训练权重进行迁移学习提高模型的训练效率，加速收敛。

步骤S5,在口罩佩戴情况检测时，所述人脸检测定位模型对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模型进行口罩佩戴情况检测。

在一种可选的实施方式中，所述口罩检测模型训练时采用冻结训练和解冻训练相结合的方式。

在本实施例中，在对口罩检测模型训练进行在迁移学习时，首先冻结网络训练50个世代，由于主干部分提取出来的特征是通用的，因此这部分不训练主干特征提取网络。

然后全解冻训练50个世代，训练出适合本次视频口罩检测的模型。需要注意的是，在全解冻训练时，由于训练的特征层变多，解冻后所需显存变大，因此需要根据计算机的配置对每次放入图片的张数进行具体的设定，在本发明实施例中，我们都设置为8(其中，计算机配置为2070S显卡,8G的显存)。

本发明还提供了一种口罩佩戴检测系统的实施例，用于实施上述实施例中提到的方法，其中，

一种口罩佩戴检测系统，包括：

图像获取模块1：用于获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据，并将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；

人脸检测定位模块2：对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模块；

口罩检测模块3：用于进行口罩佩戴情况检测。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种口罩佩戴检测方法，其特征在于，包括如下步骤：

步骤S1，获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据；

步骤S2,将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；

步骤S3,将分类后的图像输入到MTCNN网络中构建人脸检测定位模型，所述步骤S3进一步包括：

步骤S301，将数据集中的图像进行不同尺度的变换，构建图像金字塔；

步骤S302，将得到的所述图像金字塔传入所述MTCNN网络的PNet网络层中，生成第一人脸候选框，利用所述第一人脸候选框截取出若干第一区域；

步骤S303，将所述候选框截取出的第一区域传入到所述MTCNN网络的RNet网络层中，对若干第一区域进行评分，判断出是否含有人脸，对所述第一人脸候选框进行区域修正，得到第二人脸候选框；

步骤S304，利用第二人脸候选框再次截取出若干第二区域，并传入到MTCNN网络的ONet网络层中，所述ONet网络会再次判断是否含有人脸，并再次对所述第二人脸候选框进行修正，在所述ONet网络判断出含有人脸后，所述ONet网络根据人脸特征对人脸进行定位；

步骤S305，重复执行步骤S301至步骤S304，直至步骤S1中所搜集的数据集中的所有图像数据均进行了人脸检测和定位；

步骤S4,所述人脸检测定位模型将定位到的人脸图像数据输入到MobileNet V1网络训练得到口罩检测模型，所述MobileNet V1网络在训练前进行参数设置，所述参数设置进一步包括：

用ModelCheckpoint函数设置权值保存的细节；

用ReduceLROnPlateau函数设置学习率下降的方式；

通过EarlyStopping函数设定训练早停方式；

设定训练的损失函数和损失函数的优化方法，并设置一次训练输入图片数量；

设定输入的所述定位到的人脸图像数据的增强方式；

步骤S5,在口罩佩戴情况检测时，所述人脸检测定位模型对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模型进行口罩佩戴情况检测。

2.根据权利要求1所述的口罩佩戴检测方法，其特征在于，所述步骤S4进一步包括：

步骤S401：将输入的定位到的人脸图像数据进行随机打乱，划分训练集和验证集；

步骤S402：设置输入到MobileNet V1网络的图片大小、类别数量和模型保存的位置；

步骤S403：选定MobileNet V1网络的预训练权重进行迁移学习得到口罩检测模型。

3.根据权利要求1所述的口罩佩戴检测方法，其特征在于，所述口罩检测模型训练时采用冻结训练和解冻训练相结合的方式。

4.一种口罩佩戴检测系统，用于实施权利要求1-3中任意一项权利要求所述的口罩佩戴检测方法，其特征在于包括：

图像获取模块：用于获取数据集，其中数据集中包含人脸和人脸佩戴口罩的图像数据，并将所述数据集中的图像分成未佩戴口罩、规范佩戴口罩和不规范佩戴口罩三个类别；

人脸检测定位模块：对输入图像进行人脸检测和定位，在检测和定位到人脸后，截取人脸图像，将截取的人脸图像数据传输至口罩检测模块；

口罩检测模块：用于进行口罩佩戴情况检测。