CN113762200B - 基于lffd的口罩检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于LFFD的口罩检测方法，包括：步骤1：制作训练集；步骤2：构建预设的SP‑LFFD人脸检测网络和分类网络，并进行训练；步骤3：先将输入的图片进行人脸检测，然后获得人脸位置后再送入分类网络判断输入的图片的每一个人脸目标是否佩戴口罩；其中，预设的SP‑LFFD人脸检测网络包括25个卷积层，分为4个部分，各卷积层采用基于Split的SPConv卷积单元代替常规卷积。本发明针对口罩佩戴检测场景采用LFFD检测框架和Resnet18图像分类，采用SPConv卷积替代常规卷积，降低常规卷积中的冗余信息，可以大幅度提升推理速度，同时采用ResNet18网络对检测到的人脸目标进行二分类，判断是否佩戴口罩。整体网络结构模型小，计算效率高。

Description

基于LFFD的口罩检测方法

技术领域

本发明涉及口罩检测技术领域，尤其涉及一种基于LFFD的口罩检测方法。

背景技术

新冠疫情的爆发影响一直延续到现在，公共卫生防护要求不断被强调。为防止新冠病毒的交叉传染，公共场所出入佩戴口罩是防范传染的基本措施，戴口罩出行有利于保障自身和他人的安全，有效控制疫情传播。同时在ATM、银行等监控系统中，口罩的佩戴检测功能可以对可疑人物进行检测；在手术室检测医生是否佩戴口罩来监督医生的工作的选择，避免发生由工作失误导致的医疗事故。佩戴口罩出行有利于保障自身和他人的安全，有效控制病毒传播。公共场所出入佩戴口罩是防范病毒传播的基本措施，同时在ATM、银行、手术室等关键场景，口罩佩戴的检测也很关键。

随着智能化设备以及技术的发展，口罩佩戴检测已逐步从人工向机器设备检测转移。采用机器视觉代替人工是自动化的重要研究方向。自动检测口罩佩戴系统的优点在于节省人力、智能提醒、信息化监控。在突发重大疫情时，可以用于监督和提示公众戴好口罩出门，可以搭载在无人机上，在巡视时自动检测没有戴口罩出行的人并进行劝告。在公共场所如公交车、地铁站、超市、学校等各大公共场所的出入口门禁系统中，对未佩戴口罩的进行提醒。通过技术提高公共卫生防护能力，节约社会资源和运营成本，降低人力资源成本。所以快速而精确的检测识别出人们佩戴口罩的问题，对于日后生活中的安全管理及智能化信息管理具有重要的意义。

口罩佩戴检测的方法可以分为传统图像处理方法和机器学习方法。传统方法基本思想是通过图像处理技术区分背景和人像前景，然后再找到人脸区域，并对人脸区域是否佩戴口罩进行识别。具体地，通过双眼检测得到眼部肤色面积和鼻子口部区域的肤色面积进行比较，若前者小于后者则为无口罩；若后者小于前者为戴口罩。另外加入嘴巴鼻子检测，和对戴口罩人脸的口罩边缘进行霍夫直线检测作为参考决策。初始图像预处理阶段主要采用了滤波、二值化、腐蚀膨胀、边缘检测等算；然后采用OpenCV分类器进行人脸、鼻子、嘴巴的检测；当双眼检测到后得到眼部肤色区域，然后根据肤色轮廓计算肤色面积；确定眼部区域后，计算鼻口部区域肤色的轮廓面积；最后根据比较规则判断是否佩戴口罩。

随着深度学习技术在图像识别领域的发展，不断地有新的检测识别技术被提出。在口罩佩戴检测方面，目标检测方法主要分为一阶段和两阶段两大类。其中两阶段的方法，以R-CNN(Region-CNN)为代表，使用候选区域和CNN(Convolutional Neural Network，卷积神经网络)代替滑动窗口和手工设计特征的方法进行目标检测，来提升准确率和检测速率，还有后期优化设计的Fast R-CNN和Faster R-CNN等网络。一阶段的方法，分类和box的回归是同步的，一般会结合anchor和多尺寸图像变换(图像金字塔)一起使用，以YOLO(You OnlyLook Once，Yolo v1/v2/v3等)系列的检测算法和SSD(Single Shot MultiBox Detector)检测算法为代表，算法在检测精度和时间上较之前的算法均取得了更好的效果。通常目标检测网络在设定anchor时为了能覆盖各种不同尺寸和形状的物体，anchor的大小以及长宽比例都是不一样的，所以在一阶段的目标检测中，anchor是网络中必不可少的部分。而且目前在大部分目标检测算法中，使用模型大、参数多的网络框架，有较好的准确率，但很难保证速度；使用轻量框架模型小，又无法满足准确率要求，尤其是小人脸区域的口罩检测是个难题。有研究者提出基于SSD网络结构修改，直接检测人脸区域是否佩戴口罩，分为两类。或主干网络加上定位和分类层包含8个卷积层，使用anchor-based的设计，用多个卷积层后的特征映射图来定位和检测原始图像的人脸区域，用交叉熵损失函数计算预测是否佩戴口罩两个类别的损失。

然而，现有的网络层数不断增加，虽然网络性能得到了提高，但同时也带来存储问题和运行效率问题。现有的口罩检测技术对目标较多的情况下，检测效果不好；此外，还存在对特征利用率低的缺点，导致计算量大，存在计算效率低的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于LFFD的口罩检测方法，以提升检测速度和准确率。

为了解决上述技术问题，本发明实施例提出了一种基于LFFD的口罩检测方法，包括：

步骤1：采集公共场合下人们佩戴口罩和未佩戴口罩的图像，按清晰度进行筛选样本，制作训练集；

步骤2：构建预设的SP-LFFD人脸检测网络和分类网络，并通过训练集进行训练；

步骤3：先将输入的图片送入到训练后的SP-LFFD人脸检测网络进行人脸检测，然后获得人脸位置后再送入分类网络判断输入的图片的每一个人脸目标是否佩戴口罩，获得最终结果；

其中，预设的SP-LFFD人脸检测网络包括25个卷积层，分为4个部分，各卷积层采用基于Split的SPConv卷积单元代替常规卷积。

进一步地，所述分类网络采用ResNet18网络，ResNet18网络对SP-LFFD人脸检测网络输入的检测目标进行分类，判断输入的图片的每一个人脸目标是否佩戴口罩。

进一步地，步骤2中，采用以下方式对训练集中图像数据进行预设的增强操作：

1、随机增加或降低亮度、对比度、光照；

2、对每个样本进行随机缩放，增强检测网络对不同尺度的泛化性；

3、随机增加阴影；

4、随机选取4张按不同比例组成一张图送入SP-LFFD人脸检测网络训练。

本发明的有益效果为：本发明针对口罩佩戴检测场景采用LFFD检测框架和Resnet18图像分类，采用SPConv卷积替代常规卷积，降低常规卷积中的冗余信息，可以大幅度提升推理速度，同时采用ResNet18网络对检测到的人脸目标进行二分类，判断是否佩戴口罩。整体网络结构模型小，计算效率高。

附图说明

图1是本发明实施例的基于LFFD的口罩检测方法的整体框图。

图2是本发明实施例的基于LFFD的口罩检测方法的流程示意图。

图3是本发明实施例的SPConv示意图。

图4是本发明实施例的SP-LFFD示意图。

图5是本发明实施例的Basic Block示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

请参照图2，本发明实施例的基于LFFD的口罩检测方法，包括：

步骤1：采集公共场合下人们佩戴口罩和未佩戴口罩的图像，按清晰度进行筛选样本，制作训练集；

步骤2：构建预设的SP-LFFD人脸检测网络和分类网络，并通过训练集进行训练；

步骤3：先将输入的图片送入到训练后的SP-LFFD人脸检测网络进行人脸检测，然后获得人脸位置后再送入分类网络判断输入的图片的每一个人脸目标是否佩戴口罩，获得最终结果；

其中，预设的SP-LFFD人脸检测网络包括25个卷积层，分为4个部分，各卷积层采用基于Split的SPConv卷积单元代替常规卷积。

人脸检测网络采用修改后的的SP-LFFD网络，其中SPConv卷积替代常规卷积来降低冗余信息，把感受野RF当作是anchor，充分利用感受野RF、有效感受野ERF与人脸检测的关系。我们认为浅层网络层的有效感受野应该与小目标尺寸的比值较大，这样可以充分利用周围特征对人脸目标检测的贡献；深层网络层其感受野较大，大目标本身有足够的人脸信息可以帮助判别，所以不需要太大的有效感受野与待检人脸区域比例。当获得了每一个人脸目标，我们再对图片进行二分类——是否佩戴口罩。由于人脸目标检测大小不一，会遇到多尺度问题，考虑采用残差结构来解决特征退化问题，弱化每层之间的强联系，于是采用了ResNet18的网络结构对输入的检测目标进行二分类，获得最终结果。具体的整体方法框图如图1所示。

常规卷积得到的特征图通常高度相似，同一层内的许多特征具有相似性，这类具有相似模式的特征却难以判断是否存在冗余或包含重要的细节信息。本方法采用了基于Split(拆分)的卷积计算单元(称之为SPConv)来降低常规卷积中的冗余信息，它允许存在相似模型冗余但计算量少的特征，示意图如图3所示。

首先，将输入的特征图按一定比例(设为α，一般取0.5)分为两部分，representative部分与uncertain部分；然后，representative部分特征采用k*k(如3*3)的卷积提取重要信息，由于仍可能存在冗余将继续进一步使用Group-wise卷积来降低冗余，其中每个块对应于通道的一个分区，分区之间没有连接，即切断了跨信道的连接，采用Point-wise卷积来补偿信息损失，通过Add方式对两者的输出特征进行融合；对于uncertain部分采用1*1的卷积提取隐含的细节信息；最后，对于得到的上下两个分支的特征，采用无参数的特征融合模块重新校准与融合两组特征，该融合模块不会引入额外的参数并能取得更好的性能，得到最终的输出特征。SPConv是一种即插即用型模块，可用于替换现有网络中的常规卷积，主要是重新对常规卷积中的特征冗余问题进行拆分，并进行不同的信息提取方式，具有更少的FLOPs和参数量。

LFFD网络整个结构有为25层，分为4个部分：tiny part，small part，mediumpart，large part。其中有8个branch，由stride(平移步数)和RF的大小决定branches放置的位置，其是为了检测不同尺寸的人脸。每一个branch的损失都是由两部分：类别损失和box坐标的损失决定，详细参数见表1所示。

表1

tiny part部分有十个卷积层，输入是图片，前面两个卷积层c1、c2是对图片进行下采样，其中c1的stride等于4，c2的stride等于2，选择较大的stride值进行下采样是为了待检测人脸目标能够被RF完整覆盖。100像素RF的有效感受野为20-40像素，所以tiny part部分的c8的RF尺寸为55去检测10-15像素的人脸，c10检测15-20像素，以此类推。smallpart部分网络层c11至c15负责对20-40和40-70尺寸之间的检测，medium part部分网络层c16至c18负责对70-110尺寸之间的检测。large part部分是在LFFD网络结构的最后阶段，由于特征图较小通过少量的计算就能检测到大尺寸的人脸，所以RFs和平均人脸尺寸的比例也很接近。其中RF与平均人脸尺寸的比值随着层数加深而减少，RF Size的计算方式为：RF(i)＝RF(i-1)+(k-1)*S，其中k为i-1层到i层的kernel size值，S为stride值。当RF中心落在ground truth内的box为正样本，同时落在多个ground truth中的box为负样本，其他没有落在任何ground truth中的box也为负样本。

小人脸的检测往往需要更多的上下文信息，ERF能尽可能覆盖上下文信息；中人脸的检测需要少量的上下文信息，ERF只需覆盖一部分上下文信息；大人脸的检测直接使用感受野，ERF不需要覆盖其他额外的上下文信息。因此对于loss分支的设置，在tiny part这一部分的两个branch中，loss branch1在第八层卷积层c8开始的，此处RF大小为55，lossbranch 2是第十层卷积层c10开始的，此处RF大小为71，这样能保证至少两个RFs的中心能落在最小的目标上，达到完全覆盖。在针对tiny face检测时使用比平均人脸尺寸较大的RFs，这个RFs和平均人脸尺寸的比例分别为4.4(loss branch 1)、4.0(loss branch 2)。随着网络层的变深在整个网络的branch中，他们的比例是在逐步减少的，逐渐接近于人脸尺寸。medium part只有一个loss branch在c18处来计算loss。large part部分计算了c21，c23，c25共3个部分的loss branch。在四部分中分别取2、2、1、3路共8路进行检测不同尺寸的人脸并进行loss计算。

LFFD网络中包含3x3的卷积核和1x1的卷积核，以及残差模块组成。但如上述，常规卷积仍有高度相似的特征图，存在冗余信息。因此采用基于Split的SPConv卷积单元代替常规卷积，使得在卷积计算的过程中，特征图被充分利用，且可大幅提升推理速度。针对原有的LFFD人脸检测网络修改后的SP-LFFD网络示意图如图4所示。

在设计人脸检测网络的时候，为了提高计算速度，舍去了BN层(BatchNormalization)，同时并排使用残差网络增加网络的深度。且前面两个部分(tiny part部分、small part部分)的特征图比较大，卷积设置filters都为64，后两个部分(medium part部分、large part部分)增加到128。

RF是特征图上的某个点能看到的输入图像的区域，即特征图上的点是由输入图像中感受野大小区域的计算得到的。如果RF区域包含待检目标，则可以高概率检测到该目标。RF的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。普遍认为，浅层的网络RFs是比较小的，深层网络的RFs比较大。而实际的有效感受野(ERF)往往小于理论感受野，因为输入层中边缘点的使用次数明显比中间点要少，因此作出的贡献也不同。RF中心周围像素做的贡献大，离开中心越远贡献越小，所以经过多层的卷积堆叠后，输入层对于特征图点做出的贡献分布呈高斯分布形状，因此使目标位于RF的中间也很重要。

一阶段的目标的检测最大的特点就是预先设定好anchor，为了检测到不同大小和形状的物体，所以anchor也会被设置成不同的大小和比例。由于检测近似为正方形，anchor的长宽比例可设置为1：1。如果kernel的宽和高相等，则RF也为正方形。那RF就被认为是“anchors”。RF和目标的匹配策略是：仅当RF的中心位于ground truth bbox中(而不是设置IOU的阈值)时，RF才与ground truth bbox匹配。通过控制RF的stride值，该方法可以实现所有人脸的检测。此外，RF结合我们的匹配策略可以检测连续不同尺寸的人脸，这样即减轻了anchor值的不平衡问题，并且每个尺寸比例的人脸都获得了检测。基于此，本发明检测人脸方法是没有单独创建任何的anchor和ground truth bboxes进行匹配，也即是没有anchor的。通过感受野复用为Anchor，模型中所有感受野均匀的固定的分布在输入图像上，无需手动设计。

Loss是回归损失(regression loss)和分类损失(classification loss)的加权和，在每个loss branch，他有两个子分支用于人脸分类和bbox回归。对于人脸分类的classification loss，我们使用交叉熵损失(crossentropy loss)，和RF anchors相匹配的为正样本，其余的都是负样本，但匹配到多个人脸的RF anchors需要忽略。对于bbox的regression loss，使用L2-loss预测相对值。Regression groundtruth定义为以下四个值：

其中的RF_s表示RF的大小，RF_x和RF_y是RF的中心坐标，

和/>

是box左上角的坐标，/>

和/>

是box右下角的坐标。对他们全都除以RF_s/2是为了正则化。只有RF与正样本的box进行匹配的时候(也即人脸的真实中心位置在感受野内)才计算该loss，否则忽略不计算。在最终计算loss的时候，regression loss和classification loss取相同的权重。

作为一种实施方式，所述分类网络采用ResNet18网络，ResNet18网络对SP-LFFD人脸检测网络输入的检测目标进行分类，判断输入的图片的每一个人脸目标是否佩戴口罩。

完成了人脸检测之后需要对人脸进行分类，判断其是否佩戴口罩。由于受光线、遮挡、图像尺寸等影响，考虑采用卷积神经网络进行分类。但当网络堆叠到一定深度时，会出现深层网络比浅层网络效果差的情况。本发明的分类实际是佩戴和没有佩戴口罩，类别数目较少，选择采用ResNet18网络，采用残差网络了隔层相连，弱化每层之间的强联系。残差结构称为Basic Block，输入数据分成两条路，一条路经过两个3*3卷积，另一条路径直接短接，二者相加经过Relu输出，如图5所示。

在完整的ResNet18结构中，有些残差块的短接(short cut)是实线的，而有些则是虚线的。这些虚线的short cut上通过1×1的卷积核进行了维度处理完成下采样——特征矩阵在长宽方向降采样，深度方向调整成下一层残差结构所需要的通道数。每个相同尺寸的卷积层称为stage，每个stage通过步长为2的卷积层执行下采样，而却这个下采样只会在每一个stage的第一个卷积完成，有且仅有一次。通过全局自适应平滑池化，把所有的特征图拉成1*1，然后接全连接层输出，输出预测类别的节点个数。

作为一种实施方式，由于采集数据有限，且现实中佩戴口罩各异以及遮挡等情况，为了达到更准确的效果，需要对数据进行一定比例的增强操作。

1、随机增加或降低亮度，对比度，光照等。

2、对每个样本进行随机缩放，增强检测网络对不同尺度的泛化性。

3、随机增加阴影。

4、马赛克增强。随机选取4张按不同比例组成一张图送入网络训练，这样可以增加训练的图片和不同比例的目标与背景，丰富检测物体的背景。

相比现有的口罩检测方法，本发明具有以下优点：

(1)、相比现有的两阶段的检测网络，本发明检测目标更快；

(2)、相比现有的一阶段的检测网络，本发明保持准确率的同时更轻量化，更适合部署。

(3)、本发明利用分类网络的高准确率降低直接检测多分类目标的误检率。

本发明对目标较多的图像检测效果好，对特征利用率更高，计算量小。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (1)

1.一种基于LFFD的口罩检测方法，其特征在于，包括：

步骤1：采集公共场合下人们佩戴口罩和未佩戴口罩的图像，按清晰度进行筛选样本，制作训练集；

步骤2：构建预设的SP-LFFD人脸检测网络和分类网络，并通过训练集进行训练；

步骤3：先将输入的图片送入到训练后的SP-LFFD人脸检测网络进行人脸检测，然后获得人脸位置后再送入分类网络判断输入的图片的每一个人脸目标是否佩戴口罩，获得最终结果；

其中，预设的SP-LFFD人脸检测网络包括25个卷积层，分为4个部分，各卷积层采用基于Split的SPConv卷积单元代替常规卷积；

首先，将输入的特征图按一定比例分为两部分，representative部分与uncertain部分，所述一定比例设为

，取值0.5；然后，representative部分特征采用3*3的卷积提取重要信息，由于仍可能存在冗余将继续进一步使用Group-wise卷积来降低冗余，其中每个块对应于通道的一个分区，分区之间没有连接，即切断了跨信道的连接，采用Point-wise卷积来补偿信息损失，通过Add方式对两者的输出特征进行融合；对于uncertain部分采用1*1的卷积提取隐含的细节信息；最后，对于得到的上下两个分支的特征，采用无参数的特征融合模块重新校准与融合两组特征，该融合模块不会引入额外的参数并能取得更好的性能，得到最终的输出特征；

所述分类网络采用ResNet18网络，ResNet18网络对SP-LFFD人脸检测网络输入的检测目标进行分类，判断输入的图片的每一个人脸目标是否佩戴口罩；

步骤2中，采用以下方式对训练集中图像数据进行预设的增强操作：

1、随机增加或降低亮度、对比度、光照；

2、对每个样本进行随机缩放，增强检测网络对不同尺度的泛化性；

3、随机增加阴影；

4、随机选取4张按不同比例组成一张图送入SP-LFFD人脸检测网络训练。

Images