CN114049325A - 轻量化人脸口罩佩戴检测模型的构建方法及应用 - Google Patents

Abstract

本发明提供了一种轻量化人脸口罩佩戴检测模型的构建方法及应用，包括获取数据，对其进行视频解码为帧和图像增强，并将其输入到神经网络模型进行训练，得到训练好的人脸口罩佩戴检测模型；将实时获取的图像数据输入模型中得到检测结果，根据结果对图像进行标记，并返回计算机进行语音提示。其中，神经网络模型包括主干特征提取模块、深度可分离卷积模块、多尺度融合模块和预测输出模块；通过深度可分离卷积模块可实现模型计算的轻量化，而多尺度融合模块实现多尺度、遮挡、多目标的高效检测，降低了图像识别误差，避免了特征提取不准确的问题；且该应用方法操作简便、快捷，能够适应不同的环境，提高了人脸口罩佩戴检测神经网络系统的普适性。

Description

轻量化人脸口罩佩戴检测模型的构建方法及应用

技术领域

本发明涉及物体检测技术领域，尤其涉及一种轻量化人脸口罩佩戴检测模型的构建方法及应用。

背景技术

在日常生活中，面对经呼吸道传播的传染性疾病或工厂生产过程中产生的有害颗粒物，人们佩戴口罩进行防护，可保护生命安全，减少危害源的接触，提高安全卫生等级。尤其是在疫情防控常态化的情况下，佩戴口罩成为极为有效的防控手段，因此口罩已经成为人们日常出行或去到公共场所的必需品，这就导致公共场所中口罩佩戴的检测成为一项重要的工作。在很多公共场所，采用人工检测的方式对人们是否佩戴口罩进行检测，并对未佩戴口罩者进行提醒。但是，以人工的方式对活动的人员进行监督检测耗时耗力，且近距离接触待检测人员存在一定安全风险，因此构建监控系统检测活动的人员的口罩佩戴情况，实现疫情防控的自动化、数字化将具有长期现实的需求，对社会具有重要意义。

人脸口罩佩戴检测属于计算机视觉中物体检测的范畴，物体检测在过去的二十年中可大致分为两个时期，以2014年为分水岭，2014年前是传统目标检测期，2014年之后是基于深度学习的目标检测期。随着图像处理器和大数据的发展，深度学习逐渐展露其优势，传统机器学习多阶段才能实现的功能可由深度学习串联完成，输入大量图像、语音和文本信息即可直接进行端到端的训练，在物体检测、图像分割等领域展现出远超传统算法的实力。

目前人脸口罩的检测主要分为两部分：首先是检测出人脸在口罩中的位置；然后识别出人脸是否佩戴口罩以及是否正确佩戴口罩的类别；然而现有关于口罩的数据集较少而且存在类别、环境、尺度信息等不丰富的问题。复杂的环境例如光照不平衡、光照密集、白色的噪点、人脸尺度多变等，影响了算法的鲁棒性、精度和实时性等问题。目前现有的基于深度学习的目标检测算法存在实时性差、密集目标和小目标的检测效果差，面对不同的环境算法的鲁棒性差的问题。另外由于算法在实际的复杂环境中使用时，会存在目标遮挡或多尺度等外在干扰，直接使用当前主流的木匾检测算法如YOLO，SSD仍有很多不足之处。比如模型存在训练成本高，计算消耗大，模型因为过于复杂以至于难以部署在小的设备上。

有鉴于此，有必要设计一种改进的轻量化人脸口罩佩戴检测模型的构建方法及应用，以解决上述问题。

发明内容

本发明的目的在于提供一种轻量化人脸口罩佩戴检测模型的构建方法及应用，包括用摄像头实时获取图像，对检测的图像用Opencv进行视频解码为帧并进行图像增强，将增强后的检测图像输入到训练好的基于YOLOv4的人脸口罩佩戴检测网络模型中，得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。该应用方法操作简便、快捷，能够适应不同的环境，提高了系统的普适性，为进一步优化口罩检测算法提供了新的思路和方法。

为实现上述发明目的，本发明提供了一种轻量化人脸口罩佩戴检测模型的构建方法，包括以下步骤：

S1、数据预处理

S11、获取待检测数据集，对其中的图像标注口罩位置并进行分类：未佩戴口罩、错误佩戴口罩和正确佩戴口罩；

S12、对步骤S11的所述待检测数据集中标注的图像进行图像增强；

S13、将步骤S12中所述待检测数据集中增强的图像划分训练集和验证集；

S2、模型初始化及超参数设置

初始神经网络设置三条支路，所述支路包括输入层、残差卷积层、池化层、深度可分离卷积层和融合特征层，且每层包含多条特征分支；将神经网络模型进行初始化超参数设置；

S3、模型训练

将步骤S13中所述训练集中图片输入所述神经网络模型进行训练，筛选出置信度得分最高的检测框；根据计算模型的损失函数，不断调整和优化模型的参数，当损失函数最小时，完成所述神经网络模型的训练；所述神经网络模型包括主干特征提取模块、多尺度融合模块、深度可分离卷积模块和预测输出模块；

S4、模型验证

采用步骤S1中的所述验证集对得到的训练好的神经网络模型进行测试，采用精确度，召回率和平均精度来对模型的精度进行评估，得到所述轻量化人脸口罩佩戴检测模型；

作为本发明的进一步改进，在步骤S3中，所述训练包括将所述训练集中的数据经过所述主干特征提取模块的DarkNet网络进行特征提取，得到全局特征，经过所述深度可分离卷积模块减少参数量，输入所述多尺度融合模块得到多尺度特征，将所述全局特征和所述多尺度特征进行融合处理，得到融合特征图，输入所述预测输出模块的Prediction网络得到目标定位结果。

作为本发明的进一步改进，在步骤S3中，筛选出置信度得分最高的所述检测框的方法包括将目标的置信度阈值设置为0.5，同时设置非极大值抑制算法的交并比IOU＝0.5；所述检测框为包含口罩或者不包含口罩的特征检测框。

作为本发明的进一步改进，在步骤S2中，所述初始化超参数包括学习率L值、权重衰减系数、epoch值、batch_size值和优化器设置。

作为本发明的进一步改进，在步骤S1中，所述数据预处理还包括对分类后图像的进行编号、设置相应的标签名和检测框的中心点坐标、高度和宽度(x，y，h，w)。

作为本发明的进一步改进，所述多尺度融合模块包括ASPP网络和FPN网络。

作为本发明的进一步改进，深度可分离卷积模块包括逐通道卷积模块和逐点卷积模块，可大幅度减少参数量，对原始内部特征进行深度卷积。

作为本发明的进一步改进，在步骤S13中，所述训练集和所述验证集的比例为8:2。

作为本发明的进一步改进，在步骤S12中，所述图像增强的方式包括马赛克数据增强、HSV变换、图像缩放、上下反转、图像混合或Gamma校正法中的一种或多种。

一种上述中任一项所述的轻量化人脸口罩佩戴检测模型的应用，包括以下步骤：

S1、采用摄像头实时获取数据，对所述数据采用Opencv进行视频解码为帧并进行数据增强，得到待检测数据；

S2将步骤S1中所述的待检测数据输入训练好的所述轻量化人脸口罩佩戴检测模型中，得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。

本发明的有益效果是：

1、本发明提供的一种轻量化人脸口罩佩戴检测模型的构建方法及应用，包括用摄像头实时获取图像，对检测的图像用Opencv进行视频解码为帧并进行图像增强，将增强后的检测图像输入到神经网络模型进行训练，得到训练好的人脸口罩佩戴检测模型；将实时获取的图像数据输入模型中得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。其中，神经网络模型包括主干特征提取模块、深度可分离卷积模块、多尺度融合模块和预测输出模块。该模型可以实现多尺度、遮挡、多目标的高效检测，有利于部署在资源条件有限的设备中，大幅度降低了图像识别由于分辨率等因素导致的误差，还避免了人工特征提取不准确的问题。

2、本发明通过图像增强的方式来模拟不同环境、不同设备下对采集图片的影响，提高了系统的普适性，能够运用到各种环境中。通过采用轻量化的深度可分离卷积模块来促进模型快速收敛，大量减少了卷积运算的参数，并将通道信息重新进行整合，然后对原始内部特征进行深度卷积，在不损失特征信息的情况下实现了较小的计算代价，降低训练的开销。

3、本发明采用了多尺度融合模块，单一的尺度的卷积核无法适应多角度、多尺度变化的图片；网络浅层特征分辨率较大，包含较清晰的位置信息，深层特征包含丰富的语义信息，不同尺度的特征层包含特征信息不同，该模型对不同大小的目标适应性较强。由于佩戴口罩的目标较小，利用多尺度融合模块的浅层分支可降低小目标的漏检率，在原网络的基础上增加特征分支；最后引入特征金字塔模型来提取不同尺度的目标，来解决多角度多尺度目标对模型精度的影响。该应用方法操作简便、快捷，能够适应不同的环境，提高了系统的普适性，为进一步优化口罩检测算法提供了新的思路和方法。

附图说明

图1为本发明轻量化人脸口罩佩戴检测模型的应用流程图。

图2为本发明深度可分离卷积模型示意图。

图3为普通卷积神经网络模型示意图。

图4为本发明轻量化人脸口罩佩戴检测模型示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

另外，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

一种轻量化人脸口罩佩戴检测模型的构建方法，包括以下步骤：

S1、数据预处理

S11、获取待检测数据集，采用labelme软件将其中的图像标注口罩位置并进行分类：未佩戴口罩、错误佩戴口罩和正确佩戴口罩；并将其进行编号、并设置相应的标签名生成xml文件，xml文件中还包括检测框的中心点坐标、高度和宽度(x，y，h，w)；

S12、对步骤S11的待检测数据集中标注的图像进行图像增强，其中图像增强的方式包括马赛克数据增强、HSV变换、图像缩放、上下反转、图像混合或Gamma校正法中的一种或多种；

S13、将步骤S12中待检测数据集中增强的图像划分训练集和验证集，训练集和验证集的比例为8:2；

S2、模型初始化及超参数设置

初始神经网络设置三条支路，支路包括输入层、残差卷积层、池化层、深度可分离卷积层和融合特征层，且每层包含多条特征分支；将神经网络模型进行初始化超参数设置；初始化超参数包括学习率L值、权重衰减系数、epoch值、batch_size值和优化器设置；

具体地，学习率采用线性余弦学习衰减的方式，该方式可以防止神经网络训练后期学习率过小导致网络一直在某个局部最小值中震荡，可以通过增大学习率的方式跳出局部最小值。公式如下所示：

global_step＝min(global_step,decay_step)

learning_rate:初始学习率；

global_step:用于衰减计算的全部步数；

decay_steps:衰减步数；

α:最小学习率(learning_rate)部分；

在一个具体的实施例中，学习率L值为0.0034，权重衰减系数为0.0010，epoch值设置为50，batch_size值设置为8，优化器设置为adam优化器；

S3、模型训练

将步骤S13中训练集中图片输入神经网络模型进行训练，筛选出置信度得分最高的检测框；根据目标的定位结果计算模型的损失函数，不断调整和优化模型的参数，当损失函数最小时，完成神经网络模型的训练；神经网络模型包括主干特征提取模块、深度可分离卷积模块、多尺度融合模块和预测输出模块；

具体地，训练包括将训练集中的数据经过主干特征提取模块的DarkNet网络进行特征提取，得到全局特征，经过深度可分离卷积模块减少参数量，输入多尺度融合模块得到多尺度特征；将全局特征和多尺度特征进行融合处理，得到融合特征图，输入预测输出模块的Prediction网络得到目标定位结果。其中，Prediction网络将网络划分成S*S的网格，每一个网格对应三个先验框，当某一个物体的中心点落在这个网格点中，则由这个网格点负责这个物体的预测；

在具体的实施例中，筛选出置信度得分最高的检测框的方法包括将目标的置信度阈值设置为0.5，同时设置非极大值抑制(NMS)算法的交并比IOU＝0.5。多尺度融合模块包括带有空洞卷积的空间金字塔模型(ASPP)网络和特征金字塔模型(FPN)网络。深度可分离卷积模块包括逐通道卷积模块和逐点卷积模块，可大幅度减少参数量，对原始内部特征进行深度卷积；

如图2-图3所示，图2为深度可分离卷积模型示意图，图3为普通卷积神经网络模型示意图。图3中参数较多，连接密集，工作量大，对设备的要求高；而图2可以看出，通过采用轻量化的深度可分离卷积模块来促进模型快速收敛，大量减少了卷积运算的参数并将通道信息重新进行整合，然后对原始内部特征进行深度卷积，在不损失特征信息的情况下实现了较小的计算代价，降低训练的开销；

S4、模型验证

采用步骤S1中的验证集对得到的训练好的神经网络模型进行测试，采用精确度，召回率和平均精度(mAP)来对模型的精度进行评估，得到用于人脸口罩佩戴检测的轻量化神经网络模型；

其中，精确度的计算公式为

召回率的计算公式为

TP：表示一个目标框被正确检测出来，IOU≥threshold，

FP：表示预测错误，IOU≤threshold，

FN：一个目标框没有被预测出来。

请参阅图4所示，图4为本发明轻量化人脸口罩佩戴检测模型示意图，从图4可以看出，输入图像经过三层的残差卷积层和最大池化层，在每层的里面引出不同的网络支路，分别生成高分辨率，中分辨率，低分辨率的图像；每条支路再经过深度可分离卷积层进行轻量化，高分辨率经过下采样和中分辨率以及低分辨率进行融合，低分辨率经过上采样与高分辨率的图像进行融合，实现多特征提取，最后经特征融合后输出三种不同分辨率的图像。

本发明的轻量化人脸口罩佩戴检测模型，通过图像增强的方式来模拟不同环境，不同设备下对采集图片的影响；通过轻量化的深度可分离卷积模块来促进模型快速收敛，降低训练的开销；由于佩戴口罩的目标较小，利用多尺度融合模块的浅层分支来降低小目标的漏检率，在原网络的基础上增加特征分支；最后引入特征金字塔模块来提取不同尺度的目标，来解决多角度多尺度目标对模型精度的影响。该方法操作简便、快捷，能够适应不同的环境，提高了系统的普适性。为进一步优化口罩检测算法提供了新的思路和方法。

请参阅图1所示，一种轻量化人脸口罩佩戴检测模型的应用，包括以下步骤：

S1、采用摄像头实时获取数据，对数据采用Opencv进行视频解码为帧并进行数据增强，得到待检测数据；

S2将步骤S1中的待检测数据输入训练好的轻量化人脸口罩佩戴检测模型中，得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。

实施例1

S1、利用摄像机和Opencv获取人脸佩戴口罩的检测数据集，并采用labelme软件将检测数据集中的图像进行编号和标注；

S2、对步骤S2的标注的图像进行图像增强；并将神经网络模型进行初始化超参数设置：学习率L为0.0001，权重衰减系数为0.0010，epoch设置为50，batch_size设置为16，优化器设置为adam优化器。

S3、将步骤S3中图像增强后的图片输入训练好的神经网络模型进行训练；训练过程中采用K-Means聚类得到新的检测框分别是(6，10)(11，20)(18，31)；(29，47)，(46，69)，(59，121)；(88，101)，(120，172)，(205，253)；

S4、得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。

通过人脸佩戴口罩的检测数据集输入本发明轻量化的人脸佩戴口罩检测神经网络模型中，得到模型检测结果如下表所示。

表1实施例1模型检测结果

综上所述，本发明提供了一种轻量化人脸口罩佩戴检测模型的构建方法及应用，包括用摄像头实时获取图像，对检测的图像用Opencv进行视频解码为帧并进行图像增强，将增强后的检测图像输入到神经网络模型进行训练，得到训练好的人脸口罩佩戴检测模型；将实时获取的图像数据输入模型中得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。其中，神经网络模型包括主干特征提取模块、深度可分离卷积模块、多尺度融合模块和预测输出模块。该方法通过图像增强的方式来模拟不同环境，不同设备下对采集图片的影响；通过轻量化的深度可分离卷积模块来促进模型快速收敛，降低训练的开销；由于佩戴口罩的目标较小，利用多尺度融合模块的浅层分支来降低小目标的漏检率，在原网络的基础上增加特征分支；最后引入特征金字塔模块来提取不同尺度的目标，来解决多角度多尺度目标对模型精度的影响。该模型可以实现多尺度、遮挡、多目标的高效检测，有利于部署在资源条件有限的设备中，大幅度降低了图像识别由于分辨率等因素导致的误差，还避免了人工特征提取不准确的问题；且应用方法操作简便、快捷，能够适应不同的环境，提高了系统的普适性。为进一步优化口罩检测算法提供了新的思路和方法。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，包括以下步骤：

S1、数据预处理

S11、获取待检测数据集，对其中的图像标注口罩位置并进行分类：未佩戴口罩、错误佩戴口罩和正确佩戴口罩；

S12、对步骤S11的所述待检测数据集中标注的图像进行图像增强；

S13、将步骤S12中所述待检测数据集中增强的图像划分训练集和验证集；

S2、模型初始化及超参数设置

初始神经网络设置三条支路，所述支路包括输入层、残差卷积层、最大池化层、深度可分离卷积层和融合特征层，且每层包含多条特征分支；将神经网络模型进行初始化超参数设置；

S3、模型训练

将步骤S13中所述训练集中图片输入所述神经网络模型进行训练，筛选出置信度得分最高的检测框；根据计算模型的损失函数，不断调整和优化模型的参数，当损失函数最小时，完成所述神经网络模型的训练；所述神经网络模型包括主干特征提取模块、多尺度融合模块、深度可分离卷积模块和预测输出模块；

S4、模型验证

采用步骤S1中的所述验证集对得到的训练好的神经网络模型进行测试，采用精确度，召回率和平均精度来对模型的精度进行评估，得到所述轻量化人脸口罩佩戴检测模型。

2.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S3中，所述训练包括将所述训练集中的数据经过所述主干特征提取模块的DarkNet网络进行特征提取，得到全局特征，经过所述深度可分离卷积模块减少参数量，输入所述多尺度融合模块得到多尺度特征，将所述全局特征和所述多尺度特征进行融合处理，得到融合特征图，输入所述预测输出模块的Prediction网络得到目标定位结果。

3.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S3中，筛选出置信度得分最高的所述检测框的方法包括将目标的置信度阈值设置为0.5，同时设置非极大值抑制算法的交并比IOU＝0.5；所述检测框为包含口罩或者不包含口罩的特征检测框。

4.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S2中，所述初始化超参数包括学习率L值、权重衰减系数、epoch值、batch_size值和优化器设置。

5.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S1中，所述数据预处理还包括对分类后图像的进行编号、设置相应的标签名和检测框的中心点坐标、高度和宽度(x，y，h，w)。

6.根据权利要求2所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，所述多尺度融合模块包括ASPP网络和FPN网络。

7.根据权利要求2所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，所述深度可分离卷积模块包括逐通道卷积模块和逐点卷积模块，可大幅度减少参数量，对原始内部特征进行深度卷积。

8.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S13中，所述训练集和所述验证集的比例为8:2。

9.根据权利要求1所述的轻量化人脸口罩佩戴检测模型的构建方法，其特征在于，在步骤S12中，所述图像增强的方式包括马赛克数据增强、HSV变换、图像缩放、上下反转、图像混合或Gamma校正法中的一种或多种。

10.一种权利要求1～9中任一项所述的轻量化人脸口罩佩戴检测模型的应用，其特征在于，包括以下步骤：

S1、采用摄像头实时获取数据，对所述数据采用Opencv进行视频解码为帧并进行数据增强，得到待检测数据；

S2将步骤S1中所述的待检测数据输入训练好的所述轻量化人脸口罩佩戴检测模型中，得到检测结果，根据检测结果对图像进行标记，并返回计算机进行语音提示。

Images