CN113553922A

CN113553922A - 一种基于改进型卷积神经网络口罩佩戴状态检测方法

Info

Publication number: CN113553922A
Application number: CN202110759906.1A
Authority: CN
Inventors: 田诗意
Original assignee: Anhui University of Traditional Chinese Medicine AHUTCM
Current assignee: Anhui University of Traditional Chinese Medicine AHUTCM
Priority date: 2021-07-05
Filing date: 2021-07-05
Publication date: 2021-10-26

Abstract

本发明涉及一种基于改进型卷积神经网络口罩佩戴状态检测方法。在训练阶段，首先在特定场景下，对摄像机保存的视频，使用视频分帧技术得到图片集，再通过数据集快速扩充的方式，获得高质量的数据集。然后通过对YOLO‑V3网络进行改进包括使用k‑means聚类算法、BN层参数合并到卷积层等方式，通过训练，得到最终的检测模型。在此基础之上，使用python级联分类器先期识别人脸，再利用最终模型进行检测分类，这使得YOLO‑V3模型的检测目标的准确率达到了90％以上，速度也达到了35帧/s，改进后的方法具有对口罩佩戴状态检测准确率高、实时性强的特点，从而在实际应用中，可以减少误判的概率，提高了系统可靠性，具有很高的使用价值和应用前景。

Description

一种基于改进型卷积神经网络口罩佩戴状态检测方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于改进型卷积神经网络口罩佩戴状态检测方法。

背景技术

在公共场合正确有效的佩戴口罩，可有效阻隔飞沫传播，在一定程度上，可有效降低自己被他人感染的风险，从而能够有效抑制病毒传播。目前在公共场合主要依赖于人工来监督人员的口罩佩戴情况，但是这种方式存在浪费大量人力物力的问题，同时在人流量较大时，依赖人工的方式效率低下、近距离接触未正确有效佩戴的人员还容易导致被感染的风险。

近年来，随着计算机视觉的快速发展，尤其是基于卷积神经网络模型的不断发展，我们可以将卷积神经网络应用于口罩佩戴检测场景中，通过连接电脑的摄像头即可完成口罩佩戴识别工作，从而提高公共卫生防护能力、节约社会资源和运营成本、降低人力资源成本。

然而现有技术存在检测准确率不高、速度不快的问题，从而会导致漏报、误报的情况产生，因此并不能很好地满足现场应用场景的需要。

发明内容

针对上述问题，本发明提供一种改进型卷积神经网络(YOLO-V3)口罩佩戴状态检测方法，并采用如下技术方案：

一种基于改进型YOLO-V3口罩佩戴检测方法，包括如下步骤：

S1步骤：建立行人口罩佩戴检测数据集；

S2步骤：实现行人口罩佩戴检测数据集扩增，并将扩增后的数据集按照一定的比例分为训练集、测试集和验证集；

S3步骤：使用图像标注软件，对经步骤S2的数据集进行标注；

S4步骤：通过卷积神经网络对标注的数据集进行网络训练，获得口罩佩戴检测模型；

S5步骤：在验证集中，遍历口罩佩戴检测模型对口罩佩戴检测的准确率和速度，得到卷积神经网络训练后的口罩佩戴检测权重模型；

S6步骤：将待检测的视频图像输入所述口罩佩戴检测权重模型，卷积神经网络输出图像中的人员口罩佩戴状态检测结果，根据检测结果对于没有按照规定佩戴口罩的人员，在现场自动提醒该人员佩戴好口罩。

作为优选，在步骤S1中，具体包括：

S1.1：通过对摄像机在公共场合下保存的视频，利用基于python视频分帧/分割技术，获取图片；

S1.2：设置视频分帧/分割间隔为每隔35帧截取一次画面；

S1.3：对分帧后的图片，手动删减掉重影模糊的图片或者不存在目标的图片。

作为优选，本发明在步骤S2中，具体包括：

S2.1：通过python的PIL(Python Image Library)库对原始图像进行左右翻转和图像增强，从而对数据集进行扩充；

S2.2：设置训练集、测试集和验证集比例为7：1：2。

作为优选，本发明在步骤S3中，具体包括：

S3.1：使用Labelimg软件，在Window平台或者Linux平台实现图像人工标注；

S3.2：标注的类别为：mask_good(正确佩戴口罩)，mask_poor(未能有效佩戴好口罩)，no_mask(未佩戴口罩)三种类别；

S3.3：使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否有效的检测结果。

作为优选，本发明在步骤S4中，具体包括：

S4.1：对YOLO-V3卷积神经网络检测层的参数，使用k-means聚类算法进行优化；

S4.2：训练中，利用python人脸检测器对图像先进行人脸识别，如果确定是人脸，再进行3种目标类别的训练，如果不存在人脸，则不进行3种类别的训练。

作为优选，本发明在步骤S5中，具体包括：

S5.1：遍历验证集之前，把BN(Batch Normalization)层参数合并至卷积层，减少计算量。

作为优选，本发明在步骤S6中，具体包括：

S6.1：自动提示人员佩戴好口罩的方式为：现场语音播报和LED红灯高频闪烁两种提醒方式；

S6.2：对没有按照要求佩戴口罩的人，在LED屏幕实时显示该人物的头像放大信息。

本发明与现有技术相比，其有益效果体现在：

该方法具有对口罩佩戴状态检测准确率高、实时性强的特点，具有很高的使用价值和较为广泛的应用前景。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中YOLO-V3卷积神经网络结构图；

图2示出了本发明实施例中口罩佩戴状态检测方法的训练阶段流程示意图；

图3示出了本发明实施例中数据集扩充的两种方式；

图4示出了本发明实施例中使用k-means聚类过程中，不同k值与交并比的关系；

图5是本发明实施例中两种卷积神经网络的fps的比较；

图6是本发明实施例中口罩佩戴状态检测方法实际场景下整体检测流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于改进型YOLO-V3口罩佩戴检测方法，其中 YOLO-V3(卷积神经网络)结构图如图1所示，框架分为Darknet-53特征提取层和YOLO检测层。口罩佩戴状态检测方法的训练阶段流程示意图如图2所示，具体包括如下步骤：

步骤1：数据集的制作

在公共场合入口处，利用摄像头拍摄多段视频，拍摄时间包含一天的不同时间段，并保存至SD卡中；

将SD卡保存的视频传送至电脑端，在python环境下，通过视频分帧技术，并设置分帧间隔为每35帧截取一次图片帧，将保存的视频变换成一张张图片；

然后利用手动方式将重影、模糊、画面质量低的图片和不包含目标的图片一并删除；

通过python的PIL库对上述全体图片进行左右翻转和图像增强，实现数据集快速扩充，两种方式的比较如图3所示，左图均为原图，右图是变换后的图片；

利用图像标注软件Labelimg对全体图片进行逐一标注，标注类别一共有三类：mask_good(正确佩戴口罩)，mask_poor(未能有效佩戴好口罩)， no_mask(未佩戴口罩)。

步骤2：k-means聚类分析及过程

使用k-means聚类算法对标注数据集中的真实边框进行聚类分析；

为了防止大框会比小框产生更多的误差，发明使用预测目标框与真实目标框的面积交并比即IOU来计算距离，k值与IOU的关系如图4所示，当k值为9+时，IOU能保证在90％以上；

发明设置k为9，通过函数脚本实现聚类过程，从而得到对应的不同目标尺寸的先验框。如表1所示：

表1本文使用聚类取得的先验框

获得9个先验框之后，然后按照面积从小到大依次排序，最后在 yolov3-voc.cfg配置文件中，将YOLO-V3检测层的anchors(一共有3处) 替换成排序后的anchors，从而完成此次k-means聚类过程；

步骤3：合并BN层的参数到卷积层。

首先，设X_conv为卷积层的计算结果。其计算过程如下：

其中，X_i为输入图像中的像素，w_i为该层的权重。由于BN层往往在卷积层之后，所以需要利用BN层对卷积层输出结果X_conv进行标准归一化处理：

其中，γ为缩放因子，μ为均值，σ²为方差，β为偏置。X_out为BN的计算结果，其它参数都存储在.weights权重文件中。

为了达到把BN层的参数合并到卷积层的目的，减少参数量，实验将上述两个公式进行合并，以计算卷积层新的权值参数和偏置项参数。

首先，将公式(1-2)中的X_conv替换成其计算表达式，从而X_out的结果就变为：

展开之后得到：

合并之后权值参数变为：

偏置项参数变为：

则卷积层的计算公式变为：

根据上述计算过程推理可以得到：使用新的权值参数w_new和偏置项参数β_new执行单独的卷积操作将会与原始卷积层和BN层结合的方式获得同样的结果。由于把BN参数合并至卷积层，减少了一些隐层的计算量，因而在原理上是有益于提高模型的前向推理速度。

步骤4：卷积神经网络训练环节。

训练阶段硬件和软件平台的搭建，如表2和表3所示：

表2训练阶段硬件平台配置

表3训练阶段平台软件配置

训练过程中超参数设置如表4所示：

表4训练过程中超参数的设置

通过上述硬件和软件平台以及设置好的超参数，在口罩数据集下，对改进之后的YOLO-V3进行训练，获得最终的口罩检测模型。

步骤5：结果分析与验证

利用训练得到的模型，遍历测试数据集，结合Haar级联分类器，得到三类目标检测的准确率，如表5所示：

表5不同目标类别准确率提升的百分比

经过k-means聚类过程，可以看出改进后的模型表现出了良好的检测准确率，整体性能(平均)提升幅度约为8.7％。

利用YOLO-V3和经过BN层改进后的YOLO-V3两种检测模型在随机一段视频上进行实验，得到两种模型在BN层改进前后的的模型检测的整体速度，如图5所示，可以看出，YOLO-V3平均fps为：25.7，改进后的YOLO-V3 平均fps为：34.8，合并BN层参数至卷积层大大提高了检测的速度，为 YOLO-V3神经网络检测的速度带来了35％的提升，从而更加适应实时性检测任务。

步骤6：自动提醒

当检测到人员未佩戴口罩或者未有效佩戴口罩时，利用声和光联动报警方式自动提醒人员佩戴好口罩，并在现场放置的LED大屏幕上实时显示人物头像的放大信息。

语音提醒装置和LED灯及屏幕装置布置在离现场入口处15米处，是为了保证人员在进入之前，触发预警机制时，有充足的时间和距离佩戴好口罩。

结合上述步骤，本发明提供的口罩佩戴状态检测方法在实际场景下检测流程如图6所示。首先对输入的视频画面进行人脸判别，若不是人脸，系统不作判断；若是人脸，则进行下一步：判断人脸区域是否佩戴口罩，若检测结果为未佩戴口罩，则触发系统声光报警机制，提示人员佩戴口罩；若检测结果为佩戴口罩，则进行下一步：利用python对鼻子露出部位进行检测，判断是否有效佩戴口罩，若检测结果为未有效佩戴口罩，则触发系统声光报警机制，提示人员有效佩戴口罩；若检测结果为有效佩戴口罩，则放行人员。综上，本发明提出一种基于改进型YOLO-V3口罩佩戴检测的方法具有对口罩佩戴状态检测准确率高、实时性强的特点，具有很高的使用价值和较为广泛的应用前景。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于改进型卷积神经网络口罩佩戴状态检测方法，其特征在于，包括以下步骤：

S1步骤：建立行人口罩佩戴检测数据集；

S3步骤：使用图像标注软件，对经步骤S2的数据集进行标注；

2.根据权利要求1所述的方法，其特征在于，S2步骤具体包括：

通过python的PIL库对原始图像进行左右翻转和图像增强，从而对数据集进行扩充；

设置训练集、测试集和验证集比例为7：1：2。

3.根据权利要求1所述的方法，其特征在于，S3步骤具体包括：

使用Labelimg软件，在Window平台或者Linux平台实现图像人工标注；

标注类别为：正确佩戴口罩、未能有效佩戴好口罩和未佩戴口罩三种类别；

使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否有效的检测结果。

4.根据权利要求1所述的方法，其特征在于，S4步骤具体包括：

对YOLO-V3卷积神经网络检测层的参数，使用k-means聚类算法进行优化；

训练中，利用python人脸检测器对图像先进行人脸识别，如果确定是人脸，再进行标注类别目标的训练；如果不存在人脸，则不进行目标类别的训练。

5.根据权利要求1所述的方法，其特征在于，S5步骤包括：

遍历验证集之前，把BN层参数合并至卷积层，减少计算量。

6.根据权利要求1所述的方法，其特征在于，S6步骤具体包括：

自动提示人员佩戴好口罩的方式为：现场语音播报和LED红灯高频闪烁两种提醒方式；

对没有按照要求佩戴口罩的人，在LED屏幕实时显示该人物的头像放大信息。