CN111680637A - 基于深度学习和图像识别技术的口罩检测方法及检测系统 - Google Patents

Abstract

本发明公开了一种基于深度学习和图像识别技术的口罩检测方法及检测系统，包括，数据采集步骤、数据采集模块采集视频、图像数据，并提取视频中的帧；数据预处理步骤、对得到的数据进行标注，标注出图像中人脸的位置和是否佩戴口罩；训练集划分、打乱搜集到的数据集顺序，将其分割为训练集、验证集；训练步骤、按批次提取训练集中的数据并输入到佩戴口罩检测网络中进行修正网络参数；输出步骤，直到检测网络学会预测人脸位置以及是否佩戴口罩；验证集输入到训练得到的佩戴口罩检测网络中得到最终预人脸位置以及是否佩戴口罩类别信息，按照佩戴口罩与否用不同颜色的框标出检测到的人脸位置。

Description

基于深度学习和图像识别技术的口罩检测方法及检测系统

技术领域

本发明应用场景涉及监控系统、安全防控等领域，理论方面涉及计算机视觉和模式识别领域，尤其涉及一种基于深度学习和图像识别技术的口罩检测方法、模型及检测系统。

背景技术

在突发公共卫生事件期间，出入公共场所均需要佩戴口罩，为减少接触、避免人员过密，通过人脸识别的口罩检测能力可实现无现场工作人员的智能识别，提高企事业单位管理能力、提高通行效率、降低人工检查导致交叉感染的可能性。但目前通用的做法是通过人工进行监督，检测人员是否佩戴口罩，不仅效率低，而且还需要人工成本，同时增加了工作人员被感染的机率。了公共卫生安全更方便快捷的进行安全监管，规范人员的行为，保障人员的安全，减少人员之间的传染我们提出一种佩戴口罩检测识别系统，最大程度的降低人工成本、提升检测效率。

人员佩戴口罩检测在突发公共卫生事件期间极其重要，直接影响了其发展态势。当前主要采用人工监督的方式，而防控的一个关键措施是减少人员聚集，人工监督又避免不了的会使多个人出现在相同的场所。因此，自动人员佩戴口罩检测方法可以很好的解决此类问题，只要通过监控摄像头采集现场视频图像，并通过深度学习技术检测人脸，同时判断人脸是否佩戴口罩即可。同时，可以配合语音播报，对未佩戴口罩的人员进行语音提醒。大大提高工作效率的同时，避免了人员聚集，可以有效的提高防控效果，降低人与人传染的机率。

所述口罩佩戴检测中所涉及到的深度学习技术通常是指深度卷积神经网络，它的工作原理是用多个非线性网络结构逼近复杂的函数关系，用以表示输入数据的近似分布。基于深度学习和图像识别技术的口罩检测方法是指通过深层卷积神经网络提取图像的特征，并用原始的标注数据对网络参数进行校正，使佩戴口罩检测网络学会定位图像中人脸的位置，同时预测定位到的人脸是否佩戴口罩。现有技术中，检测人脸的大致位置，提供人脸框的候选区域；进一步判断提取的候选区域的可信程度，并修正人脸框位置；对前两阶段网络检测到的结果进行修正，得到最终检测结果。现有技术通常采用多阶段方法对脸部遮挡物进行检测，相对于一阶段方法，需要多级网络，检测速度慢，实时性不好；或者输入需要产生图像金字塔，增加了网络输入的数据量，计算速度慢；同时对人脸尺寸大小的范围进行限定，影响召回率。

发明内容

本发明旨在解决突发公共卫生事件防控期间人员佩戴口罩人工检查效率低、工作人员被感染风险高的问题，提出一种基于深度学习和图像识别技术的口罩检测方法及检测系统。

本发明提出了一种基于深度学习和图像识别技术的口罩检测方法，包括获取人脸框的中心坐标步骤、训练集划分及修正步骤、训练步骤；

获取人脸框的中心坐标步骤，对预处理步骤得到的标注信息，对标注信息进行转化，得到人脸框的中心坐标；采用anchor-free的网络结构定位人脸位置，包含三个headlayer，分别预测人脸是否佩戴口罩、人脸框的长宽、人脸框的偏移量；

训练集划分步骤，获取所述预处理步骤得到的所有图像数据，随机打乱数据集的顺序，按照预设比例划分所述预处理步骤得到的数据集，其中一部分为佩戴口罩检测网络的训练集，另外一部分为相应的验证集，同时按照训练集和验证集中图像的名字得到对应的标注信息列表；

训练集修正步骤，划分得到的训练集中的图像列表以及相应的标注信息文件列表，按照批次循环取出训练集中一个批次的数据输入到佩戴口罩检测网络中，根据佩戴口罩检测网络得到的预测结果以及对应的真实标注信息计算佩戴口罩检测网络的损失值，通过反向传播算法对佩戴口罩检测网络参数进行修正；

训练步骤，重复佩戴口罩检测网络训练过程，不断修正佩戴口罩检测网络的参数，直至口罩检测网络学会找出图像中的人脸位置并能够正确的判断检测出来的人脸是否佩戴口罩，保存训练得到的参数。

优选的，数据采集步骤，采集图像及视频数据，视频数据按照间隔进行抽帧操作；

优选的，数据预处理步骤，包括数据清洗、去重以及标注，标注出人脸位置以及人脸是否戴口罩，人脸位置信息为人脸在图像中位置框的左上角坐标、人脸框的长和宽；

优选的，获取人脸框的中心坐标步骤，对预处理步骤得到的标注信息，对标注信息进行转化，得到人脸框的中心坐标；

优选的，输出步骤，根据训练得到的佩戴口罩检测网络参数，按批次提取验证集中的图像数据，输入到训练得到的佩戴口罩检测网络中得到图像中人脸的具体位置以及相应的是否佩戴口罩类别信息和置信度值。

优选的，数据均衡，所述数据集中人脸目标佩戴口罩和未佩戴口罩数量均衡；是否戴口罩用0和1表示，标注信息保存。

优选的，数据预处理步骤还包括：

去重步骤，首先计算图像的md5值，根据计算得到的md5值去掉采集步骤搜集到的图像数据中相似度高的图像；

清洗步骤，手动清洗采集步骤搜集到的数据集，经过去重后的数据集，删除无法分辨出人脸的图像；

标注步骤，对清洗后的数据集进行标注，标注出人脸的位置框以及相应是否戴口罩的类别信息；

均衡步骤，对标注后的数据集，根据标注信息分别统计是否佩戴口罩两类的样本数；若未戴口罩数量多，则进一步搜索戴口罩的数据，并重复去重、清洗、标注步骤，使两类样本数量满足近似1：1；若未戴口罩数量少，则搜集未戴口罩人脸数据或随机选取公开人脸检测数据集中的数据，并重复去重、清洗、标注步骤使两类样本数尽量满足近似1：1。

更进一步，包含采用anchor-free的网络结构定位人脸位置，三个head layer，分别预测人脸是否佩戴口罩、人脸框的长宽、人脸框的偏移量；根据预测人脸类别的热力图来确定当前位置是否包含目标；若热力图的值大于事先设定的阈值且该点周围的值均小于该点数值，表示该位置有目标，同时根据预测的偏移量和目标框的长宽得到原图上目标框的位置和长宽；

通过上述三个head layer输出，以及原始标注信息，对口罩检测网络进行修正。

本发明提出了一种检测系统，包括：一种检测系统，其特征在于包括：人脸数据采集模块、数据预处理模块、佩戴口罩检测模块、数据存储模块；

数据采集模块搜集包含人脸的图像数据，包括图片和视频数据，对于视频数据，间隔一定的帧数提取视频中的一帧，图像中的人脸需要包含佩戴口罩和未佩戴口罩两种；

数据预处理模块对所述人脸数据采集模块采集到的数据集进行预处理，包括视频数据的抽帧、清洗、去重、标注；

佩戴口罩检测模块检测所述数据预处理模块得到的数据，获取图像数据中人脸的具体位置、人脸类别属性信息和置信度值；数据存储模块存储所述佩戴口罩检测模块得到的人脸位置信息、人脸类别属性信息和置信度值；使用所述的口罩检测方法。

本发明所采用的有益效果

1.本发明采用深度学习通过非线性网络结构，可以很好的逼近复杂函数，并且达到快速识别，采用anchorfree的目标检测框架，不需要手动设置anchor，为一阶段方法，相对于二阶段方法，检测速度快，实时性好，拥有强大的学习能力以及特征表达能力；通过采集视频、图像数据，并提取视频中的帧进行标注，标注出图像中人脸的位置和是否佩戴口罩。

2.本发明打乱搜集到的数据集顺序，将其分割为两部分，一部分为训练集，另一部分为验证集，按批次提取训练集中的数据并输入到佩戴口罩检测网络中，进行修正，直到检测网络学会预测人脸位置以及是否佩戴口罩，保存训练得到的参数。

3.本发明采用anchor-free的网络结构定位人脸位置，并判断是否佩戴口罩，相对于基于anchor的方法，避免了超参数的设置不准确对检测精度的影响。。

4.本发明最终预测人脸位置以及是否佩戴口罩类别信息，按照佩戴口罩与否用不同颜色的框标出检测到的人脸位置，识别精度高，速度快。

综上，本发明可以有效的提高口罩检测精度，实现自动化是否佩戴口罩的检测，该方法不需要有工作人员现场监督，人员通行速度快，降低与他人接触时间，降低了人流密度。同时可以准确的定位出未戴口罩人员的具体位置，有效的解决了突发公共卫生事件防控、企业复工等安全性难题。

附图说明

图1为基于深度学习和图像识别技术的口的罩检测方法整体架构示意图；

图2为基于深度学习和图像识别技术的口的罩检测方法中数据预处理流程图；

图3为基于深度学习和图像识别技术的口的罩检测方法中模型训练流程图；

图4为基于深度学习和图像识别技术的口的罩检测方法中场景一示意图；

图5为基于深度学习和图像识别技术的口的罩检测方法中场景二示意图；

图6为基于深度学习和图像识别技术的口的罩检测方法中场景三示意图；

图7为基于深度学习和图像识别技术的口的罩检测方法中场景四示意图。

具体实施方式

下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实例作进一步地详细描述。

本发明提出的一种基于深度学习和图像识别技术的口罩检测方法，包括以下关键步骤：

步骤1、采集数据，包括图像和视频数据，对于视频数据，需要按照一定的间隔进行抽帧操作，避免太多相似数据出现在数据集中、降低数据去重的时间成本，数据大多来源于网络资源；搜集的数据为自然场景下的图像；

步骤2、数据预处理，数据预处理主要包括数据清洗、去重以及标注，数据清洗是指清洗掉不包含人脸的图像以及畸变特别严重、特别模糊等无法分辨出人脸的图像，所述数据集中人脸目标佩戴口罩和未佩戴口罩两类数量尽量满足1： 1。去重是指去掉重复的图像数据，标注是指标注出人脸位置以及人脸是否戴口罩，人脸位置信息为人脸在图像中位置框的左上角坐标、人脸框的长和宽，是否戴口罩用0和1表示，标注信息保存在与图像数据同名的txt或其他格式文件中。

步骤3、根据所述步骤2得到的标注信息，对标注信息进行转化，得到人脸框的中心坐标；

步骤4、获取所述步骤2中得到的所有图像数据，随机打乱数据集的顺序，按照一定的比例划分所述步骤2中得到的数据集，其中一部分为佩戴口罩检测网络的训练集，另外一部分为相应的验证集，同时按照训练集和验证集中图像的名字得到对应的标注信息列表。

步骤5、根据所述步骤4划分得到的训练集中的图像列表以及相应的标注信息文件列表，按照批次循环取出训练集中一个批次的数据输入到佩戴口罩检测网络中，根据佩戴口罩检测网络得到的预测结果以及对应的真实标注信息计算佩戴口罩检测网络的损失值，通过反向传播算法对佩戴口罩检测网络参数进行修正；

步骤6、重复所述步骤5的佩戴口罩检测网络训练过程，不断修正佩戴口罩检测网络的参数，直至口罩检测网络学会找出图像中的人脸位置并能够正确的判断检测出来的人脸是否佩戴口罩，保存训练得到的参数；

步骤7、根据所述步骤5和所述步骤6训练得到的佩戴口罩检测网络参数，按批次提取验证集中的图像数据，输入到训练得到的佩戴口罩检测网络中得到图像中人脸的具体位置以及相应的是否佩戴口罩类别信息和置信度值。

步骤2进一步包含子步骤：

步骤2-1：首先计算图像的md5值，根据计算得到的md5值去掉所述步骤1搜集到的图像数据中相似度高的图像；

步骤2-2：手动清洗所述步骤1搜集到的数据集经过步骤2-1去重后的数据集，删除其中不包含人脸的图像以及畸变特别严重、特别模糊等无法分辨出人脸的图像；

步骤2-3：对所述步骤2-2中得到的清洗后的数据集进行标注，标注出人脸的位置框以及相应是否戴口罩的类别信息，人脸位置框是指人脸在图像中的位置，需要标记出人脸位置的左上角坐标、人脸框的长度和宽度，是否戴口罩用0 和1表示。

步骤2-4：对所述步骤2-3标注后的数据集，根据标注信息分别统计是否佩戴口罩两类的样本数。若未戴口罩数量多，则进一步搜索戴口罩的数据，并重复步骤2-1、2-2和2-3，使两类样本数量尽量满足1：1；若未戴口罩数量少，则搜集未戴口罩人脸数据或随机选取公开人脸检测数据集中的数据，并重复步骤 2-1、2-2和2-3，使两类样本数尽量满足1：1。

本发明提出了一种口罩检测模型，包含三个head layer，分别预测人脸类别 (是否佩戴口罩)、人脸框的长宽、人脸框的偏移量。根据预测人脸类别的热力图来确定当前位置是否包含目标。若热力图的值大于事先设定的阈值且该点周围的值均小于该点数值，表示该位置有目标，同时根据预测的偏移量和目标框的长宽得到原图上目标框的位置和长宽。通过上述三个head layer输出，以及原始标注信息，对口罩检测网络进行修正，使所述口罩检测网络可以准确确定人脸位置，并正确的预测出人脸是否佩戴口罩。

本发明提出了一种口罩检测系统，主要包括四个模块，分别为：数据采集模块、数据预处理模块、口罩检测模块、数据存储模块。

实施例

如图1所示为上述基于深度学习和图像识别技术的口罩检测方法的整体架构，主要包括四个模块，分别为：人脸数据采集模块、数据预处理模块、佩戴口罩检测模块、数据存储模块。其中数据采集模块主要目的是搜集包含人脸的图像数据，包括图片和视频数据，对于视频数据，间隔一定的帧数提取视频中的一帧，图像中的人脸需要包含佩戴口罩和未佩戴口罩两种；数据预处理模块对所述人脸数据采集模块采集到的数据集进行预处理，包括视频数据的抽帧、清洗、去重、标注；佩戴口罩检测模块检测所述数据预处理模块得到的数据，获取图像数据中人脸的具体位置、人脸类别属性信息和置信度值；数据存储模块存储所述佩戴口罩检测模块得到的人脸位置信息、人脸类别属性信息和置信度值。

数据预处理流程如图2所示，其目的是清洗和标注所述数据采集模块得到的人脸数据，清洗掉不包含有人脸的图像、畸变的图像、人脸遮挡严重的图像等。标注具体内容为基于深度学习和图像识别技术的口罩检测方法所检测的目标，即人脸，人脸标注需要给出人脸的具体位置(左上角坐标、目标的长和宽)和人脸是否佩戴口罩信息，标注完需要统计佩戴口罩和未佩戴口罩人脸数量是否满足接近1：1，若不满足要求，需要扩增数量少的一类的图像数量，直至两类人脸图像数量接近1：1。标注结束后，将标注信息保存在与图像数据同名的txt文件或其他格式文件中。

数据预处理部分的具体步骤如下：

步骤1：计算数据采集模块得到的图像的md5值，去掉所述采集到的图像数据集中重复的图像数据；

步骤2：人工清洗掉所述数据采集模块搜集到的数据集中未包含人脸的图像、畸变的图像、人脸遮挡严重的图像等；

步骤3：对所述步骤2中得到的人脸数据集进行标注，标注出人脸的具体位置框以及相应的是否佩戴口罩类别信息，目标位置框包括目标在图像中位置的左上角坐标、目标的长和宽；

步骤4：统计标注出的人脸数量，若未佩戴口罩人脸数量大于佩戴口罩人脸数量，需要继续搜集佩戴口罩人脸图像或删除未佩戴口罩人脸图像并重复上述步骤，直至满足两类人脸数量比例接近1：1，若戴口罩人脸数量大于未佩戴口罩人脸数量，则需搜集未佩戴口罩人脸图像或添加公开人脸检测数据集，直至两类人脸数量接近1：1。

图3所示为基于深度学习和图像识别技术的口罩检测模型的训练过程，具体详细阐述如下步骤所述：

如图4-7所示，步骤1、将所述数据预处理模块中得到的有标注信息的人脸数据集打乱顺序，按照9：1的比例分割所述数据预处理模块中得到的人脸数据集，其中90％为基于深度学习和图像识别技术的口罩检测方法的训练集，其余10％为基于深度学习和图像识别技术的口罩检测方法的验证集，按照训练集和验证集中图像的名字得到相应的训练集和验证集的标注信息文件。

步骤2、按照所述步骤1得到全部的训练集的图像列表以及相应的标注文件列表，按照批次取出训练集中一个批次的数据输入到佩戴口罩检测网络中，根据基于深度学习和图像识别技术的口罩检测模型得到的预测结果以及相应的真实标注信息计算基于深度学习和图像识别技术的口罩检测模型的损失值，通过反向传播算法对基于深度学习和图像识别技术的口罩检测模型参数进行修正；

步骤3、重复所述步骤2，不断修正基于深度学习和图像识别技术的口罩检测模型的参数，直至基于深度学习和图像识别技术的口罩检测模型学会预测图像中人脸的位置以及是否佩戴口罩的类别信息，保存训练得到的参数；

步骤4、根据所述步骤2和所述步骤3训练得到的参数，按批次提取验证集中的图像，输入到训练得到的基于深度学习和图像识别技术的口罩检测方法中得到最终预测结果，即图像中可能存在人脸的位置、是否佩戴口罩类别属性以及置信度值。

所述的基于深度学习和图像识别技术的口罩检测方法包含三个head layer，分别预测人脸类别(是否佩戴口罩)、人脸框的长宽、人脸框的偏移量。佩戴口罩检测网络根据预测人脸类别的热力图来确定当前位置是否包含目标。基于深度学习和图像识别技术的口罩检测方法通过上述三个head layer预测图像中可能存在的人脸的位置以及是否佩戴口罩类别属性，通过数据预处理模块中标注的人脸实际位置框和是否佩戴口罩类别属性，对口佩戴罩检测网络参数进行修正，使所述佩戴口罩检测网络尽可能多的找出所述图像中人脸的位置以及尽可能准确的预测出人脸是否佩戴口罩。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种基于深度学习和图像识别技术的口罩检测方法，包括获取人脸框的中心坐标步骤、训练集划分、训练集修正、训练步骤，其特征在于：

获取人脸框的中心坐标步骤，对预处理步骤得到的标注信息，对标注信息进行转化，得到人脸框的中心坐标；采用anchor-free的网络结构定位人脸位置，包含三个head layer，分别预测人脸是否佩戴口罩、人脸框的长宽、人脸框的偏移量；

训练集划分步骤，获取所述预处理步骤得到的所有图像数据，随机打乱数据集的顺序，按照预设比例划分所述预处理步骤得到的数据集，其中一部分为佩戴口罩检测网络的训练集，另外一部分为相应的验证集，同时按照训练集和验证集中图像的名字得到对应的标注信息列表；

训练集修正步骤，划分得到的训练集中的图像列表以及相应的标注信息文件列表，按照批次循环取出训练集中一个批次的数据输入到佩戴口罩检测网络中，根据佩戴口罩检测网络得到的预测结果以及对应的真实标注信息计算佩戴口罩检测网络的损失值，通过反向传播算法对佩戴口罩检测网络参数进行修正；

训练步骤，重复佩戴口罩检测网络训练过程，不断修正佩戴口罩检测网络的参数，直至口罩检测网络学会找出图像中的人脸位置并能够正确的判断检测出来的人脸是否佩戴口罩，保存训练得到的参数。

2.根据权利要求1所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：还包括数据采集步骤，采集图像及视频数据，视频数据按照间隔进行抽帧操作。

3.根据权利要求1所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：还包括数据预处理步骤，包括数据清洗、去重以及标注，标注出人脸位置以及人脸是否戴口罩，人脸位置信息为人脸在图像中位置框的左上角坐标、人脸框的长和宽。

4.根据权利要求1所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：获取人脸框的中心坐标步骤，对预处理步骤得到的标注信息，对标注信息进行转化，得到人脸框的中心坐标。

5.根据权利要求1所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：还包括输出步骤，根据训练得到的佩戴口罩检测网络参数，按批次提取验证集中的图像数据，输入到训练得到的佩戴口罩检测网络中得到图像中人脸的具体位置以及相应的是否佩戴口罩类别信息和置信度值。

6.根据权利要求3所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：数据预处理步骤，所述数据集中人脸目标佩戴口罩和未佩戴口罩数量均衡；是否戴口罩用0和1表示，标注信息保存。

7.根据权利要求6所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于数据预处理步骤还包括：

去重步骤，首先计算图像的md5值，根据计算得到的md5值去掉采集步骤搜集到的图像数据中相似度高的图像；

清洗步骤，手动清洗采集步骤搜集到的数据集，经过去重后的数据集，删除无法分辨出人脸的图像；

标注步骤，对清洗后的数据集进行标注，标注出人脸的位置框以及相应是否戴口罩的类别信息；

均衡步骤，对标注后的数据集，根据标注信息分别统计是否佩戴口罩两类的样本数；若未戴口罩数量多，则进一步搜索戴口罩的数据，并重复去重、清洗、标注步骤，使两类样本数量满足近似1：1；若未戴口罩数量少，则搜集未戴口罩人脸数据或随机选取公开人脸检测数据集中的数据，并重复去重、清洗、标注步骤使两类样本数尽量满足近似1：1。

8.根据权利要求1所述的基于深度学习和图像识别技术的口罩检测方法，其特征在于：采用anchor-free的网络结构定位人脸位置；根据预测人脸类别的热力图来确定当前位置是否包含目标；若热力图的值大于事先设定的阈值且该点周围的值均小于该点数值，表示该位置有目标，同时根据预测的偏移量和目标框的长宽得到原图上目标框的位置和长宽；通过上述三个head layer输出，以及原始标注信息，对口罩检测网络进行修正。

9.一种检测系统，其特征在于包括：人脸数据采集模块、数据预处理模块、佩戴口罩检测模块、数据存储模块；

数据采集模块搜集包含人脸的图像数据，包括图片和视频数据，对于视频数据，间隔一定的帧数提取视频中的一帧，图像中的人脸需要包含佩戴口罩和未佩戴口罩两种；

数据预处理模块对所述人脸数据采集模块采集到的数据集进行预处理，包括视频数据的抽帧、清洗、去重、标注；

佩戴口罩检测模块检测所述数据预处理模块得到的数据，获取图像数据中人脸的具体位置、人脸类别属性信息和置信度值；数据存储模块存储所述佩戴口罩检测模块得到的人脸位置信息、人脸类别属性信息和置信度值；使用权利要求1-8任一所述的口罩检测方法。

Images