CN112183471A - 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 - Google Patents

一种现场人员防疫口罩规范佩戴的自动检测方法及系统 Download PDF

Info

Publication number
CN112183471A
CN112183471A CN202011168773.2A CN202011168773A CN112183471A CN 112183471 A CN112183471 A CN 112183471A CN 202011168773 A CN202011168773 A CN 202011168773A CN 112183471 A CN112183471 A CN 112183471A
Authority
CN
China
Prior art keywords
mask
detection
wearing
model
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011168773.2A
Other languages
English (en)
Inventor
张新曼
彭羽瑞
寇杰
王静静
毛乙舒
程昭晖
陆罩
陈悦
陈星宇
江水云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011168773.2A priority Critical patent/CN112183471A/zh
Publication of CN112183471A publication Critical patent/CN112183471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种现场人员防疫口罩规范佩戴的自动检测方法，包括：1)采集规范佩戴口罩的人脸口罩数据集，并且对数据集进行标注及预处理；2)构建人脸口罩目标检测模型，并且采用已经标注的人脸口罩数据集对该模型进行训练，获取模型参数；3)将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；4)对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。本发明还提供了相应的检测装置和GPU云平台系统，采用本发明，在目标遮挡、密集人群以及小尺度检测等复杂场景下能够有效提升人脸规范佩戴口罩的检测精度和检测速度，检测方法简单，易于工程应用落地转化。

Description

一种现场人员防疫口罩规范佩戴的自动检测方法及系统
技术领域
本发明属于机器视觉技术领域，特别涉及一种现场人员防疫口罩规范佩戴的自动检测方法及系统。
背景技术
出行时规范佩戴口罩是防范传染类疾病的最有效措施之一，特别是在人流量较大的公共场合，规范佩戴口罩能极大程度上减少病毒的扩散和传播，因此，是否佩戴口罩以及是否规范佩戴口罩的检测十分必要。人工方式检测是否佩戴口罩不仅费时费力，而且在人流量大的场所，对于是否规范佩戴口罩还存在漏检误检的问题，同时可能增加检测人员被感染的风险。因此基于视频分析的口罩佩戴自动检测技术非接触、安全系数高的优点日益凸显出来。但是，一方面随着监控系统规模的不断扩大，海量的视频数据导致从中获取有用信息越来越困难，查找效率低，工作量繁重，难以满足监控系统视频异常检测的需求。另一方面现有的常规视频处理技术对视频的拍摄角度、光照条件等要求严苛，而且只能是针对某一特定场景进行分析，无法拓展到各种场景。对于复杂场景例如目标遮挡、密集人群、小尺度目标检测等情形，对于检测的速度和精度要求较高，传统机器学习的检测方法结果并不理想。另外，对于是否规范佩戴口罩的检测方法十分少见，而传统检测方法则存在精度低、速度慢、鲁棒性差等问题。因此，复杂场景下自动检测是否规范佩戴口罩的相关技术亟待提出。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种现场人员防疫口罩规范佩戴的自动检测方法及系统，该方法结合了自上而下和自下而上的特征融合策略提出了新的多尺度预测网络，实现了特征增强；利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，降低光线亮度对检测的影响，实现是否规范佩戴口罩的检测，本发明在目标遮挡、密集人群以及小尺度检测等复杂场景下能够有效提升人脸规范佩戴口罩的检测精度和检测速度，检测方法简单，易于工程应用落地转化。
为了实现上述目的，本发明采用的技术方案是：
一种现场人员防疫口罩规范佩戴的自动检测方法，包括如下步骤：
步骤1)，采集规范佩戴口罩的人脸数据集，并且对数据集进行标注及预处理；
步骤2)，构建人脸口罩目标检测模型，并且采用已经标注的人脸数据集对该模型进行训练，获取模型参数；
步骤3)，将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；
步骤4)，对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。
所述步骤1)采集规范佩戴口罩的人脸数据集，并对目标进行分类，图像标注的信息区域包括面部区域、口罩区域、背景区域。
所述步骤1)中，对分类目标进行语义标注，面部区域、口罩区域和背景区域均采用矩形框进行标注，获取标签集，分别为头部区域对应标签head、口罩区域对应标签mask以及背景区域对应标签background；所述对数据集进行预处理，包括将图像的尺寸缩放至标准宽度256*256以及图像的标准化，即基于凸优化理论与数据概率分布，将图像数据通过去均值实现中心化的处理，以去除光照和阴影影响。
所述步骤2)构建人脸口罩目标检测模型，结合跨阶段局部网络改进DarkNet53网络，降低内存消耗同时提高运算速度；在检测网络中引入空间金字塔池化结构，基于自下而上和自上而下的特征融合策略构建多尺度预测网络，实现特征增强；使用性能更优的CIoU损失函数，充分考虑到目标与检测框之间的中心点距离、重叠比以及长宽比信息，提高检测模型的准确性。
所述步骤2)的模型训练中，以包含面部区域、口罩区域、背景区域的图像组成人脸口罩目标区域检测的样本数据，将样本数据分为训练样本和测试样本，训练样本用于目标检测模型训练；测试样本用于测试目标检测模型的准确度，采用Adam优化器对网络进行优化，更新被训练网络权值，损失函数使用CIoU损失函数，最终使得在测试数据下网络损失函数最小，得到网络的模型参数。
所述步骤3)中，提取摄像头采集到的原始视频流中的图像，对所述图像进行尺度变换及标准化预处理；输入到训练好的人脸口罩目标检测模型中，得到检测结果，根据置信度判断待检测图片中的人是否佩戴口罩。
具体地：所述图像输入到训练好的人脸口罩目标检测模型中，提取3个不同尺度的特征图，分别位于中间层、中下层和底层，底层进行系列卷积后，一部分经过后续处理作为结果输出，另一部分再做卷积和上采样操作并与中下层的特征图融合，得到具有细粒度中下层的特征图，然后将该特征图经过卷积处理后，输出对应结果的同时再进行卷积、上采样和中间层特征图融合，在中间层将融合的图进行卷积操作后输出结果，最终得到3个不同尺度的预测结果，每个结果中包含3个先验框的预测信息，每个先验框的预测信息对应7维，分别是坐标值4维、置信度1维和种类2维，检测结果储存在种类中，分为戴口罩和未戴口罩2种。
所述步骤4)中，对于所述步骤3)判定为佩戴口罩的情形，利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，将待检测的图片从RGB颜色空间转换到YCrCb颜色空间，以建立椭圆肤色模型，基于命题逻辑进行整体判断，若逻辑为真，则判定为规范佩戴口罩；若逻辑为假，则判定为不规范佩戴口罩。
本发明还提供了一种现场人员防疫口罩规范佩戴的自动检测装置，包括：
视频图像提取模块，用于摄像头采集视频，从所得视频流中获取视频帧图像，并基于所述图像进行预处理；
深度学习模块，基于采用已经标注的人脸数据集训练的人脸口罩目标检测模型，对所述待检测图像进行人脸口罩定位检测，以得到第一检测结果；
第一判断模块，用于判断所述第一检测结果是否符合佩戴口罩条件；
检测模块，基于YCrCb椭圆肤色模型，对所述符合口罩佩戴条件的第一检测结果进行是否规范佩戴口罩的检测，以得到第二检测结果；
第二判断模块，用于判断所述第二检测结果是否符合规范佩戴口罩条件；
输出模块，用于输出判定结果与实现报警功能。
本发明还提供了一种GPU云平台系统，包括：
云服务平台，提供数据存储、计算以及网络服务；
以及所述现场人员防疫口罩规范佩戴的自动检测装置；
其中，检测装置的视频图像提取模块通过云服务平台传递采集数据信息，检测模块通过云服务平台传递检测结果信息，并且与输出模块建立数据连接。
所述检测装置、云服务平台以及若干待检测行人作为整套自动检测系统的参与模块，每个参与模块将自身信息与其余参与模块共享，实现即时状态交流。
所述计算服务则引入全新的GPU架构和相应的GPU通用计算技术，充分利用硬件资源提高算法的性能，建立有效的计算方案。
与现有技术相比，本发明的有益效果是：
1、对于人脸口罩区域的定位与分类基于深度神经网络模型，利用目标检测网络模型可自动提取多尺度图像特征，检测人脸口罩区域，不易被背景干扰，鲁棒性强。
2、结合残差网络、特征金字塔以及多特征融合网络，使得定位与分类一步完成，较传统目标检测网络拥有更高的准确度，且极大地缩减了检测时间，提升了检测效率。
3、创新性地提出基于YCrCb颜色空间的椭圆肤色模型进行规范佩戴口罩的检测，利用肤色像素具有一定聚类性，分布相对集中的特点，克服了光线和亮度不均匀带来的影响，鲁棒性较高。
4、引入全新的GPU架构和相应的GPU通用计算技术，充分利用硬件资源提高算法的性能，建立更有效的计算方案，提高算法运算速度。
综上，本发明能够保障复杂环境下人脸口罩规范佩戴的准确检测，检测结果快速准确，鲁棒性强；无需专业人员操作模型，解放人力资源；可以应用于机场车站、街道、公园、超市等人流密集场所的监控系统中，同时可以应用于小区门禁、企业进出人脸打卡系统，进行口罩佩戴和佩戴规范性检测。另外，在日常生活中可以应用于检测佩戴口罩的可疑人员、检测医务工作者在工作时是否规范佩戴口罩等场景。适用范围广，为社会安全发展提供了保障，应用前景广阔。
附图说明
图1本申请实施例一提供的一种基于深度学习的防疫口罩规范佩戴检测方法原理流程图。
图2本申请实施例一中的跨阶段局部骨干网络结构图。
图3本申请实施例一中的特征增强网络结构图。
图4本申请实施例一中的多尺度预测网络结构图。
图5本申请实施例一中的单人人脸口罩佩戴检测结果，其中(a)为佩戴口罩，(b)为未佩戴口罩。
图6本申请实施例一中的多人人脸口罩佩戴检测结果。
图7本申请实施例一中的复杂场景下多人人脸口罩佩戴检测结果。
图8本申请实施例一中的YCrCb的椭圆肤色模型皮肤检测结果，其中(a)为待检测图像，(b)为检测结果灰度图。
图9本申请实施例一中的口罩规范佩戴检测结果，其中(a)为规范佩戴，(b)为不规范佩戴。
图10本申请实施例二提供的一种防疫口罩规范佩戴自动检测装置的示意性框图。
图11本申请实施例三提供的一种防疫口罩规范佩戴自动检测云平台系统的示意性框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式作详细的说明。
实施例一：
本发明现场人员防疫口罩规范佩戴的自动检测方法的主要内容如下：
人脸佩戴口罩目标检测采用人脸口罩目标检测模型，针对复杂场景下人脸口罩佩戴检测任务中存在的遮挡、密集人群、小尺度目标等问题，结合跨阶段局部网络改进DarkNet53网络，降低了内存消耗同时提高了运算速度；在检测网络中引入空间金字塔池化结构，基于自下而上和自上而下的特征融合策略构建多尺度预测网络，实现特征增强；使用性能更优的CIoU损失函数，充分考虑到目标与检测框之间的中心点距离、重叠比以及长宽比信息，提高检测模型的准确性。
基于YCrCb椭圆肤色模型判断是否规范佩戴口罩，利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，将肤色检测的图片从RGB颜色空间转换到YCrCb颜色空间，建立椭圆肤色模型，依据人脸中鼻和嘴周围区域的皮肤暴露状况来判断口罩是否佩戴规范。基于命题逻辑进行整体判断，若命题为真，则判定佩戴口罩；否则，判定为佩戴口罩。
参见图1，本发明对规范佩戴口罩进行检测的具体步骤如下：
1.人脸口罩图像预处理
首先获取待检测图像，指由终端拍摄用于人脸口罩检测的图像，比如超市或者小区门口摄像头拍摄的遮挡或者未遮挡的人脸图像、地铁进站口摄像头或者终端拍摄的遮挡或者未遮挡的人脸图像、银行ATM机自动终端拍摄的遮挡或者未遮挡的人脸图像等。对待检测图像进行尺寸归一化，采用双线性插值法将图像尺寸缩放至标准宽度256*256，以满足输入神经网络中图像所需大小。待检测图像标准化处理，基于凸优化理论与数据概率分布，将图像数据通过去均值实现中心化的处理，取得训练之后的泛化效果，以去除光照和阴影影响。
具体的函数表达式如下：
Figure BDA0002746618950000071
其中，X表示图像矩阵，μ表示图像均值，σ表示标准方差，N表示图像的像素数量。
图像尺寸缩放时在两个垂直方向上分别进行一次线性插值，以此将人脸口罩图像缩放至满足神经网络输入的统一图像大小。
2.基于深度学习的口罩佩戴检测
在复杂场景下人脸口罩佩戴检测任务中存在的遮挡、密集人群、小尺度目标等问题，利用人脸口罩目标检测模型实现口罩佩戴的检测，主要由骨干网络、特征增强网络、多尺度预测网络三个模块构成：
2.1)骨干网络模块结合跨阶段局部网络改进DarkNet53网络得到CSPDarkNet53网络，降低了内存消耗同时提高了运算速度，如图2所示。CSPDarkNet53网络由两个部分的残差块组成：Shortconv和Mainconv。Shortconv是生成的一个大的残差边，经过1次卷积处理后直接连接到最后；Mainconv作为主干部分进行n次残差块的堆叠，即先经过一次1×1的卷积对通道数进行调整，再通过一次3×3的卷积加强特征提取，接着将其输出和小的残差边进行堆叠，然后再经过一次1×1的卷积将通道数调整至与Shortconv相同。在本实施例中，n的取值为1,2,8,8,4。
卷积块DarknetConv2D中使用的激活函数为Mish，一种新颖的自正则非单调的神经网络激活函数，有效避免了出现梯度消失问题，增强了网络正则化效果。有利于神经网络提取更高级的潜在特征，从而获得更优秀的泛化能力，保留更小的负输入从而提升了网络的可解释能力和梯度流。Mish激活函数如下式：
Mish＝x·tanh(ln(1+ex))
采用CIoU将目标与检测框之间的中心点距离，重叠率以及长宽比都考虑进去，使得目标框回归变得更加稳定，如下式：
Figure BDA0002746618950000081
其中，m和n分别表示预测框和真实框的中心点，ρ2(m,n)表示预测框和真实框的中心点的欧式距离，d表示能够同时包含预测框和真实框的最小闭包区域的对角线距离，α为权衡参数，β衡量了长宽比的一致性。
2.2)特征增强网络模块目的是为了进一步获取多尺度局部特征信息，并将其与全局特征信息进行融合以获取更丰富的特征表示，进而提升预测精度。在模块CSPDarknet53网络中进行了一系列的卷积和下采样，其全局语义信息已经十分丰富。因此本实施例在CSPDarknet53网络中的最后一个特征层的卷积里加入了特征金字塔结构，如图3所示。特征增强网络模块包括如下步骤：
步骤1：首先对13×13的1024通道特征层进行3次卷积(DarknetConv2D_BN_Mish)操作；
步骤2：利用三个不同尺度的池化层进行最大池化处理，其池化核大小分别为13×13、9×9、5×5，步长均为1；
步骤3：将输入的全局特征图和三个经池化处理后得到的局部特征图进行堆叠，继续进行3次卷积操作。
特征金字塔结构的使用可以极大地增加最后一个特征层的感受野，分离出最显著的上下文特征，从而获得更加丰富的局部特征信息。
2.3)多尺度预测网络模块通过自上而下和自下而上的融合策略增强特征表示，进一步实现特征复用。如图4所示，具体实现步骤为：
步骤1：通过CSPDarkNet53骨干网络提取得到三个有效特征层(52,52,256)、(26,26,512)和(13,13,1024)，分别记为大尺度特征层、中尺度特征层以及小尺度特征层；
步骤2：先对小尺度特征层SFL0进行三次卷积(Conv_3)、空间金字塔池化后再进行三次卷积(Conv_3)得到小尺度特征层SFL1，融合SFL1一次卷积(Conv_1)和上采样后的结果与中尺度特征层MFL0进行一次卷积(Conv_1)的结果得到中尺度特征层MFL1，接着再融合MFL1一次卷积(Conv_1)和上采样后的结果与高尺度特征层LFL0一次卷积(Conv_1)的结果得到中高度特征层LFL1，进而完成自下而上的特征融合。
步骤3：先对LFL1进行五次卷积(Conv_5)得到LFL2，将对LFL2进行下采样得到的结果与MFL1进行五次卷积(Conv_5)得到的结果进行融合得到MFL2；接着将MFL2进行下采样得到的结果与SFL1进行融合得到SFL2，而完成自上而下的特征融合。
步骤4：将三个初始有效特征层LFL0、MFL0和SFL0利用自下而上和自上而下的融合方式得到的LFL2、MFL2和SFL2分别进行5次卷积(Conv_5)后输入YOLO网络中进行预测。
在人脸口罩目标检测模型训练阶段，采用Adam优化器对网络进行优化，共分为两个阶段：第一阶段是将前249层冻结，仅对250至369层进行训练，初始学习率设为0.001，batch_size为4，训练50个轮次(epoch)；第二阶段是将前249层解冻后对所有层进行训练，batch_size为2，训练从第60个轮次开始，到第120个轮次结束，得到人脸口罩目标检测模型。
在检测阶段，提取摄像头采集到的原始视频流中的视频图像，对图像进行尺度变换及标准化等预处理；输入到训练好的人脸口罩检测模型中，提取3个不同尺度的特征图，得到3个不同尺度的预测结果，每个结果中包含3个先验框的预测信息，每个先验框的预测信息对应7维，分别是坐标值(4)、置信度(1)、种类(2)。检测结果储存在种类中，分为戴口罩和未戴口罩2种，最终检测结果如图5中(a)和(b)以及图6、图7所示。
3.基于YCrCb椭圆肤色模型的口罩规范佩戴检测
对于上述检测结果为佩戴口罩的情形，利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，将肤色检测的图片从RGB颜色空间转换到YCrCb颜色空间，建立椭圆肤色模型，基于命题逻辑进行整体判断，包括如下步骤：
步骤1：基于Adaboost算法进行人脸检测，利用大量的分类能力一般的弱分类器组合起来，形成一个强分类器，再将若干强分类器级联成分级分类器，完成对图像的搜索检测功能。利用弱学习的反馈，自适应调整假设的错误率，使得在保证检测效率的前提下，提高准确率。得到人脸区域后，对图像进行剪裁，提取人脸区域并将图像尺寸缩放至统一大小。
步骤2：利用YCrCb的椭圆肤色模型对该区域进行肤色检测，将待检测图像从RGB颜色空间转换到YCrCb颜色空间，采用四个边界限制肤色聚类区域，去掉高光和阴影部分以适应图像中亮度过亮或者过暗的区域。转换公式为：
Figure BDA0002746618950000101
假设原始图像中某个像素点从RGB颜色空间转换到YCrCb颜色空间后的映射为[Y,Cb0,Cr0]，YCrCb的椭圆肤色模型核心思想是皮肤信息在YCrCb颜色空间中会产生聚类现象，其分布近似为椭圆形状，满足椭圆公式：
Figure BDA0002746618950000102
对于皮肤的检测，求出该像素点位于椭圆平面的坐标(x,y)，如下式：
Figure BDA0002746618950000103
在本实施例中，取θ＝2.53(弧度)，cx＝109.38，cy＝152.02。判断转化后的坐标是否落在椭圆区域内，如果是则判定为皮肤区域，反之判定为非皮肤区域。检测为皮肤的像素点设为255(白色)，检测为非皮肤的像素点设为0(黑色)。最终得到人脸区域灰度图如图8中(a)和(b)所示。
步骤3：在步骤2得到的灰度图中，划分鼻子和嘴巴区域，嘴巴及其周围区域位于灰度图41％-65％的高度，鼻子及其周围区域位于灰度图65％-96％的高度，遍历鼻和嘴周围部分的所有像素点，得出在对应部分范围里皮肤所占的面积百分比。鼻子部分阈值设置为29％，嘴巴部分阈值设置为18％。基于命题逻辑进行整体判断，表达式如下式：
M∧(N∨L)
其中，M表示佩戴口罩，N表示鼻子未遮挡，L表示嘴巴未遮挡。若逻辑为真，则判定为规范佩戴口罩；若逻辑为假，则判定为不规范佩戴口罩，最终的检测结果如图9中(a)和(b)所示。
实施例二：
在上述实施例的基础上，基于同一发明构思，本申请实施例提供了一种防疫口罩规范佩戴自动检测装置，图10示出了本实施例提供的防疫口罩规范佩戴自动检测装置200，包括：视频图像提取模块201、深度学习模块202、第一判断模块203、检测模块204、第二判断模块205、输出模块206。
具体地，视频图像提取模块201，用于摄像头采集视频，从所述视频流中获取视频帧图像，并基于所述图像进行预处理；
深度学习模块202，用于对所述待检测图像进行人脸口罩定位检测，以得到第一检测结果；
第一判断模块203，用于判断所述第一检测结果是否符合佩戴口罩条件；
检测模块204，用于对所述符合口罩佩戴条件的第一检测结果进行是否规范佩戴口罩的检测，以得到第二检测结果；
第二判断模块205，用于判断所述第二检测结果是否符合规范佩戴口罩条件；
输出模块206，用于输出判定结果与实现报警功能。
在一种实施方式中，深度学习模块202包括：
数据集处理单元2021，用于对分类目标进行语义标注，头部区域、口罩区域和背景区域均采用矩形框进行标注，获取标签集与样本数据，并将样本数据分为训练样本和测试样本；模型构建单元2022，用于构建检测网络与损失函数；模型训练单元2023，用于将训练样本送入检测网络进行训练，得到训练结果、采用损失函数计算损失值及模型准确度、调整参数优化检测网络；模型测试单元2024，用于测试模型是否适用，若不适用则进入训练单元继续优化参数。
在一种实施方式中，第一判断模块203用于执行以下判定过程：
获取待检测图片输入检测网络中的检测结果，若检测结果为佩戴口罩，且置信度不小于预设阈值，则判定为佩戴口罩；反之，判定为未佩戴口罩；
在一种实施方式中，检测模块204包括：
人脸检测单元2041，用于检测图像中的人脸区域；皮肤检测单元2042，用于检测人脸区域内的皮肤区域。
在一种实施方式中，第二模块205用于执行以下判定过程：
获取待检测图片输入检测模块的检测结果，基于判定逻辑做出是否规范佩戴口罩的判定。
在一种实施方式中，输出模块，用于对检测结果为未佩戴口罩或者未规范佩戴口罩的情况输出至终端，以配合声光装置进行报警。
实施例三：
基于同一发明构思，本申请实施例提供了一种防疫口罩规范佩戴自动检测云平台系统，参见图11，该平台300是独立的服务器或者多个服务器组成的服务器群。300包括：云服务平台301、由总线304连接的一个或者多个GPU302，只读存储器(ROM)303，随机访问存储器(RAM)304，I/O接口306。I/O接口306连接云平台系统中的多个模块，包括：输入单元308、存储单元309、输出单元310和通信单元3110。
具体地，云服务平台302用于计算、网络、存储的集中统一运行管理，高效存储和检索海量设备运行过程中的数据，且无限扩展用于提供数据存储、计算以及网络服务。在一种实施方式中，实施例二提出的自动检测装置中的视频图像提取模块通过云平台传递采集数据信息，检测模块通过云平台传递检测结果信息，并且与输出模块建立数据连接。
GPU302为控制器，用于加速计算，可以包括微处理器或者其他逻辑装置，根据存储在ROM303中的计算机程序执行指令操作和处理，或者根据从存储单元3090加载到RAM304中的计算机程序执行指令操作和处理。RAM304还可以存储可运行的程序以及数据。
通信单元3110包括发送机和接收机，经由天线3111提供输入信号和输出信号，在一种实施方式中，可以设置一个或者多个通信模块，例如蓝牙模块、蜂窝网络、无线局域网等。
输入单元308主要包括拍摄装置，还可以包括键盘、鼠标或者触摸输入设备；
存储单元3090包括缓冲器3091；应用/功能存储3092用于存储应用程序或者通过GPU302执行平台的操作过程；数据存储3093用于存储图像、数字、声音以及其他任何平台300使用的数据；驱动程序存储3094包括用于平台300的例如通信功能、输出功能的各种驱动程序。
输出单元310可以包括显示器、扬声器、显示灯；
上述平台300可以用于执行所述实施例一中提供的防疫口罩规范佩戴检测方法，由平台300的处理单元执行。在一种实施方式中，实施例一作为一种计算机程序被包括于设备可读介质中，如存储单元3090。在一种实施方式中，实施例一作为一种计算机程序的部分或者全部可以经过通信单元3110或者ROM303被安装到平台300上。RAM304加载部分或者全部计算机程序并且程序被GPU302执行，可以实现所述实施例一中的一个或者多个操作。
由此可见，采用上述技术手段，在目标遮挡、密集人群以及小尺度检测等复杂场景下能够有效提升人脸规范佩戴口罩的检测精度和检测速度，检测方法简单，易于工程应用落地转化。
以上的具体实施例仅为本发明的较佳实施例，并不用以限制本发明，凡在发明的精神及原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，包括如下步骤：
步骤1)，采集规范佩戴口罩的人脸数据集，并且对数据集进行标注及预处理；
步骤2)，构建人脸口罩目标检测模型，并且采用已经标注的人脸数据集对该模型进行训练，获取模型参数；
步骤3)，将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；
步骤4)，对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。
2.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤1)采集规范佩戴口罩的人脸数据集，并对目标进行分类，图像标注的信息区域包括面部区域、口罩区域、背景区域。
3.根据权利要求2所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤1)中，对分类目标进行语义标注，面部区域、口罩区域和背景区域均采用矩形框进行标注，获取标签集，分别为头部区域对应标签head、口罩区域对应标签mask以及背景区域对应标签background；所述对数据集进行预处理，包括将图像的尺寸缩放至标准宽度256*256以及图像的标准化，即基于凸优化理论与数据概率分布，将图像数据通过去均值实现中心化的处理，以去除光照和阴影影响。
4.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤2)构建人脸口罩目标检测模型，结合跨阶段局部网络改进DarkNet53网络，降低内存消耗同时提高运算速度；在检测网络中引入空间金字塔池化结构，基于自下而上和自上而下的特征融合策略构建多尺度预测网络，实现特征增强；使用性能更优的CIoU损失函数，充分考虑到目标与检测框之间的中心点距离、重叠比以及长宽比信息，提高检测模型的准确性。
5.根据权利要求1或4所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤2)的模型训练中，以包含面部区域、口罩区域、背景区域的图像组成人脸口罩目标区域检测的样本数据，将样本数据分为训练样本和测试样本，训练样本用于目标检测模型训练；测试样本用于测试目标检测模型的准确度，采用Adam优化器对网络进行优化，更新被训练网络权值，损失函数使用CIoU损失函数，最终使得在测试数据下网络损失函数最小，得到网络的模型参数。
6.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤3)中，提取摄像头采集到的原始视频流中的图像，对所述图像进行尺度变换及标准化预处理；输入到训练好的人脸口罩目标检测模型中，得到检测结果，根据置信度判断待检测图片中的人是否佩戴口罩。
7.根据权利要求6所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述图像输入到训练好的人脸口罩目标检测模型中，提取3个不同尺度的特征图，分别位于中间层、中下层和底层，底层进行系列卷积后，一部分经过后续处理作为结果输出，另一部分再做卷积和上采样操作并与中下层的特征图融合，得到具有细粒度中下层的特征图，然后将该特征图经过系列卷积后，输出对应结果的同时再进行卷积、上采样和中间层特征图融合，在中间层将融合的图进行卷积操作后输出结果，最终得到3个不同尺度的预测结果，每个结果中包含3个先验框的预测信息，每个先验框的预测信息对应7维，分别是坐标值4维、置信度1维和种类2维，检测结果储存在种类中，分为戴口罩和未戴口罩2种。
8.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤4)中，对于所述步骤3)判定为佩戴口罩的情形，利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，将待检测的图片从RGB颜色空间转换到YCrCb颜色空间，以建立椭圆肤色模型，基于命题逻辑进行整体判断，若逻辑为真，则判定为规范佩戴口罩；若逻辑为假，则判定为不规范佩戴口罩。
9.一种现场人员防疫口罩规范佩戴的自动检测装置，其特征在于，包括：
视频图像提取模块，用于摄像头采集视频，从所得视频流中获取视频帧图像，并基于所述图像进行预处理；
深度学习模块，基于采用已经标注的人脸数据集训练的人脸口罩目标检测模型，对所述待检测图像进行人脸口罩定位检测，以得到第一检测结果；
第一判断模块，用于判断所述第一检测结果是否符合佩戴口罩条件；
检测模块，基于YCrCb椭圆肤色模型，对所述符合口罩佩戴条件的第一检测结果进行是否规范佩戴口罩的检测，以得到第二检测结果；
第二判断模块，用于判断所述第二检测结果是否符合规范佩戴口罩条件；
输出模块，用于输出判定结果与实现报警功能。
10.一种GPU云平台系统，其特征在于，包括：
云服务平台，提供数据存储、计算以及网络服务；
由总线连接的一个或者多个GPU，作为控制器，用于加速计算，根据存储在只读存储器中的计算机程序执行指令操作和处理，或者根据从存储单元加载到随机访问存储器中的计算机程序执行指令操作和处理；
I/O接口，连接云平台系统中的多个模块，包括：输入单元、存储单元、输出单元和通信单元；
以及，权利要求9所述现场人员防疫口罩规范佩戴的自动检测装置，其视频图像提取模块通过云服务平台系统中的输入单元传递采集数据信息，检测模块通过云服务平台系统中的输出单元传递检测结果信息，所述检测装置、云服务平台以及若干待检测行人作为整套自动检测系统的参与模块，每个参与模块将自身信息与其余参与模块共享，实现即时状态交流。
CN202011168773.2A 2020-10-28 2020-10-28 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 Pending CN112183471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011168773.2A CN112183471A (zh) 2020-10-28 2020-10-28 一种现场人员防疫口罩规范佩戴的自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011168773.2A CN112183471A (zh) 2020-10-28 2020-10-28 一种现场人员防疫口罩规范佩戴的自动检测方法及系统

Publications (1)

Publication Number Publication Date
CN112183471A true CN112183471A (zh) 2021-01-05

Family

ID=73922888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011168773.2A Pending CN112183471A (zh) 2020-10-28 2020-10-28 一种现场人员防疫口罩规范佩戴的自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN112183471A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784821A (zh) * 2021-03-06 2021-05-11 深圳市安比智慧科技有限公司 基于YOLOv5的工地行为安全检测识别方法及系统
CN112912893A (zh) * 2021-01-28 2021-06-04 深圳市锐明技术股份有限公司 佩戴口罩的检测方法、装置、终端设备及可读存储介质
CN112906651A (zh) * 2021-03-25 2021-06-04 中国联合网络通信集团有限公司 目标检测方法及装置
CN112949572A (zh) * 2021-03-26 2021-06-11 重庆邮电大学 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN113033375A (zh) * 2021-03-22 2021-06-25 广州大学华软软件学院 一种基于yolov3的人脸口罩检测方法、系统、设备及介质
CN113313186A (zh) * 2021-06-09 2021-08-27 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113314230A (zh) * 2021-05-27 2021-08-27 创新奇智(上海)科技有限公司 基于大数据的智能防疫方法、装置、设备及存储介质
CN113361397A (zh) * 2021-06-04 2021-09-07 重庆邮电大学 一种基于深度学习的人脸口罩佩戴情况检测方法
CN113420675A (zh) * 2021-06-25 2021-09-21 浙江大华技术股份有限公司 一种口罩佩戴规范度的检测方法及装置
CN113723308A (zh) * 2021-08-31 2021-11-30 上海西井信息科技有限公司 基于图像的防疫套件的检测方法、系统、设备及存储介质
CN113762201A (zh) * 2021-09-16 2021-12-07 深圳大学 基于yolov4的口罩检测方法
CN113947795A (zh) * 2021-10-22 2022-01-18 苏州魔视智能科技有限公司 口罩佩戴检测方法、装置、设备及存储介质
CN114255517A (zh) * 2022-03-02 2022-03-29 中运科技股份有限公司 一种基于人工智能分析的景区游客行为监测系统及方法
CN114267077A (zh) * 2022-03-03 2022-04-01 杭州魔点科技有限公司 口罩佩戴识别的方法、系统、装置和介质
CN114463911A (zh) * 2022-02-10 2022-05-10 广州邦讯信息系统有限公司 一种应用于高铁站台的安全防护系统
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114937232A (zh) * 2022-07-25 2022-08-23 浙江大学 医废处理人员防护用具穿戴检测方法、系统和设备
CN115116122A (zh) * 2022-08-30 2022-09-27 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582068A (zh) * 2020-04-22 2020-08-25 北京交通大学 人员口罩佩戴状态检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
管军霖 等: "基于 YOLOv4 卷积神经网络的口罩佩戴检测方法", 《现代信息科技》 *
肖俊杰: "基于 YOLOv3 和 YCrCb 的人脸口罩检测与规范佩戴识别", 《软件》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112912893A (zh) * 2021-01-28 2021-06-04 深圳市锐明技术股份有限公司 佩戴口罩的检测方法、装置、终端设备及可读存储介质
WO2022160202A1 (zh) * 2021-01-28 2022-08-04 深圳市锐明技术股份有限公司 佩戴口罩的检测方法、装置、终端设备及可读存储介质
CN112784821A (zh) * 2021-03-06 2021-05-11 深圳市安比智慧科技有限公司 基于YOLOv5的工地行为安全检测识别方法及系统
CN113033375A (zh) * 2021-03-22 2021-06-25 广州大学华软软件学院 一种基于yolov3的人脸口罩检测方法、系统、设备及介质
CN112906651A (zh) * 2021-03-25 2021-06-04 中国联合网络通信集团有限公司 目标检测方法及装置
CN112906651B (zh) * 2021-03-25 2023-07-11 中国联合网络通信集团有限公司 目标检测方法及装置
CN112949572B (zh) * 2021-03-26 2022-11-25 重庆邮电大学 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN112949572A (zh) * 2021-03-26 2021-06-11 重庆邮电大学 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN113314230A (zh) * 2021-05-27 2021-08-27 创新奇智(上海)科技有限公司 基于大数据的智能防疫方法、装置、设备及存储介质
CN113361397A (zh) * 2021-06-04 2021-09-07 重庆邮电大学 一种基于深度学习的人脸口罩佩戴情况检测方法
CN113361397B (zh) * 2021-06-04 2022-07-12 重庆邮电大学 一种基于深度学习的人脸口罩佩戴情况检测方法
CN113313186B (zh) * 2021-06-09 2023-01-24 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113313186A (zh) * 2021-06-09 2021-08-27 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113420675A (zh) * 2021-06-25 2021-09-21 浙江大华技术股份有限公司 一种口罩佩戴规范度的检测方法及装置
CN113723308B (zh) * 2021-08-31 2023-08-22 上海西井科技股份有限公司 基于图像的防疫套件的检测方法、系统、设备及存储介质
CN113723308A (zh) * 2021-08-31 2021-11-30 上海西井信息科技有限公司 基于图像的防疫套件的检测方法、系统、设备及存储介质
CN113762201B (zh) * 2021-09-16 2023-05-09 深圳大学 基于yolov4的口罩检测方法
CN113762201A (zh) * 2021-09-16 2021-12-07 深圳大学 基于yolov4的口罩检测方法
CN113947795A (zh) * 2021-10-22 2022-01-18 苏州魔视智能科技有限公司 口罩佩戴检测方法、装置、设备及存储介质
CN114463911A (zh) * 2022-02-10 2022-05-10 广州邦讯信息系统有限公司 一种应用于高铁站台的安全防护系统
CN114463911B (zh) * 2022-02-10 2022-11-04 广州邦讯信息系统有限公司 一种应用于高铁站台的安全防护系统
CN114255517A (zh) * 2022-03-02 2022-03-29 中运科技股份有限公司 一种基于人工智能分析的景区游客行为监测系统及方法
CN114267077A (zh) * 2022-03-03 2022-04-01 杭州魔点科技有限公司 口罩佩戴识别的方法、系统、装置和介质
CN114758363B (zh) * 2022-06-16 2022-08-19 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN114882596B (zh) * 2022-07-08 2022-11-15 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114882596A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 行为预警方法、装置、电子设备及存储介质
CN114937232A (zh) * 2022-07-25 2022-08-23 浙江大学 医废处理人员防护用具穿戴检测方法、系统和设备
CN115116122A (zh) * 2022-08-30 2022-09-27 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和系统
CN115116122B (zh) * 2022-08-30 2022-12-16 杭州魔点科技有限公司 一种基于双分支协同监督的口罩识别方法和系统

Similar Documents

Publication Publication Date Title
CN112183471A (zh) 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
Wu et al. Helmet detection based on improved YOLO V3 deep model
Wei et al. Enhanced object detection with deep convolutional neural networks for advanced driving assistance
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
Li et al. A deep learning approach for real-time rebar counting on the construction site based on YOLOv3 detector
CN104361313B (zh) 一种基于多核学习异构特征融合的手势识别方法
CN105528575B (zh) 基于上下文推理的天空检测方法
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN111611874A (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN111462140B (zh) 一种基于区块拼接的实时图像实例分割方法
CN110287798B (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
CN113762201A (zh) 基于yolov4的口罩检测方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN113221667A (zh) 一种基于深度学习的人脸口罩属性分类方法及系统
Yuan et al. Real‐time recognition and warning of mask wearing based on improved YOLOv5 R6. 1
CN110659585B (zh) 一种基于交互属性监督的行人检测方法
CN112597902A (zh) 一种基于核电安全的小目标智能识别方法
Li et al. A real-time vehicle window positioning system based on nanodet
Liu et al. Abnormal behavior analysis strategy of bus drivers based on deep learning
WO2023070955A1 (zh) 一种基于计算机视觉的港口作业区微小目标检测方法和装置
Peng et al. Helmet wearing recognition of construction workers using convolutional neural network
Sun et al. Flame Image Detection Algorithm Based onComputer Vision.
CN107240111A (zh) 边沿连通分割客流统计方法
Gao et al. E-DeepLabV3+: A Landslide Detection Method for Remote Sensing Images
Kinattukara et al. Clustering based neural network approach for classification of road images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105