CN111582068A - 人员口罩佩戴状态检测方法 - Google Patents

人员口罩佩戴状态检测方法 Download PDF

Info

Publication number
CN111582068A
CN111582068A CN202010322202.3A CN202010322202A CN111582068A CN 111582068 A CN111582068 A CN 111582068A CN 202010322202 A CN202010322202 A CN 202010322202A CN 111582068 A CN111582068 A CN 111582068A
Authority
CN
China
Prior art keywords
mask
wearing
image
face
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010322202.3A
Other languages
English (en)
Other versions
CN111582068B (zh
Inventor
秦勇
曹志威
谢征宇
李永玲
魏运
柳青红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010322202.3A priority Critical patent/CN111582068B/zh
Publication of CN111582068A publication Critical patent/CN111582068A/zh
Application granted granted Critical
Publication of CN111582068B publication Critical patent/CN111582068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种人员口罩佩戴状态检测方法。该方法包括：利用一定数量的佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，使用口罩佩戴训练数据集训练SSD目标检测算法，得到口罩佩戴检测模型；利用一定数量的监测区域场景的图像构建监测区域场景的口罩佩戴训练数据集，利用口罩佩戴训练数据集训练所述口罩佩戴检测模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型；将待检测的监测区域场景的图像输入训练好的口罩佩戴检测模型，输出图像中的人员口罩佩戴状态检测结果。本发明优化SSD网络的检测框长宽比和学习率，并使用迁移学习的手段优化口罩检测模型，结合Haar级联分类器，人员口罩佩戴状态的检测准确率可达到98.2％。

Description

人员口罩佩戴状态检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人员口罩佩戴状态检测方法。
背景技术
由于新型冠状病毒具有较强的传染性，佩戴口罩能够有效预防该病毒。轨道交通作为居民日常通勤和外出远行的主要交通方式之一，长时间聚集大量人群，面临着严峻的传播风险。一些不佩戴口罩的乘客进入轨道交通车站，不仅给轨道交通车站和其他乘客造成潜在威胁，还面临着自身被感染的风险。但是轨道交通车站工作人员有限，不能实时查看每一个乘客。轨道交通车站的监控视频能够监控到车站大多数地方，利用能够检测是否佩戴口罩的智能算法，可以提高车站的检查效率和监控范围，保障轨道交通场所的广大乘客的安全。
目前，现有技术中的一种口罩佩戴检测算法包括：基于深度学习的目标检测算法对是否佩戴口罩进行检测。该方法的原理是构建基于卷积神经网络的目标检测模型，利用已经标注的训练数据集训练目标检测模型，获得可以自动检测是否佩戴口罩的智能算法。
上述现有技术中的口罩佩戴检测算法的缺点为：由于轨道交通车站场景复杂，监控视频角度多变，直接使用口罩数据集训练基于深度学习的目标检测算法会出现漏报和误报问题，不能满足现场应用的需求。
发明内容
本发明的实施例提供了一种人员口罩佩戴状态检测方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种人员口罩佩戴状态检测方法，包括：
利用一定数量的佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，使用所述口罩佩戴训练数据集训练SSD目标检测算法，得到口罩佩戴检测模型；
利用一定数量的监测区域场景的图像构建监测区域场景的口罩佩戴训练数据集，利用所述口罩佩戴训练数据集训练所述口罩佩戴检测模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型；
将待检测的监测区域场景的图像输入所述训练好的口罩佩戴检测模型，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态检测结果。
优选地，所述的利用一定数量的佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，使用所述口罩佩戴训练数据集训练SSD目标检测算法，得到口罩佩戴检测模型，包括：
获取一定数量的佩戴口罩和不佩戴口罩的人脸图像，分别标注类型为佩戴口罩和不佩戴口罩，并且标注每个人脸图像中人脸的长和宽，利用佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，在佩戴训练数据集中记录每个人脸图像中人脸的长宽比数据；
构建SSD目标检测算法，使用K-means算法统计所述口罩佩戴训练数据集中记录的人脸图像中人脸的长宽比，根据统计出的人脸图像中人脸的长宽比设定SSD目标检测算法中的锚点长宽比为1：1、1：1.4和1：2，调整SSD目标检测算法的训练超参数，优化批处理和学习率，SSD目标检测算法的批处理设为32，初始学习率为0.001，在70000迭代时下降为0.0001，在100000迭代时下降为0.00001，得到参数优化后的SSD目标检测算法；
使用口罩佩戴训练数据集训练所述参数优化后的SSD目标检测算法，训练后得到口罩佩戴检测模型。
优选地，所述的利用一定数量的监测区域场景的图像构建监测区域场景的口罩佩戴训练数据集，利用所述口罩佩戴训练数据集训练所述口罩佩戴检测模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型，包括：
提取监测区域场景的监控视频的每帧图像，将图像缩放至512*512，将每个图像输入参数优化后的SSD目标检测算法，SSD目标检测算法根据交并比阈值排除重复的人脸图像后，输出每个图像的特征参数，使用所述口罩佩戴检测模型评估图像的特征参数，得到图像的多个候选检测结果，每个候选检测结果包括人脸区域的坐标、人脸是否佩戴口罩类别和相应的置信度，利用非极大值抑制算法从多个候选检测结果中筛选出图像的检测结果输出；
设置阈值a为0.8，根据每个图像的检测结果，保留置信度大于a的乘客是否佩戴口罩类别和人脸位置，标注置信度大于a的图像中的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第一口罩佩戴数据集；
设置阈值b为0.2，根据每个图像的检测结果，设计主动学习的查询策略计算一张图像中所有置信度均值与每一个置信度的差值，保留差值大于b的乘客是否佩戴口罩类别和人脸位置，自动标注差值大于b的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第二口罩佩戴数据集；
将所述第一口罩佩戴数据集和所述第二口罩佩戴数据集合并，构建监测区域场景的口罩佩戴训练数据集，使用迁移学习的方法所述口罩佩戴检测模型作为预训练模型，使用监测区域场景的口罩佩戴训练数据集训练所述预训练模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型。
优选地，所述的主动学习的查询策略的计算公式为：
Figure RE-GDA0002589725500000031
Figure RE-GDA0002589725500000041
是所有置信度的均值，xi是第i个人脸的置信度。
优选地，所述的将待检测的监测区域场景的图像输入所述训练好的口罩佩戴检测模型，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态检测结果，包括：
提取监测区域场景的每帧图像，将图像缩放至512*512；
将图像输入到所述训练好的口罩佩戴检测模型中，设置交并比和置信度阈值为0.5，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态的检测结果，检测结果包括：没有乘客、乘客佩戴口罩和乘客没有佩戴口罩；
所述训练好的口罩佩戴检测模型检测到乘客佩戴口罩，则提取佩戴口罩的人脸区域图像，并将提取的人脸区域图像从RGB颜色空间转换为灰度空间，使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果。
优选地，所述的使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果，包括：
下载并加载鼻子的Haar级联分类器，设置鼻子的Haar级联分类器参数，该参数包括输入图像、每次图像尺寸缩小的比例和不同比例的人脸区域图像中都检测到鼻子的设定数量；
将灰度的人脸区域图像进行多次缩小处理，每次图像尺寸缩小的比例为 1.2，将不同比例的人脸区域图像输入到Haar级联分类器中，当Haar级联分类器在设定数量个人脸区域图像中都检测到鼻子，则确定人脸区域中露出了鼻子，输出佩戴口罩不规范的检测结果。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法考虑到轨道交通场景等监测区域的特殊性和乘客佩戴口罩的习惯，优化SSD网络的检测框长宽比和学习率，并使用迁移学习的手段优化口罩检测模型，结合Haar级联分类器，人员口罩佩戴状态的检测准确率可达到98.2％。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于迁移学习与改进SSD-Haar模型的轨道交通乘客口罩佩戴状态视频检测方法的实现原理示意图。
图2是本发明实施例提供的一种基于迁移学习与改进SSD-Haar模型的轨道交通乘客口罩佩戴状态视频检测方法的处理流程图。
图3、图4和图5是本发明实施例提供的轨道交通车站的口罩佩戴检测实验结果示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明采用如下技术方案来实现：一种基于迁移学习与改进SSD-Haar模型的人员口罩佩戴状态检测方法的实现原理示意图如图1所述，具体处理流程如图2所示，包括以下处理步骤：
步骤S1：获取一定数量的佩戴口罩和不佩戴口罩的人脸图像，分别标注类型为佩戴口罩和不佩戴口罩，并且标注每个人脸图像中人脸的长和宽，利用佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，在佩戴训练数据集中记录每个人脸图像中人脸的长宽比数据。
步骤S2：使用上述口罩佩戴训练数据集训练SSD(Single ShotMultiBoxDetector)目标检测算法，训练后得到口罩佩戴检测模型。
具体包括以下步骤：
步骤2.1，构建SSD目标检测算法，该SSD目标检测算法的骨干网络为 VGG16，VGG16包括19个卷积层和5个池化层，检测种类为佩戴口罩、不佩戴口罩和背景。
步骤2.2，SSD目标检测算法中的锚点长宽比用于匹配人脸区域，合适的锚点长宽比可以准确确定人脸区域，提高算法精度。使用K-means算法统计口罩佩戴训练数据集中记录的人脸图像中人脸的长宽比，根据统计出的人脸图像中人脸的长宽比设定SSD目标检测算法中的锚点长宽比为1：1、1：1.4和 1：2，使口罩佩戴训练数据集与SSD目标检测算法深度结合。
步骤2.3，调整SSD的训练超参数，优化批处理和学习率，SSD的批处理设为32。初始学习率为0.001，在70000迭代时下降为0.0001，在100000迭代时下降为0.00001；
得到参数优化后的SSD目标检测算法
步骤2.4，使用口罩佩戴训练数据集训练上述参数优化后的SSD目标检测算法，训练后得到口罩佩戴检测模型。
步骤3：在监测区域应用口罩佩戴检测算法，检测乘客是否佩戴口罩，自动标注检测到的人脸，并使用主动学习增加漏报和误报的人脸数据，构建轨道交通场景的口罩佩戴训练数据集；
所述步骤3具体包括以下步骤：
步骤3.1，提取监测区域场景的监控视频的每帧图像，将图像缩放至 512*512；上述监测区域可以为轨道交通车站和车厢、街道、办公楼的入口等各种区域。
步骤3.2，交并比为两个区域交集面积除以并集面积，用于排除同一人脸的重复检测。设置交并比阈值为0.2，根据图像检测乘客是否佩戴口罩：首先，将每个图像输入参数优化后的SSD目标检测算法，SSD目标检测算法根据交并比阈值排除重复的人脸图像后，输出每个图像的特征参数，使用所述口罩佩戴检测模型评估图像的特征参数，得到图像的多个候选检测结果，每个候选检测结果包括人脸区域的坐标、人脸是否佩戴口罩类别和相应的置信度，利用非极大值抑制算法从多个候选检测结果中筛选出一个图像的检测结果输出。
步骤3.3，设置阈值a为0.8，保留置信度大于a的乘客是否佩戴口罩类别和人脸位置，标注信度大于a的图像中的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第一口罩佩戴数据集，该第一口罩佩戴数据集可以为xml文件。
步骤3.4，设置阈值b为0.2，设计主动学习的查询策略计算一张图像中所有置信度均值与每一个置信度的差值，保留差值大于b的乘客是否佩戴口罩类别和人脸位置，自动标注差值大于b的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第二口罩佩戴数据集，该第二口罩佩戴数据集可以为xml文件，并调整人脸位置和是否佩戴口罩类别。
主动学习的查询策略的计算公式：
Figure RE-GDA0002589725500000081
Figure RE-GDA0002589725500000082
是所有置信度的均值，xi是第i个人脸的置信度。阈值b的值为0.2，当 yi大于0.2时则保留该置信度对应的是否佩戴口罩类别和人脸位置；
步骤3.5，将第一口罩佩戴数据集和第二口罩佩戴数据集合并，构建监测区域场景的口罩佩戴训练数据集。
步骤4：迁移学习是将某个领域或任务上学习到的知识或模式应用到相关的领域或问题中。使用迁移学习的方法将步骤2的口罩佩戴检测模型作为预训练模型，使用监测区域场景的口罩佩戴训练数据集训练上述预训练模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型。
步骤5：将待检测的监测区域场景的图像输入训练好的口罩佩戴检测模型，训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态检测结果。
所述步骤5具体包括以下步骤：
步骤5.1，提取监测区域场景的每帧图像，缩放至512*512；
步骤5.2，将图像输入到上述训练好的口罩佩戴检测模型中，设置交并比和置信度阈值为0.5，上述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态的检测结果，检测结果包括：没有乘客、乘客佩戴口罩和乘客没有佩戴口罩，以及每种检测结果对应的置信度。
上述训练好的口罩佩戴检测模型检测到没有佩戴口罩的乘客则报警；
步骤5.3，上述训练好的口罩佩戴检测模型检测到乘客佩戴口罩，则提取佩戴口罩的人脸区域，并将提取的人脸区域从RGB颜色空间转换为灰度空间；
步骤6：使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果。
所述步骤6具体包括以下步骤：
步骤6.1，下载并加载鼻子的Haar级联分类器，Haar级联分类器基于 Haar-like特征做检测，使用筛选式级联把分类器级联到一起，提高准确率；
步骤6.2，设置鼻子的Haar级联分类器参数，该参数包括输入图像、每次图像尺寸缩小的比例和不同比例的人脸区域图像中都检测到鼻子的设定数量；
将灰度的人脸区域图像进行多次缩小处理，每次图像尺寸缩小的比例为 1.2，将不同比例的人脸区域图像输入到Haar级联分类器中，当Haar级联分类器在设定数量个(比如5个)人脸区域图像中都检测到鼻子，则确定人脸区域中露出了鼻子，输出佩戴口罩不规范的检测结果。
图3、图4和图5是本发明实施例提供的轨道交通车站的乘客口罩佩戴检测实验结果示意图。图3是轨道交通车站场景原图，图4是本发明处理后的结果，为了使结果更清楚，图5截取了图4的一部分进行放大。可以看出，本发明取得了非常好的检测结果。
综上所述，本发明实施例的方法考虑到轨道交通场景等监测区域的特殊性和乘客佩戴口罩的习惯，优化SSD网络的检测框长宽比和学习率，并使用迁移学习的手段优化口罩检测模型，结合Haar级联分类器，人员口罩佩戴状态的检测准确率可达到98.2％。
方法 本发明 YOLOv3 YOLOv3-tiny
准确率 98.2％ 85.1％ 81.1％
现有的口罩佩戴检测模型的误报主要体现在不能识别不规范佩戴口罩，本发明提出使用Haar级联分类器检测鼻子特征，能够准确识别出不规范佩戴口罩的乘客，降低误报率。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种人员口罩佩戴状态检测方法，其特征在于，包括：
利用一定数量的佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，使用所述口罩佩戴训练数据集训练SSD目标检测算法，得到口罩佩戴检测模型；
利用一定数量的监测区域场景的图像构建监测区域场景的口罩佩戴训练数据集，利用所述口罩佩戴训练数据集训练所述口罩佩戴检测模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型；
将待检测的监测区域场景的图像输入所述训练好的口罩佩戴检测模型，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态检测结果。
2.根据权利要求1所述的方法，其特征在于，所述的利用一定数量的佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，使用所述口罩佩戴训练数据集训练SSD目标检测算法，得到口罩佩戴检测模型，包括：
获取一定数量的佩戴口罩和不佩戴口罩的人脸图像，分别标注类型为佩戴口罩和不佩戴口罩，并且标注每个人脸图像中人脸的长和宽，利用佩戴口罩和不佩戴口罩的人脸图像构建口罩佩戴训练数据集，在佩戴训练数据集中记录每个人脸图像中人脸的长宽比数据；
构建SSD目标检测算法，使用K-means算法统计所述口罩佩戴训练数据集中记录的人脸图像中人脸的长宽比，根据统计出的人脸图像中人脸的长宽比设定SSD目标检测算法中的锚点长宽比为1：1、1：1.4和1：2，调整SSD目标检测算法的训练超参数，优化批处理和学习率，SSD目标检测算法的批处理设为32，初始学习率为0.001，在70000迭代时下降为0.0001，在100000迭代时下降为0.00001，得到参数优化后的SSD目标检测算法；
使用口罩佩戴训练数据集训练所述参数优化后的SSD目标检测算法，训练后得到口罩佩戴检测模型。
3.根据权利要求1所述的方法，其特征在于，所述的利用一定数量的监测区域场景的图像构建监测区域场景的口罩佩戴训练数据集，利用所述口罩佩戴训练数据集训练所述口罩佩戴检测模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型，包括：
提取监测区域场景的监控视频的每帧图像，将图像缩放至512*512，将每个图像输入参数优化后的SSD目标检测算法，SSD目标检测算法根据交并比阈值排除重复的人脸图像后，输出每个图像的特征参数，使用所述口罩佩戴检测模型评估图像的特征参数，得到图像的多个候选检测结果，每个候选检测结果包括人脸区域的坐标、人脸是否佩戴口罩类别和相应的置信度，利用非极大值抑制算法从多个候选检测结果中筛选出图像的检测结果输出；
设置阈值a为0.8，根据每个图像的检测结果，保留置信度大于a的乘客是否佩戴口罩类别和人脸位置，标注置信度大于a的图像中的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第一口罩佩戴数据集；
设置阈值b为0.2，根据每个图像的检测结果，设计主动学习的查询策略计算一张图像中所有置信度均值与每一个置信度的差值，保留差值大于b的乘客是否佩戴口罩类别和人脸位置，自动标注差值大于b的乘客人脸区域，将乘客是否佩戴口罩类别和人脸位置写入第二口罩佩戴数据集；
将所述第一口罩佩戴数据集和所述第二口罩佩戴数据集合并，构建监测区域场景的口罩佩戴训练数据集，使用迁移学习的方法所述口罩佩戴检测模型作为预训练模型，使用监测区域场景的口罩佩戴训练数据集训练所述预训练模型，得到适用于监测区域场景的训练好的口罩佩戴检测模型。
4.根据权利要求3所述的方法，其特征在于，所述的主动学习的查询策略的计算公式为：
Figure FDA0002461858400000031
Figure FDA0002461858400000032
是所有置信度的均值，xi是第i个人脸的置信度。
5.根据权利要求3或4所述的方法，其特征在于，所述的将待检测的监测区域场景的图像输入所述训练好的口罩佩戴检测模型，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态检测结果，包括：
提取监测区域场景的每帧图像，将图像缩放至512*512；
将图像输入到所述训练好的口罩佩戴检测模型中，设置交并比和置信度阈值为0.5，所述训练好的口罩佩戴检测模型输出图像中的人员口罩佩戴状态的检测结果，检测结果包括：没有乘客、乘客佩戴口罩和乘客没有佩戴口罩；
所述训练好的口罩佩戴检测模型检测到乘客佩戴口罩，则提取佩戴口罩的人脸区域图像，并将提取的人脸区域图像从RGB颜色空间转换为灰度空间，使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果。
6.根据权利要求5所述的方法，其特征在于，所述的使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果，包括：
下载并加载鼻子的Haar级联分类器，设置鼻子的Haar级联分类器参数，该参数包括输入图像、每次图像尺寸缩小的比例和不同比例的人脸区域图像中都检测到鼻子的设定数量；
将灰度的人脸区域图像进行多次缩小处理，每次图像尺寸缩小的比例为1.2，将不同比例的人脸区域图像输入到Haar级联分类器中，当Haar级联分类器在设定数量个人脸区域图像中都检测到鼻子，则确定人脸区域中露出了鼻子，输出佩戴口罩不规范的检测结果。
CN202010322202.3A 2020-04-22 2020-04-22 人员口罩佩戴状态检测方法 Active CN111582068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322202.3A CN111582068B (zh) 2020-04-22 2020-04-22 人员口罩佩戴状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322202.3A CN111582068B (zh) 2020-04-22 2020-04-22 人员口罩佩戴状态检测方法

Publications (2)

Publication Number Publication Date
CN111582068A true CN111582068A (zh) 2020-08-25
CN111582068B CN111582068B (zh) 2023-07-07

Family

ID=72122650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322202.3A Active CN111582068B (zh) 2020-04-22 2020-04-22 人员口罩佩戴状态检测方法

Country Status (1)

Country Link
CN (1) CN111582068B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001872A (zh) * 2020-08-26 2020-11-27 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112036519A (zh) * 2020-11-06 2020-12-04 中科创达软件股份有限公司 基于多位sigmoid的分类处理方法、装置及电子设备
CN112085010A (zh) * 2020-10-28 2020-12-15 成都信息工程大学 一种基于图像识别的口罩检测和部署系统及方法
CN112183471A (zh) * 2020-10-28 2021-01-05 西安交通大学 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
CN112287827A (zh) * 2020-10-29 2021-01-29 南通中铁华宇电气有限公司 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN112347988A (zh) * 2020-11-30 2021-02-09 广联达科技股份有限公司 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN112395967A (zh) * 2020-11-11 2021-02-23 华中科技大学 一种口罩佩戴监测方法、电子设备和可读存储介质
CN113065473A (zh) * 2021-04-07 2021-07-02 浙江天铂云科光电股份有限公司 一种适用于嵌入式系统的口罩人脸检测和体温测量方法
CN113553922A (zh) * 2021-07-05 2021-10-26 安徽中医药大学 一种基于改进型卷积神经网络口罩佩戴状态检测方法
CN113837031A (zh) * 2021-09-06 2021-12-24 桂林理工大学 一种基于优化ssd算法的口罩佩戴检测方法
CN114099737A (zh) * 2020-08-28 2022-03-01 李然守 消毒剂自动喷洒系统
CN114257790A (zh) * 2021-12-21 2022-03-29 北京睿芯高通量科技有限公司 智能安防系统中的口罩预警方法、装置、电子设备及存储介质
WO2022077139A1 (zh) * 2020-10-12 2022-04-21 鸿富锦精密工业(武汉)有限公司 人脸识别方法、装置及可读存储介质
WO2024088623A1 (de) * 2022-10-25 2024-05-02 Stellantis Auto Sas Fahrzeugfunktionssteuerung mittels von mobilgerät erkannter mimik

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138854A1 (en) * 2017-11-03 2019-05-09 Fujitsu Limited Method and apparatus for training face recognition model
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
WO2019232866A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN110728223A (zh) * 2019-10-08 2020-01-24 济南东朔微电子有限公司 一种基于深度学习的安全帽佩戴识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138854A1 (en) * 2017-11-03 2019-05-09 Fujitsu Limited Method and apparatus for training face recognition model
WO2019232866A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110399905A (zh) * 2019-07-03 2019-11-01 常州大学 施工场景中安全帽佩戴情况的检测及描述方法
CN110728223A (zh) * 2019-10-08 2020-01-24 济南东朔微电子有限公司 一种基于深度学习的安全帽佩戴识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PUTTEMANS，S等: "EXPLOITING SCENE CONSTRAINTS TO IMPROVE OBJECT DETECTION ALGORITHMS FOR INDUSTRIALAPPLICATIONS", 《KU LEUVEN》 *
李小伟: "轻量级深度学习目标检测算法研究及系统设计", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042624A1 (zh) * 2020-08-26 2022-03-03 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112001872A (zh) * 2020-08-26 2020-11-27 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
US11922721B2 (en) 2020-08-26 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Information display method, device and storage medium for superimposing material on image
CN114099737A (zh) * 2020-08-28 2022-03-01 李然守 消毒剂自动喷洒系统
US11922724B2 (en) 2020-10-12 2024-03-05 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Face recognition method utilizing a face recognition model and a face sample library to detect mask images
WO2022077139A1 (zh) * 2020-10-12 2022-04-21 鸿富锦精密工业(武汉)有限公司 人脸识别方法、装置及可读存储介质
CN112085010A (zh) * 2020-10-28 2020-12-15 成都信息工程大学 一种基于图像识别的口罩检测和部署系统及方法
CN112183471A (zh) * 2020-10-28 2021-01-05 西安交通大学 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
CN112287827A (zh) * 2020-10-29 2021-01-29 南通中铁华宇电气有限公司 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN112036519A (zh) * 2020-11-06 2020-12-04 中科创达软件股份有限公司 基于多位sigmoid的分类处理方法、装置及电子设备
CN112395967A (zh) * 2020-11-11 2021-02-23 华中科技大学 一种口罩佩戴监测方法、电子设备和可读存储介质
CN112347988A (zh) * 2020-11-30 2021-02-09 广联达科技股份有限公司 口罩识别模型的训练方法、装置、计算机设备和可读存储介质
CN113065473A (zh) * 2021-04-07 2021-07-02 浙江天铂云科光电股份有限公司 一种适用于嵌入式系统的口罩人脸检测和体温测量方法
CN113553922A (zh) * 2021-07-05 2021-10-26 安徽中医药大学 一种基于改进型卷积神经网络口罩佩戴状态检测方法
CN113837031A (zh) * 2021-09-06 2021-12-24 桂林理工大学 一种基于优化ssd算法的口罩佩戴检测方法
CN114257790A (zh) * 2021-12-21 2022-03-29 北京睿芯高通量科技有限公司 智能安防系统中的口罩预警方法、装置、电子设备及存储介质
WO2024088623A1 (de) * 2022-10-25 2024-05-02 Stellantis Auto Sas Fahrzeugfunktionssteuerung mittels von mobilgerät erkannter mimik

Also Published As

Publication number Publication date
CN111582068B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN111582068A (zh) 人员口罩佩戴状态检测方法
CN110119686B (zh) 一种基于卷积神经网络的安全帽实时检测方法
US20210248378A1 (en) Spatiotemporal action detection method
CN109543695B (zh) 基于多尺度深度学习的泛密度人群计数方法
CN104408429B (zh) 一种视频代表帧提取方法及装置
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
CN112183471A (zh) 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
CN111079539B (zh) 一种基于异常追踪的视频异常行为检测方法
CN109410146A (zh) 一种基于Bi-Skip-Net的图像去模糊算法
Masurekar et al. Real time object detection using YOLOv3
CN111783589B (zh) 基于场景分类和多尺度特征融合的复杂场景人群计数方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
Sen et al. Face mask detection for covid_19 pandemic using pytorch in deep learning
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN105893962A (zh) 一种机场安检卡口人流统计方法
CN103488993A (zh) 一种基于fast的人群异常行为识别方法
CN103473570A (zh) 自适应视频场景的行人检测方法
CN108509834B (zh) 基于多元对数高斯分布下视频特征的图结构规约方法
CN106971193A (zh) 基于结构型Haar和Adaboost的目标检测方法
Yang et al. Deep learning and one-class SVM based anomalous crowd detection
CN115116137A (zh) 基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法
US20240161507A1 (en) Airport indices for passenger health check using machine learning
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant