CN114092998A - 一种基于卷积神经网络的佩戴口罩人脸识别检测方法 - Google Patents
一种基于卷积神经网络的佩戴口罩人脸识别检测方法 Download PDFInfo
- Publication number
- CN114092998A CN114092998A CN202111319006.1A CN202111319006A CN114092998A CN 114092998 A CN114092998 A CN 114092998A CN 202111319006 A CN202111319006 A CN 202111319006A CN 114092998 A CN114092998 A CN 114092998A
- Authority
- CN
- China
- Prior art keywords
- mask
- convolution
- detection method
- convolutional neural
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 230000005764 inhibitory process Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000002156 mixing Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 208000015181 infectious disease Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000001528 Coronaviridae Infections Diseases 0.000 description 1
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的佩戴口罩人脸识别检测方法，包括以下步骤：采集人脸部的图像；对采集到的图片进行预处理，然后对有无佩戴口罩进行标注；将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络，在主干特征提取网络中，会分离出6个有效特征层，用来预测结果；对获取到的每一个有效特征层，分别对其进行一次卷积，并需要计算每一个有效特征层对应的先验框；获得预测框对预测框进行得分排序与非极大抑制获得真实框；步骤六：快速检输出目标图像。本发明将VGG16的conv1，conv2，conv3，conv4，conv5的卷积层替换为mobilenet里面对应的可分离卷积层。大大减少了模型的参数，使得模型更加轻便，提升了模型行运行速度。
Description
技术领域
本发明属于机器视觉及图像处理技术领域，特别是涉及一种基于卷积神经网络的佩戴口罩人脸识别检测方法。
背景技术
目前，全球新型冠状病毒感染的肺炎流行期间，佩戴口罩成为人们出行的一种方式，可以有效降低感染率。尤其是在人员密集的场所，例如公共交通站、学校、医院、游乐场所等人员密集区。由于，之前没有佩戴口罩的习惯、佩戴口罩呼吸困难、夏天佩戴口罩不舒服等原因，部分人群在密集场所仍然不佩戴口罩，这样就会存在互相传染的问题。然而，在这些场所并没有快速检测口罩佩戴的装置，如果通过人工检测，一方面人流量大，另一方面检测者被传染的概率很大，之后会出现交叉感染等情况。那么这些场所就需要快速检测有无佩戴口罩的通道。一种快速检测佩戴口罩人脸识别方法显得尤为重要。
发明内容
为了克服上述问题，本发明提供了一种基于卷积神经网络的佩戴口罩人脸识别检测方法，给出了检测具体步骤S1-S5，S3将VGG16的conv1，conv2，conv3，conv4，conv5的卷积层替换为mobilenet里面对应的可分离卷积层；大大减少了模型的参数，使得模型更加轻便，提升了模型行运行速度；提升了算法的实时性，能够快速检测到有无佩戴口罩。
本发明所采用的技术方案是：
一种基于卷积神经网络的佩戴口罩人脸识别检测方法，包括以下步骤：
步骤一：采集人脸部的图像；
步骤二：对采集到的图片进行预处理，然后对有无佩戴口罩进行标注；
步骤三：将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络，在主干特征提取网络中，会分离出6个有效特征层，用来预测结果；
步骤四：对获取到的每一个有效特征层，分别对其进行一次卷积，并需要计算每一个有效特征层对应的先验框；
步骤五：获得预测框对预测框进行得分排序与非极大抑制获得真实框；
步骤六：快速检输出目标图像；
其中，步骤一具体为：采集公共场所进出口人脸的图像，在采集的图片中混入从WIDERFace数据集中的2000张图片；该数据集本是一个遮挡人脸的数据集，其中有各种被遮挡的人脸图片，大多数都是被口罩遮挡的人脸图片。
其中，步骤二具体为：将戴口罩的人脸标注为face_msk；没戴口罩的标注为face；将标注好的图片按9：1的比例随机的分为训练集和测试集。
其中，步骤三具体为：将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络；在主干特征提取网络中，会分离出6个有效特征层，用来预测结果。
其中，步骤四具体为：对获取到的每一个有效特征层，分别对其进行一次num_priorsx4的卷积、一次num_priorsxnum_classes的卷积、并需要计算每一个有效特征层对应的先验框；而num_priors指的是该特征层所拥有的先验框数量；利用num_priorsx4的卷积的结果对先验框进行调整，获得预测框。
其中，步骤五具体为：通过对每一个特征层的处理，可以获得三个内容，分别是：num_priorsx4的卷积用于预测该特征层上每一个网格点上、每一个先验框的变化情况；num_priorsxnum_classes的卷积用于预测该特征层上每一个网格点上、每一个预测框对应的种类；每一个有效特征层对应的先验框对应着该特征层上，每一个网格点上预先设定好的多个框；利用num_priorsx4的卷积与每一个有效特征层对应的先验框获得框的真实位置。
本发明的优点如下：
该发明将VGG16的conv1，conv2，conv3，conv4，conv5的卷积层替换为mobilenet里面对应的可分离卷积层；大大减少了模型的参数，使得模型更加轻便，提升了模型行运行速度。
附图说明
图1是本发明所述一种基于卷积神经网络的佩戴口罩人脸识别检测方法的流程图；
图2是本发明的一种基于卷积神经网络的佩戴口罩人脸识别检测方法的改进后的框架训练集示意图；
图3是本发明的一种基于卷积神经网络的佩戴口罩人脸识别检测方法的特征图检测示意图；
图4是本发明的一种基于卷积神经网络的佩戴口罩人脸识别检测方法的效特征层对应的先验框结果解码示意图。
具体实施方式
以下通过具体实施例来进一步说明本发明，以下实施例为本发明较佳的实施方式，但本发明的实施方式并不受下述实施例的限制。该领域的技术熟练人员根据上述苯发明内容对本发明做出的一些非本质的改进和调整，仍属于本发明保护范围。
实施例
如图1所示，一种基于卷积神经网络的佩戴口罩人脸识别检测方法，包括以下步骤：
步骤一：采集人脸部的图像；
步骤二：对采集到的图片进行预处理，然后对有无佩戴口罩进行标注；
步骤三：将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络，在主干特征提取网络中，会分离出6个有效特征层，用来预测结果；
步骤四：对获取到的每一个有效特征层，分别对其进行一次卷积，并需要计算每一个有效特征层对应的先验框；
步骤五：获得预测框对预测框进行得分排序与非极大抑制获得真实框；
步骤六：快速检输出目标图像。
本发明提供了改进后的框架训练集具体步骤，如图2所示：
改进部分：用MobileNet模型里面对应的层替换ssd模型里面对应的层将普通的卷积变换为深度可分离卷积。具体将VGG16的conv1，conv2，conv3，conv4，conv5的卷积层替换为mobilenet里面对应的可分离卷积层。去掉了fc6，fc7层。输入的图片经过了改进的VGG网络(Conv1->fc5)和几个另加的卷积层(Conv6->Conv9)，进行特征提取：
具体步骤，输入一张图片后，被resize到300x300的shape
conv1，经过两次[3,3]卷积网络，输出的特征层为64，输出为(300,300,64)，再2X2最大池化，输出net为(150,150,64)。
conv2，经过两次[3,3]卷积网络，输出的特征层为128，输出net为(150,150,128)，再2X2最大池化，输出net为(75,75,128)。
conv3，经过三次[3,3]卷积网络，输出的特征层为256，输出net为(75,75,256)，再2X2最大池化，输出net为(38,38,256)。
conv4，经过三次[3,3]卷积网络，输出的特征层为512，输出net为(38,38,512)，再2X2最大池化，输出net为(19,19,512)。
conv5，经过三次[3,3]卷积网络，输出的特征层为512，输出net为(19,19,512)，再2X2最大池化，输出net为(19,19,512)。
利用卷积代替全连接层，进行了两次[3,3]卷积网络，输出的特征层为1024，因此输出的net为(19,19,1024)。(从这里往前都是VGG的结构)
conv6，经过一次[1,1]卷积网络，调整通道数，一次步长为2的[3,3]卷积网络，输出的特征层为512，因此输出的net为(10,10,512)。
conv7，经过一次[1,1]卷积网络，调整通道数，一次步长为2的[3,3]卷积网络，输出的特征层为256，因此输出的net为(5,5,256)。
conv8，经过一次[1,1]卷积网络，调整通道数，一次padding为valid的[3,3]卷积网络，输出的特征层为256，因此输出的net为(3,3,256)。
conv9，经过一次[1,1]卷积网络，调整通道数，一次padding为valid的[3,3]卷积网络，输出的特征层为256，因此输出的net为(1,1,256)。
本发明提供了特征图的检测过程，如图3所示：
取有效特征层，来获取预测结果。分别取conv3的卷积的特征、conv5的特征、conv6的第二次卷积的特征、conv7的第二次卷积的特征、conv8的第二次卷积的特征、conv9的第二次卷积的特征。对获取到的每一个有效特征层，分别对其进行一次num_priorsx4的卷积、一次num_priorsxnum_classes的卷积、并需要计算每一个有效特征层对应的先验框。而num_priors指的是该特征层所拥有的先验框数量。其中：num_priorsx4的卷积用于预测该特征层上每一个网格点上每一个先验框的变化情况。最终产生的默认边界框数量：8712个。
本发明每一个有效特征层对应的先验框结果解码，如图4所示：
每一个有效特征层将整个图片分成与其长宽对应的网格，如conv3的特征层就是将整个图像分成38x38个网格；然后从每个网格中心建立多个先验框，如conv3的特征层就是建立了4个先验框；对于conv3的特征层来讲，整个图片被分成38x38个网格，每个网格中心对应4个先验框，一共包含了，38x38x4个，5776个先验框。先验框虽然可以代表一定的框的位置信息与框的大小信息，但是其是有限的，无法表示任意情况，因此还需要调整，ssd利用num_priorsx4的卷积的结果对先验框进行调整。num_priorsx4中的num_priors表示了这个网格点所包含的先验框数量，其中的4表示了x_offset、y_offset、h和w的调整情况。x_offset与y_offset代表了真实框距离先验框中心的xy轴偏移情况。
h和w代表了真实框的宽与高相对于先验框的变化情况。
SSD解码过程就是将每个网格的中心点加上它对应的x_offset和y_offset，加完后的结果就是预测框的中心，然后再利用先验框和h、w结合计算出预测框的长和宽。这样就能得到整个预测框的位置了。当然得到最终的预测结构后还要进行得分排序与非极大抑制筛选这一部分基本上是所有目标检测通用的部分。
1、取出每一类得分大于self.obj_threshold的框和得分。
2、利用框的位置和得分进行非极大抑制。
多任务损失函数：总体目标损失函数是定位误差(loc)和置信度损失或者叫分类误差(conf)的加权和：
设定α为1，可以通过cross_validation选择。
N：与真实边界框匹对的anchor的数量；
x:如果一个anchor与真实边界框匹对，值为1，否则为0；
c:真实物体的预测值；
L：预测的边界框中心位置和长、宽；
g：真实的边界框中心位置和长、宽；
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：包括以下步骤：
步骤一：采集人脸部的图像；
步骤二：对采集到的图片进行预处理，然后对有无佩戴口罩进行标注；
步骤三：将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络，在主干特征提取网络中，会分离出6个有效特征层，用来预测结果；
步骤四：对获取到的每一个有效特征层，分别对其进行一次卷积，并需要计算每一个有效特征层对应的先验框；
步骤五：获得预测框对预测框进行得分排序与非极大抑制获得真实框；
步骤六：快速检输出目标图像。
2.根据权利要求1所述的一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：所述的步骤一具体为：采集公共场所进出口人脸的图像，在采集的图片中混入从WIDERFace数据集中的2000张图片；该数据集本是一个遮挡人脸的数据集，其中有各种被遮挡的人脸图片，大多数都是被口罩遮挡的人脸图片。
3.根据权利要求1所述的一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：所述的步骤二具体为：将戴口罩的人脸标注为face_msk；没戴口罩的标注为face；将标注好的图片按9：1的比例随机的分为训练集和测试集。
4.根据权利要求1所述的一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：所述的步骤三具体为：将划分好的训练集送入模型开始训练，输入的图片会经过主干特征提取网络；在主干特征提取网络中，会分离出6个有效特征层，用来预测结果。
5.根据权利要求1所述的一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：所述的步骤四具体为：对获取到的每一个有效特征层，分别对其进行一次num_priorsx4的卷积、一次num_priorsxnum_classes的卷积、并需要计算每一个有效特征层对应的先验框；而num_priors指的是该特征层所拥有的先验框数量；利用num_priorsx4的卷积的结果对先验框进行调整，获得预测框。
6.根据权利要求1所述的一种基于卷积神经网络的佩戴口罩人脸识别检测方法，其特征在于：所述的步骤五具体为：通过对每一个特征层的处理，可以获得三个内容，分别是：num_priorsx4的卷积用于预测该特征层上每一个网格点上、每一个先验框的变化情况；num_priorsxnum_classes的卷积用于预测该特征层上每一个网格点上、每一个预测框对应的种类；每一个有效特征层对应的先验框对应着该特征层上，每一个网格点上预先设定好的多个框；利用num_priorsx4的卷积与每一个有效特征层对应的先验框获得框的真实位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111319006.1A CN114092998A (zh) | 2021-11-09 | 2021-11-09 | 一种基于卷积神经网络的佩戴口罩人脸识别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111319006.1A CN114092998A (zh) | 2021-11-09 | 2021-11-09 | 一种基于卷积神经网络的佩戴口罩人脸识别检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092998A true CN114092998A (zh) | 2022-02-25 |
Family
ID=80299457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111319006.1A Pending CN114092998A (zh) | 2021-11-09 | 2021-11-09 | 一种基于卷积神经网络的佩戴口罩人脸识别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092998A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351420A (zh) * | 2023-10-18 | 2024-01-05 | 江苏思行达信息技术有限公司 | 一种智能开关门检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717481A (zh) * | 2019-12-12 | 2020-01-21 | 浙江鹏信信息科技股份有限公司 | 一种利用级联卷积神经网络实现人脸检测的方法 |
| CN111931623A (zh) * | 2020-07-31 | 2020-11-13 | 南京工程学院 | 一种基于深度学习的人脸口罩佩戴检测方法 |
| CN112418115A (zh) * | 2020-11-27 | 2021-02-26 | 湖南师范大学 | 一种基于改进ssd模型的口罩佩戴检测方法 |
| CN112949572A (zh) * | 2021-03-26 | 2021-06-11 | 重庆邮电大学 | 基于Slim-YOLOv3的口罩佩戴情况检测方法 |
| CN113076923A (zh) * | 2021-04-21 | 2021-07-06 | 山东大学 | 基于轻量型网络MobileNet-SSD的口罩佩戴检测方法、设备及存储介质 |
| CN113553922A (zh) * | 2021-07-05 | 2021-10-26 | 安徽中医药大学 | 一种基于改进型卷积神经网络口罩佩戴状态检测方法 |
-
2021
- 2021-11-09 CN CN202111319006.1A patent/CN114092998A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717481A (zh) * | 2019-12-12 | 2020-01-21 | 浙江鹏信信息科技股份有限公司 | 一种利用级联卷积神经网络实现人脸检测的方法 |
| CN111931623A (zh) * | 2020-07-31 | 2020-11-13 | 南京工程学院 | 一种基于深度学习的人脸口罩佩戴检测方法 |
| CN112418115A (zh) * | 2020-11-27 | 2021-02-26 | 湖南师范大学 | 一种基于改进ssd模型的口罩佩戴检测方法 |
| CN112949572A (zh) * | 2021-03-26 | 2021-06-11 | 重庆邮电大学 | 基于Slim-YOLOv3的口罩佩戴情况检测方法 |
| CN113076923A (zh) * | 2021-04-21 | 2021-07-06 | 山东大学 | 基于轻量型网络MobileNet-SSD的口罩佩戴检测方法、设备及存储介质 |
| CN113553922A (zh) * | 2021-07-05 | 2021-10-26 | 安徽中医药大学 | 一种基于改进型卷积神经网络口罩佩戴状态检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351420A (zh) * | 2023-10-18 | 2024-01-05 | 江苏思行达信息技术有限公司 | 一种智能开关门检测方法 |
| CN117351420B (zh) * | 2023-10-18 | 2024-06-04 | 江苏思行达信息技术股份有限公司 | 一种智能开关门检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11263434B2 (en) | Fast side-face interference resistant face detection method | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN112232199A (zh) | 基于深度学习的佩戴口罩检测方法 | |
| CN109859233A (zh) | 图像处理、图像处理模型的训练方法及系统 | |
| CN113537099B (zh) | 一种公路隧道火灾烟雾动态检测方法 | |
| CN109657545B (zh) | 一种基于多任务学习的行人检测方法 | |
| CN112528961B (zh) | 一种基于Jetson Nano的视频分析方法 | |
| CN111597920B (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
| CN111611895B (zh) | 一种基于OpenPose的多视角人体骨架自动标注方法 | |
| CN112464701A (zh) | 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法 | |
| CN112232205B (zh) | 移动端cpu实时多功能人脸检测方法 | |
| CN111985348A (zh) | 人脸识别方法和系统 | |
| CN113591674B (zh) | 一种面向实时视频流的边缘环境行为识别系统 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN104717574B (zh) | 一种视频摘要中事件与背景的融合方法 | |
| CN114998303A (zh) | 特征提取能力强的小肠间质瘤检测方法 | |
| CN113570573A (zh) | 混合注意力机制的肺结节假阳性排除方法、系统、设备 | |
| CN114092998A (zh) | 一种基于卷积神经网络的佩戴口罩人脸识别检测方法 | |
| CN114898458A (zh) | 基于图像处理的厂区人数监测方法、系统、终端及介质 | |
| CN117911697A (zh) | 基于大模型分割的高光谱目标跟踪方法、系统、介质和设备 | |
| CN117392404B (zh) | 一种提高图像检测速度的方法及系统 | |
| CN113076923A (zh) | 基于轻量型网络MobileNet-SSD的口罩佩戴检测方法、设备及存储介质 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN117058568A (zh) | 人脸图像选择方法和装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220225 |