CN113239805A - 基于mtcnn的口罩佩戴识别方法 - Google Patents

基于mtcnn的口罩佩戴识别方法 Download PDF

Info

Publication number
CN113239805A
CN113239805A CN202110524918.6A CN202110524918A CN113239805A CN 113239805 A CN113239805 A CN 113239805A CN 202110524918 A CN202110524918 A CN 202110524918A CN 113239805 A CN113239805 A CN 113239805A
Authority
CN
China
Prior art keywords
mask
image
face
straight line
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110524918.6A
Other languages
English (en)
Inventor
唐新星
刘忠旭
刘新
陈勇刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN202110524918.6A priority Critical patent/CN113239805A/zh
Publication of CN113239805A publication Critical patent/CN113239805A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种口罩佩戴识别方法，其内容包括：人脸检测、获取口鼻区域图像和口罩佩戴识别，人脸检测内容包括：将摄像头获取的待测图像输入基于MTCNN的人脸检测网络，实现对待测图像人脸区域和面部关键点位置的预测，缩小口罩佩戴模型检测范围。获取口鼻区域图像内容包括：根据面部关键点进行人脸矫正，计算并截取口鼻区域图像。口罩佩戴识别：将口鼻区域图像输入到口罩佩戴识别网络MSR‑Net网络，进行是否佩戴口罩识别。该方法能够实现自动无接触口罩佩戴检测，对人脸定位速度快，检测速度快，准确率高。

Description

基于MTCNN的口罩佩戴识别方法
技术领域
本发明涉及一种基于MTCNN的口罩佩戴识别方法，属于目标检测领域。
背景技术
传染病是一种可通过飞沫传播、血液传播等途径，在人与人、动物与动物、人与动物之间相互传播并广泛流行的疾病。在传染病流行期间，为了尽可能阻断传染病传播途径，一般要求公众佩戴口罩并对口罩佩戴情况进行检测。
目前，基于深度学习的目标检测算法对是否口罩佩戴检测是现有技术的一种。其原理是：在待测图像上判断是否存在检测目标，根据目标检测器获取所有潜在目标位置，对所有潜在目标分类，获取并标记正确的目标。
但是，由于该方法的神经网络模型参数较多且复杂，并且需要非极大值抑制等处理，使该方法的目标检测实时性较低，识别效率较低。
发明内容
本发明的目的是提供一种口罩佩戴识别方法，用于解决现有的神经网络网络模型的目标检测实时性较低、识别效率较低的问题。
一种基于MTCNN的口罩佩戴识别方法，该方法包括以下步骤：
S1、人脸检测，包括如下步骤：
S11、打开摄像头，实时获取待测图像；
S12、将待测图像输入到多任务卷积神经网络MTCNN的人脸检测模型中，用于获取图像中人脸及面部的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；
S2、获取口鼻区域图像，包括如下步骤：
S21、根据人脸的双眼瞳孔坐标进行人脸矫正；
S22、根据人脸的鼻尖坐标、左右嘴角坐标获取口鼻区域图像；
S221、计算通过鼻尖的直线 L1：
Figure 489161DEST_PATH_IMAGE001
（1）
Figure 788555DEST_PATH_IMAGE002
（2）
Figure 234580DEST_PATH_IMAGE003
（3）
其中，鼻尖坐标p1(p1x, p1y)，左嘴角坐标p2(p2x, p2y)，右嘴角坐标p3(p3x, p3y)，L1为通过左右嘴角坐标的直线，a1为直线L1的斜率，b1为直线L1的截距
S222、根据嘴角左右坐标，计算得到直线L2及两点之间的距离d：
Figure 99768DEST_PATH_IMAGE004
（4）
Figure 206002DEST_PATH_IMAGE005
（5）
Figure 789430DEST_PATH_IMAGE006
（6）
Figure 507987DEST_PATH_IMAGE007
（7）
其中，左嘴角坐标p1(p1x, p1y)，右嘴角坐标p2(p2x, p2y)，
Figure 962103DEST_PATH_IMAGE008
为通过左右嘴角坐标的直线，
Figure 271861DEST_PATH_IMAGE009
为直线
Figure 545848DEST_PATH_IMAGE008
的斜率，
Figure 333675DEST_PATH_IMAGE010
为直线
Figure 907876DEST_PATH_IMAGE008
的截距，d为左右嘴角坐标点的距离；
S223、口鼻区域左侧直线L3：
Figure 857377DEST_PATH_IMAGE011
(8)
Figure 149818DEST_PATH_IMAGE012
(9)
Figure 475758DEST_PATH_IMAGE013
(10)
其中, a3为直线L3的斜率，
Figure 638886DEST_PATH_IMAGE014
为直线L3的截距
S224、口鼻区域左侧直线L4：
Figure 290447DEST_PATH_IMAGE015
(11)
Figure 303140DEST_PATH_IMAGE016
(12)
Figure 698349DEST_PATH_IMAGE017
(13)
其中,
Figure 450405DEST_PATH_IMAGE018
为直线
Figure 7288DEST_PATH_IMAGE019
的斜率，
Figure 274321DEST_PATH_IMAGE020
为直线
Figure 942063DEST_PATH_IMAGE019
的截距
S225、通过左右嘴角距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
K1坐标为
Figure 814204DEST_PATH_IMAGE021
(14)
K2坐标为
Figure 73147DEST_PATH_IMAGE022
(15)
K3坐标为
Figure 827476DEST_PATH_IMAGE023
(16)
K4坐标为
Figure 33330DEST_PATH_IMAGE024
(17)
其中，K1 为矩形框左上角坐标，K2为矩形框右上角坐标，K3矩形框左下角坐标，K4为矩形框右下角坐标
S3、口罩佩戴识别，包括如下步骤：
S31、将口鼻区域图像传入口罩佩戴识别网络MWR-Net，判断是否佩戴口罩；
S32、将识别结果在输入图像中显示；
优选的，所述S21中，根据人脸的双眼瞳孔坐标进行人脸矫正的步骤是：
S211、根据人脸的左右双眼瞳孔坐标，计算并得到通过双眼瞳孔的一条直线；
S212、计算通过双眼瞳孔的直线与原点的夹角，围绕图像中心点旋转相应夹角度数。
优选的，所述S31中，口罩佩戴识别网络模型的建立步骤如下：
S311、训练集、验证集的构建：使用已有数据库筛选出佩戴口罩与未佩戴口罩清晰人脸图像各1000张，采集并扩充至各5000张，根据上述基于MTCNN的截取口鼻区域的程序，获取佩戴口罩和未佩戴口罩的口鼻区域图像各5000张，构建训练集和测试集；
S312、搭建基于卷积神经网络的口罩佩戴识别模型MSR-Net，基于通道卷积提取待测图像的图像特征，包括：通过口罩佩戴识别模型MSR-Net的若干卷积层，对所述待测图像进行卷积，得到输出特征；根据预设的若干卷积核，在通道方向上对所述输出特征进行卷积，得到所述口罩区域图像对应的结果特征。
S313、通过口罩佩戴识别模型MSR-Net实现口罩佩戴识别：通过训练好的卷积神经网络分类器对待分类图像进行分类时先将单个口罩区域的图像拉伸为一个列向量，将预测图像转化为2维矩阵进行预测，再将得到的预测结果对应到相应位置，进行可视化显示。
S314、口罩佩戴识别网络模型的损失函数如下：
Figure 556715DEST_PATH_IMAGE025
（18）
其中，
Figure 986559DEST_PATH_IMAGE026
表示真实样本的标签0或1，
Figure 431447DEST_PATH_IMAGE027
表示训练样本预测为正或负的概率。
优选地，所述S311中，数据扩充方式包括：对图像进行一定角度旋转、对图像进行翻转处理、对图像进行随机缩放处理、对图像进行亮度、对比度、色度和饱和度调整、对图像随机加入噪声。
优选地，所述S311中，将所有图片分放至不同文件夹，标签为0和1，将图像信息与标签信息输出为pickle文件，其中训练集、验证集的比例为8:2。
优选地，所述S312中，自建的口罩佩戴识别模型MSR-Net，基于通道卷积提取待测图像的图像特征，包括：(1)若干卷积层：对于具有3个通道的所述待测图像，根据预设的m个k*k的卷积核，在通道方向上对所述输出特征进行卷积，得到t个所述待测图像对应的结果特征；（2）全连接层：将卷积层得到的多通道向量转变为单通道n维特征向量；（3）输出层：本质仍为全连接层，对于该二分类问题，其神经元个数为1个，输出为单通道1维向量，即标签0或1；其中，n、k、m为预设参数，t根据n、m确定。
与现有技术相比，本发明具有以下有益效果：
(1) 人脸定位速度快，能在定位人脸的同时进行面部关键点的定位；
(2) 通过基于卷积神经网络的分类技术实现口罩佩戴的识别，能够准确辨别是否佩戴口罩；
(3) 能够实现自动无接触口罩佩戴检测，检测速度快，准确率高。
附图说明
图1是本发明的口罩佩戴识别整体流程图；
图2是口罩佩戴识别模型训练过程的流程图；
图3是口罩识别网络的卷积原理示意图；
图4是口罩佩戴识别结果的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
下面结合附图与具体实施方式对本发明提出的口罩佩戴识别方法及检测装置作进一步详细说明。
图1为本发明口罩佩戴识别整体流程，主要包括人脸区域检测、口鼻区域图像获取和口罩佩戴识别三部分。人脸检测基于多任务卷积神经网络MTCNN对采集的视频图像进行人脸及面部关键点的检测，得到人脸区域图像；口罩区域图像获取基于面部关键点进行标记并截取口罩区域图像；口罩佩戴识别基于训练好的口罩佩戴识别模型MSR-Net模型对人脸区域图像进行分类，根据口鼻处的分类结果实现口罩佩戴的识别，减少面部遮挡情况下的误检误判。
一种口罩佩戴识别方法，其基于多任务卷积神经网络MTCNN的人脸检测模型，主要包括如下步骤：
（1）首先将图像进行不同尺度的变换，构建图像金字塔，以适应不同大小人脸的检测（2）使用建议网络P-Net网络对图像金字塔进行特征提取和边框标定，使用较浅层简单的CNN快速生成人脸候选窗口，供精修网络R-Net进一步处理；（3）精修网络R-Net对生成的候选框进行细化选择，过滤掉大部分错误输入并再次进行边界框回归和关键点定位，进一步优化过滤候选区域；（4）最后输出网络O-Net通过较精修网络R-Net多出的一层卷积结构识别面部区域并回归面部的5个特征点。
通过MTCNN网络输出网络模型，预测图像中是否存在人脸以及人脸、关键点的坐标位置。
口鼻区域图像获取，包括如下步骤：
第一步人脸矫正：根据人脸的双眼瞳孔坐标进行人脸矫正；
第二步截取口鼻区域图像：根据人脸的鼻尖坐标、左右嘴角坐标获取口鼻区域图像，步骤如下：
（1）、计算通过鼻尖的直线
Figure 972150DEST_PATH_IMAGE028
：
Figure 615621DEST_PATH_IMAGE001
（1）
Figure 918164DEST_PATH_IMAGE002
（2）
Figure 647085DEST_PATH_IMAGE003
（3）
其中，鼻尖坐标p1(p1x, p1y)，左嘴角坐标p2(p2x, p2y)，右嘴角坐标p3(p3x, p3y)，L1为通过左右嘴角坐标的直线，a1为直线L1的斜率，b1为直线L1的截距
（2）、根据嘴角左右坐标，计算得到直线L2及两点之间的距离d：
Figure 725900DEST_PATH_IMAGE004
（4）
Figure 692719DEST_PATH_IMAGE005
（5）
Figure 198787DEST_PATH_IMAGE006
（6）
Figure 883846DEST_PATH_IMAGE007
（7）
其中，左嘴角坐标p1(p1x, p1y)，右嘴角坐标p2(p2x, p2y)，
Figure 766351DEST_PATH_IMAGE008
为通过左右嘴角坐标的直线，
Figure 118835DEST_PATH_IMAGE009
为直线
Figure 530225DEST_PATH_IMAGE008
的斜率，
Figure 968159DEST_PATH_IMAGE010
为直线
Figure 388777DEST_PATH_IMAGE008
的截距，d为左右嘴角坐标点的距离；
（3）、口鼻区域左侧直线L3：
Figure 330188DEST_PATH_IMAGE011
(8)
Figure 178058DEST_PATH_IMAGE012
(9)
Figure 572130DEST_PATH_IMAGE013
(10)
其中, a3为直线L3的斜率，
Figure 796438DEST_PATH_IMAGE014
为直线L3的截距
（4）、口鼻区域左侧直线L4：
Figure 592356DEST_PATH_IMAGE015
(11)
Figure 876707DEST_PATH_IMAGE016
(12)
Figure 758075DEST_PATH_IMAGE017
(13)
其中,
Figure 520495DEST_PATH_IMAGE018
为直线
Figure 669454DEST_PATH_IMAGE019
的斜率，
Figure 593548DEST_PATH_IMAGE020
为直线
Figure 493371DEST_PATH_IMAGE019
的截距
（5）、通过左右嘴角距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI， 其计算公式如下：
K1坐标为
Figure 59481DEST_PATH_IMAGE021
(14)
K2坐标为
Figure 564412DEST_PATH_IMAGE022
(15)
K3坐标为
Figure 190565DEST_PATH_IMAGE023
(16)
K4坐标为
Figure 577684DEST_PATH_IMAGE024
(17)
其中，K1 为矩形框左上角坐标，K2为矩形框右上角坐标，K3矩形框左下角坐标，K4为矩形框右下角坐标
一种口罩佩戴识别方法，其基于卷积神经网络的口罩佩戴识别模型MSR-Net训练过程如图2所示，主要包括如下步骤：
针对口罩佩戴识别问题，训练口罩佩戴识别模型MWR-Net分类器，用以对脸部口罩区域图像进行分类，达到口罩识别的目的。
第一步样本数据的采集和扩充：使用已有人脸数据集筛选佩戴口罩与未佩戴口罩清晰人脸图像各1000张。之后对数据进行扩充，增加输入图像的可变性，使训练出的人脸检测模型具有更高的鲁棒性。一方面调整图像的亮度、对比度、色度、饱和度，并随机加入噪声，另一方面对采集的图像进行随机缩放、裁剪和旋转。最终得到佩戴口罩与未佩戴口罩各5000张样本图片。
第二步训练集、测试集的构建：将佩戴口罩与未佩戴口罩图像分别放置到不同的文件夹内，标签设置为0和1，将图像信息与标签信息输出为pickle文件，其中训练集、验证集的比例为8:2。
第三步通过口罩佩戴识别模型MSR-Net分类器实现口罩佩戴识别：通过训练好的卷积神经网络分类器对待分类图像进行分类时先将单个口罩区域的图像拉伸为一个列向量，将预测图像转化为2维矩阵进行预测，再将得到的预测结果对应到相应位置，进行可视化显示。
第四步计算口罩佩戴识别网络模型的损失函数如下：
Figure 150748DEST_PATH_IMAGE025
（18）
其中，
Figure 306923DEST_PATH_IMAGE029
表示真实样本的标签0或1，
Figure 572819DEST_PATH_IMAGE027
表示训练样本预测为正或负的概率。
口罩佩戴识别模型MSR-Net是基于卷积神经网络建立的，其原理示意图如图3所示，具体包含内容如下：
(1)若干卷积层：待测图像具有3个通道，根据预设的m个k*k的卷积核，在通道方向上对所述输出特征进行卷积，得到t个所述待测图像对应的结果特征；（2）全连接层：将卷积层得到的多通道向量转变为单通道n维特征向量；（3）输出层：本质仍为全连接层，对于该二分类问题，其神经元个数为1个，输出为单通道1维向量，即标签0或1；其中，n、k、m为预设参数，t根据n、m确定。
例如，输入为3通道图像，通过模型若干卷积层得到的特征图为6*6，通道数为128，模型预设的分类类别为2类。
在口罩佩戴识别模型MSR-Net模型中，根据32个3*3的卷积核对输入特征进行通道逐步卷积，其需要计算的总参数量为32*（3*3*3+1）＝896个。
在口罩佩戴识别模型MSR-Net模型中，首先需要通过全局平均池化层，对输入特征图进行降维，得到128*1*1的输出特征，再根据预设的分类类别，经过全连接层进行分类，其需要计算的总参数量为（128+1）*2＝257个。
最后根据人脸关键点的预测结果判断人员的口罩佩戴情况，如果口鼻区域图像的分类结果为口罩，则正确佩戴口罩，显示结果为绿色框且右上角显示Wear Mask；如果口鼻区域图像分类结果不是口罩,则未佩戴口罩,显示结果为红色框且右上角显示No WearMask。图4为实验中的某次识别结果，佩戴口罩则显示框为绿色且右上角显示Wear Mask。
本发明的实例在Intel CORE i7-5500U，Nvidia GeForce 840M显卡、8.0G内存、64位Windows操作系统的计算机上进行仿真实验。实验所用摄像头的通道数为3个，像素空间分辨率为640×480。
以上所述各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然能对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种口罩佩戴识别方法，其特征在于，该方法包括以下步骤：
S1、人脸检测，包括如下步骤：
S11、打开摄像头，实时获取待测图像；
S12、将待测图像输入到多任务卷积神经网络MTCNN的人脸检测模型中，用于获取图像中人脸及面部的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；
S2、获取口鼻区域图像，包括如下步骤：
S21、根据人脸的双眼瞳孔坐标进行人脸矫正；
S22、根据人脸的鼻尖坐标、左右嘴角坐标获取口鼻区域图像；
S221、计算通过鼻尖的直线 L1：
Figure 648360DEST_PATH_IMAGE001
（1）
Figure 697219DEST_PATH_IMAGE002
（2）
Figure 707900DEST_PATH_IMAGE003
（3）
其中，鼻尖坐标p1(p1x, p1y)，左嘴角坐标p2(p2x, p2y)，右嘴角坐标p3(p3x, p3y)，L1为通过左右嘴角坐标的直线，a1为直线L1的斜率，b1为直线L1的截距
S222、根据嘴角左右坐标，计算得到直线L2及两点之间的距离d：
Figure 643233DEST_PATH_IMAGE004
（4）
Figure 208206DEST_PATH_IMAGE005
（5）
Figure 123073DEST_PATH_IMAGE006
（6）
Figure 253840DEST_PATH_IMAGE007
（7）
其中，左嘴角坐标p1(p1x, p1y)，右嘴角坐标p2(p2x, p2y)，
Figure 861539DEST_PATH_IMAGE008
为通过左右嘴角坐标的直线，
Figure 444967DEST_PATH_IMAGE009
为直线
Figure 163524DEST_PATH_IMAGE008
的斜率，
Figure 148798DEST_PATH_IMAGE010
为直线
Figure 927398DEST_PATH_IMAGE008
的截距，d为左右嘴角坐标点的距离；
S223、口鼻区域左侧直线L3：
Figure 466964DEST_PATH_IMAGE011
(8)
Figure 520370DEST_PATH_IMAGE012
(9)
Figure 276929DEST_PATH_IMAGE013
(10)
其中, a3为直线L3的斜率，
Figure 695272DEST_PATH_IMAGE014
为直线L3的截距
S224、口鼻区域左侧直线L4：
Figure 456554DEST_PATH_IMAGE015
(11)
Figure 313652DEST_PATH_IMAGE016
(12)
Figure 476780DEST_PATH_IMAGE017
(13)
其中,
Figure 128341DEST_PATH_IMAGE018
为直线
Figure 642499DEST_PATH_IMAGE019
的斜率，
Figure 506550DEST_PATH_IMAGE020
为直线
Figure 55343DEST_PATH_IMAGE019
的截距
S225、通过左右嘴角距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
K1坐标为
Figure 110762DEST_PATH_IMAGE021
(14)
K2坐标为
Figure 377795DEST_PATH_IMAGE022
(15)
K3坐标为
Figure 248799DEST_PATH_IMAGE023
(16)
K4坐标为
Figure 652098DEST_PATH_IMAGE024
(17)
其中，K1 为矩形框左上角坐标，K2为矩形框右上角坐标，K3矩形框左下角坐标，K4为矩形框右下角坐标
S3、口罩佩戴识别，包括如下步骤：
S31、将口鼻区域图像传入口罩佩戴识别模型MWR-Net，判断是否佩戴口罩；
S32、将识别结果在输入图像中显示。
2.根据权利要求1所述的口罩佩戴识别方法，其特征在于，所述S31中，口罩佩戴识别模型MSR-Net的训练过程为：
S311、训练集、验证集的构建：使用已有数据库筛选出佩戴口罩与未佩戴口罩清晰人脸图像各1000张，采集并扩充至各5000张，根据上述基于MTCNN的截取口鼻区域的程序，获取佩戴口罩和未佩戴口罩的口鼻区域图像各5000张，构建训练集和测试集；
S312、搭建基于卷积神经网络的口罩佩戴识别模型MSR-Net，基于通道卷积提取待测图像的图像特征，包括：通过口罩佩戴识别模型MSR-Net模型中的若干卷积层，对所述待测图像进行卷积，得到输出特征；根据预设的若干卷积核，在通道方向上对所述输出特征进行卷积，得到所述口罩区域图像对应的结果特征；
S313、通过口罩佩戴识别模型MSR-Net实现口罩佩戴识别：通过训练好的卷积神经网络分类器对待分类图像进行分类时先将单个口罩区域的图像拉伸为一个列向量，将预测图像转化为2维矩阵进行预测，再将得到的预测结果对应到相应位置，进行可视化显示；
S314、口罩佩戴识别网络模型的损失函数如下：
Figure 645462DEST_PATH_IMAGE025
（18）
其中，
Figure 603054DEST_PATH_IMAGE026
表示真实样本的标签0或1，
Figure 74486DEST_PATH_IMAGE027
表示训练样本预测为正或负的概率。
3.根据权利要求2所述的口罩佩戴识别方法，其特征在于，所述S311中，将所有图片分放中至不同文件夹，标签为0和1，将图像信息与标签信息输出为pickle文件，其中训练集、验证集的比例为8:2。
4.根据权利要求2所述的口罩佩戴识别方法，其特征在于，所述S312中，自建的口罩佩戴识别模型MSR-Net，基于通道卷积提取待测图像的图像特征，包括：(1)若干卷积层：对于具有3个通道的所述待测图像，根据预设的m个k*k的卷积核，在通道方向上对所述输出特征进行卷积，得到t个所述待测图像对应的结果特征；（2）全连接层：将卷积层得到的多通道向量转变为单通道n维特征向量；（3）输出层：本质仍为全连接层，对于该二分类问题，其神经元个数为1个，输出为单通道1维向量，即标签0或1；其中，n、k、m为预设参数，t根据n、m确定。
CN202110524918.6A 2021-05-14 2021-05-14 基于mtcnn的口罩佩戴识别方法 Withdrawn CN113239805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110524918.6A CN113239805A (zh) 2021-05-14 2021-05-14 基于mtcnn的口罩佩戴识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110524918.6A CN113239805A (zh) 2021-05-14 2021-05-14 基于mtcnn的口罩佩戴识别方法

Publications (1)

Publication Number Publication Date
CN113239805A true CN113239805A (zh) 2021-08-10

Family

ID=77134227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110524918.6A Withdrawn CN113239805A (zh) 2021-05-14 2021-05-14 基于mtcnn的口罩佩戴识别方法

Country Status (1)

Country Link
CN (1) CN113239805A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283462A (zh) * 2021-11-08 2022-04-05 上海应用技术大学 口罩佩戴检测方法及系统
CN116098621A (zh) * 2023-02-14 2023-05-12 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法
CN116631019A (zh) * 2022-03-24 2023-08-22 清华大学 基于面部图像的口罩适合性检测方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283462A (zh) * 2021-11-08 2022-04-05 上海应用技术大学 口罩佩戴检测方法及系统
CN114283462B (zh) * 2021-11-08 2024-04-09 上海应用技术大学 口罩佩戴检测方法及系统
CN116631019A (zh) * 2022-03-24 2023-08-22 清华大学 基于面部图像的口罩适合性检测方法及装置
CN116631019B (zh) * 2022-03-24 2024-02-27 清华大学 基于面部图像的口罩适合性检测方法及装置
CN116098621A (zh) * 2023-02-14 2023-05-12 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法
CN116098621B (zh) * 2023-02-14 2024-08-16 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法

Similar Documents

Publication Publication Date Title
CN112115818B (zh) 口罩佩戴识别方法
CN108108684B (zh) 一种融合视线检测的注意力检测方法
CN113239805A (zh) 基于mtcnn的口罩佩戴识别方法
CN107103298B (zh) 基于图像处理的引体向上计数系统及计数方法
CN108549886A (zh) 一种人脸活体检测方法及装置
CN106682578B (zh) 基于眨眼检测的弱光人脸识别方法
CN104077594B (zh) 一种图像识别方法和装置
CN111985621A (zh) 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统
CN105612533A (zh) 活体检测方法、活体检测系统以及计算机程序产品
CN106709450A (zh) 一种指纹图像识别方法及系统
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108647625A (zh) 一种表情识别方法及装置
CN108388874A (zh) 基于图像识别与级联分类器的对虾形态参数自动测量方法
CN105224921A (zh) 一种人脸图像择优系统和处理方法
CN102902986A (zh) 自动性别识别系统及方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN110321753A (zh) 一种基于人脸几何特征的人脸图像质量评价方法
CN113239739B (zh) 一种佩戴物的识别方法及识别装置
CN111860453A (zh) 一种戴口罩的人脸识别方法
US20230102954A1 (en) Automatic evaluation of wheat resistance to fusarium head blight using dual mask
CN104091173A (zh) 一种基于网络摄像机的性别识别方法及装置
CN103729646B (zh) 一种眼睛图像有效性检测方法
CN112990381B (zh) 畸变图像目标识别方法及装置
Xu et al. Efficient eye states detection in real-time for drowsy driving monitoring system
CN206363347U (zh) 基于角点检测与匹配的药品识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210810