CN113158913A - 一种人脸口罩佩戴识别方法、系统及终端 - Google Patents

一种人脸口罩佩戴识别方法、系统及终端 Download PDF

Info

Publication number
CN113158913A
CN113158913A CN202110449037.2A CN202110449037A CN113158913A CN 113158913 A CN113158913 A CN 113158913A CN 202110449037 A CN202110449037 A CN 202110449037A CN 113158913 A CN113158913 A CN 113158913A
Authority
CN
China
Prior art keywords
image
data set
network model
frame
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110449037.2A
Other languages
English (en)
Inventor
刘子龙
万森
程腾
郭竹青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Keda Qingtian Technology Co ltd
Original Assignee
Anhui Keda Qingtian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Keda Qingtian Technology Co ltd filed Critical Anhui Keda Qingtian Technology Co ltd
Priority to CN202110449037.2A priority Critical patent/CN113158913A/zh
Publication of CN113158913A publication Critical patent/CN113158913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及安防监控领域，特别是一种人脸口罩佩戴识别方法、系统及终端。识别方法包括如下步骤：S1：从真实的历史监控视频获取包含人脸的图像；将图像人工分类得到原始数据集；S2：采用数据集增强方法对原始数据集进行预处理，获得扩增后的训练数据集；S3：构建改进后的SSD的神经网络模型：将主干网络替换为具有残差结构的DenseNet网络，并引入特征金字塔模块；S4：对神经网络模型进行迭代训练；S5：实时获取监控视频的图像，选择目标图像中质量最佳的图像，并对图像预处理；S6：利用训练后的神经网络模型对步骤S5的图像进行识别，得到识别结果。本发明提供的方法解决了传统识别方法误检率高和识别速率低，实时性差，易受到环境等因素影响的缺点。

Description

一种人脸口罩佩戴识别方法、系统及终端
技术领域
本发明涉及安防监控领域，特别是一种人脸口罩佩戴识别方法、系统及终端。
背景技术
传统的安防监控系统可以对监控视频中的人物进行身份识别，实现通行管理和安全监控的作用。在疫情防控时期，口罩的佩戴是疫情防控的最佳手段，同时也是人群出行基本要求。因此安防监控系统除了进行目标对象的身份识别，还需要增加对目标对象是否佩戴口罩的识别。
目前很多安防监控系统中均希望通过系统升级实现口罩识别的功能，这些系统可采用的技术升级方案多样，大多认识采用神经网络进行识别。例如，某些方案中采用MTCNN(多任务级联卷积神经网络)作为口罩佩戴识别的网络模型，在光谱图像上标记ROI(感兴趣区域)的目标区域，获取坐标和类别信息，训练SVM(支持向量机)分类器，进而针对是否佩戴口罩进行分类判断。该方法的缺点在于光谱成像仪成本高，且识别流程冗余，速度慢。
传统的SSD(单发多边框检测器)网络也可以作为口罩佩戴识别的网络模型，该方案采用监控视频的图像作为检测输入，降低了采样端设备安装和使用成本。但是采用SSD的方案依然存在模型的鲁棒性差，识别准确率低的缺点；同时，该方法对硬件处理性能的要求较高；而且网络模型的识别速率相对较慢，导致系统的实时性不足，这些都该方案在实际场景下的应用产生障碍。除此之外，还应考虑到很多非系统原因导致的识别准确率低的问题，例如，检测目标对象可能会使用衣物或收手捂住口鼻，对识别系统进行欺骗。同时，天气因素等环境因素也会对系统识别准确率产生影响，在光线较暗或恶劣天线状况下，监控图像的质量可能会显著下降，这均会造成基于图像的识别系统的识别准确率降低。
发明内容
为克服现有技术中的问题，本发明提供了一种人脸口罩佩戴识别方法、系统及终端，该方法基于改进后的SSD网络模型设计，解决了传统识别方法误检率高和识别速率低，实时性差，易受到环境等因素影响的缺点。
本发明的提供的技术方案如下：
一种人脸口罩佩戴识别方法，该识别方法包括如下步骤：
S1：对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；
S2：采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；
S3：构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；
S4：设定训练阶段的相关参数，包括学习率、迭代次数和衰减策略；利用训练数据集对基于单发多边框检测器的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型；
S5：通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像，选择目标图像中质量最佳的图像，然后通过对目标图像进行亮度调整和清晰度提升的方式完成对图像的预处理，再将预处理后的图像作为目标检测图像；
S6：将步骤S5的目标检测图像作为输入，利用步骤S4中的训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。
进一步地，步骤S1中，原始数据集中佩戴口罩和未戴口罩的人脸图像的数量比为3:1。
进一步地，步骤S2中，采用的数据集增强的方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻装变换。
进一步地，步骤S3中，改进后的神经网络模型对输入的数据集的识别处理过程包括如下步骤：
S31：对输入的图片进行预处理，将图片的尺寸统一调整为300×300，所述图片作为网络模型的输入神经元；
S32：所述输入的图片经过网络模型中的多个卷积层后，进入到DenseNet网络；DenseNet 网络在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，获取准确的参数，得到第一个特征图；
S33：图片继续在卷积层中进行前向传播和后向参数调整传播，并在经过若干卷积层后依次获得第二、三、四、五、六个特征图；
S34：利用神经网络模型产生的第一特征图、第二特征图和第三特征图搭建特征金字塔结构，通过神经网络模型中的特征金字塔模块对特征图进行特征信息融合；
S35：设置神经网络模型的损失函数，然后对六个特征图进行目标分类和位置定位，获得特征图的目标检测框；
S36：通过非极大值抑制方法找到最佳的目标检测框，消除冗余的目标检测框，进而针对获取的最佳的目标检测框，得到检测目标是否佩戴口罩的识别结果。
进一步地，步骤S34中，特征金字塔模型中特征信息的融合过程如下：
原始的输入特征图沿特征金字塔模型的左侧最低层输入，并自底向上获得尺寸依次减小的第一特征图、第二特征图和第三特征图；特征金字塔模型右侧进行自顶向下特征融合，其中最上方的第四特征图的输入是由左侧第三特征图进行卷积得到的；下一层级的第五特征图的输入是由左侧第二特征图进行卷积得到的；最后一个层级的第六特征图的输入是由左侧第一特征图进行卷积得到的；特征金字塔模型中，同一层级的左右特征图进行信息叠加从而实现特征图的特征信息融合。
进一步地，步骤S35中，损失函数包括用于分类的log损失函数和用于回归的smooth L1 损失函数；损失函数由置信度误差Lconf(x,c)和位置误差Lloc(x,l,g)组成，其表达式为：
Figure RE-GDA0003088385080000031
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；l表示预测框坐标； g表示真实框坐标；N表示与该类别的校准框匹配成功的默认框数量；α为拉格朗日乘子，拉格朗日乘子用来平衡置信度误差和位置误差；
其中，位置误差是预测框l和真实标签框g参数之间的smoothL1损失，其表达式为：
Figure RE-GDA0003088385080000032
上式中，x为当前预测框的类别匹配信息；l表示预测框坐标；g表示真实框坐标；Pos表示正样本预测框的个数；
Figure RE-GDA0003088385080000033
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure RE-GDA0003088385080000034
表示预测框；
Figure RE-GDA0003088385080000035
表示真实框；
其中，置信误差函数的表达式如下：
Figure RE-GDA0003088385080000036
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；Pos表示正样本预测框的个数；Neg表示负样本预测框；
Figure RE-GDA0003088385080000037
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure RE-GDA0003088385080000038
表示
Figure RE-GDA0003088385080000039
该值通过激活函数Softmax产生。
进一步地，步骤S36中，采用非极大值抑制方法的对目标检测框的处理过程如下：
S361：依靠神经网络模型中的分类器获取多个候选框，以及关于候选框中属于类别的概率值；
S362：对分类器得到的所有候选框进行得分排序，选中最高分及其对应的候选框；
S363：遍历其余的候选框，比较当前最高分的候选框的重叠面积IOU与设定的阈值的关系，并作出如下判断：
(1)当最高分的候选框的重叠面积小于阈值时，则保留当前候选框；
(2)当最高分的候选框的重叠面积大于等于阈值时，则将当前候选框删除；
S364：重复步骤S363，依次处理所有的候选框，完成对候选框的非极大值抑制处理过程，获得最佳的目标检测框。
本发明还包括一种人脸口罩佩戴识别系统，该系统采用如前述的人脸口罩佩戴识别方法，以视频监控中出现的人脸作为目标对象，对包含目标对象的目标图像进行识别，判断目标对象是否佩戴口罩，并给出识别结果；该识别系统包括：训练集获取模块、数据集增强模块、目标检测图像获取模块，以及神经网络识别模块。
其中，训练集获取模块用于对监控视频进行分帧处理，提取出含有人脸的图像，并将含有人脸的图像按照佩戴口罩和未带口罩进行人工分类，再按照佩戴口罩和未带口罩数量比 3:1的比例，将获取的两类人脸图像作为训练集的原始数据，构成原始数据集。
数据集增强模块用于对训练集获取模块中原始数据集的图像进行预处理，采用包括角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换的数据集增强方法对原始数据集中的每张图像进行处理，并将处理后的图像增加到原始数据集中，获得扩增后的训练数据集。
目标检测图像获取模块用于针对实时的监控视频进行分帧处理，并在每帧图像中选取角度最佳的图像作为目标图像，然后对目标图像进行亮度调整和清晰度提升，完成对目标图像的预处理；最后将预处理后的目标图像作为进行口罩佩戴识别的目标检测图像。
神经网络识别模块采用单发多边框检测器作为基础网络，将基础网络中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；神经网络模型采用数据集增强模块提供的训练数据集，完成网络模型自身的训练阶段，采用经过训练的具有最优识别效率的网络模型对神经网络模型进行更新；更新后的神经网络模型以目标检测图像获取模块提供的图像作为输入，获取检测目标是否佩戴口罩的检测结论。
进一步地，识别系统中还包括预警模块；预警模块用于接收神经网络识别模块的识别结果，当接收的识别结果为检测目标未戴口罩时，预警模块发出预警信号；预警信号包括语音提示信号、图像提示信号，以及向其它执行机构发出的预警控制指令。
本发明还包括一种人脸口罩佩戴识别终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行如前述的人脸口罩佩戴识别方法。
本发明提供的一种人脸口罩佩戴识别方法、系统及终端，具有如下有益效果：
1、本发明通过对传统SSD模型进行改进，将具有残差结构的DenseNet网络和具有特征融合的特征金字塔(FNP)模块引入到网络模型中；提高了网络模型的深度和对融合特征的提取性能，进而提升网络模型识别精度和处理速度。
2、本发明采用真实的历史视频中提取出的图像作为训练数据集中的图像数据，因此使得网络模型的训练过程更具有对实际应用场景的针对性，同时本发明还对获取图像数据采用包括尺度变换、角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换等的多种数据增强方法进行处理，从而扩增了数据集中数据量规模。此外，这些数据增强方法事实上还达到了模拟了实际应用场景下因为环境因素或取景范围导致的图像质量不佳的问题，增加了图像的识别难度，使得经训练后的网络模型对输入图像的质量要求降低，提高对网络模型不同环境下目标对象的识别准确率。
3、本发明的训练数据集中采用人工区分的方法，严格保障了佩戴口罩和未戴口罩的数量比，在该数据量的调整状况下，可以显著改善网络模型的鲁棒性，保障识别系统的稳定性和识别效率。同时针对监控视频中获取的图像质量不佳的问题，还在识别前的图像获取阶段对输入图像进行择优和预处理，提高输入到识别网络模型中的图像质量，进一步提高识别系统对恶劣场景的适应性。
4、本发明提供的方法对现有安防监控系统的适配性好，对硬件的要求较低，无需安装额外的设备，适合用于对现有系统进行升级改造。同时，本发明提供的方法和系统在方案设计阶段便考虑到对边缘计算的适应性，该方法和系统可以引入边缘计算，在网络端处理数据，从而节省硬件部署成本，提高数据处理速率，保证系统的识别效率，提升系统识别的实时性和实际应用价值。
附图说明
图1是本实施例1中提供的一种人脸口罩佩戴识别方法的方法流程图；
图2是本实施例1中传统的SSD网络模型的架构示意图；
图3是本实施例1中引入到DenseNet网络模型的架构示意图；
图4是本实施例1中引入的特征金字塔模型的结构示意图；
图5是本实施例1中改进后的神经网络模型的架构示意图；
图6是本实施例2中训练过程的loss值变化曲线；
图7是本实施例2中训练过程中的准确度的变化曲线；
图8是本实施例3中提供的一种人脸口罩佩戴识别系统的模块示意图；
图9是本实施例5中一种完全无接触式安全闸机系统的模块示意图；
图10是本实施例5中安全闸机系统内隔离膜更换组件的结构示意图；
图11是本实施例6中完全无接触式安全闸机系统的管理方法的流程图；
图中标记为：
1、双门闸机；2、非接触式体温测量模块；3、面部图像采集模块；4、健康码扫描模块； 5、身份信息录入模块；6、隔离膜更换组件；7、自动消毒组件；8、警报模块；9、手动开关模块；10、存储模块；11、第一闸门控制器；12、第二闸门控制器；31、口罩识别单元； 32、人脸识别单元；61、第一卷辊；62、第二卷辊；63、安装架；64、超越离合器；65、驱动电机；100、数据处理模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示本实施例提供一种人脸口罩佩戴识别方法，该识别方法包括如下过程：
一、原始数据集获取
对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；其中，原始数据集中佩戴口罩和未戴口罩的人脸图像的数量比为3:1。
本步骤获取的图像数据主要用于对神经网络模型进行训练，因此数据集中原始数据的选择对最终的网络模型识别结果的可靠性和准确性就至关重要，本实施例中为了使得原始数据的样本更加具有参考价值，特别从真实的监控视频数据中提取人脸图像。在该步骤的提取的人脸图像可以不拘泥于图像中人物的位置，图像的亮度、对比度等指标，只需要将图像分成佩戴口罩和未带口罩两类，这里为了保障样本图像的分类准确性，采用人工标记的方式完成分类。特别地，基于大量的数据的验证，确定原始数据集中佩戴口罩和未戴口罩的图像数量比为3:1，在该比例下，训练出来的神经网络的鲁棒性最优。
二、数据集增强
采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；采用的数据集增强的方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换。通常，在实际识别应用的场景下，神经网络中输入的图像质量为收到各种外界因素的影响，例如在恶劣天气情况下，光线或水雾等会影响摄像头等取像设备获取的图像质量，设备取景角度的限制也会造成人物主体在图像中的位置差异较大或主体不清晰。这些都会显著增加神经网络的识别难度，进而可能提高神经网络误检率。另外，一些人为的遮挡或采用欺骗性的遮挡物进行口部遮挡也会给识别过程造成难以预料的问题，这些都需要在方案设计前期进行考虑。
本实施例中，对原始数据集中的图像进行数据集增强处理，数据集增强主要是为了减少网络的过拟合现象，通过对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景。
在本实施例中采用的数据集增强方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换
角度旋转指对原始图像进行任意角度旋转的变化，在该过程图像中人物主体的位置被改变；这契合了真实场景下取景角度的差异。
随机裁剪是对原始图像进行裁剪，在该变换情况下，人物主体在图像中的大小比例发生改变；这契合了真实场景下人物主体位置变化带了的前景和后景的景深变化。
亮度调整是对图像的亮度进行调整、对比度调整是改变图像的对比度，在这两者的调整情况下，图像的质量被改变；这契合了真实场景下因为光纤、空气质量等环境因素造成取像质量不一的情况。
对比度调整是将捕捉到的图像与数据库中的图像进行对比，主要是对RGB空间进行调整，设定合适的RGB阈值，并在此阈值基础上计算出合适的调整系数进行对比度调整。按照一定的比例来加权叠加，提高对比度；这契合了真实场景下因为人体姿态不同、面部表情变化带来的显示效果差的情形。
去噪是去除高频噪声，将信号通过小波变换后，正常信号小波系数较大，噪声的小波系数较小，通过选取一个合适的阀值，小于阀值的则认为是噪声产生的，置为零从而达到去噪目的；这契合了真实场景下因为外界声音和硬件设备产生的干扰信息导致的像素灰度值突兀的状况。
翻转变换是指将图像每个像素点的值按照对角线进行调换，使图片呈现一个整体翻转效果；这契合了真实场景下因为光线、色差和图像错位引发的识别错误状况。
由此可见，数据集增强处理的应用，使得最终的训练数据集中的图像包含了常规取景状态下可能存在各种对成像质量造成的问题，间接仿真了各种取像的限制性场景。
同时，由于在之前的原始数据集图像获取过程中，已经采用人工分类对图像中是否佩戴口罩进行分类标记；因此，神经网络在训练过程中已经可以完成准确识别图像中人物对口部进行遮挡和欺骗行为等深层语义特征的识别要求，这保障了神经网络最终的识别准确率。
此外，数据集增强的方式还可以大幅度扩增训练数据集中的数据规模，这对于克服小样本缺陷，改善神经网络的鲁棒性，并最终达到工业化应用的标准具有重要作用。
三、神经网络模型的构建
构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块。改进后的神经网络的模型如图5所示。其中，改进后的神经网络模型对输入的数据集的识别处理过程包括如下步骤：
1、对输入的图片进行预处理，将图片的尺寸统一调整为300×300，所述图片作为网络模型的输入神经元；
2、输入的图片经过网络模型中的多个卷积层后，进入到DenseNet网络；DenseNet网络在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，获取准确的参数，得到第一个特征图；
3、图片继续在卷积层中进行前向传播和后向参数调整传播，并在经过若干卷积层后依次获得第二、三、四、五、六个特征图；
4、利用神经网络模型产生的第一特征图、第二特征图和第三特征图搭建特征金字塔结构，通过神经网络模型中的特征金字塔模块对特征图进行特征信息融合；
5、设置神经网络模型的损失函数，然后对六个特征图进行目标分类和位置定位，获得特征图的目标检测框；
6、通过非极大值抑制方法找到最佳的目标检测框，消除冗余的目标检测框，进而针对获取的最佳的目标检测框，得到检测目标是否佩戴口罩的识别结果。
SSD(单发多边框检测器)网络是一种应用广泛的神经识别网络，该网络可以对图像进行识别。本实施例中以该网络作为基础网络，并对网络模型进行改进，以期使得改进后的神经网络更适应与本实施例中的应用场景，提高神经网络针对该场景进行识别检测应用过程中的准确率和实时性。
传统的SSD网络模型的网络架构如图2所示，在该网络模型中，样本图像从左边第一个模块输入，输入的图像经过预处理后，图片的规格统一调整为300×300；接着数据会经过第二部分的主干网络，传统SSD网络的主干网络为VGG-16网络，主干网络中的最后两个全连接层为卷积层，随后为增加的4个卷积层，依次为：conv8_2、conv9_2、conv10_2、conv11_2，在该网络模型中，图像信息最终经过神经网络中的卷积操作达到conv5_3层，将这层卷积后的图像作为第一个特征图。
经过conv5_3层后，图像继续在卷积层中进行前向传播和后向参数调整传播，经过卷积操作，在conv7即第七全连接层中进行通道数调整，图像在该层卷积后的输出作为第二个特征图。
在接下来的各卷积层中，四层网络每层都会产生一个特征图。因此，在卷积层结束后一共会产生六个特征图，分别是conv5_3、conv7(FC7)、conv8_2、conv9_2、conv10_2、conv11_2 层产生，这六个特征图都要经过目标分类和位置定位，不同的是这四个特征图尺度大小不一样，所能识别的物体体积不一样；通常低层次的特征图对小目标的识别更为准确。
随着特征图层次的提高，所能识别的目标体积也逐渐增加。上述六个特征图会产生数量庞大的目标检测框。最终SSD网络会将这些框进行非极大值抑制(NMS)，筛选出一定区域内属于同一种类得分最大的框，将识别结果框出并显示。
而本实施例中，将传统的VGG-16主干网络改成了DenseNet网络，这可以使目标检测的神经网络层数变得更深，避免传统识别网络模型中出现的梯度爆炸和计算量变大的问题，并可以提高识别率。DenseNet网络的网络结构如图3所示。
在DenseNet网络中，最左边为输入的图像，原始图像输入被等比缩放至300×300的尺寸，作为神经网络的输入神经元。经过若干卷积层后，图片会进入DenseNet网络，DenseNet 网络是在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，更快更准确的获取参数。在DenseNet网络中，x0是网络的初始输入；H1的输入是x0，输出是x1；而 H2的输入是x0和x1，输出是x2……，以此类推。在这种网络构架中，网络更窄，参数更少，每个卷积层输出特征图的数量都很小，而且特征和梯度的传递更加有效，网络更加容易训练。
在经过主干网络DenseNet后，数据网络模型可以获取第一个特征图；再经过若干卷积层，获取第二个特征图，第二个特征图在conv7层中产生。图像继续在卷积层中进行前向传播和后向参数调整传播；接下来的四层卷积层，分别为conv8_2、conv9_2、conv10_2、conv11_2，上述四层卷积层都会产生一个特征图；在卷积层结束后一共会产生六个特征图。
本实施例的神经网络模型，还在对图像的特征提取过程中引入特征金字塔结构，对不同尺度的特征图进行特征融合，检测对应尺度的目标。SSD网络模型在训练过程中会产生六个不同尺度的特征图，本实施例将前三个特征图构建特征金字塔结构，目的是加强目标特征的提取，以获取更完整的特征信息，提高目标检测的最终识别率。
如图4显示了特征金字塔模型的架构图；特征金字塔模型中特征信息的融合过程如下：
原始的输入特征图沿特征金字塔模型的左侧最低层输入，并自底向上获得尺寸依次减小的第一特征图、第二特征图和第三特征图；特征金字塔模型右侧进行自顶向下特征融合，其中最上方的第四特征图的输入是由左侧第三特征图进行卷积得到的；下一层级的第五特征图的输入是由左侧第二特征图进行卷积得到的；最后一个层级的第六特征图的输入是由左侧第一特征图进行卷积得到的；特征金字塔模型中，同一层级的左右特征图进行信息叠加从而实现特征图的特征信息融合。
在本实施例的神经网络模型中，产生的六个特征图都会进行目标分类和位置定位，因此，还需要定义识别定位过程中的损失函数。
本实施例中的损失函数包括用于分类的log损失函数和用于回归的smooth L1损失函数；损失函数由置信度误差Lconf(x,c)和位置误差Lloc(x,l,g)组成，其表达式为：
Figure RE-GDA0003088385080000101
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；l表示预测框坐标； g表示真实框坐标；N表示与该类别的校准框匹配成功的默认框数量；α为拉格朗日乘子，拉格朗日乘子用来平衡置信度误差和位置误差；
其中，位置误差是预测框l和真实标签框g参数之间的smoothL1损失，其表达式为：
Figure RE-GDA0003088385080000102
上式中，x为当前预测框的类别匹配信息；l表示预测框坐标；g表示真实框坐标；Pos表示正样本预测框的个数；
Figure RE-GDA0003088385080000103
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure RE-GDA0003088385080000104
表示预测框；
Figure RE-GDA0003088385080000105
表示真实框；
其中，置信误差函数的表达式如下：
Figure RE-GDA0003088385080000106
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；Pos表示正样本预测框的个数；Neg表示负样本预测框；
Figure RE-GDA0003088385080000107
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure RE-GDA0003088385080000108
表示
Figure RE-GDA0003088385080000109
该值通过激活函数Softmax产生。
考虑到神经网络模型在识别检测过程中产生的候选框的数量过于庞大，本实施例采用 NMS(非极大值抑制)方法进行候选框择优；
非极大值抑制方法的对目标检测框的处理过程如下：
1)、依靠神经网络模型中的分类器获取多个候选框，以及关于候选框中属于类别的概率值；
2)、对分类器得到的所有候选框进行得分排序，选中最高分及其对应的候选框；
3)、遍历其余的候选框，比较当前最高分的候选框的重叠面积IOU与设定的阈值的关系，并作出如下判断：
(a)当最高分的候选框的重叠面积小于阈值时，则保留当前候选框；
(b)当最高分的候选框的重叠面积大于等于阈值时，则将当前候选框删除；
4)、重复步骤3)，依次处理所有的候选框，完成对候选框的非极大值抑制处理过程，获得最佳的目标检测框。
四、神经网络模型训练
构建的神经网络模型需要进行训练，以提高其对于目标检测对象的识别准确率。在该阶段。需要根据具体的训练指标要求设定训练阶段的相关参数，这些相关参数包括学习率、迭代次数和衰减策略等。本实施例中，利用经过数据集增强方法扩增后的训练数据集作为样本输入。对基于SSD网络改进的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型。
五、输入检测图像获取
神经网络模型在进行目标对象是否佩戴口罩的识别检查过程中，输入的样本数据为从监控视频中获取的图像，本实施例中，通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像。通常一段视频中，分帧后产生的图像很多，在实际识别检测过程中，无需对所有的图像进行输入识别，否则会导致系统的处理难度和数据量激增。因此可以通过择优的方式选择其中的若干张作为输入进行检测。通常选择的标准是人物主体在图像的中央区域且图像的质量较佳；图像质量的判断指标包括亮度、对比度和图像噪点等。在针对逐帧图像选取最佳的图像之后，还需要通过对目标图像进行亮度调整和清晰度提升的方式完成对图像的预处理，其中，亮度通常需要将图像的亮度提升至可清晰辨认人物主体的程度，而清晰度调整可通过图像去噪等技术进行实现，最后再将预处理后的图像作为目标检测图像的输入。
六、口罩佩戴识别检测
实时监控影响中提取并预处理后的目标检测图像作为输入，训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。该处理结果可以通过语音或视频图像的方式进行直接输出，也可以传输到其它功能系统中，作为后续管理执行过程的依据。
实施例2
本实施例为实施例1的仿真试验，在其它实施例中，既可以不进行仿真实验，也可以采用其他实验方案进行试验以确定相关参数以及人脸口罩佩戴的识别效果。
在本实施例中，配置相关运行环境，硬件支持为Inter(R)Core(TM)i5-9300H CPU，cuda 版本为10.1，cudnn版本为7.6.5；编译器使用Pycharm专业版，使用Pytorch深度学习框架，将改进过后的并加入特征金字塔的SSD算法导入编译器pycharm中。
在神经网络模型的训练阶段，设定的初始学习率为0.001，迭代次数设为5万次，衰减策略按照指数衰减；添加并使用数据增强过的佩戴口罩和未佩戴口罩的数据集，利用改进后的SSD网络框架对是否佩戴口罩进行识别训练。原始数据集规模为3718张，其中戴口罩图像1384张，未带口罩图像1297张，手捂住口鼻图像1037张。经过尺度变换、角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换的数据增强后，数据集规模达到28947 张，增强后的戴口罩图像10168张，未戴口罩图像9004张，手捂口鼻图像9775张。数据集规模达到深度学习要求且对各种情况有应对能力。完成对初始网络模型的训练过程后，程序从生成的网络模型中选取泛化性最优的学习模型进行自动保存，并将其作为目标检测过程的识别模型。
在训练过程中，模型的loss值和准确率的变化曲线分别如图6和图7所示。从图6的loss 值变化趋势可以看出，算法在迭代8000次左右时，损失函数loss值迅速降低至1左右，幅度较大，模型稳定性提高；迭代次数在1万次到4万次时，loss值一直在0.5到1.3之间波动，模型开始趋向稳定；迭代5万次结束，模型达到最优值，泛化性最好，可准确用于实际场景中人脸口罩佩戴识别。
训练过程中的准确度的图像反映出：算法在迭代1万次时，准确度值达到79.38％，随着迭代次数的提升；之后，准确度提升的幅度较小，但一直在提升，迭代次数在2万次时，准确度达到88.29％；迭代4万次到5万次结束时，模型准确度大致保持不变，达到最高的95.63％，已达到该算法下最高准确度。
接下来，调用外接摄像头，使用opencv软件对视频流进行分帧处理，由系统选择具有最佳质量的含有人脸的目标图像，并对目标图像进行亮度调整、提高清晰度等图像预处理操作；加载迭代完成后得到的最优深度学习模型，识别图像中出现的人物是否佩戴口罩。
本实施例中，识别结果可以通过语音播报的相关模块组件进行输出。同时，仿真的系统还添加了人脸识别模块组件。人脸识别模块组件可以在识别出目标对象为未佩戴口罩的同时，对人物进行人脸检测和识别。
为了说明本实施例中提供的方法的优越性，本实施例在同时利用Farster RCNN、SSD、 YOLOv3，与本实施例中的改进后的SSD网络模型进行性能对比实验。性能评价指标包括 mAP(均值平均精度)，用于评估识别的准确率；以及FPS(每秒帧率)，用于评估检测速率。
进一步，本实施例在性能对比实验中还增加了一组对照组，该对照组使用与本实施例中相同的神经网络模型和方法，区别在于：对照组在应用时引入了边缘计算模块。
本实施例中，性能对比实验的试验结果如表1所示：
表1：对比实验中各类目标检测方法的性能测试结果
组别(目标检测方法) mAP FPS
Faster RCNN 82.61％ 31.3
SSD 85.29％ 34.9
YOLOV3 88.37％ 38.5
改进的SSD 91.75％ 40.1
改进的SSD+边缘计算 91.38％ 43.2
分析上标的数据可以发现，本实施例提供的改进后的SSD网络模型，相比于FasterRCNN 模型，检测速度提高了8.8FPS，检测精度提升了9.14％，效果较为突出；相比于YOLOV3 模型，不仅检测精度提高了3.38％，而且检测速度也提高了1.6FPS；相比于传统的SSD算法，在检测速度提高了5.2FPS，检测精度提高了6.46％。因此可以看出本实施例提供的方法显著提高人脸口罩佩戴识别的准确率和检测速率，性能提升明显。
同时分析本实施例提供的方法在应用边缘计算技术前后的性能指标发现，本实施例提供的识别方法非常适用于采用边缘技术架构的系统，同时采用边缘计算后，识别准确率基本保持不变，但是处理速率可以得到进一步提升。
考虑到引入边缘计算之后，系统可以在网络的边缘节点来处理、分析数据，数据处理更接近数据来源，这可以减少延迟时间和请求响应时间，更快速的进行数据处理和分析；占用的网络流量较少，应用程序运行效率提高；这些都更好的满足口罩佩戴识别的实时性要求。同时，采用边缘计算技术后，还可以减少负载，节省内存，降低对硬件的性能要求；与单独使用云计算相比，大大减少了系统的部署和运行成本。因此本实施例提供的识别方法还具有更好的推广应用的实用价值，对各种应用场景的适应性极佳。
实施例3
如图8所示，本实施例提供一种人脸口罩佩戴识别系统，该系统采用如前述的人脸口罩佩戴识别方法，以视频监控中出现的人脸作为目标对象，对包含目标对象的目标图像进行识别，判断目标对象是否佩戴口罩，并给出识别结果；该识别系统包括：训练集获取模块、数据集增强模块、目标检测图像获取模块，以及神经网络识别模块。
其中，训练集获取模块用于对监控视频进行分帧处理，提取出含有人脸的图像，并将含有人脸的图像按照佩戴口罩和未带口罩进行人工分类，再按照佩戴口罩和未带口罩数量比 3:1的比例，将获取的两类人脸图像作为训练集的原始数据，构成原始数据集。
数据集增强模块用于对训练集获取模块中原始数据集的图像进行预处理，采用包括角度旋转、随机裁剪、亮度调整、对比度调整的数据集增强方法对原始数据集中的每张图像进行处理，并将处理后的图像增加到原始数据集中，获得扩增后的训练数据集。
目标检测图像获取模块用于针对实时的监控视频进行分帧处理，并在每帧图像中选取角度最佳的图像作为目标图像，然后对目标图像进行亮度调整和清晰度提升，完成对目标图像的预处理；最后将预处理后的目标图像作为进行口罩佩戴识别的目标检测图像。
神经网络识别模块采用单发多边框检测器作为基础网络，将基础网络中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；神经网络模型采用数据集增强模块提供的训练数据集，完成网络模型自身的训练阶段，采用经过训练的具有最优识别效率的网络模型对神经网络模型进行更新；更新后的神经网络模型以目标检测图像获取模块提供的图像作为输入，获取检测目标是否佩戴口罩的检测结论。
其中，本实施例的识别系统中还包括预警模块；预警模块用于接收神经网络识别模块的识别结果，当接收的识别结果为检测目标未戴口罩时，预警模块发出预警信号；预警信号包括语音提示信号、图像提示信号，以及向其它执行机构发出的预警控制指令。
例如在门禁管理系统中，管理人员在收到预警模块发出相关的提示音或图像后，可以及时进行处理，对来访者发出拒绝通过和佩戴口罩的管理通知。预警模块同时还可以向闸机等设备发出禁止通行的控制指令，便于进行人群通过性的控制。
在本实施例中，系统还可以添加人脸识别模块；人脸识别模块可以在识别出目标对象为未佩戴口罩的同时，对图像中的人物进行人脸检测和识别，识别结果也可以发送到预警模块中，为后续的处理提供数据支撑和处理依据。
实施例4
本实施例包括一种人脸口罩佩戴识别终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行如前述的人脸口罩佩戴识别方法。实施例 1中提供的方法既像实施例3中一样采用软件的形式在系统中运行；也可以采用终端的形式将实施例1中提供的方法以程序的形式写入到终端设备中，由终端设备来执行。
实施例5
本实施例提供一种完全免接触式安全闸机系统,该安全闸机系统使用如实施例4的人脸口罩佩戴识别终端作为安全闸机系统中的口罩识别单元31。如图9所示，该安全闸机系统包括：双门闸机1，非接触式体温测量模块2，面部图像采集模块3，健康码扫描模块4，身份信息录入模块5，隔离膜，隔离膜更换组件6，以及数据处理模块100。
其中，双门闸机1包括沿通行方向依次间隔设置的第一闸门和第二闸门；第一闸门和第二闸门的开合状态分别由第一闸门控制器11和第二闸门控制器12控制。
非接触式体温测量模块2用于在第一闸门前检测访客的体温，并判断访客体温是否超过安全阈值。
面部图像采集模块3用于采集访客的面部图像；面部图像采集模块3中还包括口罩识别单元31和人脸识别单元32；口罩识别单元31用于根据采集的面部图像检测访客是否佩戴口罩；人脸识别单元32用于根据采集的面部图像获取访客面部特征。
健康码扫描模块4用于在第一闸门前扫描访客的健康码信息，检测访客健康码的状态。
身份信息录入模块5包括证件射频识别单元和键盘输入单元；身份信息录入模块5位于第一闸门和第二闸门之间，身份信息录入模块5用于通过证件射频识别和/或手动键盘输入的方式录入访客身份信息。
隔离膜张贴在身份信息录入模块5的表面，隔离膜用于对身份信息录入模块5中证件识别单元和键盘输入单元的操作面进行遮蔽。
隔离膜更换组件6获取第一闸门控制器11的的开关状态，并在第一闸门每次开启时，对张贴在身份信息录入模块5表面的隔离膜进行更换。
数据处理模块100用于对访客是否被允许通过第一闸门和第二闸门进行两步验证，两步验证过程包括如下：1、数据处理模块100接收非接触式体温测量模块2、口罩识别单元31、健康码扫描模块4的检测结果，并在访客同时满足体温不高于安全阈值、佩戴口罩、健康码为安全状况时，由数据处理模块100向第一闸门控制器11发出闸门开启指令；2、数据处理模块100获取一个访客认证数据库中的数据；数据处理模块100接收身份信息录入模块5获取的访客身份信息，然后根据录入的访客身份信息查询访客认证数据库中的用户个人资料数据，所述用户个人资料数据中至少包含人脸图像；再将用户个人资料中人脸图像的面部特征与人脸识别单元32获取的访客面部特征进行比对验证，并在验证符合时，由数据处理模块 100向第二闸门控制器12发出闸门开启指令。
在本实施例提供的安全闸机系统中，将传统的单门闸机改进为双门闸机1，其中双门闸机1中的第一闸门的开启以访客佩戴口罩、体温合格并出示合格的健康码(通常指绿码)为条件，健康码可以证明访客近期未进入过风险区域，佩戴口罩是基本的防疫要求，可以降低病菌通过飞沫传播的风险；而体温是访客当前健康状况的一项重要指标。这三项指标可以用来验证访客当前的健康状况，因此将其作为访客可以通过闸机的第一步验证条件；同时，该条件也是客户可以被运行通行的前提。
本实施例中将该三项指标的检测设计在第一闸门前方的另一个原因是：该三项指标的检测均可以通过非接触式的手段完成检测。例如体温检测可以采用红外体温测量仪、健康码通过摄像头进行扫码查询；口罩识别则可以通过摄像头取像，然后由训练好的神经网络进行识别。当这三项指标任意一项达不到要求时，则该访客可能存在健康问题，此时则应该绝对拒绝该访客进入闸机后方，也决不允许该访客接触闸机设备。
当访客健康状况验证通过后，第一闸门打开，访客被允许进入到闸机中的第一闸门和第二闸门之间。在这一区域，用户需要将口罩摘下，进行身份识别。由于该区域与其他访客已经存在较大的安全距离(其余未经验证的访客都位于第一闸门外)，因此该访客摘下口罩也不会存在安全风险。第二步验证主要是进行身份验证，该验证过程：访客先输入身份识别信息，输入方式可以是键盘输入、刷卡输入，或二者同时进行。例如在机场、高铁站这一步骤实际上就是刷身份证确定乘客身份同时验证乘客是否买票。在一些楼宇中，则可能需要刷门禁卡或输入密码，确定访客具有通过闸机的权限。访客输入访客身份信息后，数据处理模块 100会查询一个访客认证数据库中的数据，该数据库中预先录入有允许进入该区域的访客的信息。机场、高铁站等场所通常是直接查询公安部门的公民信息数据库，而在一些楼宇中也会实现录入具有权限的人员的身份信息，此时直接查询该数据库即可。接下来数据处理模块 100将数据库中查询到的人脸图像的面部特征与面部识别单元获取的访客的面部特征进行比对，判断二者相符，则批准运行该访客通行权限，否则拒绝访客通过。
在访客进入到第一闸门和第二闸门间进行身份信息录入时，由于录入过程不可避免地需要采用接触式输入方式，刷身份证、门禁卡、公交卡等方式需要将实体卡片与检测窗口尽量靠近，通常就是直接贴合接触；键盘输入又不可避免需要直接进行触摸按压。因此，该过程如果不进行改进也会产生风险，本实施中采用隔离膜和隔离膜更换组件6解决了该问题。
本实施例中隔离膜更换组件6在每次第一闸门被打开时，将一张新的隔离膜张贴在身份信息录入模块5中的证件射频识别单元和键盘输入单元区域，这样可以保证前一个访客与后一个访客不会因为在同一个设备上进行刷卡或按压键盘而产生间接接触，避免出现疾病感染风险。
事实上，本实施例中将传统的闸机改进为本实施例中的双门闸机1还有一个隐性的优势。当采用单门闸机时，则意味着访客只需一步即可通过验证，因此访客为了提高通关速率会尽量靠近，保证前一个访客验证完成自己可以迅速进行验证；这实际上会缩小人与人之间的社交距离。此外，在使用单门闸机时，有些访客甚至会想要利用前一个访客的通关权限迅速通过，出现借机闯关现象。这些都是不利于疫情防控的。
但是在使用本实施的双门闸机1之后，每个访客的通关时间已经不取决于第一步验证的时间，而主要取决于第二步验证的时间。即使后一个访客快速完成第一闸门的验证，他也需要等待前一个访客完成第二闸门的验证过程。在这种情况下，第一步验证的完成速率的重要性实际上就降低了。此时在第一步验证过程中访客不需要急着完成，因此访客间的社交距离保持就可以得到很好地遵守。此外，即使访客自身仍然不能很好地遵守保持社交距离的要求，在使用本实施的双门闸机1时，管理人员也具有更大的缓冲空间进行秩序管理。
在本实施例中，隔离膜可以使用类似保鲜膜的超薄型薄膜，这样既可以保证实现隔离，也不会影响刷卡的射频识别灵敏度和按键的可操作性。隔离膜的张贴和更换其实可以采取多种方式，例如在身份信息录入模块5上张贴多层的隔离膜，然后在第一闸门每次打开时通过机械手等相关的执行机构将最上方的隔离膜揭下就是一个很好的实现方式，不过这种方式存在原始的隔离膜厚度较大，会影响证件射频识别单元检测灵敏度的问题。
针对这一问题，本实施例中给出了一个解决方案：
本实施例中使用的隔离膜以卷装的包装形式缠绕的卷筒上(类似于传统的厨房保鲜膜)；如图10所示，隔离膜更换组件6包括第一卷辊61、第二卷辊62、安装架63、超越离合器64，以及驱动电机65。第一卷辊61和第二卷辊62通过安装架63平行安装在身份信息录入模块5的两侧；缠绕隔离膜的卷筒安装在第一卷辊61上，卷筒上缠绕的隔离膜的自由端固定在第二卷辊62上；第一卷辊61通过超越离合器64与安装架63可转动连接，超越离合器 64使得第一卷辊61仅能沿释放隔离膜的方向转动；第二卷辊62可转动连接在安装架63上，所述驱动电机65用于驱动第二卷辊62沿卷收隔离膜的方向转动；驱动电机65获取第一闸门的开关状态，并在第一闸门每次开启时，驱动第一卷辊61转动，将第一卷辊61上的隔离膜按照固定长度卷收到第二卷辊62上，完成身份信息录入模块5中操作面上的隔离膜更换。
本实施例中，驱动电机65在收到第一闸门打开的信号后，会驱动第二卷辊62转动，电机的转动角度可以进行编程控制，从而将第一卷辊61上的隔离膜缠绕到第二卷辊62上。在实现过程中，每次缠绕在第二卷辊62上的隔离膜实际上是张贴在身份信息录入模块5表面的部分；而第一卷辊61上重新展开的新的隔离膜部分则会对身份信息录入模块5表面进行重新遮蔽。
在该型隔离膜更换组件6中，第一卷辊61是通过超越离合器64与安装架63可转动连接的，超越离合器64使得第一卷辊61仅能完成单向转动过程。因此在隔离膜展开和更换过程，驱动电机65可以同时驱动第一卷辊61和第二卷辊62转动；同时超越离合器64可以防止第一卷辊61反转，保证隔离膜可以保持较好的张紧状态，防止隔离膜松弛后卡入到其它机构中。
本实施例中，访客在通过第一闸门验证并进入第二闸门前方时，需要将口罩取下进行面部识别验证；面部识别模块采集访客的人脸图片并通过预先训练好的特征模型提取访客的面部特征；数据处理模块100获取面部识别模块提取的面部特征，再将提取的面部特征与访客认证数据库中的用户的人脸图像中的面部特征进行特征比对，得出二者的相似度；数据处理模块100在判断二者的相似度达到阈值时输出身份验证通过的信息。
在本实施例中，安全闸机系统还包括手动开关模块9，手动开关模块9用于向第一闸门控制器11或第二闸门控制器12发出人工控制指令，人工控制指令用于控制第一闸门或第二闸门的开关状态，人工控制指令的优先级高于数据处理模块100发出的闸门开启指令。
手动开关模块9的作用在于：对于已经通过第一步验证，健康状况良好的访客；如果其属于未在数据库中进行身份信息录入的初次到访人员，或者是没有携带相关证件、忘记密码等人员；管理人员可以手动开启第二闸门允许该访客通过。如果访客虽然健康状态良好，但是确实不具有通行权限，管理人员还可以手动开启第一闸门，要求该访客原路返回。
进一步的，本实施例中的安全闸机系统还包括自动消毒组件7，自动消毒组件7用于在非接触式体温测量模块2、面部图像采集模块3或健康码扫描模块4检测到第一闸门前存在访客时，对访客进行喷雾消毒；以及用于获取第二闸门的开关状态，在每次第二闸门开启并重新关闭后，对第一闸门和第二闸门之间的区域进行喷雾消毒。
自动消毒组件7可以在每次访客到来时对其进行简单消毒，也可以在用户触摸闸机中的身份信息录入模块5后对闸机进行消毒，从而保障闸机和访客的安全。
在本实施例中，自动消毒组件7的喷雾喷头既可以采用固定角度的广角喷头，也可以采用可动的旋转喷头，以保证需要进行消毒的区域均可以实现消毒操作。也可以根据面部图像采集模块3获取的访客的位置对喷雾喷头进行旋转控制。
本实施例中，自动消毒组件7实际上是一个喷雾器，喷雾器连接有消毒水存储箱，将消毒水存储箱安装在闸机底部或内部，并在闸机上预留活动孔添加消毒水，或者在闸机中预留小门，可打开小门取出消毒水存储箱装填消毒水。
进一步的，本实施例提供的安全闸机系统还包括警报模块8，警报模块8接收数据处理模块100发出控制指令，并在数据处理模块100判断访客未通过两步验证过程中的任意一步时，向管理人员发出警报信号。
警报模块8可以提醒管理人员对未通过验证的访客进行处理，如果访客未通过第一步验证过程，则对其进行劝离。如果访客通过第一步验证，但未通过第二步验证，则可以由管理人员对该情况进行判断，决定该访客能否被允许通行。
同时，安全闸机系统还包括存储模块10；存储模块10用于记录未通过验证的访客的各项被安全闸机系统获取的采集信息和未通过验证的原因；存储模块10还用于记录通过验证的访客的各项安全闸机系统获取的采集信息和基于访客认证数据库获取的身份信息。其中，数据处理模块100将未通过验证访客和已通过验证访客的访客信息分类记录到存储模块10 中，并将两类数据中数据项的按照记录时间进行排序。
存储可以将访客信息进行记录，便于在后期进行访客信息查询或管理。在遇到防疫需要时，存储模块10存储的数据还可以用于进行访客行踪追溯。存储模块10中的数据还可以上传到其它用于完成访客行为分析的云平台中作为基础数据。
实施例6
本实施例提供一种完全免接触式安全闸机系统的管理方法，该管理方法用于管理实施例 5的完全免接触式安全闸机系统的应用过程，如图11所示，该管理方法包括如下步骤：
S1：初始状态下，双门闸机1中的第一闸门第二闸门保持关闭状态；
S2：访客进入到第一闸门前的待检测区域时，自动消毒组件7对访客进行喷雾消毒；访客接受安全闸机系统的第一步验证，数据处理模块100将验证结果存储到存储模块10中，所述第一步验证的过程如下：
S21：非接触式体温测量模块2检测访客的体温，并判断体温检测结果是否超过阈值；
S22：口罩识别单元31根据采集的面部图像判断访客是否佩戴口罩；
S23：健康码扫描模块4扫描访客出示的个人健康码，并判断访客健康码的状态；
S24：数据处理模块100获取非接触式体温测量模块2、口罩识别单元31、健康码扫描模块4的检测结果，判断当前的访客是否同时满足体温不高于安全阈值、佩戴口罩、健康码为安全状态的三个条件，并做出如下判断：
(1)当同时满足三个条件时，数据处理模块100向第一闸门控制器11发出开启第一闸门的指令，第一闸门开启；
(2)当是哪个条件中任意一个不满足时，数据处理模块100不向第一闸门控制器11发出开启第一闸门的指令，第二闸门保持关闭；
同时，数据处理模块100还向警报模块8发出指令，警报模块8发出相应的警报信号；
S3：第一闸门开启时，隔离膜更换组件6对张贴在身份信息录入模块5表面的隔离膜进行更换；
S4：在第一闸门开启后，访客进入到双门闸机1中第一闸门和第二闸门之间的位置，并取下口罩，接收安全闸机系统的第二步验证，数据处理模块100将验证结果存储到存储模块 10中，所述第二步验证的过程如下：
S41：访客将含有射频识别模块的个人身份证件贴合到证件射频识别单元的检测区域，和/或向键盘输入单元输入关于个人身份的信息，完成访客身份信息的录入；
S42：数据处理模块100接收录入的访客身份信息，同时通过录入的访客身份信息向数据处理模块100连接的一个访客认证数据库进行身份信息查询，获取访客认证数据库中存储的对应的访客身份信息的完整数据，所述完整数据中至少包括含有访客面部特征的人脸图像；
S43：人脸识别单元32获取当前访客的面部特征，数据处理模块100将当前访客的面部特征与访客认证数据库中的人脸图像的面部特征进行特征比对；判断二者的相似度并作出决策：
(1)当相似度达到阈值时，数据处理模块100向第二闸门控制器12发出开启第二闸门的指令，第二闸门开启；
(2)当未接收到录入的访客身份信息，或未查询到相关的访客身份信息的完整数据，或相似度未达到阈值时；数据处理模块100不向第二闸门控制器12发出开启第二闸门的指令，第二闸门保持关闭；
其中，当数据处理模块100判断相似度未达到阈值时，数据处理模块100还向警报模块8发出指令，警报模块8发出相应的指令；
S5：第二闸门开启后，用户通过第二闸门，第二闸门重新关闭后，自动消毒组件7对双门闸机1中第一闸门和第二闸门之间的区域进行喷雾消毒；
S6：第二闸门未开启时，由管理人员根据管理规章的要求，依职权要求作出判断，得出访客是否被允许通行的结论，并通过手动开关模块9向第一闸门控制器11或第二闸门控制器12发出控制指令，要求访客沿第一闸门返回或放行访客通过第二闸门。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸口罩佩戴识别方法，其特征在于，所述识别方法包括如下步骤：
S1：对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；
S2：采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；
S3：构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；
S4：设定训练阶段的相关参数，包括学习率、迭代次数和衰减策略；利用所述训练数据集对基于单发多边框检测器的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型；
S5：通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像，选择目标图像中质量最佳的图像，然后通过对目标图像采用亮度调整和清晰度提升的方式完成对图像的预处理，再将预处理后的图像作为目标检测图像；
S6：以步骤S5的目标检测图像作为输入，利用步骤S4中的训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。
2.如权利要求1所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S1中，原始数据集中佩戴口罩和未戴口罩的人脸图像的数量比为3:1。
3.如权利要求2所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S2中，采用的数据集增强的方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换。
4.如权利要求3所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S3中，改进后的神经网络模型对输入的数据集的识别处理过程包括如下步骤：
S31：对输入的图片进行预处理，将图片的尺寸统一调整为300×300，所述图片作为网络模型的输入神经元；
S32：所述输入的图片经过网络模型中的多个卷积层后，进入到DenseNet网络；DenseNet网络在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，获取准确的参数，得到第一个特征图；
S33：图片继续在卷积层中进行前向传播和后向参数调整传播，并在经过若干卷积层后依次获得第二、三、四、五、六个特征图；
S34：利用神经网络模型产生的第一特征图、第二特征图和第三特征图搭建特征金字塔结构，通过神经网络模型中的特征金字塔模块对特征图进行特征信息融合；
S35：设置神经网络模型的损失函数，然后对六个特征图进行目标分类和位置定位，获得特征图的目标检测框；
S36：通过非极大值抑制方法找到最佳的目标检测框，消除冗余的目标检测框，进而针对获取的最佳的目标检测框，得到检测目标是否佩戴口罩的识别结果。
5.如权利要求4所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S34中，特征金字塔模型中特征信息的融合过程如下：
原始的输入特征图沿特征金字塔模型的左侧最低层输入，并自底向上获得尺寸依次减小的第一特征图、第二特征图和第三特征图；特征金字塔模型右侧进行自顶向下特征融合，其中最上方的第四特征图的输入是由左侧第三特征图进行卷积得到的；下一层级的第五特征图的输入是由左侧第二特征图进行卷积得到的；最后一个层级的第六特征图的输入是由左侧第一特征图进行卷积得到的；特征金字塔模型中，同一层级的左右特征图进行信息叠加从而实现特征图的特征信息融合。
6.如权利要求4所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S35中，损失函数包括用于分类的log损失函数和用于回归的smooth L1损失函数；损失函数由置信度误差Lconf(x,c)和位置误差Lloc(x,l,g)组成，其表达式为：
Figure FDA0003038065760000021
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；l表示预测框坐标；g表示真实框坐标；N表示与该类别的校准框匹配成功的默认框数量；α为拉格朗日乘子，拉格朗日乘子用来平衡置信度误差和位置误差；
其中，所述位置误差是预测框l和真实标签框g参数之间的smoothL1损失，其表达式为：
Figure FDA0003038065760000022
上式中，x为当前预测框的类别匹配信息；l表示预测框坐标；g表示真实框坐标；Pos表示正样本预测框的个数；
Figure FDA0003038065760000023
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure FDA0003038065760000024
表示预测框；
Figure FDA0003038065760000025
表示真实框；
其中，所述置信误差函数的表达式如下：
Figure FDA0003038065760000031
上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；Pos表示正样本预测框的个数；Neg表示负样本预测框；
Figure FDA0003038065760000032
表示第i个预测框与第j个真实框关于类别k是否匹配；
Figure FDA0003038065760000033
表示
Figure FDA0003038065760000034
该值通过激活函数Softmax产生。
7.如权利要求4所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S36中，采用非极大值抑制方法的对目标检测框的处理过程如下：
S361：依靠神经网络模型中的分类器获取多个候选框，以及关于候选框中属于类别的概率值；
S362：对分类器得到的所有候选框进行得分排序，选中最高分及其对应的候选框；
S363：遍历其余的候选框，比较当前最高分的候选框的重叠面积IOU与设定的阈值的关系，并作出如下判断：
(1)当最高分的候选框的重叠面积小于阈值时，则保留当前候选框；
(2)当最高分的候选框的重叠面积大于等于阈值时，则将当前候选框删除；
S364：重复步骤S363，依次处理所有的候选框，完成对候选框的非极大值抑制处理过程，获得最佳的目标检测框。
8.一种人脸口罩佩戴识别系统，其特征在于，其采用如权利要求1-7任意一项所述的人脸口罩佩戴识别方法，以视频监控中出现的人脸作为目标对象，对包含目标对象的目标图像进行识别，判断目标对象是否佩戴口罩，并给出识别结果；所述识别系统包括：
训练集获取模块，其用于对监控视频进行分帧处理，提取出含有人脸的图像，并将含有人脸的图像按照佩戴口罩和未带口罩进行人工分类，再按照佩戴口罩和未带口罩数量比3:1的比例，将获取的两类人脸图像作为训练集的原始数据，构成原始数据集；
数据集增强模块，其用于对训练集获取模块中原始数据集的图像进行预处理，采用包括角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻装变换的数据集增强方法对原始数据集中的每张图像进行处理，并将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；
目标检测图像获取模块，其用于针对实时的监控视频进行分帧处理，并在每帧图像中选取角度最佳的图像作为目标图像，然后对目标图像进行亮度调整和清晰度提升，完成对目标图像的预处理；最后将预处理后的目标图像作为进行口罩佩戴识别的目标检测图像；以及
神经网络识别模块，其采用单发多边框检测器作为基础网络，将基础网络中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；所述神经网络模型采用数据集增强模块提供的训练数据集，完成网络模型自身的训练阶段，采用经过训练的具有最优识别效率的网络模型对神经网络模型进行更新；更新后的神经网络模型以目标检测图像获取模块提供的图像作为输入，获取检测目标是否佩戴口罩的检测结论。
9.如权利要求8所述的人脸口罩佩戴识别系统，其特征在于：所述识别系统中还包括预警模块；所述预警模块用于接收神经网络识别模块的识别结果，当接收的识别结果为检测目标未戴口罩时，预警模块发出预警信号；所述预警信号包括语音提示信号、图像提示信号、以及向其它执行机构发出的预警控制指令。
10.一种人脸口罩佩戴识别终端，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行如权利要求1-8任意一项所述的人脸口罩佩戴识别方法。
CN202110449037.2A 2021-04-25 2021-04-25 一种人脸口罩佩戴识别方法、系统及终端 Pending CN113158913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449037.2A CN113158913A (zh) 2021-04-25 2021-04-25 一种人脸口罩佩戴识别方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449037.2A CN113158913A (zh) 2021-04-25 2021-04-25 一种人脸口罩佩戴识别方法、系统及终端

Publications (1)

Publication Number Publication Date
CN113158913A true CN113158913A (zh) 2021-07-23

Family

ID=76870394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449037.2A Pending CN113158913A (zh) 2021-04-25 2021-04-25 一种人脸口罩佩戴识别方法、系统及终端

Country Status (1)

Country Link
CN (1) CN113158913A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
CN114220143A (zh) * 2021-11-26 2022-03-22 华南理工大学 一种佩戴口罩的人脸识别方法
CN114283462A (zh) * 2021-11-08 2022-04-05 上海应用技术大学 口罩佩戴检测方法及系统
CN114360127A (zh) * 2021-12-16 2022-04-15 三峡大学 一种用于安检系统的行人健康监测方法
CN114998964A (zh) * 2022-06-02 2022-09-02 天津道简智创信息科技有限公司 一种新型证照质量检测方法
CN115527189A (zh) * 2022-11-01 2022-12-27 杭州枕石智能科技有限公司 车位状态的检测方法、终端设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110569738A (zh) * 2019-08-15 2019-12-13 杨春立 基于密集连接网络的自然场景文本检测方法、设备和介质
CN110859624A (zh) * 2019-12-11 2020-03-06 北京航空航天大学 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN111274942A (zh) * 2020-01-19 2020-06-12 国汽(北京)智能网联汽车研究院有限公司 一种基于级联网络的交通锥识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN110569738A (zh) * 2019-08-15 2019-12-13 杨春立 基于密集连接网络的自然场景文本检测方法、设备和介质
CN110859624A (zh) * 2019-12-11 2020-03-06 北京航空航天大学 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN111274942A (zh) * 2020-01-19 2020-06-12 国汽(北京)智能网联汽车研究院有限公司 一种基于级联网络的交通锥识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周凡 等，: "基于密集模块与特征融合的SSD目标检测算法", 《计算机工程与应用》 *
董永昌 等，: "基于改进SSD算法的行人检测方法", 《计算机工程与设计》 *
阮士峰，: "基于改进 SSD 算法的行人佩戴口罩检测研究", 《科技经济导刊》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763348A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 图像质量确定方法、装置、电子设备及存储介质
US11620815B2 (en) * 2021-10-15 2023-04-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for detecting an object in an image
CN113947144A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 用于对象检测的方法、装置、设备、介质和程序产品
JP7387847B2 (ja) 2021-10-15 2023-11-28 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド オブジェクトの検出方法、装置、デバイス、媒体及びプログラム
CN114283462A (zh) * 2021-11-08 2022-04-05 上海应用技术大学 口罩佩戴检测方法及系统
CN114283462B (zh) * 2021-11-08 2024-04-09 上海应用技术大学 口罩佩戴检测方法及系统
CN114220143A (zh) * 2021-11-26 2022-03-22 华南理工大学 一种佩戴口罩的人脸识别方法
CN114220143B (zh) * 2021-11-26 2024-04-19 华南理工大学 一种佩戴口罩的人脸识别方法
CN114360127B (zh) * 2021-12-16 2023-09-22 三峡大学 一种用于安检系统的行人健康监测方法
CN114360127A (zh) * 2021-12-16 2022-04-15 三峡大学 一种用于安检系统的行人健康监测方法
CN114998964A (zh) * 2022-06-02 2022-09-02 天津道简智创信息科技有限公司 一种新型证照质量检测方法
CN115527189B (zh) * 2022-11-01 2023-03-21 杭州枕石智能科技有限公司 车位状态的检测方法、终端设备及计算机可读存储介质
CN115527189A (zh) * 2022-11-01 2022-12-27 杭州枕石智能科技有限公司 车位状态的检测方法、终端设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN113160465A (zh) 一种完全免接触式安全闸机系统及其管理方法
CN113158913A (zh) 一种人脸口罩佩戴识别方法、系统及终端
CN108416250B (zh) 人数统计方法及装置
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
US9001199B2 (en) System and method for human detection and counting using background modeling, HOG and Haar features
CN102831439B (zh) 手势跟踪方法及系统
CN111178183B (zh) 人脸检测方法及相关装置
CN108256459A (zh) 基于多摄像机融合的安检门人脸识别和人脸自动建库算法
CN111881726B (zh) 一种活体检测方法、装置及存储介质
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN103986910A (zh) 一种基于智能分析摄像机的客流统计方法和系统
CN109657581A (zh) 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN101216887A (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN109145742A (zh) 一种行人识别方法及系统
Cuevas et al. Detection of stationary foreground objects using multiple nonparametric background-foreground models on a finite state machine
US20150077550A1 (en) Sensor and data fusion
US20190019017A1 (en) Techniques for automatically identifying secondary objects in a stereo-optical counting system
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
CN111461001A (zh) 一种计算机视觉自动开车门方法及其系统
CN110941993A (zh) 基于人脸识别的动态人员分类与存储方法
CN109657580B (zh) 一种城市轨道交通闸机通行控制方法
CN112183167B (zh) 考勤方法、认证方法、活体检测方法、装置及设备
CN115147887A (zh) 人脸识别率提高方法、门禁设备及计算机可读存储介质
US11335094B2 (en) Detecting fake videos
KR20110092848A (ko) 얼굴 인증 및 등록방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wan Sen

Inventor after: Cheng Teng

Inventor after: Liu Zilong

Inventor after: Guo Zhuqing

Inventor before: Liu Zilong

Inventor before: Wan Sen

Inventor before: Cheng Teng

Inventor before: Guo Zhuqing

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723