CN112562159A - 一种门禁控制方法、装置、计算机设备和存储介质 - Google Patents

一种门禁控制方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112562159A
CN112562159A CN202011341332.8A CN202011341332A CN112562159A CN 112562159 A CN112562159 A CN 112562159A CN 202011341332 A CN202011341332 A CN 202011341332A CN 112562159 A CN112562159 A CN 112562159A
Authority
CN
China
Prior art keywords
face
target
frame
frame image
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011341332.8A
Other languages
English (en)
Other versions
CN112562159B (zh
Inventor
李玉惠
傅强
蔡琳
阿曼太
梁彧
马寒军
田野
王杰
杨满智
金红
陈晓光
刘瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eversec Beijing Technology Co Ltd
Original Assignee
Eversec Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eversec Beijing Technology Co Ltd filed Critical Eversec Beijing Technology Co Ltd
Priority to CN202011341332.8A priority Critical patent/CN112562159B/zh
Publication of CN112562159A publication Critical patent/CN112562159A/zh
Application granted granted Critical
Publication of CN112562159B publication Critical patent/CN112562159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种门禁控制方法、装置、计算机设备和存储介质。该方法包括：实时获取目标帧图像，并对目标帧图像进行人脸检测；如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。使用本发明的技术方案，可以实现提高进行人脸识别以控制门禁时的安全性、准确性和实时性。

Description

一种门禁控制方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及图像处理以及人脸识别技术，尤其涉及一种门禁控制方法、装置、计算机设备和存储介质。
背景技术
随着人们对安防的要求越来越高，人脸识别门禁系统应运而生。人脸识别门禁系统将允许访问的全部人员的人脸特征信息保存至数据库中，当用户访问门禁系统时，首先通过摄像头获取用户的人脸信息并提取特征，将提取的人脸特征信息与数据库中的各人脸特征信息进行匹配，根据匹配结果完成人脸识别并确定是否打开门禁。
但是，现有的人脸识别门禁系统，对摄像头获取的视频中每一帧图像都进行人脸检测和识别，计算量大，耗时较长，实时性较差，在增量式用户介入使用时，容易进行误识别，以及无法抵抗照片攻击或视频攻击。
发明内容
本发明实施例提供一种门禁控制方法、装置、计算机设备和存储介质，以实现提高进行人脸识别以控制门禁时的安全性、准确性和实时性。
第一方面，本发明实施例提供了一种门禁控制方法，该方法包括：
实时获取目标帧图像，并对目标帧图像进行人脸检测；
如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
第二方面，本发明实施例还提供了一种门禁控制装置，该装置包括：
人脸检测模块，用于实时获取目标帧图像，并对目标帧图像进行人脸检测；
历史人脸框获取模块，用于如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
人脸识别结果追踪模块，用于如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的门禁控制方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的门禁控制方法。
本发明实施例通过对目标帧图像进行人脸检测，当目标帧图像中包含人脸框，并且存在目标人脸框通过活体测试后，获取上一帧图像和上一帧图像中的历史人脸框，当目标人脸框和历史人脸框满足人脸识别结果追踪条件，直接将目标帧图像的目标人脸识别结果确定为上一帧图像的历史人脸识别结果，从而进行门禁状态控制。解决了现有的门禁系统中对每一帧图像都进行人脸检测和识别的方式，计算量大，耗时较长，实时性较差的问题，以及无法抵抗照片攻击或视频攻击的问题，提高了人脸识别的准确性和实时性，从而提高了门禁系统的安全性。
附图说明
图1是本发明实施例一中的一种门禁控制方法的流程图；
图2a是本发明实施例二中的一种门禁控制方法的流程图；
图2b是适用于本发明实施例中的一种深层网络结构的示意图；
图2c是适用于本发明实施例中的一种浅层网络结构的示意图；
图2d是适用于本发明实施例中的一种人脸检测模型的结构示意图；
图2e是本发明具体适用场景一中的一种门禁系统的结构示意图；
图3是本发明实施例三中的一种门禁控制装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种门禁控制方法的流程图，本实施例可适用于基于实时、动态的人脸识别进行门禁控制的情况，该方法可以由门禁控制装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中，可以与摄像机、门禁锁等装置配合使用。
如图1所示，本发明实施例的技术方案，具体包括如下步骤：
S110、实时获取目标帧图像，并对目标帧图像进行人脸检测。
其中，目标帧图像是在摄像机等图像获取装置采集的实时视频中的一帧图像，人脸检测用于检测目标帧图像中是否包含人脸，对目标帧图像进行人脸检测，可以采用预设的人脸检测算法，也可以将目标帧图像输入至预先训练好的人脸检测模型中，本实施例对此不进行限制。
在本发明实施例中，对于实时采集的视频中的每一帧图像，都进行人脸检测，当某帧图像中不包含人脸时，跳过该帧图像，重新对下一帧图像进行人脸检测。
S120、如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框。
其中，目标人脸框是目标帧图像中包含的人脸区域部分对应的框，在本发明实施例中，对目标帧图像进行人脸检测，可能获得一个或多个人脸框，对各人脸框进行活体检测，获取能够通过活体检测的目标人脸框。
活体测试用于在一些身份验证场景确定对象真实生理特征，在本发明实施例中，活体测试用于验证用户是否为真实活体本人操作，示例性的，活体检测可以是点头检测、张嘴检测、摇头检测或者眨眼检测等。检测到人脸框之后，进一步进行活体测试，这样设置的好处在于，可以抵抗照片、视频等攻击，防止非法用户通过展示合法用户的照片、视频等方式打开门禁，从而降低了门禁系统的误识别概率，提高了门禁系统的安全性。
历史人脸框是在目标人脸框的上一帧图像中检测得到的，能够通过活体测试，并且已标记了历史人脸识别结果的人脸框。
S130、如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
人脸识别结果追踪条件用于判断目标人脸框与历史人脸框之间是否匹配，当目标人脸框与历史人脸框之间匹配时，直接将目标帧图像的目标人脸识别结果确定为历史人脸框的历史人脸识别结果。这样设置的好处在于，可以有效减少人脸识别的耗时，提高了门禁系统实时监测的效率，同时，在实时监测过程中如果新增或减少人脸，可以及时进行重新人脸识别，从而保证了门禁监测的准确性。
可选的，根据目标人脸识别结果进行门禁状态控制，可以包括：如果根据目标人脸识别结果确定目标人脸框为已知人脸框，则控制门禁保持开启状态。
在本发明实施例中，当目标人脸框为已知人脸框时，说明当前监测的用户为合法用户，需要打开门禁，保持门禁开启状态，本实施例对确定当前检测用户为合法用户时，保持门禁开启状态的方式不进行限制。
示例性的，可以在目标帧图像中为首次确定目标人脸框为已知人脸框时，向门禁系统发送门禁开启指令，并将当前追踪图像数量设置为0。目标帧图像之后的若干帧图像如果能满足人脸识别结果追踪条件，则累计当前追踪图像数量，同时，不再重复发送门禁开启指令。
本实施例的技术方案，通过对目标帧图像进行人脸检测，当目标帧图像中包含人脸框，并且存在目标人脸框通过活体测试后，获取上一帧图像和上一帧图像中的历史人脸框，当目标人脸框和历史人脸框满足人脸识别结果追踪条件，直接将目标帧图像的目标人脸识别结果确定为上一帧图像的历史人脸识别结果，从而进行门禁状态控制。解决了现有的门禁系统中对每一帧图像都进行人脸检测和识别的方式，计算量大，耗时较长，实时性较差的问题，以及无法抵抗照片攻击或视频攻击的问题，提高了人脸识别的准确性和实时性，从而提高了门禁系统的安全性。
实施例二
图2a是本发明实施例二提供的一种门禁控制方法的流程图，本发明实施例在上述实施例的基础上，对人脸检测的过程、活体检测的过程以及判断是否满足人脸识别结果追踪条件的过程进行了进一步的具体化，并加入了不满足人脸识别结果追踪条件时进行人脸识别的步骤，并对人脸识别的过程进行了具体化。
相应的，如图2a所示，本发明实施例的技术方案，具体包括如下步骤：
S210、实时获取目标帧图像。
S220、将目标帧图像输入至人脸检测模型中，获取所述人脸检测模型输出的至少一个人脸框以及各人脸框对应的位置信息。
其中，所述人脸检测模型包括深层网络结构和浅层网络结构。
在本发明实施例中，通过人脸检测模型对输入的实时视频中的各帧图像进行人脸检测，当目标帧图像中存在人脸时，人脸检测模型输出目标帧图像中的各人脸对应的人脸框，以及各人脸框的位置信息。
为减少计算量，提高人脸检测的速度，本实施例设计了一种分为深层网络结构和浅层网络结构的人脸检测模型，该人脸检测模型的原理为：目标帧图像经过深层网络结构和浅层网络结构之后，深层网络结构和浅层网络结构分别输出深层特征图和浅层特征图，深层特征图和浅层特征图中分别包括不同数量的网格，各网格中又包括预设数量的边界框，以及各边框对应的边界框信息，根据各边界框信息对各边界框进行归类，最终获得各人脸框以及各框的位置信息。
示例性的，以目标帧图像的尺寸为288*288为例，图2b提供了深层网络结构的示意图，如图2b所示，目标帧图像经过深层网络结构，经过五次降采样，每次降采样步长为2，获得9*9*18的深层特征图。图2c提供了一种浅层网络结构的示意图，如图2c所示，目标帧图像经过浅层网络结构，经过四次降采样，每次降采样步长为2，获得18*18*18的浅层特征图。图2d提供了一种人脸检测模型的结构示意图，如图2d所示，分别提取两个尺度的特征图，使人脸检测模型可以同时学习深层特征和浅层特征，从而提高人脸检测的准确性。同时，人脸检测模型的网络层数少、卷积核数量少，可以在保证人脸检测准确性的同时，减少计算量，提高人脸检测的效率。
S230、根据目标帧图像中的人脸框和人脸框对应的位置信息，获取至少一个人脸框图像，对各人脸框图像进行关键点检测，获取各人脸框图像对应的人脸关键点集合，根据人脸关键点集合对各人脸框图像进行至少一项人脸姿态估计。
其中，人脸框图像是只包含目标帧图像中某人脸框对应的区域的图像，在本发明实施例中，对目标帧图像中的各个人脸框，都生成对应的人脸框图像。关键点检测用于检测人脸框图像中的关键点，关键点检测可以通过关键点检测算法或将人脸框图像输入预先训练的关键点检测模型中实现，本实施例对此不进行限制。典型的，对人脸框图像进行关键点检测之后，可以获得人脸框图像对应的68个人脸关键点。
人脸姿态估计是指根据一幅二维人脸图像，计算出这个人在实际三维空间中的面部朝向。在本发明实施例中，人脸姿态估计可以是对人脸框图像的脸部、嘴部或者眼睛等部位进行朝向检测，相应的，人脸姿态估计满足检测条件，可以指人脸框图像的脸部、嘴部或者眼睛等部位的朝向角度满足预设阈值条件。
示例性的，当对人脸框图像进行点头检测时，对人脸框的脸部进行人脸姿态估计，可以基于人脸关键点进行人脸的俯仰角度的计算，当俯仰角度大于或等于阈值角度20°时，确定人脸框图像通过点头测试。
S240、判断是否存在目标人脸框图像对应的各项人脸姿态估计都满足检测条件，如果是，则执行S250，否则返回执行S210。
在本发明实施例中，可以对目标帧图像中的各人脸框分别进行至少一次活体检测，相对应的，对各人脸框图像进行至少一项人脸姿态估计，获取各项人脸姿态估计都满足检测条件的人脸框图像作为目标人脸框图像。
S250、将所述目标人脸框图像输入至摩尔纹分类模型。
摩尔纹是数码照相机或者扫描仪等设备上的感光元件出现的高频干扰，会使图片出现彩色的高频率条纹。在本发明实施例中，当非法用户持合法用户的照片或视频进行门禁识别时，门禁系统的图像采集装置采集到的目标帧图像中的人脸框图像为翻拍的人脸框图像，翻拍图像中包含摩尔纹，因此，可以通过摩尔纹检测区分正常的人脸框图像和翻拍的人脸框图像。相比于正常人脸框图像，翻拍的人脸框图像在进行傅里叶变换后，摩尔纹频谱图中的零频率成分较为分散。可以预先训练二分类模型获得摩尔纹分类模型，将目标人脸框图像输入至摩尔纹分类模型之后，即可判断目标人脸框图像中是否包含摩尔纹，从而确定目标人脸框图像是否是翻拍的人脸框图像。
S260、判断目标人脸框图像是否是摩尔纹图像，如果是，则返回执行S210，否则执行S270。
S270、确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试。
在本发明实施例中，将目标人脸框图像输入至摩尔纹分类模型，当确定目标人脸框图像不是摩尔纹图像时，目标人脸框通过活体测试。
S280、判断目标帧图像的上一帧图像中是否包括人脸框，如果是，则执行S290，否则执行S2160。
在本发明实施例中，如果上一帧图像中不包含人脸框，则可以直接对目标帧图像中的目标人脸框进行人脸识别。否则，通过判断是否满足人脸识别结果追踪条件的方式，对可以进行人脸识别结果追踪的目标人脸框，免于重复的人脸识别，相比于现有技术中对每一帧图像都进行人脸检测和识别的方式，减少了人脸识别的耗时，提高了门禁实时监测的效率。
S290、获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框。
当上一帧图像中包括人脸框时，获取该历史人脸框以及各历史人脸框对应的历史人脸识别结果。
S2100、获取当前追踪图像总数量。
当前追踪图像总数量是连续进行人脸识别结果追踪的图像的数量，当目标帧图像的上一帧图像中不包括人脸框，或者目标人脸框与历史人脸框不满足人脸识别结果追踪条件时，将当前追踪图像总数量初始化为0。如果目标帧图像的下一帧图像中的人脸框与目标人脸框满足人脸识别结果追踪条件，则对当前追踪图像总数量进行累加。
S2110、判断当前追踪图像总数量是否小于或等于预设追踪次数限值，如果是，则执行S2120，否则执行S2160。
为提高门禁监测的准确性，当连续进行人脸识别结果追踪的图像的数量超过预设追踪次数阈值时，对目标人脸框进行人脸识别。
S2120、计算所述目标人脸框与历史人脸框之间的像素距离和/或哈希值。
目标人脸框与历史人脸框之间的像素距离可以是目标人脸框与历史人脸框中心的像素距离，也可以是目标人脸框与历史人脸框相对应的四个端点间像素距离的平均值，本实施例对此不进行限制。
哈希值用于表示目标人脸框与历史人脸框之间的相似度，本实施例对计算哈希值的方法不进行限制。
S2130、判断所述目标人脸框与历史人脸框之间的像素距离和/或哈希值是否满足阈值条件，如果是，则执行S2140，否则执行S2160。
像素距离和/或哈希值满足阈值条件时，可以认定为目标人脸框与历史人脸框之间匹配，满足人脸识别结果追踪条件。
示例性的，通过以下公式计算目标人脸框与历史人脸框的中心点像素距离d1，当计算得到的d1小于预设的像素距离阈值时，分别计算目标人脸框与历史人脸框的哈希值，并根据哈希值计算汉明距离d2，当d2小于预设的汉明距离阈值时，确定目标人脸框与历史人脸框满足人脸识别结果追踪条件。
S2140、确定目标人脸框与历史人脸框满足人脸识别结果追踪条件。
S2150、获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果。执行S2170。
当目标人脸框与历史人脸框之间匹配，满足人脸识别结果追踪条件时，可以直接将历史人脸框的历史人脸识别结果作为目标人脸框的目标人脸识别结果，减少了对相似图像进行人脸识别的耗时，提高了门禁系统人脸识别的实时性。
S2160、对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果。
相应的，对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，可以包括：将所述目标人脸框图像输入至人脸识别模型中，获得所述人脸识别模型输出的目标人脸框对应的目标人脸识别结果。其中，所述目标人脸识别结果为根据目标人脸框与人脸数据库中的标准人脸框之间的匹配结果确定。
其中，人脸识别模型的原理为：计算目标人脸框与人脸数据库中的各标准人脸框之间的相似度，对各相似度进行排序，筛选出满足相似度阈值条件的标准人脸框，通过KNN(K-NearestNeighbor，K-近邻)算法确定出现频率最高的标准人脸框。
当人脸识别模型检测到与目标人脸框匹配的标准人脸框时，输出的目标人脸识别结果为标准人脸框对应的用户属性，例如用户姓名、门牌号等。当人脸识别模型未检测到与目标人脸框匹配的标准人脸框时，输出的目标人脸识别结果为识别失败。
可选的，对于本实施例中的人脸检测模型和人脸识别模型，在训练过程中为了提高模型的准确性，可以选用更有区分能力的损失函数。
可选的，可以使用openvino对人脸检测模型和人脸识别模型进行加速优化，从而提高人脸检测和人脸识别的效率和准确率。
S2170、判断根据目标人脸识别结果是否确定目标人脸框为已知人脸框，如果是，则执行S2180，否则返回执行S210。
示例性的，如果目标人脸框为已知的标准人脸框，且当前追踪图像总数量为0，可以向门禁系统发送门禁开启指令。如果目标人脸框为已知的标准人脸框，且当前追踪图像总数量不为0时，则不再重复发送指令。还可以在一旦确定目标人脸框为已知人脸框时，即发送门禁开启指令，本实施例对此不进行限制。
S2180、控制门禁保持开启状态。
本实施例的技术方案，通过对目标帧图像进行人脸检测，当目标帧图像中包含人脸框，并且存在目标人脸框通过活体测试后，获取上一帧图像和上一帧图像中的历史人脸框，当目标人脸框和历史人脸框满足人脸识别结果追踪条件，直接将目标帧图像的目标人脸识别结果确定为上一帧图像的历史人脸识别结果，从而进行门禁状态控制。解决了现有的门禁系统中对每一帧图像都进行人脸检测和识别的方式，计算量大，耗时较长，实时性较差的问题，以及无法抵抗照片攻击或视频攻击的问题，提高了人脸识别的准确性和实时性，从而提高了门禁系统的安全性。
具体适用场景一
图2e是本发明具体适用场景中的一种门禁系统的结构示意图，如图2e所示，门禁系统包括：摄像机、门禁控制设备、USB(Universal Serial Bus，通用串行总线)继电器、磁力锁以及门禁专用电源等装置，图2e中的门禁专用电源以OS-P8电源为例，其中：
摄像机用于采集门禁系统附近的实时视频，门禁控制设备用于接收摄像机采集的实时视频，并实现上述任一实施例中的门禁控制方法，USB继电器用于在接收到门禁控制设备发送的门禁开启指令时，向门禁专用电源发送信号，通过门禁专用电源控制磁力锁的电流，从而实现门的开启。
门禁系统还包括楼宇对讲系统、门铃、开门按钮以及门禁机，其中，开门按钮以及门禁机用于在基于上述任一实施例中的门禁控制方法实现门禁控制之外，实现通过按压开门按钮进行门的开启。
实施例三
图3是本发明实施例三提供的一种门禁控制装置的结构示意图，该装置包括：人脸检测模块310、历史人脸框获取模块320以及人脸识别结果追踪模块330。其中：
人脸检测模块310，用于实时获取目标帧图像，并对目标帧图像进行人脸检测；
历史人脸框获取模块320，用于如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
人脸识别结果追踪模块330，用于如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
本实施例的技术方案，通过对目标帧图像进行人脸检测，当目标帧图像中包含人脸框，并且存在目标人脸框通过活体测试后，获取上一帧图像和上一帧图像中的历史人脸框，当目标人脸框和历史人脸框满足人脸识别结果追踪条件，直接将目标帧图像的目标人脸识别结果确定为上一帧图像的历史人脸识别结果，从而进行门禁状态控制。解决了现有的门禁系统中对每一帧图像都进行人脸检测和识别的方式，计算量大，耗时较长，实时性较差的问题，以及无法抵抗照片攻击或视频攻击的问题，提高了人脸识别的准确性和实时性，从而提高了门禁系统的安全性。
在上述实施例的基础上，所述装置，还包括：
第一人脸识别模块，用于如果确定目标人脸框与历史人脸框不满足人脸识别结果追踪条件，则对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
在上述实施例的基础上，所述装置，还包括：
数量累加模块，用于对当前追踪图像的总数量进行累加；
所述人脸识别结果追踪模块330，包括：
追踪图像总数量判断单元，用于获取当前追踪图像总数量，如果当前追踪图像总数量小于或等于预设追踪次数限值，则计算所述目标人脸框与历史人脸框之间的像素距离和/或哈希值；
人脸识别结果追踪条件确定单元，用于如果确定所述目标人脸框与历史人脸框之间的像素距离和/或哈希值满足阈值条件，则确定目标人脸框与历史人脸框满足人脸识别结果追踪条件。
在上述实施例的基础上，所述人脸检测模块310，包括：
人脸检测单元，用于将目标帧图像输入至人脸检测模型中，获取所述人脸检测模型输出的至少一个人脸框以及各人脸框对应的位置信息；
其中，所述人脸检测模型包括深层网络结构和浅层网络结构。
在上述实施例的基础上，所述历史人脸框获取模块320，包括：
人脸姿态估计单元，用于根据目标帧图像中的人脸框和人脸框对应的位置信息，获取至少一个人脸框图像，对各人脸框图像进行关键点检测，获取各人脸框图像对应的人脸关键点集合，根据人脸关键点集合对各人脸框图像进行至少一项人脸姿态估计；
摩尔纹检测单元，用于如果确定目标人脸框图像对应的各项人脸姿态估计都满足检测条件，则将所述目标人脸框图像输入至摩尔纹分类模型；
活体测试通过确认单元，用于如果确定所述目标人脸框图像不是摩尔纹图像，则确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试。
在上述实施例的基础上，所述装置，还包括：
第二人脸识别模块，用于如果确定目标帧图像的上一帧图像中不包括人脸框，则对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
在上述实施例的基础上，所述第一人脸识别模块或所述第二人脸识别模块，包括：
目标人脸识别结果获取单元，用于将所述目标人脸框图像输入至人脸识别模型中，获得所述人脸识别模型输出的目标人脸框对应的目标人脸识别结果；
其中，所述目标人脸识别结果为根据目标人脸框与人脸数据库中的标准人脸框之间的匹配结果确定；
所述人脸识别结果追踪模块330、所述第一人脸识别模块或者所述第二人脸识别模块，用于：
如果根据目标人脸识别结果确定目标人脸框为已知人脸框，则控制门禁保持开启状态。
本发明实施例所提供的门禁控制装置可执行本发明任意实施例所提供的门禁控制方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图4中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的门禁控制方法对应的模块(例如，门禁控制装置中的人脸检测模块310、历史人脸框获取模块320以及人脸识别结果追踪模块330)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的门禁控制方法。该方法包括：
实时获取目标帧图像，并对目标帧图像进行人脸检测；
如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种门禁控制方法，该方法包括：
实时获取目标帧图像，并对目标帧图像进行人脸检测；
如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的门禁控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述门禁控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种门禁控制方法，其特征在于，包括：
实时获取目标帧图像，并对目标帧图像进行人脸检测；
如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
2.根据权利要求1所述的方法，其特征在于，在获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框之后，还包括：
如果确定目标人脸框与历史人脸框不满足人脸识别结果追踪条件，则对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
3.根据权利要求1所述的方法，其特征在于，在确定目标人脸框与历史人脸框满足人脸识别结果追踪条件之后，还包括：
对当前追踪图像的总数量进行累加；
确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，包括：
获取当前追踪图像总数量，如果当前追踪图像总数量小于或等于预设追踪次数限值，则计算所述目标人脸框与历史人脸框之间的像素距离和/或哈希值；
如果确定所述目标人脸框与历史人脸框之间的像素距离和/或哈希值满足阈值条件，则确定目标人脸框与历史人脸框满足人脸识别结果追踪条件。
4.根据权利要求1所述的方法，其特征在于，对目标帧图像进行人脸检测，包括：
将目标帧图像输入至人脸检测模型中，获取所述人脸检测模型输出的至少一个人脸框以及各人脸框对应的位置信息；
其中，所述人脸检测模型包括深层网络结构和浅层网络结构。
5.根据权利要求4所述的方法，其特征在于，确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，包括：
根据目标帧图像中的人脸框和人脸框对应的位置信息，获取至少一个人脸框图像，对各人脸框图像进行关键点检测，获取各人脸框图像对应的人脸关键点集合，根据人脸关键点集合对各人脸框图像进行至少一项人脸姿态估计；
如果确定目标人脸框图像对应的各项人脸姿态估计都满足检测条件，则将所述目标人脸框图像输入至摩尔纹分类模型；
如果确定所述目标人脸框图像不是摩尔纹图像，则确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试。
6.根据权利要求1所述的方法，其特征在于，在获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框之前，还包括：
如果确定目标帧图像的上一帧图像中不包括人脸框，则对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
7.根据权利要求2或6任一项所述的方法，其特征在于，对所述目标人脸框进行人脸识别，得到目标帧图像的目标人脸识别结果，包括：
将所述目标人脸框图像输入至人脸识别模型中，获得所述人脸识别模型输出的目标人脸框对应的目标人脸识别结果；
其中，所述目标人脸识别结果为根据目标人脸框与人脸数据库中的标准人脸框之间的匹配结果确定；
根据目标人脸识别结果进行门禁状态控制，包括：
如果根据目标人脸识别结果确定目标人脸框为已知人脸框，则控制门禁保持开启状态。
8.一种门禁控制装置，其特征在于，包括：
人脸检测模块，用于实时获取目标帧图像，并对目标帧图像进行人脸检测；
历史人脸框获取模块，用于如果确定所述目标帧图像中存在目标人脸框且所述目标人脸框通过活体测试，则获取目标帧图像的上一帧图像和在上一帧图像中检测的历史人脸框；
人脸识别结果追踪模块，用于如果确定目标人脸框与历史人脸框满足人脸识别结果追踪条件，则获取与上一帧图像对应的历史人脸识别结果作为目标帧图像的目标人脸识别结果，并根据目标人脸识别结果进行门禁状态控制。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的门禁控制方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的门禁控制方法。
CN202011341332.8A 2020-11-24 2020-11-24 一种门禁控制方法、装置、计算机设备和存储介质 Active CN112562159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011341332.8A CN112562159B (zh) 2020-11-24 2020-11-24 一种门禁控制方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011341332.8A CN112562159B (zh) 2020-11-24 2020-11-24 一种门禁控制方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112562159A true CN112562159A (zh) 2021-03-26
CN112562159B CN112562159B (zh) 2022-10-14

Family

ID=75043753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011341332.8A Active CN112562159B (zh) 2020-11-24 2020-11-24 一种门禁控制方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112562159B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112668A (zh) * 2021-04-15 2021-07-13 新疆爱华盈通信息技术有限公司 基于人脸识别的云台追踪方法、云台及门禁识别机
CN113569808A (zh) * 2021-08-23 2021-10-29 广东启信数据服务有限公司 机房人脸识别动态管理方法、存储介质及系统
CN114265626A (zh) * 2021-11-25 2022-04-01 上海齐感电子信息科技有限公司 控制方法及控制系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310286A1 (en) * 2014-04-24 2015-10-29 Honda Motor Co., Ltd. Vehicle recognition device
CN106934381A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种人脸识别跟踪方法
CN108230491A (zh) * 2017-07-20 2018-06-29 深圳市商汤科技有限公司 门禁控制方法和装置、系统、电子设备、程序和介质
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及系统
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
CN209373685U (zh) * 2019-02-26 2019-09-10 罗丞 一种基于人脸识别的非配合式门禁装置
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统
US20200327677A1 (en) * 2019-04-10 2020-10-15 Neusoft Corporation Target object detection method, readable storage medium, and electronic device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310286A1 (en) * 2014-04-24 2015-10-29 Honda Motor Co., Ltd. Vehicle recognition device
CN106934381A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种人脸识别跟踪方法
CN108230491A (zh) * 2017-07-20 2018-06-29 深圳市商汤科技有限公司 门禁控制方法和装置、系统、电子设备、程序和介质
CN109325964A (zh) * 2018-08-17 2019-02-12 深圳市中电数通智慧安全科技股份有限公司 一种人脸追踪方法、装置及终端
CN109598211A (zh) * 2018-11-16 2019-04-09 恒安嘉新（北京）科技股份公司 一种实时动态人脸识别方法及系统
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
CN209373685U (zh) * 2019-02-26 2019-09-10 罗丞 一种基于人脸识别的非配合式门禁装置
US20200327677A1 (en) * 2019-04-10 2020-10-15 Neusoft Corporation Target object detection method, readable storage medium, and electronic device
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张晶等: "时空上下文相似性的TLD目标跟踪算法", 《计算机科学与探索》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112668A (zh) * 2021-04-15 2021-07-13 新疆爱华盈通信息技术有限公司 基于人脸识别的云台追踪方法、云台及门禁识别机
CN113569808A (zh) * 2021-08-23 2021-10-29 广东启信数据服务有限公司 机房人脸识别动态管理方法、存储介质及系统
CN114265626A (zh) * 2021-11-25 2022-04-01 上海齐感电子信息科技有限公司 控制方法及控制系统

Also Published As

Publication number Publication date
CN112562159B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US11354901B2 (en) Activity recognition method and system
CN112562159B (zh) 一种门禁控制方法、装置、计算机设备和存储介质
TWI686774B (zh) 人臉活體檢測方法和裝置
US20170213081A1 (en) Methods and systems for automatically and accurately detecting human bodies in videos and/or images
TWI749113B (zh) 在視訊監控系統中產生警示之方法、系統及電腦程式產品
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN108009466B (zh) 行人检测方法和装置
CN109657533A (zh) 行人重识别方法及相关产品
EP2923304A1 (en) Method and system for counting people using depth sensor
KR20190054702A (ko) 영상에서 객체의 행동을 인식하는 방법 및 그 장치
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
US11810311B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
KR20210063710A (ko) 카메라에 연결되는 고속 얼굴 인식 장치
Ballotta et al. Fully convolutional network for head detection with depth images
CN108875488B (zh) 对象跟踪方法、对象跟踪装置以及计算机可读存储介质
WO2018173848A1 (ja) オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
JP7314959B2 (ja) 人物認証装置、制御方法、及びプログラム
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
JP6893812B2 (ja) 物体検出装置
CN112257666B (zh) 目标图像内容的聚合方法、装置、设备及可读存储介质
CN114549501A (zh) 人脸遮挡的识别、三维人脸处理方法、装置、设备及介质
CN112819859A (zh) 一种应用于智慧安防的多目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant