CN115273288A - 基于人脸识别的开锁方法、智能门锁及可读存储介质 - Google Patents

基于人脸识别的开锁方法、智能门锁及可读存储介质 Download PDF

Info

Publication number
CN115273288A
CN115273288A CN202210930316.5A CN202210930316A CN115273288A CN 115273288 A CN115273288 A CN 115273288A CN 202210930316 A CN202210930316 A CN 202210930316A CN 115273288 A CN115273288 A CN 115273288A
Authority
CN
China
Prior art keywords
face
image
face image
recognition
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210930316.5A
Other languages
English (en)
Inventor
蔡中印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen 3irobotix Co Ltd
Original Assignee
Shenzhen 3irobotix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen 3irobotix Co Ltd filed Critical Shenzhen 3irobotix Co Ltd
Priority to CN202210930316.5A priority Critical patent/CN115273288A/zh
Publication of CN115273288A publication Critical patent/CN115273288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于人脸识别的开锁方法、智能门锁及可读存储介质，该方法包括：采集目标人脸的人脸图像，人脸图像包括深度人脸图；基于深度人脸图对人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；对通过活体图像识别的人脸图像进行人脸识别，若人脸识别通过则控制智能门锁开锁。该方法在进行人脸识别时充分利用人脸图像中的深度图的信息，快速拒绝照片、电子屏幕等设备提供的二维图像，以及明显与预设置的目标人脸图不一致的路人，提高了人脸识别的响应速度，降低了人脸识别的功耗。

Description

基于人脸识别的开锁方法、智能门锁及可读存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于人脸识别的开锁方法、智能门锁及可读存储介质。
背景技术
由于门锁类的假体攻击大多数情况下是照片、纸张、电子屏幕类低成本攻击。现有的人脸辨识方法，在活体检验以及人脸识别时，同时输入彩色人脸图像、红外人脸图像和深度图像，存在耗能较大的问题。且现有的人脸识别算法所需要的人脸ID较多，已经达到了百万级以上的规模，而实际智能门锁项目中要采集百万级别ID的人脸彩色人脸图、红外人脸图、深度图成本太高也不太可行。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于人脸识别的开锁方法，充分利用深度图的信息，提高了人脸识别的响应速度，降低了人脸识别的功耗，还具有人脸识别精度高的优点。
本发明的第二个目的在于提出一种智能门锁。
本发明的第三个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种基于人脸识别的开锁方法，所述开锁方法包括：采集目标人脸的人脸图像，所述人脸图像包括深度人脸图；基于所述深度人脸图对所述人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；对通过活体图像识别的人脸图像进行人脸识别，若所述人脸识别通过则控制智能门锁开锁。
根据本发明实施例的基于人脸识别的开锁方法，充分利用人脸图像中的深度信息，排除二维非活体人脸攻击以及与门锁系统中预设置的人脸明显不同的人脸，避免每次都进行活体识别以及人脸识别，对识别出的三维人脸进行活体检测，排除三维假体攻击，对活体人脸进行人脸识别，并根据识别结果控制智能门锁开锁或保持闭合，提高了人脸识别的响应速度，降低了人脸识别的功耗，还具有人脸识别精度高的优点。
另外，根据本发明上述实施例提出的基于人脸识别的开锁方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述采集目标人脸的人脸图像之后，还包括：确定所述人脸图像中目标人脸的位置信息；基于所述人脸图像中目标人脸的位置信息和结构光设备的相机参数，得到对应所述目标人脸位置信息的深度人脸图。
根据本发明的一个实施例，所述基于所述深度人脸图对所述人脸图像进行三维图像判断包括：通过预训练的深度特征提取模型对所述深度人脸图进行特征提取，得到第一深度特征；将所述第一深度特征与预设置的深度信息进行相似度比对，当相似度值大于或等于预设深度相似度时，判断所述人脸图像为三维图像。
根据本发明的一个实施例，所述人脸图像包括彩色人脸图像，则所述确定所述人脸图像中目标人脸的位置信息包括：基于所述彩色人脸图像框选所述人脸图像上的目标人脸；将框选所述目标人脸的区域确定为所述目标人脸的位置信息。
根据本发明的一个实施例，所述对通过三维图像判断的人脸图像进行活体图像识别之前还包括：基于所述人脸图像中目标人脸的位置信息生成所述人脸图像的红外人脸图；通过预训练的三维人脸重构模型对所述人脸图像的彩色人脸图、深度人脸图以及所述红外人脸图进行人脸重建，得到所述人脸图像的第一三维人脸图，并将所述第一三维人脸图作为所述人脸图像进行活体图像识别。
根据本发明的一个实施例，所述对通过三维图像判断的人脸图像进行活体图像识别之前还包括：基于所述人脸图像中目标人脸的位置信息生成所述人脸图像的红外人脸图；对所述人脸图像的彩色人脸图和所述红外人脸图进行矫正；将所述矫正后的彩色人脸图和红外人脸图分别输入至预设的人脸质量评估模型，得到矫正后的彩色人脸图的第一质量得分和矫正后的红外人脸图的第二质量得分；选取出所述第一质量得分和所述第二质量得分均大于预设的得分阈值的彩色人脸图和红外人脸图；基于所选取的彩色人脸图、红外人脸图及对应深度人脸图进行人脸重建，得到第二三维人脸图，并将所述第二三维人脸图作为所述人脸图像进行所述活体图像识别。
根据本发明的一个实施例，所述对通过三维图像判断的人脸图像进行活体图像识别，包括：通过活体分类器对通过三维图像判断的人脸图像进行活体分类；基于活体分类结果筛选出通过活体图像识别的人脸图像。
根据本发明的一个实施例，所述对通过活体图像识别的人脸图像进行人脸识别，包括：提取所述人脸图像的人脸特征；将所述人脸特征与预设置人脸特征进行相似度比对；当相似度值大于或等于预设的人脸特征阈值时，确定所述人脸图像通过人脸识别。
为达到上述目的，本发明第二方面实施例提出了一种智能门锁，所述智能包括：图像采集模块，用于采集目标人脸的人脸图像，其中，所述人脸图像包括深度人脸图；人脸活体模块，用于基于所述深度人脸图对所述人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；人脸识别模块，用于对通过活体图像识别的人脸图像进行人脸识别，若所述人脸识别通过，则生成开锁信号；门锁控制模块，用于在接收到所述开锁信号后控制所述智能门锁开锁。
根据本发明实施例的智能门锁的控制方法，利用基于人脸识别的开锁方法中得到的人脸类别结果来控制智能门锁保持闭锁状态或者解锁，降低了智能门锁人脸识别的成本和效率。
为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本发明第一方面实施例提出的基于人脸识别的开锁方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一个实施例的基于人脸识别的开锁方法的流程图；
图2是本发明一个具体实施例的基于人脸识别的开锁方法的流程图；
图3是本发明一个实施例的确定目标人脸位置信息的流程图；
图4是本发明一个具体实施例的生成三维人脸图的流程图；
图5是本发明另一个具体实施例的生成三维人脸图的流程图；
图6是本发明一个实施例的智能门锁的示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面将结合说明书附图1-6以及具体的实施方式对本发明实施例的基于人脸识别的开锁方法、智能门锁及可读存储介质进行详细地说明。
图1是本发明一个实施例的基于人脸识别的开锁方法的流程图。如图1所示，基于人脸识别的开锁方法可包括步骤S1至S4：
S1，采集目标人脸的人脸图像，人脸图像包括深度人脸图。
具体地，可利用结构光设备采集目标人脸的人脸图像，其中，结构光设备包括结构光摄像头、结构光接收器和结构光发射器。结构光摄像头采集目标人脸的人脸图像，深度人脸图是基于结构光摄像头采集的人脸图像，利用结构光接收器和结构光发射器获取对应的视差或深度，计算得到的。其中，深度人脸图图像中包含采集的目标人脸的深度信息。
在本发明的实施例中，如图2所示，采集目标人脸的人脸图像之后，还可包括步骤S11至步骤S12：
S11，确定人脸图像中目标人脸的位置信息；
S12，基于人脸图像中目标人脸的位置信息和结构光设备的相机参数，得到对应目标人脸位置信息的深度人脸图。
为了提高人脸识别的精准度，减少人脸图像中目标人脸以外的其他环境因素，对人脸识别的影响，对人脸图像中的目标人脸进行定位，获取人脸图像中目标人脸的位置信息，并基于人脸图像中目标人脸的位置信息和结构光设备的相机参数，计算得到对应目标人脸位置信息的深度人脸图。
作为一具体地的实施例，如图3所示，人脸图像包括彩色人脸图像，则确定人脸图像中目标人脸的位置信息的步骤可包括步骤S111至步骤S112：
S111，基于彩色人脸图像框选人脸图像上的目标人脸；
S112，将框选目标人脸的区域确定为目标人脸的位置信息。
需要说明的是，结构光摄像头可包括彩色结构光摄像头，其中，彩色结构光摄像头采集的目标图像为彩色图像。
为了提高人脸识别的精准度，以及减少根据彩色人脸图像获取其对应的深度人脸图的计算量，本发明实施例在获取彩色人脸图对应的深度人脸图时，在彩色人脸图中包含人脸的情况下，对彩色人脸图中的人脸进行人脸检测定位，确定彩色人脸图中目标人脸的位置信息。
进一步具体地，在确定彩色人脸图中目标人脸的位置信息的情况下，根据结构光设备的相机参数，确定彩色结构光摄像头、结构光发射器和结构光接收器的偏移量，计算得到与彩色人脸图中目标人脸位置信息的深度人脸图。
S2，基于深度人脸图对人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像。
本发明实施例利用人脸图像中的深度信息，确定采集的目标人脸是二维假体攻击人脸，还是三维人脸，以及目标人脸是三维人脸时该深度信息是否与预设置的目标人脸的深度信息相差甚远，以排除明显不可能的人脸图像，提高人脸识别的响应速度，以及降低人脸识别的功耗。
在本发明的实施例中，如图2所示，基于深度人脸图对人脸图像进行三维图像判断的步骤可包括步骤S21至步骤S22：
S21，通过预训练的深度特征提取模型对深度人脸图进行特征提取，得到第一深度特征；
S22，将第一深度特征与预设置的深度信息进行相似度比对，当相似度值大于或等于预设深度相似度时，判断人脸图像为三维图像。
需要说明的是，预训练的深度特征提取模型用于提取深度人脸图的深度特征，得到深度人脸图的深度信息。将采集的目标人脸的深度人脸图输入预训练的深度特征提取模型，可得到采集的目标人脸的深度信息，即第一深度特征。其中，第一深度特征可为128维深度特征向量。
进一步具体地，将第一深度特征与智能门锁的门锁系统中预设置的人脸图像的深度信息进行相似度比对，得到相似度值。
当相似度值小于预设深度相似度，说明结构光设备采集的目标人脸为二维图像或为与门锁系统中预设置的人脸图像明显不同的人脸。因此，在确定相似度值小于预设深度相似度后，不再进行活体图像识别。可见，将第一深度特征与预设置的深度信息进行相似度比对，可拒绝大量平面(手机、纸张、照片、电子屏)类非活体人脸攻击，避免每次都进行活体识别以及人脸识别，节省门锁系统中运行的算法功耗。
当相似度值大于或等于预设深度相似度时，可确定结构光设备的采集目标人脸为三维图像，且与门锁系统中预设置的人脸图像相似度较高。因此，在确定结构光设备采集目标人脸为三维人脸图后，可进一步进行活体图像识别。
S3，对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像。
具体地，可将彩色人脸图及与其对应的深度人脸图，输入预训练的三维人脸重构模型，预训练的三维人脸重构模型对彩色人脸图及与其对应的深度人脸图进行重构，得到基于彩色人脸图及与其对应的深度人脸图的三维人脸，对该三维人脸进行活体图像识别。其中，得到的三维人脸可为256维人脸特征向量。
需要说明的是，预训练的三维人脸重构模型可针对输入的彩色人脸图及与其对应的深度人脸图，或红外人脸图及与其对应的深度人脸图，或彩色人脸图及与其对应的深度人脸图、红外人脸图进行特征融合，得到融合后的三维人脸图像。
在本发明的实施例中，如图4所示，对通过三维图像判断的人脸图像进行活体图像识别之前还可包括步骤S51至步骤S52：
S51，基于人脸图像中目标人脸的位置信息生成人脸图像的红外人脸图；
S52，通过预训练的三维人脸重构模型对人脸图像的彩色人脸图、深度人脸图以及红外人脸图进行人脸重建，得到人脸图像的第一三维人脸图，并将第一三维人脸图作为人脸图像进行活体图像识别。
具体地，结构光摄像头可包括红外结构光摄像头，其中，红外结构光摄像头采集的目标图像为红外图像。为了获取目标人脸的红外人脸图，根据彩色人脸图中目标人脸的位置信息，确定红外图像中目标人脸的位置信息，生成与彩色人脸图对应的红外人脸图。
进一步具体地，将彩色人脸图及与其对应的红外人脸图和深度人脸图输入预训练的三维人脸重构模型，预训练的三维人脸重构模型基于彩色人脸图及与其对应的红外人脸图和深度人脸图进行人脸重构，得到基于彩色人脸图及与其对应的红外人脸图和深度人脸图的第一三维人脸图，对该人脸图像的第一三维人脸图进行活体图像识别，可提高活体识别的识别精度。其中，得到该第一三维人脸图可为512维人脸特征向量。
在本发明的实施例中，如图5所示，对通过三维图像判断的人脸图像进行活体图像识别之前还可包括步骤S61至步骤S65：
S61，基于人脸图像中目标人脸的位置信息生成人脸图像的红外人脸图；
S62，对人脸图像的彩色人脸图和红外人脸图进行矫正；
S63，将矫正后的彩色人脸图和红外人脸图分别输入至预设的人脸质量评估模型，得到矫正后的彩色人脸图的第一质量得分和矫正后的红外人脸图的第二质量得分；
S64，选取出第一质量得分和第二质量得分均大于预设的得分阈值的彩色人脸图和红外人脸图；
S65，基于所选取的彩色人脸图、红外人脸图及对应深度人脸图进行人脸重建，得到第二三维人脸图，并将第二三维人脸图作为人脸图像进行活体图像识别。
具体地，在进行活体图像识别之前对彩色人脸图和红外人脸图进行矫正，并进行质量评估，以拒绝采集到的目标人脸质量较差的人脸图像，在提高人脸识别精度的同时，还可节省门锁系统中运行的算法功耗。
进一步具体地，先确定彩色人脸图中目标人脸的位置信息。在确定彩色人脸图中目标人脸的位置信息的情况下，根据结构光设备的相机参数，确定彩色结构光摄像头、红外结构光摄像头、结构光发射器和结构光接收器的偏移量，计算生成与彩色人脸图对应的红外人脸图。
将彩色人脸图输入至预设的人脸关键点识别模型，得到彩色人脸图的人脸关键点坐标。利用彩色人脸图的人脸关键点坐标与标准正脸的人脸关键点坐标计算仿射矩阵，根据该仿射矩阵将旋转角和大小不同的彩色人脸图做仿射变换，矫正为相同大小且旋转角为0的标准彩色人脸图(矫正后的彩色人脸图)。红外人脸图的矫正，与彩色人脸图的矫正方式相同，在此不再赘述。
将矫正后的彩色人脸图和矫正后的红外人脸图分别输入至预设的人脸质量评估模型，得到矫正后的彩色人脸图的第一质量得分和矫正后的红外人脸图的第二质量得分。将第一质量得分和第二质量得分与预设的得分阈值进行比较，选取出第一质量得分和第二质量得分均大于预设的得分阈值的彩色人脸图和红外人脸图。将所选取的彩色人脸图、红外人脸图及对应深度人脸图进行人脸重建，得到第二三维人脸图，利用该第二三维人脸图进行活体识别。其中，得到该第二三维人脸图可为512维人脸特征向量。
需要说明的是，本发明实施例的人脸质量评估模型的评估类别包括评估人脸角度、评估人脸遮挡面积、评估人脸图像像素模糊程度、评估人脸图像曝光度中的至少一者。其中，可根据对彩色图像的质量要求，设置相应的评估类别，根据相应的评估类别设置相应的阈值，如评估人脸角度的阈值、评估人脸遮挡面积的阈值、评估人脸图像像素模糊程度的阈值、评估人脸图像曝光度的阈值，以得到满足质量要求彩色图像。
在本发明的实施例中，如图2所示，对通过三维图像判断的人脸图像进行活体图像识别的步骤可包括步骤S31至步骤S32：
S31，通过活体分类器通过三维图像判断的人脸图像进行活体分类；
S32，基于活体分类结果筛选出通过活体图像识别的人脸图像。
具体地，将确定为三维图像的人脸图像输入活体分类器，活体分类器判断输入的人脸图像是活体分类结果还是假体分类结果。筛选出通过活体图像识别的人脸图像，排除三维假体攻击。对于判定为属于三维假体攻击的人脸图像不再进行人脸识别，仅对属于活体分类结果的人脸图像进行人脸识别，进一步节省门锁系统中运行的算法功耗。
S4，对通过活体图像识别的人脸图像进行人脸识别，若人脸识别通过则控制智能门锁开锁。
具体地，对通过活体图像识别的人脸图像进行人脸识别，判断属于通过活体图像识别的人脸图像是否为门锁系统中预设置的目标人脸图，当属于活体分类结果的三维人脸图为预设置的目标人脸图时，控制智能门锁开锁。
在本发明的实施例中，如图2所示，对通过活体图像识别的人脸图像进行人脸识别的步骤可包括步骤S41至步骤S43：
S41，提取人脸图像的人脸特征；
S42，将人脸特征与预设置人脸特征进行相似度比对；
S43，当相似度值大于或等于预设的人脸特征阈值时，确定人脸图像通过人脸识别。
具体地，提取通过活体图像识别的人脸图像的人脸特征，将人脸特征与预设置人脸特征进行相似度比对，将得到的相似度与预设的人脸特征阈值进行比较，当得到的相似度小于预设的人脸特征阈值时，说明采集的目标人脸不在门锁系统中预存的人脸中，依据控制智能门锁保持关闭。当得到的相似度大于或等于预设的人脸特征阈值时，说明采集的目标人脸在门锁系统中预存的人脸中，则可控制智能门锁开锁。
发明人对上述的基于人脸识别的开锁方法进行了检测，其中，当采集的目标人脸为二维平面类假体人脸时，人脸识别仅耗时10ms(毫秒)，当采集的目标人脸为门锁系统中预设置的目标人脸时，人脸识别耗时在50ms以内。在应对平面类假体攻击和大部分陌生人时人脸识别算法能耗可以降低到传统算法流程的五分之一以内。人脸辨识算法融合了深度和红外信息之后精度较单RGB辨识模型精度有所提升。
需要说明的是，门锁上有专门的采集设备(如结构光摄像头)，用于采集目标人脸图像。门锁不具备动态训练人脸识别模型的算力，人脸识别模型是在后台进行训练优化后更新到门锁上的。人脸识别模型部署到门锁上以后深度特征提取模块的神经网络权重是固定的，以保持深度特征提取模块对三维人脸脸型相似特征的提取能力。门锁系统中可识别的人脸是不固定的，注册人脸数和用户可以动态追加。
本发明实施例的人脸识别模型将人脸图片转化为256/512维的人脸特征向量，训练阶段使得人脸识别模型预测的同一人的不同图片特征向量相似度高，不同人的人脸图片特征向量相似度低。人脸识别模型可以学习到人与人之间的区分信息，换一组训练集之外的人脸也可以保证同一人的人脸相似度高，不同人的人脸相似度低的特点。
本发明实施例的基于人脸识别的开锁方法，充分利用人脸图像中的深度信息，排除二维非活体人脸攻击以及与门锁系统中预设置的人脸明显不同的人脸，避免每次都进行活体识别以及人脸识别，对通过三维图像判断的人脸图像进行活体图像识别，排除三维假体攻击，对通过活体图像识别的人脸图像进行人脸识别，并根据识别结果控制智能门锁开锁或保持闭合。
本发明实施例的基于人脸识别的开锁方法提高了人脸识别的响应速度，降低了人脸识别的功耗，还具有人脸识别精度高的优点。
在上述的基于人脸识别的开锁方法的基础上，本发明还提出了一种智能门锁。
图6是本发明一个实施例的智能门锁的示意图。如图6所示，智能门锁100包括图像采集模块10、人脸活体模块20、人脸识别模块30和门锁控制模块40。
其中，图像采集模块10采集目标人脸的人脸图像，其中，人脸图像包括深度人脸图；人脸活体模块20基于深度人脸图对人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；人脸识别模块30对通过活体图像识别的人脸图像进行人脸识别，若人脸识别通过，则生成开锁信号；门锁控制模块40在接收到开锁信号后控制智能门锁开锁。
需要说明的是，本发明实施例的智能门锁的其他具体实施方式可参见本发明上述实施例的基于人脸识别的开锁方法的具体实施方式。
本发明实施例的智能门锁，充分利用人脸图像中的深度信息，排除二维非活体人脸攻击以及与门锁系统中预设置的人脸明显不同的人脸，避免每次都进行活体识别以及人脸识别，对通过三维图像判断的人脸图像进行活体图像识别，排除三维假体攻击，仅对通过活体图像识别的人脸图像进行人脸识别，并根据识别结果控制智能门锁开锁或保持闭合，提高了人脸识别的响应速度，降低了人脸识别的功耗，还具有人脸识别精度高的优点。
本发明还提出了一种计算机可读存储介质。
在该实施例中，计算机可读存储介质上存储有计算机程序，计算机程序对应上述的基于人脸识别的开锁方法，其被处理器执行时，实现上述的基于人脸识别的开锁方法。
本发明实施例的智能门锁、可读存储介质，利用上述的基于人脸识别的开锁方法进行人脸识别控制门锁开闭，可节省智能门锁中人脸识别算法功耗，提高人脸识别的效率，降低智能门锁的成本。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于人脸识别的开锁方法，其特征在于，所述开锁方法包括：
采集目标人脸的人脸图像，所述人脸图像包括深度人脸图；
基于所述深度人脸图对所述人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；
对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；
对通过活体图像识别的人脸图像进行人脸识别，若所述人脸识别通过则控制智能门锁开锁。
2.根据权利要求1所述的基于人脸识别的开锁方法，其特征在于，所述采集目标人脸的人脸图像之后，还包括：
确定所述人脸图像中目标人脸的位置信息；
基于所述人脸图像中目标人脸的位置信息和结构光设备的相机参数，得到对应所述目标人脸位置信息的深度人脸图。
3.根据权利要求1所述的基于人脸识别的开锁方法，其特征在于，所述基于所述深度人脸图对所述人脸图像进行三维图像判断包括：
通过预训练的深度特征提取模型对所述深度人脸图进行特征提取，得到第一深度特征；
将所述第一深度特征与预设置的深度信息进行相似度比对，当相似度值大于或等于预设深度相似度时，判断所述人脸图像为三维图像。
4.根据权利要求2所述的基于人脸识别的开锁方法，其特征在于，所述人脸图像包括彩色人脸图像，则所述确定所述人脸图像中目标人脸的位置信息包括：
基于所述彩色人脸图像框选所述人脸图像上的目标人脸；
将框选所述目标人脸的区域确定为所述目标人脸的位置信息。
5.根据权利要求2所述的基于人脸识别的开锁方法，其特征在于，所述对通过三维图像判断的人脸图像进行活体图像识别之前还包括：
基于所述人脸图像中目标人脸的位置信息生成所述人脸图像的红外人脸图；
通过预训练的三维人脸重构模型对所述人脸图像的彩色人脸图、深度人脸图以及所述红外人脸图进行人脸重建，得到所述人脸图像的第一三维人脸图，并将所述第一三维人脸图作为所述人脸图像进行所述活体图像识别。
6.根据权利要求2所述的基于人脸识别的开锁方法，其特征在于，所述对通过三维图像判断的人脸图像进行活体图像识别之前还包括：
基于所述人脸图像中目标人脸的位置信息生成所述人脸图像的红外人脸图；
对所述人脸图像的彩色人脸图和所述红外人脸图进行矫正；
将所述矫正后的彩色人脸图和红外人脸图分别输入至预设的人脸质量评估模型，得到矫正后的彩色人脸图的第一质量得分和矫正后的红外人脸图的第二质量得分；
选取出所述第一质量得分和所述第二质量得分均大于预设的得分阈值的彩色人脸图和红外人脸图；
基于所选取的彩色人脸图、红外人脸图及对应深度人脸图进行人脸重建，得到第二三维人脸图，并将所述第二三维人脸图作为所述人脸图像进行所述活体图像识别。
7.根据权利要求5或6所述的基于人脸识别的开锁方法，其特征在于，所述对通过三维图像判断的人脸图像进行活体图像识别，包括：
通过活体分类器对通过三维图像判断的人脸图像进行活体分类；
基于活体分类结果筛选出通过活体图像识别的人脸图像。
8.根据权利要求6所述的基于人脸识别的开锁方法，其特征在于，所述对通过活体图像识别的人脸图像进行人脸识别，包括：
提取所述人脸图像的人脸特征；
将所述人脸特征与预设置人脸特征进行相似度比对；
当相似度值大于或等于预设的人脸特征阈值时，确定所述人脸图像通过人脸识别。
9.一种智能门锁，其特征在于，所述智能门锁包括：
图像采集模块，用于采集目标人脸的人脸图像，其中，所述人脸图像包括深度人脸图；
人脸活体模块，基于所述深度人脸图对所述人脸图像进行三维图像判断，确定通过三维图像判断的人脸图像；对通过三维图像判断的人脸图像进行活体图像识别，确定通过活体图像识别的人脸图像；
人脸识别模块，用于对通过活体图像识别的人脸图像进行人脸识别，若所述人脸识别通过，则生成开锁信号；
门锁控制模块，用于在接收到所述开锁信号后控制所述智能门锁开锁。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8中任一项所述的基于人脸识别的开锁方法。
CN202210930316.5A 2022-08-03 2022-08-03 基于人脸识别的开锁方法、智能门锁及可读存储介质 Pending CN115273288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930316.5A CN115273288A (zh) 2022-08-03 2022-08-03 基于人脸识别的开锁方法、智能门锁及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930316.5A CN115273288A (zh) 2022-08-03 2022-08-03 基于人脸识别的开锁方法、智能门锁及可读存储介质

Publications (1)

Publication Number Publication Date
CN115273288A true CN115273288A (zh) 2022-11-01

Family

ID=83749285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930316.5A Pending CN115273288A (zh) 2022-08-03 2022-08-03 基于人脸识别的开锁方法、智能门锁及可读存储介质

Country Status (1)

Country Link
CN (1) CN115273288A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335379A (zh) * 2019-05-30 2019-10-15 深圳市威富视界有限公司 基于人脸识别的智能门锁控制方法
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及系统
CN112818874A (zh) * 2021-02-03 2021-05-18 东莞埃科思科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113313856A (zh) * 2020-02-10 2021-08-27 深圳市光鉴科技有限公司 具有3d人脸识别的门锁系统及使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335379A (zh) * 2019-05-30 2019-10-15 深圳市威富视界有限公司 基于人脸识别的智能门锁控制方法
CN113313856A (zh) * 2020-02-10 2021-08-27 深圳市光鉴科技有限公司 具有3d人脸识别的门锁系统及使用方法
CN112487921A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种用于活体检测的人脸图像预处理方法及系统
CN112818874A (zh) * 2021-02-03 2021-05-18 东莞埃科思科技有限公司 一种图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20210082136A1 (en) Extracting information from images
US8345921B1 (en) Object detection with false positive filtering
JP5010905B2 (ja) 顔認証装置
CN105740780B (zh) 人脸活体检测的方法和装置
JP4604439B2 (ja) 画像処理装置及び画像処理方法、並びに記録媒体
JP3695990B2 (ja) 顔画像処理装置
CN105894702A (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
JP6222948B2 (ja) 特徴点抽出装置
JP3636927B2 (ja) 顔画像処理装置
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
KR20160136391A (ko) 정보처리장치 및 정보처리방법
JP2007094637A (ja) 顔画像認証装置
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN109800682A (zh) 驾驶员属性识别方法及相关产品
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
CN110532746B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN110909561A (zh) 眼睛状态检测系统及眼睛状态检测系统的操作方法
JP4978227B2 (ja) 画像検出装置
CN111582118A (zh) 一种人脸识别方法及装置
CN111767879A (zh) 一种活体检测方法
US11354940B2 (en) Method and apparatus for foreground geometry and topology based face anti-spoofing
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
CN111402185B (zh) 一种图像检测方法及装置
CN115273288A (zh) 基于人脸识别的开锁方法、智能门锁及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination