CN108875341A - 一种人脸解锁方法、装置、系统及计算机存储介质 - Google Patents

一种人脸解锁方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN108875341A
CN108875341A CN201810510589.8A CN201810510589A CN108875341A CN 108875341 A CN108875341 A CN 108875341A CN 201810510589 A CN201810510589 A CN 201810510589A CN 108875341 A CN108875341 A CN 108875341A
Authority
CN
China
Prior art keywords
face
real
scene recognition
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810510589.8A
Other languages
English (en)
Inventor
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810510589.8A priority Critical patent/CN108875341A/zh
Publication of CN108875341A publication Critical patent/CN108875341A/zh
Priority to US16/212,334 priority patent/US20190362058A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸解锁方法、装置、系统及计算机存储介质。所述人脸解锁方法包括：获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；若不进行场景识别，则不解锁。根据本发明的方法、装置、系统及计算机存储介质，结合场景可以辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及有效的保护解锁用户的人身安全。

Description

一种人脸解锁方法、装置、系统及计算机存储介质
技术领域
本发明涉及人脸识别技术领域，更具体地涉及一种人脸解锁方法及装置。
背景技术
现有的对智能终端设备的解锁方式通常有以下几种：第一，使用数字密码的方式进行解锁；第二，使用指纹的方式进行解锁，也就是将用户的指纹事先存储在智能终端设备中，当用户使用指纹进行解锁时，当用户的指纹与存储在智能终端设备中的指纹匹配时，就可以对该智能终端设备进行解锁；第三，通过滑动触摸屏的方式进行解锁；第四，通过手势的方式进行解锁，就是当用户的手势与预先存储在智能终端设备中的手势匹配时，就可以对该智能终端设备进行解锁。被解锁的智能终端设备可以是手机、平板电脑或其他智能终端。由于传统的解锁方式并没有将用户的人脸生物特征信息加进去，所以当任何人拥有对该智能终端设备的解锁方式时，都可以打开该智能终端设备，可能会对智能终端设备的安全造成不利，所以传统的解锁方式不安全，存在造成信息泄露的可能性。
人脸解锁是通过人脸识别或人脸验证技术进行权限管理的一种手段，终端系统可以利用人脸这一生物特征作为权限保护的密码。人脸解锁在很多领域有着应用：如智能手机的解锁，银行、监狱的门禁的解锁等等。而现有人脸解锁技术都只有解锁，没有场景识别，当解锁人处于非本人意愿状态(如被挟持)，还是可以解锁成功，对解锁人造成损失，安全性不高。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种人脸解锁方法、装置、系统及计算机存储介质，对采集的图像中的人脸图像提取特征进行识别，并根据识别结果进行场景识别，辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
根据本发明一方面，提供了一种人脸解锁方法，其特征在于，所述方法包括：
获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；
基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；
将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；
若不进行场景识别，则不解锁。
示例性地，所述场景识别包括：根据所述实时图像信息提取场景图像特征，并输入预先训练好的模型，得到场景识别结果指示安全或危险。
示例性地，所述判断是否解锁包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
示例性地，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，触发警铃。
示例性地，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。
示例性地，所述得到身份识别结果包括：将所述实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；根据所述搜索结果与识别阈值得到身份识别结果；所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
示例性地，所述根据所述搜索结果与识别阈值得到身份识别结果包括：如果所述搜索结果在人脸底库中搜索比对的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为所述搜索结果。
示例性地，所述判断是否进行场景识别包括：如果所述身份识别结果为无，则不进行场景识别，不解锁；如果所述身份识别结果为搜索结果则进行场景识别
示例性地，生成所述实时人脸特征后降低所述实时人脸特征的维度，将所述降低维度后的实时人脸特征在人脸底库中进行搜索比对。
示例性地，所述人脸解锁方法还包括：获取所有权限用户的图像信息，并基于所述权限用户的图像信息以建立人脸底库。
示例性地，所述获取解锁用户的实时图像信息还包括：经过预处理后，判断所述实时图像信息中是否含有人脸信息，如果有则生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述建立人脸底库包括获取包含权限用户人脸的权限用户图像信息，对所述权限用户图像信息进行预处理后，生成对应的权限用户人脸图像，基于所述权限用户人脸图像提取特征得到权限用户人脸特征，并将所述权限用户人脸特征存储到人脸底库。
根据本发明另一方面，提供了一种人脸解锁装置，包括：
图像获取模块，用于获取权限用户的图像信息或解锁用户的实时图像信息，以及对所述权限用户的图像信息或解锁用户的实时图像信息进行人脸检测，生成权限用户的人脸图像或解锁用户的实时人脸图像；
人脸特征提取模块，基于权限用户的人脸图像或解锁用户的实时人脸图像，进行人脸特征提取得到权限用户的脸部图像特征或解锁用户的实时人脸特征；
存储介质模块，用于将权限用户的脸部图像特征存储于人脸底库；
人脸比对模块，用于将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
场景识别模块，用于对所述实时图像信息中的场景进行识别得到场景识别结果；
物理锁定控制模块，用于根据所述身份识别结果或所述场景识别结果控制物理设备的锁定状态；
示例性地，所述装置还包括：报警模块，用于根据所述场景识别结果执行报警；所述报警包括发送报警信息或触发警铃，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种。
示例性地，所述图像获取模块可以进一步地包括：
图像信息接收模块，用于接收权限用户的图像信息或解锁用户的实时图像信息；
分帧模块，用于对所述权限用户的图像信息或解锁用户的实时图像信息中的视频数据进行视频图像分帧；
人脸检测模块，用于对所述图像信息接收模块输出的单帧图像或所述分帧模块输出的多帧图像中的每一帧进行人脸检测和跟踪，并生成权限用户的人脸图像或解锁用户的实时人脸图像；
获取判断模块用于判断所述解锁用户的实时图像信息中是否含有人脸信息，如果有则所述人脸检测模块生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述人脸特征提取模块可以进一步地包括：人脸特征降维模块，用于生成解锁用户实时人脸特征后降低所述解锁用户实时人脸特征的维度。
示例性地，所述存储介质模块还可以进一步地包括：将所述权限用户的人脸图像存储于人脸底库。
示例性地，所述人脸比对模块还可以进一步地包括：
人脸搜索模块，用于将解锁用户实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果；
身份识别模块，用于根据所述搜索结果与识别阈值得到身份识别结果；
场景识别判断模块，用于根据所述身份识别结果判断是否进行场景识别。
示例性地，所述场景识别模块还可以进一步地包括：
图像预处理模块，用于对所述解锁用户的实时图像信息进行预处理；
场景图像特征提取模块，用于对预处理后的所述解锁用户的实时图像信息提取场景图像特征；
场景识别模块，包括预先训练好的模型，将所述场景图像特征输入预先训练好的模型，得到场景识别结果指示安全或危险。
示例性地，物理锁定控制模块还可以进一步地包括：当所述身份识别结果为无时，或当所述身份识别结果为搜索结果且所述场景识别结果指示危险时，所述物理锁定控制模块控制物理设备处于锁定状态；当所述身份识别结果为搜索结果且所述场景识别结果为安全时，所述物理锁定控制模块控制物理设备处于解锁状态。
示例性地，报警模块还可以进一步地包括：如果所述场景识别结果指示安全则解锁且不报警；如果所述场景识别结果指示危险则报警和/或不解锁。
根据本发明实施例的人脸解锁方法和装置，对采集的图像中的人脸图像提取特征进行识别，并根据识别结果进行场景识别，辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是用于实现根据本发明实施例的人脸解锁方法和装置的示例电子设备的示意性框图；
图2是根据本发明实施例的人脸解锁方法的示意性流程图；
图3是根据本发明实施例的人脸解锁装置的示意性框图；
图4是根据本发明实施例的人脸解锁系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
首先，参考图1来描述用于实现本发明实施例的人脸解锁方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的人脸解锁方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的视频采集端等。
下面，将参照图2描述根据本发明实施例的人脸解锁方法200。
首先，在步骤S210，获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；
在步骤S220，基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；
在步骤S230，将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
在步骤S240，若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；若不进行场景识别，则不解锁。
示例性地，根据本发明实施例的人脸解锁方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的人脸解锁方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的人脸解锁方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，在金融应用领域，将采集的实时图像传递至服务器端(或云端)，可以在服务器端(或云端)生成实时人脸图像，服务器端(或云端)将所生成的实时人脸图像传递给个人终端，个人终端根据所接收的实时人脸图像进行人脸解锁。再例如，可以在服务器端(或云端)生成实时人脸图像，个人终端将图像传感器采集的视频信息以及非图像传感器采集的图像信息传递给服务器端(或云端)，然后服务器端(或云端)进人脸解锁。
根据本发明实施例的人脸解锁方法，对采集的图像中的人脸图像提取特征进行识别，并根据识别结果进行场景识别，辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
根据本发明实施例，所述人脸解锁方法在执行步骤210之前还进一步地包括：获取所有权限用户的图像信息，并基于所述权限用户的图像信息以建立人脸底库。
示例性地，所述建立人脸底库包括：获取包含权限用户的人脸的权限用户图像信息，对所述权限用户图像信息进行预处理后，生成对应的权限用户人脸图像，基于所述权限用户人脸图像提取特征得到权限用户人脸特征，并将所述权限用户人脸图像及其对应的权限用户人脸特征存储到人脸底库，或者将所述权限用户人脸特征存储到人脸底库。
示例性地，所述人脸底库可以根据单个权限用户或者多个权限用户分别建立，在多个权限用户的情况下，每个用户拥有对应自己权限的单独的脸部图像特征库。所述人脸底库中的所述权限用户人脸图像及其对应的权限用户人脸特征称为人脸底图。
示例性地，所述权限用户图像信息包括单帧图像或连续的多帧图像或不连续的任意选定的多帧图像。
示例性地，所述权限用户人脸图像是通过对所述权限用户图像信息进行人脸检测和人脸跟踪处理所确定的包含有权限用户人脸的图像帧。具体的，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该目标人脸的大小和位置，随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪，从而确定视频中包含有目标人脸的各帧图像。上述通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。
根据本发明实施例，步骤210可以进一步地包括：获取解锁用户的实时图像信息，经过预处理后，判断所述实时图像信息中是否含有人脸信息，如果有则生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述解锁用户实时人脸图像是通过对所述解锁用户的实时图像信息进行人脸检测和人脸跟踪处理所确定的包含有解锁用户人脸的图像帧。通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。
根据本发明实施例，步骤220可以进一步地包括：生成所述实时人脸特征后降低所述实时人脸特征的维度，将所述降低维度后的实时人脸特征在人脸底库中进行搜索比对，以加快搜索比对的速度。
示例性地，所述特征提取可以采用诸如LBP(局部二值模式)、HoG(方向梯度直方图)、PCA(主成分分析法)或者神经网络等各种适当的人脸特征提取方法来进行特征提取并生成所述多个特征向量。可选的，对于所述人脸图片序列中的每一帧图像中的目标人脸均采用相同的特征提取方法生成特征向量。下面仅仅是为了说明的完整性，对本实施例中所采用的人脸特征提取方法进行简单的说明。
在一个实施例中，采用基于卷积神经网络的特征提取方法对视频中的人脸图片序列中的目标人脸进行特征提取以生成分别与所述人脸图片序列中的目标人脸对应的多个特征向量。例如，首先对于所述人脸图片序列中的每一帧图像，确定其中与目标人脸对应的人脸图像区域；随后，对该人脸图像区域基于卷积神经网络进行特征提取，以生成与该帧图像中的目标人脸对应的一个特征向量。此处，可以将该人脸图像区域作为一个整体进行特征提取，也可以在该人脸图像区域的不同子图像区域中分别进行特征提取。
根据本发明实施例，步骤230可以进一步地包括：将解锁用户实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；根据所述搜索结果与识别阈值得到身份识别结果。
示例性地，所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
示例性地，所述搜索结果是指解锁用户实时人脸特征在人脸底库中进行比对搜索时，相似度最高的那张人脸底图的人脸ID。在一个实施例中，搜索结果以及人脸底图可以使用ID进行表示，例如数字编号0123表示在包含10000张人脸底图的人脸底库中，人脸ID为0123的底图。当待识别的人脸特征在人脸底库中进行搜索时，返回搜索结果，可以是对应的人脸ID号码。
步骤230还可以进一步地包括：如果所述搜索结果在人脸底库中搜索的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为搜索结果。在一个实施例中，满分为100分时，投票阈值为90分。
步骤230还可以进一步地包括：如果所述身份识别结果为无则不进行场景识别，不解锁；如果所述身份识别结果为搜索结果则进行场景识别。
根据本发明实施例，步骤240可以进一步地包括：将所述实时图像提取场景图像特征，并输入预先训练好的模型，得到场景识别结果为安全或危险。
在一个实施例中，训练所述预先训练好的模型包括：
首先，对一组已知类别场景图像(已经标注危险或安全)进行裁剪缩小等操作，对已知类别场景图像进行归一化成大小为s*s的图像；具体操作为如下：
(1)对已知类别场景图像进行缩小操作：对所述已知类别场景图像中N按比例缩小成s；M按比例N/s缩小为m(m＞s)；然后对缩小后的M边进行裁剪，去掉两边多于s的部分；将处理得到的s*s的场景图像加上场景标签添(危险或安全)建立整体场景图像数据集。
(2)使用s*s的滑动窗口从左向右(从上到下)裁截取所述已知类别场景图像中的一部分，滑动步长为s，窗口滑动到最后不足s图像部分则窗口以图片边缘对齐，向图片内侧扩展补齐不足部分，将每个窗口截取到的图片建立局部场景图像数据集。
然后，去除所述整体和局部场景图像数据集中场景图像的亮度的影响，对所述整体和局部场景图像数据集中图像进行去均值处理。
接着，提取局部场景图像数据集中场景图像的SIFT特征，聚类生成SIFT特征中心，得到特征字典，计算场景图像在特征字典上的直方图向量，以此特征向量加上标签数据作为样本数据训练分类器，得到场景的特征词袋分类模型。
然后，提取整体场景图像数据集中场景图像的卷积层特征以及池化层特征，使用这些特征经过全连接层进行分类器训练以及测试，得到深层卷积神经网络分类模型。
最后，已知类别场景图像分别通过特征词袋分类模型和深度神经网络模型得到长度为n的输出(设场景类别为n)，将这两个输出结合成2n的向量作为样本数据，然后训练一个三层的神经网络模型作为所述预先训练好的模型。
根据本发明实施例，在解锁判定的同时，通过场景识别来辨别解锁用户是否处于自愿状态。
根据本发明实施例，步骤250可以进一步地包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
步骤250还可以进一步地包括：如果所述场景识别结果指示安全则解锁且不报警；如果所述场景识别结果指示危险则不解锁且报警。
示例性地，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，触发警铃。进一步地，所述报警信息发送至报警平台和/或预先指定的联系人，以协助相关人员及时进行处理。在一个实施例中，所述报警可以不被解锁用户感知，即在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
示例性地，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。所述威胁者属性信息包括威胁者年龄段、衣着、头型、面部特征、性别以及其他典型特征。
图3示出了根据本发明实施例的人脸解锁装置300的示意性框图。
如图3所示，根据本发明实施例的人脸解锁装置300包括图像获取模块310、人脸特征提取模块320、存储介质模块330、人脸比对模块340、场景识别模块350、物理锁定控制模块360。
示例性地，所述人脸解锁装置300还包括报警模块370。
图像获取模块310，用于获取权限用户的图像信息或解锁用户的实时图像信息，以及对所述权限用户的图像信息或解锁用户的实时图像信息进行人脸检测，生成权限用户的人脸图像或解锁用户的实时人脸图像；
人脸特征提取模块320，基于权限用户的人脸图像或解锁用户的实时人脸图像，进行人脸特征提取得到权限用户的脸部图像特征或解锁用户的实时人脸特征；
存储介质模块330，用于将所述权限用户的脸部图像特征存储于人脸底库；
人脸比对模块340，用于将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
场景识别模块350，用于对所述解锁用户的实时图像中的场景进行识别得到场景识别结果；
物理锁定控制模块360，用于根据所述身份识别结果或所述场景识别结果控制物理设备的锁定状态；
报警模块370，用于根据所述场景识别结果执行报警。
根据本发明实施例的人脸解锁装置300，对采集的图像中的人脸图像提取特征进行识别，并根据识别结果进行场景识别，辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
根据本发明实施例，所述图像获取模块310可以进一步地包括：
图像信息接收模块，用于接收包括权限用户的图像信息或解锁用户的实时图像信息；
分帧模块，用于对所述权限用户的图像信息或解锁用户的实时图像信息中的视频数据进行视频图像分帧；
人脸检测模块，用于对所述图像信息接收模块输出的单帧图像或所述分帧模块输出的多帧图像中的每一帧进行人脸检测和跟踪，得到生成权限用户的人脸图像或解锁用户的实时人脸图像；
获取判断模块，用于判断所述解锁用户的实时图像信息中是否含有人脸信息，如果有则所述人脸检测模块生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述限用户的人脸图像或解锁用户的实时人脸图像是人脸检测模块通过对图像信息接收模块输出的单帧图像或分帧模块输出每帧图像进行人脸检测和人脸跟踪处理所确定的包含有目标人脸的图像帧。具体的，人脸检测模块可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该目标人脸的大小和位置，随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪，从而确定视频中包含有目标人脸的各帧图像。上述通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。
示例性地，所述权限用户图像信息包括单帧图像或连续的多帧图像或不连续的任意选定的多帧图像。
根据本发明实施例，所述人脸特征提取模块320可以进一步地包括：人脸特征降维模块，用于生成解锁用户实时人脸特征后降低所述解锁用户实时人脸特征的维度。
示例性地，所述人脸特征提取模块320可以采用诸如LBP(局部二值模式)、HoG(方向梯度直方图)、PCA(主成分分析法)或者神经网络等各种适当的人脸特征提取方法来进行特征提取并生成所述多个特征向量。可选的，对于所述权限用户的人脸图像或解锁用户的实时人脸图像中的目标人脸均采用相同的特征提取方法生成特征向量。下面仅仅是为了说明的完整性，对本实施例中所采用的人脸特征提取方法进行简单的说明。
在一个实施例中，所述人脸特征提取模块320采用基于卷积神经网络的特征提取方法对权限用户的人脸图像或解锁用户的实时人脸图像中的目标人脸进行特征提取以生成相对应的多个特征向量。例如，首先对于所述权限用户的人脸图像或解锁用户的实时人脸图像，确定其中与目标人脸对应的人脸图像区域；随后，对该人脸图像区域基于卷积神经网络进行特征提取，以生成与该帧图像中的目标人脸对应的一个特征向量。此处，可以将该人脸图像区域作为一个整体进行特征提取，也可以在该人脸图像区域的不同子图像区域中分别进行特征提取。
根据本发明实施例，存储介质模块330还可以进一步地包括：将所述权限用户的人脸图像存储于人脸底库。
示例性地，所述人脸底库可以根据单个权限用户或者多个权限用户分别建立，在多个权限用户的情况下，每个用户拥有对应自己权限的单独的脸部图像特征库。
根据本发明实施例，人脸比对模块340还可以进一步地包括：
人脸搜索模块，用于将解锁用户实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；
身份识别模块，用于根据所述搜索结果与识别阈值得到身份识别结果；
场景识别判断模块，用于根据所述身份识别结果判断是否进行场景识别。
示例性地，所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
示例性地，所述搜索结果是指解锁用户实时人脸特征在人脸底库中进行比对搜索时，相似度得分最高的那张人脸底图的人脸ID。在一个实施例中，搜索结果以及人脸底图可以使用ID进行表示，例如数字编号0123表示在包含10000张人脸底图的人脸底库中，人脸ID为0123的底图。当待识别的人脸特征在人脸底库中进行搜索时，返回搜索结果，可以是对应的人脸ID号码。
示例性地，身份识别模块还包括：如果所述搜索结果在人脸底库中搜索的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为搜索结果。在一个实施例中，满分为100分时，投票阈值为90分。
示例性地，场景识别判断模块还包括：如果所述身份识别结果为无则不进行场景识别；如果所述身份识别结果为搜索结果则进行场景识别。
根据本发明实施例，所述场景识别模块350还可以进一步地包括：
图像预处理模块，用于对所述解锁用户的实时图像信息进行预处理；
场景图像特征提取模块，用于对预处理后的所述解锁用户的实时图像信息提取场景图像特征；
场景识别模块，包括预先训练好的模型，将所述场景图像特征输入预先训练好的模型，得到场景识别结果指示安全或危险。
在一个实施例中，训练所述预先训练好的模型包括：
首先，对一组已知类别场景图像(已经标注危险或安全)进行裁剪缩小等操作，对已知类别场景图像进行归一化成大小为s*s的图像；具体操作为如下：
(1)对已知类别场景图像进行缩小操作：对所述已知类别场景图像中N按比例缩小成s；M按比例N/s缩小为m(m＞s)；然后对缩小后的M边进行裁剪，去掉两边多于s的部分；将处理得到的s*s的场景图像加上场景标签添(危险或安全)建立整体场景图像数据集。
(2)使用s*s的滑动窗口从左向右(从上到下)裁截取所述已知类别场景图像中的一部分，滑动步长为s，窗口滑动到最后不足s图像部分则窗口以图片边缘对齐，向图片内侧扩展补齐不足部分，将每个窗口截取到的图片建立局部场景图像数据集。
然后，去除所述整体和局部场景图像数据集中场景图像的亮度的影响，对所述整体和局部场景图像数据集中图像进行去均值处理。
接着，提取局部场景图像数据集中场景图像的SIFT特征，聚类生成SIFT特征中心，得到特征字典，计算场景图像在特征字典上的直方图向量，以此特征向量加上标签数据作为样本数据训练分类器，得到场景的特征词袋分类模型。
然后，提取整体场景图像数据集中场景图像的卷积层特征以及池化层特征，使用这些特征经过全连接层进行分类器训练以及测试，得到深层卷积神经网络分类模型。
最后，已知类别场景图像分别通过特征词袋分类模型和深度神经网络模型得到长度为n的输出(设场景类别为n)，将这两个输出结合成2n的向量作为样本数据，然后训练一个三层的神经网络模型作为所述预先训练好的模型。
根据本发明实施例的场景识别模块350，在解锁判定的同时，通过场景识别来辨别解锁用户是否处于自愿状态。
根据本发明实施例，物理锁定控制模块360还可以进一步地包括：当所述身份识别结果为无时，或当所述身份识别结果为搜索结果且所述场景识别结果指示危险时，所述物理锁定控制模块360控制物理设备处于锁定状态；当所述身份识别结果为搜索结果且所述场景识别结果指示安全时，所述物理锁定控制模块360控制物理设备处于解锁状态。
根据本发明实施例，报警模块370还可以进一步地包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
报警模块370还可以进一步地包括：如果所述场景识别结果指示安全则解锁且不报警；如果所述场景识别结果指示危险则不解锁且报警。
示例性地，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，触发警铃。进一步地，所述报警信息发送至报警平台和/或预先指定的联系人，以协助相关人员及时进行处理。在一个实施例中，所述报警可以不被解锁用户感知，即在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
示例性地，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。所述威胁者属性信息包括威胁者年龄段、衣着、头型、面部特征、性别以及其他典型特征。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明实施例的人脸解锁系统400的示意性框图。人脸解锁系统400包括图像传感器410、存储装置430、以及处理器440。
图像传感器410用于采集图像信息。
所述存储装置430存储用于实现根据本发明实施例的人脸解锁方法中的相应步骤的程序代码。
所述处理器440用于运行所述存储装置430中存储的程序代码，以执行根据本发明实施例的人脸解锁方法的相应步骤，并且用于实现根据本发明实施例的人脸解锁装置中的图像获取模块310、人脸特征提取模块320、存储介质模块330、人脸比对模块340、场景识别模块350、物理锁定控制模块360和报警模块370。
在一个实施例中，在所述程序代码被所述处理器440运行时执行以下步骤：
获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；
基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；
将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；
若不进行场景识别，则不解锁。
此外，在所述程序代码被所述处理器440运行时还执行以下步骤：
示例性地，所述场景识别包括：根据所述实时图像信息提取场景图像特征，并输入预先训练好的模型，得到场景识别结果指示安全或危险。
示例性地，所述判断是否解锁包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
示例性地，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，触发警铃。
示例性地，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。
示例性地，所述得到身份识别结果包括：将所述实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；根据所述搜索结果与识别阈值得到身份识别结果；所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
示例性地，所述根据所述搜索结果与识别阈值得到身份识别结果包括：如果所述搜索结果在人脸底库中搜索比对的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为所述搜索结果。
示例性地，所述判断是否进行场景识别包括：如果所述身份识别结果为无，则不进行场景识别，不解锁；如果所述身份识别结果为搜索结果则进行场景识别
示例性地，生成所述实时人脸特征后降低所述实时人脸特征的维度，将所述降低维度后的实时人脸特征在人脸底库中进行搜索比对。
示例性地，所述人脸解锁方法还包括：获取所有权限用户的图像信息，并基于所述权限用户的图像信息以建立人脸底库。
示例性地，所述获取解锁用户的实时图像信息还包括：经过预处理后，判断所述实时图像信息中是否含有人脸信息，如果有则生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述建立人脸底库包括获取包含权限用户人脸的权限用户图像信息，对所述权限用户图像信息进行预处理后，生成对应的权限用户人脸图像，基于所述权限用户人脸图像提取特征得到权限用户人脸特征，并将所述权限用户人脸特征存储到人脸底库。
示例性地，所述人脸解锁系统400还包括用于存储由图像传感器410采集的图像数据，包括视频数据和非视频数据。
示例性地，所述视频数据的存储方式可以包括以下存储方式之一：本地(local)存储、数据库存储、分布式文件系统(hdfs)存储以及远程存储，存储服务地址可以包括服务器IP和服务器端口。其中，本地存储是指将人脸解锁系统所接收的视频数据在系统本地；数据库存储是指将人脸解锁系统所接收的视频数据保存在系统的数据库中，数据库存储需要在人脸解锁系统上安装相应的数据库；分布式文件系统存储是指将人脸解锁系统所接收的视频数据保存在分布式文件系统中，分布式文件系统存储需要在人脸解锁系统上安装分布式文件系统；远程存储是指将人脸解锁系统所接收的视频数据交由其他存储服务进行存储。在其他示例中，所配置的存储方式也可以包括其他任何合适类型的存储方式，本发明对此不作限制。
示例性地，在上述对视频数据进行存取时，可以以流的形式进行。例如，可以采用二进制流的传输方式实现对视频数据的存取。所述人脸解锁系统400以流的形式发送文件后，存储服务获取到文件流时，开始保存文件。不同于读入内存的方式，两端的交互存取将会以流的形式快速进行，不需要等待任何一方将文件读入内存后再进行发送。同理，所述人脸解锁系统400从存储服务获取文件时，也是使用此种方式。存储服务将文件以流的形式传输到所述人脸解锁系统400，并不是读入内存再发送。当文件流传输不完整，两端连接断掉时，双方服务会引发异常，服务进行捕获，此时可在等待若干时间例如几秒后尝试重新获取或存储文件。以流的方式进行文件的存取可以实现高效快速的文件存取。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸解锁方法的相应步骤，并且用于实现根据本发明实施例的人脸解锁装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行人脸解锁的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸解锁装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸解锁方法。
在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；若不进行场景识别，则不解锁。
此外，所述计算机程序指令在被计算机运行时还执行以下步骤：
示例性地，所述场景识别包括：根据所述实时图像信息提取场景图像特征，并输入预先训练好的模型，得到场景识别结果指示安全或危险。
示例性地，所述判断是否解锁包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
示例性地，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，触发警铃。
示例性地，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。
示例性地，所述得到身份识别结果包括：将所述实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；根据所述搜索结果与识别阈值得到身份识别结果；所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
示例性地，所述根据所述搜索结果与识别阈值得到身份识别结果包括：如果所述搜索结果在人脸底库中搜索比对的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为所述搜索结果。
示例性地，所述判断是否进行场景识别包括：如果所述身份识别结果为无，则不进行场景识别，不解锁；如果所述身份识别结果为搜索结果则进行场景识别
示例性地，生成所述实时人脸特征后降低所述实时人脸特征的维度，将所述降低维度后的实时人脸特征在人脸底库中进行搜索比对。
示例性地，所述人脸解锁方法还包括：获取所有权限用户的图像信息，并基于所述权限用户的图像信息以建立人脸底库。
示例性地，所述获取解锁用户的实时图像信息还包括：经过预处理后，判断所述实时图像信息中是否含有人脸信息，如果有则生成对应的解锁用户实时人脸图像，否则继续获取解锁用户的实时图像信息。
示例性地，所述建立人脸底库包括获取包含权限用户人脸的权限用户图像信息，对所述权限用户图像信息进行预处理后，生成对应的权限用户人脸图像，基于所述权限用户人脸图像提取特征得到权限用户人脸特征，并将所述权限用户人脸特征存储到人脸底库。
根据本发明实施例的人脸解锁系统中的各模块可以通过根据本发明实施例的人脸解锁的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的人脸解锁方法及装置、人脸解锁设备以及存储介质，对采集的图像中的人脸图像提取特征进行识别，并根据识别结果进行场景识别，辨别解锁用户是否自愿解锁，避免非自愿解锁造成的损失，以及在不被察觉的情况下报警，有效的保护解锁人的人身安全，提高了人脸解锁的安全性。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种人脸解锁方法，其特征在于，所述方法包括：
获取解锁用户的实时图像信息，并生成解锁用户实时人脸图像；
基于所述解锁用户实时人脸图像进行特征提取生成解锁用户的实时人脸特征；
将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
若进行场景识别，则对所述实时图像信息进行场景识别得到场景识别结果，并根据所述场景识别结果判断是否解锁；
若不进行场景识别，则不解锁。
2.如权利要求1所述的人脸解锁方法，其特征在于，所述场景识别包括：根据所述实时图像信息提取场景图像特征，并输入预先训练好的模型，得到场景识别结果指示安全或危险。
3.如权利要求2所述的人脸解锁方法，其特征在于，所述判断是否解锁包括：如果所述场景识别结果指示安全则解锁；如果所述场景识别结果指示危险则报警和/或不解锁。
4.如权利要求3所述的人脸解锁方法，其特征在于，所述报警包括：发送报警信息，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种；或者，
触发警铃。
5.如权利要求1至4中任一项所述的人脸解锁方法，其特征在于，所述场景识别结果还指示危险场景信息，所述危险场景信息包括是否有威胁器具、威胁者数量及威胁者属性信息中的至少一种。
6.如权利要求1所述的人脸解锁方法，其特征在于，所述得到身份识别结果包括：将所述实时人脸特征在人脸底库中进行搜索比对，得到搜索结果；根据所述搜索结果与识别阈值得到身份识别结果；所述搜索结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
7.如权利要求6所述的人脸解锁方法，其特征在于，所述根据所述搜索结果与识别阈值得到身份识别结果包括：如果所述搜索结果在人脸底库中搜索比对的相似度得分小于识别阈值，则得到身份识别结果为无；如果相似度得分大于或等于识别阈值则得到身份识别结果为所述搜索结果。
8.如权利要求7所述的人脸解锁方法，其特征在于，所述判断是否进行场景识别包括：如果所述身份识别结果为无，则不进行场景识别，不解锁；如果所述身份识别结果为搜索结果则进行场景识别。
9.如权利要求1所述的人脸解锁方法，其特征在于，生成所述实时人脸特征后降低所述实时人脸特征的维度，将所述降低维度后的实时人脸特征在人脸底库中进行搜索比对。
10.如权利要求1所述的人脸解锁方法，其特征在于，所述人脸解锁方法还包括：获取所有权限用户的图像信息，并基于所述权限用户的图像信息建立人脸底库。
11.一种人脸解锁装置，其特征在于，所述装置包括：
图像获取模块，用于获取权限用户的图像信息或解锁用户的实时图像信息，以及对所述权限用户的图像信息或解锁用户的实时图像信息进行人脸检测，生成权限用户的人脸图像或解锁用户的实时人脸图像；
人脸特征提取模块，基于权限用户的人脸图像或解锁用户的实时人脸图像，进行人脸特征提取得到权限用户的脸部图像特征或解锁用户的实时人脸特征；
存储介质模块，用于将权限用户的脸部图像特征存储于人脸底库；
人脸比对模块，用于将所述实时人脸特征在人脸底库中进行搜索比对得到身份识别结果，并根据所述身份识别结果判断是否进行场景识别；
场景识别模块，用于对所述实时图像信息中的场景进行识别得到场景识别结果；
物理锁定控制模块，用于根据所述身份识别结果或所述场景识别结果控制物理设备的锁定状态。
12.如权利要求11所述的人脸解锁装置，其特征在于，所述装置还包括：报警模块，用于根据所述场景识别结果执行报警；所述报警包括发送报警信息或触发警铃，所述报警信息包括所述场景识别结果、所述实时图像信息或位置信息中的至少一种。
13.一种人脸解锁系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
14.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至10中任一项所述方法的步骤。
CN201810510589.8A 2018-05-24 2018-05-24 一种人脸解锁方法、装置、系统及计算机存储介质 Pending CN108875341A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810510589.8A CN108875341A (zh) 2018-05-24 2018-05-24 一种人脸解锁方法、装置、系统及计算机存储介质
US16/212,334 US20190362058A1 (en) 2018-05-24 2018-12-06 Face unlocking method and device, electronic device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810510589.8A CN108875341A (zh) 2018-05-24 2018-05-24 一种人脸解锁方法、装置、系统及计算机存储介质

Publications (1)

Publication Number Publication Date
CN108875341A true CN108875341A (zh) 2018-11-23

Family

ID=64334162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810510589.8A Pending CN108875341A (zh) 2018-05-24 2018-05-24 一种人脸解锁方法、装置、系统及计算机存储介质

Country Status (2)

Country Link
US (1) US20190362058A1 (zh)
CN (1) CN108875341A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543628A (zh) * 2018-11-27 2019-03-29 北京旷视科技有限公司 一种人脸解锁、底库录入方法、装置和电子设备
CN109829381A (zh) * 2018-12-28 2019-05-31 北京旷视科技有限公司 一种犬只识别管理方法、装置、系统及存储介质
CN109948492A (zh) * 2019-03-11 2019-06-28 深圳新思迈半导体有限公司 基于计算与通信芯片的人脸特征识别系统
CN110020587A (zh) * 2019-01-18 2019-07-16 阿里巴巴集团控股有限公司 识别系统智能提速的方法、系统、装置和设备
CN110298240A (zh) * 2019-05-21 2019-10-01 北京迈格威科技有限公司 一种汽车用户识别方法、装置、系统及存储介质
CN110472504A (zh) * 2019-07-11 2019-11-19 华为技术有限公司 一种人脸识别的方法和装置
CN111159679A (zh) * 2019-12-27 2020-05-15 上海闻泰信息技术有限公司 身份识别方法和装置、电子设备及计算机可读存储介质
CN112533319A (zh) * 2018-12-29 2021-03-19 中国计量大学 场景式教室智能照明控制装置
CN112633216A (zh) * 2020-12-30 2021-04-09 深兰盛视科技（苏州）有限公司 身份识别方法、装置、电子设备及存储介质
CN113486712A (zh) * 2021-05-31 2021-10-08 内蒙古大学 一种基于深度学习的多人脸识别方法、系统和介质
CN117251219A (zh) * 2023-10-10 2023-12-19 深圳市美高电子设备有限公司 一种基于场景识别的多系统切换方法、装置和pc主机
CN117975605A (zh) * 2024-01-22 2024-05-03 北京摇光智能科技有限公司 一种电子锁操作方法、系统、终端及存储介质
CN117251219B (zh) * 2023-10-10 2024-07-02 深圳市美高电子设备有限公司 一种基于场景识别的多系统切换方法、装置和pc主机

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111383639A (zh) * 2020-03-06 2020-07-07 湖南快乐车行露营地投资发展有限公司 水电桩解锁控制方法、装置、计算机设备和存储介质
CN113449277A (zh) * 2021-06-30 2021-09-28 未鲲(上海)科技服务有限公司 锁屏控制方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6979212B1 (en) * 2000-01-14 2005-12-27 Protect Connect Safety electrical plug
CN101266704A (zh) * 2008-04-24 2008-09-17 张宏志 基于人脸识别的atm安全认证与预警方法
CN101609581A (zh) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 Atm机的异常视频预警装置
CN103136533A (zh) * 2011-11-28 2013-06-05 汉王科技股份有限公司 基于动态阈值的人脸识别方法及装置
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN108010170A (zh) * 2017-12-25 2018-05-08 维沃移动通信有限公司 一种面部识别解锁功能的控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6979212B1 (en) * 2000-01-14 2005-12-27 Protect Connect Safety electrical plug
CN101266704A (zh) * 2008-04-24 2008-09-17 张宏志 基于人脸识别的atm安全认证与预警方法
CN101609581A (zh) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 Atm机的异常视频预警装置
CN103136533A (zh) * 2011-11-28 2013-06-05 汉王科技股份有限公司 基于动态阈值的人脸识别方法及装置
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN108010170A (zh) * 2017-12-25 2018-05-08 维沃移动通信有限公司 一种面部识别解锁功能的控制方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543628A (zh) * 2018-11-27 2019-03-29 北京旷视科技有限公司 一种人脸解锁、底库录入方法、装置和电子设备
CN109543628B (zh) * 2018-11-27 2021-05-04 北京旷视科技有限公司 一种人脸解锁、底库录入方法、装置和电子设备
CN109829381A (zh) * 2018-12-28 2019-05-31 北京旷视科技有限公司 一种犬只识别管理方法、装置、系统及存储介质
CN112533319A (zh) * 2018-12-29 2021-03-19 中国计量大学 场景式教室智能照明控制装置
CN112533319B (zh) * 2018-12-29 2023-09-22 中国计量大学 场景式教室智能照明控制装置
CN110020587A (zh) * 2019-01-18 2019-07-16 阿里巴巴集团控股有限公司 识别系统智能提速的方法、系统、装置和设备
CN109948492A (zh) * 2019-03-11 2019-06-28 深圳新思迈半导体有限公司 基于计算与通信芯片的人脸特征识别系统
CN110298240B (zh) * 2019-05-21 2022-05-06 北京迈格威科技有限公司 一种汽车用户识别方法、装置、系统及存储介质
CN110298240A (zh) * 2019-05-21 2019-10-01 北京迈格威科技有限公司 一种汽车用户识别方法、装置、系统及存储介质
CN110472504A (zh) * 2019-07-11 2019-11-19 华为技术有限公司 一种人脸识别的方法和装置
CN111159679A (zh) * 2019-12-27 2020-05-15 上海闻泰信息技术有限公司 身份识别方法和装置、电子设备及计算机可读存储介质
CN112633216A (zh) * 2020-12-30 2021-04-09 深兰盛视科技（苏州）有限公司 身份识别方法、装置、电子设备及存储介质
CN113486712B (zh) * 2021-05-31 2022-09-06 内蒙古大学 一种基于深度学习的多人脸识别方法、系统和介质
CN113486712A (zh) * 2021-05-31 2021-10-08 内蒙古大学 一种基于深度学习的多人脸识别方法、系统和介质
CN117251219A (zh) * 2023-10-10 2023-12-19 深圳市美高电子设备有限公司 一种基于场景识别的多系统切换方法、装置和pc主机
CN117251219B (zh) * 2023-10-10 2024-07-02 深圳市美高电子设备有限公司 一种基于场景识别的多系统切换方法、装置和pc主机
CN117975605A (zh) * 2024-01-22 2024-05-03 北京摇光智能科技有限公司 一种电子锁操作方法、系统、终端及存储介质

Also Published As

Publication number Publication date
US20190362058A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108875341A (zh) 一种人脸解锁方法、装置、系统及计算机存储介质
CN108140123A (zh) 人脸活体检测方法、电子设备和计算机程序产品
Charity et al. A bimodal biometrie student attendance system
US11682235B2 (en) Iris authentication device, iris authentication method and recording medium
CN110276320A (zh) 基于人脸识别的门禁方法、装置、设备和存储介质
Haji et al. Real time face recognition system (RTFRS)
CN108108711A (zh) 人脸布控方法、电子设备及存储介质
KR20180085505A (ko) 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법
Alrahawe et al. A biometric technology‐based framework for tackling and preventing crimes
US11068693B1 (en) Liveness detection in fingerprint-based biometric systems
Yin et al. Fusion of face recognition and facial expression detection for authentication: a proposed model
Mohite et al. Deep learning based card-less ATM using fingerprint and face recognition techniques
Ashiba Proposed framework for cancelable face recognition system
Dagher et al. Improving the Component‐Based Face Recognition Using Enhanced Viola–Jones and Weighted Voting Technique
Karale et al. Online Transaction Security Using Face Recognition: A Review
Rusia et al. Deep architecture-based face spoofing identification in real-time application
Yuen et al. Technology-driven implementation of smart entrances in public places during the COVID-19
Shoukat et al. Fraud detection system using facial recognition based on Google Teachable Machine for banking applications
RU2731519C1 (ru) Комбинированная система контроля и управления доступом для системы физической защиты особо важных объектов
Singh et al. Facial Recognition for Crime Control: A Machine Learning-based Solution
Kolekar et al. A Comprehensive Study on Artificial Intelligence-Based Face Recognition Technologies
Roja et al. Fingerprint verification system—a fusion approach
Wesolowski et al. Hybrid verification method based on finger-knuckle analysis and keystroke dynamics
KR20170067107A (ko) 복수 인원 홍채 인식 방법
Smaoui et al. Signature of Electronic Documents Based on the Recognition of Minutiae Fingerprints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123