CN111194449A - 用于人脸活体检测的系统和方法 - Google Patents

用于人脸活体检测的系统和方法 Download PDF

Info

Publication number
CN111194449A
CN111194449A CN201780094934.8A CN201780094934A CN111194449A CN 111194449 A CN111194449 A CN 111194449A CN 201780094934 A CN201780094934 A CN 201780094934A CN 111194449 A CN111194449 A CN 111194449A
Authority
CN
China
Prior art keywords
face
depth
landmark
electronic device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094934.8A
Other languages
English (en)
Inventor
邹璇
成可立
M·A·萨尔基斯
M·菲施勒
毕宁
齐颖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111194449A publication Critical patent/CN111194449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种由电子装置执行的方法。所述方法包含接收图像。所述图像描绘了人脸。所述方法还包含检测所述图像中的所述人脸的至少一个人脸标志点。所述方法进一步包含接收所述人脸的深度图像，和通过将所述至少一个人脸标志点映射到所述深度图像来确定至少一个标志点深度。所述方法还包含基于所述至少一个标志点深度来确定深度图像像素的多个尺度，和确定深度图像像素的所述多个尺度中的每一个的尺度平滑度度量。所述方法另外包含基于所述尺度平滑度度量中的至少两个来确定人脸活体。确定所述人脸活体可以基于深度自适应平滑度阈值和/或可以基于自然人脸尺寸标准。

Description

用于人脸活体检测的系统和方法
相关申请
本申请涉及并要求于2017年9月22日提交的国际申请号为PCT/CN2017/102981关于“用于人脸活体检测的系统和方法”的优先权。
技术领域
本公开总体上涉及电子装置。更具体地，本公开涉及用于人脸活体检测的系统和方法。
背景技术
一些电子装置(例如，相机、便携摄像机、数码相机、蜂窝电话、智能电话、计算机、电视、汽车、个人相机、运动相机、监控相机、安装式相机、联网相机、机器人、无人机、智能应用、医疗设备、机顶盒等)捕捉和/或利用图像。例如，智能电话可以捕捉和/或处理静止和/或视频图像。处理图像可能需要一定的时间、存储器和能量资源。所需资源可能根据处理的复杂性而不同。
在一些情况下，电子安全性可能会受到规避。例如，黑客已经开发出使电子安全措施失效的方法。如从本讨论可以观察，提高电子安全性的系统和方法可能是有益的。
发明内容
描述了一种由电子装置执行的方法。所述方法包含接收图像。所述图像描绘了人脸。所述方法还包含检测图像中的人脸的至少一个人脸标志点。所述方法进一步包含接收人脸的深度图像。所述方法另外包含通过将至少一个人脸标志点映射到深度图像来确定至少一个标志点深度。所述方法还包含基于至少一个标志点深度来确定深度图像像素的多个尺度。所述方法进一步包含确定深度图像像素的多个尺度中的每一个的尺度平滑度度量。所述方法另外包含基于尺度平滑度度量中的至少两个来确定人脸活体。所述方法可以包含基于人脸活体确定来执行认证。
确定多个尺度可以基于至少一个标志点深度和多个尺度之间的反比关系。确定尺度平滑度度量可以包含对深度图像像素的多个尺度中的每一个应用拉普拉斯滤波。确定尺度平滑度度量可以包含针对至少一个标志点深度中的每一个，对标志点面片内的每个深度像素的多个尺度中的每一个应用拉普拉斯核。
所述方法可以包含基于尺度平滑度度量中的至少两个来确定平滑度度量。确定人脸活体可以包含将平滑度度量与平滑度阈值进行比较。所述方法可以包含根据正比关系基于至少一个标志点深度来适配平滑度阈值。
所述方法可以包含确定人脸的尺寸是否满足自然人脸尺寸标准。确定人脸的尺寸是否满足自然人脸尺寸标准可以包含确定由深度图像指示的深度处的人脸的尺寸是否在自然人脸尺寸范围内。确定人脸活体可以进一步基于人脸的尺寸是否满足自然人脸尺寸标准的确定。
还描述了一种电子装置。所述电子装置包含存储器。所述电子装置还包含耦合到存储器的处理器。所述处理器被配置成接收图像。所述图像描绘了人脸。所述处理器还被配置成检测图像中的人脸的至少一个人脸标志点。所述处理器进一步被配置成接收人脸的深度图像。所述处理器另外被配置成通过将至少一个人脸标志点映射到深度图像来确定至少一个标志点深度。所述处理器还被配置成基于至少一个标志点深度来确定深度图像像素的多个尺度。所述处理器进一步被配置成确定深度图像像素的多个尺度中的每一个的尺度平滑度度量。处理器另外被配置成基于尺度平滑度度量中的至少两个来确定人脸活体。
还描述了一种存储计算机可执行代码的非暂时性有形计算机可读媒体。所述计算机可读媒体包含用于使电子装置接收图像的代码。所述图像描绘了人脸。所述计算机可读媒体还包含用于使电子装置检测图像中的人脸的至少一个人脸标志点的代码。所述计算机可读媒体进一步包含用于使电子装置接收人脸的深度图像的代码。所述计算机可读媒体另外包含用于使电子装置通过将至少一个人脸标志点映射到深度图像来确定至少一个标志点深度的代码。所述计算机可读媒体还包含用于使电子装置基于至少一个标志点深度来确定深度图像像素的多个尺度的代码。所述计算机可读媒体进一步包含用于使电子装置确定深度图像像素的多个尺度中的每一个的尺度平滑度度量的代码。所述计算机可读媒体另外包含用于使电子装置基于尺度平滑度度量中的至少两个来确定人脸活体的代码。
还描述了一种设备。所述设备包含用于接收图像的装置。所述图像描绘了人脸。所述设备还包含用于检测图像中的人脸的至少一个人脸标志点的装置。所述设备进一步包含用于接收人脸的深度图像的装置。所述设备另外包含用于通过将至少一个人脸标志点映射到深度图像来确定至少一个标志点深度的装置。所述设备还包含用于基于至少一个标志点深度来确定深度图像像素的多个尺度的装置。所述设备进一步包含用于确定深度图像像素的多个尺度中的每一个的尺度平滑度度量的装置。所述设备另外包含用于基于尺度平滑度度量中的至少两个来确定人脸活体的装置。
附图说明
图1是示出了可以实施用于人脸活体检测的系统和方法的电子装置的一个实例的框图；
图2是示出了用于人脸活体检测的方法的一种配置的流程图；
图3是示出了人造人脸的实例的图；
图4是示出了图像的一个实例和相对应深度图像的一个实例的图；
图5是示出了图像、具有标志点检测的图像、深度图像和具有标志点映射的深度图像的实例的图；
图6是示出了尺度的实例和深度图像的图；
图7是示出了人脸尺寸确定的一个实例和自然人脸尺寸标准的图；
图8是示出了根据本文公开的系统和方法的一些配置的可以实施用于人脸活体检测的组件和/或元件的一个实例的框图；
图9是示出了用于人脸活体检测的方法的更具体配置的流程图；
图10示出了可以实施用于人脸活体检测的系统和方法的电子装置的一个实例；
图11是示出了用于基于深度图像像素的尺度来确定平滑度度量的方法的一种配置的流程图；和
图12示出了可以包含在电子装置内的某些组件。
具体实施方式
本文公开的系统和方法可以涉及人脸活体检测。例如，本文公开的系统和方法的一些配置可以涉及基于图像信息(例如，彩色图像信息)和/或深度信息的稳健性人脸活体检测。一些配置可以用于检测和/或识别用户的人脸。例如，一些配置可以被实施用于基于人脸认证的电话解锁和/或基于人脸认证的在线支付。
在一些方法中，人脸识别技术可以用于隐私/安全性相关电话应用、建筑物中的入口控制等的用户认证。在认证过程期间，可以捕捉主体的探测人脸图像/视频并将其与用户(例如，要求保护的主体)的一或多个存储模板进行比较。如果探测人脸和存储模板之间的相似度足够大，则认证可能会成功。
人脸认证系统可能会因向人脸认证系统的相机呈现授权人(例如，合格主体)的人造人脸(例如，伪造人脸、打印人脸和/或录制人脸视频等)而受到攻击。通过将合格用户的人脸图像向相机示出，可以轻松地愚弄(例如，欺骗)一些人脸认证系统。例如，图像可以打印在纸上或呈现在显示装置上。本文公开的系统和方法的一些配置可以使用图像(例如，彩色图像)和深度信息的组合来检测人脸活体。欺骗可以是指用于使一或多个安全措施(例如，认证)失效的技术。例如，欺骗可以利用人的替代或假冒表示(例如，在平板计算机或电话上显示的视频、照片等)，以便使认证程序失效。例如，使用人脸识别的认证可能会被照片、平板计算机或智能电话(显示人的照片或视频)欺骗。
随着人脸认证系统的部署，区分合格主体的物理人脸和人造(例如，伪造)人脸的技术可能变得越来越重要。此技术可以包含活体检测和/或反欺骗。除非将用户交互也引入到认证程序中，否则基于纯图像/视频分析的方法来处理2D人脸欺骗(照片/视频攻击)可能不是很可靠。例如，可以要求用户进行活体人脸特异性运动，例如眨眼、嘴唇运动或头部运动。可以使用算法来从所捕捉的视频检测那些运动，以验证活体。然而，这需要用户协作，并且可能会带来不便。
用于活体检测的一些技术可以将三维(3D)信息用于人脸活体检测。在一些方法中，可以从多个图像帧恢复3D结构。例如，可以使用来自单目相机的多个人脸图像来重建3D人脸模型。这些方法的一些缺点可能包含使用多个帧进行3D重建所需的时间。一些方法可以通过利用商用3D扫描仪捕捉高质量3D人脸来执行基于曲率的人脸活体检测。可以将整个人脸区域中的每个像素的曲率取平均值，以作为活体检测的度量。这些方法的一些缺点可能包含需要高质量3D扫描仪和/或高计算成本来计算人脸区域中所有点的曲率。与本文公开的系统和方法的一些配置相比，这些方法中的一些可能提供较差的结果。例如，基于曲率的活体算法变体可以包含人脸区域或标志点邻域上的曲率的平均值，其中忽略或不忽略具有缺失值的任何邻域(例如，“合理性检查”)。基于曲率的算法比本文公开的系统和方法的一些配置(例如，局部平滑度方法)表现得差。曲率方法的较差表现可能是由于具有深度分辨率降低和/或数据缺失的传感器质量(例如，低质量深度传感器)。
深度感测的一个挑战是来自消费者级别深度传感器的深度信息的质量可能较低。尽管深度图像质量较低，但是本文公开的用于稳健性活体检测的系统和方法的一些配置仍与这种低成本深度传感器一起很好地工作。
本文公开的系统和方法的一些配置可以包含以下方面中的一或多个。在一些方法中，可以将图像(例如，彩色图像、黑白图像、二维(2D)图像等)和深度图像一起用于活体检测(例如，可以使用来自一或多个传感器的彩色图像和深度图像)。例如，一些配置可以基于可以很好地工作的红绿蓝-深度(RGB-D)传感器(即使是消费者级别RGB-D传感器)来实现稳健性人脸活体检测。
可以使用图像(例如，彩色图像)和深度图像的融合来实现稳健性活体检测。例如，可以使用图像来确定人脸和标志点的位置，这可以用于通过映射在深度图像上定位标志点。图像(例如，彩色图像、黑白图像等)和深度图像可以来自一或多个任何传感器。例如，可以使用RGB-D、双相机和/或其它传感器，其中图像和深度图像之间的对应关系可以通过校准获得。
可以使用深度图像来计算活体检测的判别性表面平滑度度量。在一些配置中，平滑度度量可以是深度图像上的距离自适应多尺度局部平滑度度量，其可以用于活体检测。例如，表面平滑度度量可以基于拉普拉斯滤波。
在计算成本和判别力方面，平滑度度量都可能优于基于高斯曲率的方法。特别地，为了更好的效率，局部平滑度度量可以在人脸标志点邻域上而不是在全局人脸区域上稀疏地计算，并且其可能更具稳健性。以此方式，所述度量可能较少受人脸区域内可能缺失的深度数据的影响。可以组合深度图像的不同尺度上的局部平滑度度量以形成更具稳健性的度量。可以通过传感器和人脸之间的距离来自适应地确定在多尺度局部平滑度中考虑的尺度。与一些曲率方法(其中需要对人脸表面中的每个3D点进行主要分析)相比，平滑度度量的计算复杂度可能要低得多。因此，一些配置的一个益处是稳健且有效的活体度量。
在一些配置中，可以利用距离自适应平滑度(例如，活体)阈值。例如，活体人脸的平滑度度量(例如，活体分数)的范围可以随人脸和传感器之间的距离而变化。可以将平滑度度量与平滑度阈值进行比较以确定活体。例如，可以将距离自适应多尺度局部平滑度度量与距离自适应活体阈值一起使用以确定活体。
在一些配置中，可以将距离自适应人脸尺寸确认用作另外的或替代的活体检测标准。例如，不同距离处的真实人脸的尺寸具有具体范围。可以使用本约束来拒绝具有不恰当物理尺寸的假人脸(例如，显示在尺寸有限的电话屏幕上的人脸)。因此，可以将距离自适应人脸尺寸确认有益地用于活体检测。
本文公开的系统和方法的一些配置可以在多种背景中实施。例如，一些配置可以在以下背景/平台中的一或多个中实施：移动、汽车、联网家庭、可穿戴装置、机器人和/或其它背景/平台。一些配置可以被实施用于娱乐应用、安全与保障应用和/或健康与健身应用。
现在参考附图来描述各种配置，其中相似的附图标记可以指示功能上相似的元件。如本文的附图中总体上描述和示出的系统和方法可以以各种不同的配置来布置和设计。因此，以下对附图中表示的几种配置的更详细描述并非旨在限制所要求保护的范围，而是仅用来表示系统和方法。
图1是示出了可以实施用于人脸活体检测的系统和方法的电子装置102的一个实例的框图。电子装置102的实例可以包含相机、便携摄像机、数码相机、蜂窝电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板计算机装置、电子锁、安全系统、媒体播放器、电视、车辆、汽车、个人相机、运动相机、监控相机、安装式相机、联网相机、机器人、飞机、无人机、无人驾驶飞行器(UAV)、医疗设备、游戏机、个人数字助理(PDA)、机顶盒、机电装置等。电子装置102可以包含一或多个组件或元件。组件或元件中的一或多个可以在硬件(例如，电路系统)、硬件和软件的组合(例如，具有指令的处理器)和/或硬件和固件的组合中实施。
在一些配置中，电子装置102可以包含一或多个处理器112、一或多个存储器126、一或多个显示器132、一或多个图像传感器104、一或多个光学系统106、一或多个深度传感器136和一或多个通信接口108。处理器112可以耦合到存储器126、显示器132、一或多个图像传感器104、一或多个光学系统106、一或多个深度传感器136和/或通信接口108(例如，与其电通信)。应当注意，图1中示出的一或多个元件可以是任选的。特别地，在一些配置中，电子装置102可以不包含图1中示出的一或多个元件。例如，电子装置102可以包含或不包含图像传感器104、光学系统106和/或深度传感器136。另外或可替代地，电子装置102可以包含或不包含显示器132。另外或可替代地，电子装置102可以包含或不包含通信接口108。
存储器126可以存储指令和/或数据。处理器112可以访问存储器126(例如，从其读取和/或向其写入)。可以由存储器126存储的指令和/或数据的实例可以包含传感器数据128(例如，图像、图像数据、图像帧、像素、视频、深度图像、深度图像数据、深度等)、标志点、特征、特征点、特征向量、关键点数据、边角数据、图像获取器114指令、深度图像获取器116指令、标志点深度确定器118指令、尺度确定器120指令，平滑度度量确定器122指令、人脸活体确定器124指令、认证器130指令和/或其它元件的指令等。
在一些配置中，电子装置102(例如，存储器126)可以包含图像数据缓冲器(未示出)。图像数据缓冲器可以缓冲(例如，存储)来自图像传感器104的图像数据(例如，一或多个图像帧)。可以将所缓冲的图像数据提供给处理器112。
通信接口108可以使电子装置102能够与一或多个其它电子装置通信。例如，通信接口108可以提供用于有线和/或无线通信的接口。在一些配置中，通信接口108可以耦合到一或多个天线110，以用于发送和/或接收射频(RF)信号。另外或可替代地，通信接口108可以实现一或多种有线(例如，通用串行总线(USB)、以太网等)通信。
在一些配置中，可以实施和/或利用多个通信接口108。例如，一个通信接口108可以是蜂窝(例如，3G、长期演进(LTE)、CDMA、5G等)通信接口108，另一通信接口108可以是以太网接口，另一通信接口108可以是通用串行总线(USB)接口，并且又一通信接口108可以是无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。
一或多个图像传感器104可以捕捉一或多个图像(例如，彩色图像、黑白图像、图像数据、像素、视频、连拍图像、静止图像等)。一或多个图像(例如，图像帧)可以是场景的图像(例如，一或多个对象和/或背景)。在一些配置中，电子装置102(例如，图像获取器114)可以利用一或多个图像传感器来获取一或多个图像。
一或多个光学系统106(例如，一或多个镜头)可以将位于一或多个光学系统106的视场内的对象的图像聚焦到一或多个图像传感器104上。在一些配置中，一或多个光学系统106可以耦合到一或多个处理器(例如，处理器112、图像信号处理器等)和/或由其控制。例如，可以控制一或多个光学系统106的聚焦和/或变焦。
相机可以包含至少一个图像传感器和至少一个光学系统。因此，在一些实施方案中，电子装置102可以是一或多个相机和/或可以包含一或多个相机。在一些实施方案中，电子装置102可以包含一或多个光学系统106和/或多个图像传感器104。在一些配置中，不同的镜头可以各自与单独的图像传感器104配对。另外或可替代地，两个或两个以上镜头可以共享相同的图像传感器104。
一或多个深度传感器136可以捕捉一或多个深度图像(例如，深度图像数据、像素、深度、深度图、一或多个深度传感器136和一或多个对象之间的距离等)。深度传感器136的实例可以包含红外飞行时间(TOF)相机、立体图像传感器、结构化光传感器和/或激光雷达等。在一些配置中，一或多个图像传感器104(例如，可见光谱传感器)可以用作一或多个深度传感器136。一或多个深度传感器136可以用来测量从一或多个深度传感器136到一或多个对象的一或多个距离。在一些配置中，由一或多个深度传感器136捕捉的深度图像可以对应于由一或多个图像传感器104捕捉的图像。例如，由一或多个深度传感器136捕捉的场景可以与一或多个图像传感器104重叠。在一些方法中，一或多个图像传感器104和/或一或多个深度传感器136可以具有相似的视场和/或可以被校准以捕捉相似的场景。例如，电子装置102可以确定来自一或多个图像传感器104的一或多个图像和来自一或多个深度传感器136的一或多个深度图像之间的关系(例如，变换、配准、平移和/或旋转等)。可以用校准数据来指示所述关系。在一些配置中，一或多个深度传感器136可以与一或多个图像传感器104集成。
电子装置可以包含一或多个显示器132。一或多个显示器132可以呈现视觉信息(例如，一或多个图像、用户界面、视频、静止图像、图形、虚拟环境、三维(3D)图像内容、符号、字符等)。可以用一或多种显示技术(例如，液晶显示器(LCD)、有机发光二极管(OLED)、等离子体、阴极射线管(CRT)等)来实施一或多个显示器132。一或多个显示器132可以集成到电子装置102中或者可以耦合到电子装置102。在一些配置中，由一或多个图像传感器104捕捉的全部或部分图像可以呈现在显示器132上。另外或可替代地，一或多个代表性图像(例如，图标、光标、虚拟现实图像、增强现实图像等)可以呈现在显示器132上。
在一些配置中，电子装置102可以在显示器132上呈现用户界面134。例如，用户界面134可以使用户能够与电子装置102交互。在一些配置中，显示器132可以是触摸屏，其接收来自物理触摸(例如，通过手指、手写笔或其它工具)的输入。另外或可替代地，电子装置102可以包含或耦合到另一输入接口。例如，电子装置102可以包含面向用户的相机，并且可以检测用户姿势(例如，手势、手臂姿势、眼睛跟踪、眼睑眨动等)。在另一实例中，电子装置102可以耦合到鼠标，并且可以检测鼠标点击。在一些配置中，本文描述的一或多个图像(例如，一或多个图像、视频等)可以呈现在显示器132和/或用户界面134上。
在一些配置中，电子装置102可以包含相机软件应用。当相机应用正在运行时，一或多个图像传感器104可以捕捉位于一或多个光学系统106的视场内的场景和/或对象的图像。由一或多个图像传感器104捕捉的图像可以呈现在显示器132上。在一些配置中，这些图像可以以相对较高的帧速率快速连续地显示，使得在任何给定时刻，位于光学系统106的视场内的对象呈现在显示器132上。由电子装置102获取的一或多个图像可以是一或多个视频帧、一或多个静止图像和/或一或多个突发帧等。应当注意，本文公开的系统和方法的一些配置可以利用一系列图像帧(例如，视频)。
处理器112可以包含和/或实施图像获取器114、深度图像获取器116、标志点深度确定器118、尺度确定器120、平滑度度量确定器122、人脸活体确定器124和/或认证器130。应当注意，电子装置102和/或处理器112中示出的一或多个元件可以是任选的。例如，在一些配置中，可以包含或不包含和/或实施或不实施图像获取器114、深度图像获取器116、标志点深度确定器118和/或认证器130。可以实施其它变型。
在一些配置中，处理器112中示出的一或多个元件可以与处理器112分开地实施(例如，实施在其它电路系统中，在另一处理器上，在不同的电子装置上等)。例如，图像获取器114、深度图像获取器116、标志点深度确定器118、尺度确定器120、平滑度度量确定器122、人脸活体确定器124和/或认证器130可以在安全处理器上实施。在一些配置中，图像获取器114、深度图像获取器116、标志点深度确定器118、尺度确定器120、平滑度度量确定器122、人脸活体确定器124和/或认证器130中的一或多个可以是在多个处理器和/或处理器的组合上实施。在一些配置中，处理器112可以是安全处理器。
处理器112可以包含和/或实施图像获取器114。可以向图像获取器114提供一或多个图像(例如，图像帧、视频、连拍等)。例如，图像获取器114可以从一或多个图像传感器104获取(例如，接收)图像帧。例如，图像获取器114可以从一或多个图像传感器104和/或从一或多个外部相机接收图像数据。特别地，一或多个图像可以从包含在电子装置102中的一或多个图像传感器104捕捉，和/或可以从一或多个远程相机捕捉。
在一些配置中，图像获取器114可以请求和/或接收一或多个图像。例如，图像获取器114可以从远程装置(例如，耦合到电子装置102、网络服务器、水下相机、汽车相机、运动相机、网络相机、智能手机相机等的一或多个外部图像传感器)请求和/或接收一或多个图像。在一些配置中，电子装置102(例如，图像获取器114)可以经由通信接口108请求和/或接收一或多个图像。例如，电子装置102可以包含或不包含相机(例如，图像传感器104和/或光学系统106)，并且可以从一或多个远程装置接收图像。
一或多个图像可以描绘(例如，包含)一或多个人脸。一或多个人脸中的每一个都可以表示一个活体人脸(例如，在捕捉图像的相机的视场中的人的实际物理人脸)或人造人脸(例如，人脸的照片、人脸的视频等)。例如，活体人脸可以对应于相机的视场中的实际人脸的初始捕捉，而人造人脸可以不是实际人脸的初始捕捉。例如，人造人脸可以是非初始捕捉(例如，人脸图像的图像)或人脸的一些其它非实际表示。电子装置102可以利用一或多个人脸来执行人脸活体检测、人脸识别和/或认证。
处理器112可以包含和/或实施深度图像获取器116。可以将一或多个深度图像(例如，深度、距离、深度像素等)提供给深度图像获取器116。例如，深度图像获取器116可以从一或多个深度传感器136获取(例如，接收)深度图像。例如，深度图像获取器116可以从一或多个深度传感器136和/或从一或多个外部深度传感器接收深度图像数据。特别地，一或多个深度图像可以从包含在电子装置102中的一或多个深度传感器136捕捉，和/或可以从一或多个远程深度传感器捕捉。
在一些配置中，深度图像获取器116可以请求和/或接收一或多个深度图像。例如，深度图像获取器116可以从远程装置(例如，耦合到电子装置102、网络服务器等的一或多个外部深度传感器)请求和/或接收一或多个深度图像。在一些配置中，电子装置102(例如，深度图像获取器116)可以经由通信接口108请求和/或接收一或多个深度图像。例如，电子装置102可以包含或不包含深度传感器136。并且可以从一或多个远程装置接收深度图像。一或多个深度图像可以包含一或多个人脸的深度数据。一或多个人脸可以对应于图像(例如，彩色图像、黑白图像等)中描绘的一或多个人脸。
处理器112可以包含和/或实施标志点深度确定器118。标志点深度确定器118可以在深度图像中执行人脸标志点定位。例如，标志点深度确定器118可以确定一或多个深度图像中与一或多个图像中的一或多个标志点相对应的一或多个深度。在一些方法中，一或多个标志点(例如，关键点、特征点等)可以对应于一或多个图像中描绘的一或多个人脸的一或多个位置。例如，可以将校准程序应用于深度图像和彩色图像(例如，由RGB-D传感器捕捉)。针对一或多个图像(例如，一或多个彩色图像)中的任何一或多个位置，可以使用校准信息来获取深度图像上的一或多个相对应位置。
在一些配置中，处理器112(例如，标志点深度确定器118)可以确定一或多个图像中的一或多个标志点。例如，处理器112可以在一或多个图像中搜索人脸的特定标志点(例如，嘴角、唇角、鼻角、眼角、虹膜和/或眉角等)。在一些方法中，最初可以通过人脸检测器在图像(例如，彩色图像)上检测人脸标志点。
在一些配置中，可以通过映射来计算深度图像上的人脸标志点的相对应位置。例如，标志点深度确定器118可以通过将一或多个图像中的一或多个人脸标志点映射到深度图像来确定一或多个标志点深度。例如，标志点深度确定器118可以确定深度图像中与一或多个图像中的标志点相对应的一或多个相对应点(例如，深度像素、深度、距离等)。在一些方法中，这可以通过基于校准数据将一或多个图像中的标志点变换为一或多个深度图像中的相对应点(例如，深度像素)来实现。例如，标志点深度确定器118可以将标志点(例如，标志点的像素位置、像素网格位置等)变换(例如，平移和/或旋转)为一或多个深度图像中的点(例如，深度像素网格位置)。相对应点处的深度可以是标志点深度(例如，与人脸标志点相对应的人脸的深度)。应当注意，由于深度图像上的一或多个深度值可能因一些配置中的传感器(例如，RGB-D传感器)质量低而是不正确的或缺失的，因此在一些情况下，可能找不到图像(例如，彩色图像)中检测到的每个人脸标志点的深度图像上的相对应位置。
处理器112可以包含和/或实施尺度确定器120。尺度确定器120可以基于一或多个标志点深度来确定(例如，适配)深度图像像素的一或多个尺度(例如，多个尺度)。尺度可以是指深度像素相对于标志点深度的间距。例如，尺度可以被称为距标志点深度的距离(例如，半径)。尺度可以指示相对于标志点深度的深度图像像素的集合。在一些方法中，可以在相对于标志点深度的一或多个方向上确定深度图像像素的集合。例如，深度图像像素的集合(例如，一个尺度上)可以包含标志点深度上方的一个深度图像像素、标志点深度下方的一个深度图像像素、标志点深度左侧的一个深度图像像素和标志点深度右侧的一个深度图像像素。在一个具体实例中，尺度为2(例如，半径为2)的深度图像像素的集合可以与标志点深度相距两个深度图像像素(例如，在向左、向右、向上和向下方向上距标志点深度2像素的像素)。应当注意，可以利用一或多个另外的或替代的方向。例如，可以另外或可替代地利用沿对角线方向的一或多个像素。
尺度确定器120可以基于标志点深度(例如，针对每个标志点深度)来确定一或多个尺度。在一些配置中，尺度尺寸可以与标志点深度成反比。例如，较小的深度可以对应于较大的尺度，并且较大的深度可以对应于较小的尺度。这可能是由于对象尺寸和深度之间的关系(例如，当对象离传感器较近时，对象可能看起来较大，或当对象离传感器较远时，对象可能看起来较小)。例如，当人脸处于较大深度处(例如，较远)时，一或多个尺度可以适于较小，和/或当人脸处于较小深度处(例如，较近)时，一或多个尺度可以适于更大。因此，当人脸距离较远时，尺度可能会跨越较少的像素。
在一些配置中，尺度确定器120可以确定一或多个标志点深度(例如，与每个标志点相对应)的尺度的集合(例如，多个尺度)。例如，浅深度(例如，小距离)处的鼻孔标志点的尺度(半径)可以为3、6和9，而深深度(例如，大距离)处的鼻孔标志点的尺度可以为1、2和3。
在一些配置中，尺度确定器120可以基于全局标志点深度(例如，所有标志点深度的和或平均深度)来确定一或多个尺度(例如，尺度的集合、多个尺度、尺度集等)。尺度的集合(例如，基于全局标志点深度)可以用于每个标志点(例如，所有标志点和/或每个标志点等)的平滑度度量确定(例如，计算)。因此，在一些方法中，可以针对每个标志点使用相同的尺度或尺度集合来进行平滑度度量确定。应当注意，在一些方法中，可以基于其个体深度将不同的尺度集合应用于不同的标志点。在一些方法中，组合以不同尺度的集合获取的局部平滑度度量可以产生比仅以单个尺度获取的局部平滑度度量更准确的结果。
在一些配置中，尺度确定器120可以利用函数和/或查找表来确定(例如，获取)给定深度的尺度集合。例如，函数和/或查询表可将标志点深度(例如，个体或全局标志点深度)映射到一或多个尺度。例如，一或多个标志点深度范围(例如，平均标志点深度范围)可以对应于一或多个尺度。在一些方法中，可以凭经验建立查找表(例如，可以根据实验凭经验确定每个尺度)。例如，可以将所考虑的深度(例如，标志点深度)范围量化为多个子带。针对每个子带，可以凭经验确定相对应的最大尺度和最小尺度，并将其存储在查找表中。在一些方法中，可以预先确定查找表。
尺度确定器120可以选择与一或多个标志点的一或多个尺度相对应的深度图像像素的一或多个集合。例如，每个标志点深度可以具有多个尺度的深度图像像素的关联集合。深度图像像素可以用于确定平滑度度量。例如，尺度确定器120可以将深度图像像素的集合提供和/或指示给平滑度度量确定器122。
处理器112可以包含和/或实施平滑度度量确定器122。平滑度度量确定器122可以基于深度图像像素的尺度来确定平滑度度量。例如，平滑度度量确定器122可以利用一或多个尺度的一或多个深度图像像素来计算平滑度度量。平滑度度量可以指示深度图像像素的平滑度程度。例如，位于平面或均匀曲面(例如，平坦或弯曲的图像)上的深度图像像素可能倾向于产生较高的平滑度度量，而在非均匀表面(例如，实际人脸)上的深度图像像素可能倾向于产生较低的平滑度度量。
在一些配置中，平滑度度量确定器122可以通过对一或多个深度图像像素的一或多个尺度应用拉普拉斯滤波来确定平滑度度量。例如，可以对一或多个标志点的多个尺度的深度图像像素的集合应用拉普拉斯滤波。多尺度拉普拉斯滤波可以在稀疏(例如，间隔)标志点位置区域上产生平滑度度量。在一些方法中，可以对与多个人脸标志点相对应的深度图像像素的多个集合执行拉普拉斯滤波。可以组合多个标志点平滑度度量以获取平滑度度量(例如，总体平滑度度量、最终平滑度度量等)。在一些实施方案中(例如，为了提高稳健性)，不仅可以针对每个标志点确定(例如，计算)多尺度拉普拉斯平滑度，而且还可以针对每个标志点的面片(例如，预定义面片)内的每个像素(例如，深度像素)确定(例如，计算)多尺度拉普拉斯平滑度，然后进行组合(例如，求和和/或求平均等)。例如，每个标志点(例如，标志点深度)可以具有在标志点中心的关联面片(例如，具有固定尺寸)。可以针对面片内的每个深度像素(例如，针对具有一定值的每个深度像素，针对每个非缺失深度像素等)以一或多个尺度来确定多尺度拉普拉斯平滑度。
在一些配置中，平滑度度量确定器122可以如下确定距离自适应多尺度局部平滑度(MSLS)度量。图像的每个像素的拉普拉斯滤波响应是当前像素的图像的二阶导数之和。当应用于深度图像时，滤波响应可以是表面平滑度的度量。在一些方法中，拉普拉斯滤波可以被实施为当前像素的邻居之间的差之和。拉普拉斯滤波核(例如，L(x,y))的一个实例在等式(1)中给出。
Figure BDA0002414007470000131
在等式(1)中，x和y分别表示拉普拉斯核(和/或像素位置)的水平和垂直分量(例如，指数)。例如，L(x,y)表示水平和垂直变量的函数。尽管给出等式(1)作为可以根据本文公开的系统和方法的一些配置来利用的拉普拉斯滤波核的一个实例，但是也可以根据本文公开的系统和方法的一些配置来利用一或多个不同的拉普拉斯滤波核。
深度图像D(x,y)的滤波图像LD(x,y)可以根据等式(2)表示。
LD(x,y)＝conv(D(x,y),L(x,y)) (2)
在等式(2)中，conv()表示卷积函数。
可以根据等式(3)给出在任何像素位置(x0,y0)处的滤波图像。
Figure BDA0002414007470000132
可以根据等式(4)给出具体尺度r的尺度化拉普拉斯滤波的响应。
Figure BDA0002414007470000133
例如，等式(4)可以提供对深度像素位置处的一定尺度的深度图像像素应用拉普拉斯核的一个实例。结合图6给出了尺度化拉普拉斯滤波中所涉及的像素的实例。
在深度图像上具有不同尺度的拉普拉斯滤波响应反映了对象表面的表面平滑度的不同级别。组合(例如，求平均、求和等)以不同尺度的集合获取的局部平滑度度量可以产生比仅以单个尺度获取的局部平滑度度量更好的结果。
在实际系统中，人脸可能与传感器相距不同距离。在MSLS计算中使用的有效(例如，判别性)尺度组合可能会因距离而不同。因此，可以利用距离自适应MSLS，其中可以基于距离(例如，深度)来选择用于MSLS的尺度集。
针对深度图像上的每个定位人脸标志点处中心的尺寸为KxK的面片内的每个像素，可以计算距离自适应MSLS并将其求平均作为最终平滑度(例如，活体)度量。在计算中可以忽略在深度图像中具有缺失值(例如，错误值、未检测到的深度等)的像素。平滑度(例如，活体)度量可能对不良深度图像质量具有稳健性。例如，即使一些人脸标志点无法在深度图像中定位，平滑度度量也可以很好地起作用。
在一些配置中，对深度图像的预处理(例如，滤波)可能有助于改善结果。例如，可以利用深度图像的双边滤波和/或引导滤波。在一些实施方案中，引导滤波可能在计算上更有效并且对于距离自适应MSLS方案有效。
处理器112可以包含和/或实施人脸活体确定器124。人脸活体确定器124可以确定一或多个图像中描绘的一或多个人脸的人脸活体。人脸活体确定器124可以基于一或多种用于确定人脸活体的技术或技术组合来确定人脸活体。用于确定人脸活体的技术的实例可以包含将平滑度度量与平滑度阈值(例如，活体确定阈值)进行比较和/或确定人脸的尺寸(例如，在特定深度处)是否在自然人脸尺寸范围内。人脸活体确定器124可以基于平滑度度量和/或人脸尺寸来确定人脸活体(例如，检测用非活体或人造人脸的欺骗)。
在一些配置中，人脸活体确定器124可以将平滑度度量与平滑度阈值进行比较。平滑度阈值可以是确定人脸是否是活体之间的决策边界。如果平滑度度量高于平滑度阈值，则人脸活体确定器124可以确定人脸是人造人脸(例如，是例如纸上或在屏幕上的人脸的图像)。如果平滑度度量低于平滑度阈值，则人脸活体确定器124可以确定人脸是活体人脸(例如，人脸表现出活体人脸的深度变化特性)。
在一些配置中，处理器112(例如，人脸活体确定器124或平滑度阈值确定器)可以基于一或多个标志点深度来确定(例如，适配)平滑度阈值。例如，处理器112(例如，人脸活体确定器124或平滑度阈值确定器)可以利用将一或多个标志点深度(例如，累积标志点深度、平均标志点深度、全局标志点深度等)映射到平滑度阈值的函数和/或查找表。在一些实施方案中，针对应用，可以找到最大工作深度(例如，80厘米(cm))的平滑度阈值，并且可以找到最小工作深度(例如，30cm)的平滑度阈值。例如，可以凭经验找到近似最佳的平滑度阈值。用于给定标志点深度(例如，当前人脸的标志点深度的平均值)的平滑度阈值可以通过上述两个平滑度阈值(最大和最小工作深度)的插值来获取。函数和/或查找表可以指示与标志点深度(例如，平均标志点深度)相对应的平滑度阈值。例如，标志点深度的不同范围可以对应于不同的平滑度阈值。
如本文所述，可以基于深度来自适应地确定平滑度阈值。在一些方法中，可以以与标志点深度的正比关系来适配平滑度阈值。例如，平滑度阈值可以在较大深度处较高(例如，当人脸较远时较高)和/或在较小深度处较低(例如，当人脸较近时较低)。在一些配置中，电子装置102(例如，处理器112和/或人脸活体确定器124等)可以随着深度的增加而增加平滑度阈值(和/或可以随着深度的减小而减小平滑度阈值)。在一些方法中，平滑度阈值和深度(例如，深度值)之间的相关性可以是线性的和/或可以通过平均深度值进行归一化。在其它方法中，平滑度阈值和深度(例如，深度值)之间的相关性可以是非线性的和/或可以不通过深度进行归一化。
在一些配置中，可以基于人脸尺寸来确定(例如，适配)平滑度阈值。例如，可以使用基于人脸尺寸的查找表。例如，人脸尺寸的不同范围可以对应于不同的平滑度阈值。每个平滑度阈值可以根据实验凭经验确定。
在一些配置中，人脸活体确定器124可以另外或可替代地基于人脸尺寸来确定人脸活体。例如，人脸活体确定器124可以执行人脸尺寸验证。例如，在一些方法中，活体检测的一个约束可能是在具体距离处的人脸尺寸的有效范围。由于深度图像表示人脸和一或多个深度传感器(例如，相机)之间的物理距离，因此可以通过校准来知道来自图像(例如，彩色图像)的人脸尺寸的范围。如上所述，可以从图像(例如，彩色图像)成功地且稳健性地检测到标志点。因此，可以检查图像上的人脸尺寸。例如，当拍摄人脸的图像(出于欺骗目的)时，根据深度，所得的图像可能超出自然人脸尺寸的范围。例如，在距装置(例如，图像传感器和/或深度传感器)18英寸的智能电话屏幕上显示的人脸可能比在18英寸距离处的自然人脸小得多。因此，人脸尺寸可以用作确定人脸活体的另外的或替代的方法。
在一些方法中，处理器112(例如，人脸尺寸确定器)可以确定人脸尺寸。可以利用一或多个度量来表征人脸尺寸。在一些方法中，可以从几个人脸标志之间的总距离来测量人脸尺寸。例如，处理器112可以确定与人脸相对应的四边形，其中四边形的边在外眼角标志点和外唇角标志点之间。四边形的周长尺寸可以是表示人脸尺寸的一个度量。图7示出了一个人脸尺寸度量的一个实例和不同距离处的人脸尺寸的样本。
在一些配置中，人脸活体确定器124可以确定人脸尺寸是否满足自然人脸尺寸标准。在一些配置中，可以基于可从训练集中获取的不同距离处的人脸尺寸的分布来确定自然人脸尺寸标准。在一些方法中，自然人脸尺寸标准可以表达为具体距离处的人脸尺寸的上界和下界。图7中示出的两条线分别提供了上界和下界的相应实例。
人脸活体确定器124可以确定由深度图像指示的深度处的人脸的尺寸是否在自然人脸尺寸范围内。如果人脸尺寸不满足自然人脸尺寸标准，则人脸活体确定器124可以确定人脸是人造人脸。例如，如果人脸尺寸不在有效范围内，则人脸活体检测失败。如果人脸尺寸满足自然人脸尺寸标准，则人脸活体确定器124可以确定人脸是活体人脸，和/或可以将所述确定与平滑度度量确定相组合来决定人脸是活体人脸还是人造人脸。
在一些配置中，处理器112可以任选地包含和/或实施认证器130。认证器130可以对一或多个主体(例如，用户)执行认证。在一些配置中，认证器130可以基于一或多个图像和/或一或多个深度图像来执行人脸识别。例如，认证器130可以将一或多个图像和/或一或多个深度图像中的一或多个人脸(例如，标志点结构、特征向量、人脸特性等)与授权人脸信息(例如，一或多个授权人脸的标志点结构、特征向量、人脸特性等)进行比较。在其它配置中，可以由在处理器112中或在单独的芯片中实施的单独的元件执行人脸识别。授权人脸信息可以预先确定和/或存储在存储器126中。例如，电子装置102可以执行一或多个人脸认证设置程序，其中电子装置102获取(例如，捕捉、接收等)授权人脸信息。
在一些方法中，认证器130可以基于人脸活体确定来执行认证。例如，在人脸活体确定指示人脸是人造人脸的情况下，认证器130可以拒绝认证和/或认证可能失败。在人脸活体确定指示活体人脸的情况下，认证器130可以确定活体人脸是否与授权用户的人脸匹配。例如，如果一或多个图像和/或一或多个深度图像中的人脸被识别为授权主体，并且确定人脸是活体人脸，则认证器130可以验证认证。否则，认证器130可以拒绝认证。
在本文公开的系统和方法的一些配置中，可以离散地和/或连续地执行认证。例如，当电子装置102在使用中时，电子装置102可以持续地捕捉图像。这可以使认证程序能够被重复地和/或连续地执行。例如，装置可以被配置成连续地执行认证。如果阈值时间段已过，但认证未被验证，则可能会拒绝访问。
本文公开的系统和方法的一些配置可以提供被动认证。例如，主体(例如，用户)可能不需要执行用于执行认证(例如，除了使用装置和/或进入装置的视场之外)的肯定性步骤(例如，按下按钮、摆出姿势、提供命令等)。在其它方法中，可以执行主动认证。例如，用户可以触发认证程序(例如，通过按下按钮、摆出姿势、点击触摸屏、说出命令等)。
可以在许多不同背景中利用验证或拒绝认证。例如，本文描述的认证可以在认证被验证的情况下授予访问权限(例如，解锁智能电话、执行个人资料登入、打开通往安全建筑物/区域的门、允许对机密信息的访问、允许进入车辆、启用自主驾驶等)。在认证被拒绝的情况下，本文描述的认证可以拒绝访问(例如，不解锁智能电话、拒绝个人资料登入、使通往安全建筑物/区域的门保持锁定、拒绝对机密信息的访问、拒绝进入车辆、禁用自主驾驶等)。
应当注意，在一些配置中，结合图1所描述的一或多个功能和/或元件可以分布在不同的装置之间。例如，第一电子装置可以获取图像，获取深度图像和/或确定标志点深度(其可以被提供给第二电子装置)。第二电子装置可以基于所接收的信息来确定一或多个尺度、平滑度度量和/或人脸活体。因此，电子装置102可以包含所描述的元件的全部或子集和/或可以执行所描述的功能的全部或子集。可以根据本文公开的系统和方法来实施其它布置。
应当注意，电子装置102的一或多个元件或组件可以被组合和/或分割。例如，可以组合图像获取器114、深度图像获取器116、标志点深度确定器118、尺度确定器120、平滑度度量确定器122、人脸活体确定器124和/或认证器130中的一或多个。另外或可替代地，图像获取器114、深度图像获取器116、标志点深度确定器118、尺度确定器120、平滑度度量确定器122、人脸活体确定器124和/或认证器130中的一或多个可以被分割成执行其操作的子集的元件或组件。
图2是示出了用于人脸活体检测的方法200的一种配置的流程图。例如，方法200可以由结合图1描述的电子装置102执行。电子装置102可以基于至少一个标志点深度来确定202一或多个尺度(例如，多个尺度)。这可以如结合图1所描述来实现。例如，电子装置102可以基于标志点深度(例如，基于人脸是在附近还是在较远处)来确定尺度(例如，尺度尺寸)的集合。
电子装置102可以基于深度图像像素的一或多个尺度来确定204一或多个度量。这可以如结合图1所描述来实现。例如，电子装置102可以对由尺度指示的深度像素的集合应用拉普拉斯滤波以产生平滑度度量。在一些方法中，电子装置102可以确定尺度平滑度度量、深度像素平滑度度量和/或面片平滑度度量的集合以确定平滑度度量。例如，电子装置102可以确定面片中每个深度像素的每个尺度的尺度平滑度度量。可以将尺度平滑度度量组合以产生每个深度像素的深度像素平滑度度量。可以将深度像素平滑度度量组合以产生面片平滑度度量。可以针对每个面片(例如，标志点)确定面片平滑度度量。可以将面片平滑度度量组合以产生平滑度度量(例如，总体平滑度度量、最终平滑度度量等)。
电子装置102可以基于一或多个度量(例如，平滑度度量、一或多个尺度平滑度度量、一或多个深度像素平滑度度量和/或一或多个面片平滑度度量等)来确定204人脸活体。这可以如结合图1所描述来实现。例如，电子装置102可以将平滑度度量与平滑度阈值进行比较。低于平滑度阈值的平滑度度量可以指示活体人脸，而高于平滑度阈值的平滑度度量可以指示人造人脸(例如，欺骗尝试)。在一些配置中，活体确定可以另外或可替代地基于人脸尺寸。例如，如果人脸尺寸满足自然人脸尺寸标准并且平滑度度量低于平滑度阈值，则电子装置102可以确定人脸是活体人脸。否则，电子装置102可以确定人脸是人造人脸。
在一些配置中，电子装置102可以任选地基于人脸活体进行认证。这可以如结合图1所描述来实现。例如，电子装置102验证识别授权人脸(其也被确定为活体人脸)的认证。如果人脸未被识别或未被确定为活体人脸，则电子装置102可以拒绝认证。
应当注意，本文公开的系统和方法的一些配置可以提供基于单帧的活体检测(例如，基于具有相对应深度图像的单个图像的活体检测)。另外或可替代地，一些配置可以提供一种RGB-D传感器的稳健性人脸活体检测方法。如本文所述，可以从图像(例如，彩色图像)和相对应深度图像获取平滑度(例如，活体)度量。在基于视频的应用中，由于可以使用多个图像帧，因此在本文公开的系统和方法的一些配置中，可以通过深度图像融合来进一步改善深度图像质量。另外或可替代地，可以通过融合来自多个先前帧的结果来进一步改善活体检测结果。
图3是示出了人造人脸的实例338a-b的图。本文公开的系统和方法的一些配置可以执行人脸活体检测。例如，一些配置可以将人造人脸(例如，屏幕、打印图像等)与活体人脸区分开。特别地，图3示出了欺骗人脸识别系统的基于图像和/或视频的2D攻击的实例338a-b。一些人脸识别系统可能会被打印人脸欺骗。
在图3中，实例338a-b示出了可以用于欺骗攻击以登入移动装置的图像。具体地，实例A 338a示出了打印照片。实例B 338b示出了一个屏幕截图。其它实例可以包含模仿面罩和含有眨眼的视频重播。未经授权的用户可能试图使用实例338a-b中的一或多个来使认证措施失效。使用基于2D图像和/或视频的活体检测的一些方法可能不可靠。
本文公开的系统和方法的一些配置可以利用一或多个传感器来提供三维(3D)信息以用于稳健性活体检测。例如，可以在电子装置(例如，结合图1描述的电子装置102)中实施红绿蓝-深度(RGB-D)传感器。在一些实施方案中，RGB-D传感器可以是结合图1描述的集成图像和深度传感器的一个实例。
深度传感器可能会遇到一些挑战。例如，消费者级别RGB-D传感器可能小于商用3D扫描仪，但是可以提供较低质量的深度数据。例如，由于影子、遮挡和/或弱表面反射，深度数据中可能会出现孔。这可能会导致有噪声的深度数据(例如，深度图像、深度图等)。深度数据中的噪声(例如，缺失深度像素)可能会导致难以准确地确定人脸活体。例如，可能难以基于有噪声的深度数据来准确且有效地(例如，快速地)确定人脸活体。本文公开的系统和方法的一些配置可以基于有噪声的深度数据来提供稳健(例如，准确)且有效的人脸活体检测。
图4是示出了图像440的一个实例和相对应深度图像444的一个实例的图。特别地，图4示出了利用来自一或多个传感器(例如，电话上的RGB-D传感器)的图像440(例如，彩色图像)和深度图像444的组合的稳健性人脸活体检测。在一些配置中，可以利用图像440和相对应深度图像444来将活体人脸(例如，实际人脸、活体人脸等)与人造人脸(例如，打印人脸)区分开。
如图4所示，图像440可以描绘人脸。在本实例中，图像400描绘了照片442中的人造人脸。例如，可以产生打印人脸的彩色图像以进行欺骗尝试。深度图像444可以是打印人脸的深度图像。如在图4中可以观察，深度图像444可以指示照片442具有平滑表面446，指示所描绘的人脸不是活体人脸。
图5是示出了图像548、具有标志点检测的图像550、深度图像554和具有标志点映射的深度图像556的实例的图。图像548可以是活体人脸的图像。深度图像554可以是活体人脸的深度图像，其中深度图像554中的变化指示深度变化。特别地，图5示出了基于图像548确定标志点552的集合的一个实例。例如，电子装置(例如，电子装置102)可以基于图像548来检测标志点552的集合。可以将标志点552的集合映射到深度图像554，以便根据本文公开的系统和方法的一些配置来确定标志点深度558的集合。在一些方法中，可以利用图像(例如，彩色图像)和深度图像的融合来实现稳健性活体检测。例如，可以将红绿蓝(RGB)图像用于人脸和/或标志点检测。可以将标志点位置映射到深度图像。可以使用深度图像来确定活体(例如，活体度量、平滑度度量等)。
图6是示出了尺度的实例660a-b和深度图像666的图。特别地，实例A 660a示出了标志点位置A 662a和深度像素位置A 664a。标志点位置A 662a可以是标志点深度的位置和/或面片内的深度像素相对于标志点深度的位置。实例A 660a示出了一个像素(例如，R＝1)相对于标志点位置A 662a的尺度(例如，半径)。实例B 660b示出了标志点位置B 662b和深度像素位置B 664b。实例B 660b示出了两个像素(例如，R＝2)相对于标志点位置B 662b的尺度(例如，半径)。深度图像666还示出了标志点深度668和几个尺度670。由尺度670指示的深度像素可以用于确定平滑度度量。
例如，本文公开的系统和方法的一些配置可以利用深度图像上的距离自适应多尺度局部平滑度度量来确定活体。例如，由尺度指示的深度像素可以用于确定平滑度度量。例如，多尺度拉普拉斯滤波可以在稀疏标志点位置区域上产生平滑度度量。本方法对于有噪声的深度数据可能相对快速且稳健。一些配置可以利用拉普拉斯核(例如，[0 -1 0；-1 4 -1；0 -1 0])，这可能反映了局部面片的平滑度。一些方法可以利用深度自适应(例如，距离自适应)标度和/或深度自适应(例如，距离自适应)活体阈值。
图7是示出了人脸尺寸确定的一个实例和自然人脸尺寸标准的图。特别地，图7示出了人脸的图像772。电子装置(例如，电子装置102)可以确定由四边形的周长表示的人脸尺寸774。例如，电子装置(例如，电子装置102)可以测量标志点(例如，外眼标志点和外唇标志点)之间的距离，以确定人脸尺寸的度量(例如，四边形周长)。应当注意，尽管给出四边形周长作为人脸尺寸的一个实例，但是也可以将其它度量用作人脸尺寸。
图7中还示出了自然人脸尺寸标准778的一个实例。特别地，给出了人脸尺寸与深度的关系图776，其示出了人脸尺寸在深度上的样本。可以基于统计来确定某距离处的人脸尺寸的上边界和/或下边界。上边界和/或下边界(例如，范围)可以用作自然人脸尺寸标准。例如，如果所测量的人脸尺寸774满足自然人脸尺寸标准778(例如，在范围内)，则可以将人脸确定为自然尺寸。可以将不满足自然人脸尺寸标准的人脸尺寸确定为(例如，可能是)人造人脸。
图8是示出了根据本文公开的系统和方法的一些配置的可以实施用于人脸活体检测的组件和/或元件的一个实例的框图。结合图8描述的一或多个组件和/或元件可以在结合图1描述的电子装置102(例如，处理器112)中实施。另外或可替代地，结合图8描述的一或多个功能可以由结合图1描述的电子装置102执行。另外或可替代地，结合图1描述的一或多个功能可以由结合图8描述的一或多个组件和/或元件执行。
在图8的实例中，可以将深度图像880提供给滤波器882。滤波器882可以对深度图像880进行滤波以产生精细深度图像884。例如，滤波器882可以减少和/或去除来自深度图像880的噪声以产生精细深度图像884。在一些方法中，可以不使用滤波器882，并且可以直接使用深度图像880来代替精细深度图像884。可以将精细深度图像884提供给标志点映射器894和平滑度度量确定器822。
可以将图像886(例如，RGB图像、黑白图像等)提供给人脸和标志点检测器888。人脸和标志点检测器888可以检测图像886中的一或多个人脸和/或相对应标志点。可以将标志点890(例如，标志点位置指示符)提供给标志点映射器894和/或人脸尺寸确定器898。
标志点映射器894可以利用校准信息892和标志点890来确定标志点深度896。例如，标志点映射器894可以将标志点890从图像886映射到精细深度图像884中的相对应位置，以确定标志点深度896。可以将标志点深度896提供给人脸尺寸确定器898、尺度确定器820、平滑度度量确定器822和/或平滑度阈值确定器801。
人脸尺寸确定器898可以基于标志点890来确定人脸尺寸。例如，人脸尺寸确定器898可以测量标志点890之间的距离(例如，四边形周长)以确定人脸尺寸。人脸尺寸确定器898可以确定人脸尺寸是否满足自然人脸尺寸标准。例如，人脸尺寸确定器898可以确定人脸尺寸是否在某一深度处的自然人脸尺寸范围内(例如，基于一或多个标志点深度896)。人脸尺寸确定器898可以产生自然人脸尺寸指示符809，其可以被提供给人脸活体确定器824。自然人脸尺寸指示符809可以指示人脸尺寸是否满足自然人脸尺寸标准(例如，人脸尺寸是否在相对应深度处的自然人脸尺寸范围内)。
尺度确定器820可以基于标志点深度896来确定一或多个尺度(例如，尺度集831)。例如，尺度确定器820可以基于标志点深度896来确定一或多个标志点的尺度集831。在一些方法中，尺度确定器820可以应用函数和/或查找表，以基于标志点深度896来确定尺度集831(例如，一或多个尺度集831)。可以将尺度集831提供给平滑度度量确定器822。
平滑度度量确定器822可以基于精细深度图像884(或深度图像880)、尺度集831和/或标志点深度896来确定平滑度度量803。例如，平滑度度量确定器822可以基于尺度集831和精细深度图像884来获取(例如，选择)深度像素的一或多个集合。特别地，尺度集831可以指示相对于标志点深度896的精细深度图像中的深度像素。平滑度度量确定器822可以基于深度像素来确定平滑度度量803。例如，平滑度度量确定器822可以对深度像素应用拉普拉斯滤波以确定平滑度度量803。可以将平滑度度量803提供给人脸活体确定器824。
平滑度阈值确定器801可以基于标志点深度896来确定平滑度阈值805。例如，平滑度阈值805可以基于标志点深度896而变化。在一些方法中，平滑度阈值确定器801可以应用函数和/或查找表，以基于标志点深度896来确定平滑度阈值805。可以将平滑度阈值805提供给人脸活体确定器824。
人脸活体确定器824可以基于平滑度度量803、平滑度阈值805和/或自然人脸尺寸指示符809来确定人脸活体。例如，如果自然人脸尺寸指示符809指示人脸尺寸不是所述深度的自然人脸尺寸，则人脸活体确定器824可以确定人脸不是活体人脸。人脸活体确定器824可以将平滑度度量803与平滑度阈值805进行比较。如果平滑度度量803满足(例如，小于)平滑度阈值，并且如果自然人脸尺寸指示符809指示人脸尺寸是所述深度的自然人脸尺寸，则人脸活体确定器824可以确定人脸是活体人脸。否则，人脸活体确定器824可以确定人脸是人造人脸。在一些配置中，人脸活体确定器824可以产生人脸活体指示符807。人脸活体指示符807可以指示人脸被确定为活体人脸还是人造人脸。
图9是示出了用于人脸活体检测的方法900的更具体配置的流程图。例如，方法900可以由结合图1描述的电子装置102和/或由结合图8描述的一或多个组件或元件执行。
电子装置102可以获取902图像。这可以如结合图1所描述来实现。例如，电子装置102可以利用一或多个图像传感器捕捉图像。另外或可替代地，电子装置102可以从另一装置请求和/或接收图像。
电子装置102可以获取904深度图像。这可以如结合图1所描述来实现。例如，电子装置102可以利用一或多个深度传感器来捕捉深度图像。另外或可替代地，电子装置102可以从另一装置请求和/或接收深度图像。
电子装置102可以确定906人脸和标志点检测是否成功。例如，电子装置102可以执行人脸和/或标志点检测，并且可以确定是否检测到任何一或多个人脸和/或一或多个标志点。如果未检测到人脸和/或标志点，则电子装置102可以确定906人脸和/或标志点检测不成功，这可以以非活体人脸确定920(例如，未检测到活体人脸的确定)结束。
如果人脸和/或标志点检测成功，则电子装置102可以通过将一或多个标志点映射到深度图像来确定908一或多个标志点深度。这可以如结合图1、5和/或8中的一或多个所描述来实现。
电子装置102可以确定910人脸尺寸是否在有效范围内。这可以如结合图1和/或7-8中的一或多个所描述来实现。如果人脸尺寸不在有效范围内，则操作可以以非活体人脸确定920(例如，未检测到活体人脸的确定)结束。
如果人脸尺寸在有效范围内，则电子装置102可以基于至少一个标志点深度来确定912一或多个尺度(例如，多个尺度)。这可以如结合图1-2和/或6中的一或多个所描述来实现。
电子装置102可以基于尺度来确定914平滑度度量。这可以如结合图1-2、6和/或8中的一或多个所描述来实现。
电子装置102可以基于一或多个标志点深度来确定916平滑度阈值。这可以如结合图1和/或8中的一或多个所描述来实现。
电子装置102可以确定918平滑度度量是否满足(例如，小于)平滑度阈值。这可以如结合图1-2和/或8中的一或多个所描述来实现。如果不满足平滑度阈值，则操作可以以非活体人脸确定920(例如，未检测到活体人脸的确定)结束。如果满足平滑度阈值，则操作可以以活体人脸确定922(例如，检测到活体人脸的确定)结束。
在一些配置中，电子装置102可以任选地基于人脸活体确定来进行认证。这可以如结合图1-2中的一或多个所描述来实现。
图10示出了可以实施用于人脸活体检测的系统和方法的电子装置1011的一个实例。特别地，图10示出了在电话中集成RGB-D传感器1013的一个实例。例如，RGB-D传感器可能变得足够便宜和/或尺寸变得足够小，以致于装配在移动电话中。
RGB-D传感器1013可以提供人脸的彩色图像和深度图像，这可能对活体检测是有益的。活体人脸的深度图像或3D表面可以与在平面材料上打印或显示的伪造人脸的深度图像或3D表面有所区别。结合图4给出了人造(例如，伪造打印等)人脸的图像和深度图像的一个实例。结合图5给出了活体人脸的图像和深度图像的一个实例。图4和5示出了由RGB-D传感器捕捉的打印人脸与真实人脸的深度图像之间的差异。
与商用3D扫描仪相比，由消费者级别RGB-D传感器获取的深度图像的质量可能低得多。例如，深度图像中可能会存在由于影子、弱反射或遮挡而造成的“孔”。另外或可替代地，深度图像可能是有噪声的。
图11是示出了用于基于深度图像像素的尺度来确定平滑度度量的方法1100的一种配置的流程图。方法1100可以由结合图1和/或图10描述的电子装置102、1011中的一或多个(和/或由结合图1和/或图8描述的平滑度度量确定器122、822中的一或多个)执行。特别地，可以基于一或多个标志点的尺度的集合和深度图像像素来执行方法1100。例如，方法1100可以从深度图像的第一标志点的第一面片的第一深度像素开始，并且可以迭代到深度图像的最后标志点的最后面片的最后深度像素。
电子装置102可以确定1102是否已经遍历尺度的集合中的所有尺度。例如，如本文所述，可能已经基于人脸的深度确定了尺度的集合。电子装置102可以确定是否已经确定了深度像素的每个尺度的尺度平滑度度量(例如，组合平滑度度量)。
如果并未遍历所有尺度，则电子装置102可以确定1104当前深度像素和尺度的尺度平滑度度量。例如，电子装置102可以根据等式(4)执行拉普拉斯滤波，以确定尺度平滑度度量。例如，电子装置102可以根据当前尺度(例如，r)相对于当前深度像素(例如，(x0,y0))对深度像素应用拉普拉斯核，以产生尺度平滑度度量(例如，LDr(x0,y0))。电子装置102可以递增1108尺度(例如，如果存在任何剩余尺度)。例如，电子装置102可以将处理递增到尺度的集合中的下一尺度。
如果已经遍历了所有尺度(例如，如果已经针对当前深度像素的尺度集合中的每个尺度确定了尺度平滑度度量)，则电子装置102可以组合1106(例如，求平均、相加等)尺度平滑度度量以产生深度像素平滑度度量(例如，与当前深度像素相对应的平滑度度量)。
电子装置102可以确定1110是否已经遍历了标志点面片中的所有深度像素。例如，标志点面片可以以标志点像素为中心。电子装置102可以确定是否已经确定了标志点面片中的每个深度像素的深度像素平滑度度量。
如果并未遍历所有深度像素，则电子装置102可以递增1112深度像素。例如，电子装置102可以将处理递增到标志点面片中的下一深度像素。
如果已经遍历了标志点面片中的所有深度像素(例如，如果已经针对当前标志点面片中的每个深度像素确定了深度像素平滑度度量)，则电子装置102可以组合1114(例如，求平均、相加等)深度像素平滑度度量以产生面片平滑度度量(例如，与当前标志点面片相对应的平滑度度量)。
电子装置102可以确定1116是否已经遍历了深度图像中的所有标志点(和/或与一个人脸相对应的所有标志点)。例如，电子装置102可以确定是否已经确定了深度图像中的每个标志点的面片平滑度度量。
如果并未遍历所有标志点，则电子装置102可以递增1118标志点。例如，电子装置102可以将处理递增到深度图像(例如，对应于人脸)中的下一标志点。
如果已经遍历了所有标志点(例如，如果已经针对每个标志点确定了面片平滑度度量)，则电子装置102可以组合1120(例如，求平均、相加等)面片平滑度度量以产生平滑度度量(例如，总体平滑度度量、人脸平滑度度量、最终平滑度度量等)。如本文所述，在一些配置中，可以利用平滑度度量来确定人脸活体。
图12示出了可以包含在电子装置1202内的某些组件。电子装置1202可以是结合图1和/或图10中的一或多个描述的电子装置102、1011中的一或多个的一个实例和/或可以根据其实施，和/或可以根据结合图8描述的组件或元件中的一或多个实施。电子装置1202可以是相机、便携摄像机、数码相机、蜂窝电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板计算机装置、媒体播放器、电视、车辆、汽车、个人相机、运动相机、监控相机、安装式相机、联网相机、机器人、飞机、无人机、无人驾驶飞行器(UAV)、医疗设备、游戏机、个人数字助理(PDA)、机顶盒、机电装置等(或可以包含在其内)。
电子装置1202包含处理器1235。处理器1235可以是通用单芯片或多芯片微处理器(例如，高级RISC机器(ARM))、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1235可以被称为中央处理单元(CPU)。尽管在电子装置1202中仅示出了单个处理器1235，但是在替代配置中，可以使用处理器(例如，ARM和DSP)的组合。
电子装置1202还包含存储器1215。存储器1215可以是能够存储电子信息的任何电子组件。存储器1215可以被实现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光存储媒体、RAM中的闪速存储器装置，与处理器一起包含的板上存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等(包含其组合)。
数据1219a和指令1217a可以存储在存储器1215中。指令1217a可以由处理器1235执行以实施本文描述的方法200、900、1100中的一或多个。执行指令1217a可以涉及使用存储在存储器1215中的数据1219a。当处理器1235执行指令1217时，指令1217b的各个部分可以被加载到处理器1235上，并且各个数据1219b可以被加载到处理器1235上。
电子装置1202还可以包含发送器1223和接收器1225，以允许向电子装置1202发送信号和从电子装置1202接收信号。发送器1223和接收器1225可以被统称为收发器1229。一或多个天线1227a-b可以电耦合到收发器1229。电子装置1202还可以包含(未示出)多个发送器、多个接收器、多个收发器和/或另外的天线。
电子装置1202可以包含数字信号处理器(DSP)1231。电子装置1202还可以包含通信接口1233。通信接口1233可以启用一或多种输入和/或输出。例如，通信接口1233可以包含一或多个端口和/或用于将其它装置链接到电子装置1202的通信装置。另外或可替代地，通信接口1233可以包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。例如，通信接口1233可以使用户能够与电子装置1202交互。
电子装置1202的各个组件可以通过一或多个总线耦合在一起，所述总线可以包含电源总线、控制信号总线、状态信号总线、数据总线等。为了清楚起见，各个总线在图12中被示出为总线系统1221。
术语“确定”涵盖多种动作，并且因此“确定”可以包含计算、运算、处理、推导、调查、查找(例如，在表、数据库或其它数据结构中查找)、确认等。而且，“确定”可以包含接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。而且，“确定”可以包含解析、选择、选定、建立等。
除非另外明确指出，否则短语“基于”并不是指“仅基于”。换句话说，短语“基于”描述了“仅基于”和“至少基于”。
术语“处理器”应被广义地解释为涵盖通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以是指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以是指处理装置的组合，例如DSP和微处理器的组合、多个微处理器、与DSP核结合的一或多个微处理器或任何其它此类配置。
术语“存储器”应被广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可以是指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪速存储器、磁性或光学数据存储设备、寄存器等。如果处理器可以从存储器读取信息和/或将信息写入存储器，则存储器可以被称为与处理器进行电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的一或多个计算机可读语句。例如，术语“指令”和“代码”可以是指一或多个程序、例程、子例程、函数、规程等。“指令”和“代码”可以包括单个计算机可读语句或多个计算机可读语句。
本文描述的功能可以在由硬件执行的软件或固件中实施。这些功能可以作为一或多个指令存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可以由计算机或处理器访问的任何有形存储媒体。作为实例而非限制，计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储装置、或可以用于以指令或数据结构的形式承载或存储所需的程序代码并且可以由计算机访问的任何其它媒体。本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和
Figure BDA0002414007470000261
光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以磁性方式再现数据。应当注意，计算机可读媒体可以是有形的并且是非暂时性的。术语“计算机程序产品”是指与代码或指令(例如，“程序”)组合的运算装置或处理器，所述代码或指令可以由运算装置或处理器执行、处理或运算。如本文使用，术语“代码”可以是指可由运算装置或处理器执行的软件、指令、代码或数据。
软件或指令也可以在传输媒体上传输。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如，红外、无线电和微波)从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外、无线电和微波)包含在传输媒体的定义中。
本文公开的方法包括用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非所描述的方法的适当操作需要步骤或动作的具体顺序，否则可以在不脱离权利要求的范围的情况下更改具体步骤和/或动作的顺序和/或使用。
此外，应当理解，可以通过装置下载和/或以其它方式获取用于执行本文描述的方法和技术的模块和/或其它适当装置。例如，装置可以耦合到服务器以促进用于执行本文描述的方法的装置的转移。可替代地，可以经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、物理存储媒体(例如，压缩光盘(CD)或软磁盘)等)来提供本文描述的各种方法，使得装置可以在将存储装置耦合到或提供给装置后获取各种方法。
如本文使用，术语“和/或”应被解释为表示一或多个项目。例如，短语“A、B和/或C”应被解释为表示以下任何一项：仅A，仅B，仅C，A和B(但不是C)，B和C(但不是A)，A和C(但不是B)，或A、B和C全部。如本文使用，短语“……中的至少一个”应被解释为表示一或多个项目。例如，短语“A、B和C中的至少一个”或短语“A、B或C中的至少一个”应被解释为以下任何一项：仅A，仅B，仅C，A和B(但不是C)，B和C(但不是A)，A和C(但不是B)，或A、B和C全部。如本文使用，短语“……中的一或多个”应被解释为表示一或多个项目。例如，短语“A、B和C中的一或多个”或短语“A、B或C中的一或多个”应被解释为以下任何一项：仅A，仅B，仅C，A和B(但不是C)，B和C(但不是A)，A和C(但不是B)，或A、B和C全部。
应当理解，权利要求不限于以上示出的精确配置和组件。在不脱离权利要求的范围的情况下，可以对本文所述的系统、方法和设备的布置、操作和细节进行各种更改、改变和变化。

Claims (30)

1.一种由电子装置执行的方法，其包括：
接收图像，其中所述图像描绘了人脸；
检测所述图像中的所述人脸的至少一个人脸标志点；
接收所述人脸的深度图像；
通过将所述至少一个人脸标志点映射到所述深度图像来确定至少一个标志点深度；
基于所述至少一个标志点深度来确定深度图像像素的多个尺度；
确定深度图像像素的所述多个尺度中的每一个的尺度平滑度度量；和
基于所述尺度平滑度度量中的至少两个来确定人脸活体。
2.根据权利要求1所述的方法，其中确定所述多个尺度基于所述至少一个标志点深度和所述多个尺度之间的反比关系。
3.根据权利要求1所述的方法，其中确定所述尺度平滑度度量包括对所述深度图像像素的所述多个尺度中的每一个应用拉普拉斯滤波。
4.根据权利要求1所述的方法，其进一步包括基于所述尺度平滑度度量中的至少两个来确定平滑度度量，其中确定所述人脸活体包括将所述平滑度度量与平滑度阈值进行比较。
5.根据权利要求4所述的方法，其进一步包括根据正比关系基于所述至少一个标志点深度来适配所述平滑度阈值。
6.根据权利要求1所述的方法，其进一步包括确定所述人脸的尺寸是否满足自然人脸尺寸标准。
7.根据权利要求6所述的方法，其中确定所述人脸的尺寸是否满足所述自然人脸尺寸标准包括确定由所述深度图像指示的深度处的所述人脸的尺寸是否在自然人脸尺寸范围内。
8.根据权利要求6所述的方法，其中确定所述人脸活体进一步基于所述人脸的尺寸是否满足所述自然人脸尺寸标准的所述确定。
9.根据权利要求1所述的方法，其进一步包括基于所述人脸活体确定来执行认证。
10.根据权利要求1所述的方法，其中确定所述尺度平滑度度量包括针对所述至少一个标志点深度中的每一个，对标志点面片内的每个深度像素的所述多个尺度中的每一个应用拉普拉斯核。
11.一种电子装置，其包括：
存储器；
处理器，其耦合到所述存储器，其中所述处理器被配置成：
接收图像，其中所述图像描绘了人脸；
检测所述图像中的所述人脸的至少一个人脸标志点；
接收所述人脸的深度图像；
通过将所述至少一个人脸标志点映射到所述深度图像来确定至少一个标志点深度；
基于所述至少一个标志点深度来确定深度图像像素的多个尺度；
确定深度图像像素的所述多个尺度中的每一个的尺度平滑度度量；和
基于所述尺度平滑度度量中的至少两个来确定人脸活体。
12.根据权利要求11所述的电子装置，其中所述处理器被配置成基于所述至少一个标志点深度和所述多个尺度之间的反比关系来确定所述多个尺度。
13.根据权利要求11所述的电子装置，其中所述处理器被配置成通过对所述深度图像像素的所述多个尺度中的每一个应用拉普拉斯滤波来确定所述尺度平滑度度量。
14.根据权利要求11所述的电子装置，其中所述处理器被配置成：
基于所述尺度平滑度度量中的至少两个来确定平滑度度量；和
通过将所述平滑度度量与平滑度阈值进行比较来确定所述人脸活体。
15.根据权利要求14所述的电子装置，其中所述处理器被配置成根据正比关系基于所述至少一个标志点深度来适配所述平滑度阈值。
16.根据权利要求11所述的电子装置，其中所述处理器被配置成确定所述人脸的尺寸是否满足自然人脸尺寸标准。
17.根据权利要求16所述的电子装置，其中所述处理器被配置成通过确定由所述深度图像指示的深度处的所述人脸的尺寸是否在自然人脸尺寸范围内来确定所述人脸的尺寸是否满足所述自然人脸尺寸标准。
18.根据权利要求16所述的电子装置，其中所述处理器被配置成进一步基于所述人脸的尺寸是否满足所述自然人脸尺寸标准的所述确定来确定所述人脸活体。
19.根据权利要求11所述的电子装置，所述处理器被配置成基于所述人脸活体确定来执行认证。
20.根据权利要求11所述的电子装置，其中所述处理器被配置成通过针对所述至少一个标志点深度中的每一个，对标志点面片内的每个深度像素的所述多个尺度中的每一个应用拉普拉斯核来确定所述尺度平滑度度量。
21.一种存储计算机可执行代码的非暂时性有形计算机可读媒体，其包括：
用于使电子装置接收图像的代码，其中所述图像描绘了人脸；
用于使所述电子装置检测所述图像中的所述人脸的至少一个人脸标志点的代码；
用于使所述电子装置接收所述人脸的深度图像的代码；
用于使所述电子装置通过将所述至少一个人脸标志点映射到所述深度图像来确定至少一个标志点深度的代码；
用于使所述电子装置基于所述至少一个标志点深度来确定深度图像像素的多个尺度的代码；
用于使所述电子装置确定深度图像像素的所述多个尺度中的每一个的尺度平滑度度量的代码；和
用于使所述电子装置基于所述尺度平滑度度量中的至少两个来确定人脸活体的代码。
22.根据权利要求21所述的计算机可读媒体，其中用于使所述电子装置确定所述多个尺度的所述代码基于所述至少一个标志点深度和所述多个尺度之间的反比关系。
23.根据权利要求21所述的计算机可读媒体，其中用于使所述电子装置确定所述尺度平滑度度量的所述代码包括用于使所述电子装置对所述深度图像像素的所述多个尺度中的每一个应用拉普拉斯滤波的代码。
24.根据权利要求21所述的计算机可读媒体，其进一步包括用于使所述电子装置基于所述尺度平滑度度量中的至少两个来确定平滑度度量的代码，其中用于使所述电子装置确定所述人脸活体的所述代码包括用于使所述电子装置将所述平滑度度量与平滑度阈值进行比较的代码。
25.根据权利要求21所述的计算机可读媒体，其进一步包括用于使所述电子装置确定所述人脸的尺寸是否满足自然人脸尺寸标准的代码。
26.一种设备，其包括：
用于接收图像的装置，其中所述图像描绘了人脸；
用于检测所述图像中的所述人脸的至少一个人脸标志点的装置；
用于接收所述人脸的深度图像的装置；
用于通过将所述至少一个人脸标志点映射到所述深度图像来确定至少一个标志点深度的装置；
用于基于所述至少一个标志点深度来确定深度图像像素的多个尺度的装置；
用于确定深度图像像素的所述多个尺度中的每一个的尺度平滑度度量的装置；和
用于基于所述尺度平滑度度量中的至少两个来确定人脸活体的装置。
27.根据权利要求26所述的设备，其中用于确定所述多个尺度的所述装置基于所述至少一个标志点深度和所述多个尺度之间的反比关系。
28.根据权利要求26所述的设备，其中用于确定所述尺度平滑度度量的所述装置包括用于对所述深度图像像素的所述多个尺度中的每一个应用拉普拉斯滤波的装置。
29.根据权利要求26所述的设备，其进一步包括用于基于所述尺度平滑度度量中的至少两个来确定平滑度度量的装置，其中用于确定所述人脸活体的所述装置包括用于将所述平滑度度量与平滑度阈值进行比较的装置。
30.根据权利要求26所述的设备，其进一步包括用于确定所述人脸的尺寸是否满足自然人脸尺寸标准的装置。
CN201780094934.8A 2017-09-22 2017-12-01 用于人脸活体检测的系统和方法 Pending CN111194449A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/102981 WO2019056310A1 (en) 2017-09-22 2017-09-22 SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
CNPCT/CN2017/102981 2017-09-22
PCT/CN2017/114256 WO2019056579A1 (en) 2017-09-22 2017-12-01 SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY

Publications (1)

Publication Number Publication Date
CN111194449A true CN111194449A (zh) 2020-05-22

Family

ID=65809437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094934.8A Pending CN111194449A (zh) 2017-09-22 2017-12-01 用于人脸活体检测的系统和方法

Country Status (3)

Country Link
US (1) US11048953B2 (zh)
CN (1) CN111194449A (zh)
WO (2) WO2019056310A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232109A (zh) * 2020-08-31 2021-01-15 深圳奥比中光科技有限公司 一种活体人脸检测方法及系统
CN112766197A (zh) * 2021-01-26 2021-05-07 支付宝(杭州)信息技术有限公司 基于隐私保护的人脸识别方法及装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3576016A4 (en) * 2018-04-12 2020-03-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. FACIAL RECOGNITION METHOD AND APPARATUS, MOBILE TERMINAL AND STORAGE MEDIUM
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
US11403884B2 (en) 2019-01-16 2022-08-02 Shenzhen GOODIX Technology Co., Ltd. Anti-spoofing face ID sensing
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
WO2020213166A1 (ja) * 2019-04-19 2020-10-22 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
US10947103B2 (en) 2019-06-24 2021-03-16 Accenture Global Solutions Limited Beverage dispensing machine for achieving target pours for different beverages
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
EP3869395A1 (en) * 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification
US11354940B2 (en) * 2020-03-31 2022-06-07 Konica Minolta Business Solutions U.S.A., Inc. Method and apparatus for foreground geometry and topology based face anti-spoofing
US11360538B2 (en) * 2020-04-09 2022-06-14 World Richman Manufacturing Corporation Mechanism for automatically powering off/on a visual display
KR20210128274A (ko) * 2020-04-16 2021-10-26 삼성전자주식회사 라이브니스 검사 방법 및 장치
AU2020101743B4 (en) * 2020-05-18 2021-03-04 Ri Pty Ltd Contactless Biometric Authentication Systems and Methods Thereof
CN111814697B (zh) * 2020-07-13 2024-02-13 伊沃人工智能技术（江苏）有限公司 一种实时人脸识别方法、系统及电子设备
EP4295252A1 (en) * 2021-02-18 2023-12-27 trinamiX GmbH Optical skin detection for face unlock
US12067804B2 (en) 2021-03-22 2024-08-20 Snap Inc. True size eyewear experience in real time
US11562548B2 (en) * 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US20220374628A1 (en) * 2021-05-21 2022-11-24 Ford Global Technologies, Llc Camera tampering detection
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075872A (zh) * 2006-05-17 2007-11-21 索尼株式会社 注册设备、对照设备、提取方法，和程序
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus
US20170154461A1 (en) * 2015-12-01 2017-06-01 Samsung Electronics Co., Ltd. 3d face modeling methods and apparatuses
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025830B2 (en) * 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
CN107077608B (zh) * 2014-11-13 2021-06-29 英特尔公司 图像生物特征识别中的面部活体检测

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075872A (zh) * 2006-05-17 2007-11-21 索尼株式会社 注册设备、对照设备、提取方法，和程序
US20110026808A1 (en) * 2009-07-06 2011-02-03 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus
US20170154461A1 (en) * 2015-12-01 2017-06-01 Samsung Electronics Co., Ltd. 3d face modeling methods and apparatuses
CN106897675A (zh) * 2017-01-24 2017-06-27 上海交通大学 双目视觉深度特征与表观特征相结合的人脸活体检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232109A (zh) * 2020-08-31 2021-01-15 深圳奥比中光科技有限公司 一种活体人脸检测方法及系统
CN112232109B (zh) * 2020-08-31 2024-06-04 奥比中光科技集团股份有限公司 一种活体人脸检测方法及系统
CN112766197A (zh) * 2021-01-26 2021-05-07 支付宝(杭州)信息技术有限公司 基于隐私保护的人脸识别方法及装置

Also Published As

Publication number Publication date
US20210049391A1 (en) 2021-02-18
WO2019056310A1 (en) 2019-03-28
US11048953B2 (en) 2021-06-29
WO2019056579A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US11048953B2 (en) Systems and methods for facial liveness detection
US10515199B2 (en) Systems and methods for facial authentication
KR102036978B1 (ko) 라이브니스 검출 방법 및 디바이스, 및 아이덴티티 인증 방법 및 디바이스
KR102707594B1 (ko) 홍채 영역 추출 방법 및 장치
CN110852160B (zh) 以图像为基准的生物识别系统及计算机实施方法
CN104966079B (zh) 区分真人面部与平坦表面
EP2842075B1 (en) Three-dimensional face recognition for mobile devices
US11869272B2 (en) Liveness test method and apparatus and biometric authentication method and apparatus
CN109558764A (zh) 人脸识别方法及装置、计算机设备
US11256938B2 (en) Method and apparatus with liveness testing
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
KR20180138002A (ko) 지문 인증 방법 및 장치
CN111079470A (zh) 人脸活体检测的方法和装置
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
US20150278582A1 (en) Image Processor Comprising Face Recognition System with Face Recognition Based on Two-Dimensional Grid Transform
KR20160126842A (ko) 지문 인증 방법 및 장치
Wu et al. DepthFake: Spoofing 3D Face Authentication with a 2D Photo
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
CN113128258B (zh) 活体检测方法、装置、电子设备及存储介质
CN113837053B (zh) 生物面部对齐模型训练方法、生物面部对齐方法和装置
CN117315748A (zh) 基于双目摄像头的静态人脸活体检测方法、装置、和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231017

AD01 Patent right deemed abandoned