CN110968855B - 面部识别过程期间的遮挡检测 - Google Patents

面部识别过程期间的遮挡检测 Download PDF

Info

Publication number
CN110968855B
CN110968855B CN201910868275.XA CN201910868275A CN110968855B CN 110968855 B CN110968855 B CN 110968855B CN 201910868275 A CN201910868275 A CN 201910868275A CN 110968855 B CN110968855 B CN 110968855B
Authority
CN
China
Prior art keywords
image
occlusion
user
face
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910868275.XA
Other languages
English (en)
Other versions
CN110968855A (zh
Inventor
T·塔吉巴克什
J·珀克帕斯
汤锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110968855A publication Critical patent/CN110968855A/zh
Application granted granted Critical
Publication of CN110968855B publication Critical patent/CN110968855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开涉及面部识别过程期间的遮挡检测。在设备上操作的面部识别过程可包括一个或多个过程，该一个或多个过程确定相机和/或与相机相关联的部件是否被物体(例如，用户的手或手指)遮挡。当用户的面部不能被在设备上操作的面部检测过程检测到时，可使用泛光红外照明图像来评估设备的遮挡。也可使用图案检测过程来评估设备的遮挡，该图案检测过程在通过面部检测过程检测到用户的面部之后操作。当检测到设备被遮挡时，该设备可向用户提供设备(例如，相机和/或照明器)被遮挡并且该遮挡应当被移除以使面部识别过程正确操作的通知。

Description

面部识别过程期间的遮挡检测
本专利要求Tajbakhsh等人于2018年9月28日提交的名称为“OBSTRUCTIONDETECTION DURING FACIAL RECOGNITION PROCESSES”的美国临时专利申请No.62/738,160的优先权，该申请全文以引用的方式并入。
技术领域
本文所述的实施方案涉及用于使用由设备上的相机所捕获的图像进行面部识别处理期间的遮挡检测的方法与系统。更具体地，本文所述的实施方案涉及相机遮挡的检测和/或照明器遮挡的检测，以及向用户提供关于遮挡的通知。
背景技术
生物识别认证过程正被越来越频繁地使用，以允许用户更容易地访问其设备而无需密码或口令认证。生物识别认证过程的一个示例为使用指纹传感器的指纹认证。面部识别为可用于认证设备的授权用户的另一种生物识别过程。面部识别过程通常用于识别图像中的个体和/或将图像中的个体与个体数据库进行比较，以匹配个体的面部。
对于使用面部识别的认证而言，可能有时用户会无意中遮挡或遮蔽相机，导致无法获得用户面部的清晰视图。用户也可能无意中遮挡或遮蔽照明器，导致无法提供对用户面部的适当照明。在相机或照明器被遮挡的情况下，面部识别过程可能难以对用户进行认证，并且可用于认证的特征(例如，面部特征)可能受到限制。在没有提供相机和/或照明器被遮挡的通知的情况下，用户可能没有意识到存在问题并且对他/她尝试使用面部识别来解锁设备的体验感到沮丧。
发明内容
在某些实施方案中，在设备上操作的面部识别过程包括相机遮挡检测过程和/或图案检测过程。当在面部识别过程期间未检测到面部时，可使用相机遮挡过程来确定物体(例如，用户的手或手指)是否在遮挡(例如，遮蔽)相机导致无法看到用户的面部。如果相机遮挡过程确定物体正在遮蔽相机，则设备可向用户提供设备(例如，相机)被遮挡的通知。当在面部识别过程期间检测到用户面部之后，可使用图案检测过程来确定设备上的投影仪(例如，照明器)是否被物体遮挡或遮蔽。例如，可使用图案检测过程在面部识别过程继续之前确定图案照明器是否被物体遮挡或遮蔽。如果图案检测过程确定图案照明器被遮挡，则设备可向用户提供设备(例如，照明器)被遮挡的通知。如果图案检测过程确定图案照明器未被遮挡，则面部识别过程可继续进行认证过程(例如，面部识别认证过程)。
附图说明
当与附图结合时，通过参考根据本公开中描述的实施方案的目前优选的但仅为示例性实施方案的以下详细描述，将更充分地理解在本公开中描述的实施方案的方法与装置的特征和优点，在附图中：
图1示出了包括相机的设备的实施方案的表示。
图2示出了相机的实施方案的表示。
图3示出了设备上的处理器的实施方案的表示。
图4示出了面部识别过程的实施方案的流程图。
图5示出了相机遮挡检测过程的实施方案的流程图。
图6示出了针对遮挡热图的示例的灰度图像的实施方案的表示。
图7示出了针对遮挡热图的另一示例的灰度图像的另一实施方案的表示。
图8示出了图案检测过程的实施方案的流程图。
图9示出了面部识别认证过程的实施方案的流程图。
图10示出了示例性计算机系统的一个实施方案的框图。
图11示出了计算机可访问存储介质的一个实施方案的框图。
尽管本公开中所述的实施方案可受各种修改形式和另选形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的详细描述不旨在将实施方案限制为所公开的特定形式，而相反，本文旨在涵盖落入所附权利要求书的实质和范围内的所有修改、等同物和另选方案。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用“可能”一词。类似地，字词“包括”、“包含”是指包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”为通常表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。该存储器可包括易失性存储器，诸如静态或动态随机存取存储器和/或非易失性存储器，诸如光盘或磁盘存储装置、闪存存储器、可编程只读存储器等。硬件电路可包括组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、可编程逻辑阵列等的任意组合。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。表述被配置为执行一个或多个任务的单元/电路/部件明确地旨在对该单元/电路/部件不调用35 U.S.C.§112(f)的解释。
在一个实施方案中，可通过以硬件描述语言(HDL)诸如Verilog或VHDL对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成HDL描述，并可出于定时、功率和其他原因而被修改，以获得可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并还可包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)，以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，和/或可在一些实施方案中使用离散元件。
本公开的范围包括本文(明确或暗示)公开的任意特征或特征的组合或其任意概括，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。
具体实施方式
本说明书包括对“一个实施方案”或“实施方案”的参考。短语“在一个实施方案中”或“在实施方案中”的出现不一定是指相同的实施方案，尽管通常设想包括特征的任何组合的实施方案，除非在本文明确地否认。特定特征、结构或特性可以与本公开一致的任何合适的方式组合。
图1示出了包括相机的设备的实施方案的表示。在某些实施方案中，设备100包括相机102、处理器104、存储器106和显示器108。设备100可为小型计算设备，在一些情况下，其可足够小以便手持(因此，还被统称为手持式计算机或被简称为手持式设备)。在某些实施方案中，设备100为各种类型的计算机系统设备中的任一种类型的计算机系统设备，其为移动的或便携的并且执行无线通信(例如，“移动设备”)。移动设备的示例包括移动电话或智能电话，以及平板电脑。如果各种其他类型的设备包括无线或RF通信能力(例如，Wi-Fi、蜂窝和/或蓝牙)，则它们可落在这个类别中，诸如膝上型计算机、便携式游戏设备、便携式上网设备和其他手持式设备，以及可穿戴设备诸如智能手表、智能眼镜、耳机、吊坠、耳塞等。通常，可宽泛地定义术语“移动设备”以涵盖容易被用户转移并能够使用例如WLAN、Wi-Fi、蜂窝和/或蓝牙来进行无线通信的任何电子设备、计算设备和/或电信设备(或设备的组合)。在某些实施方案中，设备100包括由用户使用的具有处理器104、存储器106和显示器108的任何设备。显示器108可为例如LCD屏或触摸屏。在一些实施方案中，显示器108包括用于设备100的用户输入界面(例如，显示器允许用户的交互输入)。
相机102可用于捕获设备100的外部环境的图像。在某些实施方案中，相机102被定位成捕获显示器108前方的图像。相机102可被定位成在用户与显示器108进行交互时捕获用户的图像(例如，用户的面部)。图2示出了相机102的实施方案的表示。在某些实施方案中，相机102包括用于捕获数字图像的一个或多个镜头和一个或多个图像传感器103。由相机102所捕获的数字图像可包括例如静止图像、视频图像和/或逐帧图像。
在某些实施方案中，相机102包括图像传感器103。图像传感器103可为例如传感器阵列。传感器阵列中的传感器可包括但不限于用于捕获红外图像(IR)或其他不可见电磁辐射的电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)传感器元件。在一些实施方案中，相机102包括用于捕获多种类型的图像的多于一种图像传感器。例如，相机102可包括IR传感器和RGB(红、绿和蓝)传感器两者。在某些实施方案中，相机102包括用于利用由图像传感器103检测到的不同类型的光来对表面(或被摄体)进行照明的照明器105。例如，相机102可包括用于可见光的照明器(例如，“闪光”照明器)、用于RGB光的照明器和/或用于红外光的照明器(例如，泛光IR光源和图案(斑点图案)投影仪)。在一些实施方案中，泛光IR光源和图案投影仪为其他波长的光(例如，非红外)。在某些实施方案中，照明器105包括光源阵列，诸如但不限于VCSEL(垂直腔面发射激光器)。在一些实施方案中，图像传感器103和照明器105被包括在单个芯片封装中。在一些实施方案中，图像传感器103和照明器105位于独立芯片封装上。
在某些实施方案中，图像传感器103为IR图像传感器，并且该图像传感器用于捕获红外图像以用于进行面部检测、面部识别认证和/或深度检测。也可设想图像传感器103(例如，RGB图像传感器)的其他实施方案用于如本文所述的面部检测、面部识别认证和/或深度检测。为了进行面部检测和/或面部识别认证，照明器105A可提供泛光IR照明，以利用IR照明(例如，IR闪光灯)来对被摄体进行泛光，并且图像传感器103可捕获泛光IR照明的被摄体的图像。泛光IR照明图像可为例如由IR光照明的被摄体的二维图像。
深度信息可使用任何合适的深度成像系统来捕获，该深度成像系统的示例包括结构化光和飞行时间系统。在一些实例中，深度成像系统在提供深度检测或生成深度图图像中可利用照明器。例如，照明器105B可以提供具有图案的IR照明(例如，图案化红外(IR)照明)。图案可以是具有投影到被摄体(例如，光的结构化图案)上的已知且可控的配置和图案的光的图案。在某些实施方案中，图案为斑点图案(例如，点的图案)。然而，图案可以包括光特征的任何结构化或半结构化图案。例如，图案可包括但不限于点、斑点、条纹、虚线、节点、边缘，以及它们的组合。
照明器105B可以包括被配置为形成图案的VCSEL阵列或被配置为形成图案的光源和图案化透明件。由照明器105B提供的图案的配置和图案可例如基于被摄体处的所期望的图案密度(例如，斑点或点密度)而被选择。图像传感器103可捕获由图案照明的被摄体的图像。可由成像和处理系统(例如，本文所述的图像信号处理器(ISP))来评估(例如，分析和/或处理)所捕获的被摄体上的图案的图像，以产生或估计被摄体的三维图(例如，被摄体的深度图或深度图图像)。在Freedman等人的美国专利No.8,150,142、Pesach等人的美国专利No.8,749,796和Shpunt等人的美国专利No.8,384,997(该专利以引用的方式并入，如同本文完全阐述的一样)以及Mor等人的美国专利申请公开No.2016/0178915(该专利以引用的方式并入，如同本文完全阐述的一样)中描述了深度图成像的示例。
在某些实施方案中，由相机102捕获的图像包括具有用户面部的图像(例如，用户面部被包括在图像中)。具有用户面部的图像可包括具有在图像的框架内示出的用户面部的至少某个部分的任何数字图像。此类图像可仅包括用户的面部或可在图像的较小分部或部分中包括用户的面部。可在图像中以足够的分辨率来捕获用户的面部，以允许对图像中的用户面部的一个或多个特征的图像处理。
由相机102捕获的图像可由处理器104处理。图3示出了设备100中所包括的处理器104的实施方案的表示。处理器104可包括被配置为执行在由处理器实施的指令集架构中定义的指令的电路。处理器104可执行设备100的主控制软件，诸如操作系统。通常，由处理器104在使用期间执行的软件可控制设备100的其他部件，以实现设备的所期望的功能。处理器还可执行其他软件。这些应用可提供用户功能并可依赖于操作系统，以进行低级设备控制、调度、存储器管理等。
在某些实施方案中，处理器104包括图像信号处理器(ISP)110。ISP 110可包括适于处理从相机102接收的图像的电路(例如，图像信号处理电路)。ISP 110可包括能够处理或分析由相机102捕获的图像的任何硬件和/或软件(例如，程序指令)。
在某些实施方案中，处理器104包括安全区域处理器(SEP)112。在一些实施方案中，在面部识别认证过程中涉及SEP 112，该过程涉及由相机102捕获并由ISP 110处理的图像。SEP 112可为被配置为对被授权使用设备100的活动用户(例如，当前正在使用设备100的用户)进行认证的安全电路。“安全电路”可为保护被隔离的内部资源免受外部电路直接访问的电路。内部资源可为存储敏感数据诸如个人信息(例如，生物识别信息、信用卡信息等)、加密密钥、随机数生成器种子等的存储器(例如，存储器106)。内部资源也可为执行与敏感数据相关联的服务/操作的电路。如本文所述，SEP 112可包括能够使用面部识别认证过程来认证用户的任何硬件和/或软件(例如，程序指令)。面部识别认证过程可通过利用相机102捕获用户的图像并且将所捕获的图像与设备100的授权用户的先前收集的图像进行比较来认证用户。在一些实施方案中，ISP 110和SEP 112的功能可由单个处理器来执行(例如，ISP 110或SEP 112可执行两种功能，并且另一个处理器可省略)。
在某些实施方案中，处理器104执行注册过程(例如，图像注册过程或登记过程)，以捕获设备100的授权用户的图像(例如，先前收集的图像)。在注册过程期间，相机模块102可从授权用户捕获(例如，收集)图像和/或图像数据，以便允许SEP 112(或另一安全过程)随后使用面部识别认证过程来认证用户。在一些实施方案中，来自注册过程的图像和/或图像数据(例如，来自图像的特征矢量数据)被用于在设备100中生成模板。模板可被存储在例如设备100的存储器106中的模板空间中。在一些实施方案中，可通过从模板空间添加和/或减去模板来更新模板空间。处理器104可执行模板更新过程，以从模板空间添加和/或减去模板。例如，模板空间可利用附加模板而被更新，以适应授权用户的外观随时间推移的变化和/或硬件性能随时间推移的变化。当用于存储模板的模板空间已满时，可从模板空间减去模板以补偿模板的添加。
在一些实施方案中，相机模块102捕获用于面部识别会话的多对图像。每对可以包括利用二维捕获模式所捕获的图像(例如，泛光IR图像)和利用三维捕获模式所捕获的图像(例如，用于生成深度图图像的图案化照明图像)。在某些实施方案中，在对用户作出最终认证决定之前，ISP 110和/或SEP 112彼此独立地处理泛光IR图像和图案化照明图像。例如，ISP 110可独立地处理图像，以分别确定每个图像的特征。然后，SEP 112可将每个类型图像的单独图像特征与所存储的模板进行比较，以生成每个单独图像的认证分数(例如，所捕获的图像和所存储的模板中的用户之间的匹配分数或匹配的其他排名)。单独图像(例如，泛光IR图像和图案化照明图像)的认证分数可以被组合，以对用户的身份作出判定，并且如果通过认证，则允许用户使用设备100(例如，对设备进行解锁)。
在一些实施方案中，ISP 110和/或SEP 112使每对中的图像组合，以提供用于面部识别的合成图像。在一些实施方案中，ISP 110处理合成图像，以确定图像的特征，SEP 112可将其与所存储的模板进行比较，以对用户的身份作出决定，并且如果被认证，则允许用户使用设备100。
在一些实施方案中，泛光IR图像数据和图案化照明图像数据的组合可以允许SEP112在三维空间中比较面部。在一些实施方案中，相机模块102经由安全通道来将图像数据传送到SEP 112。例如，安全信道可为用于传送数据的专用路径(即，仅由预期的参与者共享的路径)，或者可为用于使用仅预期的参与者知道的密码密钥来传送加密的数据的专用路径。在一些实施方案中，相机模块102和/或ISP 110可在将图像数据提供至SEP 112之前对图像数据执行各种处理操作，以便促进由SEP来执行该比较。
在某些实施方案中，处理器104操作一个或多个机器学习模型。机器学习模型可使用位于处理器104和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)来操作。在一些实施方案中，使用一个或多个神经网络模块114来操作设备100上的机器学习模型。神经网络模块114可位于ISP 110和/或SEP 112中。
神经网络模块114可包括位于处理器104中和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)。在一些实施方案中，神经网络模块114为多尺度神经网络或者其中在网络中所使用的内核的尺度可变化的另一神经网络。在一些实施方案中，神经网络模块114为重复性神经网络(RNN)，诸如但不限于门控重复性单元(GRU)重复性神经网络或长短期记忆(LSTM)重复性神经网络。
神经网络模块114可包括安装或配置有已由该神经网络模块或类似的神经网络模块(例如，在不同的处理器或设备上操作的神经网络模块)学习的操作参数的神经网络电路。例如，可使用训练图像(例如，参考图像)和/或其他训练数据来训练神经网络模块，以生成神经网络电路的操作参数。随后可将从训练中生成的操作参数提供至被安装在设备100上的神经网络模块114。将从训练中生成的操作参数提供至允许神经网络模块使用编程到神经网络模块中的训练信息进行操作的设备100上的神经网络模块114(例如，训练生成的操作参数可被神经网络模块用于操作并评估由设备捕获的图像)。
图4示出了面部识别过程200的实施方案的流程图。过程200可用于使用用户的面部识别来将用户认证为设备100的授权用户。在某些实施方案中，过程200用于使用设备100上的注册配置文件(例如，在授权用户注册期间生成的模板空间)来认证用户。认证授权用户可允许用户访问并使用设备100(例如，对设备进行解锁)和/或具有对设备的选择的功能的访问权限(例如，对运行于设备上的应用的功能进行解锁，支付系统(即，进行支付)，访问个人数据，通知的扩展视图等)。在某些实施方案中，过程200被用作针对设备100的基本生物识别认证过程(在授权用户注册之后)。在一些实施方案中，过程200被用作除额外认证过程(例如，指纹认证、另一生物识别认证、密码输入、口令输入和/或图案输入)之外的认证过程。在一些实施方案中，如果用户不能使用过程200被认证，则可使用另一种认证过程(例如，密码输入、图案输入、其他生物识别认证)来访问设备100。
在202中，相机102捕获尝试被认证以用于访问设备100的用户的一个或多个图像(例如，相机捕获用户的一个或多个“解锁尝试”图像)。相机102可响应于用户的提示或用户生成的请求来捕获该解锁尝试图像。例如，可在用户尝试通过按下设备100上的按钮(例如，home按钮或虚拟按钮)，通过将设备移动到相对于用户的面部的选择的位置(例如，用户移动设备，使得相机指向用户的面部或从桌上提起设备)，和/或相对于设备做出特定姿态或移动(例如，轻击屏幕，横跨显示器轻扫用户的手指或从桌上拿下设备)而访问设备100时捕获该解锁尝试图像。
应当理解，如本文所述，解锁尝试图像可包括泛光IR图像、或图案化照明图像(例如，用于生成深度图图像的图像)、或它们的组合。在202中捕获的解锁尝试图像可以包括用户面部的单个图像(例如，单个泛光IR图像或单个图案化照明图像)，或者解锁尝试图像可以包括在短时间内(例如，一秒或更少)拍摄的用户的面部的一系列若干图像。在一些实施方案中，用户的面部的一系列若干图像包括泛光IR图像和图案化照明图像对(例如，相继的泛光IR和图案化照明图像对)。在一些具体实施中，解锁尝试图像可以是由泛光照明器和图案照明器照明的用户的几个图像的合成。
在202中捕获图像之后，可使用面部检测过程204来确定和定位所捕获的图像中的一个或多个面部。在某些实施方案中，面部检测过程204对在202中捕获的泛光IR图像(例如，在用泛光IR照明来照明被摄体时捕获的图像)操作。面部检测过程204可包括对解锁尝试图像(例如，泛光IR图像)进行编码，以生成图像的特征矢量，并评估所生成的特征矢量以确定图像中是否存在面部。在一些实施方案中，当检测到面部时，来自面部检测过程204的输出可包括但不限于面部在图像中的检测和定位(其可例如通过图像中的面部的边界框来表示)、面部的姿势(例如，面部在边界框中的俯仰、横摆和滚动)，以及面部和相机之间的距离。在授予Gernoth等人的美国专利申请No.15/910,551和授予Kumar等人的美国临时专利申请No.62/679,850(该专利以引用的方式并入，如同本文完全阐述的一样)中描述了面部检测过程的示例。
在某些实施方案中，如果面部检测过程204未检测到面部，则过程200可继续进行相机遮挡检测过程206。图5示出了相机遮挡检测过程206的实施方案的流程图。相机遮挡检测过程206可对泛光IR图像进行操作。在某些实施方案中，相机遮挡检测过程206对通过面部检测过程204操作的泛光IR图像进行操作。
在某些实施方案中，将泛光IR图像作为图像输入302提供给相机遮挡检测过程206。图像输入302可为向下缩放的全帧泛光IR图像(例如，从原始捕获图像向下缩放)。在一些实施方案中，图像输入302是128像素(例如，128×128)的图像。可将图像输入302提供给网络模块304。网络模块304可处理图像输入302以生成遮挡热图306。在某些实施方案中，网络模块304是神经网络模块。网络模块304可包括利用用于生成遮挡热图的操作参数安装或配置的网络电路。例如，网络模块304可以是使用从训练过程生成的操作参数的网络模块。在一些实施方案中，训练过程包括使用标记有对遮挡的意见(例如，是/否意见)的训练图像来生成用于网络电路的操作参数。在一些实施方案中，训练过程包括向网络模块304提供网格(例如，32×32网格)上的二元遮挡图的多条意见。网络模块304可被训练用于使用所提供的意见来预测标注遮挡图。
网络模块304可生成遮挡热图306作为图像输入302的高级网格表示。例如，网络模块304可生成遮挡热图306作为图像输入302的n×n网格表示，其中n×n是比图像输入更低的分辨率(例如，更低数量的像素)。因此，遮挡热图306可以是表示输入图像302的区域或单元格的n×n网格。在一个实施方案中，遮挡热图306是图像输入302的32×32网格表示，图像输入302为128×128像素图像。在一些实施方案中，遮挡热图306可以是图像输入302的不对称网格表示(例如，图像输入的m×n网格表示)。
图6示出了针对遮挡热图306的示例的灰度图像的实施方案的表示。遮挡热图306可为图像输入302的网格表示，其中每个区域(例如，单元)具有度量由网络模块304确定的该区域中的遮挡概率的值(例如，矢量或数字)。遮挡热图306可被显示为灰度图像，其中灰度强度表示图像中的各区域中的遮挡概率的不同值。
如图5所示，在308中，可使用遮挡热图306来评估图像输入302的遮挡分数。在某些实施方案中，通过将每个区域中的遮挡概率与遮挡阈值进行比较来确定遮挡分数，以针对遮挡热图306中的每个区域获得二元决策。可使用例如曲线分析或遮挡数据的优化来确定遮挡阈值。二元决策可以是，如果遮挡概率高于遮挡阈值，则该区域中有遮挡，或者如果遮挡概率低于遮挡阈值，则该区域中不存在遮挡。在一些实施方案中，基于图像中的区域的位置，区域的遮挡阈值可为加权的。例如，可在与更靠近图像的边缘的区域相比更靠近图像的中心的区域中使用较低遮挡阈值。对遮挡阈值进行加权以在图像的中心附近具有较低值可以更准确地评估可以阻止检测图像中的面部的遮挡(例如，因为用于面部检测中的更多特征往往被定位成更靠近图像的中心。)
然后可通过统计具有遮挡的区域的数量来获得遮挡分数。例如，在图6所示的实施方案中，如果假定每个非暗区域具有遮挡，则在总共1024个区域中有442个区域具有遮挡，并且遮挡分数将为43.16％。因此，对于图6中所示的实施方案，图像输入302中约43％的视场被遮挡。图7示出了针对遮挡热图306’的另一示例的灰度图像的另一实施方案的表示。在图7所示的实施方案中，有67个区域具有遮挡，并且遮挡分数将为6.5％。在一些实施方案中，基于图像中的区域的位置，区域可为加权的。例如，与图像的边缘附近的区域相比，图像的中心附近的区域可以被赋予针对总体遮挡分数更多的权重(例如，中心附近的区域可以被加权为1.5倍的沿着图像的边缘的区域)。改变用以确定总体遮挡分数的区域的权重可以提供与如上所述对遮挡阈值进行加权相类似的优势。
如图5所示，在312中将遮挡分数与阈值310进行比较。阈值310可为图像中的物体被认为被遮挡所需的图像(例如，图像输入302)中的遮挡的最小值。可例如基于图像遮挡数据来选择或确定阈值310。在312中，如果遮挡分数高于阈值310，则相机遮挡检测过程206可在314中输出存在遮挡。另选地，在312中，如果遮挡分数低于阈值310，则相机遮挡检测过程206可在316中输出没有遮挡。
在一些实施方案中，阈值310可设定为30％(例如，图像中30％的视场被遮挡)。还可设想阈值310的其他值(例如，25％、35％、40％等)。将值30％用于阈值310并使用图6和图7中所示的遮挡热图示例，遮挡热图306将被确定为具有遮挡(遮挡分数为43.16％)并且遮挡热图306’将被确定为没有遮挡(遮挡分数为6.5％)。
在一些实施方案中，在做出在遮挡热图306的每个区域中有遮挡或者在每个区域中没有遮挡(例如，基于每个区域遮挡概率高于或低于如上所述的遮挡阈值)的二元决策之后，在308中评估遮挡分数可以包括评估遮挡热图的分段的遮挡分数。例如，遮挡热图可以被分成选择的数量的分段(例如，4个分段)(应注意，遮挡热图可在对区域做出二元决策之前或之后被分成分段)。然后对于遮挡热图306的分段中的每个分段，可以确定每个分段的各个遮挡分数。可以将每个分段的各个遮挡分数与遮挡阈值(例如，阈值301)进行比较以确定在每个分段中是否有遮挡。如果至少选择的数量的分段(例如，至少一半的分段)被确定为被遮挡，则然后图像可被确定为被遮挡(例如，具有遮挡)。
在一些实施方案中，图像的遮挡可以使用对于分段的各个遮挡分数与整个(全部)图像的总体遮挡分数(例如，由对整个图像中的具有遮挡的区域的数量进行计数获得的遮挡分数，如上所述)的组合来确定。例如，图像的遮挡可以基于至少一些数量的分段具有高于分段的阈值的遮挡分数(例如，至少一半的分段具有高于阈值的遮挡分数)与总体遮挡分数高于总体遮挡的阈值(例如，阈值310)的组合来确定。
在一些实施方案中，图4中所示的过程200对多个图像帧操作。例如，面部检测过程204可对在202中捕获的多个泛光IR图像进行操作。在此类实施方案中，如果在所有图像帧中(例如，在所有所捕获的泛光IR图像中)未检测到面部，则可操作图5所示的相机遮挡检测过程206。然后，相机遮挡检测过程206可逐个访问每个图像帧的遮挡分数。然后可对各个遮挡分数进行平均，以确定总体遮挡分数，将该总体遮挡分数与阈值310进行比较，以用于对图像中的遮挡做出决策。如果在任何图像帧中检测到面部，则过程200可继续进行图案检测过程210，如图4所示和下文所述。
在过程200的某些实施方案中，如果通过相机遮挡检测过程206确定有遮挡，则在208中，向用户提供通知。给用户的通知可包括例如设备100的显示器108上的通知和/或可听通知。在一些实施方案中，通知可提示用户存在需要移除的遮挡。遮挡通知可包括关于设备的被遮挡的部分的信息。例如，如果相机遮挡检测过程206确定有遮挡，则可通知用户相机102被遮挡。应当注意，也可通过相机遮挡检测过程206检测泛光照明器105A的遮挡。在某些实施方案中，如果通过相机遮挡检测过程206确定没有遮挡，则过程200在202中重新开始而不向用户提供任何通知。如果没有向用户提供通知，则过程200可在没有任何用户输入的情况下自动重新开始。
在某些实施方案中，如图4所示，如果面部检测过程204检测到面部(例如，在202中捕获的任何泛光IR图像中检测到面部)，则过程200继续进行图案检测过程210。图8示出了图案检测过程210的实施方案的流程图。在某些实施方案中，图案检测过程210对在202中捕获的图案化照明图像进行操作(例如，在用图案化IR照明(诸如斑点图案IR照明)照明被摄体时捕获的图像)。在一些实施方案中，在面部检测过程204之前，将图案化照明图像与一个或多个泛光IR图像一起捕获。在一些实施方案中，在面部检测过程204在泛光IR图像中检测到面部之后捕获图案化照明图像。
在某些实施方案中，将图案化照明图像作为图像输入350提供给图案检测过程210。图案化照明图像可以是基于照明投射于其上的特征而在图像中的特征之间(例如，点或斑点之间)具有变化的间距的二维图像。在352中，图案检测过程可尝试评估图案化照明图像中的深度信息。可通过将图案化照明图像与参考图案354进行比较来评估深度信息。参考图案354可以是由图案照明器(例如，照明器105B)生成的已知配置和点图案。可通过与参考图案354进行比较以评估所捕获的图像中的特征(例如，点或斑点)的间距来内插所捕获的图案化照明图像中的深度。
在356中，图案检测过程可评估在352中评估的深度信息是否超过最小阈值358(例如，在图像输入350中检测到最小量的深度信息)。在一些实施方案中，最小阈值358可为图案化照明图像(图像输入350)中所需的用于正确评估来自图案化照明图像的深度图图像数据的最小图案。例如，最小阈值358可为在图案化照明图像中提供来自图像的可用深度信息所需的深度样本的最小数量。
如果在356中满足最小阈值，则图案检测过程可输出在360中检测到图案。如果在356中不满足最小阈值，则图案检测过程可输出在362中未检测到图案。在某些实施方案中，当图案照明器(例如，照明器105B)被物体(例如，用户的手指或手)遮挡或遮蔽时，图案检测过程210不满足最小阈值。由于面部检测过程204已经检测到面部，因此相机102可能没有被遮挡或遮蔽，从而能在所捕获的图像中看到用户的面部，因此，缺少图案检测可指示照明器105B至少部分地被遮挡。
如图4所示，在过程200中，如果图案检测过程210检测到图案，则过程200继续进行图9所示的面部识别认证过程250。如果图案检测过程210未检测到图案(例如，未检测到最小图案)，则可在208中提供用户通知。用户通知可包括设备100的显示器108上的通知和/或可听通知。在一些实施方案中，该通知可通知用户存在需要移除的遮挡。遮挡通知可包括相机和/或照明器周围的区域被遮挡的通知。例如，如果图案检测过程210确定有遮挡，则可通知用户照明器被遮挡。
在某些实施方案中，在208中提供通知(由于相机遮挡检测过程206或图案检测过程210)之后，过程200可丢弃在此之前捕获的任何解锁尝试图像(例如，由面部检测过程204、相机遮挡检测过程206和/或图案检测过程210处理的图像)。在丢弃解锁尝试图像之后，过程200可通过在202中捕获新的解锁尝试图像来重新开始。过程200可自动或在用户输入之后(例如，在用户确认通知之后)重新开始。
在一些实施方案中，设备100包括接近传感器107，如图1所示。接近传感器107可被定位成接近设备100上的相机102，被包括以作为相机102的一部分。接近传感器107可检测物体(例如，用户的面部或手)是否靠近设备100。接近传感器107可检测距设备100接近范围之内的物体。例如，接近传感器107可检测距设备100约2cm到约3cm之内的物体。
如图4所示，来自接近传感器107的输出可在过程200中作为接近传感器检测212提供。可以向用户通知208提供接近传感器检测输出。在某些实施方案中，用户通知208包括通知用户在设备100附近检测到物体(由接近传感器107检测到)，并且为了使过程200(例如，面部识别过程)继续进行，需要移动该物体。在一些实施方案中，当接近传感器107在设备100附近检测到物体时，可停止过程200。
如本文所述，用户通知208可包括由相机遮挡检测过程206、图案检测过程210和/或接近传感器检测212所得的通知。在一些实施方案中，用户通知208可包括提供来自这些过程的通知的组合(例如，来自各个过程的多个通知)。在一些实施方案中，用户通知208可包括在输入之后提供来自这些过程中的任何一个过程的有遮挡的单个通知。例如，可将用户通知208提供为简单通知，即有物体遮挡设备100，无法捕获适于面部识别的图像。向用户提供设备有遮挡的通知可为用户提供更令人满意的用户体验。例如，通知用户有遮挡可向用户提供反馈，该反馈可防止用户在面部识别过程不能正常工作时变得沮丧。
图9示出了面部识别认证过程250的实施方案的流程图。如图4所示，面部识别认证过程250可在图案检测过程210检测到图案之后操作。如上所述，图7中所示的在202中捕获的解锁尝试图像可包括泛光IR图像和图案化照明图像的组合(例如，泛光IR图像和图案化照明图像对)。可将在202中捕获的解锁尝试图像作为图像输入252提供给面部识别认证过程250。
在某些实施方案中，如图9所示，与对应于泛光IR数据的模板(例如，用于泛光IR注册图像的模板)相关联地处理来自在202中捕获的解锁尝试图像的泛光IR图像。路径“A”可以是在过程250中针对泛光IR图像的路径。可以与对应于图案化照明图像数据的模板(例如，用于图案化照明或深度图注册图像的模板)相关联地处理从在202中捕获的解锁尝试图像产生的图案化照明图像。路径“B”可以是在过程250中针对图案化照明图像的路径。
在254A中，对来自图像输入252的泛光IR图像进行编码，以将用户的泛光(例如，二维)面部特征定义为特征空间中的一个或多个特征矢量。泛光特征矢量256A可以是在254A中对泛光IR图像进行的编码的输出。类似地，在254B中，可对来自图像输入252的图案化照明图像进行编码，以将用户的深度图(例如三维)面部特征定义为特征空间中的一个或多个特征矢量。深度图特征矢量256B可以是在254B中对图案化照明图像进行的编码的输出。
在某些实施方案中，在258A中，将泛光特征矢量256A与泛光IR模板空间259A的模板中的特征矢量进行比较，以获得泛光IR图像的匹配分数260A。在258B中，可将深度图特征矢量256B与深度图模板空间259B的模板中的特征矢量进行比较，以获得解锁尝试图像中的深度图图像数据的匹配分数260B。在某些实施方案中，泛光IR模板空间259A和深度图模板空间259B包括用于设备100上的授权用户的注册配置文件的模板(例如，在注册过程期间生成的模板)。匹配分数260A可为泛光特征矢量256A和泛光IR模板空间259A中的特征矢量(例如，在注册过程期间生成的授权用户的泛光特征矢量)之间的差异的分数。匹配分数260B可为深度图特征矢量256B和深度图模板空间259B中的特征矢量(例如，在注册过程期间生成的授权用户的深度图特征矢量)之间的差异的分数。当泛光特征矢量256A和/或深度图特征矢量256B更靠近(例如，距离更小或差异更小)泛光IR模板空间259A和/或深度图模板空间259B中的特征矢量时，匹配分数260A和/或匹配分数260B可更高。
在一些实施方案中，将特征矢量与来自模板空间的模板进行比较以获得对应的匹配分数包括使用一个或多个分类器或具有分类能力的网络对所生成特征矢量和来自模板空间的特征矢量之间的差异进行分类和评估。可被使用的不同分类器的示例包括但不限于线性、分段线性、非线性分类器、支持矢量机和神经网络分类器。在一些实施方案中，使用特征矢量(例如，特征矢量256A或特征矢量256B)与来自模板空间(例如，分别为模板空间259A或模板空间259B)的模板之间的距离分数，来评估匹配分数260A和/或匹配分数260B。
在某些实施方案中，组合匹配分数260A和匹配分数260B以生成匹配分数260。在一些实施方案中，匹配分数260A和匹配分数260B可被平均以生成匹配分数260(例如，每个匹配分数260A和260B提供匹配分数260的50％)。在一些实施方案中，对匹配分数260A进行加权，以提供对匹配分数260的更多贡献。在一些实施方案中，匹配分数260A可被用作匹配分数260。例如，如果匹配分数260A高于阈值，匹配分数260A可被用作匹配分数260，该阈值在解锁尝试图像中的用户与授权(例如，注册)用户之间提供高置信度的匹配。
在262中，将匹配分数260与针对设备100的解锁阈值264进行比较。解锁阈值264可表示设备100要求的授权用户的面部和解锁尝试图像中的用户的面部之间的特征(由特征矢量定义的)的最小差异(例如，特征空间中的距离)，以便对设备进行解锁(或对设备上的特征进行解锁)。例如，解锁阈值264可为确定解锁特征矢量(例如，特征矢量256)是否与和授权用户的面部相关联的模板(例如，模板空间中的模板)足够类似(例如，足够接近)的阈值。在某些实施方案中，在制造期间和/或由设备100的固件来设定解锁阈值264。在一些实施方案中，如本文所述，在设备的操作期间，解锁阈值264由设备100更新(例如，调节)。
如图7所示，在262中，如果匹配分数260高于解锁阈值264(即，解锁尝试图像中的用户的面部基本上匹配授权用户的面部)，则将解锁尝试图像中的用户认证为设备100上的注册配置文件的授权用户并在266中对设备进行解锁。在某些实施方案中，在266中解锁设备100包括允许用户访问并使用设备(例如，对设备进行解锁)和/或允许用户具有对设备的选择的功能的访问权限(例如，对在设备上运行的应用的功能进行解锁，支付系统(即，进行支付)，访问个人数据，通知的扩展视图等)。
在262中，如果匹配分数260低于解锁阈值264(例如，不等于或高于解锁阈值)，则在268中不对设备100进行解锁(例如，设备保持锁定)。应当注意，如果匹配分数260等于解锁阈值264，根据解锁阈值的期望设置(例如，更紧或更松的限制)，则可对设备100进行锁定或解锁。此外，对于本文描述的其他实施方案，也可根据需要应用针对相等匹配分数比较的任一选项。
在某些实施方案中，在270中将解锁尝试与阈值进行比较。该阈值可为例如允许的最大解锁尝试次数或用于解锁尝试的最大分配时间。在某些实施方案中，对解锁尝试的次数(例如，利用在252中捕获的不同解锁尝试图像尝试对设备100进行解锁的次数)进行计数并将解锁尝试的次数与允许的最多解锁尝试次数进行比较。
在某些实施方案中，如果解锁尝试达到阈值(例如，解锁尝试次数达到允许的最多尝试次数)，则在272中，设备100被锁定而无法进一步尝试使用面部认证。在一些实施方案中，当在272中锁定设备时，可(例如，在显示器108上)显示用于指示面部识别认证过程250(或过程200)已失败和/或设备100的期望操作被限制或阻止执行的错误消息。在指定的时间段内可在272中锁定设备100而无法进一步尝试使用面部认证，和/或直到使用另一种认证协议对设备进行解锁。例如，解锁选项274可包括使用另一认证协议来解锁设备100。
解锁选项274可以包括向用户呈现一个或多个选项，以用于进行不同类型的认证，从而对设备100上的特征进行解锁或访问(例如，向用户呈现进行第二认证协议的选项)。呈现选项可包括例如在设备100的显示器108上显示一个或多个选项，并通过听觉和/或视觉通信提示用户选择所显示的选项中的一个选项，以继续进行对设备的解锁或对设备上的特征的访问。用户然后可使用所选择的选项并根据需要遵循附加听觉和/或视觉提示来继续进行对设备100的解锁/访问。在使用所选择的选项成功认证之后，可允许对设备100进行解锁/访问的用户的初始请求。解锁选项274可包括但不限于使用密码、口令、图案输入、不同形式的生物识别认证或另一种认证协议来对设备100进行解锁。在一些实施方案中，解锁选项274包括提供“用户密码/口令/图案”示能表示，该示能表示在被选择时，使得显示密码/口令/图案输入用户界面或密码/口令/图案输入用户界面或“用户指纹”提示，该提示在被显示时，提示用户在设备的指纹传感器上放置手指。
如果在270中解锁尝试低于阈值(例如，解锁尝试次数低于允许的最多尝试次数)，则过程200(图4中所示)可再次运行(重新发起)，以在202中捕获的用户的新解锁尝试图像开始。在一些具体实施中，设备100自动捕获用户面部的新解锁尝试图像而不提示用户(例如，新图像的捕获被自动实现和/或向用户隐藏)。在一些具体实施中，设备100(在视觉上和/或听觉上)通知用户过程200正在重新发起。在一些实施方案中，设备100可提示用户提供输入以重新发起过程200。例如，可(在视觉上和/或听觉上)提示用户已收到或以其他方式确认重新发起过程200的尝试。
在某些实施方案中，可由执行被存储在非暂态计算机可读介质上的指令的一个或多个处理器(例如，计算机处理器)来执行本文所述的一个或多个过程步骤。例如，图4、图5、图8和图9中所示的面部识别过程200、相机遮挡检测过程206、图案检测过程210和面部识别认证过程250可具有由执行作为程序指令被存储在计算机可读存储介质(例如，非暂态计算机可读存储介质)中的指令的一个或多个处理器来执行的一个或多个步骤。
图10示出了示例性计算机系统510的一个实施方案的框图。示例性计算机系统510可用于实施本文所述的一个或多个实施方案。在一些实施方案中，计算机系统510能够由用户操作以实施本文描述的一个或多个实施方案，诸如图4、图5、图8和图9中所示的面部识别过程200、相机遮挡检测过程206、图案检测过程210和面部识别认证过程250。在图10的实施方案中，计算机系统510包括处理器512、存储器514和各种外围设备516。处理器512耦接到存储器514和外围设备516。处理器512被配置为执行可处于软件中的指令，包括用于面部识别过程200、相机遮挡检测过程206、图案检测过程210和/或面部识别认证过程250的指令。在各种实施方案中，处理器512可实现任何期望的指令集(例如，Intel架构-32(IA-32，也被称为x86)、IA-32(具有64位扩展)、x86-64、PowerPC、Sparc、MIPS、ARM、IA-64等)。在一些实施方案中，计算机系统510可包括多于一个处理器。此外，处理器512可包括一个或多个处理器或一个或多个处理器内核。
处理器512可以任何期望的方式而被耦接到存储器514和外围设备516。例如，在一些实施方案中，处理器512可经由各种互连件而被耦接到存储器514和/或外围设备516。另选地或除此之外，可使用一个或多个桥接芯片来耦接处理器512、存储器514和外围设备516。
存储器514可包括任何类型的存储器系统。例如，存储器514可包括DRAM，并且更具体地包括双倍数据速率(DDR)SDRAM、RDRAM等。可包括存储器控制器以与存储器514接口连接，并且/或者处理器512可包括存储器控制器。存储器514可存储在使用期间由处理器512执行的指令，以及在使用期间由处理器操作的数据等。
外围设备516可表示可被包括在计算机系统510中或与其耦接的任何种类的硬件设备(例如，存储设备，任选地包括图11所示的计算机可访问存储介质600、其他输入/输出(I/O)设备诸如视频硬件、音频硬件、用户界面设备、联网硬件等)。
现在转向图11，即计算机可访问存储介质600的一个实施方案的框图，其包括表示集成电路设计中包括的设备100(图1中所示)的一个或多个数据结构，以及表示面部识别过程200、相机遮挡检测过程206、图案检测过程210和/或面部识别认证过程250(图4、图5、图8和图9中所示)的一个或多个代码序列。每个代码序列可包括在由计算机中的处理器执行时实施针对对应的代码序列所述的操作的一个或多个指令。一般来讲，计算机可访问存储介质可包括在使用期间能够被计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质可包括非暂态存储介质诸如磁性介质或光学介质，例如磁盘(固定的或可移动的)、磁带、CD-ROM、DVD-ROM、CD-R、CD-RW、DVD-R、DVD-RW或蓝光。存储介质还可包括易失性或非易失性存储器介质，诸如RAM(例如，同步动态RAM(SDRAM)、RambusDRAM(RDRAM)、静态RAM(SRAM)等)、ROM或闪存存储器。存储介质可被物理地包括在存储介质将指令/数据提供至其的计算机中。另选地，存储介质可连接至计算机。例如，存储介质可通过网络或无线链路诸如网络附接存储装置而被连接至计算机。存储介质可通过外围接口诸如通用串行总线(USB)而被连接。一般来讲，计算机可访问存储介质600可以非暂态方式存储数据，其中在该上下文中非暂态可以指不通过信号传输指令/数据。例如，非暂态存储装置可为易失性的(并且响应于断电而可能会丢失所存储的指令/数据)或为非易失性的。
如本文所述，本技术的一个方面在于采集和使用得自特定和合法来源的数据，以改进向用户递送其可能感兴趣的启发内容或任何其他内容。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。对于图像数据，个人信息数据可以仅包括来自用户的图像而不是图像本身的数据。
本公开认识到在本技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可以用于控制使用面部识别解锁和/或授权设备。因此，使用此类个人信息数据使得能够计算出对设备访问的控制。此外，本公开还设想了有益于用户的个人信息数据的其他用途。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问，并应当随数据的采集和/或使用变化而被更新。用户的个人信息应被采集仅用于合法使用。另外，此类采集/共享应只发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，以安全防护和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对被采集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的考虑因素。例如，在美国，对某些健康数据的收集或访问可能受联邦和/或州法律(诸如健康保险携带和责任法案(HIPAA))的管辖；而其他国家/地区的健康数据可能受到其他法规和政策的约束并应相应处理。
不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开设想可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，诸如就广告递送服务而言，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用程序时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应以一定方式管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可使风险最小化。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别采集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可基于汇集的非个人信息数据或绝对最低数量的个人信息，诸如仅在用户设备上处理的内容或可用于内容递送服务的其他非个人信息，来选择内容并递送给用户。
根据本说明书，对本公开所描述的实施方案的各个方面的其他修改和替代实施方案对于本领域的技术人员而言将为显而易见的。因此，将本说明书理解为仅为例示性的并且用于教导本领域的技术人员实施这些实施方案的一般方式。应当理解，本文所示和所述的实施方案的形式将被当作目前优选的实施方案。元素与材料可被本文所示和所述的那些元素与材料替代，可反转部件和工艺，并且可独立地利用这些实施方案的某些特征，在受益于本说明书之后，所有这些对于本领域的技术人员而言都将为显而易见的。可在不脱离以下权利要求书的实质和范围的情况下对本文所述的元素作出修改。

Claims (18)

1.一种用于面部识别过程期间的遮挡检测的方法，包括：
使用位于设备上的相机来捕获图像，所述设备包括计算机处理器和存储器，其中所捕获的图像包括在利用位于所述设备上的照明器照明时捕获的图像；以及
评估所捕获的图像以确定在所捕获的图像中是否存在面部；
响应于确定在所捕获的图像中不存在面部，所述方法还包括：
生成所捕获的图像的低分辨率图像表示，其中所述低分辨率图像表示被分成多个区域，并且其中所述低分辨率图像表示中区域的数量少于所捕获的图像中像素的数量；
确定所述低分辨率图像表示中个体区域的个体遮挡概率；
根据所确定的个体区域的个体遮挡概率来评估所述低分辨率图像表示的总体遮挡分数；以及
响应于所述总体遮挡分数高于预定阈值，向用户提供所述设备被遮挡的通知。
2.根据权利要求1所述的方法，其中通过以下方式评估所述总体遮挡分数：确定具有高于预定值的个体遮挡概率的区域的数量；以及将具有高于所述预定值的个体遮挡概率的区域的数量除以所述低分辨率图像表示中区域的数量。
3.根据权利要求2所述的方法，其中所述预定阈值包括所述低分辨率图像表示中区域的数量的30％具有高于所述预定值的个体遮挡概率。
4.根据权利要求1所述的方法，其中个体区域的个体遮挡概率是所述个体区域中遮挡概率的数值表示，所述方法还包括使用在计算机处理器上运行的机器学习算法来确定所述低分辨率图像表示中个体区域的遮挡概率的所述数值表示，其中所述机器学习算法已经被训练来确定所述个体区域中的所述数值表示。
5.根据权利要求1所述的方法，其中给所述用户的所述通知包括以下的至少一个：所述设备的显示器上的通知和来自所述设备的所述设备被遮挡的可听通知。
6.根据权利要求1所述的方法，还包括在向所述用户提供所述通知之后使用所述相机捕获附加图像，并且评估所述附加图像以确定在所述附加图像中是否存在面部。
7.根据权利要求1所述的方法，还包括响应于所述总体遮挡分数低于所述预定阈值，使用所述相机捕获附加图像以及评估所述附加图像以确定在所述附加图像中是否存在面部。
8.根据权利要求1所述的方法，其中评估所捕获的图像以确定在所捕获的图像中是否存在面部包括：
对所捕获的图像进行编码以针对所捕获的图像生成特征矢量；
评估所述特征矢量以在所捕获的图像中检测面部；以及
提供指示在所捕获的图像中存在或不存在面部的输出。
9.一种用于面部识别过程期间的遮挡检测的设备，包括：
相机；
至少一个照明器，所述至少一个照明器提供红外照明；
电路，所述电路耦接到所述相机和所述照明器，其中所述电路被配置为：
使用所述相机捕获图像，其中所捕获的图像包括在利用提供红外照明的所述照明器照明时捕获的图像；
评估所捕获的图像以确定在所捕获的图像中是否存在面部；
其中所述电路被配置为响应于确定在所捕获的图像中不存在面部：
生成所捕获的图像的低分辨率图像表示，其中所述低分辨率图像表示被分成多个区域，并且其中所述低分辨率图像表示中区域的数量少于所捕获的图像中像素的数量；
确定所述低分辨率图像表示中个体区域的个体障碍概率；
根据所确定的个体区域的个体遮挡概率来评估所述低分辨率图像表示的总体遮挡分数；并且
响应于所述总体遮挡分数高于预定阈值，向用户提供所述设备被遮挡的通知。
10.根据权利要求9所述的设备，其中所述至少一个照明器包括泛光红外照明器。
11.根据权利要求9所述的设备，其中所述设备包括显示器，并且其中给所述用户的所述通知包括所述设备的所述显示器上的通知。
12.根据权利要求9所述的设备，其中给所述用户的所述通知包括来自所述设备的指示所述设备被遮挡的可听通知。
13.根据权利要求9所述的设备，还包括所述设备上的接近传感器，其中所述接近传感器被配置为检测所述设备附近的物体，并且其中所述电路被配置为响应于所述接近传感器检测到所述设备附近的所述物体而向所述用户提供所述通知。
14.一种用于面部识别过程期间的遮挡检测的方法，包括：
使用位于设备上的相机捕获第一图像，所述设备包括计算机处理器和存储器，其中所述第一图像包括在利用来自所述设备的泛光照明进行照明时捕获的图像；
使用所述相机捕获第二图像，其中所述第二图像包括在利用来自所述设备的图案化照明进行照明时捕获的图像；
评估所述第一图像以确定在所述第一图像中是否存在面部；
响应于确定在所述第一图像中存在面部：
评估所述第二图像中的深度信息；
响应于所述第二图像中的所评估的深度信息低于最小深度信息阈值，向用户提供所述设备被遮挡的通知；以及
响应于所述第二图像中的所评估的深度信息高于所述最小深度信息阈值：
对所述第一图像进行编码以生成至少一个第一特征矢量，其中所述第一特征矢量表示所述第一图像中的所述用户的一个或多个泛光红外面部特征；
对所述第二图像进行编码以生成至少一个第二特征矢量，其中所述第二特征矢量表示所述第二图像中的所述用户的一个或多个深度图红外面部特征；
将所述第一特征矢量与存储在所述设备的所述存储器中的一个或多个第一参考模板进行比较，以获得第一匹配分数；
将所述第二特征矢量与存储在所述设备的所述存储器中的一个或多个第二参考模板进行比较，以获得第二匹配分数；
根据所述第一匹配分数和所述第二匹配分数评估第三匹配分数；以及
响应于所述第三匹配分数高于解锁阈值，授权所述用户在所述设备上执行需要认证的至少一个操作。
15.根据权利要求14所述的方法，其中评估所述第二图像中的深度信息包括将所述第二图像中的图案与从所述设备提供的所述图案化照明的参考图案进行比较。
16.根据权利要求14所述的方法，其中所述最小深度信息阈值包括所述第二图像中评估所述第二图像中的所述面部的特征所需的深度信息的最小量。
17.根据权利要求14所述的方法，其中给所述用户的所述通知包括在所述设备上的照明器被遮挡的通知。
18.根据权利要求14所述的方法，其中响应于确定在所述第一图像中存在所述面部而捕获所述第二图像。
CN201910868275.XA 2018-09-28 2019-09-16 面部识别过程期间的遮挡检测 Active CN110968855B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862738160P 2018-09-28 2018-09-28
US62/738,160 2018-09-28
US16/549,009 2019-08-23
US16/549,009 US11367305B2 (en) 2018-09-28 2019-08-23 Obstruction detection during facial recognition processes

Publications (2)

Publication Number Publication Date
CN110968855A CN110968855A (zh) 2020-04-07
CN110968855B true CN110968855B (zh) 2023-09-12

Family

ID=69947799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910868275.XA Active CN110968855B (zh) 2018-09-28 2019-09-16 面部识别过程期间的遮挡检测

Country Status (2)

Country Link
US (1) US11367305B2 (zh)
CN (1) CN110968855B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885363B2 (en) * 2018-10-25 2021-01-05 Advanced New Technologies Co., Ltd. Spoof detection using structured light illumination
US11170242B2 (en) 2018-12-26 2021-11-09 Advanced New Technologies Co., Ltd. Spoof detection using dual-band fluorescence
US10970574B2 (en) 2019-02-06 2021-04-06 Advanced New Technologies Co., Ltd. Spoof detection using dual-band near-infrared (NIR) imaging
EP3706270B1 (en) * 2019-03-07 2022-06-29 ABB Schweiz AG Artificial intelligence monitoring system using infrared images to identify hotspots in a switchgear
EP3706269B1 (en) * 2019-03-07 2022-06-29 ABB Schweiz AG Artificial intelligence monitoring system using infrared images to identify hotspots in a switchgear
US11328043B2 (en) 2019-03-15 2022-05-10 Advanced New Technologies Co., Ltd. Spoof detection by comparing images captured using visible-range and infrared (IR) illuminations
WO2020210737A1 (en) * 2019-04-10 2020-10-15 Palmer Francis R Method and apparatus for facial verification
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
US11175714B2 (en) * 2019-12-28 2021-11-16 Intel Corporation Detection of user-facing camera obstruction
EP3933675B1 (en) * 2020-06-30 2023-11-22 Beijing Xiaomi Pinecone Electronics Co., Ltd. Method and apparatus for detecting finger occlusion image, and storage medium
US11935322B1 (en) 2020-09-14 2024-03-19 Apple Inc. Obstruction-sensitive white point determination using face information
CN111935469B (zh) * 2020-09-27 2021-03-26 深圳市当智科技有限公司 投影机安全工作方法和投影机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
WO2015113479A1 (zh) * 2014-01-28 2015-08-06 北京中科虹霸科技有限公司 一种具有人机交互机制的移动终端虹膜识别装置和方法
US9123272B1 (en) * 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
CN105122794A (zh) * 2013-04-02 2015-12-02 谷歌公司 相机遮挡检测
CN108171182A (zh) * 2017-12-29 2018-06-15 广东欧珀移动通信有限公司 电子装置、人脸识别方法及相关产品
US10073541B1 (en) * 2012-06-22 2018-09-11 Amazon Technologies, Inc. Indicators for sensor occlusion

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801642B2 (en) * 2002-06-26 2004-10-05 Motorola, Inc. Method and apparatus for limiting storage or transmission of visual information
WO2005098366A1 (ja) * 2004-03-31 2005-10-20 Pioneer Corporation 経路案内システム及び方法
US7551754B2 (en) * 2006-02-24 2009-06-23 Fotonation Vision Limited Method and apparatus for selective rejection of digital images
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP4768846B2 (ja) * 2009-11-06 2011-09-07 株式会社東芝 電子機器及び画像表示方法
KR101241625B1 (ko) 2012-02-28 2013-03-11 인텔 코오퍼레이션 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9092657B2 (en) * 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
US9813600B2 (en) * 2014-04-08 2017-11-07 Microsoft Technology Licensing, Llc Multi-camera view selection based on calculated metric
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
JP6613740B2 (ja) 2015-09-09 2019-12-04 富士通コネクテッドテクノロジーズ株式会社 表示制御装置、表示制御方法および表示制御プログラム
US10043058B2 (en) 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10204262B2 (en) * 2017-01-11 2019-02-12 Microsoft Technology Licensing, Llc Infrared imaging recognition enhanced by 3D verification
US10769415B1 (en) * 2017-09-09 2020-09-08 Apple Inc. Detection of identity changes during facial recognition enrollment process
KR102655949B1 (ko) * 2018-05-30 2024-04-09 삼성전자주식회사 3d 영상 기반의 얼굴 인증 방법 및 장치
US10303866B1 (en) * 2018-06-03 2019-05-28 Apple Inc. Automatic retries for facial recognition
WO2019233199A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 验证方法、验证装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US9123272B1 (en) * 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9177130B2 (en) * 2012-03-15 2015-11-03 Google Inc. Facial feature detection
US10073541B1 (en) * 2012-06-22 2018-09-11 Amazon Technologies, Inc. Indicators for sensor occlusion
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
CN105122794A (zh) * 2013-04-02 2015-12-02 谷歌公司 相机遮挡检测
WO2015113479A1 (zh) * 2014-01-28 2015-08-06 北京中科虹霸科技有限公司 一种具有人机交互机制的移动终端虹膜识别装置和方法
CN108171182A (zh) * 2017-12-29 2018-06-15 广东欧珀移动通信有限公司 电子装置、人脸识别方法及相关产品

Also Published As

Publication number Publication date
CN110968855A (zh) 2020-04-07
US11367305B2 (en) 2022-06-21
US20200104567A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN110968855B (zh) 面部识别过程期间的遮挡检测
CN110889320B (zh) 眼周面部识别切换
CN110555359B (zh) 面部识别的自动重试
CN212846789U (zh) 电子设备
US10430645B2 (en) Facial recognition operations based on pose
CN111066025B (zh) 用于困难生物识别认证情况的静脉匹配
CN110895689B (zh) 用于面部识别认证的混合模式照明
US11113510B1 (en) Virtual templates for facial recognition
US20190080149A1 (en) Occlusion detection for facial recognition processes
US11119638B2 (en) Using face detection to update user interface orientation
KR102564951B1 (ko) 얼굴 인식의 다수의 등록들
AU2020100218A4 (en) Process for updating templates used in facial recognition
US11935327B1 (en) On the fly enrollment for facial recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant