CN111566663B - 用于光学脸部识别的多区域照明 - Google Patents
用于光学脸部识别的多区域照明 Download PDFInfo
- Publication number
- CN111566663B CN111566663B CN202080001118.XA CN202080001118A CN111566663B CN 111566663 B CN111566663 B CN 111566663B CN 202080001118 A CN202080001118 A CN 202080001118A CN 111566663 B CN111566663 B CN 111566663B
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- different
- pattern
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Collating Specific Patterns (AREA)
Abstract
一种用于感测人脸以进行用户识别和认证的光学传感器模块,其中,提供了脸部照明模块,以使用以规则阵列图案布置的多个脸部照明光源的阵列来产生可以是诸如红外光等不可见光的照明光,和光学衍射元件以使其定位成接收来自该多个脸部照明光源的照明光束并将来自该阵列中每个脸部照明光源的每个照明光束转换成包含多个照明光斑的图案化光束。
Description
优先权要求和相关申请
本专利文件要求申请人深圳市汇顶科技股份有限公司于2019年3月26日提交的申请号为62/824,226、发明名称为“用于光学脸部识别的多区域照明”的美国申请的优先权和权益,其全部公开内容通过引用并入本专利文件的一部分。
技术领域
本专利文件涉及电子设备或系统中人脸的光学感测,电子设备或系统包括移动设备或可穿戴设备等便携式设备和更大的系统。
背景技术
各种传感器可以在电子设备或系统中实现,以提供某些期望的功能。对计算机和计算机控制的设备或系统的安全访问的需求不断增长,该计算机和计算机控制的设备或系统只有授权用户才能被识别并且与非授权用户区分开。
例如,移动电话、数码相机、平板PC、笔记本电脑和其他便携式电子设备在个人、商业和政府的使用中越来越普及。供个人使用的便携式电子设备可以配备有一个或多个安全机制以保护用户的隐私。
再如,用于组织或企业的计算机或计算机控制的设备或系统可以被保护为仅允许授权人员访问,以保护用于该组织或企业的设备或系统的信息或使用。
存储在便携式设备和计算机控制的数据库、设备或系统中的信息可以具有应当被保护的某些特性。例如,存储的信息可以实质上是个人信息,如个人联系人或电话簿、个人照片、个人健康信息或其他个人信息,或是由组织或企业专有使用的机密信息,如商业财务信息、雇员数据、商业秘密以及其他专有信息。如果访问电子设备或系统的安全性受到损害,数据可能会被未经授权获得访问的其他人访问,造成个人隐私的丧失或有有价值的机密信息的丢失。除了信息的安全性之外,对计算机和计算机控制的设备或系统的安全访问还允许保障由计算机或计算机处理器控制的设备或系统,例如计算机控制的汽车以及ATM等其他系统的使用。
对移动设备等设备或电子数据库和计算机控制的系统等系统的安全访问可以以不同方式来实现,例如使用用户密码。然而,密码可以容易地被传播或获取,密码的这种性质会降低安全水平。此外,用户需要记住密码才能使用受密码保护的电子设备或系统,如果用户忘记密码,则用户需要采取某些密码恢复程序来获得认证或以其他方式重新获取对设备的访问。遗憾的是,在各种情况下,这些密码恢复流程可能对用户来说是负担,并且具有各种实际的限制和不便。
个人识别可以基于指纹、用于脸部识别的脸部特征和其他个人特征,以实现用户认证,进而增强数据安全性,同时减轻与密码相关联的某些不期望的影响。
包括便携式或移动计算设备的电子设备或系统可以使用用户认证机制来保护个人或其他机密数据,并且防止未经授权的访问。电子设备或系统上的用户认证可以通过生物识别的一种或多种形式来执行,这种生物识别可以单独使用或与常规的密码认证方法结合使用。
发明内容
本专利文献中描述的传感器技术和传感器技术的实现示例提供了一种用于感测人脸以进行用户识别和认证的光学传感器模块,其中,提供了脸部照明模块,以使用以规则阵列图案布置的多个脸部照明光源的阵列来产生可以是诸如红外光等不可见光的照明光,和光学衍射元件以使其定位成接收来自该多个脸部照明光源的多个照明光束并将来自该阵列中的每个脸部照明光源的每个照明光束转换成包含多个照明光斑的图案化光束。在一些实现方式中,该光学衍射元件包括不同相邻区域具有不同相位延迟的掩模,以使多个照明光斑在空间上分布为在每个局部区域中具有不同于其他局部区域的多个光斑的唯一局部图案。
一方面,所公开的技术可以实现为提供一种包括能够通过光学感测检测人脸以保护对系统的访问的硬件的系统。该系统包括:周期阵列,其包括多个脸部照明光源,该多个脸部照明光源布置在彼此不同的位置,每个脸部照明光源可操作以产生脸部照明光束并且包括光学投影装置,该光学投影装置沿着与相邻的脸部照明光源的脸部照明方向不同的脸部照明方向投射该脸部照明光束;和衍射光学元件,其构造成包括不同区域光学厚度值不同的阵列,该阵列透射光并且位于该多个脸部照明光束的光路中,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,使得来自该包括多个脸部照明光源的周期阵列的不同脸部照明光束被该衍射光学元件沿不同的照明方向转换成不同的图案化脸部照明光束,每个图案化脸部照明光束包括该多个照明光斑的图案,从而照亮人脸,用于光学地检测人脸。该系统还包括脸部成像装置,其相对于该脸部照明源定位,以接收来自人脸的照明光,该人脸被不同的图案化脸部照明光束沿不同的照明方向照亮,该照明光携带该人的脸部形貌信息;脸部成像处理装置,其耦合地接收该脸部成像装置的输出并提取该人的脸部形貌信息以进行脸部识别;以及脸部识别认证处理装置,其耦合地接收所提取的脸部形貌信息,并且可操作为将所提取的脸部形貌信息与授权用户的已知脸部形貌信息进行比较,以确定所提取的脸部形貌信息是否与该授权用户的已知脸部形貌信息匹配。
另一方面,所公开的技术可以实现为提供一种能够通过使用脸部照明源的光学感测检测人脸的电子设备。该脸部照明源包括周期阵列,该周期阵列包括多个脸部照明光源,多个脸部照明光源布置在彼此不同的位置,每个脸部照明光源可操作以产生脸部照明光束并且包括光学投影装置,该光学投影装置沿着与相邻的脸部照明光源的脸部照明方向不同的脸部照明方向投射该脸部照明光束;和衍射光学元件,其构造成包括不同区域光学厚度值不同的阵列,该阵列透射光并且位于该多个脸部照明光束的光路中,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,使得来自该包括多个脸部照明光源的周期阵列的不同脸部照明光束被该衍射光学元件沿不同的照明方向转换成不同的图案化脸部照明光束,每个图案化脸部照明光束包括该多个照明光斑的图案,从而照亮人脸,用于光学地检测人脸。
又一方面,所公开的技术可以实现为提供一种用于通过光学感测检测人脸的方法。该方法包括操作周期阵列中布置在彼此不同位置的多个脸部照明光源,以使每个脸部照明光源产生脸部照明光束;沿着与相邻的脸部照明光源的脸部照明方向不同的指定脸部照明方向投射每个脸部照明光束;操作该多个脸部照明光束的光路中的衍射光学元件,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,实现来自该多个脸部照明光源的沿着不同照明方向的不同的图案化脸部照明光束,从而照亮人脸,用于光学地检测人脸;采集来自该人脸的反射光中的多张图像,这些多张图像通过依次在一个时间开启一个脸部照明光源和在不同时间开启不同的脸部照明光源而依次生成;以及处理采集的该多张图像,以提取该人脸的三维(3-dimensional,3D)脸部特征以进行脸部识别。
这些方面、其他方面以及它们的实现方式将在附图、说明书和权利要求中进行更多详细描述。
附图说明
图1是基于所公开的技术的脸部识别系统的示例的框图。
图2示出了使用包括多个光源的周期阵列和衍射光学元件产生用于光学脸部识别中照明的多个照明光斑的图案的脸部照明光源的示例。
图3示出了针对每个照明光源将光束投射到衍射光学元件的光学投影装置的示例。
图4示出了作为光学相位掩模的衍射光学元件的示例。
图5A示出了使用衍射光学元件产生的多个照明光斑的图案的示例。
图5B示出了通过折叠用于结构化照明光的伪随机序列而构造的2D阵列图案的示例,该2D阵列图案示出了四个具有9×9唯一性窗口的图案的相邻图块。
图6是具有如图1所示的光学脸部ID设备的系统的示例的框图,该光学脸部ID设备用于采集和处理脸部图像并确定输入的脸部图像是否是计算机处理器控制的设备或系统的授权用户的图像。
具体实施方式
电子设备或系统可以配备用户认证机制,以提高访问设备的安全性。这种电子设备或系统可以包括便携式或移动计算设备,例如智能手机、平板电脑、腕戴式设备和其他可穿戴或便携式设备,还包括更大的电子设备或系统,例如便携式或台式的个人计算机、ATM、用于商业或政府用途的各种终端到各种电子系统、数据库或信息系统、以及包括汽车、船、火车、飞机和其他的机动交通系统。
用户认证机制之一是基于人的唯一脸部特征的脸部识别(“脸部ID”)。与基于指纹的二维(2-dimensional,2D)图案的检测和分析的指纹感测设备的一些实现方式不同,脸部ID本质上是三维(3-dimensional,3D)的。这种三维脸部特征的检测具有独特的技术挑战。三维脸部特征的光学检测可以通过使用图1所示的示例示出的光学脸部ID设备100来实现。这种光学脸部ID设备100包括光学脸部ID照明源110,其可以由光源控制器112激活以产生照明光并将照明光投射到人脸上。照明光被设计为具有特殊设计的2D空间变化强度图案的“结构化照明光”,并且可以包括投射到脸上的多个照明光斑的图案,并且这种多个照明光斑的图案的反射由具有光电传感器阵列的脸部成像设装置120检测。提供脸部ID成像处理装置130,以接收由脸部成像装置120采集的图像信息,并处理这种图像信息以提取三维脸部特征以进行脸部识别。提供脸部ID认证处理装置140,以将提取的三维脸部特征与所存储的授权用户的三维脸部特征进行比较,以确定是否存在匹配。耦合到光学脸部ID照明源110的光源控制器112用于激活光学脸部ID照明源110产生照明光。例如,当在某些设计中通过某种方式启动脸部ID操作时,可以完成此操作。
图1的示例中的光学脸部ID照明源110应当提供足够的照明水平,以将预定的光学图案投射到物体的表面上,以对该表面进行足够灵敏的光学三维映射。例如,光学脸部ID照明源110被设计成包括多个单独的照明光源,以分别产生不同的结构化照明光束,这些结构化照明光束被引导到目标脸部或物体上的不同照明区域,以实现目标脸部或物体上相应的不同照明区域处所需的足够的照明水平。该多个照明光源可以以各种形式来实现,例如,多个激光二极管、多个垂直腔表面发射激光器(vertical-cavity surface-emittinglasers,VCSELs)或多个发光二极管(light-emitting diodes,LEDs)。多个照明光源具体地位于不同位置,使得指定位置处的照明光源被指定为照亮目标上的特定指定区域,并且目标上的照明区域与照明光源的位置之间存在一一对应的关系。在这种空间布置下,目标上的每个照明区域与位于光学脸部ID照明源110中的特定位置处的特定照明光源相关联。目标上特定区域的光学照明水平由相应的照明光源的光学输出功率确定,因此不会被多个不同的照明区域共享。来自多个照明光源的光束作为不同的照明光束投射在目标上,以照亮不同的目标区域。组合这些照亮的不同目标区域,以形成由光学脸部ID成像装置120检测的照明图案。通过使用一个照明光源来照亮具有多个分区的整个所需照明区域的一个子区域或“分区”以进行脸部ID检测,允许了相对低功率和相对低成本的光源用于提供足够的照明,并且允许不同的相对低功率和相对低成本的光源用于照亮整个所需照明区域的不同子区域以进行脸部ID检测。
光学脸部ID照明源110可以被设计为实现周期性的照明光源阵列,以方便制造并降低成本。另外,用于产生用于表面或脸部的3-D映射的光学图案的光学设计可以被设计成转换单个照明光束以携带用于3-D映射的照明光斑的光学图案。如下文关于图2A、图2B和图2C所解释,根据目标上的照明区域与照明光源的位置之间的一一对应关系,可以将来自不同光源的不同照明光束组合起来,以照亮待映射的目标表面或脸部。如下文进一步关于图5A和图5B中的示例所解释,在来自多个不同照明光源中的一个特定照明光源照亮的每个照明区域或分区内,基于结构化图案的空间图案内的空间编码,识别同一分区内的不同位置并将其映射到采集图像中。
图2示出了这种光学脸部ID照明源的一个示例,并且包括图2A、图2B和图2C,其示出了如何根据目标上的照明区域与照明光源的位置之间的一一对应关系来映射来自不同光源的不同照明光束的不同视图。图2A示出了在光学脸部ID照明源的示例中的多个VCSEL(或其他多个发光装置)的阵列的俯视图,其中,多个VCSEL以周期性阵列布置,该周期性阵列被示出为沿着两个正交方向或垂直方向的二维阵列。在一个方向上的两个相邻的VCSEL之间的间隔相同,并且可以与在另一个方向上的两个相邻的VCSEL之间的间隔相同或不同。在图2A中,9-VCSEL阵列的示例是矩形阵列,其中沿所示水平方向的间隔或周期比沿垂直方向的间隔或周期长。这种包括多个VCSEL的周期阵列的使用比其他不规则阵列更易于制造,因此可以降低制造成本。
图2A中的周期阵列中的诸如多个VCSEL之类的多个不同发光装置分别用于照亮目标表面或人脸上的不同区域,并且在一些实现方式中,不同的照明区域可以彼此具有一些空间重叠,也可以是分离区域,其中在两个相邻的照明区域之间的边界处,具有最小的重叠。图2A示出了分别通过周期阵列中的9个不同的VCSEL照亮目标表面或人脸上的9个照明区域的示例,其中,每个照明区域被来自特定VCSEL的光照亮,使得一个VCSEL对应于一个指定的照明区域,并且两个不同的VCSEL用于照亮两个不同的照明区域。这些照明区域共同覆盖待光学映射的期望目标表面或人脸。在这种照明设计下,每个VCSEL用于照亮指定的照明区域,以提供足够的光学照明,从而实现用于光学映射所期望的光学检测灵敏度。不同照明光源的光学投影和对准被特别设计,以提供目标上的照明区域与照明光源的位置之间一一对应的关系,使得由图1中的成像装置120采集的图像具有与不同照明光源唯一相关联的子图像区域。
可以对来自每个VCSEL的光束进行光学调制、处理或控制,以携带空间光学图案,例如空间分布的多个照明光斑,从而对该空间光学图案进行投射以照亮待光学映射的目标表面或人脸的各个照明区域。在一些实现方式中,对来自不同VCSEL的不同光束进行光学调制、处理或控制,以携带相同的空间光学图案。这种空间光学图案可以包括在空间光学图案内从一个位置到另一位置的空间变化,使得该空间光学图案内的两个不同位置具有两个不同的局部图案。
返回参考图1,光学脸部ID成像装置120对目标表面或人脸上的该空间光学图案的反射或散射光的光学检测可以使用空间光学图案内从一个位置到另一位置的空间变化来确定反射或散射光的接收部分源自目标表面或人脸的位置。
来自诸如VCSEL等不同光源的不同光束被引导到目标表面或人脸的不同照明区域上的不同照明方向。每个照明区域都与来自包括多个VCSEL的周期阵列中特定的VCSEL且沿唯一已知照明方向的光束唯一相关联。在一些实现方式中,向每个VCSEL提供光学投影装置,以沿着与相邻照明光源的另一照明方向不同的照明方向投射脸部照明光束,并且不同的VCSEL具有其设计的不同的光学投影装置。
图2C示出了三个相邻的VCSEL 1、VCSEL 2和VCSEL 3以及它们各自的光学投影装置沿着第一、第二和第三照明方向将它们的光学照明光束分别投射到目标表面或人脸上的区域1、区域2和区域3的示例。对于每个VCSEL,其光学投影装置被构造和布置为接收其输出光束,并沿着唯一的照明方向投射光束以照亮其指定区域。另外,沿着来自多个VCSEL的光束的光路,提供了衍射光学元件(diffractive optical element,DOE),以使每个光束都通过DOE,并由DOE进行光学改变,以携带具有在空间光学图案内从一个位置到另一位置的空间变化的一般空间光学图案。在一些实现方式中,DOE可以被构造成包括不同区域光学厚度值不同的阵列,该阵列透射光并且位于多个脸部照明光束的光路中以将每个光束转换成图案化脸部照明光束。不同VCSEL中的不同光学投影装置引导来自相邻的不同VCSEL的光束沿着不同的照明方向朝向DOE传播。DOE与光束的相互作用将不同的光束转换成不同的图案化照明光束,以照亮待光学映射的目标表面或人脸的不同区域。
在图2C的示例中,来自第一VCSEL 1的第一光束由放置在第一VCSEL 1的输出处的第一光学投影装置沿着朝向VCSEL 1的右侧的第一照明方向引导到待映射的目标表面或人脸上的区域1,第一VCSEL 1位于第二VCSEL 2和第三VCSEL 3的左侧;来自第二VCSEL 2的第二光束由放置在第二VCSEL 2的输出处的第二光学投影装置沿着第二照明方向朝向区域1左侧的区域2引导,第二VCSEL 2位于左侧的第一VCSEL 1和右侧的第三VCSEL 3之间;以及来自第三VCSEL 3的第三光束由放置在第三VCSEL 3的输出处的第三光学投影装置沿着朝向第三VCSEL 3的左侧的第三照明方向引导到区域2左侧的区域3,第三VCSEL 3位于第二VCSEL 2的右侧。
取决于人脸或目标表面到脸部照明源的距离,待映射的人脸或目标表面上的照明区域可以具有不同的空间关系。在某些情况下,两个相邻的照明区域,区域1和区域2,或区域2和区域3,可以相互连接,但可以分开而不会重叠;在其他情况下,两个相邻的照明区域,区域1和区域2,区域2和区域3,可能会在空间上重叠并相互错位。此外,两个相邻的照明区域,区域1和区域2,区域2和区域3,可以相互分离,其中彼此之间存在间隙,从而使人脸或目标表面上的照明区域显示为孤立的照明斑块。在处理来自图1所示的脸部成像装置120的输出期间,可以处理这些和其他不同的照明条件,以提取人脸或目标表面上照明区域的3-D特征。
图3示出了沿着VCSEL的输出光束的光路,每个VCSEL、对应的光学投影装置以及DOE的相对位置。VCSEL产生的光束被光学投影装置接收,并投射到DOE,并且该投射光束可以被光学准直为所需的光束发散度(例如,如示例所示为20度)。DOE改变投射光束,以产生具有多个照明光斑的空间图案的输出照明光束。光学投影装置可以包括一个或多个透镜,以提供期望的光学准直量,进而设置输出照明光束的期望光束发散度,并且一个或多个透镜可以定向为沿着设计的照明方向朝向DOE引导或操纵投射光束。
DOE可以以各种配置实现,包括例如光学透明板,该光学透明板采用具有不同光学厚度值的不同光学透射区域的阵列来制造,以将光束转换成包括多个照明光斑的图案,这些多个照明光斑在空间上分布为在每个局部区域中具有与该图案中其他局部区域不同的包括多个照明光斑的唯一局部图案。图4示出了这种实现为光学相位掩模的DOE的一部分相邻透射区域,其中,这种透射区域可以是周期阵列形式,其中不同的透射区域具有相同的尺寸,但是具有各自指定的厚度值。VCSEL的输出光具有一定程度的空间光学相干性,并且通过透射区域的光学传输会使得在DOE之前基本均匀的输入光束在穿过DOE之后变成多个照明光斑的图案。也可以使用其他光学DOE实现方式。
图5A示出了在透射穿过DOE之后图案化照明光束中的多个照明光斑的空间图案的示例。该图案由穿过DOE之后的一个照明光束投射到人脸或目标表面上的相应照明区域。图案中的多个照明光斑的位置不同,并且图案中局部区域上的光斑分布图案是唯一的并且不同于图案中其他位置区域中的光斑分布图案。因此,局部图案的检测可以与图案中区域的位置唯一相关联。作为示例,在图5A中的多个图案化照明光斑的示例中,标记了四个不同的局部区域A、B、C和D。每个区域A、B、C和D中多个光斑的空间分布是唯一的,使得区域A、B、C和D中多个光斑的空间分布图案是不同的。这使得在光学感测阵列中一定位置处的局部图案的检测与由图案化光束照亮的人脸或目标表面上的位置相关联。
在本专利文件公开的成像系统中,一个或多个二维成像传感器阵列(例如,在图1中的光学脸部ID成像装置120中)用于采集人脸或目标表面上的照明区域的2-D图像,其中每个传感器阵列具有以二维像素阵列布置的多个成像感测像素。由于使用了本专利文件中公开的结构化照明光,并且基于2D图像传感器和投射结构化照明光的投影仪之间的固定相对位置,可以对这些采集的2D图像进行处理以从2D图像中提取深度信息,进而构造3D脸部特征。如果场景是没有任何3D表面变化的平面,则获取的图像中显示的图案与投射的结构化光图案相似。但是,当场景中的表面是非平面时,该表面的几何形状会使采集到的2D图像中投射的结构化光图案变形。结构化光的3D表面成像技术的原理是基于来自投射的结构化光图案变形的信息提取3D表面形状。场景中物体的准确3D表面轮廓可以通过使用各种结构化光原理和算法来计算。例如,Jason Geng2011年在《光学和光子学进展期刊》中发表的题为“结构化光3D表面成像:教程”的文章(https://www.osapublishing.org/aop/fulltext.cfm?uri=aop-3-2-128&id=211561)以及Vandenhouten等人2017年在SPIE期刊发表的题为“具有光学3D传感器中的衍射光学元件的编码结构化光照明的点图案的设计和质量度量”的文章(https://spie.org/Publications/Proceedings/Paper/10.1117/12.2270248)中公开了一些用于此目的的技术示例,二者均通过引用并入作为本专利文件公开的一部分。对结构化照明光中的图案进行编码,即根据图案的一个小的局部窗口,即唯一性窗口,可以唯一地重建整个光图案中的位置。具有这种唯一性属性的编码图案有时被称作完全子图(Perfect SubMaps,PSM)。
例如,当利用多个光斑的图案编码结构化光时,应当根据一个小的局部子窗口(uxv)唯一地重建整个光图案内的点位置。2D编码图案技术的概念是唯一标记投射图案中的每个子窗口(uxv)。各种方法已经被开发用于生成唯一性子窗口图。作为具体示例,可以通过使用De Bruin序列来实现编码,该De Bruin序列是具有k窗口属性的一维二进制序列,该序列在其长度k的子序列中恰好包含一次每个可能的代码。二维阵列可以由具有平面自相关函数的伪随机序列构造而成。参见,例如MacWilliams等人在1976年IEEE论文集中发表的题为“伪随机序列和阵列”的文章(https://www.semanticscholar.org/paper/Pseudo-random-sequences-and-arrays-MacWilliams-Sloane/3bde34d0e01984dc23d4fb5333a2c7d4f7275010)。2D阵列可以通过折叠伪随机序列来构建。图5B示出了通过折叠用于结构化照明光的伪随机序列而构造的2D阵列图案的示例,该2D阵列图案示出了具有9×9唯一性窗口的图案的四个相邻图块。即使是在图块的边界处,仍满足唯一性条件。
返回参考图1,照明光源中的不同光源(例如,VCSEL)被耦合到照明光源的控制器所控制的不同光源驱动器电路。不同的VCSEL可以控制为依次开启以在一个时间照亮一个照明区域,并按时间依次照亮整个人脸或目标表面,从而完成人脸或目标表面的光学映射。处理图1中的成像装置采集的图像,以从脸部或表面确定这些图像在这些区域的相应来源,并对其处理以提取3-D脸部特征。
在图3的示例中,在半导体衬底上以二维3×3布局布置发光元件阵列,DOE将来自不同VCSEL的光束转换成投影区域上的多个相互相邻的区域,每个区域包含一个点图案的相应副本,例如图5A的示例中所示的图案。图1中的成像装置120可以包括具有多个CMOS成像感测像素的阵列的CMOS相机。在操作中,多个CMOS成像像素依次采集图像并被复位。
对于图2C中的三个相邻的VCSEL,在一些实现方式中可以执行各种顺序的操作。以下是顺序照明操作的示例。首先,开启VCSEL 1以照亮区域1,图1中的CMOS成像装置120采集区域1的图像信号,同时关闭VCSEL 2和VCSEL 3,以便CMOS成像装置120采集区域1和区域2以及其他区域中的背景噪声。接下来,关闭VCSEL 1,CMOS成像装置120将所有区域(区域1、区域2、区域3等)的采集电子信号(例如,来自感测像素的信号电压)移动到其内置存储电路。随后,开启VCSEL 2,同时关闭VCSEL 1和VCSEL3,以执行成像感测。依次对VCSEL3、VCSEL4、VCSEL5、VCSEL6、VCSEL7、VCSEL8和VCSEL9重复此过程。通过在一个时间仅开启一个VCSEL来完成所有区域的成像后,对采集的成像信号进行数字化处理,使得通过合成上述逐个区域顺序成像处理中的数字化图像,采集整个目标表面或脸部,并进行处理以提取人脸或目标表面的3D形貌特征。多个VCSEL可以操作为通过将成像装置与每个VCSEL的脉冲模式操作的开关时钟信号同步,实现在高功率脉冲模式下以所需的高速(例如10-1000Hz)开启和关闭,从而增强脸部ID检测中的信噪比,进而仅检测和采集同一时钟处的信号。该多个VCSEL的这种脉冲模式操作可以减少在连续波模式下操作此类VCSEL的高功率输出时产生的热量。
与使用不规则布置的光源的其他方法相比,上述使用包括多个光源的周期阵列以分别产生多个照明区域的方法实现了简化的照明光源构造,并且还可以使用诸如VCSEL等的每个光源的高功率脉冲操作来实现,以减少用于脸部ID检测的光源的数量,从而降低脸部ID系统的成本。
图6是具有如图1所示的光学脸部ID设备100的系统600的示例的框图,该光学脸部ID设备100用于采集和处理脸部图像并确定输入脸部图像是否是计算机处理器控制的设备或系统610的授权用户的图像。在操作中,由图1所示的脸部ID认证处理装置140控制对设备610的访问。例如,光学脸部ID设备100可以在作为系统610的ATM处实现,以确定请求访问资金或其他交易的客户的脸部ID。基于从光学成像装置120获得的客户脸部图像与储存的脸部ID信息的比较,响应于肯定识别,光学脸部ID设备100可以使得ATM系统610准许用户账户的请求访问,或者响应于否定识别,光学脸部ID设备100可以拒绝访问。又如,设备或系统610可以是智能手机或便携式设备,并且光学脸部ID设备100是集成到设备610的模块。又如,设备或系统610可以是使用光学脸部ID设备100来准许或拒绝进入的设施或家庭的门或安全入口。再如,设备或系统610可以是汽车或其他交通工具,其使用光学脸部ID设备100链接到发动机的启动,并识别人是否被授权操作汽车或交通工具。在一些实现方式中,可以可选地与光学脸部ID设备100一起提供指纹传感器系统620,以在访问系统时提供用户选项,或者需要脸部ID和指纹ID两者来访问系统或设备610。
虽然本专利文件包含许多细节,但是不应将这些细节解释为对任何发明或可要求保护的范围的限制,而应解释为对特定发明的特定实施例的特有的特征的描述。在单独实施例的上下文景中描述的本专利文件的某些特征也可以以组合的形式在单个实施例中实现。相反,在单个实施例的上下文中描述的各种特征还可以在多个实施例中单独实现或以任何合适的子组合实现。另外,虽然以上可将特征描述为按某些组合来实施,或者甚至最初是这样记载的,但来自要求保护的组合的一个或多个特征在一些情况下可被从该组合中删去,并且要求保护的组合可指向子组合或子组合的变体。
类似地,尽管在附图中以特定顺序描述了操作,但这不应理解为要求这些操作以所示的特定顺序或按相继顺序依次执行,或者执行所有所示的操作以实现期望的结果。此外,在本专利文件中描述的实施例中的各种系统组件的分离不应理解为在所有实施例中均要求这种分离。
本文仅描述了一些实现和示例,还可以基于本专利文件中描述和示出的内容来做出其他实现、增强和变化。
Claims (17)
1.一种能够通过光学感测检测人脸的电子设备,包括:
脸部照明源,包括:
周期阵列,其包括多个脸部照明光源,所述多个脸部照明光源布置在彼此不同的位置,每个脸部照明光源可操作以产生脸部照明光束并且包括光学投影装置,所述光学投影装置沿着与相邻的脸部照明光源的脸部照明方向不同的脸部照明方向投射所述脸部照明光束;和
衍射光学元件,其构造成包括不同区域光学厚度值不同的阵列,所述阵列透射光并且位于多个脸部照明光束的光路中,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,使得来自包括多个脸部照明光源的所述周期阵列的不同脸部照明光束被所述衍射光学元件沿不同的照明方向转换成不同的图案化脸部照明光束,每个图案化脸部照明光束包括所述多个照明光斑的图案,从而照亮人脸,用于光学地检测人脸;
在包括多个脸部照明光源的所述周期阵列中,每个脸部照明光源中的所述光学投影装置包括一个或多个准直透镜,以提供期望的光学准直量,进而设置输出照明光束的期望光束发散度,并且一个或多个透镜可以定向为沿着设计的照明方向朝向所述衍射光学元件引导或操纵投射光束;
所述衍射光学元件的不同区域光学厚度值不同的阵列被构造成使得所述多个照明光斑在空间上分布为在空间图案中的每个局部区域中具有多个照明光斑的唯一局部图案,所述唯一局部图案不同于所述空间图案中的其他局部区域,所述唯一局部图案通过对所述空间图案进行编码得到。
2.如权利要求1所述的设备,其中:
包括多个脸部照明光源的所述周期阵列被构造成使得沿不同的照明方向的所述不同的图案化脸部照明光束照亮人脸的不同相邻区域,而在相邻区域之间没有空间重叠。
3.如权利要求1所述的设备,其中:
包括多个脸部照明光源的所述周期阵列被构造成使得沿不同的照明方向的所述不同的图案化脸部照明光束照亮人脸的不同相邻区域,并且在相邻区域之间存在部分空间重叠。
4.如权利要求1所述的设备,包括:
脸部成像装置,其相对于所述脸部照明源定位,以接收来自人脸的照明光,所述人脸被所述不同的图案化脸部照明光束沿不同的照明方向照亮,所述照明光携带所述人的脸部形貌信息,其中,所述脸部成像装置基于空间光学图案采集每个图像中与所述脸部上的位置相关联的空间光学图案。
5.如权利要求1所述的设备,其中:
在包括多个脸部照明光源的所述周期阵列中,每个脸部照明光源包括半导体激光器以发射脸部照明光束。
6.如权利要求1所述的设备,其中:
在包括多个脸部照明光源的所述周期阵列中,每个脸部照明光源包括垂直腔表面发射激光器以发射脸部照明光束。
7.如权利要求1所述的设备,还包括:
脸部成像装置,其相对于所述脸部照明源定位,以接收来自人脸的照明光,所述人脸被所述不同的图案化脸部照明光束沿不同的照明方向照亮,所述照明光携带所述人的脸部形貌信息;和
脸部成像处理设装置,其耦合地接收所述脸部成像装置的输出并提取所述人的脸部形貌信息以进行脸部识别。
8.如权利要求1所述的设备,其中:
所述脸部照明源包括照明控制器,所述照明控制器耦合地分别控制所述多个脸部照明光源以脉冲模式操作,从而在每个脸部照明光束中产生高功率光脉冲;并且
所述设备还包括成像装置,用于与所述脉冲模式同步地采集来自被所述多个照明光斑的图案照亮的脸部的反射光中的图像。
9.如权利要求1所述的设备,其中所述多个脸部照明光源包括多个发光二极管。
10.如权利要求1所述的设备,其中所述多个脸部照明光源包括多个激光二极管。
11.如权利要求1所述的设备,其中,所述多个脸部照明光源包括多个垂直腔表面发射激光器VCSEL。
12.一种用于通过光学感测检测人脸的方法,包括:
操作周期阵列中的布置在彼此不同位置的多个脸部照明光源,以使每个脸部照明光源产生脸部照明光束,每个脸部照明光源包括光学投影装置;
沿着与相邻的脸部照明光源的脸部照明方向不同的指定脸部照明方向投射每个脸部照明光束;
操作多个脸部照明光束的光路中的衍射光学元件,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,实现来自所述多个脸部照明光源的沿着不同照明方向的不同的图案化脸部照明光束,从而照亮人脸,用于光学地检测人脸;
采集来自所述人脸的反射光中的多张图像,所述多张图像通过依次在一个时间开启一个脸部照明光源和在不同时间开启不同的脸部照明光源而依次生成;以及
处理采集的所述多张图像,以提取所述人脸的三维脸部特征以进行脸部识别;
其中,在包括多个脸部照明光源的所述周期阵列中,每个脸部照明光源中的所述光学投影装置包括一个或多个准直透镜,以提供期望的光学准直量,进而设置输出照明光束的期望光束发散度,并且一个或多个透镜可以定向为沿着设计的照明方向朝向所述衍射光学元件引导或操纵投射光束;
所述衍射光学元件被构造成包括不同区域光学厚度值不同的阵列,以使所述多个照明光斑的图案在空间图案中的每个局部区域中具有与其他局部区域不同的多个照明光斑的唯一局部图案,所述唯一局部图案通过对所述空间图案进行编码得到。
13.如权利要求12所述的方法,还包括:
分别控制所述多个脸部照明光源以脉冲模式操作,从而在每个脸部照明光束中产生高功率光脉冲;以及
同步所述多张图像的采集和所述脉冲模式的定时,以提高采集的所述多张图像中的信噪比。
14.如权利要求12所述的方法,其中:
所述方法包括使用空间图案来确定通过光学反射生成图像的脸部位置。
15.一种用于通过光学检测人脸的系统,包括:
周期阵列,其包括多个脸部照明光源,所述多个脸部照明光源布置在彼此不同位置,每个脸部照明光源可操作以产生脸部照明光束并且包括光学投影装置,所述光学投影装置沿着与相邻的脸部照明光源的脸部照明方向不同的脸部照明方向投射所述脸部照明光束;
衍射光学元件,其构造成包括不同区域光学厚度值不同的阵列,所述阵列透射光并且位于多个脸部照明光束的光路中,以将每个脸部照明光束转换成包括多个照明光斑的图案的图案化脸部照明光束,使得来自包括多个脸部照明光源的所述周期阵列的不同脸部照明光束被所述衍射光学元件沿不同的照明方向转换成不同的图案化脸部照明光束,每个图案化脸部照明光束包括所述多个照明光斑的图案,从而照亮人脸,用于光学地检测人脸,所述衍射光学元件的不同区域光学厚度值不同的阵列被构造成使得所述多个照明光斑在空间上分布为在空间图案中的每个局部区域中具有多个照明光斑的唯一局部图案,所述唯一局部图案不同于所述空间图案中的其他局部区域,所述唯一局部图案通过对所述空间图案进行编码得到;
在包括多个脸部照明光源的所述周期阵列中,每个脸部照明光源中的所述光学投影装置包括一个或多个准直透镜,以提供期望的光学准直量,进而设置输出照明光束的期望光束发散度,并且一个或多个透镜可以定向为沿着设计的照明方向朝向所述衍射光学元件引导或操纵投射光束;
脸部成像装置,其相对于所述脸部照明光源定位,以接收来自人脸的照明光,所述人脸被所述不同的图案化脸部照明光束沿不同的照明方向照亮,所述照明光携带所述人的脸部形貌信息;
脸部成像处理装置,其耦合地接收所述脸部成像装置的输出并提取所述人的脸部形貌信息以进行脸部识别;以及
脸部识别认证处理装置,其耦合地接收提取的脸部形貌信息,并且可操作为将所述提取的脸部形貌信息与授权用户的已知脸部形貌信息进行比较,以确定所述提取的脸部形貌信息是否与所述授权用户的已知脸部形貌信息匹配。
16.如权利要求15所述的系统,还包括移动设备,并且所述脸部识别认证处理装置控制用户对所述移动设备的访问。
17.如权利要求15所述的系统,还包括计算机控制的系统,并且所述脸部识别认证处理装置控制用户对所述计算机控制的系统的访问。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962824226P | 2019-03-26 | 2019-03-26 | |
US62/824,226 | 2019-03-26 | ||
PCT/CN2020/078010 WO2020192384A1 (en) | 2019-03-26 | 2020-03-05 | Multizone illumination for optical face identification |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111566663A CN111566663A (zh) | 2020-08-21 |
CN111566663B true CN111566663B (zh) | 2023-05-02 |
Family
ID=72074015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080001118.XA Active CN111566663B (zh) | 2019-03-26 | 2020-03-05 | 用于光学脸部识别的多区域照明 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111566663B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107637074A (zh) * | 2015-03-22 | 2018-01-26 | 脸谱公司 | 使用立体摄像机与结构化光的头戴显示器的深度绘制 |
CN108052878A (zh) * | 2017-11-29 | 2018-05-18 | 上海图漾信息科技有限公司 | 人脸识别设备和方法 |
CN109299662A (zh) * | 2018-08-24 | 2019-02-01 | 上海图漾信息科技有限公司 | 深度数据计算设备与方法及人脸识别设备 |
CN109325394A (zh) * | 2017-08-01 | 2019-02-12 | 苹果公司 | 确定稀疏图案照明与密集图案照明 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10545396B2 (en) * | 2015-08-07 | 2020-01-28 | Everready Precision Ind. Corp. | Lighting apparatus and laser diode module |
-
2020
- 2020-03-05 CN CN202080001118.XA patent/CN111566663B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107637074A (zh) * | 2015-03-22 | 2018-01-26 | 脸谱公司 | 使用立体摄像机与结构化光的头戴显示器的深度绘制 |
CN109325394A (zh) * | 2017-08-01 | 2019-02-12 | 苹果公司 | 确定稀疏图案照明与密集图案照明 |
CN108052878A (zh) * | 2017-11-29 | 2018-05-18 | 上海图漾信息科技有限公司 | 人脸识别设备和方法 |
CN109299662A (zh) * | 2018-08-24 | 2019-02-01 | 上海图漾信息科技有限公司 | 深度数据计算设备与方法及人脸识别设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111566663A (zh) | 2020-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107251046B (zh) | 光学指纹传感器及封装 | |
US10402149B2 (en) | Electronic devices and methods for selectively recording input from authorized users | |
US7646896B2 (en) | Apparatus and method for performing enrollment of user biometric information | |
US20190130082A1 (en) | Authentication Methods and Devices for Allowing Access to Private Data | |
US11256903B2 (en) | Image processing method, image processing device, computer readable storage medium and electronic device | |
US8831295B2 (en) | Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods | |
US20150339471A1 (en) | Device unlock with three dimensional (3d) captures | |
EP1744669A1 (en) | Apparatus and method for detecting blood flow | |
US10824838B2 (en) | Under-screen optical fingerprint sensor based on lens-pinhole imaging with an off-axis pinhole | |
CN109196520A (zh) | 生物特征识别装置、方法和电子设备 | |
EP3628089B1 (en) | Under-screen optical fingerprint sensor based on lens-pinhole imaging with an off-axis pinhole | |
US20170070347A1 (en) | Personal identification via acoustically stimulated biospeckles | |
JP4802121B2 (ja) | 生体認証装置および生体認証装置を用いた認証方法 | |
US10853619B2 (en) | Optical fingerprint sensor with folded light path | |
CN111566663B (zh) | 用于光学脸部识别的多区域照明 | |
US11423638B2 (en) | Multizone illumination for optical face identification | |
US20160070948A1 (en) | Sensor system and method for recording a hand vein pattern | |
CN211060850U (zh) | 深度检测系统及其支架和电子装置 | |
JP2016522487A5 (zh) | ||
KR101792012B1 (ko) | 지문과 지정맥의 알고리즘을 동시에 연동시키는 입출력 통합모듈 | |
CN109974611B (zh) | 深度检测系统及其支架和电子装置 | |
AU2011253652B2 (en) | Apparatus and method for performing enrollment of user biometric information | |
WO2022219929A1 (ja) | 認証システム、認証装置、および認証方法 | |
KR101792020B1 (ko) | 지문1과 지문2의 알고리즘을 동시에 연동시키는 입출력 통합모듈 | |
AU2013251233B2 (en) | Apparatus and method for performing enrollment of user biometric information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |