CN208589037U - 电子设备 - Google Patents

电子设备 Download PDF

Info

Publication number
CN208589037U
CN208589037U CN201820136191.8U CN201820136191U CN208589037U CN 208589037 U CN208589037 U CN 208589037U CN 201820136191 U CN201820136191 U CN 201820136191U CN 208589037 U CN208589037 U CN 208589037U
Authority
CN
China
Prior art keywords
user
image
distance
camera
luminaire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201820136191.8U
Other languages
English (en)
Inventor
I·R·法赛尔
过海涛
A·库马尔
T·戈尔诺斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Application granted granted Critical
Publication of CN208589037U publication Critical patent/CN208589037U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本实用新型题为“电子设备”。电子设备包括相机、提供光斑图案照明的照明器和耦接到相机和照明器的电路。电路被配置为：使用位于电子设备上的至少一个传感器来评估一个或多个用户和相机之间的距离；确定所评估的距离是否小于阈值距离或大于阈值距离；利用来自照明器的光斑图案照明来对至少一个用户进行照明。如果所评估的距离小于阈值距离，则光斑图案照明具有第一点密度。如果所评估的距离大于阈值距离，则光斑图案照明具有第二点密度，第二点密度大于第一点密度。电路还被配置为利用相机捕获该至少一个用户的至少一个第一图像。该至少一个第一图像包括在利用来自照明器的光斑图案照明对该至少一个用户进行照明时捕获的该至少一个用户的图像。

Description

电子设备
技术领域
本文所述的实施方案涉及用于对由设备上的相机捕获的图像中的被摄体进行照明的电子设备。更具体地，本文所述的实施方案涉及基于被摄体距相机的距离来确定照明的类型。
背景技术
面部识别过程可用于验证具有相机的计算机设备的用户。面部检测可用于面部识别过程中，以识别待用于面部识别过程的面部。在一些情况下，光斑图案照明用于面部检测和/或面部识别过程中，以捕获3D图或“深度图”图像。在授予Freedman等人的美国专利No.8,150,142、授予Pesach等人的美国专利No.8,749,796和授予Shpunt等人的美国专利No.8,384,997中描述了深度图成像的示例，这些专利以引用方式并入，如同在本文中完全阐述一样。传统上，系统将使用稀疏光斑图案照明和密集光斑图案照明两者来捕获场景的连续图像，并且然后分析这两个所捕获的图像，以确定哪个照明图案更适用于图像的当前被摄体。在决定使用哪种光斑图案照明来确定场景中的深度之前，捕获和分析这两个图像可能是耗时且耗电的，尤其是对于移动设备。
实用新型内容
用户的面部和用户的移动设备之间的距离可用于确定待用于捕获图像的照明类型。用户的面部和移动设备之间的距离可使用被包括在移动设备中的相机或另一传感器来估计。根据用户的面部和相机之间的估计距离，可选择稀疏图案或密集图案，以与用户的面部一起使用。如果用户的面部距相机的距离小于阈值距离，则可使用稀疏图案来防止照明图案中的用户的面部上的光斑(例如，点)之间的重叠。如果用户的面部更远(例如，距相机大于阈值距离)，则可使用密集图案来提供图像中的增加的分辨率。
一些实施例提供了一种电子设备，包括相机、提供光斑图案照明的照明器和耦接到相机和照明器的电路。电路被配置为：使用位于电子设备上的至少一个传感器来评估一个或多个用户和相机之间的距离；确定所评估的距离是否小于阈值距离或大于阈值距离；利用来自照明器的光斑图案照明来对至少一个用户进行照明。如果所评估的距离小于阈值距离，则光斑图案照明具有第一点密度。如果所评估的距离大于阈值距离，则光斑图案照明具有第二点密度，第二点密度大于第一点密度。电路还被配置为利用相机捕获该至少一个用户的至少一个第一图像。至少一个第一图像包括在利用来自照明器的光斑图案照明对该至少一个用户进行照明时捕获的该至少一个用户的图像。
一些实施例提供了一种电子设备。电子设备包括第一照明器、相机、第二照明器和电路。第一照明器被配置为利用泛光红外照明来对一个或多个用户进行照明。相机被配置为在利用来自第一照明器的泛光红外照明对至少一个用户进行照明时捕获该至少一个用户的至少一个第一图像。电路耦接到相机和第一照明器。电路被配置为从该至少一个第一图像评估该至少一个用户和相机之间的距离。第二照明器被配置为利用光斑图案照明来对该至少一个用户进行照明。如果所评估的距离小于该至少一个用户和相机之间的阈值距离，则光斑图案照明中的点密度为第一密度。如果所评估的距离大于阈值距离，则光斑图案照明中的点密度为第二密度，第一密度小于第二密度。电路还被配置为在利用来自第二照明器的光斑图案照明对该至少一个用户进行照明时捕获该至少一个用户的至少一个第二图像。
一些实施例提供了一种电子设备。电子设备包括相机、照明器和电路。相机被配置为捕获用户的第一图像。照明器提供光斑图案照明。电路耦接到相机和照明器。电路被配置为：基于阈值距离和从第一图像评估的用户和相机之间的距离之间的比较，使得照明器在用于用户的光斑图案照明中投射第一点密度和第二点密度之一。第一点密度小于第二点密度。
一些实施例提供了一种电子设备。电子设备包括相机、至少一个传感器、电路和照明器。该至少一个传感器用于评估一个或多个用户和相机之间的距离。电路耦接到相机和该至少一个传感器。电路被配置为确定所评估的距离是否小于阈值距离或大于阈值距离。照明器被配置为用光斑图案照明对至少一个用户进行照明。如果所评估的距离小于阈值距离，则光斑图案照明具有第一点密度。如果所评估的距离大于阈值距离，则光斑图案照明具有第二点密度。第二点密度大于第一点密度。相机被配置为捕获该至少一个用户的至少一个第一图像。该至少一个第一图像包括在利用来自照明器的光斑图案照明对该至少一个用户进行照明时捕获的该至少一个用户的图像。
一些实施例提供了一种电子设备。该电子设备包括相机、至少一个传感器、电路、照明器。该至少一个传感器用于评估一个或多个用户和相机之间的距离。电路耦接到相机和该至少一个传感器。电路被配置为确定所评估的距离是否小于阈值距离或大于阈值距离。照明器被配置为用光斑图案照明对至少一个用户进行照明。如果所评估的距离小于阈值距离，则光斑图案照明具有第一点密度。如果所评估的距离大于阈值距离，则光斑图案照明具有第二点密度，第二点密度大于第一点密度。相机被配置为捕获该至少一个用户的至少一个第一图像。该至少一个第一图像包括在利用来自照明器的光斑图案照明对该至少一个用户进行照明时捕获的该至少一个用户的图像。电路还被配置为评估该至少一个用户和相机之间的第二距离以及确定所评估的第二距离是否小于阈值距离或大于阈值距离。照明器还被配置为用光斑图案照明对至少一个用户进行照明。如果所评估的第二距离小于阈值距离，则光斑图案照明具有第一点密度。如果所评估的第二距离大于阈值距离，则光斑图案照明具有第二点密度。第二点密度大于第一点密度。相机还被配置为捕获该至少一个用户的至少一个第二图像。该至少一个第二图像包括在利用来自照明器的光斑图案照明对该至少一个用户进行照明时捕获的该至少一个用户的图像。
附图说明
当与附图结合时，通过参考根据本公开中描述的实施方案的目前优选的但仅为示例性实施方案的以下详细描述，将更充分地理解在本公开中描述的实施方案的方法与装置的特征和优点，在附图中：
图1描绘了包括相机的设备的实施方案的表示。
图2描绘了相机的实施方案的表示。
图3描绘了照明器的实施方案的示意图。
图4描绘了重叠图案构型的实施方案的图示。
图5描绘了示出投影图案密度的动态控制的实施方案的图示。
图6描绘了设备上的处理器的实施方案的表示。
图7描绘了神经网络模块的实施方案的表示。
图8描绘了用于神经网络模块的训练过程的实施方案的流程图。
图9描绘了具有神经网络模块的处理器的实施方案的表示。
图10描绘了具有区域的特征空间的实施方案的示例。
图11描绘了用于神经网络模块的测试过程的实施方案的流程图。
图12描绘了使用设备上的神经网络模块实现的面部检测过程的实施方案的流程图。
图13描绘了照明确定过程的实施方案的流程图。
图14描绘了示例性计算机系统的一个实施方案的框图。
图15描绘了计算机可访问存储介质的一个实施方案的框图。
尽管本公开中所述的实施方案可受各种修改形式和替代形式的影响，但其具体实施方案在附图中以举例的方式示出并将在本文中详细描述。然而，应当理解，附图和对其的详细描述并非旨在将实施方案限制为所公开的具体形式，而相反，本实用新型旨在涵盖落入所附权利要求书的实质和范围内的所有修改形式、等同形式和替代形式。本文所使用的标题仅用于组织目的，并不旨在用于限制说明书的范围。如在整个本专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)来使用字词“可能”。类似地，字词“包括”是指包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一个或多个任务。在此类上下文中，“被配置为”为通常表示“具有”在操作期间执行一个或多个任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行任务。一般来讲，形成与“被配置为”对应的结构的电路可包括硬件电路和/或存储可执行以实现该操作的程序指令的存储器。该存储器可包括易失性存储器，诸如静态或动态随机存取存储器和/或非易失性存储器，诸如光盘或磁盘存储装置、闪存存储器、可编程只读存储器等。硬件电路可包括组合式逻辑电路、时钟存储设备(诸如触发器、寄存器、锁存器等)、有限状态机、存储器(诸如静态随机存取存储器或嵌入式动态随机存取存储器)、定制设计电路、可编程逻辑阵列等的任意组合。类似地，为了描述方便，可将各种单元/电路/部件描述为执行一个或多个任务。此类描述应当被解释为包括短语“被配置为”。表述被配置为执行一个或多个任务的单元/电路/部件明确地旨在对该单元/电路/部件不调用35U.S.C.§112(f)的解释。
在一个实施方案中，可通过以硬件描述语言(HDL)诸如Verilog或VHDL对电路的描述进行编码来实现根据本公开的硬件电路。可针对为给定集成电路制造技术设计的单元库来合成HDL描述，并可出于定时、功率和其他原因而被修改，以获取可被传输到工厂以生成掩模并最终产生集成电路的最终的设计数据库。一些硬件电路或其部分也可在示意图编辑器中被定制设计并与合成电路一起被捕获到集成电路设计中。该集成电路可包括晶体管并还可包括其他电路元件(例如，无源元件，诸如电容器、电阻器、电感器等)、以及晶体管和电路元件之间的互连件。一些实施方案可实现耦接在一起的多个集成电路，以实现硬件电路，和/或可在一些实施方案中使用离散元件。
本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合或其任意推广，而无论其是否减轻本文解决的任何或所有问题。因此，在本专利申请(或要求享有其优先权的专利申请)进行期间可针对特征的任何此类组合作出新的权利要求。具体地，参考所附权利要求书，可将从属权利要求的特征与独立权利要求的特征进行组合，并可通过任何适当的方式而不是仅通过所附权利要求书中所列举的特定组合来组合来自相应独立权利要求的特征。
具体实施方式
本说明书包括参考“一个实施方案”或“实施方案”。短语“在一个实施方案中”或“在实施方案中”的出现不一定是指相同的实施方案，尽管通常设想包括特征的任何组合的实施方案，除非在本文明确地否认。特定特征、结构或特性可以与本公开一致的任何适当的方式被组合。
本公开还设想负责此类个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实施并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，在使用面部识别来对设备进行解锁和/或授权的情况下，来自用户的个人信息应被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。另外，此类收集应仅在用户知情同意之后进行。此外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保有权访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，此类实体可使其本身经受第三方评估，以证明其遵守广泛接受的隐私政策和实践。
不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本实用新型的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。
图1示出了包括相机的设备的实施方案的表示。在某些实施方案中，设备100包括相机102、处理器104、存储器106、和显示器108。设备100可为小型计算设备，在一些情况下，其可足够小以便手持(因此，还被统称为手持式计算机或被简称为手持式设备)。在某些实施方案中，设备100为各种类型的计算机系统设备的任一种类型的计算机系统设备，其为移动的或便携的并且使用WLAN通信来执行无线通信(例如，“移动设备”)。移动设备的示例包括移动电话或智能电话、以及平板电脑。如果包括无线或RF通信能力(例如，Wi-Fi、蜂窝和/或蓝牙)，则各种其他类型的设备可落在这个类别中，诸如膝上型计算机、便携式游戏设备、便携式上网设备、和其他手持设式备、以及可穿戴设备诸如智能手表、智能眼镜、耳机、吊坠、耳塞等。通常，可宽泛地定义术语“移动设备”以涵盖容易被用户转移并能够使用例如WLAN、Wi-Fi、蜂窝和/或蓝牙来进行无线通信的任何电子、计算和/或电信设备(或设备的组合)。在某些实施方案中，设备100包括由用户使用的具有处理器104、存储器106和显示器108的任何设备。例如，显示器108可为LCD屏或触摸屏。在一些实施方案中，显示器108包括用于设备100的用户输入界面(例如，显示器允许用户的交互输入)。
相机102可用于捕获设备100的外部环境的图像。在某些实施方案中，相机102被定位成捕获显示器108前方的图像。相机102可被定位成在用户与显示器108进行交互时捕获用户的图像(例如，用户的面部)。图2示出了相机102的实施方案的表示。在某些实施方案中，相机102包括一个或多个镜头和用于捕获数字图像的一个或多个图像传感器103。由相机102所捕获的数字图像可包括例如静止图像、视频图像、和/或逐帧图像。
在某些实施方案中，相机102包括图像传感器103。图像传感器103可为例如传感器阵列。传感器阵列中的传感器可包括但不限于用于捕获红外图像(IR)或其他不可见电磁辐射的电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)传感器元件。在一些实施方案中，相机102包括用于捕获多种类型的图像的多于一种图像传感器。例如，相机102可包括IR传感器和RGB(红、绿和蓝)传感器两者。在某些实施方案中，相机102包括用于利用由图像传感器103检测到的不同类型的光来对表面(或受检物)进行照明的照明器105。例如，相机102可包括用于可见光的照明器(例如，“闪光灯”)和/或用于红外光的照明器(例如，泛光IR光源和光斑图案投影仪)。在一些实施方案中，泛光IR光源和光斑图案投影仪为其他波长的光(例如，非红外)。在某些实施方案中，照明器105包括光源阵列，诸如但不限于VCSEL(垂直腔面发射激光器)。在一些实施方案中，图像传感器103和照明器105被包括在单个芯片封装中。在一些实施方案中，图像传感器103和照明器105位于独立芯片封装上。
在某些实施方案中，图像传感器103为用于捕获红外图像以用于进行面部检测和/或深度检测的IR图像传感器。为了进行面部检测，照明器105A可提供泛光IR照明，以利用IR照明(例如，IR闪光灯)来对被摄体进行泛光，并且图像传感器103可捕获泛光IR照明被摄体的图像。泛光IR照明图像例如可为由IR光照明的被摄体的二维图像。
光斑图案照明器105B可提供具有光斑图案的IR照明，以生成场景的深度图。图3描绘了照明器105B的实施方案的示意图。照明器105B可类似于例如如授予Mor等人的美国专利申请公布No.2016/0178915中所述的集成光学投影仪，该美国专利申请公布以引用方式并入，如同在本文中完全阐述一样。照明器105B可产生并投影光斑图案。光斑图案可为以已知且可控的构型和图案投影到被摄体上的光点的图案(例如，点的图案)。在一些实施方案中，照明器105B为光源和图案化投影片，和/或被配置为形成光斑图案的光源和微透镜阵列。由照明器105B提供的光斑图案的构型和图案可例如基于被摄体处的所期望的光斑图案密度(例如，点密度)而被选择。图像传感器103可捕获由光斑图案照明的被摄体的图像。可由成像和处理系统(例如，如本文所述的图像信号处理器(ISP))来评估(例如，分析和/或处理)被摄体上的光斑图案，以产生或估计被摄体的三维图(例如，被摄体的深度图或深度图图像)。
如图3所示，照明器105B可包括其上设置有光发射器阵列的半导体管芯150。在某些实施方案中，发射器为VCSEL。然而，可使用任何其他合适类型的激光二极管或其他光学发射器。发射器可以特定几何布局(例如，规则栅格或不相关(伪随机)布局)而被构建在管芯150上。授予Mor等人的美国专利申请公布No.2016/0178915中描述了不同几何布局的示例。
在某些实施方案中，管芯150被安装在次级贴装衬底152上并使用焊线158而被电连接到衬底152。外部互连端子(例如，阳极触点154和阴极触点156)可被形成在衬底152的相对表面上。投影透镜156可被安装在间隔件152上，通常使得管芯150位于透镜的焦平面上。扇出衍射光学元件(FO-DOE)164可使用薄间隔件168安装在投影透镜166上方。
投影透镜166可收集并准直由管芯150上的各个VCSEL发射的光。VCSEL和投影透镜的组合可根据管芯150上的VCSEL的几何布局来生成光点的图案(例如，栅格或伪随机)。在某些实施方案中，投影图案的间距或密度(即，光斑之间的角距)由管芯150上的VCSEL之间的物理距离和投影透镜166的焦距来确定。这种光点的图案可被称为基线图案。
DOE 164可用作产生基线图案的多个副本并将该多个副本投影到对象或场景上的分束器。该多个副本可相对于彼此成角度地偏移并且彼此重叠。所得的光点的图案(其包括基线图案的多个副本的叠加)可被称为合成图案。由于多个副本之间的重叠，合成图案的间距或密度可高于基线图案的间距或密度。此外，合成图案的间距或密度可不再受VCSEL之间的物理距离以及投影透镜的焦距的限制。
图3的顶部示出了基线图案的其间具有50％的重叠的被表示为172,174和176三个副本的示例。如图3所描绘的，合成图案的间距比基线图案的间距(单个副本的间距)细两倍。为了清楚起见，高度简化了图3的示例。例如，图3示出了一个维度中的图案复制。在替代实施方案中，DOE164可生成在两个维度中发生角度偏移和重叠的副本。
图4描绘了重叠图案构型的实施方案的示意图。图4的左侧描绘了投影图案的单个副本，其中光斑被示出为圆形，透镜的中心利用十字来标记，并且图案的周期(在复制没有重叠的情况下)由矩形框来标记。该布局也对应于随后由FO DOE 164复制的基线图案。图4的中间示出了由FO DOE 164执行的复制方案180，其中副本的中心位置利用“x”来标记。图4的右侧示出了从DOE 164投影的对应合成图案182。在图案182中，光斑利用圆形来标记，每个副本的中心位置利用“x”来标记，并且透镜中心利用十字来标记。为了便于比较，图4中的合成图案182的中心(对应于DOE 164的零阶)利用矩形来标记。从图4中可清楚地看出，副本重叠的图案182的区域中的圆形的密度(即，合成图案的密度)高于基线图案178中的圆形的密度。
在图4的示例中，管芯150(例如，VCSEL阵列)具有不相关的伪随机布局。该阵列利用具有阵列的物理最小距离限制来设计，但也考虑到y轴中的50％重叠仍将保留点之间的最小距离。FO DOE 144执行3×5复制(例如，将基线图案沿一个轴(任意地根据该图的方向被称为水平轴)复制三次并沿正交轴(被称为垂直轴)复制五次)。在水平轴上，FO周期(构型160中的“x”标记之间的距离)与基线图案158的宽度相同。在垂直轴上，FO周期为基线图案的尺寸的一半。
如图4所示，投影图案182的2/3可包括密集图案，而在两个垂直端上，图案为稀疏的，因为其没有重叠。在这个简化的示例中，稀疏图案占据图案的相对较大的部分，因为该示例具有少量的副本。在真实投影仪中，副本的数量可更大，并且因此稀疏图案的占整个视场(FOV)的部分可更小。
在一些实施方案中，照明器105B可提供对合成图案中的点的密度的动态控制。在一些实施方案中，照明器105B可能够通过将VCSEL阵列分成多个区段并且选择性地激活或去激活每个区段来增大和减小点密度。
图5描绘了示出对投影图案密度的动态控制的实施方案的示意图。图5的左侧示出了可生成伪随机图案(诸如图4所示)的管芯150(例如，VCSEL阵列)。在某些实施方案中，管芯150被分成被表示为A和B的两个区段，在阵列的每个区段中具有选定数量的发射器。这两个区段可通过阵列中间的水平凹槽彼此隔离。在一些具体实施中，这两个区段为电隔离的，但不包括任何可见的分界线。在一些实施方案中，区段A包括阵列中约40％的发射器，并且区段B包括阵列中约60％的发射器。
照明器105B可包括用于单独地驱动每个区段的VCSEL(例如，通过向每个区段单独地施加或切断电源)的控制电路(图中未示出)。因此，控制电路可仅驱动区段A(在这种情况下，区段A的VCSEL发光，并且区段B的VCSEL较暗)，仅驱动区段B(在这种情况下，区段B的VCSEL发光，并且区段A的VCSEL较暗)，或者驱动这两个区段(即，这两个区段的VCSEL均发光)。
图5的右侧示出了通过使用FO DOE进行复制而形成的所得图案，如针对图4所述(仅示出了中心图案的区域)。由于FO DOE周期为图案宽度的一半，因此其与通过仅操作阵列的一半而生成的图案的宽度相同。因此，该复制匹配阵列的一半(并且图块之间没有间隙并且没有重叠)。示出了分别对应于三种上述模式(表示为“A”、“B”和“A+B”)的三种图案190A,190B,190C。如图5所示，点密度因模式而不同。由于VCSEL阵列(管芯150)的每个部分(A或B)的2D图案利用具有不同的密度(例如，A＝阵列中约40％的发射器，B＝阵列中约60％的发射器)来配置，以190A,190B,190C示出的投影图案分别为稀疏的(40％)、中等的(60％)、和密集的(100％)。
将VCSEL划分成图5所示的区段仅为示例性划分。在一些实施方案中，VCSEL可以任何所期望的方式而被分成任何合适数量的区段。例如，被设计为实现两个轴中的50％重叠的阵列可被划分成四个象限。不同的区段不一定包括相同数量的VCSEL或具有相似的形状。在一些具体实施中，可存在多于两个VCSEL区段。例如，管芯150可包括可独立驱动的VCSEL的4个区段(例如，一个区段接通而其他区段断开，任何两个区段接通而其余区段断开等)，所有区段具有不同的图案和所得密度。在一些具体实施中，每个VCSEL能够被独立驱动并可通过驱动适当的VCSEL来生成不同的图案。
在某些实施方案中，由相机102捕获的图像包括具有用户的面部的图像(例如，用户面部被包括在图像中)。具有用户的面部的图像可包括具有在图像的框架内示出的用户的面部的任何数字图像。此类图像可仅包括用户的面部或可在图像的较小分部或部分中包括用户的面部。可在图像中以足够的分辨率来捕获用户的面部，以允许对图像中的用户的面部的一个或多个特征的图像处理。
由相机102捕获的图像可由处理器104来处理。图6描绘了被包括在设备100中的处理器104的实施方案的表示。处理器104可包括被配置为执行在由处理器实施的指令集架构中定义的指令的电路。处理器104可执行设备100的主控制软件，诸如操作系统。通常，由处理器104在使用期间执行的软件可控制设备100的其他部件，以实现设备的所期望的功能。处理器还可执行其他软件。这些应用程序可提供用户功能并可依赖于操作系统，以进行低级设备控制、调度、存储器管理等。
在某些实施方案中，处理器104包括图像信号处理器(ISP)110。ISP 110可包括适用于处理从相机102接收的图像的电路(例如，图像信号处理电路)。ISP 110可包括能够处理或分析由相机102捕获的图像的任何硬件和/或软件(例如，程序指令)。
在某些实施方案中，处理器104包括安全飞地处理器(SEP)112。在一些实施方案中，在面部识别认证过程中涉及SEP 112，该过程涉及由相机102捕获并由ISP 110处理的图像。SEP 112可为被配置为对被授权使用设备100的活动用户(例如，当前正在使用设备100的用户)进行认证的安全电路。“安全电路”可为保护被隔离的内部资源免受外部电路直接访问的电路。内部资源可为存储敏感数据诸如个人信息(例如，生物识别信息、信用卡信息等)、加密密钥、随机数生成器种子等的存储器(例如，存储器106)。内部资源也可为执行与敏感数据相关联的服务/操作的电路。如本文所述，SEP 112可包括能够使用面部识别认证过程来认证用户的任何硬件和/或软件(例如，程序指令)。面部识别认证过程可通过利用相机102捕获用户的图像并且将所捕获的图像与设备100的授权用户的先前收集的图像进行比较来认证用户。在一些实施方案中，ISP 110和SEP 112的功能可由单个处理器来执行(例如，ISP 110或SEP 112可执行两种功能，并且另一个处理器可省略)。
在某些实施方案中，处理器104执行注册过程(例如，图像注册过程或登记过程)，以捕获并存储设备100的授权用户的图像(例如，先前收集的图像)。在注册过程期间，相机模块102可从授权用户捕获(例如，收集)图像和/或图像数据，以便允许SEP 112(或另一安全过程)随后使用面部识别认证过程来认证用户。在一些实施方案中，来自注册过程的图像和/或图像数据(例如，来自图像的特征数据)被存储在设备100中的模板中。模板可被存储在例如设备100的存储器106中的模板空间中。在一些实施方案中，可通过从模板添加和/或减去图像来更新模板空间。处理器104可执行模板更新过程，以从模板空间添加和/或减去模板图像。例如，模板空间可利用附加图像而被更新，以适应授权用户的外观随时间推移的变化和/或硬件性能随时间推移的变化。当用于存储模板图像的模板空间已满时，可从模板空间中减去图像以补偿图像的添加。
在一些实施方案中，相机模块102捕获用于面部识别会话的多对图像。每对可包括使用二维捕获模式(例如，泛光IR图像)捕获的图像和使用三维捕获模式(例如，深度图图像)捕获的图像。在某些实施方案中，在对用户作出最终认证决定之前，ISP 110和/或SEP112彼此独立地处理泛光IR图像和深度图图像。例如，ISP 110可独立处理图像，以分别确定每个图像的特征。然后，SEP 112可将每个类型图像的单独图像特征与所存储的模板图像进行比较，以生成每个单独图像的认证分数(例如，所捕获的图像和所存储的模板图像中的用户之间的匹配分数或匹配的其他排名)。单独图像(例如，泛光IR图像和深度图图像)的认证分数可组合，以对用户的身份作出决定，并且如果被认证，则允许用户使用设备100(例如，对解锁进行设备)。
在一些实施方案中，ISP 110和/或SEP 112组合每对中的图像，以提供用于面部识别的合成图像。在一些实施方案中，ISP 110处理合成图像，以确定图像的特征，SEP 112可将其与所存储的模板图像进行比较，以对用户的身份作出决定，并且如果被认证，则允许用户使用设备100。
在一些实施方案中，泛光IR图像数据和深度图图像数据的组合可允许SEP 112在三维空间中比较面部。在一些实施方案中，相机模块102经由安全通道来将图像数据传送到SEP 112。例如，安全信道可为用于传送数据的专用路径(即，仅由预期的参与者共享的路径)，或者可为用于使用仅预期的参与者知道的密码密钥来传送加密的数据的专用路径。在一些实施方案中，相机模块102和/或ISP 110可在将图像数据提供至SEP 112之前对图像数据执行各种处理操作，以便促进由SEP来执行该比较。
在某些实施方案中，处理器104操作一个或多个机器学习模型。机器学习模型可使用位于处理器104和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)来操作。在一些实施方案中，使用一个或多个神经网络模块114来操作设备100上的机器学习模型。神经网络模块114可位于ISP 110和/或SEP 112中。
图7描绘了神经网络模块114的实施方案的表示。神经网络模块114可包括位于处理器104中和/或设备100上的硬件和/或软件的任何组合(例如，程序指令)。在一些实施方案中，神经网络模块114为多尺度神经网络或者其中在网络中所使用的内核的尺度可变化的另一神经网络。在一些实施方案中，神经网络模块114为重复性神经网络(RNN)，诸如但不限于门控重复性单元(GRU)重复性神经网络或长短期记忆(LSTM)重复性神经网络。
神经网络模块114可包括安装或配置有已由该神经网络模块或类似的神经网络模块(例如，在不同的处理器或设备上操作的神经网络模块)学习的操作参数的神经网络电路。例如，可使用训练图像(例如，参考图像)和/或其他训练数据来训练神经网络模块，以生成神经网络电路的操作参数。随后可将从训练中生成的操作参数提供至被安装在设备100上的神经网络模块114。将从训练中生成的操作参数提供至允许神经网络模块使用编程到神经网络模块中的训练信息进行操作的设备100上的神经网络模块114(例如，训练生成的操作参数可被神经网络模块用于操作并评估由设备捕获的图像)。
在某些实施方案中，神经网络模块114包括编码器模块116和解码器模块118。编码器模块116和解码器模块118可为在神经网络模块114内操作的机器学习模型(例如，在神经网络模块中执行编码器模块和解码器模块)。编码器模块116可对输入到编码器模块中的图像进行编码，并将图像中的特征定义为特征空间中的特征向量(如本文所述)。解码器模块118可对由编码器模块116生成的特征空间中的特征向量进行解码并提供输出(如本文所述)。
图8描绘了用于神经网络模块的训练过程200的实施方案的流程图。在某些实施方案中，使用位于除处理器104之外的计算机处理器上的神经网络模块(例如，训练神经网络模块)来实现训练过程200。图9描绘了具有可用于训练的神经网络模块122(例如，训练神经网络模块)的处理器120的实施方案的表示。神经网络模块122可包括编码器模块124和解码器模块126。在某些实施方案中，先前已被捕获的图像作为训练图像而被提供至神经网络模块122。可将训练图像的已知属性连同训练图像一起提供至神经网络模块122(例如，训练图像可利用已知属性来扩充)。在一些实施方案中，相机102可耦接到处理器120和/或神经网络模块122。相机102可用于捕获训练图像的图像并将相机捕获的图像提供至神经网络模块122。
编码器模块124和解码器模块126可分别与编码器模块116和解码器模块118基本相似或基本相同。编码器模块124和解码器模块126可位于处理器120上的神经网络模块122中，以便通过训练过程200来进行训练。然后，可将由“训练的”神经网络模块122生成的操作参数输出用于设备100上的神经网络模块114，以实现设备上的“训练的”神经网络模块。
在一些实施方案中，处理器120为支持GPU的计算机处理器。支持GPU的计算机处理器上的训练神经网络模块122可使用浮点数表示模式来输出操作参数。例如，从“训练的”神经网络模块122生成的操作参数可包括使用浮点数描述的权重或内核。在此类实施方案中，在设备100上的神经网络模块114上使用浮点操作参数之前，可能需要将浮点操作参数转换成整数表示。本领域中已知的任何转换过程可用于将操作参数从浮点数表示模式转换为整数表示模式。
在某些实施方案中，如图8所示，训练过程200开始于提供图像输入202。图像输入202可包括提供至训练过程200的训练图像(例如，将利用如上所述的已知信息扩充或注释的(例如，标记的)训练图像提供至训练过程)。在一些实施方案中，图像输入202包括利用相机102捕获的训练图像。训练图像可包括从图像的数据库获取的参考图像或其他样本图像。例如，可从ImageNet或另一类似图像数据库获取训练图像。在某些实施方案中，在泛光IR照明图像上实现训练过程200，以在此类图像中训练用于面部检测的神经网络模块。在一些实施方案中，在深度图图像上实现训练过程200，以在此类图像中训练用于面部检测的神经网络模块。
图像输入202可包括图像中的具有各种不同用户和/或面部的多个训练图像。图像中的面部可在图像中具有不同的位置和/或在图像中具有不同的姿态。训练图像中的面部的位置和/或姿态可为已知的(例如，该图像具有识别位置和姿态的已知信息的标签或其他标记)。可将位置和姿态的已知信息作为已知数据204提供至训练过程200中。在一些实施方案中，训练图像利用已知数据204来扩充。
在一些实施方案中，训练图像在距相机的不同距离处被输入(例如，由相机捕获)。每个所捕获的图像的距离的值可为已知的，并且已知的信息可与位置和姿态的已知信息一起被提供至已知数据204中。因此，这些属性的已知信息(面部的位置和/或姿态、以及面部和相机之间的距离)被包括在已知数据204中。
可将图像输入202提供至编码器过程206。编码器过程206可由例如图9所示的编码器模块124来执行。在编码器过程206中，如图8所示，编码器模块可编码被输入到编码器过程中的图像，并将图像中的特征定义为特征空间中的特征向量。例如，编码器模块可将用户面部中的面部特征(以及图像中的其他特征)定义为特征空间中的特征向量。编码器过程206可输出特征向量208。特征向量208(例如，编码器过程206(以及编码器模块)的输出)包括表示特征空间中的用户的面部特征(和/或图像中的其他特征)的特征向量。特征空间可为N维特征空间。特征向量可为数值的n维向量，该数值针对特征空间中的与图像中的区域对应的区域来定义图像中的特征。例如，在一些实施方案中，特征向量可为1024维向量。在各种实施方案中可实现任何数量的维度。
图10描绘了具有区域132的特征空间130的实施方案的示例。特征空间130中的区域132可为例如栅格中的小区，其中栅格表示特征空间。在图10的示例中，特征空间130为区域132的8×8栅格。然而，特征空间130可根据需要而具有不同维度的栅格。点134表示每个区域132中的特征向量。特征空间130中的区域132可对应于输入图像中的区域或区。因此，在图10的示例中，输入图像在特征空间130中被划分为64个区域(8×8个区域)，其中每个区域132表示输入图像的不同区域。
在某些实施方案中，在编码器过程206中使用的编码器模块(例如，在图9中所示的编码器模块124)为神经网络。例如，编码器模块可为多尺度神经网络或者其中在网络中所使用的内核的尺度可变化的另一神经网络。在某些实施方案中，编码器模块为多尺度卷积神经网络。使用多尺度卷积神经网络，编码器过程206可在特征空间中生成具有高级特征向量的图像输入202的高级表示。例如，编码器过程206可在栅格的每个区域(小区)中生成具有特征向量的32×32栅格表示，而输入图像可具有更高的分辨率(例如，图像输入202可为256×256图像)。
如图8所示，可将特征向量208提供至解码器过程210中。解码器过程210可由例如图9所示的解码器模块126来执行。在解码器过程210中，解码器模块可对在编码器过程206中生成的特征向量208的特征空间中的特征向量进行解码。解码特征向量可包括利用一个或多个分类器或支持分类的网络对特征向量进行操作，以从图像输入202确定(例如，提取)输出数据212。输出数据212可包括例如关于图像输入202中的面部的信息或属性。
在某些实施方案中，在解码器过程210(例如，解码器模块126)中使用的解码器模块为神经网络。例如，解码器模块可为重复性神经网络(RNN)。在某些实施方案中，为门控重复性单元(GRU)可对神经网络进行重复。但是，也可使用其他重复性神经网络，诸如长期短期记忆(LSTM)重复性神经网络。
在某些实施方案中，解码器过程210包括对特征空间中的每个区域(例如，图10的示例中所示的特征空间130中的每个区域132)的特征向量进行解码。来自特征空间的每个区域的特征向量可被解码成输出数据212中的不重叠的框。在某些实施方案中，对某个区域的特征向量进行解码(例如，从特征向量提取信息)包括确定(例如，检测)该区域中是否存在一个或多个面部。在训练过程200中，图像输入202中的面部的存在为已知的并且可与经解码的特征矢量相关。由于解码器过程210对特征空间中的每个区域进行操作，因此解码器模块可针对特征空间中的每个区域提供面部检测分数(例如，基于关于在该区域中是否检测到/存在面部或面部的一部分的置信度分数的预测)。在一些实施方案中，使用RNN，可针对特征空间的每个区域提供关于是否存在一个或多个面部的多个预测，其中该预测包括关于区域内的面部和区域周围(例如，在相邻区域)的面部两者的预测。这些预测可被塌缩成在图像输入202中存在一个或多个面部的最终决定。输出数据212可包括关于在图像输入202中存在一个或多个面部的决定。
在某些实施方案中，在与相邻区域没有太多重叠的区域中检测到面部，因为该区域被解码为不重叠的框。然而，在一些实施方案中，在解码器处理210中解码的多个区域可检测相同的面部。如果在多个区域中检测到相同的面部，则可对这些区域的置信度进行排序。可使用多个预测来确定在每个区域中存在面部或面部的一部分的置信度(例如，预测可用于对区域的置信度进行排序)。然后可将对于所检测到的面部具有最高置信度的一个或多个区域选择作为在训练过程200中使用的区域。
在某些实施方案中，当在一个区域中检测到一个或多个面部的存在时，由解码器过程210生成的预测包括对该区域中的一个或多个所检测到的面部的一个或多个属性的评估(例如，确定)。所评估的属性可包括面部相对于该区域的中心的位置(例如，面部从该区域的中心的偏移)、面部在该区域中的姿态、以及该区域中的面部和相机之间的距离。面部的姿态可包括面部的倾斜、偏转、和/或转动。所评估的属性可连同关于在图像输入202中存在一个或多个面部的决定一起被包括在输出数据212中。
在训练过程200中，可通过将经解码的特征向量与已知数据204相关来确定一个或多个面部的属性的值。例如，已知数据204可提供图像输入202中的一个或多个面部的已知属性，该图像输入具有定义由解码器过程210评估的属性的已知属性。在某些实施方案中，在训练过程200期间，使经解码的特征向量与已知数据204相关包括用于解码器过程210的解码器模块，该解码器过程评估经解码的特征向量与已知数据204之间的差异。例如，检测器模块可对经解码的特征向量和已知数据204之间的差异执行误差函数分析(或类似分析)并细化特征向量解码过程，直到特征向量解码过程准确地确定已知数据。因此，当在训练过程200中处理多个训练图像时，可通过图像输入202中的训练图像和已知数据204来训练解码器过程210(和编码器过程206)，以准确地检测一个或多个面部的存在并评估一个或多个面部的属性的值。
在某些实施方案中，面部的姿态和/或面部与相机之间的距离的输出被离散化(例如，被提供作为离散输出)。例如，倾斜、偏转和/或转动值可被解码为浮点值。在一些实施方案中，浮点值可为正浮点值或负浮点值。代替对浮点值执行回归，可通过选择最小范围和最大范围来将浮点输出离散化，并且然后将浮点输出分成K个区段，其中K为正整数。使用这些区段，如果输出落入一个区段，则其被赋值为1，如果输出不落入一个区段，则其被赋值为0。如果浮点值不在由该区段表示的范围中，则可能先将其剪裁到该范围内的最接近的值。因此，浮点输出可从浮点值转换为0和1的离散向量(例如，特征向量为0和1的离散向量)。然后可训练网络(例如，编码器模块)，以预测K维向量，而不是单个浮点值。在运行时(例如，在设备上的操作期间)，通过将每个区段的网络激活视为权重，可从这些K维输出中恢复单个浮点值。然后取每个区段的中心值的加权和可产生单个浮点值。
例如，最小范围和最大范围可为0到10，并且存在十个区段。然后，如果浮点训练目标介于0和1之间，则将其分配给第一个区段，如果介于1和2之间，则分配给第二个区段，并且依此类推。将低于0的值分配给第一个区段，并且将高于10的值分配给最后一个区段。利用这个过程，训练值2.4将被转换成向量(0 0 1 0 0 0 0 0 0 0)，训练值-1.3将被转换成向量(1 0 0 0 0 0 0 0 0 0)，并且训练值11.9将被转换成向量(0 0 0 0 0 0 0 0 0 1)。在运行时，如果网络输出向量为(0 0 1 1 0 0 0 0 0 0)，则加权求和程序将得到值3.0。
在一些实施方案中，在训练期间，K维向量可基于使用任何合适的算法或公式的“软”分配。例如，如上所述给定一个初始区段分配，则也可为相邻区段给定与目标和区段的中心值之间的差异相关的值。作为示例，以上示例中的训练值2.4可基于简单的指数公式而被转换成向量(0.67 1.54 0 0 0 0 0 0)。
将浮点值转换为离散向量允许解码器过程210(和解码器模块)通过将该值分类到哪个区段中而不是使用浮点值所需的回归解决方案来对面部的姿态和/或面部与相机之间的距离的值进行操作。在分类之后，解码器过程210可包括区段的中心所表示的浮点值的加权和(例如，区段的峰值的加权平均值)的映射。离散向量和区段的分类和映射可提供相对精确的姿态和/或位置评估的输出。
使用对离散向量的分类而不是对浮点值的回归可允许解码器过程210更容易学习(例如，在训练过程200中被训练)，因为神经网络在进行分类方面通常比回归更好。此外，回归的误差功能信号可相对较大，因为回归中的误差函数信号越大则差异越大，而无论误差中的差异有多大，离散向量和区段的误差函数信号基本上相同。因此，相比于使用浮点值，在解码器过程210中使用离散向量和区段来评估姿态和/或位置对于解码器过程学习可更有效。
如上所述，训练过程200可包括在多个训练图像上训练编码器过程206和解码器过程210(及其对应的编码器模块和解码器模块)，其具有图像中的各种不同的用户和/或面部、以及图像中的面部的不同属性。在对一组训练图像完成训练过程200之后，操作参数214可由该训练过程基于经解码的特征向量和已知数据204之间的相关性来生成。操作参数214包括如图9所示的可用于神经网络模块122(例如，编码器模块124和解码器模块126)的参数，以检测从相机102输入到神经网络模块中的一个或多个面部并评估该一个或多个面部的属性的值(例如，面部的位置、面部的姿态、以及面部和相机之间的距离)。在一些实施方案中，操作参数214包括用于解码器模块126中的分类参数。分类参数可包括用于对在训练过程200期间与已知数据204相关的解码特征向量进行分类的参数。然后，解码器模块126能够使用分类参数对由编码器模块124生成的所捕获的图像的特征向量进行分类。通过(使用分类参数)对特征向量进行分类来对所捕获的图像的特征向量进行解码可允许神经网络模块122对一个或多个面部的存在以及所捕获的图像中的一个或多个面部的属性的值进行评估。
在一些实施方案中，可通过将操作参数输入到神经网络模块122中并且使用已知信息(例如，已知的面部位置、已知的姿态、和已知的距离)在样本图像上操作该模块来测试操作参数214。图11描绘了用于神经网络模块122的测试过程的实施方案的流程图。在测试过程215中，可将样本图像输入216连同操作参数214一起提供至神经网络模块122。神经网络模块122可通过使用操作参数214对样本输入图像216进行处理来提供样本输出数据218。可将样本输出数据218与样本图像已知数据220进行比较，以查看该数据是否在匹配数据222中匹配。
如果样本输出数据218与样本图像已知数据220匹配，则在224中设置该操作参数(例如，如图6所示，操作参数214可被设置并用于对处理器104上的神经网络模块114进行编程，以用于本文所述的面部检测过程)。如果样本输出数据218不与样本图像已知数据220匹配(在期望的公差内)，则可在226中对训练过程(例如，在图8中示出的训练过程200)进行微调。对训练过程进行微调可包括向训练过程200提供附加训练图像和/或训练过程中的其他调整，以优化神经网络模块122的操作参数(或生成新的操作参数)。
一旦在224中设置用于神经网络模块122的操作参数214，则可通过将该操作参数提供至如图1所示的设备100上的神经网络模块114而将该操作参数应用于该设备。在某些实施方案中，用于神经网络模块122的操作参数214处于与神经网络模块114用于操作的数值表示模式不同的数值表示模式中。例如，神经网络模块122可使用浮点数，而神经网络模块114使用整数。因此，在此类实施方案中，用于神经网络模块122的操作参数214从浮点操作参数被转换成用于神经网络模块114的整数操作参数。
在将操作参数提供至神经网络模块114之后，神经网络模块可在设备100上进行操作，以在设备上实现面部检测过程。图12描绘了使用设备100上的神经网络模块114实现的面部检测过程250的实施方案的流程图。图像输入252可包括使用设备100上的相机102捕获的图像。所捕获的图像可为泛光IR照明图像或深度图图像。面部检测过程250可用于检测图像中是否存在一个或多个面部(例如，在一个或多个面部周围放置边界框)，并且如果检测到一个或多个面部，则评估该一个或多个面部的属性的值(例如，位置、姿态、和/或距离)。
可将来自图像输入252的所捕获的图像提供至编码器过程254。编码器过程254可由如图7所示的编码器116来执行。在某些实施方案中，编码器模块116为多尺度卷积神经网络(例如，编码器模块116与编码器模块124为基本上相同的神经网络)。在编码器过程254中，编码器模块116可对图像输入252进行编码，以将图像中的特征表示为特征空间(例如，与图10所示的特征空间130基本类似的特征空间)中的特征向量。编码器过程254可输出特征向量256。特征向量256可为(例如)被表示作为向量的经编码的图像特征。
可将特征向量256提供至解码器过程258中。解码器过程258可由图7所示的编码器118来执行。在某些实施方案中，解码器模块118为重复性神经网络(例如，解码器模块118与解码器模块126为基本上相同的神经网络)。在解码器过程258中，解码器模块可对特征向量256进行解码，以评估图像输入252的一个或多个属性，从而确定(例如，提取)来自该图像输入的输出数据260。对特征向量进行解码可包括使用在训练过程200期间确定的分类参数来对特征向量进行分类。对特征向量进行分类可包括利用一个或多个分类器或支持分类的网络来对特征向量进行操作。
在某些实施方案中，解码器过程258包括对特征空间中的每个区域的特征向量进行解码。来自特征空间的每个区域的特征向量可被解码成输出数据260中的不重叠的框。在某些实施方案中，对某个区域的特征向量进行解码(例如，从特征向量提取信息)包括确定(例如，检测)该区域中是否存在一个或多个面部。由于解码器过程258对特征空间中的每个区域进行操作，因此解码器模块可针对特征空间中的每个区域提供面部检测分数(例如，基于关于在该区域中是否检测到/存在面部或面部的一部分的置信度分数的预测)在一些实施方案中，使用RNN，针对特征空间的每个区域提供关于是否存在一个或多个面部(或面部的部分)的多个预测，其中该预测包括关于区域内的面部和区域周围(例如，在相邻区域中)的面部的预测。这些预测可被塌缩成在图像输入252中存在一个或多个面部的最终决定。输出数据260可包括关于在图像输入252中(例如，在所捕获的图像中)存在一个或多个面部的决定。
在一些实施方案中，可在解码器过程258中解码的多个区域中检测到相同的面部。区域的置信度排名也可由解码器过程258来确定。如果在多个区域中检测到相同的面部，则可使用这些区域的置信度排名来确定对于所检测到的面部具有最高置信度的区域。然后可选择具有最高置信度的区域，以提供输出数据260(包括所检测到的面部的属性的值的附加数据)。
当检测到在特征空间的区域中存在一个或多个面部时，由解码器过程258生成的预测包括对该区域中的一个或多个所检测到的面部的属性的一个或多个值的评估(例如，确定)。对一个或多个所检测到的面部的属性的值进行评估可包括使用与待评估的属性相关联的分类参数(从训练过程200获取)在特征向量的解码期间对特征向量进行分类。在某些实施方案中，属性的评估值包括面部相对于该区域的中心的位置(例如，面部相对于该区域的中心的偏移)、面部在该区域中的姿态、以及该区域中的面部和相机之间的距离。在某些实施方案中，面部的姿态包括面部的倾斜、偏转、和/或转动。属性的评估值可连同关于在图像输入252中存在一个或多个面部的决定一起被包括在输出数据260中。
在某些实施方案中，输出数据260被提供至下游过程262。下游过程262可包括能够使用面部检测过程输出的设备100上的面部检测过程250的任何下游过程。下游过程262的示例包括但不限于附加图像信号处理和安全飞地处理诸如面部识别处理。在一些实施方案中，输出数据260中的一个或多个值用于控制设备100的一个或多个操作。在一些实施方案中，输出数据260中的距离值可用于控制从设备100上的相机102输出的光斑图案照明的操作。例如，如本文所述，输出数据260中的距离值可用于确定从相机102输出的光斑图案照明的密度(或密度设置)。
如图12所示，面部检测过程250可用于检测由设备100上的相机102捕获的图像中的一个或多个面部。输出数据260可包括在所捕获的图像中存在一个或多个面部的决定、以及一个或多个所检测到的面部的属性的值(例如，位置、姿态、和/或距相机的距离)的数据。面部检测过程250利用单个网络模块(例如，神经网络模块114)来提供面部检测输出、以及一个或多个所检测到的面部的位置、姿态和距相机的距离。使用神经网络模块114允许以减少的计算复杂度来实现面部检测过程250，因为对面部检测的计算以及对位置、姿态和距离的估计在这些任务之间共享。共享任务还可提供更好的运行时性能。
在某些实施方案中，面部检测过程250被用在使用泛光红外照明对用户的面部进行照明而捕获的图像上。例如，面部检测过程250被用在当用户被图2所示的泛光照明器105A照明时由相机102所捕获的图像上。如上所述，来自面部检测过程250的输出数据260可包括对用户的面部和相机102之间的距离的评估(例如，估计)。在某些实施方案中，对用户的面部和相机102之间的距离的估计被用于确定由光斑照明器105B提供的照明的密度(例如，对用户进行照明的光斑图案红外照明的密度)。
图13描绘了照明确定过程300的实施方案的流程图。当图像由设备上的相机102捕获时，过程300可用于确定由设备100上的光斑照明器105B提供的照明的密度。面部距离估计302包括对用户的面部和设备100上的相机102之间的距离的估计。在某些实施方案中，如上所述，面部距离估计302由来自面部检测过程250的输出数据260使用由相机102捕获的泛光红外照明图像来提供。在一些实施方案中，面部距离估计由设备100上的另一个传感器提供。例如，设备100可包括接近传感器、激光传感器、或能够评估设备和用户之间的距离信息的另一传感器。
在304中，将距302的所估计的距离与所选择的距离或阈值距离进行比较。在某些实施方案中，阈值距离为密集点图案(例如，更高密度点图案)中的点(光斑)不再重叠的距设备100的距离。例如，大于阈值距离，点(例如，光斑图案)可被聚焦。然而，小于阈值距离，光斑图案中的点可变大并且失焦。在一些情况下，小于阈值距离(例如，如果100％的发射器转向密集点图案)，光斑图案中的点可能变得太大并且重叠，并且被摄体变成被平场照亮。当被平场照亮时，各个点可能不能彼此确定(例如，每个点的位置或边界不再可检测到)，并且三维测量可能变得困难或不可能。因此，光斑图案中的点之间的重叠可阻止确定关于被摄体的三维信息。
为了克服光斑图案中的点变得太大和重叠的问题，可使用稀疏的点密度。如本文所述，通过使用照明器105B的阵列中的发射器的部分百分比(例如，约40％的发射器)来提供稀疏的点密度。使用较少的发射器在图案中的点之间提供更多的间距。因此，即使点较大，较大的间距也允许点被区分并用于三维测量。在某些实施方案中，用于提供稀疏的点密度图案的发射器的百分比为发射器的最大百分比(密度)，其在阈值距离处仍然允许点之间的区分(例如，提供最大允许密度)。例如，在一个实施方案中，使用约40％的发射器在照明器和被摄体之间的约20cm距离处提供最大允许密度。因此，在此类实施方案中，如果使用大于约40％的发射器，则点之间的分辨率(例如，区分)开始受到损害。
对于设备100(例如，移动设备)，阈值距离可介于约20cm和约60cm之间。在某些实施方案中，阈值距离介于约20cm和约35cm之间。在一些实施方案中，阈值距离介于约10cm和约70cm之间。在一些实施方案中，阈值距离介于约30cm和约50cm之间。阈值距离可根据例如相机102的光学器件和/或光斑照明器105B的光学器件而变化。
在304中，如果距302的所估计的距离小于阈值距离(例如，25cm)，则稀疏图案照明由306中的光斑照明器105B提供(例如，仅区段A(照明器中约40％的发射器)被操作，如图5所示)。如果距302的所估计的距离大于阈值距离，则密集图案照明由308中的光斑照明器105B提供(例如，区段A和区段B两者(约100％的发射器)被操作，如图5所示)。在某些实施方案中，稀疏图案照明包括具有稀疏点密度(例如，较低点密度)的光斑图案照明，而密集图案照明包括具有密集点密度(例如，较高点密度)的光斑图案照明。因此，密集图案照明具有比稀疏图案照明更高的点(光斑)密度。
一旦照明器105B使用稀疏图案照明306或密集图案照明308来提供照明，则可使用相机102在310中捕获一个或多个图像。在310中捕获的一个或多个图像为用户的一个或多个光斑图案照明图像(例如，一个或多个深度相机图像)。在一些实施方案中，一个或多个光斑图案图像用于在312中评估用户的一个或多个面部特征的深度信息。深度信息可基于已知配置和由光斑照明器105B生成的点图案而被评估(例如，配置和稀疏图案照明或密集图案照明的密度为已知的)。由相机102捕获的具有光斑图案照明的一个或多个图像可为基于照明投影到的特征在一个或多个图像中的点之间具有变化的间距的一个或多个二维图像。然后可通过评估一个或多个所捕获的图像中的点(光斑)的间距来插入一个或多个所捕获的图像中的深度。
在一些实施方案中，在310中捕获的一个或多个图像与一个或多个泛光红外照明图像314一起被提供至面部识别过程316。一个或多个泛光红外照明图像314可包括用于提供面部距离估计302的图像。面部识别过程316可包括评估在310中所捕获的一个或多个图像中和一个或多个泛光红外照明图像314中的用户是否为设备100的授权用户。
在某些实施方案中，在310中捕获一个或多个图像之后，在318中捕获新的泛光红外照明图像并将所捕获的图像提供至面部距离估计302以再次开始过程300，并提供对由光斑照明器105B提供的照度的密度的新确定(例如，图案确定)。例如，过程300可在新的泛光红外照明图像上实现，以重新评估用户和相机102之间的距离并确定是否需要改变光斑图案照明的密度(例如，从稀疏图案切换到密集图案，或者反之亦然)。
在某些实施方案中，如图2所示的相机102交替拍摄泛光红外照明图像和光斑图案照明图像。例如，相机102可以60fps(每秒帧数)来拍摄在一秒钟内30帧泛光红外照明图像与30帧光斑图案照明图像交替的图像。因此，在一些实施方案中，使用新的泛光红外照明图像来对图案确定进行重新评估可在捕获具有光斑图案照明的连续帧(图像)之间发生(例如，每1/30秒对图案确定进行重新评估)。然而，重新评估可能会在更长的时间帧内发生。在拍摄一批光斑图案照明图像之后，可对图案确定进行重新评估。例如，可在拍摄一定数量的光斑图案照明图像之后或者在完成一定时间量的光斑图案照明图像的拍摄之后对图案确定进行重新评估。
在一些实施方案中，可通过在设备100上进行的动作来提示对图案确定进行的重新评估。例如，当相机102被触发以捕获新图像时，可对图案确定进行重新评估。触发可在当相机102的快门按钮被按下时或当按下设备100的解锁按钮(或虚拟解锁按钮)时发生。
估计用户的面部和相机102之间的距离并使用所评估的距离来确定由光斑照明器105B提供的照明的密度允许仅拍摄一个密度的用于深度信息确定的深度图像。因此，过程300可更快地提供深度信息并且提高用于检测用户的速率(例如，更快的面部检测和/或更快的面部识别)。另外，仅以一个密度来拍摄深度图像可为设备100提供功率节省。
在某些实施方案中，可由执行被存储在非暂态计算机可读介质上的指令的一个或多个处理器(例如，计算机处理器)来执行本文所述的一个或多个过程步骤。例如，图13所示的过程300可具有由一个或多个处理器执行的一个或多个步骤，该一个或多个处理器执行被存储作为计算机可读存储介质(例如，非暂态计算机可读存储介质)中的程序指令的指令。
图14描绘了示例性计算机系统510的一个实施方案的框图。示例性计算机系统510可用于实现本文所述的一个或多个实施方案。在一些实施方案中，计算机系统510可由用户操作，以实现本文所述的一个或多个实施方案，诸如图13所示的过程300。在图14的实施方案中，计算机系统510包括处理器512、存储器514、和各种外围设备516。处理器512耦接到存储器514和外围设备516。处理器512被配置为执行包括用于过程300的指令的指令，该指令可在软件中。在各种实施方案中，处理器512可实现任何期望的指令集(例如，Intel架构-32(IA-32，也被称为x86)、IA-32(具有64位扩展)、x86-64、PowerPC、Sparc、MIPS、ARM、IA-64等)。在一些实施方案中，计算机系统510可包括多于一个处理器。此外，处理器512可包括一个或多个处理器或一个或多个处理器内核。
处理器512可以任何期望的方式而被耦接到存储器514和外围设备516。例如，在一些实施方案中，处理器512可经由各种互连件而被耦接到存储器514和/或外围设备516。另选地或除此之外，可使用一个或多个桥接芯片来耦接处理器512、存储器514和外围设备516。
存储器514可包括任何类型的存储器系统。例如，存储器514可包括DRAM，并且更具体地包括双倍数据速率(DDR)SDRAM、RDRAM等。可包括存储器控制器以与存储器514接口连接，和/或处理器512可包括存储器控制器。存储器514可存储在使用期间由处理器512执行的指令、以及在使用期间由处理器操作的数据等。
外围设备516可表示可被包括在计算机系统510中或与其耦接的任何种类的硬件设备(例如，存储设备，可选地包括图15所示的计算机可访问存储介质600、其他输入/输出(I/O)设备诸如视频硬件、音频硬件、用户界面设备、联网硬件等)。
现在转向图15，其示出了计算机可访问存储介质600的一个实施方案的框图，该计算机可访问存储介质包括表示被包括在集成电路设计中的设备100(在图1中描绘)的一个或多个数据结构、以及表示过程300(在图13中示出)的一个或多个代码序列。每个代码序列可包括在由计算机中的处理器执行时实现针对对应的代码序列所述的操作的一个或多个指令。一般来讲，计算机可访问存储介质可包括在使用期间可被计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质可包括非暂态存储介质诸如磁性介质或光学介质，例如磁盘(固定的或可拆卸的)、磁带、CD-ROM、DVD-ROM、CD-R、CD-RW、DVD-R、DVD-RW、或蓝光。存储介质还可包括易失性或非易失性存储器介质，诸如RAM(例如，同步动态RAM(SDRAM)、Rambus DRAM(RDRAM)、静态RAM(SRAM)等)、ROM、或闪存存储器。存储介质可被物理地包括在存储介质将指令/数据提供至其的计算机中。作为另外一种选择，存储介质可连接至计算机。例如，存储介质可通过网络或无线链路诸如网络附接存储装置而被连接至计算机。存储介质可通过外围接口诸如通用串行总线(USB)而被连接。一般来讲，计算机可访问存储介质600可以非暂态方式存储数据，其中在该上下文中非暂态是指不通过信号传输指令/数据。例如，非暂态存储装置可为易失性的(并且响应于断电而可能会丢失所存储的指令/数据)或非易失性的。
根据本说明书，对本公开所描述的实施方案的各个方面的其他修改和替代实施方案对于本领域的技术人员而言将为显而易见的。因此，将本说明书理解为仅为示例性的并且用于教导本领域的技术人员执行这些实施方案的一般方式。应当理解，本文所示和所述的实施方案的形式将被当作目前优选的实施方案。元素与材料可被本文所示和所述的那些元素与材料替代，可反转部件和工艺，并且可独立地利用这些实施方案的某些特征，在受益于本说明书之后，所有这些对于本领域的技术人员而言都将为显而易见的。可在不脱离以下权利要求书的实质和范围的情况下对本文所述的元素作出修改。

Claims (29)

1.一种电子设备，其特征在于包括：
相机；
照明器，提供光斑图案照明；
电路，耦接到所述相机和所述照明器，其中所述电路被配置为：
使用位于所述电子设备上的至少一个传感器来评估一个或多个用户和所述相机之间的距离；
确定所评估的距离是否小于阈值距离或大于所述阈值距离；
利用来自所述照明器的光斑图案照明来对至少一个用户进行照明，其中：
如果所评估的距离小于所述阈值距离，则所述光斑图案照明具有第一点密度；并且
如果所评估的距离大于所述阈值距离，则所述光斑图案照明具有第二点密度，所述第二点密度大于所述第一点密度；以及
利用所述相机捕获所述至少一个用户的至少一个第一图像，所述至少一个第一图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像。
2.根据权利要求1所述的电子设备，其中所述阈值距离介于20cm和60cm之间。
3.根据权利要求1所述的电子设备，所述电路还被配置为评估所述至少一个第一图像中的所述至少一个用户的一个或多个特征的深度信息。
4.根据权利要求1所述的电子设备，所述电路还被配置为使用所述至少一个第一图像来评估所述至少一个用户是否为所述电子设备的授权用户。
5.根据权利要求1所述的电子设备，所述电路还被配置为评估所述至少一个用户和所述相机之间的第二距离，并且所述电路还被配置为：
确定所评估的第二距离是否小于所述阈值距离或大于所述阈值距离；
利用来自所述照明器的光斑图案照明来对所述至少一个用户进行照明，其中：
如果所评估的第二距离小于所述阈值距离，则所述光斑图案照明具有所述第一点密度；并且
如果所评估的第二距离大于所述阈值距离，则所述光斑图案照明具有所述第二点密度，所述第二点密度大于所述第一点密度；以及
利用所述相机捕获所述至少一个用户的至少一个第二图像，所述至少一个第二图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像。
6.根据权利要求1所述的电子设备，其中所述电子设备还包括提供泛光红外照明的第一照明器，并且评估一个或多个用户和所述相机之间的所述距离包括：
使用所述相机来捕获所述一个或多个用户的至少一个泛光图像，其中所述至少一个泛光图像包括在利用来自所述第一照明器的泛光红外照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像；以及
从所述至少一个泛光图像评估所述至少一个用户和所述相机之间的所述距离。
7.根据权利要求6所述的电子设备，其中所述至少一个泛光图像包括所述至少一个用户的面部，并且其中所评估的距离包括所述至少一个用户的所述面部和所述相机之间的距离。
8.根据权利要求6所述的电子设备，所述电路还被配置为从所述至少一个泛光图像评估所述至少一个用户的面部的姿态。
9.根据权利要求6所述的电子设备，所述电路还被配置为：
使用所述相机来捕获所述至少一个用户的至少一个第二泛光图像，其中所述至少一个第二泛光图像包括在利用来自第一照明器的泛光红外照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像；
从所述至少一个第二泛光图像评估所述至少一个用户和所述相机之间的第二距离；
确定所评估的第二距离是否小于所述阈值距离或大于所述阈值距离；
利用来自所述照明器的光斑图案照明来对所述至少一个用户进行照明，其中：
如果所评估的第二距离小于所述阈值距离，则所述光斑图案照明具有所述第一点密度；并且
如果所评估的第二距离大于所述阈值距离，则所述光斑图案照明具有所述第二点密度，所述第二点密度大于所述第一点密度；以及
捕获所述至少一个用户的至少一个第二图像，所述至少一个第二图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像。
10.根据权利要求6所述的电子设备，其中从所述至少一个泛光图像评估所述至少一个用户和所述相机之间的所述距离包括：
使用位于所述电子设备上的编码器模块来对所述至少一个泛光图像进行编码，以生成用于定义特征空间中的所述泛光图像中的被摄体的特征的特征向量，所述特征空间包括多个区域，其中每个特征向量定义所述特征空间中的一个区域的特征；
使用位于所述电子设备上的解码器模块来对所述特征空间中的每个区域的所生成的特征向量进行解码，以评估所述区域中的所述至少一个用户距所述相机的距离；以及
从所述解码器模块提供所述区域中的所述至少一个用户距所述相机的所评估的距离的输出。
11.一种电子设备，其特征在于包括：
第一照明器，被配置为利用泛光红外照明来对一个或多个用户进行照明；
相机，被配置为在利用来自所述第一照明器的所述泛光红外照明对至少一个用户进行照明时捕获所述至少一个用户的至少一个第一图像；
电路，所述电路耦接到所述相机和所述第一照明器，其中所述电路被配置为从所述至少一个第一图像评估所述至少一个用户和所述相机之间的距离；
第二照明器，被配置为利用光斑图案照明来对所述至少一个用户进行照明，其中如果所评估的距离小于所述至少一个用户和所述相机之间的阈值距离，则所述光斑图案照明中的点密度为第一密度，并且其中如果所评估的距离大于所述阈值距离，则所述光斑图案照明中的所述点密度为第二密度，所述第一密度小于所述第二密度；以及
其中所述电路被配置为在利用来自所述第二照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获所述至少一个用户的至少一个第二图像。
12.根据权利要求11所述的电子设备，其中所述阈值距离介于20cm和60cm之间。
13.根据权利要求11所述的电子设备，其中所述相机包括红外传感器。
14.根据权利要求11所述的电子设备，其中所述第二照明器包括光发射器阵列，并且其中所述第一密度包括操作所述光发射器的40％。
15.根据权利要求11所述的电子设备，其中如果所评估的距离等于所述阈值距离，则所述光斑图案照明中的所述点密度为所述第二密度。
16.一种电子设备，其特征在于包括：
相机，被配置为捕获用户的第一图像；
照明器，提供光斑图案照明；
电路，所述电路耦接到所述相机和所述照明器，其中所述电路被配置为：基于阈值距离和从所述第一图像评估的所述用户和所述相机之间的距离之间的比较，使得所述照明器在用于所述用户的光斑图案照明中投射第一点密度和第二点密度之一，其中所述第一点密度小于第二点密度。
17.根据权利要求16所述的电子设备，其中所述电路被配置为使得所述照明器在所评估的距离小于或等于阈值距离时在光斑图案照明中投射第一点密度，以及在所评估的距离大于阈值距离时在光斑图案照明中投射第二点密度。
18.根据权利要求16所述的电子设备，其中所述阈值距离介于20cm和60cm之间。
19.根据权利要求16所述的电子设备，所述相机还被配置为捕获所述用户的至少一个第二图像，所述至少一个第二图像包括在利用来自所述照明器的所述光斑图案照明对所述用户进行照明时捕获的所述用户的图像。
20.根据权利要求16所述的电子设备，其中所述第一图像包括所述用户的面部，并且其中所评估的距离包括所述用户的面部和所述相机之间的距离。
21.根据权利要求16所述的电子设备，其中通过使用所捕获的第一图像中的所述用户的一个或多个特征对距离进行评估来评估所述距离。
22.一种电子设备，其特征在于包括：
相机；
至少一个传感器，用于评估一个或多个用户和所述相机之间的距离；
电路，耦接到所述相机和所述至少一个传感器，其中所述电路被配置为确定所评估的距离是否小于阈值距离或大于所述阈值距离；以及
照明器，被配置为用光斑图案照明对至少一个用户进行照明，其中：
如果所评估的距离小于所述阈值距离，则所述光斑图案照明具有第一点密度；并且
如果所评估的距离大于所述阈值距离，则所述光斑图案照明具有第二点密度，所述第二点密度大于所述第一点密度；以及
其中所述相机被配置为捕获所述至少一个用户的至少一个第一图像，所述至少一个第一图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像。
23.根据权利要求22所述的电子设备，其中所述电子设备还包括提供泛光红外照明的第一照明器，其中评估一个或多个用户和所述相机之间的所述距离包括：
使用所述相机来捕获所述一个或多个用户的至少一个泛光图像，其中所述至少一个泛光图像包括在利用来自所述第一照明器的泛光红外照明对至少一个用户进行照明时捕获的所述至少一个用户的图像；以及
从所述至少一个泛光图像评估所述至少一个用户和所述相机之间的所述距离。
24.根据权利要求23所述的电子设备，其中所述至少一个泛光图像包括所述至少一个用户的面部，并且其中所评估的距离包括所述至少一个用户的所述面部和所述相机之间的距离。
25.根据权利要求23所述的电子设备，所述电路还被配置为从所述至少一个泛光图像评估所述至少一个用户的面部的姿态。
26.一种电子设备，其特征在于包括：
相机；
至少一个传感器，用于评估一个或多个用户和所述相机之间的距离；
电路，耦接到所述相机和所述至少一个传感器，其中所述电路被配置为确定所评估的距离是否小于阈值距离或大于所述阈值距离；以及
照明器，被配置为用光斑图案照明对至少一个用户进行照明，其中：
如果所评估的距离小于所述阈值距离，则所述光斑图案照明具有第一点密度；并且
如果所评估的距离大于所述阈值距离，则所述光斑图案照明具有第二点密度，所述第二点密度大于所述第一点密度；以及
其中所述相机被配置为捕获所述至少一个用户的至少一个第一图像，所述至少一个第一图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像；
其中所述电路还被配置为评估所述至少一个用户和所述相机之间的第二距离，以及确定所评估的第二距离是否小于所述阈值距离或大于所述阈值距离；
其中所述照明器还被配置为用光斑图案照明对至少一个用户进行照明，其中：
如果所评估的第二距离小于所述阈值距离，则所述光斑图案照明具有所述第一点密度；并且
如果所评估的第二距离大于所述阈值距离，则所述光斑图案照明具有所述第二点密度，所述第二点密度大于所述第一点密度；以及
其中所述相机还被配置为捕获所述至少一个用户的至少一个第二图像，所述至少一个第二图像包括在利用来自所述照明器的所述光斑图案照明对所述至少一个用户进行照明时捕获的所述至少一个用户的图像。
27.根据权利要求26所述的电子设备，其中所述电子设备还包括提供泛光红外照明的第一照明器，并且评估一个或多个用户和所述相机之间的所述距离包括：
使用所述相机来捕获所述一个或多个用户的至少一个泛光图像，其中所述至少一个泛光图像包括在利用来自所述第一照明器的泛光红外照明对至少一个用户进行照明时捕获的所述至少一个用户的图像；以及
从所述至少一个泛光图像评估所述至少一个用户和所述相机之间的所述距离。
28.根据权利要求27所述的电子设备，其中所述至少一个泛光图像包括所述至少一个用户的面部，并且其中所评估的距离包括所述至少一个用户的所述面部和所述相机之间的距离。
29.根据权利要求27所述的电子设备，所述电路还被配置为从所述至少一个泛光图像评估所述至少一个用户的面部的姿态。
CN201820136191.8U 2017-08-01 2018-01-26 电子设备 Active CN208589037U (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762539741P 2017-08-01 2017-08-01
US62/539,741 2017-08-01
US201762556400P 2017-09-09 2017-09-09
US62/556,400 2017-09-09
US201762556832P 2017-09-11 2017-09-11
US62/556,832 2017-09-11

Publications (1)

Publication Number Publication Date
CN208589037U true CN208589037U (zh) 2019-03-08

Family

ID=61764121

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810079433.9A Active CN109325394B (zh) 2017-08-01 2018-01-26 确定稀疏图案照明与密集图案照明
CN201820136191.8U Active CN208589037U (zh) 2017-08-01 2018-01-26 电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810079433.9A Active CN109325394B (zh) 2017-08-01 2018-01-26 确定稀疏图案照明与密集图案照明

Country Status (4)

Country Link
US (2) US10401158B2 (zh)
EP (1) EP3662406B1 (zh)
CN (2) CN109325394B (zh)
WO (1) WO2019027506A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018215053A1 (en) * 2017-05-23 2018-11-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
CN109325394B (zh) 2017-08-01 2022-06-21 苹果公司 确定稀疏图案照明与密集图案照明
US11275920B1 (en) 2017-09-27 2022-03-15 Apple Inc. Elongated fingerprint sensor
CN107748475A (zh) 2017-11-06 2018-03-02 深圳奥比中光科技有限公司 结构光投影模组、深度相机及制造结构光投影模组的方法
US10515460B2 (en) * 2017-11-29 2019-12-24 Adobe Inc. Neural network-based camera calibration
CN108234874B (zh) * 2018-01-10 2020-07-21 南京华捷艾米软件科技有限公司 体感摄像头的成像精度的调节方法及调节装置
US11061234B1 (en) 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
CN108594454B (zh) 2018-03-23 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
US11694433B2 (en) 2019-02-15 2023-07-04 Google Llc Detection of projected infrared patterns using difference of Gaussian and blob identification
EP3788545B1 (en) 2019-03-26 2022-12-07 Shenzhen Goodix Technology Co., Ltd. Multizone illumination for optical face identification
CN111566663B (zh) * 2019-03-26 2023-05-02 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
CN112068144B (zh) * 2019-06-11 2022-10-21 深圳市光鉴科技有限公司 光投射系统及3d成像装置
CN112066907B (zh) * 2019-06-11 2022-12-23 深圳市光鉴科技有限公司 深度成像装置
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11367306B1 (en) * 2020-06-23 2022-06-21 Amazon Technologies, Inc. System to determine user engagement with autonomous mobile device
DE102020118407A1 (de) * 2020-07-13 2022-01-13 Soft2Tec Gmbh Vorrichtung und Verfahren zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
US12093359B2 (en) 2020-09-25 2024-09-17 Apple Inc. Electronic device having a sealed biometric input system
US11783629B2 (en) * 2021-03-02 2023-10-10 Apple Inc. Handheld electronic device
US20240129604A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods
WO2024088935A1 (en) * 2022-10-28 2024-05-02 Ams International Ag System and method for object depth estimation
WO2024170597A1 (en) * 2023-02-15 2024-08-22 Trinamix Gmbh Behind oled authentication

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618123B2 (en) 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
US7206435B2 (en) * 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
JP4314016B2 (ja) 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP2004274637A (ja) 2003-03-12 2004-09-30 Nec Corp 携帯端末装置及びそれに用いるライト照度変更方法並びにそのプログラム
US7469060B2 (en) 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US7748629B2 (en) * 2006-01-31 2010-07-06 Symbol Technologies, Inc. Extended working range illumination system for an imaging-based bar code reader
US7922353B2 (en) * 2006-03-20 2011-04-12 Larson Isely Apparatus, method and system for providing multi-mode illumination
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8263921B2 (en) * 2007-08-06 2012-09-11 Cypress Semiconductor Corporation Processing methods for speckle-based motion sensing
US8180112B2 (en) 2008-01-21 2012-05-15 Eastman Kodak Company Enabling persistent recognition of individuals in images
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
TW201201079A (en) * 2010-06-23 2012-01-01 Pixart Imaging Inc Optical touch monitor
CN103053167B (zh) * 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
US9165367B2 (en) * 2010-09-02 2015-10-20 Samsung Electronics Co., Ltd. Depth estimation system for two-dimensional images and method of operation thereof
TWI428567B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP6007178B2 (ja) 2010-09-03 2016-10-12 カリフォルニア インスティテュート オブ テクノロジー ３次元撮像システム
US20130163833A1 (en) 2010-09-17 2013-06-27 Utc Fire & Security Corporation Security device with security image update capability
JP5212927B2 (ja) 2011-01-25 2013-06-19 株式会社デンソー 顔撮影システム
WO2012137673A1 (ja) * 2011-04-05 2012-10-11 三洋電機株式会社 情報取得装置、投射装置および物体検出装置
JP2014122789A (ja) * 2011-04-08 2014-07-03 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
WO2012144145A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 ポインティング制御装置とその集積回路、およびポインティング制御方法
US20160025993A1 (en) * 2014-07-28 2016-01-28 Apple Inc. Overlapping pattern projector
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US10054430B2 (en) 2011-08-09 2018-08-21 Apple Inc. Overlapping pattern projector
US8913839B2 (en) 2011-09-27 2014-12-16 University Of North Carolina At Wilmington Demographic analysis of facial landmarks
US9195883B2 (en) * 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US9160912B2 (en) * 2012-06-08 2015-10-13 Apple Inc. System and method for automatic image capture control in digital imaging
US8396265B1 (en) * 2012-06-26 2013-03-12 Google Inc. Facial recognition
US10739952B2 (en) * 2012-07-31 2020-08-11 Inuitive Ltd. Multiple sensors processing system for natural user interface applications
CN104583921A (zh) * 2012-08-27 2015-04-29 西铁城控股株式会社 信息输入装置
JP5808502B2 (ja) * 2012-11-21 2015-11-10 三菱電機株式会社 画像生成装置
US10136595B2 (en) * 2013-03-15 2018-11-27 Boyce Thompson Institute For Plant Research, Inc. Compositions and methods for modulating immunity in plants
CN103150063A (zh) * 2013-04-09 2013-06-12 北京紫霄科技有限公司 一种基于lcd的光学多点触控设备
US9208566B2 (en) * 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
CN103501406B (zh) * 2013-09-16 2017-04-12 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
GB2519363A (en) 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015146491A1 (ja) 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
CN104092956B (zh) 2014-07-31 2018-02-02 北京智谷睿拓技术服务有限公司 闪光控制方法、闪光控制装置以及图像采集设备
US9747493B2 (en) * 2014-09-23 2017-08-29 Keylemon Sa Face pose rectification method and apparatus
KR102299365B1 (ko) * 2014-11-03 2021-09-07 삼성전자주식회사 스페클을 이용한 인증 장치, 이를 포함하는 인증 시스템 및 스페클을 이용한 인증 방법
US9881375B2 (en) * 2014-12-05 2018-01-30 Mantis Vision Ltd. Markers in 3D data capture
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US10089520B2 (en) * 2015-03-26 2018-10-02 Krishna V Motukuri System for displaying the contents of a refrigerator
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
US10354290B2 (en) * 2015-06-16 2019-07-16 Adobe, Inc. Generating a shoppable video
US9857167B2 (en) * 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10860837B2 (en) 2015-07-20 2020-12-08 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
JP6720741B2 (ja) * 2015-08-07 2020-07-08 Ａｇｃ株式会社 積層板および中間膜
CN105183149B (zh) * 2015-08-12 2018-02-27 京东方科技集团股份有限公司 距离感测基板、显示装置、显示系统和分辨率调整方法
JP6613740B2 (ja) * 2015-09-09 2019-12-04 富士通コネクテッドテクノロジーズ株式会社 表示制御装置、表示制御方法および表示制御プログラム
US10311286B2 (en) 2015-09-11 2019-06-04 EyeVerify Inc. Fusing ocular-vascular with facial and/or sub-facial information for biometric systems
US10769255B2 (en) 2015-11-11 2020-09-08 Samsung Electronics Co., Ltd. Methods and apparatuses for adaptively updating enrollment database for user authentication
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
CN105243740B (zh) * 2015-11-25 2017-10-24 四川易辨信息技术有限公司 基于生物特征识别技术的卡安全身份认证系统及实现方法
KR102502451B1 (ko) * 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
CN105704395B (zh) 2016-04-05 2018-09-14 广东欧珀移动通信有限公司 拍照方法和拍照装置
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
US10827163B2 (en) * 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
US10469722B2 (en) * 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
US10204262B2 (en) * 2017-01-11 2019-02-12 Microsoft Technology Licensing, Llc Infrared imaging recognition enhanced by 3D verification
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
CN109325394B (zh) 2017-08-01 2022-06-21 苹果公司 确定稀疏图案照明与密集图案照明

Also Published As

Publication number Publication date
CN109325394B (zh) 2022-06-21
WO2019027506A1 (en) 2019-02-07
WO2019027506A9 (en) 2020-04-23
EP3662406A1 (en) 2020-06-10
US10650540B2 (en) 2020-05-12
EP3662406B1 (en) 2023-11-22
US20190041197A1 (en) 2019-02-07
US20190347813A1 (en) 2019-11-14
CN109325394A (zh) 2019-02-12
US10401158B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
CN208589037U (zh) 电子设备
CN110555360B (zh) 鲁棒的面部检测
CN111066025B (zh) 用于困难生物识别认证情况的静脉匹配
CN109325393A (zh) 使用单一网络的面部检测、姿态估计和距相机距离的估计
JP6722272B2 (ja) 凝視情報を使用するユーザの識別および／または認証
CN110968855B (zh) 面部识别过程期间的遮挡检测
CN110895689B (zh) 用于面部识别认证的混合模式照明
US10762335B2 (en) Attention detection
CN107438854A (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
CN1860433B (zh) 用于控制用户接口的方法和系统、相应设备、以及用于实现该方法的软件设备
CN111274928A (zh) 一种活体检测方法、装置、电子设备和存储介质
CN104584070A (zh) 认证装置以及认证方法
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
CN112016525A (zh) 非接触式指纹采集方法和装置
CN109074483A (zh) 多模态生物标识
Farrukh et al. FaceRevelio: a face liveness detection system for smartphones with a single front camera
CN112232159B (zh) 指纹识别的方法、装置、终端及存储介质
CN113330433A (zh) 用于认证用户的方法及其电子设备
JP2009015518A (ja) 眼画像撮影装置及び認証装置
CN112232157B (zh) 指纹区域检测方法、装置、设备、存储介质
JP2007164401A (ja) 立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法
WO2022135073A1 (zh) 认证系统、设备及方法
CN112232152B (zh) 非接触式指纹识别方法、装置、终端和存储介质
KR20190114603A (ko) 순환 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR101424515B1 (ko) 등록 얼굴 생성 장치 및 방법

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant