CN107077607A - 3d增强的图像校正 - Google Patents

Abstract

一种用户认证系统和方法。获得场景的二维图像，并且将从所述场景中获得的范围信息与所述二维图像对准。标识一个或多个深度区域，并且在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段。对所述选择的图像片段中的一个或多个图像片段执行亮度操作，以形成校正图像。

Description

3D增强的图像校正

相关申请

本申请要求2015年3月20日提交的美国申请序列号14/664,475的优先权权益，所述美国申请要求2014年11月13日提交的美国临时申请序列号62/079,086的优先权权益，这两个申请通过引用以其全部内容结合在此。

背景技术

对于增强现实应用、生物特征识别、监督等而言，使用或者近红外或者可见光识别人类面部变得很常见。使用相机图像进行识别的一个主要限制是需要均匀且充足的光照条件。然而，当面部的光照来自单一方向(如侧灯)时，看到几何和生物特征的能力受到损害并使得识别效果欠佳。处理这种情况的一般方法是更改相机的增益、曝光或伽玛水平，以便使图像的微暗照亮部分变亮或增强，或者使图像的褪色部分变暗。当面部的一半是亮的并且另一半是暗的时，这些方法不起作用。在那种情况下，通常检测不到面部，使得识别过程无效。

附图说明

以示例性而非限制性方式在附图中展示实施例，在附图中，相同的参考号指代类似元件。

图1展示了用于识别人类面部的系统；

图2展示了3D光照补偿的方法；

图3展示了兴趣区域的示例；

图4展示了用于生成校正图像的方法；以及

图5是根据示例实施例展示了在其上可以执行本文中所讨论的技术(例如，方法)中的任何一种或多种技术的示例机器的框图。

具体实施方式

如以上所指出的，使用相机图像进行识别的一个主要限制是需要均匀且充足的光照条件。然而，当面部的光照来自单一方向(如经由侧灯)时，看到几何和生物特征的能力受到损害，使得识别过程效果欠佳。

图1示出了用于识别人类面部的系统。在图1所示出的示例实施例中，处理器102连接至3D相机104和2D相机106。在图1所示出的实施例中，3D相机104捕捉场景中的范围信息，而2D相机106(红外光、可见光或其他光)捕捉图像数据。处理器102从3D相机104中接收范围信息并从2D 106相机中接收图像数据，并且使用范围信息确定图像中的兴趣区域。

在实施例中，3D相机104使用深度表面分析隔离相机场景中需要独立增益/曝光控制的所有兴趣区域。这在场景中搜索面部之前执行。通过这样做，单个相机图像在那些光照条件下可以向面部识别器和面部标识器提供更好的面部图像。这允许相机104和106在较宽范围的真实世界条件下发现微弱光照的面部。

在一些这种实施例中，处理器102执行对隔离相机场景中的兴趣区域的分析。在其他实施例中，3D相机104中的处理器执行部分或全部分析。在其他实施例中，其他处理器(如跨网络或在云中)执行部分或全部分析。

图2示出了用于3D光照补偿的方法的示例实施例。在图2的示例实施例中，在205处，3D相机104和2D相机106大约同时捕捉到场景。在一个示例实施例中，3D相机104捕捉范围信息，并且2D相机106捕捉可见光图像(例如，RGB)。在210处，范围信息与可见光图像对准。在一些实施例中，在210处与2D图像对准之前，范围信息转换为真实世界笛卡尔坐标系。

在215处，所述方法标识3D相机104捕捉的场景中的兴趣区域。在一些实施例中，基于世界坐标轮廓将唯一深度兴趣区域分段。在一个这种方法中，轮廓是具有持续上升或下降倾斜以及在1cm×1cm×1cm的核心区域(例如，自适应阈值化)上具有小于5mm倾斜变化的区域。

在实施例中，在220处，将这些兴趣区域投射在2D图像上(如例如在图3中所示出的)。在一些这种实施例中，针对投射在2D图像上的每个唯一分段区域，在可见光图像上生成x、y像素多边形描述符。在225处，将亮度操作或其他图像补偿操作应用于投射在图像场景上的一个或多个兴趣区域。在一些实施例中，在225处，将独立像素积分时间和放大值应用于投射在图像场景上的每个兴趣区域。在实施例中，例如，必要时对每个兴趣区域执行操作，以便达到色调-饱和度-亮度(HSB)空间中的128的区域指定像素亮度。然后，在230处，校正图像用于面部检测。

基于多边形的图像补偿可以在图像捕捉装置(例如，相机104或106)的硬件/固件中或在软件中，并且在通用CPU上的图像捕捉之后实施。由此，在各实施例中，以上所描述的功能在主机计算机上的软件中实施，或者实现为3D相机104中的硬件或固件。

在一些实施例中，相机104包括HW/FW特征，所述HW/FW特征使用深度表面分析隔离相机场景中需要独立增益/曝光控制的所有兴趣区域。在一些这种实施例中，这在场景中搜索面部之前执行。通过这样做，单个校正相机图像在那些光照条件下可以向面部识别器和面部标识器提供增强的面部图像。这允许相机104和106在较宽范围的真实世界条件下发现微弱光照的面部。

这种功能可以并入采用深度技术的任何相机中。示例用途包括但不限于：面部识别、易于访问、丰富的视频会议、以及内容创建。

图3中示出了兴趣区域的示例。在图像300中，区域302展示了背景。区域302展示了不需要图像补偿的区域，而区域306和308展示了图2中所描述的方法所针对的区域。如以上所指出的，例如根据倾斜变化来识别区域306和308。

图4是流程图，展示了根据实施例的用于生成校正图像的方法。在405处，从成像装置中获取对象的图像。成像装置可以包括可见光传感器和深度传感器。在各实施例中，成像装置可以包括一种或多种深度感测3D技术(例如，多相机(IR或可见光)、结构光、飞行时间等)。在405处，接收深度范围和可见光图像。

在410处，深度范围信息与对象的可见光图像对准。在示例实施例中，深度范围信息可以转换为坐标系。深度范围信息的坐标可以与可见光图像的坐标相匹配，由此深度范围与可见光图像的相应区域相匹配。在另一个实施例中，深度范围信息用于生成三维图像，并且三维图像投射在可见光图像上。

在415处，基于对象中的如深度范围信息所测量的倾斜变化来创建深度区域。深度区域描述了可以被认为由贯穿深度区域的光变化类似地影响的区域。在实施例中，基于世界坐标轮廓，通过检测具有持续上升或下降倾斜的轮廓的3D图像的区域来创建每个唯一深度区域。在一个这种实施例中，这些深度区域被限制为在1cm×1cm×1cm的核心区域(例如，自适应阈值化)上具有小于5mm倾斜的倾斜变化的轮廓。

在420处，在可见光图像上识别与每个唯一深度区域相对应的图像片段。在实施例中，深度区域转移到对准的可见光图像以进行单独的处理，以便允许每个片段独立于可见光图像的剩余部分被处理。在实施例中，将使用世界坐标创建的每个唯一深度区域投射在可见光图像上。

在425处，针对每个图像片段生成描述符。所述描述符是可见光图像的应当与被认为由可见光图像中的光变化类似地影响的区域一致地被处理的区域的唯一标识符。将唯一描述符下发给图像的每个图像片段，从而使得每个片段总体上可以独立于其他图像片段和可见光图像被处理。在实施例中，描述符是x、y像素多边形描述符。

在430处，对一个或多个图像片段执行亮度操作。在实施例中，亮度操作使暗图像片段变亮并且使褪色的图像片段变暗，以便使片段具有均匀的亮度。在实施例中，将独立像素积分时间和放大值应用于选择的图像片段，以便针对每个选择的图像片段达到在HSB空间中的128的像素亮度。

在435处，生成校正图像。校正图像包括对选择的图像片段的亮度调节，提供更可用的图像(例如，可以交给另一个应用、存储以便稍后使用、向用户显示等的图像)。在实施例中，校正图像包括用于面部检测和认证。

已经定义的是：一种依赖于图像的分段来校正图像的部分的局部曝光控制系统。图像然后可以用于面部识别和认证。深度信息用于限定曝光器增益区域，并且用于识别图像中需要校正的图像片段。在一些实施例中，丰富的基于多边形的兴趣区域描述符用于限定复杂形状，并且用于减少当寻求最佳传感器设置时由用户移动产生的图像模糊问题。

在实施例中，限定和标记兴趣区域发生在3D相机104中。在一些这种实施例中，3D相机104中的处理器也确定校正。

硬件平台

实施例可在硬件、固件和软件的一个或组合中实现。在实施例中，附接至计算机的相机捕捉3D范围信息和2D图像数据两者，并且在向计算机提供图像进行面部检测和认证之前采用以上所描述的方式之一处理相机中的图像。在另一个实施例中，附接至计算机的相机捕捉3D范围信息和2D图像数据两者，并且在计算机使用改进的图像进行面部检测和认证之前采用以上所描述的方式之一将3D范围信息和2D图像数据传输至计算机以便进行处理。在一些实施例中，3D相机使用结构光来捕捉3D范围信息。

实施例还可以被实施为存储在机器可读存储装置上的指令，所述指令可以被至少一个处理器读取并执行以进行本文中所描述的操作。机器可读存储装置可以包括用于存储机器(例如，计算机)可读的形式的信息的任何非瞬态机构。例如，机器可读存储装置可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置、以及其他存储装置和介质。

如本文中所描述的示例可以包括逻辑或许多部件、模块或机构或可以在其上操作。模块是能够执行特定操作的有形实体(例如，硬件)，并且可以以某种方式被配置或安排。在示例中，电路能够以指定方式(例如，在内部或相对于如其他电路等外部实体)布置为模块。在示例中，可以由固件或软件(例如，指令、应用部分、或应用)将一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或一个或多个硬件处理器中的整个或部分配置为进行操作以便执行指定操作的模块。在示例中，软件可以驻留在机器可读介质上。在示例中，软件当由模块的底部硬件执行时使硬件执行指定的操作。

因而，术语“模块”被理解为包括有形的实体，所述有形的实体是在物理上构建的、具体配置的(例如，硬接线的)、或临时(例如，暂时)配置的(例如，编程的)实体以便以指定的方式操作或执行本文中所描述的任何操作中的部分或全部。考虑其中模块被暂时配置的示例，不需要在任何一个时刻处例示每个模块。例如，在模块包括使用软件来配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间配置为相应不同的模块。软件因此可以配置硬件处理器例如以构成在一个时间场合的特定模块并且在不同的时间场合构成不同的模块。

图5是根据示例实施例展示了采用计算机系统500的示例形式的机器的框图，在所述机器中可以执行指令集或序列，从而使所述机器执行本文中所讨论的方法论中的任何一种。在替代性实施例中，机器作为独立装置操作或者可以连接(例如，连网)至其他机器。在联网部署中，所述机器在服务器-客户端网络环境中可以以服务器或者客户端机器的角色运行，或者可以作为对等(或分布式)网络环境中的对等机。所述机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、网络电器、网络路由器、交换机或桥接器、或能够(相继或以其他方式)执行指定要由那个机器采取的动作的指令的任何机器。进一步地，虽然仅展示了单个机器，但术语“机器”也应视为包括机器的任何集合，所述机器个别地或联合地执行一组(或多组)指令以便执行本文中所讨论的方法中的任何一种或多种方法论。

如本文中所描述的示例可以包括逻辑或多个部件、或机制，或者可以由他们操作。电路集是在包括硬件的有形实体中实施的许多电路(例如，简单电路、门、逻辑等)。电路集关系可以随时间推移是灵活的并在硬件变化性下。电路集包括在操作时可以单独或组合地执行指定操作的组成部分。在示例中，电路集的硬件可以不变地被设计成用于执行指定操作(例如，硬接线的)。在示例中，电路集的硬件可以包括可变地连接的物理部件(例如，执行单元、晶体管、简单电路等)，所述物理部件包括被物理地修改(例如，不变的大量粒子的磁性地电力地可移动的放置等)以对指定操作的指令进行编码的计算机可读介质。在连接物理部件时，硬件构成的底层电气特性例如从绝缘体变成导体，反之亦然。所述指令使嵌入的硬件(例如，执行单元或加载机构)能够经由可变连接在硬件中创建电路集的组成部分，以便在操作时执行指定操作的一部分。因此，当装置在操作时，计算机可读介质通信地耦合至电路集组成部分的其他部件。在示例中，物理部件中的任何部件可以用于多于一个电路集的多于一个组成部分中。例如，在操作中，执行单元可以在一个时间点处用于第一电路集的第一电路中，并且可以在不同时间处被第一电路集中的第二电路或第二电路集中的第三电路重新使用。

示例计算机系统500包括至少一个处理器502(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者、处理器核、计算节点等)、主存储器504和静态存储器506，其经由链路508(例如，总线)彼此通信。计算机系统500可以进一步包括视频显示单元510、字母数字输入装置512(例如，键盘)、和用户界面(UI)导航装置514(例如，鼠标)。在实施例中，视频显示单元510、输入装置512、和UI导航装置514被并入触摸屏显示器中。计算机系统500可以附加地包括存储装置516(例如，驱动单元)、信号生成装置518(例如，扬声器)、网络接口装置520、以及一个或多个传感器(未示出)(如全球定位系统(GPS)传感器、罗盘、加速度计、或其他传感器)。

存储装置516包括在其上存储了一个或多个数据结构和指令集524(例如，软件)的机器可读介质522，所述一个或多个数据结构和指令集包含本文中所描述的方法或功能中的任何一个或多个，或者被其所利用。指令524也可完全地或至少部分地驻留在主存储器504、静态存储器506中，和/或在计算机系统500执行其过程中驻留在处理器502中，其中主存储器504、静态存储器506和处理器502同样也构成机器可读介质。

虽然机器可读介质522在示例实施例中被展示为单个介质，但术语“机器可读介质”可以包括存储一个或多个指令524的单个介质或多个介质(例如，集中或分布式数据库、和/或相关联的高速缓存和服务器)。术语“机器可读介质”还将理解为包括任何有形介质，所述有形介质能够存储、编码或携带田于由机器执行的指令并且指令引起机器执行本公开的方法论中的任何一个或多个，或者所述有形介质能够存储、编码或携带由这样的指令利用或与这样的指令相关联的数据结构。术语“机器可读介质”应当相应地被视为包括但不限于固态存储器、以及光学介质和磁性介质。机器可读介质的特定示例包括非易失性存储器，例如包括：半导体存储装置(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存装置；如内部硬盘和可移动磁盘等磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。

进一步可以利用多个众所周知的传输协议(例如，HTTP)中的任一种协议、经由网络接口装置520、使用传输介质、通过通信网络526来发射或接收指令524。通信网络的示例包括局域网(LAN)、广域网(WAN)、因特网、移动电话网络、普通老式电话(POTS)网络和无线数据网络(例如，Wi-Fi、3G和4G LTE/LTE-A或WiMAX网络)。术语“传输介质”应视为包括能够存储、编码或携带由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或者促进这种软件通信的其他无形介质。

补充说明和示例：

示例1包括用于增强的图像校正的主题(如装置、设备、或机器)，所述主题包括：2D相机；3D相机；以及处理器，所述处理器用于：从所述2D相机接收二维图像；从所述3D相机接收范围信息；将所述范围信息与所述二维图像对准；标识一个或多个深度区域；在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段；对所述图像片段中的一个或多个图像片段执行亮度操作，以形成校正图像；以及基于所述校正图像中的用户特征对用户进行认证。

在示例2中，如示例1所述的主题可以包括：其中，所述二维图像是视频帧。

在示例3中，如示例1至2中任一项所述的主题可以包括：其中，为了选择图像片段，所述处理器将针对每个图像片段生成像素多边形描述符。

在示例4中，如示例1至3中任一项所述的主题可以包括：其中，为了将所述范围信息与所述二维图像对准，所述处理器将所述范围信息转换为坐标系。

在示例5中，如示例1至4中任一项所述的主题可以包括：其中，基于世界坐标轮廓将所述范围信息分段。

在示例6中，如示例1至5中任一项所述的主题可以包括：其中，为了选择所述图像片段，所述处理器将所述深度区域投射到所述二维图像上。

在示例7中，如示例1至6中任一项所述的主题可以包括：其中，所述处理器将针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度，并且必要时修改2D相机控制以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例8中，如示例1至7中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例9中，如示例1至8中任一项所述的主题可以包括：其中，所述处理器将修改2D相机控制，以便基于所述期望的像素亮度将独立像素积分时间应用于每个选择的图像片段。

在示例10中，如示例1至9中任一项所述的主题可以包括：其中，所述处理器将修改2D相机控制，以便基于所述期望的像素亮度将放大值应用于每个选择的图像片段。

在示例11中，如示例1至10中任一项所述的主题可以包括：其中，所述处理器将在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

在示例12中，如示例1至11中任一项所述的主题可以包括：其中，所述处理器将在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

在示例13中，如示例1至12中任一项所述的主题可以包括：其中，所述处理器将通过执行基于云的认证例程来对用户进行认证。

在示例14中，如示例1至13中任一项所述的主题可以包括：其中，所述处理器将针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度，并且必要时应用独立像素积分时间和放大值以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例15中，如示例1至14中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例16中，如示例1至15中任一项所述的主题可以包括：其中，所述处理器将在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

在示例17中，如示例1至16中任一项所述的主题可以包括：其中，所述处理器将在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

在示例18中，如示例1至17中任一项所述的主题可以包括：其中，为了对所述用户进行认证，所述处理器将执行基于云的认证例程。

在示例19中，如示例1至18中任一项所述的主题可以包括：其中，为了在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段，所述处理器将识别所述图像中的轮廓。

在示例20中，如示例1至19中任一项所述的主题可以包括：其中，轮廓是在预定义的核心区域上具有小于倾斜变化的阈值水平的持续上升或下降倾斜。

在示例21中，如示例1至20中任一项所述的主题可以包括：其中，轮廓是在1cm×1cm×1cm的核心区域上具有小于5mm倾斜变化的持续上升或下降倾斜。

在示例22中，如示例1至21中任一项所述的主题可以包括：其中，为了执行所述亮度操作，所述处理器将针对每个图像片段的所述亮度操作分配给单独的处理器。

在示例23中，如示例1至22中任一项所述的主题可以包括：其中，所述2D和3D相机与所述处理器分离。

在示例24中，如示例1至23中任一项所述的主题可以包括：其中，所述处理器在计算装置中，并且其中，所述2D和3D相机集成到所述计算装置中。

示例25包括用于增强的图像校正的主题(如方法、用于执行动作装置，包括当由机器执行时使所述机器执行动作的指令的机器可读介质，或者用于执行的设备)，所述主题包括：获得场景的二维图像；将从所述场景中获得的范围信息与所述二维图像对准；标识一个或多个深度区域；在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段；以及对所述选择的图像片段中的一个或多个图像片段执行亮度操作，以形成校正图像。

在示例26中，如示例25所述的主题可以包括：其中，将从场景中获得的范围信息与所述场景的二维图像对准包括从视频中提取所述图像。

在示例27中，如示例25至26中任一项所述的主题可以包括：其中，选择图像片段包括针对每个图像片段生成像素多边形描述符。

在示例28中，如示例25至27中任一项所述的主题可以包括：其中，将所述范围信息与所述二维图像对准包括将所述范围信息转换为坐标系。

在示例29中，如示例25至28中任一项所述的主题可以包括：其中，将所述范围信息与所述二维图像对准包括基于世界坐标轮廓将所述范围信息分段。

在示例30中，如示例25至29中任一项所述的主题可以包括：其中，选择图像片段包括将所述深度区域投射到所述二维图像上。

在示例31中，如示例25至30中任一项所述的主题可以包括：其中，执行所述亮度操作包括：针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度；以及必要时修改2D相机控制以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例32中，如示例25至31中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例33中，如示例25至32中任一项所述的主题可以包括：其中，修改2D相机控制包括基于所述期望的像素亮度将独立像素积分时间应用于每个选择的图像片段。

在示例34中，如示例25至33中任一项所述的主题可以包括：其中，修改2D相机控制包括基于所述期望的像素亮度将放大值应用于每个选择的图像片段。

在示例35中，如示例25至34中任一项所述的主题可以包括：其中，所述方法进一步包括在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

在示例36中，如示例25至35中任一项所述的主题可以包括：其中，所述方法进一步包括在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

在示例37中，如示例25至36中任一项所述的主题可以包括：其中，对所述用户进行认证包括执行基于云的认证例程。

在示例38中，如示例25至37中任一项所述的主题可以包括：其中，执行所述亮度操作包括：针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度；以及必要时应用独立像素积分时间和放大值以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例39中，如示例25至38中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例40中，如示例25至39中任一项所述的主题可以包括：其中，所述方法进一步包括在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

在示例41中，如示例25至40中任一项所述的主题可以包括：其中，所述方法进一步包括在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

在示例42中，如示例25至41中任一项所述的主题可以包括：其中，认证包括执行基于云的认证例程。

在示例43中，如示例25至42中任一项所述的主题可以包括：其中，在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段包括识别所述图像中的轮廓。

在示例44中，如示例25至43中任一项所述的主题可以包括：其中，轮廓是在预定义的核心区域上具有小于倾斜变化的阈值水平的持续上升或下降倾斜。

在示例45中，如示例25至44中任一项所述的主题可以包括：其中，轮廓是在1cm×1cm×1cm的核心区域上具有小于5mm倾斜变化的持续上升或下降倾斜。

在示例46中，如示例25至45中任一项所述的主题可以包括：其中，执行所述亮度操作包括将针对每个图像片段的所述亮度操作分配给单独的处理器。

示例47包括至少一种包括指令的机器可读介质，所述指令当由机器执行时使所述机器执行示例25至46中的任一项。

示例48包括一种设备，所述设备包括用于执行如示例25至46中任一项的装置。

示例49包括用于增强的图像校正的主题(如装置、设备、或机器)，所述主题包括：2D相机；3D相机；用于从所述2D相机接收二维图像的装置；用于从所述3D相机接收范围信息装置；用于将所述范围信息与所述二维图像对准的装置；用于标识一个或多个深度区域的装置；用于在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段的装置；用于对所述图像片段中的一个或多个图像片段执行亮度操作以形成校正图像的装置；以及用于基于所述校正图像中的用户特征对用户进行认证的装置。

在示例50中，如示例49所述的主题可以包括：其中，所述二维图像是视频帧。

在示例51中，如示例49至50中任一项所述的主题可以包括：其中，所述用于选择图像片段的装置包括用于针对每个图像片段生成像素多边形描述符的装置。

在示例52中，如示例49至51中任一项所述的主题可以包括：其中，所述用于将所述范围信息与所述二维图像对准的装置包括用于将所述范围信息转换为坐标系的装置。

在示例53中，如示例49至52中任一项所述的主题可以包括：其中，基于世界坐标轮廓将所述范围信息分段。

在示例54中，如示例49至53中任一项所述的主题可以包括：其中，所述用于选择所述图像片段的装置包括用于将所述深度区域投射到所述二维图像上的装置。

在示例55中，如示例49至54中任一项所述的主题可以包括：其中，所述设备包括处理器，并且其中，所述处理器针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度，并且必要时修改2D相机控制以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例56中，如示例49至55中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例57中，如示例49至56中任一项所述的主题可以包括：其中，所述处理器修改2D相机控制，以便基于所述期望的像素亮度将独立像素积分时间应用于每个选择的图像片段。

在示例58中，如示例49至57中任一项所述的主题可以包括：其中，所述处理器修改2D相机控制，以便基于所述期望的像素亮度将放大值应用于每个选择的图像片段。

在示例59中，如示例49至58中任一项所述的主题可以包括：其中，所述处理器在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

在示例60中，如示例49至59中任一项所述的主题可以包括：其中，所述处理器在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

在示例61中，如示例49至60中任一项所述的主题可以包括：其中，所述处理器通过执行基于云的认证例程来对用户进行认证。

在示例62中，如示例49至61中任一项所述的主题可以包括：其中，所述设备包括处理器，并且其中，所述处理器针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望的像素亮度，并且必要时应用独立像素积分时间和放大值以便达到色调-饱和度-亮度空间中的所述期望的像素亮度。

在示例63中，如示例49至62中任一项所述的主题可以包括：其中，所述期望的像素亮度大约为128。

在示例64中，如示例49至63中任一项所述的主题可以包括：其中，所述设备进一步包括用于在所述校正图像中搜索用户特征的装置和用于基于所述用户特征对所述用户进行认证的装置。

在示例65中，如示例49至64中任一项所述的主题可以包括：其中，所述设备进一步包括用于在所述校正图像中搜索面部的装置和用于基于所述图像中的面部特征对用户进行认证的装置。

在示例66中，如示例49至65中任一项所述的主题可以包括：其中，所述用于认证的装置包括用于执行基于云的认证例程的装置。

在示例67中，如示例49至66中任一项所述的主题可以包括：其中，所述用于在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段的装置包括用于识别所述图像中的轮廓的装置。

在示例68中，如示例49至67中任一项所述的主题可以包括：其中，轮廓是在预定义的核心区域上具有小于倾斜变化的阈值水平的持续上升或下降倾斜。

在示例69中，如示例49至68中任一项所述的主题可以包括：其中，轮廓是在1cm×1cm×1cm的核心区域上具有小于5mm倾斜变化的持续上升或下降倾斜。

在示例70中，如示例49至69中任一项所述的主题可以包括：其中，所述用于执行所述亮度操作的装置包括用于将针对每个图像片段的所述亮度操作分配给单独的处理器的装置。

以上具体实施方式包括对附图的参照，这些附图形成了具体实施方式的一部分。所述附图以图示的方式示出了可以被实践的具体实施例。这些实施例在本文中也被称为“示例”。这类示例可以包括除所示出或所描述的那些要素之外的要素。然而，还设想了包括所示出或所描述的要素的示例。此外，或者针对本文中所示出或所描述的具体示例(或者其一个或多个方面)，或者针对本文中所示出或所描述的其他示例(或者其一个或多个方面)，还考虑到使用所示出或所描述的那些要素的任何组合或枚举(或者其一个或多个方面)的示例。

在本文档中提及的出版物、专利和专利文献通过引用而全部内容结合在此，如同通过引用而单独合并。当在本文档与这样通过引用结合的那些文档之间的用途不一致的情况下，在所结合的(多个)参考文档中的用途是对本文档中的补充；对于存在矛盾的不一致，本文档中的用途有效。

在本文档中，如在专利文档中是普遍的，术语“一个(a)”或“一个(an)”被用于包括一个或多个，独立于“至少一个”或者“一个或多个”的任何其他实例或用法。在本文档中，使用术语“或者”来指代非排他的“或”，从而使得除非另外指示，“A或B”包括“A而没有B”、“B而没有A”以及“A和B”。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的易懂的英文等价词。此外，在以下权利要求书中，术语“包括(including)”和“包括(comprising)”是开放式的，即，除在权利要求中列在此类术语之后的那些元素外还包括元素的系统、装置、物品或过程仍被视为落入所述权利要求的范围内。此外，在以下权利要求书中，术语“第一”、“第二”、和“第三”等仅用作标签，且不旨在暗示其对象的数值次序。

以上描述旨在是说明性的，而非限制性的。例如，以上所描述的示例(或者其一个或多个方面)可以互相结合使用。如本领域的普通技术人员在审阅以上描述后可以使用其他实施例。本摘要用于允许读者快速确定本技术公开的性质。基于其将不被用于解释或者限制权利要求书的范围或者含义的理解提交所述摘要。而且，在以上具体实施方式中，可以将各个特征分组在一起以便精简本公开。然而，权利要求书可以不对本文中公开的每一个特征进行阐述，并且实施例就可以表征所述特征的子集。进一步地，实施例可以包括相比在特定示例中公开的那些特征更少的特征。因此，据此将权利要求书结合到具体实施方式中，权利要求独立地代表单独的实施例。本文中所公开的实施例的范围应当参考所附权利要求书、连同这样的权利要求书有权获得的等效物的全部范围来确定。

Claims (25)

1.一种用于增强的图像校正的系统，所述系统包括：

2D相机；

3D相机；以及

处理器，所述处理器用于：

从所述2D相机接收二维图像；

从所述3D相机接收范围信息；

将所述范围信息与所述二维图像对准；

标识一个或多个深度区域；

在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段；

对所述图像片段中的一个或多个图像片段执行亮度操作，以形成校正图像；以及

基于所述校正图像中的用户特征对用户进行认证。

2.如权利要求1所述的系统，其中，所述二维图像是视频帧。

3.如权利要求1所述的系统，其中，为了选择图像片段，所述处理器将针对每个图像片段生成像素多边形描述符。

4.如权利要求1所述的系统，其中，为了将所述范围信息与所述二维图像对准，所述处理器将所述范围信息转换为坐标系。

5.如权利要求1所述的系统，其中，基于世界坐标轮廓将所述范围信息分段。

6.如权利要求1所述的系统，其中，为了选择所述图像片段，所述处理器将所述深度区域投射到所述二维图像上。

7.如权利要求1所述的系统，其中，所述处理器针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望像素亮度，并且必要时修改2D相机控制以便达到所述色调-饱和度-亮度空间中的所述期望像素亮度。

8.如权利要求7所述的系统，其中，所述期望像素亮度大约为128。

9.如权利要求7所述的系统，其中，所述处理器修改2D相机控制，以便基于所述期望像素亮度将独立像素积分时间应用于每个选择的图像片段。

10.如权利要求7所述的系统，其中，所述处理器修改2D相机控制，以便基于所述期望像素亮度将放大值应用于每个选择的图像片段。

11.如权利要求7所述的系统，其中，所述处理器在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

12.如权利要求7所述的系统，其中，所述处理器在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

13.如权利要求12所述的系统，其中，所述处理器将通过执行基于云的认证例程来对用户进行认证。

14.一种增强的图像校正的方法，所述方法包括：

获得场景的二维图像；

将从所述场景中获得的范围信息与所述二维图像对准；

标识一个或多个深度区域；

在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段；以及

对所述选择的图像片段中的一个或多个图像片段执行亮度操作，以形成校正图像。

15.如权利要求14所述的方法，其中，将从场景中获得的范围信息与所述场景的二维图像对准包括从视频中提取所述图像。

16.如权利要求14所述的方法，其中，选择图像片段包括针对每个图像片段生成像素多边形描述符。

17.如权利要求14所述的方法，其中，执行所述亮度操作包括：

针对每个选择的图像片段确定色调-饱和度-亮度空间中的期望像素亮度；以及

必要时应用独立像素积分时间和放大值，以便达到色调-饱和度-亮度空间中的所述期望像素亮度。

18.如权利要求17所述的方法，其中，所述期望的像素亮度大约为128。

19.如权利要求17所述的方法，其中，所述方法进一步包括在所述校正图像中搜索用户特征，并且基于所述用户特征对所述用户进行认证。

20.如权利要求17所述的方法，其中，所述方法进一步包括在所述校正图像中搜索面部，并且基于所述图像中的面部特征对用户进行认证。

21.如权利要求14所述的方法，其中，在所述二维图像中选择与所述一个或多个深度区域相对应的图像片段包括识别所述图像中的轮廓。

22.如权利要求21所述的方法，其中，轮廓是在预定义的核心区域上具有小于倾斜变化的阈值水平的持续上升或下降倾斜。

23.如权利要求21所述的方法，其中，轮廓是在1cm×1cm×1cm的核心区域上具有小于5mm倾斜变化的持续上升或下降倾斜。

24.至少一种包括指令的机器可读介质，所述指令当由机器执行时使所述机器执行如权利要求14至23所述的方法中的任一种方法。

25.一种设备，所述设备包括用于执行如权利要求14至23所述的方法中的任一种方法的装置。