CN114286951B - 基于色焦差异的被动三维图像感测 - Google Patents

Abstract

描述了基于色差的被动三维(3D)图像感测技术。例如，可以通过使用光电检测器阵列(210)检测从对象(105)反射并通过透镜(110)聚焦到光电检测器阵列(210)上的光。不同波长的光分量往往会通过透镜(110)聚焦到不同的焦距，这往往会影响每个检测的波长的亮度。例如，如果光电检测器阵列(210)更靠近较短波长焦平面(120)，则通常会用比红光分量更高幅度的蓝光分量来检测白点。不同波长的亮度幅度比的变化方式与距透镜(110)的物距强相关。实施例利用这种相关性被动地检测物距。一些实施例还提供了各种类型的距离和/或色度校准，以进一步促进该检测。

Description

基于色焦差异的被动三维图像感测

优先权和相关申请的交叉引用

本申请要求2020年7月17日提交的申请号为63/052960、标题为“基于色焦差异的被动三维图像感测”的美国临时专利以及2021年7月7日提交的申请号为17/369915、标题为“基于色焦差异的被动三维图像感测”的美国非临时专利的优先权，其全部内容通过引用结合于此。

技术领域

本发明一般涉及集成到个人电子设备中的光学器件。更具体地，实施例涉及基于色焦差异的被动三维图像感测，例如用于三维图像空间的深度映射以支持智能电话相机系统的特征。

背景技术

过去，摄影是一门专供具有专业知识和设备的人使用的学科。在过去的几十年中，数码摄影硬件和软件的革新以及具有集成的数码相机的智能手机在全球的普及，使数十亿消费者对数码摄影触手可及。在数字摄影和摄像无处不在的环境中，消费者越来越希望能够通过使用智能手机轻松快捷地采集瞬间。数字摄影的进步包括出于各种目的采集三维信息的进步。例如，采集深度信息和其他三维信息可以支持三维摄影和摄像，以及对焦、稳定、像差校正和其他功能的高级自动化。

深度信息通常是使用主动技术采集的，例如飞行时间技术或三角测量技术。例如，可以发射聚焦的光脉冲，随后可以接收它们的反射；并且各种参数(例如，光速)的信息可以用于将脉冲接收定时转换为深度测量。传统上，很难将该飞行时间技术和其他技术集成到便携式数字电子应用中，例如智能手机。例如，一些传统的方法依赖于不适合大多数便携式数字电子应用的空间限制的单独的光学系统、相对较大的光学器件和/或专用照明源；而其他传统方法往往不够可靠或不够准确，无法支持更高级的功能。

发明内容

实施例提供了基于色焦差异的被动三维(three-dimensional，3D)图像感测，例如用于3D图像空间的深度映射以支持智能电话相机系统的特征。例如，可以通过使用光电检测器阵列检测从对象反射并通过透镜聚焦到阵列上的光，从而对对象成像。不同波长的光分量往往会通过透镜聚焦到不同的焦距，这往往会影响每个检测的波长的亮度。例如，如果检测器阵列更靠近较小波长焦平面，则通常会用比红光分量更高幅度的蓝光分量来检测白点。不同波长的亮度幅度比的变化方式与距透镜的物距强相关。实施例利用这种相关性被动地检测物距。一些实施例还提供了各种类型的距离和/或色度校准，以进一步促进该检测。

根据一组实施例，提供了一种被动三维成像系统。所述系统包括：透镜组件，用于接收从目标场景对象反射的光并对所接收的光进行聚焦，使得所接收的光的较小波长分量被聚焦到目标较小波长焦平面，并且所接收的光的较大波长分量被聚焦到目标较大波长焦平面；图像传感器，其与所述透镜组件光学通信，并且包括多个光电检测器元件，所述光电检测器元件中的第一子集用于对所接收的光的所述较小波长分量产生第一色度响应集，并且所述光电检测器元件中的第二子集用于对所接收的光的较大波长分量产生第二色度响应集；以及处理器。所述处理器用于：接收来自所述图像传感器的原始图像数据，所述原始图像数据指示所述第一色度响应集和所述第二色度响应集；根据所述第一色度响应集计算第一色度响应幅度(MCR)，根据所述第二色度响应集计算第二MCR；以及基于所述第一MCR与所述第二MCR之间的比值，确定所述目标场景对象距所述透镜组件的目标物距。

根据另一组实施例，提供了一种用于被动三维成像的方法。所述方法包括：响应于从目标场景对象反射并由透镜聚焦到图像传感器上的所接收的光，接收来自所述图像传感器的原始图像数据，所述原始图像数据指示第一色度响应集和第二色度响应集，使得所接收的光的较小波长分量根据目标较小波长焦平面被聚焦，并且所接收的光的较大波长分量根据目标较大波长焦平面被聚焦，所述第一色度响应集是由所述图像传感器响应于所接收的光的所述较小波长分量产生的，并且所述第二色度响应集是由所述图像传感器响应于所接收的光的所述较大波长分量产生的；根据所述第一色度响应集计算第一色度响应幅度(MCR)；根据所述第二色度响应集计算第二MCR；计算所述第一MCR与所述第二MCR之间的MCR比值；以及基于所述MCR比值，确定所述目标场景对象距所述透镜的目标物距。

根据另一组实施例，提供了一种用于被动三维成像的系统。所述系统包括：一个或多个处理器；以及非瞬态存储器，其上存储有指令，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行以下步骤。所述步骤包括：响应于从目标场景对象反射并由透镜聚焦到图像传感器上的所接收的光，接收来自所述图像传感器的原始图像数据，所述原始图像数据指示第一色度响应集和第二色度响应集，使得所接收的光的较小波长分量根据目标较小波长焦平面被聚焦，并且所接收的光的较大波长分量根据目标较大波长焦平面被聚焦，所述第一色度响应集是由所述图像传感器响应于所接收的光的所述较小波长分量产生的，并且所述第二色度响应集是由所述图像传感器响应于所接收的光的所述较大波长分量产生的；根据所述第一色度响应集计算第一色度响应幅度(MCR)；根据所述第二色度响应集计算第二MCR；计算所述第一MCR与所述第二MCR之间的MCR比值；以及基于所述MCR比值，确定所述目标场景对象距所述透镜的目标物距。

附图说明

本文提及的并构成本文一部分的附图示出了本公开的实施例。附图与说明书一起用于解释本发明的原理。

专利或申请文件包含至少一张彩色附图。在向专利局提出请求以及支付必要的费用时，将提供带有彩色附图的本专利或专利申请出版物的副本。

图1A和图1B分别示出了根据各种实施例的被动3D图像感测环境和说明性成像结果；

图2示出了根据各种实施例的图像传感器的光电检测器阵列的示例，以及说明性光电检测器像素；

图3A示出了类似于图1A所示的环境的另一种被动3D图像感测环境；

图3B示出了图3A的边缘“P”处的白点的示例原始检测器图像；

图3C示出了根据图3A的说明性场景对象和该对象的示例原始检测器图像；

图4A示出了具有不同物距的多个场景对象的另一种被动3D图像感测环境；

图4B示出了对应于图4A中不同场景对象的代表性原始检测器图像；

图5示出了根据各种实施例的具有不同物距的多个场景对象的另一种被动3D图像感测环境以说明色度校准；

图6提供了可以实现各种系统部件和/或执行由各种实施例提供的方法的各种步骤的计算机系统的一个实施例的示意图；

图7A和图7B分别示出了根据各种实施例的说明性便携式个人电子设备(PPED)的正视图和侧视图；以及

图8示出了根据各种实施例的一种用于被动三维成像的说明性方法的流程图。

在所附附图中，相似的部件和/或特征具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记之后跟有区分相似部件的第二标记来区分。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个类似元件，而与第二附图标记无关。

具体实施方式

在以下描述中，提供了许多特定细节以透彻理解本发明。然而，本领域技术人员应当理解，本发明在没有这些细节中的一个或多个细节的情况下也可以实现。在其他示例中，为了简洁的目的，本领域已知的特征和技术将不再描述。

数字成像越来越多地利用深度信息以支持各种功能。例如，在三维(three-dimensional，3D)计算机图形中，深度图用于指示与场景对象的表面距视点的距离相关的信息。类似地，在数字摄影中，深度映射等可以用于支持3D图像采集特征、增强的自动对焦特征和其他特征。该数字3D成像也被用于支持平台，例如3D相机、3D机器人视觉、3D车辆映射等。传统上，主动技术用于获取该深度信息。例如，所谓的“飞行时间”(time-of-fly,TOF)技术通常通过向对象发射光束并测量发射光的反射时间，测量对象相对于参考点的距离。利用该技术，可以通过将光速和发射光反射回系统所需的时间进行比较，从而计算距离。作为另一示例，通过以多个光束在不同距离会聚和发散的方式传输多个光束，多结构光可以用于确定距离。利用这种技术，可以通过用每个光束分别对对象进行成像并对图像进行比较以确定重叠程度，从而测量距离，重叠程度可以与距离相关。该技术在专利号为10489925、标题为“基于多结构照明的3D感测技术”的美国专利中有所描述。

这种传统的用于3D图像感测的主动技术受到各种限制。一个限制是该传统技术使用的主动照明消耗功率和占用空间，这会在许多应用中受到限制，例如智能手机和其他便携式电子设备。另一个限制是，此类技术可能难以根据环境照明的差异、检测的对象对照明响应方式的差异(例如，基于对象的颜色、形状、反射率等)，和/或检测环境之间的其他差异，动态地进行校准。再一限制是，部分此类技术依赖于将附加的光学系统集成到具有许多物理和技术限制的环境中。

首先参考图1A和图1B，其根据各种实施例分别示出了被动3D图像感测环境100和说明性成像结果150。环境100包括透镜组件110、图像传感器130和处理器140。虽然透镜组件110被示为单个凸透镜，但是透镜组件110可以包括任何合适的分立透镜组件，例如凸面和/或凸透镜、反射镜、光圈、滤光器等。在上下文中，代表性场景对象105被示为在边缘“P”和“Q”之间延伸。场景对象105位于距透镜组件110的物距107处。虽然物距107被示出为在场景对象105与滤光掩模120之间的距离，但是本文对物距107的指代通常可以指场景对象105与任何合适的组件之间的可检测距离。例如，物距107可以指示场景对象105与透镜组件110的特定透镜部件之间的距离、场景对象105与图像传感器130之间的距离等。

在典型的成像环境中，可能有环境光和/或探测照明。例如，可以通过环境阳光、人工环境照明(例如，房间中的顶灯、台灯等)、由专用照明组件(例如，包括透镜组件110、图像传感器130、处理器140的相机系统的组件)向场景对象105引导的照明等，对场景对象105进行照明。光从场景对象105的一个或多个表面反射，并且部分光在透镜组件110的方向上被反射。例如，透镜组件110包括反射的光通过的孔(例如，自然孔和/或机械孔等)。穿过透镜组件110的光可以被透镜组件110聚焦到图像传感器130上。

图像传感器130的实施例包括以任何合适的方式布置的大量光电检测器元件(例如，像素)。光电检测器元件可以位于检测平面132中。在一些实现方式中，光电检测器元件布置为阵列。光电检测器元件响应反射的光的多个色度分量。例如，每个像素可以包括响应红光、绿光和蓝光的光电检测器元件。光电检测器元件可以用于响应任何合适的色度分量(例如颜色)，例如光带中的特定频率子带、红外和/或紫外子带等。当特定色度分量的光束与检测平面132相交(即，与光电检测器相交)时，相互作用可以在对应于该色度分量的光电检测器中产生响应幅度。例如，用于检测蓝光的光电检测器可以产生与图像传感器130上其相关联位置的光电检测器相互作用的蓝光强度相对应的光学响应的幅度。光电检测器元件的响应可以解释为光学信息，并用于生成场景对象105的图像。

图2示出了根据各种实施例的图像传感器的光电检测器阵列210的示例以及说明性光电检测器像素225。光电检测器阵列210可以包括任何合适的光电检测器元件的阵列，每个光电检测器元件用于检测光的一个或多个色度分量(例如，颜色)。每个光电检测器元件或元件组响应于与色度分量的光的相互作用而生成电输出。例如，当特定频带内的光照射用于响应该频带的光电检测器元件时，光电检测器元件和相关联的电路输出电信号。电信号可以指示与光电检测器元件相互作用的光的强度(例如，信号强度可以与图像亮度相关)。例如，每个光电检测器元件可以与检测平面132中相应的位置和/或特定色度分量相关联，并且图像传感器130的原始输出数据可以包括这些位置上色度分量的强度值。在一个实现方式中，图像传感器130为每个光电检测器元件生成12位的数字值，该数字值对应于对应颜色的4096个可能的检测强度等级中的一个强度等级。

像素225可以是参考本文实施例描述的图像传感器130的一组光电检测器元件230的实现。说明性像素225包括四个光电检测器元件230(例如，光电二极管)。例如，光电检测器元件230用于检测可见光谱和/或其他光谱(例如，近红外)中的光分量。在一个实现方式中，光电检测器元件230根据拜耳像素图案布置，包括一个红色光电检测器元件230(即，一个光电检测器用于检测光谱的红色带中的光分量)、一个蓝色光电检测器元件230、和两个绿色光电检测器元件230。在其他实现方式中，可以使用光电检测器元件230的其他布置以形成像素225。例如，可以使用修改的拜耳像素图案，其中，近红外光电检测器元件230代替绿色光电检测器元件230中的一个绿色光电检测器元件。虽然所示的像素225包括四个光电检测器元件，但是每个像素225可以包括任何合适数量的任何合适类型的光电检测器元件230。此外，不同的像素225可以具有不同数量和/或类型的光电检测器元件230。

返回图1A和图1B，尽管透镜指具有特定焦距是方便的，但是透镜往往将不同的色度分量聚焦到各自不同的焦距。例如，光学分量在较长的波长处往往具有较低的折射率(refractive index，RI)。因此，与较长波长相比，光学器件往往会弯曲较短波长，表现为较长波长的较长焦距。此外，透镜的放大倍率往往与其焦距成正比，使得同一对象往往在较长的波长处产生更大的图像。这种现象在许多成像系统中是典型的，特别是在使用微透镜部件的情况下，因为这些部件通常不能补偿光学部件本身的色差。相反，在该系统中，色差是通过处理检测的光学数据进行校正的。例如，在数码相机和其他典型的数字成像环境中，可以在原始检测器数据中看到色焦差异，但是通常在将数据输出到其他组件之前在成像系统的硬件和/或软件中校正这些差异。

在环境100中，示出了多个焦平面，以说明透镜组件110的示例色焦差异。作为参考，环境100包括标称焦平面115，该标称焦平面115指示用于基本准直的光的说明性焦平面，例如当物距107离透镜组件110无限远时从场景对象105反射的光。环境100还包括透镜组件110的较小波长(例如，蓝色)焦平面120和透镜组件110的较大波长(例如，红色)焦平面125。例如，波长低于约500纳米(例如，在450-485纳米的波段内)的光分量往往聚焦在较小波长焦平面120周围，而波长高于约600纳米(例如，在625-740纳米的波段内)的光分量往往聚焦在较大波长焦平面125周围。取决于透镜组件110的配置，较小波长焦平面120和较大波长焦平面125可以靠得更近或更远，可以与标称焦平面115基本共面，等等。

成像系统的实施例通常提供透镜组件110相对于检测平面132的聚焦。聚焦可以寻求使一个或多个参数，例如亮度、对比度、色彩平衡等最优化。在一些实施例中，实现该聚焦涉及机械地调整透镜组件110和/或图像传感器130的部件的相对位置。作为一个示例，图像传感器130的位置可以朝向或远离透镜组件110移动。作为另一个示例，透镜组件110的部件可以相对于彼此和/或相对于图像传感器130移动，以调整一个或多个相关联的焦平面的位置。聚焦可以是手动和/或自动的。许多具有自动聚焦的典型成像系统寻求将图像传感器130的检测平面132定位在最大化色彩平衡的位置。该色彩平衡的位置还往往对应于最优对比度成像位置。因为较大波长焦平面125比较小波长焦平面120离透镜组件110更远，所以在到达检测平面132之前，较大波长光分量往往比较小波长光分量扩散得更多。因此，色彩平衡的成像位置通常比较大波长焦平面125更靠近较小波长焦平面120。例如，色彩平衡的成像位置可以位于从较小波长焦平面120到较大波长焦平面125的距离的约三分之一处。如图所示，将较小波长光分量聚焦到较小波长焦平面120上会在较小波长焦平面120处形成场景对象105的较小波长图像111，并且将较大波长光分量聚焦到较大波长焦平面125上会在较大波长焦平面125处形成较大波长图像113。因此，在检测平面132处形成和检测的图像有效地包括较小波长图像111和较大波长图像113的平衡。

透镜组件110的色焦差异往往在场景对象105的边缘位置最明显，因此最容易检测到。为了说明，图1B示出了说明性的原始检测器图像150。第一原始检测器图像150a是场景对象105的边缘Q(表示为Q’)的图像，第二原始检测器图像150b是场景对象105的边缘P(表示为P’)的图像。从两个图像150可以看出，蓝色图像分量通常朝每个图像150的中心聚焦，而红色分量通常在每个图像150的外部周围聚焦。如上所述，这至少是由于焦距的色差，表现为对较大(例如，红色)波长的放大率较高。

图3A至图3C进一步阐明了色差的影响。图3A示出了类似于图1A所示的环境的另一种被动3D图像感测环境300。如上所述，环境300包括透镜组件110和与图像传感器130(未示出)相关联的检测平面132。未明确示出处理器140和存储器145。代表性场景对象105再次被示为位于距透镜组件110的物距107处，并且在边缘“P”和“Q”之间延伸。透镜组件110的位置和其他特征可以定义标称焦平面115、较小波长焦平面120和较大波长焦平面125的位置。示出了针对检测平面132的三个不同位置，其全部位于较小波长焦平面120和较大波长焦平面125之间。第一检测平面132a被示出非常靠近较小波长焦平面120，第二检测平面132b被示出在从较小波长焦平面120到较大波长焦平面125约三分之一距离的色彩平衡的位置，第三检测平面132c被示出非常靠近较大波长焦平面125。

图3B示出了边缘“P”处的白点的示例原始检测器图像350。第一原始检测器图像350a对应于根据检测平面132a定位的图像传感器130。在检测平面132a接近较小波长焦平面120的情况下，可以看出较小波长光分量朝向图像350a的中心聚焦，而较大波长光分量朝向图像350a的外部扩展。第三原始检测器图像350c对应于根据检测平面132c定位的图像传感器130。在检测平面132c接近较大波长焦平面125的情况下，可以看出较大波长光分量朝向图像350c的中心聚焦，而较小波长光分量朝向图像350c的外部扩散。第二原始检测器图像350b对应于根据检测平面132b定位的图像传感器130。在检测平面132b位于色彩平衡的位置的情况下，可以看出图像350b的大部分的色差被最小化(例如，甚至不可检测)，并且较大波长光分量主要出现在图像350b的外边缘周围的小带中。例如，一些自动色彩平衡技术往往会有效地缩小(例如，将检测平面132移向较小波长焦平面120)，直到较大波长光分量出现在图像的边缘。

图3C示出了说明性场景对象305和该对象的示例原始检测器图像360。场景对象305是黑色背景上的白色环。三个原始检测器图像360a、360b和360c分别对应于根据检测平面132a、132b和132c定位的图像传感器130。对于连续的对象表面，每个点的图像往往受到附近所有点的子图像的影响，使得相邻点的子图像至少部分重叠。这种影响往往会自动对远离边缘的图像进行色彩校正，因此，本文讨论的色差往往只能在对象的边缘或其他不均匀位置处检测到。在图像360a中，检测平面132a靠近较小波长焦平面120的情况下，可以在图像360a的边缘处看到较大波长光分量，并且图像360a的其他部分往往偏向较小波长光分量。在图像360c中，检测平面132c靠近较大波长焦平面125的情况下，可以在图像360c的边缘处看到较小波长光分量，并且图像360c的其他部分往往偏向较大波长光分量(在不使用硬件和/或软件的情况下，这些影响可能相对无法可检测到)。检测平面132b处于色彩平衡的位置的情况下，图像360b上的色差保持最小。

返回图1A和图1B，实施例提供了基于被动光学技术的用于3D图像感测的新颖技术，特别是利用了上述色焦差异的类型。该色焦差异可以表现为不同色度分量的色度响应幅度(magnitude of chromatic response，MCR)(例如，亮度)的差异。本文描述的实施例的发明人已经认识到，这些差异可以被检测为一个特定色度分量的MCR与另一个特定色度分量的MCR之间的比值，并且该比值可以与物距107强相关。

处理器140的实施例可以利用这种相关性，从而基于检测的MCR差异被动地检测物距。如上所述，图像传感器130与透镜组件110光学通信，并且该图像传感器130包括光电检测器元件。光电检测器元件的第一子集用于对所接收的光的较小波长分量产生第一色度响应集，并且光电检测器元件的第二子集用于对所接收的光的较大波长分量产生第二色度响应集。例如，一些光电检测器元件响应蓝光，其他光电检测器元件响应红光。处理器140可以接收来自图像传感器130的指示第一色度响应集和第二色度响应集的原始图像数据。例如，每个光电检测器元件(例如，每个像素中的每个颜色检测器)可以向处理器140输出12位值，该值指示在其相应位置为其相应颜色检测到的4096个亮度等级中的一个亮度等级。处理器140可以包括中央处理单元(central processing unit，CPU)、专用集成电路(application-specific integrated circuit，ASIC)、专用指令集处理器(application-specific instruction-set processor，ASIP)、图形处理单元(graphics processingunit，GPU)、物理处理单元(physics processing unit，PPU)、数字信号处理器(digitalsignal processor，DSP)、现场可编程门阵列(field-programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、微控制器单元、精简指令集(reduced instruction set computing，RISC)处理器、复杂指令集(complex instructionset computing，CISC)处理器、微处理器等，或其任意组合。在一些实现方式中，图像传感器130用于经由总线或以任何其他合适的方式将原始光学信息传递给处理器140。处理器140可以根据第一色度响应集计算第一色度响应幅度(magnitude of chromatic response，MCR)，并根据第二色度响应集计算第二MCR。例如，处理器140可以确定用于检测的边缘区域，并且可以为该区域中的每个色度分量求出最大值。然后，处理器140可以基于第一MCR与第二MCR之间的比值确定场景对象105的物距107。该确定可以基于校准数据和/或存储在与处理器140通信的存储器145中的其他数据，和/或基于描述比值数据与物距107之间的数学相关性的一个或多个公式。

为了简单起见，图1A和图3A仅示出了单个场景对象105。然而，场景通常包括在相应物距107处的多个场景对象105，和/或场景对象105可以在不同物距107处具有多个特征。在一些实施例中，光学系统(例如，透镜组件110和/或图像传感器130)聚焦在作为参考对象的第一场景对象上，并且针对该对象校准光学系统。例如，如上所述(例如，分别如图3B和3C中的图像350b和图像360b所示)，实施例可以聚焦透镜组件110和/或图像传感器130，使得检测平面132相对于场景中的特定对象处于色彩平衡的位置。对于该对象，色差为最小(例如，或相对较小)，并且场景中更靠近和/或更远离透镜组件110的其他对象和/或表面可以根据本文的实施例进行成像，以检测色焦差异用于距离测量。因此，实施例可以聚焦于场景中的一个对象，并根据该场景中的对象进行校准，然后可以根据该校准的参考物距确定场景中的其他物距。

图4A示出了具有不同物距107的多个场景对象105的另一种被动3D图像感测环境400；并且图4B示出了对应于不同场景对象105的代表性原始检测器图像。如上所述，环境400包括透镜组件110和与图像传感器130相关联的检测平面132。未明确示出处理器140和存储器145。示出了三个场景对象105，每个场景对象位于与三个物距107的相关联的物距处。第一场景对象105a被示为位于距透镜组件110的第一物距107a处，并且在边缘“P”和“Q”之间延伸。该第一场景对象105a被示为参考对象，通过该参考对象聚焦和校准透镜组件110和/或图像传感器130。例如，透镜组件110和图像传感器130的自动聚焦和色彩平衡使得检测平面132位于参考较小波长焦平面120a和参考较大波长焦平面125a之间(例如，之间的约三分之一距离处)。因此，对参考场景对象105a进行成像产生了较小波长光分量和较大波长光分量之间的最小化(或相对较小)的MCR比值。这可以在图4B中边缘“P”处的白点的色彩平衡的说明性原始检测器图像452中看到。

第二场景对象105b被示为位于距透镜组件110的第二物距107b处，该物距107b比校准的物距107a更远。第二场景对象105b在边缘“S”和“T”之间延伸。从第二对象位置107b的第二场景对象105b反射的光与来自校准的物距107a反射的光被透镜组件110的聚焦不同。因此，第二场景对象105b与其第二较小波长焦平面120b和第二较大波长焦平面125b相关联。因为第二场景对象105b比校准的物距107a更远，所以较小波长焦平面120b和较大波长焦平面125b往往向标称焦平面115偏移。该色焦平面偏移有效地将检测平面132的相对位置偏移到更靠近第二场景对象105b的较大波长焦平面125b。因此，对第二场景对象105b进行成像产生了较高的MCR比值，较小波长光分量分布在图像的更广的区域上。这可以在图4B中边缘“T”处的白点的色彩平衡的说明性原始检测器图像454中看到。

第三场景对象105c被示为位于距透镜组件110的第三物距107c处，该物距107c比校准的物距107a更近。第三场景对象105c在边缘“M”和“N”之间延伸。从第三对象位置107c的第三场景对象105c反射的光与来自校准的物距107a反射的光被透镜组件110的聚焦不同。因此，第三场景对象105c与其第三较小波长焦平面120c和第三较大波长焦平面125c相关联。因为第三场景对象105c比校准的物距107a更近，所以较小波长焦平面120c和较大波长焦平面125c往往偏离标称焦平面115。该色焦平面偏移有效地将检测平面132的相对位置偏移到更靠近第三场景对象105c的较小波长焦平面125c。因此，对第三场景对象105c进行成像产生了较小的MCR比值，较大波长光分量分布在图像的更广的区域上。这可以在图4B中边缘“N”处的白点的色彩平衡的说明性原始检测器图像450中看到。

为简单起见，上文的部分描述假定在黑色背景上检测白色特征。然而，本文描述的新颖技术可以在任何具有适当色度校准的颜色环境中实现。在某些情况下，该色度校准涉及基于场景颜色选择色度分量。例如，如果在蓝色背景上检测到特征，则技术可以计算和利用其他颜色光电检测器(例如，像素中的红色和绿色光电检测器)之间的MCR比值，使得背景“蓝色”对于检测系统来说被有效地视为没有颜色(即，黑色)。尽管如此，如本文所述，特定场景中的颜色对于色差的检测通常不是最佳的。例如，如果场景中蓝色对象在红色对象的前面，纯蓝色与红色的MCR比值可能无法产生准确的检测信息；不管相对物距如何，红色对象对于红色具有非常高的MCR，并且蓝色对象对于蓝色具有非常高的MCR。因此，一些实施例将对象颜色作为MCR计算的一部分进行色度校准，以有效地校准对象颜色对检测的影响。

图5示出了根据各种实施例的具有不同物距107的多个场景对象105的另一种被动3D图像感测环境500以说明色度校准。如上所述，环境500包括透镜组件110和与图像传感器130相关联的检测平面132。未明确示出处理器140和存储器145。第一场景对象105a被示为位于距透镜组件110的第一物距107a处，并且在边缘“P”和“Q”之间延伸。该第一场景对象105a被示为参考对象(例如，背景)，通过该参考对象聚焦和校准透镜组件110和/或图像传感器130。例如，透镜组件110和图像传感器130的自动聚焦和色彩平衡可以参考第一场景对象105a执行，使得对第一场景对象105a进行成像产生了较小波长光分量和较大波长光分量之间的最小化(或相对较小)MCR比值。第二场景对象105b被示为位于距透镜组件110的第二物距107b处，并且在边缘“M”和“N”之间延伸。假设系统试图计算边缘“N”505的距离(对应于图中的物距107b)，使得对边缘“N”505执行色度校准。

如上所述，此处的距离测量是基于检测参考对象的色差进行校准的，其可以包括相对于参考对象对成像系统进行色彩平衡。为了简单起见，上文的部分描述假定待测量距离的其他对象在色度上具有可比性；每个检测的特征是相同的颜色且相对于相同颜色的背景进行成像。例如，图4A和图4B假设多个距离处背景上的白点。然而，对于具有不同边缘颜色和/或背景颜色的两个对象，即使对象处于相同的物距时，MCR比值也可能不同。因此，在一些情况下，使用本文描述的技术获得精确的距离测量值可以依赖于校准出特征和/或背景颜色的这种差异。在图5所示的情况下，色彩校准被应用于边缘“N”505，以确定并校准出边缘“N”505的特征颜色和边缘“N”505后的背景颜色。

为了获得相关的色度校准信息，实施例检测背景颜色为场景对象105a的颜色(或至少场景对象105a的部分的颜色靠近特征成像区域)，检测特征颜色为场景对象105b的颜色(或至少场景对象105a的部分的颜色靠近特征成像区域)。为此，实施例确定检测平面132处的多个感兴趣区域，至少包括特征成像区域514、背景颜色校准区域516和特征颜色校准区域512，在特征成像区域514中可以在其背景上看到期望的特征。这些区域涉及光学分量的特性、场景对象105的相对距离和/或其他因素。透镜组件110具有有效孔径509，并且在聚焦和/或色彩平衡之后，位于检测平面132的透镜到检测器距离507处。如图所示，有效孔径509和透镜到检测器的距离507有效地定义了背景对象区域510(示为在“A”和“B”之间延伸)，作为在特征成像区域514中的检测平面132处看到的边缘“N”505的背景。因此，特征成像区域514被示为在A’和B’之间延伸，A’和B’是“A”和“B”在检测平面132上的投影。场景对象105a的剩余图像的部分或全部(即，“A”与“P”之间的区域的任何部分)可以用作背景颜色校准区域516。因此，背景颜色校准区域516被示为在A’和P’之间延伸，A’和P’是“A”和“P”在检测平面132上的投影(例如，虽然只有该区域的邻近部分可以用于校准，例如颜色在该区域上变化的地方)。场景对象105b的剩余图像的部分或全部(即，“B”与“M”之间的区域的任何部分)可以用作特征颜色校准区域512。因此，特征颜色校准区域512被示为在B’和M’之间延伸，B’和M’是“B”和“M”在检测平面132上的投影(例如，虽然只有该区域的邻近部分可以用于校准，例如颜色在该区域上变化的地方)。利用根据上文定义的区域，边缘“N”505的特征颜色可以基于场景对象105b的颜色进行校准，边缘“N”505的背景颜色可以基于场景对象105a的颜色进行校准。

在一个实现方式中，图像传感器130是像素阵列，每个像素具有红色(R)、绿色(G)、蓝色(B)和近红外(IR)光电检测器。每个像素的每个光电检测器的输出信号对应于阵列中的特定物理位置(由“x”和“y”位置表示)及其相应的色度分量的检测的强度。每个输出信号还取决于场景对象105a的确定的颜色(C1)、场景对象105b的确定的颜色(C2)、有效孔径509(D)、透镜到检测器的距离507(S’)、场景对象105a的物距107a(S1)和场景对象105b的物距107b(S2)中的一个或多个。例如，在背景颜色校准区域516中，特定像素的光电检测器输出信号可以定义为：

R1＝R1(x,y,C1,D,S1,S’)；

G1＝G1(x,y,C1,D,S1,S’)；

B1＝B1(x,y,C1,D,S1,S’)；

IR1＝IR1(x,y,C1,D,S1,S’)。

在特征颜色校准区域512中，特定像素的光电检测器输出信号可以定义为：

R2＝R2(x,y,C2,D,S2,S’)；

G2＝G2(x,y,C2,D,S2,S’)；

B2＝B2(x,y,C2,D,S2,S’)；

IR2＝IR2(x,y,C2,D,S2,S’)。

在特征成像区域514中，特定像素的光电检测器输出信号可以定义为：

R＝R(x,y,C1,C2,D,S1,S2,S’)；

G＝G(x,y,C1,C2,D,S1,S2,S’)；

B＝B(x,y,C1,C2,D,S1,S2,S’)；

IR＝IR(x,y,C1,C2,D,S1,S2,S’)。

虽然图示出了场景对象105a和场景对象105b具有不同的物距107，但情况可能并非如此。例如，对象具有非均匀区域、标记、多条边等，场景对象105b可以指场景对象105a上具有可检测边缘的特征。在这种情况下，物距107a和物距107b基本上相等(或严格相等)。在这种情况下，此处描述的技术仍然有效。例如，在上述说明性像素信号输出函数中，S1和S2可以相等，并且色度校准仍然在进行。

在某些情况下，对象的大区域可能没有足够的特征用于距离测量。例如，对象的较大的且相对平滑的表面可能包括一定范围的距离，但是没有任何清晰可检测的边缘或确实可检测的颜色变化。在这些和其他情况下，实施例可以将探测照明投射到场景中，以向场景添加色差可区分的特征。作为一个示例，相对弱光环境中的亮点可以在色彩上为场景添加边缘，用于检测。作为另一个示例，场景中不存在或不常见的光学频率的点照明(例如，近红外光)可以用于向场景增加色彩边缘。探测照明的添加可以包括投射单个点、投射多个点(例如，阵列)、投射照明图案、在区域上扫描一个或多个照明特征等。

如本文所述，各种实现方式涉及一种或多种类型的校准。例如，不同色度分量与物距107之间的MCR比值的关系不是绝对的和固定的。相反，这些关系在功能上至少与系统配置参数相关。例如，当对位于不同距离的参考对象进行校准时，当光学分量进行不同地聚焦和/或色彩平衡时，相同的MCR值和/或比值可以对应于不同颜色的对象的不同物距107。为了说明，在典型的实现方式中，光学系统可以首先相对于特定参考对象进行自动聚焦和自动色彩平衡，从而以至少定义参考对象的标称焦平面115、较小波长焦平面120和较大波长焦平面125的位置的方式自动配置透镜组件110和图像传感器130。使用本文描述的色差技术求出场景中一个或多个其他对象的距离包括应用与光学系统的自动聚焦和自动色彩平衡配置对应的MCR比值与物距之间的特定关系集。

因此，当计算物距107时，处理器140可以考虑这些条件。如上所述，处理器140的实施例可以接收来自图像传感器130的指示不同色度分量(例如，颜色)的色度响应的原始图像数据，基于色度响应的MCR，并且基于MCR之间的比值确定一个或多个场景对象的物距。在一些实施例中，处理器140知道当前光学配置，例如包括用于聚焦和色彩平衡的透镜组件110和/或图像传感器130的当前配置。例如，配置是与寄存器或其他合适的存储器中更新的参数值集相关联的；并且处理器140可以通过获得更新的值来查询当前光学配置。在一些这样的实施例中，处理器140被编程为实现物距107与MCR比值之间的预定数学相关性(例如，函数关系)。在一些这样的实施例中，一个或多个这样的数学相关性被存储在存储器145中。例如，不同的光学配置可能表现出不同但仍具有确定的数学相关性；并且适当的相关性(例如，多项式函数、特定函数等的特定标量值)是根据当前光学配置从存储器145中检索的。在其他实施例中，存储器145用于存储一个或多个光学配置的MCR比值与物距107之间的部分或全部关联。例如，处理器140根据存储在处理器140可访问的存储器145(例如，任何合适的车载或非车载、非瞬态、处理器可读存储器)中的查找表等确定物距107。如本文所使用的，查找表通常指任何关联数据结构，其中第一值集合中的每一个可以与第二值集合中的相应一个相关联。存储在存储器145中的数据(例如，查找表数据、数学相关数据等)可以作为预校准的一部分存储到存储器145中。例如，利用已知距离处的已知颜色的目标的先前校准可以用于生成存储在存储器145中并由处理器140使用的数据。

上文示出和描述的各种光学系统使用色差以确定光学系统场景中一个或多个对象的物距。在一些实现方式中，确定单个物距。在其他实现中，为场景中的多个离散位置确定多个离散物距。在其他实现方式中，跨场景的距离测量用于生成场景的深度图。这些和/或其他实现方式中的任何一个都可以用于支持各种三维(3D)成像环境。例如，可以通过本文描述的实施例获得的3D信息的类型可以用于3D摄影、3D生物测定(例如，3D面部识别)、机器人的3D视觉、自动车辆的3D映射、测距等。在一些实施例中，用于实现本文描述的新颖3D成像的系统(例如，包括透镜组件110、图像传感器130、处理器140、存储器145等)可以集成到计算系统中，例如计算机、数码相机、智能电话或其他设备的一部分。

图6提供了可以实现各种系统部件和/或执行由各种实施例提供的方法的各种步骤的计算机系统600的一个实施例的示意图。应当注意的是，图6仅意在提供各种部件的概括说明，可以适当地利用其中的任何一个或全部组件。因此，图6概括地示出了如何以相对分离或相对更集成的方式实现各个系统元件。

计算机系统600被示为包括可以经由总线605电耦合(或者可以以其他方式适当地通信)的硬件元件。硬件元件可以包括一个或多个处理器610，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如数字信号处理芯片、图形加速处理器、视频解码器等)。例如，处理器610可以实现为图1A所示的处理器140。一些实施例包括一个或多个输入/输出(input/output，I/O)设备615。在一些实现方式中，I/O设备615包括人机接口设备，例如按钮、开关、键盘、指示器、显示器等。在其他实现方式中，I/O设备615包括电路级设备，例如引脚、dip开关等。在一些实现方式中，计算机系统600是用于与附加计算机和/或设备接口的服务器计算机，使得I/O设备615包括各种物理和/或逻辑接口(例如，端口等)，以促进硬件到硬件的耦合、交互、控制等。

计算机系统600可以进一步包括(和/或与之通信)一个或多个非暂时性存储设备625，其可以包括但不限于本地和/或网络可访问存储，和/或计算机系统600可以包括但不限于，磁盘驱动器、驱动器阵列、光存储设备、固态存储设备，例如可以是可编程的、可闪存更新的和/或类似的随机存取存储器(random access memory，RAM)和/或只读存储器(read-only memory，ROM)。该存储设备可以用于实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。在一些实施例中，存储设备625包括图1A的存储器145，用于存储校准信息和/或任何其他合适的信息，和/或用于实现本文描述的特征的指令。

计算机系统600还可以包括本文描述的任何其他部件，或者可以与本文描述的任何其他部件进行通信。在一些实施例中，计算机系统600包括成像子系统620。成像子系统620可以包括图像传感器130和任何支持部件。在一些实施例中，计算机系统600包括照明子系统630。照明子系统630可以包括用于将正常照明和/或参考照明投射到成像子系统620的视场中的任何合适的照明源，以及任何支持部件。在一些这样的实施例中，照明子系统630包括一个或多个照明源，以提供参考照明泛光和/或提供一种或多种类型的探测照明。一些实施例可以包括附加的子系统，例如通信子系统(未示出)，以与其他系统、网络等通信耦合。

计算机系统600的实施例还可以包括工作存储器635，工作存储器635可以包括RAM或ROM设备，如本文所述。计算机系统600还可以包括软件元件，该软件元件示出为当前位于工作存储器635内，工作存储器635包括操作系统640、设备驱动程序、可执行库和/或其他代码，例如一个或多个应用程序645，应用程序645可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由如本文所述的其他实施例提供的方法和/或配置系统。仅作为示例，关于本文讨论的方法所描述的一个或多个过程可以实现为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；在一个方面，该代码和/或指令可以用于配置和/或适配通用计算机(或其他设备)以根据所描述的方法执行一个或多个操作。这些指令和/或代码的集合可以存储在非暂时性计算机可读存储介质上，例如上文所述的非暂时性存储设备625。在一些情况下，存储介质可以并入计算机系统内，例如计算机系统600。在其他实施例中，存储介质可以与计算机系统(例如，如光盘等的可移动介质)分离，和/或提供在安装包中，使得存储介质可以用于对其上存储有指令/代码的通用计算机进行编程、配置和/或适配。这些指令可以采取可由计算机系统600执行的可执行代码的形式，和/或可以采取源代码和/或可安装代码的形式，其在编译和/或安装到计算机系统600上时(例如，使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)，采取可执行代码的形式。

对于本领域的技术人员来说，显而易见的是，可以根据特定的要求进行实质性的变化。例如，还可以使用定制硬件和/或可以在硬件、软件(包括便携式软件，如小应用程序等)或硬件和软件两者中实现特定元件。另外，可采用与如网络输入/输出设备的其他计算设备的连接。

如上所述，在一个方面，一些实施例可以采用计算机系统(例如，计算机系统600)执行根据本发明各种实施例的方法。根据一组实施例，响应于处理器610执行包含在工作存储器635中的一个或多个指令的一个或多个序列(其可以被结合到操作系统640和/或其他代码中，例如应用程序645)，该方法的部分或全部过程由计算机系统600执行。该指令可以从另一计算机可读介质，例如一个或多个非暂时性存储设备625，读入工作存储器635。仅作为示例，执行包含在工作存储器635中的指令的序列可以使得处理器610执行本文所述的方法的一个或多个过程。

本文使用的术语“机器可读介质”、“计算机可读存储介质”和“计算机可读介质”是指参与提供使机器以特定方式运行的数据的任何介质。该介质可以是非暂时性的。在使用计算机系统600实现的实施例中，各种计算机可读介质可以涉及向处理器610提供指令/代码以供执行和/或可以用于存储和/或携带该指令/代码。在许多实现方式中，计算机可读介质是物理和/或有形存储介质。该介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，例如非暂时性存储设备625。易失性介质包括但不限于动态存储器，例如工作存储器635。

物理和/或有形计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、具有标记图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或磁带、或计算机可以从中读取指令和/或代码的任何其他介质。各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列携带到处理器610以供执行。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并通过传输介质将指令作为信号发送，以由计算机系统600接收和/或执行。

在一些实施例中，本文所述的用于实现新颖3D成像的系统，例如图6的计算系统600的部分或全部，可以被集成到具有相机的电子设备中，例如便携式个人电子设备(portable personal electronic device，PPED)。图7A和图7B分别示出了根据各种实施例的说明性便携式个人电子设备(PPED)700的正视图和侧视图。如本文所使用的，PPED可以包括智能手机、平板计算机、膝上型计算机、智能可穿戴设备(例如，智能手表)，或者具有一个或多个集成的数字成像系统710的任何其他合适的设备。PPED 700的实施例还可以包括一个或多个显示器720。尽管未明确示出，但是显示器720的一些实施例可以具有与其集成的电容式触摸屏元件、另一数字成像系统710、指纹传感器和/或其他部件。用户界面部件还可以包括一个或多个物理按钮730。例如，物理按钮730可以包括电源按钮、音量按钮等。在一些实现方式中，一个或多个按钮专用于特定功能，并且一个或多个按钮可动态分配(例如，由应用处理器和/或其他组件)给各种功能。尽管未示出，但PPED 700可以包括附加的用户界面部件，例如光学传感器、力传感器、生物传感器、加速度计等。

一个或多个(例如，所有)数字成像系统710可以包括被动3D光学感测系统。被动3D光学感测系统用于支持深度信息的采集，以支持相机和/或其他部件的三维特征。例如，如图所示，PPED 700可以包括前置(例如自拍)数字成像系统710a、后置数字成像系统710b(如图7B所示)、弹出式数字成像系统710c和/或任何其他合适的集成的数字成像系统710。例如，用户希望使用数字成像系统710中的一个数字成像系统采集图像。PPED 700初始化各种硬件和元件软件元件以进入图像采集模式。作为该模式的一部分，被动3D光学感测系统用于被动地从相机视野中的场景收集光学信息，并确定一个或多个物距，和/或生成部分或全部场景的深度图。如本文所述(例如，参考图1A、图3A、图4A和图5)，光学信息经由包括透镜组件110和图像传感器130在内的各种光学器件和传感器被动接收，并且可以由与存储器145耦合的处理器140进行处理。在一些实施例中，一个或多个被动3D光学感测系统包括或利用一个或多个照明源，例如探测照明源。例如，探测照明源可以提供或补充具有正常和/或参考光分量的照明。在一些实施例中，处理器140和/或存储器145是被动3D光学感测系统的专用部件。在其他实施例中，处理器140由PPED的处理器(例如，中央处理器、图形处理器或PPED的其他处理器，不特定于被动3D光学感测系统)实现。在其他实施例中，存储器145由PPED的存储器实现，例如PPED的不特定于被动3D光学感测系统的可移动或不可移动存储。

上文的各种系统可以用于执行各种方法，例如下文描述的方法。图8示出了根据各种实施例的一种用于被动三维成像的说明性方法800的流程图。方法800的实施例从步骤804开始：响应于从目标场景对象反射并由透镜聚焦到图像传感器上的接收光，接收来自图像传感器的指示第一色度响应集和第二色度响应集的原始图像数据。所接收的光的较小波长分量根据目标较小波长焦平面被聚焦，并且所接收的光的较大波长分量根据目标较大波长焦平面被聚焦。第一色度响应集是由图像传感器响应于所接收的光的较小波长分量产生的，并且第二色度响应集是由图像传感器响应于所接收的光的较大波长分量产生的。在一些实施例中，图像传感器包括光电检测器阵列，光电检测器的第一部分响应于所接收的光的较小波长分量(例如，蓝光)，光电检测器的第二部分响应于所接收的光的较大波长分量(例如，红光)。

在一些实施例中，在步骤804的接收之前，方法800可以在步骤803：将照明投射到图像传感器的视场中。照明可以包括一个或多个点、图案或任何合适的照明，以在视场中产生一个或多个检测边缘特征。在该实施例中，目标场景对象可以是检测边缘特征之一。例如，如果场景中的对象具有广阔的表面，而没有适合于色差的可检测特征，则照明可以提供该特征。值得注意的是，该照明不仅仅是为了照亮检测区域；相反，照明是为了在场景中形成可检测的特征。

如本文所述，所接收的原始图像数据可用于至少根据步骤808至步骤820生成3D信息，例如产生一个或多个物距、深度图等。在生成3D信息的同时(例如，并行地)，一些实施例可以在步骤806：通过处理原始图像数据以校正原始图像数据中的颜色错位(例如，对数据进行色彩平衡)，生成二维(two-dimension，2D)输出图像。一些实施例能够不同时生成3D信息和2D信息。例如，部分或全部原始图像数据被存储到存储器中；并且在存储的同时生成2D信息或3D信息中的一个，而另一信息在稍后的时间生成。

步骤808，实施例可以根据第一色度响应集计算第一色度响应幅度(MCR)。步骤812，实施例可以根据第二色度响应集计算第二MCR。在一个实现方式中，第一MCR被计算为对所接收的光的较小波长分量的最大色度响应(例如，最大像素信号输出)，第二MCR被计算为对所接收的光的较大波长分量的最大色度响应。在另一实现方式中，步骤808和/或步骤812处的计算涉及去除异常值、求平均值或以其他方式确定优化的一个或多个响应(例如，像素)以用作相应的MCR。步骤816，实施例可以计算第一MCR与第二MCR之间的MCR比值。在一些实现方式中，该比值是第一MCR与第二MCR的比值。在其他实现方式中，该比值是第二MCR与第一MCR的比值。

在一些实施例中，可以在方法800中接收和/或使用附加的色度响应。例如，一个像素可以产生三个或四个色度响应(例如，红色、绿色、蓝色和近红外)。一些实施例使用两个以上的色度响应执行部分或全部步骤808至步骤816。其他实施例使用两个以上的色度响应确定哪两个色度响应对于步骤808至步骤816是最佳的。例如，如果确定场景对象的背景接近色度响应之一，则其他的色度响应可以在步骤808至步骤816中使用，从而有效地将背景渲染为黑色。

步骤820，实施例可以基于在步骤816中计算的MCR比值，确定目标场景对象距透镜的目标物距。在一些实施例中，步骤804中所接收的光包括从多个场景对象(包括目标场景对象)反射的光。对于多个场景对象中的每一个场景对象，所接收光的较小波长分量的相应部分被聚焦到与场景对象距透镜的相应的物距对应的相应的较小波长焦平面，并且所接收光的较大波长分量的相应部分被聚焦到与场景对象的相应的物距对应的相应的较大波长焦平面。在该实施例中，步骤808和步骤812的计算可以包括：对于每个场景对象，根据第一色度响应集计算相应的第一MCR，根据第二色度响应集计算相应的第二MCR；并且步骤816的确定可以包括：对于每个场景对象，基于相应的第一MCR和相应的第二MCR之间的相应的比值，确定场景对象的相应的物距。步骤822，一些实施例可以生成包括场景对象的场景的深度图，该深度图指示场景对象的相应的物距。例如，步骤808至步骤820可以针对多个场景对象迭代执行，直到不再有对象剩余，之后步骤822可以生成深度图。

在一些实施例中，方法800开始于步骤801(例如，在步骤804、808、812和/或816之前)：响应于从参考场景对象反射并通过透镜聚焦的光，接收来自图像传感器的参考图像数据。参考场景对象不同于目标场景对象，并且位于距透镜相同或不同的物距处。在该实施例中，步骤802，实施例可以引导图像传感器和透镜的自动配置，以基于参考图像数据相对于参考场景对象进行聚焦和色彩平衡，从而至少基于参考场景对象距透镜的参考距离，定义参考较小波长焦平面和参考较大波长焦平面。在一些这样的实施例中，步骤814，方法800可以识别与步骤802中引导自动配置相关联的当前校准配置。在该实施例中，当前校准条件对应于预定的多个校准条件中的一个校准条件。在该实施例中，步骤820中确定目标物距可以包括：根据与当前校准配置相关联的预校准相关性，将MCR比值与目标物距相关联。在一些实现方式中，每一个校准条件与共享参数集的相应的预校准参数值集相关联，并且该预校准相关性至少部分是根据共享参数集定义的。在该实现方式中，步骤820中确定目标物距可以包括：根据与当前校准配置相关联的相应的预校准参数值集，计算预校准相关性。在其他实现方式中，步骤820中确定目标物距可以包括：检索与查找表中当前校准相关联的相应数量的映射中的一个映射。对于每一个校准条件，查找表可以定义校准的MCR比值和校准的物距之间的相应数量的映射。该实现方式可以识别与MCR比值对应的校准的MCR比值中的一个MCR比值，可以根据与查找表中的当前校准相关联的相应数量的映射中的一个映射，将校准的MCR比值中的一个校准的MCR比值映射到校准的物距中的一个校准的物距。

应理解，当元件或组件在本文中被称为“连接到”或“耦合到”另一元件或组件时，其可以连接或耦合到另一元件或组件，或者也可以存在介于中间的元件或组件。相反，当元件或组件被称为“直接连接”或“直接耦合”到另一元件或组件时，它们之间不存在居间元件或组件。应理解，虽然术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件、组件，但这些元件、组件、区域不应受这些术语的限制。这些术语仅用于将一个元件或组件与另一元件或组件进行区分。因此，在不脱离本发明的教导的情况下，以下讨论的第一元件、组件可以被称为第二元件、组件。如本文所用，术语“逻辑低”、“低状态”、“低电平”、“逻辑低电平”、“低”或“0”可互换使用。术语“逻辑高”、“高状态”、“高电平”、“逻辑高电平”、“高”或“1”可互换使用。

如本文所用，术语“一(a)”、“一个(an)”和“所述(the)”可包括单数和复数指代。还应理解，术语“包括(comprising)”、“包括(including)”“具有(having)”以及变形，当在本说明书中使用时，表明存在所述的特征、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、步骤、操作、元件、组件和/或其组合。相反，当在本说明书中使用时，术语“包括(consisting of)”表明所述的特征、步骤、操作、元件和/或组件，并且排除了附加特征、步骤、操作、元件和/或组件。如本文使用的，词语“和/或”可以指并且可以包括一个或多个相关联的列出的项目的任何可能组合。

虽然本文参考说明性实施例描述了本发明，但是该描述不应当被认为是对本发明的限制。相反，说明性实施例的目的是使本领域技术人员更好地理解本发明的精神。为了不模糊本发明的范围，省略了公知的工艺和制造技术的许多细节。参考说明书，说明性实施例以及其它实施例的各种修改对本领域技术人员来说是显而易见的。因此，所附权利要求旨在包括任何这样的修改。

此外，本发明的优选实施例的一些特征可以有利地使用，而无需使用相应地其他特征。因此，上述描述应该被认为仅仅是对本发明原理的说明，而不是对本发明的限制。本领域技术人员将理解落入本发明范围内的上述实施例的变型。因此，本发明不限于以上讨论的具体实施例和说明，而是由所附权利要求及其等同物来限定。

Claims (20)

1.一种被动三维成像系统，包括：

透镜组件，用于接收从目标场景对象反射的光并对所接收的光进行聚焦，使得所接收的光的较小波长分量被聚焦到目标较小波长焦平面，并且所接收的光的较大波长分量被聚焦到目标较大波长焦平面；

图像传感器，所述图像传感器与所述透镜组件光学通信，并且包括多个光电检测器元件，所述光电检测器元件中的第一子集用于对所接收的光的所述较小波长分量产生第一色度响应集，并且所述光电检测器元件中的第二子集用于对所接收的光的所述较大波长分量产生第二色度响应集；以及

处理器，用于：

接收来自所述图像传感器的原始图像数据，所述原始图像数据指示所述第一色度响应集和所述第二色度响应集；

根据所述第一色度响应集计算第一色度响应幅度(MCR)，根据所述第二色度响应集计算第二MCR；以及

基于所述第一MCR与所述第二MCR之间的比值，确定所述目标场景对象距所述透镜组件的目标物距。

2.根据权利要求1所述的系统，其中，所述处理器还用于：在计算所述第一MCR和所述第二MCR之前，

响应于从参考场景对象反射并通过所述透镜组件聚焦的光，接收来自所述图像传感器的参考图像数据，所述参考场景对象与所述目标场景对象不同；以及

基于所述参考图像数据，引导所述图像传感器和所述透镜组件的自动配置，以相对于所述参考场景对象进行聚焦和色彩平衡，从而至少基于所述参考场景对象距所述透镜组件的参考距离，定义参考较小波长焦平面和参考较大波长焦平面。

3.根据权利要求2所述的系统，其中：

所述处理器还用于识别与引导所述自动配置相关联的当前校准配置，所述当前校准配置与预定的多个校准条件中的一个校准条件对应；以及

所述处理器用于基于与所述当前校准配置相关联的预校准相关性，根据所述比值确定所述目标物距。

4.根据权利要求3所述的系统，还包括：

存储器，对于所述多个校准条件中的每一个校准条件，其上存储有共享参数集的相应的预校准参数值集，

其中，所述预校准相关性至少部分是根据所述共享参数集定义的，并且所述处理器用于至少通过根据与所述当前校准配置相关联的所述相应的预校准参数值集计算所述预校准相关性，以确定所述目标物距。

5.根据权利要求3所述的系统，还包括：

存储器，其上存储有查找表，对于所述多个校准条件中的每一个校准条件，所述查找表定义MCR比值和物距之间的相应的多个映射，

其中，所述处理器用于至少通过以下方式确定所述目标物距：

检索与所述当前校准配置相关联的所述相应的多个映射中的一个映射；

将所述MCR比值中的一个MCR比值确定为对应于所述第一MCR和所述第二MCR之间的比值；以及

根据与所述存储器中的所述当前校准配置相关联的所述相应的多个映射中的一个映射，将所述MCR比值中的一个MCR比值映射到所述物距中的一个物距。

6.根据权利要求1所述的系统，其中，所述处理器还用于：

在计算所述第一MCR和所述第二MCR以及确定所述目标物距的同时，通过处理所述原始图像数据以校正所述原始图像数据中的颜色错位，生成二维输出图像。

7.根据权利要求1所述的系统，其中：

所接收的光包括从多个场景对象反射的光，所述多个场景对象包括所述目标场景对象；

对于所述多个场景对象中的每一个场景对象，所接收的光的所述较小波长分量的相应部分被聚焦到与所述场景对象距所述透镜组件的相应物距对应的相应的较小波长焦平面，并且所接收的光的所述较大波长分量的相应部分被聚焦到与所述场景对象的相应物距对应的相应的较大波长焦平面；以及

对于每个场景对象，所述处理器还用于：

根据所述第一色度响应集计算相应的第一MCR以及根据所述第二色度响应集计算相应的第二MCR；

基于所述相应的第一MCR与所述相应的第二MCR之间的相应比值，确定所述场景对象的相应物距；以及

生成包括所述多个场景对象的场景的深度图，所述深度图指示所述多个场景对象的相应物距。

8.根据权利要求1所述的系统，其中：

当所述图像传感器和所述透镜组件处于色彩平衡焦距布置时，所述多个光电检测器元件定义位于所述目标较小波长焦平面与所述目标较大波长焦平面之间的检测平面。

9.根据权利要求1所述的系统，还包括：

照明源，用于将探测照明投射到所述目标场景对象的一个或多个位置上，以产生一个或多个检测边缘特征。

10.一种用于被动三维成像的方法，所述方法包括：

响应于从目标场景对象反射并由透镜聚焦到图像传感器上的所接收的光，接收来自所述图像传感器的原始图像数据，所述原始图像数据指示第一色度响应集和第二色度响应集，使得所接收的光的较小波长分量根据目标较小波长焦平面被聚焦，并且所接收的光的较大波长分量根据目标较大波长焦平面被聚焦，所述第一色度响应集是由所述图像传感器响应于所接收的光的所述较小波长分量产生的，并且所述第二色度响应集是由所述图像传感器响应于所接收的光的所述较大波长分量产生的；

根据所述第一色度响应集计算第一色度响应幅度(MCR)；

根据所述第二色度响应集计算第二MCR；

计算所述第一MCR与所述第二MCR之间的MCR比值；以及

基于所述MCR比值，确定所述目标场景对象距所述透镜的目标物距。

11.根据权利要求10所述的方法，还包括：在计算所述第一MCR和所述第二MCR之前，

响应于从参考场景对象反射并通过所述透镜聚焦的光，接收来自所述图像传感器的参考图像数据，所述参考场景对象与所述目标场景对象不同；以及

基于所述参考图像数据，引导所述图像传感器和所述透镜的自动配置，以相对于所述参考场景对象进行聚焦和色彩平衡，从而至少基于所述参考场景对象距所述透镜的参考距离，定义参考较小波长焦平面和参考较大波长焦平面。

12.根据权利要求11所述的方法，还包括：

识别与引导所述自动配置相关联的当前校准配置，所述当前校准配置与预定的多个校准条件中的一个校准条件对应；

其中，确定所述目标物距包括：根据与所述当前校准配置相关联的预校准相关性，将所述MCR比值与所述目标物距相关联。

13.根据权利要求12所述的方法，其中：

所述多个校准条件中的每一个校准条件与共享参数集的相应的预校准参数值集相关联；

所述预校准相关性至少部分是根据所述共享参数集定义的；以及

确定所述目标物距包括：根据与所述当前校准配置相关联的所述相应的预校准参数值集，计算所述预校准相关性。

14.根据权利要求12所述的方法，其中，确定所述目标物距包括：

检索与查找表中所述当前校准配置相关联的相应的多个映射中的一个映射，对于所述多个校准条件中的每一个校准条件，所述查找表定义多个校准的MCR比值与多个校准的物距之间的相应的多个映射；

识别与所述MCR比值对应的所述多个校准的MCR比值中的一个校准的MCR比值；以及

根据与所述查找表中的所述当前校准配置相关联的所述相应的多个映射中的一个映射，将所述多个校准的MCR中的一个校准的MCR映射到所述多个校准的物距中的一个校准的物距。

15.根据权利要求10所述的方法，还包括：

在计算所述第一MCR和所述第二MCR以及确定所述目标物距的同时，通过处理所述原始图像数据以校正所述原始图像数据中的颜色错位，生成二维输出图像。

16.根据权利要求10所述的方法，

其中，所接收的光包括从多个场景对象反射的光，所述多个场景对象包括所述目标场景对象；

其中，对于所述多个场景对象中的每一个场景对象，所接收的光的所述较小波长分量的相应部分被聚焦到与所述场景对象距所述透镜的相应物距对应的相应的较小波长焦平面，并且所接收的光的所述较大波长分量的相应部分被聚焦到与所述场景对象的相应物距对应的相应的较大波长焦平面；以及

所述方法还包括：

对于每个场景对象，根据所述第一色度响应集计算相应的第一MCR以及根据所述第二色度响应集计算相应的第二MCR；

对于每个场景对象，基于所述相应的第一MCR与所述相应的第二MCR之间的相应的比值，确定所述场景对象的相应的物距；以及

生成包括所述多个场景对象的场景的深度图，所述深度图指示所述多个场景对象的相应物距。

17.根据权利要求10所述的方法，还包括：在接收之前，

对照明进行投射，以在所述图像传感器的视场中产生一个或多个检测边缘特征，

其中，所述目标场景对象是所述检测边缘特征中的一个检测边缘特征。

18.一种用于被动三维成像的系统，所述系统包括：

一个或多个处理器；以及

非瞬态存储器，其上存储有指令，当由所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行包括以下步骤的步骤：

响应于从目标场景对象反射并由透镜聚焦到图像传感器上的所接收的光，接收来自所述图像传感器的原始图像数据，所述原始图像数据指示第一色度响应集和第二色度响应集，使得所接收的光的较小波长分量根据目标较小波长焦平面被聚焦，并且所接收的光的较大波长分量根据目标较大波长焦平面被聚焦，所述第一色度响应集是由所述图像传感器响应于所接收的光的所述较小波长分量产生的，并且所述第二色度响应集是由所述图像传感器响应于所接收的光的所述较大波长分量产生的；

根据所述第一色度响应集计算第一色度响应幅度(MCR)；

根据所述第二色度响应集计算第二MCR；

计算所述第一MCR与所述第二MCR之间的MCR比值；以及

基于所述MCR比值，确定所述目标场景对象距所述透镜的目标物距。

19.根据权利要求18所述的系统，其中，所述步骤还包括：在计算所述第一MCR和所述第二MCR之前，

响应于从参考场景对象反射并通过所述透镜聚焦的光，接收来自所述图像传感器的参考图像数据，所述参考场景对象与所述目标场景对象不同；以及

基于所述参考图像数据，引导所述图像传感器和所述透镜的自动配置，以相对于所述参考场景对象进行聚焦和色彩平衡，从而至少基于所述参考场景对象距所述透镜的参考距离，定义参考较小波长焦平面和参考较大波长焦平面。

20.根据权利要求19所述的系统，其中，所述步骤还包括：

识别与引导所述自动配置相关联的当前校准配置，所述当前校准配置与预定的多个校准条件中的一个校准条件对应；

其中，确定所述目标物距包括：根据与所述当前校准配置相关联的预校准相关性，将所述MCR比值与所述目标物距相关联。

Images