CN105556337A - 深度成像中的间接反射抑制 - Google Patents

Abstract

一种用于飞行时间深度相机的深度感测方法包括用空间上交替的明暗特征的脉冲光照射主体，以及将从该主体反射回来的脉冲光接收到像素的阵列上。在该阵列的每一个像素处，给出取决于从深度相机到该像素上所成像的主体位点的距离的信号。在这个方法中，基于来自对由明亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下的主体位点成像的像素的信号，所述主体被映射。

Description

深度成像中的间接反射抑制

背景

在飞行时间(TOF)深度成像中，主体被脉冲或以其他方式调制的探测光照射。该探测光中的一些从主体反射回成像光检测器。光检测器的像素元件被编址成组，与调制的探测光同步。在这个方法中，不同组像素元件的整合周期可能在相位或总整合时间上不同，使得探测光从其位于探测发射器处的起点，发出到主体，然后回到光检测器的像素分辨的飞行时间是可基于不同组中的相对应的元件中所接收到的相对光量来辨别的。根据在光检测器的一给定像素处计算的飞行时间，该像素所成像的主体位点的深度(即离深度相机的距离)被计算出。

在以上概述的方法中，深度测量的信噪比可能被探测光从一个主体位点到另一个主体位点然后再到光检测器的间接反射所削弱。间接反射的探测光的延长的飞行时间可能会错误地增加第二个位点的测得深度。因为这个原因，对于倾向于间接反射的主体，系统性测量误差可能被观察到。

概述

本公开的一种实施例提供了一种要结合飞行时间深度相机实施的深度感测方法。该方法包括用空间上交替的明暗特征的脉冲光来照射主体，以及将从该主体反射回来的脉冲光接收到像素的阵列上。在该阵列的每一个像素处，给出取决于从深度相机到该像素上所成像的主体位点的距离的信号。在这个方法中，基于来自对由明亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下的主体位点成像的像素的信号，所述主体被映射。

提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

附图简述

图1示出可适用于根据本公开的一实施例的TOF深度感测的示例主体的各方面。

图2示出根据本公开的一实施例的图1的主体以及深度相机的各方面的平面图。

图3示出根据本公开的一实施例的成像光检测器的各方面。

图4示出根据本公开的一实施例的用空间上交替的明暗特征的图案照射的图1的主体。

图5是示出跨深度相机的一系列像素在对主体的均匀照射下对信号强度的贡献的图表。

图6是示出根据本公开的一实施例，跨深度相机的一系列像素在对主体的结构化照射下对信号强度的贡献的图表。

图7例示出根据本公开的一实施例的示例深度感测方法。

图8示出根据本公开的一实施例的控制器的附加方面。

详细描述

现在将通过示例并参照所示的以上列出的实施例来描述本公开的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而将注意到，被协调地标识的元素可能也会有一定程度的不同。将进一步注意到，本公开中包括的附图是示意性的并且通常未按照比例绘制。当然，附图中所示的各种绘图比例、纵横比、以及组件的数量可故意地失真，以更容易看到某些特征或关系。

图1示出可适用于本文所揭示的深度感测方法的示例主体10的各方面。在本例中，该主体是包括第一区域12和相邻的第二区域14的一对几何形体。第一区域和第二区域都是与竖直的Y轴平行的平面。第一区域和第二区域被设置成彼此成一角度，在它们彼此靠近的区域沿深度轴Z延伸到最远。在这个例子中，至少第一区域是用于深度感测的探测光的漫反射器。换句话说，当被探测光照明时，第一区域12可将这样的光漫反射到第二区域14上。

在图1中，主体10的配置和取向仅仅是为了简化下文的讨论而被选择的；配置或取向的任何方面都不会以任何方式限制本文的主题。相反，本公开与各种各样的深度感测主体兼容—从诸如墙壁和天花板之类的简单几何结构，到诸如家具之类的更复杂的直线结构，到诸如人类之类的高度复杂的、弯曲的和移动的结构。

图2以平面图示出主体10，以及深度相机16的各方面。在一些实施例中，深度相机可被置于距离主体0.1至5米的任何地方，但是其他范围也被考虑。如图2所示，深度相机16包括探测发射器18、成像光检测器20和控制器22。该探测发射器可被配置成用脉冲或以其他方式调制的探测光照射主体。要注意，如文本所使用的术语‘脉冲’不限于矩形脉冲，而是扩展至几乎任何周期性调制波形，包括但不限于正弦调制波形。此外，探测发射器的性质在本公开的各种实施例中可以是不同的。在一些实施例中，该探测发射器可包括调制激光器24，诸如红外(IR)或近红外(NIR)激光器。在其他实施例中，该探测发射器可包括一个或多个高功率发光二极管(LED)。

成像光检测器20包括深度感测像素阵列。该成像光检测器被配置成将从主体反射回来的脉冲或调制探测光中的至少一些接收到阵列上。该阵列中的每一个像素都被配置为给出取决于从深度相机到该像素上所成像的主体的位点的距离的信号。这个距离在此被称为“深度”。该成像光检测器也可包括附图中未示出的各种组件，诸如准直透镜和波长滤光器，这些组件可被安置在阵列前面。

继续图2，控制器22包括向探测发射器18和成像光检测器20提供调制驱动信号来使这些组件的操作同步的逻辑硬件。该控制器还配置成查询成像光检测器的每个像素以使得能够计算主体10的深度图。特别地，控制器22的逻辑26被配置成基于来自阵列中的各种像素的信号映射主体—或包括该主体的场景。在一些实施例中，重复的深度成像可被使用以将时间分辨的一系列深度图并汇编成深度视频。深度视频的分析可被用于例如姿势识别或其他形式的自然用户输入(NUI)。

图3示出一个实施例中的成像光检测器20的各方面。特别地，该附图示出了像素28的阵列。每一个像素都包括第一像素元件30A、相邻的第二像素元件30B，并且还可包括附图中未示出的另外的像素元件。每一个像素元件可包括一个或多个梳状栅、传输门和/或半导体基底上外延形成的集电节点。每一个像素的像素元件可被编址以便提供与来自探测发射器的脉冲发射同步的两个或多个整合周期。整合周期可在相位和/或总整合时间上不同。基于在不同整合周期期间在像素元件上积聚的相对电荷量，可获得距主体的反射位点的距离。在另一实施例中，探测发射器和第一像素元件被同步地通电，而第二像素元件相对于第一像素元件以180°的相位差被通电。基于第一像素元件和第二像素元件中整合的相对电荷量，光检测器中接收到的反射脉冲光相对于探测调制的相位角被计算出。根据该相位角，距反射位点的距离可被获得。

上述深度感测方法在一些条件下给出了可靠的结果，但是在其他条件下容易出现显著的测量误差。一个误差来源是探测光的间接反射，如下继续参考图2所述。在该附图中，用来评估位点B的深度的所希望的光路径是两段式路径ABC。但是，许多其他路径也可能导致探测光沿光线BC到达光检测器20—其中有三段式路径ADBC和AEBC。沿某一三段式路径反射的光以比预期更大的相位角被接收，这错误地加长了位点B的测得深度。

在所例示的示例中，间接反射是由于第一区域12的相对于第二区域14的取向造成的，这定义了一凹度。尽管沿任一三段式路径的反射都将典型地比直接的两段式反射强度低，但是各种因素仍然可能增加间接反射作为噪声源的显著性。例如，如果第一区域12显著反射(且尤其是漫反射)探测光，那么间接反射的量和角度大小可能增加。自然地，第一区域12的尺寸越大，沿着BC到达光检测器20的间接反射光的量将越大。

为了在仍然提供其他优点的同时解决这个问题，探测发射器18可被配置为用空间上交替的明暗特征的脉冲光来照射主体10。逻辑26可被配置为基于来自对由亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下主体位点成像的像素的信号，来映射主体。这个方法增加了用于感测亮特征下主体位点的深度的信噪比，因为它减少了能发生间接反射的主体的有效面积。同时，来自亮特征的直接、两段式反射的强度增加了，因为发射器的全部输出都集中在亮特征上。

为了实施这种方法，在一个实施例中，图2中的探测发射器18包括低损耗光学元件32，该低损耗光学元件32被配置为接收连续(例如，朗伯)分布的脉冲光，以及以空间上交替的明暗特征的图案释放脉冲光。该低损耗光学元件可包括衍射光栅，或在其他示例中诸如小透镜之类的一系列的折射特征。在这些和其他实施例中，空间上交替的明暗特征可包括如图4中所例示的一系列的平行光柱。此外，在一些非限制性示例中，该低损耗光学元件可以是有源光学器件，该有源光学器件可被开启来提供空间上交替的明暗特征，以及可被关闭来提供对主体的均匀照射。

图5和图6的建模结果例示出现在揭示的深度感测方法的基本优点。在这些图表中，每个编号的竖条(图5和图6中从34至41)的高度代表来自光检测器中对第二区域14的对应位点成像的一个像素的总信号强度。这些位点在前面的图4中被分配了相应的编号。在图5和图6中，每个竖条被分成了各个区段，这些区段示出来自直接的、两段式反射和来自一些三段式反射对信号强度的贡献。对于每个编号的像素，来自直接的、两段式路径的信号强度被示为非阴影块，而不同阴影的块代表来自不同的三段式反射的信号强度。例如在像素38处，阴影块P代表来自从(图4的)位点P的三段式反射的信号强度，阴影块Q代表来自位点Q的信号强度，阴影块R代表来自位点R的信号强度，而阴影块S代表来自位点S的信号强度。在像素38处，非阴影块T代表来自直接的、两段式反射的信号强度。

主体受脉冲光的均匀照射的结果被例示于图5中。在这个示例中，在每一个像素处，来自两段式反射的信号强度等于来自四个三段式反射的组合的信号强度，使得总信噪比是1:1。

图6例示出用如图4中所示的一系列光柱照射的结果。像素34、36、38和40对结构化照射的亮特征下的位点成像，而像素35、37、39和41对暗特征下的位点成像。在图6表示的情形中，探测发射器提供的总功率与图5中的相同，但是该功率仅仅集中在亮特征上。因此，在像素34、36、38和40下，两段式反射的信号强度被加倍。在示例像素38，与经明亮照明的位点R的三段式反射对应的信号强度也加倍，但是来自暗位点P的信号强度完全消失，而剩下的三段式反射(Q和S)的强度保持不变。因此，在亮特征下的深度感测的信噪比整体上加倍到2:1。在暗特征下，来自两段式反射的所有信号强度都消失，因为这些区域没有被探测光直接照射。更确切地而言，积聚的信号的全部都应归于三段式反射的分布。

尽管光柱在图4中都是垂直取向的，但是它们可替代地被水平取向或以任何斜角取向。在使用光柱的实施例中，光柱的取向可根据被成像的主体的几何形状进行调整，来更有效地抑制间接反射。相应地，深度相机16可包括用于在图像采集期间动态地旋转光柱以使预测的或计算出的深度感测误差最小化(参见下文)的附加硬件。将注意到，这里描述的光柱的图案只是具有交替的明暗特征的许多图案之一。附加图案包括由十字形光柱形成的网格，或暗背景上的亮点的矩阵。

上述配置允许各种深度感测方法。因此，现在通过示例并继续参照以上配置来描述一些这样的方法。然而，应该理解，本文所述的方法以及同样在本公开的范围内的其它方法也可以由其它配置来实现。进一步地，在某些实施例中，在不偏离本公开的范围的情况下，可以省略此处所描述的和/或所例示出的一些过程步骤。同样，过程步骤的所指示出的顺序可能并不总是达成预期结果所必需的，而是为举例说明和描述的方便而提供的。取决于所使用的具体策略，可以反复地执行所例示出的动作、功能或操作中的一个或多个。

图7例示出要结合TOF深度相机实施的示例深度感测方法58。在方法58的60处，用空间上交替的明暗特征的脉冲光照射主体。在62，从主体反射回来的脉冲光被接收到深度相机的成像光检测器的像素阵列上。在64中，在阵列的每一个像素处给出一信号。对于每个像素，该信号取决于从深度相机到在该像素上成像的主体位点的距离。在68，基于来自对由亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下的主体位点成像的像素的信号，来映射主体。

在70，位于暗特征下的主体位点的深度通过内插来被估计。特别地，内插可在在对连续的亮特征下的主体位点成像的像素之间被实施，以估算在介于中间的暗特征下的主体位点的深度。该内插可以是线性的、二次的等等。在一个实施例中，上述过程可能产生一深度图，该深度图具有与阵列的每个像素(X,Y)相关联的深度坐标Z。

在一些实施例中，来自对应于暗特征下的主体位点的像素的信号可有利地被使用。例如，在可选步骤72和74，计算主体的区域级误差图。该误差图可基于来自对暗特征下的主体位点成像的像素的信号。因为来自这些像素的信号直接反映了由于环境光和间接反射产生的信号误差，这是一种对深度感测不确定性的合理测量。在74，在对连续的暗特征下的主体位点成像的像素之间实施内插，以估算来自被映射到介于中间的亮特征下的一主体位点的介于中间的像素的信号误差。在某些应用中，以此方式构造的误差图可被用来为深度图的不同区域建立合适的加权因子，所述不同区域适合于一模型—诸如用于姿势识别的人类骨架模型。

对于许多应用，上文描述的各方面足以将TOF深度感测的信噪比提高至所希望的水平。但是，进一步的改进也是可能的。因此，图4的方法72包括附加的可选步骤76。在76，对每个像素计算的误差从该像素的信号中被减去来获得修正的深度图。

为了实施方法72的可选的步骤，图2的控制器22可包括逻辑72，逻辑72被配置为在对连续的暗特征下的主体位点成像的像素之间内插，以估算来自被映射到一介于中间的亮特征下的一主体位点的介于中间的像素的信号中的误差。这样的逻辑也可被配置成从来自每个像素的信号减去该误差。

上述的方法的任何方面都不应以限制性的意义被理解，因为许多变型和扩展都完全处于本公开的精神和范围内。例如，上述方法的若干扩展基于在TOF深度测量的同时实施基于三角测量的深度测量，以及将结果相组合来确保单独使用任一种方法都不可获得的优势。自然地，深度相机16产生的结构化光也可适用于基于三角测量的深度感测，所以这些扩展不需要附加的照射硬件。在一个实施例中，基于从主体反射回来的脉冲光的图像中的亮特征中的一个或多个亮特征的一明显位置，一主体位点的深度可被三角测量。因此，图2的控制器22可包括逻辑74，逻辑74被配置成基于从主体反射回来的脉冲光中的亮特征中的一个或多个亮特征的明显位置来三角测量一主体位点的深度。

在一更具体的方法中，三角测量出的深度可被用来界定一预定深度范围，在该深度范围上主体被映射。换言之，粗略三角测量可被使用来确定感兴趣的主体特征位于距深度相机例如1米和2米之间。该系统接着可调整探测发射器的调制周期，以在这个范围内提供最佳灵敏度。在另一种方法中，三角测量可被使用来修正通过TOF计算出的深度图中的非预期的外围点。具体来说，方法72中所提及的映射可能将一主体位点放置在非预期深度处。通过三角测量计算的另一深度值可被用来修正这个非预期深度，以及提供总的更一致的且少噪声的深度图。在又一方法中，TOF与基于三角测量的深度值的区域级比较可被使用来获得深度感测的区域级可靠性度量。这个资源可被用于模型拟合，就像在上文提到的误差图一样。为了支撑这些特征，深度相机16可包括三角测量逻辑76，如图2中所示。

在又一实施例中，可结合被配置成在三种不同的门控条件下获取门控图像的深度相机来实施深度感测方法。这里，探测发射器可被配置为发出：(a)均匀照射、(b)空间上交替的明暗特征、或者(c)均匀照射与空间上交替的明暗特征的组合。为此，上文中提到的低损耗光学元件可以是由控制电路在均匀照射和图案化照射之间可切换的有源光学器件。当所述组合被使用时，深度是使用对每个图像的相位不作任何假设的更先进的算法来计算的。使用照射模态的组合的一个优点是，取决于主体的几何和光学性质，给定的门控条件可被更少地暴露于多径反射。在这种情况下，为了获得增加的分辨率，可以使用均匀照射。

从上述描述中显而易见，本文所述的方法和过程可以与一个或多个计算设备的计算系统绑定。这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图8是示出控制器22(被配置成支持本文所描述的方法和过程的计算机系统)附加方面的高级示图。如上所述，控制器包括逻辑机78和指令储存机80。控制器22可任选地包括显示子系统82、输入子系统84、通信子系统84、和/或在图8中未示出的其他组件。

逻辑机78包括被配置成执行指令的一个或多个物理设备。例如，逻辑机器可以被配置成执行指令，所述指令是一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。

逻辑机78可包括被配置成执行软件指令的一个或多个处理器。另外或或者，逻辑机可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑机的个别组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑机的各方面可以被在云计算配置中配置的远程可访问的、联网计算设备虚拟化和执行。

指令存储机80包括被配置成保持可由逻辑机78执行以实现此处描述的方法和过程的指令的一个或多个物理设备。当实现这样的方法和过程时，指令存储机的状态可以被变换—例如用来保持不同的数据。指令存储机可包括可移动的和/或内置设备；它可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、以及其他。该指令存储机可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可定址的、文件可定址的、和/或内容可定址的设备。

将理解，指令存储机80包括一个或多个物理设备。然而，本文所述的指令的各方面替代地可由不经由存储媒介存储的通信媒介(如电磁信号、光学信号等)来传播。

逻辑机78和指令存储机80的各方面可以被一起集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

术语“模块”、“引擎”和“逻辑”可用于描述控制器22的被实现来执行某一功能的方面。在某些情况下，可以通过执行由指令存储机80所保持的指令的逻辑机78来实例化一模块或引擎。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的程序或引擎。类似地，相同的模块、和/或引擎可由不同的应用、服务、代码块、对象、例程、API、函数等来实例化。术语“模块”、“引擎”或“逻辑”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

在包括显示子系统82时，显示子系统82可被用于呈现由指令存储机80所保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。由于此处描述的方法和过程改变了存储机所保持的数据、且因此转换了存储机的状态，因此该显示子系统的状态可同样地被转换以视觉地表示底层数据中的变化。该显示子系统可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机78和/或指令存储机80组合在共享封装中，或者此类显示设备可以是外围显示设备。

当被包括时，输入子系统84可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括选择的NUI元件部分或与选择的NUI元件部分相对接。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。

当被包括在内时，通信子系统86可以被配置成将控制器22与一个或多个其他计算设备通信地耦合。通信子系统可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网来通信。在某些实施例中，通信子系统可允许控制器22经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。

本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种结合飞行时间深度相机实施的深度感测方法，包括：

用空间上交替的明暗特征的脉冲光照射一主体；

将从所述主体反射回来的脉冲光接收到像素阵列上；

在所述阵列的每一个像素处，给出取决于从所述深度相机到所述主体的被成像在该像素上的位点的距离的信号；以及

基于来自对由亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下的主体位点成像的像素的信号，映射所述主体。

2.如权利要求1所述的方法，其特征在于，进一步包括：在对连续的亮特征下的主体位点成像的像素之间内插，以估算在一介于中间的暗特征下的一主体位点的深度。

3.如权利要求1所述的方法，其特征在于，进一步包括：基于从所述主体反射回来的脉冲光的图像中的亮特征中的一个或多个亮特征的位置来三角测量一主体位点的深度。

4.如权利要求3所述的方法，其特征在于，所述映射包括映射到一预定深度范围上，所述方法进一步包括使用三角测量出的深度来界定所述预定深度范围。

5.如权利要求3所述的方法，其特征在于，所述映射将所述主体的位点置于一非预期深度，所述方法进一步包括使用三角测量出的深度来修正所述非预期深度。

6.如权利要求3所述的方法，其特征在于，所述映射产生飞行时间深度，所述方法进一步包括：将所述飞行时间深度与三角测量出的深度作比较以获得用于深度感测的区域级可靠性度量。

7.如权利要求1所述的方法，其特征在于，进一步包括：基于来自对暗特征下的主体位点成像的像素的信号来映射所述主体，以计算区域级深度感测不确定性。

8.一种飞行时间深度相机，包括：

探测发射器，被配置为用空间上交替的明暗特征的脉冲光照射一主体；

成像光检测器，所述成像光检测器具有像素阵列并被配置为将从所述主体反射回来的脉冲光接收到所述像素阵列上，每一像素被配置为给出取决于从所述深度相机到所述主体的被成像在该像素上的位点的距离的信号；以及

逻辑，所述逻辑被配置为基于来自对由亮特征直接照射的主体位点成像的像素的信号，同时忽略或负加权来自对暗特征下的主体位点成像的像素的信号，映射所述主体。

9.如权利要求8所述的深度相机，其特征在于，所述探测发射器包括：被配置为接收朗伯分布的脉冲光以及以空间上交替的明暗特征释放脉冲光的低损耗光学元件。

10.如权利要求9所述的深度相机，其特征在于，所述低损耗光学元件是可被关闭来提供对所述主体的均匀照射的有源光学器件。