CN109691092B - 用于改进的深度感测的系统和方法 - Google Patents

Abstract

本发明公开用于主动深度感测的方法和设备。在一些方面，一种成像装置可基于主动感测技术，例如结构光，来产生第一深度信息。在一些方面，所述第一深度信息中的至少一些可缺失或不准确，可能归因于所述成像装置与所述图像的对象之间的扩大的范围。接着可基于所述结构光的零阶分量来产生额外范围信息。所述额外范围信息接着可独自使用或与所述第一深度信息组合，且用以控制成像装置的一或多个参数，例如曝光时间和/或光圈。

Description

用于改进的深度感测的系统和方法

技术领域

此技术涉及主动深度感测，且更具体来说，涉及产生场景的深度图以促进图像捕获参数的细化以及捕获后图像处理。

背景技术

成像装置是结构光主动感测系统，其包含发射器和接收器，所述发射器和接收器经配置成发射并接收对应于空间代码(或“码字”)的图案，以产生指示场景中的一或多个目标与成像装置的距离的深度图。场景中的目标与发射器和接收器越远，从所述目标反射的所接收码字与其原始位置(相较于所发射码字)就越接近，因为传出码字的传播路径与经反射传入码字的传播路径较平行。相反地，目标与发射器和接收器越接近，所接收码字与其在所发射码字中的原始位置就越远。因此，所接收码字的位置与对应的所发射码字的位置之间的差异可用于确定目标在场景中的深度。结构光主动感测系统可使用这些经确定深度以产生场景的深度图，所述深度图可以是场景的三维表示。许多应用程序可受益于确定场景的深度图，包含图像质量增强和计算机视觉技术。

在一些方面，产生深度图可包含检测码字。在一些方面，码字可包含符号阵列。解码过滤器可识别码字和符号的空间边界，并基于其强度值将符号分类为例如“0”或“1”。解码滤波器可使用对应于用于界定可能码字集合的调和基底函数集合的匹配滤波器来对传入基底函数进行分类。因此，深度图准确度取决于准确地接收符号、码字和/或基底函数。

如果用以投影图案的光源(例如激光)过低，那么对应于较亮符号的光点可太暗，而无法与较暗符号区分开。因此，需要用来改进针对数字成像应用的深度图产生的方法和系统。

发明内容

本发明的系统、方法和装置各自具有若干方面，其中无单一方面单独地负责其合乎需要的属性。在不限制如通过所附权利要求书表达的本发明的范围的情况下，现在将简要地论述一些特征。在考虑此论述之后，并且尤其在阅读标题为“具体实施方式”的部分之后，将理解本发明的特征如何提供在成像管线中包含降低的功耗的优点。

用于图像捕获的深度感测可利用被动和/或主动感测方法。被动感测深度解决方案可在从场景捕获的第一数字图像内执行关键点检测。然而，这些方法的有效性可限于具有相对较少特征的成像环境，例如当场景包含一或多个相对平坦表面时。

主动感测解决方案依靠被供电的信号。然而，用以创建所述信号的电力可通过衍射光学元件来施配和扩散，从而防止相对较大距离处的深度检测。明确地说，衍射光学元件(DOE)结构从激光器发光，以促进嵌入于所述DOE中的图案的视差跟踪。当从场景中的图像反射回来时，所述图案中的视差对应于场景在所述DOE内的各种位置处的深度。为了促进高度衍射图案，衍射光学元件可导致正分析的场景内的任一单数点处的相当大量的的能量耗散。随着从光源到场景中的目标的距离增加，到达场景中的目标的光能的量消退。

光源的衍射基本上限制了当使用DOE时可对其进行有效范围确定的有效范围。然而，高斯光束光源的零阶非衍射DC分量或零频分量与光束的其它分量相比，较少受DOE减损。因此，可执行有效深度检测的距离对于光束的零阶分量显著大于对于由DOE有效衍射的分量。然而，DC分量的零阶部分不提供对场景的大部分的有效深度检测，而是提供对场景的位于光源本身前部的相对较小部分的有效深度检测。

为了使用零阶分量来检测深度，可在多种已知距离确定所述零阶分量的位置。在一些方面中，此信息可存储在图像装置的校准表中。当捕获场景的数字图像时，可基于结构光方法来产生初始深度图。如果由结构光方法产生的深度图并不满足一或多个质量准则，那么可基于数字图像中的零阶分量的位置获得进一步的深度信息。一或多个相机设定接着可基于所获得的深度信息。

所公开的一个方面是一种深度感测方法。所述方法包含：照明场景，所述照明包含结构光图案分量以及零阶分量；捕获所照明场景的图像；基于图像中的结构光图案产生所述场景的深度图；确定深度图的质量水平；响应于深度图的质量水平满足第一准则，基于零阶分量在图像中的位置，确定深度信息；以及基于所述深度信息产生第二图像。

在一些方面，所述方法还包含：响应于深度图的质量水平满足第二准则，基于深度图产生第二图像；和/或将所述第二图像写入到输出装置。在一些方面，基于零阶分量位置来确定深度信息包括将所述所确定的零阶位置与对应于预定深度的预定位置进行比较；以及基于所述比较来确定深度信息。

在一些方面，所述方法还包含：基于零阶分量在图像中的位置来在两个预定位置之间进行内插；以及基于所述内插来确定深度信息。在一些方面，确定深度图的质量包括确定深度图中的无效深度值的百分比，其中深度图的质量至少部分地基于无效深度值的百分比。

在一些方面，确定深度图的质量包括确定深度图中的无效深度值的区的大小，其中深度图的质量至少部分地基于所述大小。

所公开的另一方面是一种用于深度感测的设备。所述设备包含图像传感器、光发射器和电子硬件处理器，其经配置以：使用光发射器来照明场景，所述照明包含结构光图案分量和零阶分量；用图像传感器捕获所照明的场景的图像；基于图像中的结构光图案产生场景的深度图；确定深度图的质量水平，且响应于深度图的质量水平满足第一准则：基于零阶分量在图像中的位置，确定深度信息；以及基于深度信息产生第二图像。

在一些方面，所述电子硬件处理器进一步经配置以响应于深度图的质量水平满足第二准则，基于深度图来产生第二图像。在一些方面，所述电子硬件处理器进一步经配置以将所述第二图像写入到输出装置。在一些方面，基于零阶分量位置来确定深度信息包括将所述所确定的零阶位置与对应于预定深度的预定位置进行比较，以及基于所述比较来确定深度信息。在一些方面，所述电子硬件处理器进一步经配置以：基于零阶分量在图像中的位置，在两个预定位置之间进行内插；以及基于所述内插来确定深度信息。

在一些方面，所述电子硬件处理器进一步经配置以通过确定深度图中的无效深度值的百分比来确定深度图的质量，其中深度图的质量至少部分地基于无效深度值的百分比。在一些方面，所述电子硬件处理器进一步经配置以通过确定深度图中的无效深度值的区的大小来确定深度图的质量，其中深度图的质量至少部分地基于所述大小。

所公开的另一方面是一种包括指令的计算机可读存储媒体，所述指令在被执行时，致使电子硬件处理器执行深度感测方法。所述方法包含：照明场景，所述照明包含结构光图案分量以及零阶分量；捕获所照明场景的图像；基于图像中的结构光图案产生所述场景的深度图；确定深度图的质量水平；响应于深度图的质量水平满足第一准则，基于零阶分量在图像中的位置，确定深度信息；以及基于所述深度信息产生第二图像。

在一些方面，所述计算机可读存储媒体的所述方法还包含响应于深度图的质量水平满足第二准则，基于深度图产生第二图像。在一些方面，所述计算机可读存储媒体的所述方法还包含将所述第二图像写入到输出装置。在计算机可读存储媒体的一些方面中，基于零阶分量位置确定深度信息包括：将所述所确定的零阶位置与对应于预定深度的预定位置进行比较；以及基于所述比较来确定深度信息。

在一些方面，所述计算机可读存储媒体的所述方法还包含：基于零阶分量在图像中的位置在两个预定位置之间进行内插；以及基于所述内插来确定深度信息。在所述计算机可读存储媒体的一些方面中，确定深度图的质量包括确定深度图中的无效深度值的百分比，其中深度图的质量至少部分地基于无效深度值的百分比。

附图说明

图式中说明的各种特征可能未按比例绘制。因此，为了清晰起见，可能任意扩大或减小各种特征的尺寸。此外，点线或虚线和目标可指示任选的特征或用以示出组件的组织。另外，图中的一些可不描绘给定系统、方法或装置的所有组件。最后，在整个说明书和图式中，相同参考标号可用于表示相同特征。

图1是示出两种图像捕获情形100a-b的概述图，所述图像捕获情形示出摄影师101在两个不同的距离处捕获两个场景的图像。

图2示出当在两个不同的相应范围照明场景时在两个不同的图像202a-b中捕获的两个等效结构光图案。

图3示出可由高斯光束光源通过衍射光学元件(DOE)产生的结构光图案。

图4示出经由成像装置从包含分别具有三个不同范围的目标的场景捕获的结构化图案的三个图像。

图5是相对于到场景的目标的距离的示范性零阶位移的曲线图。

图6是用于执行所公开的系统和方法的示范性装置的结构化框图。

图7是一种捕获图像的方法的流程图。

图8是确定图像的深度图的质量水平的一种示范性方法的流程图。

具体实施方式

下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，教示公开内容可以许多不同形式来体现，且不应被解释为限于贯穿本公开所呈现的任何特定结构或功能。而是，提供这些方面以使得本公开将透彻且完整，且将向所属领域的技术人员充分传达本公开的范围。基于本文中的教示，所属领域的技术人员应了解，本公开的范围既定涵盖无论是独立于本公开的任何其它方面而实施还是与之组合而实施的本文中所公开的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所陈述的任何数目个方面来实施设备或实践方法。另外，本公开的范围既定涵盖使用除了本文中所陈述的本公开的各种方面以外的或不同于本文中所陈述的本公开的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来实施本文中所公开的任何方面。

此外，尽管本文中描述了特定方面，但这些方面的许多变化和排列落在本公开的范围内。此外，本公开的范围不既定限于本文公开的特定益处、用途或目标。相反地，本公开的方面既定广泛地适用于不同有线和无线技术、系统配置、网络和传输协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本公开，且不具有限制性，本公开的范围由所附权利要求书和其等效物界定。

图1是示出两种图像捕获情形100a-b的概述图，所述图像捕获情形示出摄影师101在两个不同的距离处捕获两个场景的图像。在两个情形100a-b中，摄影师握住图像装置105。成像装置105可产生组织成一或多个图案的光106a-b(例如利用结构光方法)，来获得分别包含对象102a-b的场景的深度信息。在一些方面，成像装置105可包含光源，其中光源产生的光穿过衍射光栅，以产生所述所产生的光106a-b作为一或多个图案。

在第一成像情形100a中，摄影师101站在距对象102a一段距离110a处。成像装置105所使用的结构光方法可具有有效范围，示出为108a。因为对象102a在图像捕获情形100a中的有效范围108a内，所以成像装置105所使用的结构光方法可产生深度图，其接着可用以捕获对象102a的第二图像。举例来说，当捕获第二图像时，可使用深度图来设定曝光时间、光圈或闪光灯强度中的一或多者。当控制相机105对第二图像的图像捕获设定时使用深度图可实现比不使用深度图的情况下捕获的图像改进的图像质量。

图1中的图像捕获情形100b示出摄影师101使用成像装置105来捕获对象102b的另一图像。如情形100a中的情况，成像装置105产生组织为结构光图案的光，以促进获得正在成像情形100b中成像的场景的深度信息。相比于图像捕获情形100a，对象102b在与用以在上文所论述的情形100a中捕获对象102a的第一图像的距离110a不同且更长的距离110b。成像装置105在图像捕获情形100b中所使用的结构光方法的有效范围示出为距离108b。因为从成像装置105到对象102b的距离110b在情形100b中较大，所以对象102示出为在成像装置105所利用的结构光方法的有效范围108b之外。因此，在距离110b处捕获的对象102的图像可具有比对象102b已在结构光方法的有效范围108b内的情况低的质量，如上文所论述的图像捕获情形100a中所示。

图像捕获情形100b中还示出成像装置105所产生的光的零阶分量112。零阶分量也可存在于图像捕获情形100a中所产生的光，但为了图的清晰未示出。可将零阶分量112被描述为光的大体上穿过相机105的衍射光栅而不衍射的DC分量。光的零阶部分112穿过衍射光栅，类似于光可如何以其它方式穿过镜头。在一些方面，可以与来自光源的光如何撞击光栅的入射角度相等且相对的角度产生光的零阶分量112。

当m＝0时，还可经由光栅等式来表达零阶分量，如下文在等式1中示出：

mλ＝d(sinα+sinβ) (1)

其中：

λ是从凹槽间距d的光栅衍射的波长。

m是衍射级(或光谱级)

α是由光栅沿一组角度β衍射的光的入射角

在所公开的系统和方法的一些方面，可利用零阶分量112来提供正在成像情形100b中成像的场景的深度信息。在一些方面，利用零阶分量112，其中对象102在成像装置105所使用的结构光主动密集感测的有效范围108b之外。零阶分量112的有效范围可比成像装置105所使用的结构光方法的有效范围108a-b长。举例来说，在一些方面，用于获得深度信息的零阶分量112的有效范围可超过成像情形100b中摄影师101与对象102之间的距离110b。

图2示出当在两个不同的相应范围照明场景时在两个不同的图像202a-b中捕获的两个等效结构光图案。当场景的基本目标距成像装置80厘米(cm)时，捕获图像202a。如图像202a的一部分的放大图204a中可看出，结构光图案在此范围内相对较清楚。相比之下，图像202b示出在300cm的范围，相对于从较短范围内的场景捕获的放大图204a，放大图204b中所示的结构光图案已失去其强度的相当大部分。图像202b中接收到的结构光图案的减小的强度可降低当从相对较长范围捕获场景时从图像202b产生的深度图的准确性和/或可靠性。

图3示出可由高斯光束光源通过衍射光学元件(DOE)产生的结构光图案。结构光图案302中还示出经由箭头304识别的零阶分量。零阶分量是从来源直接发射到场景且通常不由DOE衍射的高斯光束光源的一部分。

图4示出经由成像装置从包含分别具有三个不同范围的目标的场景捕获的结构化图案的三个图像。第一图像402a示出结构光图案404a和零阶分量406a两者。结构光图案404a可存在于第一图像402a中，因为图像402a中的场景包含处于结构光图案的范围内的目标，例如如图2的图像202a中所示。在给定图像402a所成像的场景中的目标的范围的情况下，零阶分量406a在图像中的第一位置，示出为距图像408a的左边边界第一距离408a。

图像402b是在距成像装置五(5)米的范围处具有目标的场景的。相比于图像402a，无结构光图案在图像402a中可辨别。这可起因于与图像402a的场景中的目标范围相比，图像402b的场景中的目标的范围增加。因为与图像402a的目标相比，图像402b的目标在距成像装置较大距离处，所以当到达成像装置时，来自图像402b的目标的结构光图案的任何反射衰减太多，因此它们在图像402b中不可辨别。因此，从存在于图像402b中的结构光产生的深度图可为不完整或不可靠的。在一些方面，无深度信息可从图像402b的结构光图案导出。图像402b还示出零阶分量406b。因为到图像402b的场景的目标的范围在5米的距离处，相对于图像402a的1米的距离，所以零阶分量406b的位置相对于图像402a的零阶分量406a的位置移位(向右)。如所示出，零阶分量406b在距图像402b的左边缘一段距离408b处，其大于图像402a中的零阶分量406a距图像402a的左边缘的距离408a。可利用距离408a和408b的此差异来估计到图像408a-b的场景中的目标的范围。

图像402c是在距成像装置二十(20)米的范围处具有目标的场景的。零阶分量406c在距图像402c的左边缘一段距离408c处，所述距离大于距离402a-b。可利用距离408a-c的此差异来估计到图像402c的场景中的目标的范围。

可基于光栅等式来获得到目标的范围与零阶分量的移位之间的关系，其一种形式在下文示出：

其中：

r是重构衍射图像的角度

i是波前的入射角

n是衍射级

λ是入射能量的波长

ρ是光栅的间距

在距光栅一段距离d处的接收器处测量角度r将基于以下关系来产生场景中的目标的范围D：

图5是相对于到场景的目标的距离的示范性零阶位移的曲线图。曲线图包含距离的至少三个区，502a-c。在第一区502a中，场景中的目标的距离的相对较小的改变可导致零阶分量的相对较大的移位。在距离范围502a内，深度感测也可为有效的，且可提供比零阶分量能够提供的视野大的视野内的深度信息。第二区502b可超过基于结构光的范围感测方法的有效范围，但可提供场景中的目标的距离与零阶分量的移位之间的可预测关系。在区502b内，基于零阶分量的深度感测可提供对于当今基于结构光的方法来说不可能的深度信息。

随着距成像传感器的距离进入502c区，零阶分量的移位的改变随着所述距离进一步增加而变得越来越小。此区可表示对基于零阶的深度感测的限制，至少在所说明的实施例的提供给正成像的场景的照明功率中。

例如图5的曲线图500中显示的信息可用于产生所捕获图像中的零阶光分量(例如图5的y轴中所示的那些)与已知距离(例如图5的x轴中所示的那些)的校准表映射位移或差别。

图6是用于执行所公开的系统和方法的示范性装置的结构化框图。装置105包含成像传感器602、光发射器604、电子硬件处理器606、电子存储器608、电子显示器610和存储装置612。

存储器608存储多个模块614a-d，每一模块包含用于处理器606的指令，其在被执行时，致使处理器606实施本文中论述的功能中的一或多者。举例来说，结构光模块614a可配置处理器606来经由光发射器604用结构光图案照明场景，且接着经由成像传感器602捕获所照明场景的图像。

深度图模块614b可接收结构光模块614a所捕获的图像，且可基于所述图像产生深度图。

深度图质量模块614c可包含配置处理器606以评估深度图模块614b产生的深度图的质量的指令。

零阶模块614d可从结构光模块接收从成像传感器602捕获的图像，并检测(光发射器604所发射的光的)零阶分量在图像中的位置。零阶模块614d接着可将零阶分量在图像中的位置与校准信息进行比较。在一些方面中，校准信息可存储在存储装置612中。校准信息可包含校准条目，每一条目指示零阶分量的唯一位置以及当出现唯一位置时到场景中的目标的对应距离。举例来说，可提供例如下表1中所示的校准信息：

表1

零阶偏移量	范围
		60个像素	2米
40个像素	3米
		20个像素	4米
10个像素	8米

零阶分量在图像中的位置接着可与校准信息相关，以确定图像的深度信息。举例来说，零阶模块可识别具有最接近于图像中观察到的零阶位置的零阶位置的至少两个校准条目。零阶模块接着可基于所述至少两个校准零阶位移和观察到的位移，在两个所识别的校准条目中的两个距离之间内插，以达成图像的距离信息。

图像捕获模块614e可基于深度图模块614b产生的深度图和零阶模块614b产生的深度信息中的一或多者来捕获第二图像。第二图像的捕获可至少部分地基于如由深度图质量模块614c确定的深度图的质量。举例来说，如果深度图具有充分高的质量(高于阈值)，那么可基于深度图捕获第二图像。然而，如果深度图的质量低于阈值，那么可基于零阶模块614d所提供的深度信息来捕获第二图像。

在一些方面，存储装置612可存储校准表，例如上文的表1中所示的示范性校准表。所述校准表可存储多个零阶分量位移或差别，以及与那些差别相关联的已知距离。举例来说，在一些方面，示范性校准表可存储图5的曲线图500中呈现的信息。如上文所论述，通过内插校准表中提供的数据，在给定从场景的图像观察到的零阶分量移位的情况下，所公开的系统和方法可使用校准表来确定场景的深度信息。

图7是一种捕获图像的方法的流程图。在一些方面，下文相对于图7中的过程700论述的功能中的一或多者可由电子硬件处理器执行。举例来说，在一些方面，下文论述的功能中的一或多者可由电子硬件处理器606执行，如由结构光模块614a、深度图模块614b、深度图质量模块614c、零阶模块614d和图像捕获模块614e中的一或多个中的指令配置。

过程700在捕获可位于超出传统的主动感测深度感测技术(例如结构光)的范围的距离处的场景时提供增强的图像质量。所公开的方法和系统将使用较短范围内的结构光解决方案的至少两种主动深度感测方法与基于超出结构光方法的那些范围的范围处的零阶光束的解决方案进行组合。在捕获场景的图像时，范围信息可用于设定成像传感器的参数。范围信息还可用于后捕获图像处理功能，例如白平衡。因为深度信息可在比利用传统的主动深度感测解决方案时大的场景距离范围内提供，因此图像质量可增强。

在框705中，用结构光图案来照明场景。图2中示出示范性结构光图案。在一些方面，框705可由电子硬件处理器606执行。电子硬件处理器606可由存储在结构光模块614a中的指令配置，以致使光发射器604用结构光图案来照明场景。

在框710中，捕获所照明场景的图像。举例来说，在一些方面，结构光模块614a中的指令可配置处理器606，以在场景由光发射器604照明时，使用成像传感器602来捕获图像。在一些方面，图像捕获模块614e中的指令可配置处理器606来执行上文相对于框710所论述的功能中的一或多者。

在框715中，基于框710的所捕获图像中的结构光图案产生深度图。举例来说，在一些方面，结构光图案包含一系列条。任何单个条的移位可转换成所述条从其反射的目标的3D坐标。在一些方面，交替的条图案提供二进制灰度代码序列。所述序列识别从目标反射的每一个别条。举例来说，一些方面可跟踪或计数所捕获图像上的条来以识别每一条。在一些方面，成像传感器所接收到的条的宽度相对于其在所产生的衍射图案中的宽度可指示所照明场景中的三维目标的斜率。深度信息还可基于条频率和/或相位。在一些方面，可根据公开于以下各项中的方法中的任一者来在框715中产生深度图：微软研究的S.法内罗(S.Fanello)等人的“超深度：在无匹配情况下来自结构光的倾斜深度(HyperDepth:Leaning Depth from Structured Light Without Matching)”(IEEE计算机视觉和图案辨识(CVPR)会议，第5441至5450页(2016))或D.斯查斯汀(D.Scharstein)等人的“使用结构光的高准确性立体深度图(High-Accuracy Stereo Depth Maps Using Structured Light)”(关于计算机视觉和图案辨识的IEEE计算机协会会议，第1卷，第195至202页，威斯康星州，麦迪逊市，2003年6月)，两者的全文特此以引用的方式并入文本。

在一些方面，框715可由深度图产生模块614b中的指令执行，其配置处理器606以产生深度图，如上文所描述。

在框720中，确定深度图的质量水平。在一些方面，可分析深度图来检测无效、缺失或错误的深度信息。举例来说，如果像素的深度信息偏离相邻像素(例如对象像素中的一个、两个、五个或十个像素内的像素)的表征(例如平均或中位值)超过阈值，那么可确定此深度信息是错误的。此外，在一些方面，归因于在框710中捕获的图像中的缺失的结构光信息，框715的功能可不能够确定一或多个像素的深度信息。

在一些方面，深度图质量模块614c可利用S.米兰尼(S.Milani)等人的“深度图的非参考质量度量(No-Reference Quality Metric for Depth Maps)”(Dipartimento diElecttronica ed Informazione，Politecnico di Milano，米兰，意大利))中描述的非参考分段质量度量，其特此以引用的方式并入本文中。在一些其它方面，深度图质量模块614c可产生公开于以下文献中的度量：W.蒋(W.Jang)等人的(FDQM：无视图合成的深度图的快速质量度量“FDQM:Fast Quality Metric for Depth Maps Without View Synthesis”)(IEEE视频技术电路和系统汇刊，第25卷，第7期，2015年7月)，其特此以引用的方式并入本文中。此度量可用作如下文进一步论述的深度图质量的量度。

在一些其它方面，深度图质量模块可基于包含有效值的深度图的百分比来确定深度图的质量测量。举例来说，在一些方面，如果与结构光模块614a和光发射器604产生的结构光图案中的特定位置相关联的代码由成像传感器602成功地接收且由处理器606解码，那么深度图中的所得对应值可为有效的。然而，如果处理器606不能够解码成像传感器602所捕获的场景内的特定位置处的结构光值，那么那些位置处的深度图值可被视为无效。在一些方面，深度图质量模块614c可能不仅考虑无效深度图值的总百分比，而且考虑无效值的连续集合或区的最大大小。举例来说，如果深度图具有特定大小的无效值的区或群集，那么质量测量可考虑此条件。在一些方面，如果第一深度图包含大于第二深度图的无效值区的无效值区(即，第二深度图中的无效值较分散)，相比于具有相同高数目的有效值的第二深度图，具有相对较高数目的有效值的第一深度图可具有“低”质量深度图。

在一些方面，深度图的质量水平可基于所捕获图像中的数据的子集。举例来说，在一些方面，当确定质量水平时，仅可利用所捕获图像中的零阶光分量的邻域内的信息。举例来说，在一些方面，当确定深度图的质量时，仅可利用图像中的零阶分量的中心的5个、10个、15个、20个、25个、30个、35个、40个、45个、50个、55个、60个、65个、70个、100个、125个、150个、200个、250个像素内的图像的一部分。

在一些方面，可利用在框710中捕获的图像中的零阶分量的位置来确定深度图的质量。举例来说，如果零阶分量的位置指示场景在成像装置的大于阈值(例如无穷大)的距离，那么可将深度的质量设定为比零阶分量位置指示场景中的目标在较近距离处的情况低的值。类似地，在一些方面，可利用框710的第一图像中的零阶分量的大小来确定深度图的质量。举例来说，如果零阶分量的大小低于特定阈值，那么这可指示场景中的目标在大于结构光图案的有效范围的距离处。因此，这可导致深度图被给予相对较低的质量得分。

在一些方面，上文相对于框720所论述的功能中的一或多者可由深度图质量模块614c中的指令执行，其配置处理器606以执行所述功能。

决策框725确定深度图的质量水平是否满足第一准则。如果满足第一准则，那么这可指示深度图的质量水平足以充分支持后续的图像捕获和或处理功能。举例来说，在一些方面，当质量水平高于特定预定阈值时，可满足所述准则。如果满足第一准则，那么过程700移动到框730。

框730基于深度图捕获第二图像。举例来说，在一些方面，可基于深度图来设定传感器光圈或曝光时间中的一或多者。在一些方面，可基于深度图来设定成像传感器(例如成像传感器602)的焦距。在一些方面，当捕获第二图像是否使用闪光灯也基于深度图。举例来说，如果深度图指示场景内的目标在特定距离范围内，那么可使用闪光灯。如果场景中的目标在特定距离范围之外，那么不可使用闪光灯。在一些方面，闪光灯的亮度或持续时间也可基于深度图。

另外，在一些方面，框730可包含也基于深度图的后图像捕获处理操作。举例来说，可基于深度图来执行景深调整、z缓冲或z剔除、遮蔽映射或表面下散射或白平衡中的一或多者。在一些方面，框730包含将第二图像写入到输出装置。举例来说，在一些方面，可将第二图像写入到存储装置612。在一些其它方面，可将第二图像写入到网络。在一些方面，上文相对于框725所论述的功能中的一或多者可由图像捕获模块614e中的指令执行，其配置处理器606来执行所述功能。

如果质量水平并不满足第一准则，那么过程700从决策框725移动到框735。在一些方面，不满足第一准则可等效于满足第二准则。举例来说，如果第一准则指示质量水平是否高于阈值，那么第二准则可指示质量水平是否等于或低于所述阈值。

在框735中，基于零阶分量在图像中的位置来确定深度信息。如上文所论述，在一些方面，框735可利用校准信息，其提供框710的第一图像内的零阶分量的位移到场景中的目标在所述移位处的距离的映射，例如如图5中所示。通过基于在框710的第一图像中观察到的零阶位置内插校准信息，可确定到场景中的目标(至少在一些方面，那些目标定位成将光发射器604所发射的零阶分量反射到成像传感器602)的估计距离。在一些方面，框710的第一图像中的零阶分量的大小也可用以确定深度信息。举例来说，在一些方面，可维持第二校准表，其提供当场景中的目标在预定范围时，零阶分量的预定大小。框835可确定框710的第一图像中的零阶分量的大小(例如表示零阶分量的像素的数目)，且在第二校准表中的条目之间进行内插以确定范围信息。

在一些方面，上文相对于框735所论述的功能中的一或多者可由包含于零阶模块614d中的指令执行，其配置处理器606以执行所述功能中的一或多者。

在框740中，可基于在框735中确定的深度信息来捕获第二图像。举例来说，在一些方面，可基于深度信息来设定图像传感器光圈或第二图像的曝光时间中的一或多者。在一些方面，可基于深度信息来设定例如成像传感器602等成像传感器的焦距。在一些方面，当捕获第二图像时是否使用闪光灯也是基于深度信息。举例来说，如果深度信息指示场景内的目标在特定距离范围内，那么可使用闪光灯。如果场景中的目标在特定距离范围之外，那么不可使用闪光灯。在一些方面，闪光灯的亮度或持续时间也可基于深度信息。另外，在一些方面，框740可包含也基于深度信息的后图像捕获处理操作。举例来说，可基于深度图来执行景深调整、z缓冲或z剔除、遮蔽映射或表面下散射或白平衡中的一或多者。在一些方面，可利用第二图像和深度信息来进行三维表面重构。举例来说，可基于第二图像和深度信息和/或深度图来创建三维图像的电子表示。在一些方面，框740包含将第二图像写入到输出装置。举例来说，在一些方面，可将第二图像写入到存储装置612。在一些其它方面，可将第二图像写入到网络。在一些方面，上文相对于框740所论述的功能中的一或多者可由包含于图像捕获模块614e中的指令执行，其配置处理器606以执行所述功能中的一或多者。

图8是确定图像的深度图的质量水平的一种示范性方法的流程图。在一些方面，下文相对于图8所描述的过程800可实施图7的框720和725的至少若干部分。尽管图8示出决策框805、810、815和820，但在各种方面中，可省略这些决策框中的一或多者。在一些方面，过程8000可由深度图质量模块614c中的指令执行，其配置处理器606以执行下文关于图8所描述的功能中的一或多者。

决策框805确定深度图中的无效深度值的百分比是否高于第一阈值。如果所述百分比(或在一些方面中，深度值的绝对数)高于第一阈值，那么过程800移动到框825，其确定深度图质量水平不满足准则。所述准则可等效于图7的框725中所参考的准则。如果所述百分比(或深度值的绝对数)低于(或在一些方面中，等于)第一阈值，那么过程800移动到框810。

框810可首先确定深度图的包含大于区大小阈值的连续无效深度值的一或多个区。在一些方面，区大小阈值可表示为图像大小的百分比。框810接着可对所识别区内的深度值的数目进行计数。框810接着可确定此计数是否大于第二阈值。因此，相对于具有相同数目的无效深度值但具有一起群集在一或多个区中的那些深度值的深度图，框810偏爱具有特定数目的无效深度值以使那些深度值更均匀地分布在图像内的深度图。在一些方面，相对于含有无效深度值的大区的深度图，具有较分布式无效值的深度图可仍支持充分的下游图像处理(例如图像捕获参数的设置或后捕获处理)。

如果计数大于阈值，那么过程800移动到框825，其如上文所述操作。或者，过程800继续到框815。

框815确定零阶分量在图7的框710中捕获的图像中的位置。如果此位置指示深度值大于第三阈值距离，那么过程800移动到框825，其再次如上文所述来操作。换句话说，如果零阶分量指示场景深度超出用以产生深度图的结构光图案的有效范围，那么所述深度图高度可能是无效的，且过程800如此操作。否则，过程800移动到框820。

框820确定图7的框710中捕获的图像中的零阶分量的大小。举例来说，如上文所论述，第二校准表可由所揭示的实施例中的一或多者维持，所述实施例提供所捕获图像内的零阶分量的大小与当经历零阶分量大小时场景中的目标的先前观察深度之间的映射。因此，框820可基于图7的框710的图像中的零阶分量的大小来导出目标深度的指示。举例来说，较大的零阶分量可指示场景中的目标较接近成像装置，而较小的零阶分量可指示场景中的目标较远离成像装置。如果零阶分量的大小指示距离超出第四阈值距离，那么过程800移动到框825，其如上文所述来操作。否则，过程800移动到框830，其确定深度图满足准则。因此，在一些方面，如果过程800到达框830，那么过程700从框725移动到框730。

如本文中所使用，术语“确定”涵盖各种各样的动作。举例来说，“确定”可包含计算、运算、处理、导出、研究、查找(例如，在表、数据库或另一数据结构中查找)、判定等等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。并且，“确定”可包含解析、选择、挑选、建立等。另外，如本文中所使用，在某些方面，“信道宽度”可涵盖或也可被称作带宽。

如本文所使用，涉及项目列表中的“至少一者”的短语是指那些项目的任何组合，包含单个成员。作为实例，“以下各项中的至少一者：a、b或c”意在涵盖：a、b、c、a-b、a-c、b-c以及a-b-c。

上文所述的方法的各种操作可通过能够执行所述操作的任何合适装置来执行，例如各种硬件和/或软件组件、电路和/或模块。通常，各图中所说明的任何操作可由能够执行所述操作的对应功能装置执行。

可利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置(PLD)、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本公开所描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器，但在替代例中，处理器可以是任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心结合，或任何其它此类配置。

在一或多个方面中，所描述的功能可以硬件、软件、固件、或其任一组合来实施。如果实施于软件中，则可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，那么所述同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。另外，在一些方面，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。另外，在一些方面中，计算机可读媒体可包括暂时性计算机可读媒体(例如，信号)。以上各项的组合也应包含在计算机可读媒体的范围内。

本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离所附权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非规定了步骤或动作的特定次序，否则在不脱离所附权利要求书的范围的情况下，可对特定步骤和/或动作的次序和/或用法加以修改。

所描述的功能可以硬件、软件、固件或其任何组合实施。如果在软件中实施，那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可以是可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和Blu-

光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。

因此，某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。举例来说，此计算机程序产品可包括上面存储有(和/或编码有)指令的计算机可读媒体，所述指令可由一或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包含封装材料。

另外，应了解，用于执行本文所描述的方法和技术的模块和/或其它适当装置可在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说，可将此类装置耦合到服务器以促进传送用于执行本文中所描述的方法的装置。或者，本文所述的各种方法可经由存储装置(例如RAM、ROM、物理存储媒体，例如压缩光盘(CD)或软性磁盘，等)提供，使得在将存储装置耦合或提供到装置后，用户终端和/或基站可即刻获得各种方法。此外，可利用用于将本文中所描述的方法和技术提供到装置的任何其它合适的技术。

应理解，所附权利要求书不限于上文所说明的精确配置和组件。在不脱离所附权利要求书的范围的情况下，可在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

虽然前述内容是针对本公开的各方面，但在不脱离本公开的基本范围的情况下，可设计出本公开的其它和另外方面，且由所附权利要求书确定本公开的范围。

Claims (20)

1.一种用于深度感测的方法，其包括：

照明场景，所述照明包含结构光图案分量和零阶分量；

捕获经照明的场景的图像；

基于所述图像中的所述结构光图案来产生所述场景的深度图；

确定所述深度图的质量水平；

响应于所述深度图的所述质量水平满足第一准则：

基于所述零阶分量在所述图像中的位置，确定深度信息，以及

基于所述深度信息产生第二图像。

2.根据权利要求1所述的方法，其进一步包括：响应于所述深度图的所述质量水平满足第二准则，基于所述深度图产生第二图像。

3.根据权利要求1所述的方法，其进一步包括将所述第二图像写入到输出装置。

4.根据权利要求1所述的方法，其中基于所述零阶分量的位置确定深度信息包括：

将所述零阶分量的位置与对应于预定深度的预定位置进行比较；以及

基于所述比较来确定所述深度信息。

5.根据权利要求4所述的方法，其进一步包括：

基于所述零阶分量在所述图像中的位置，在两个预定位置之间进行内插；以及

基于所述内插来确定所述深度信息。

6.根据权利要求1所述的方法，其中确定所述深度图的所述质量包括确定所述深度图中的无效深度值的百分比，其中所述深度图的所述质量至少部分地基于无效深度值的所述百分比。

7.根据权利要求6所述的方法，其中确定所述深度图的所述质量包括确定所述深度图中的无效深度值的区的大小，其中所述深度图的所述质量至少部分地基于所述大小。

8.一种用于深度感测的设备，其包括：

图像传感器；

光发射器；以及

电子硬件处理器，其经配置以：

使用所述光发射器来照明场景，所述照明包含结构光图案分量和零阶分量，

用所述图像传感器来捕获经照明的场景的图像，

基于所述图像中的所述结构光图案来产生所述场景的深度图，

确定所述深度图的质量水平，以及

响应于所述深度图的所述质量水平满足第一准则

基于所述零阶分量在所述图像中的位置，确定深度信息，以及

基于所述深度信息产生第二图像。

9.根据权利要求8所述的设备，其中所述电子硬件处理器进一步经配置以响应于所述深度图的所述质量水平满足第二准则，基于所述深度图产生第二图像。

10.根据权利要求8所述的设备，其中所述电子硬件处理器进一步经配置以将所述第二图像写入到输出装置。

11.根据权利要求8所述的设备，其中基于所述零阶分量的位置确定深度信息包括：

将所述零阶分量的位置与对应于预定深度的预定位置进行比较；以及

基于所述比较来确定所述深度信息。

12.根据权利要求11所述的设备，其中所述电子硬件处理器进一步经配置以：

基于所述零阶分量在所述图像中的位置，在两个预定位置之间进行内插；以及

基于所述内插来确定所述深度信息。

13.根据权利要求8所述的设备，其中所述电子硬件处理器进一步经配置以通过确定所述深度图中的无效深度值的百分比来确定所述深度图的所述质量，其中所述深度图的所述质量至少部分地基于无效深度值的所述百分比。

14.根据权利要求13所述的设备，其中所述电子硬件处理器进一步经配置以通过确定所述深度图中的无效深度值的区的大小来确定所述深度图的所述质量，其中所述深度图的所述质量至少部分地基于所述大小。

15.一种计算机可读存储媒体，其包括指令，所述指令在被执行时致使电子硬件处理器执行深度感测方法，所述方法包括：

照明场景，所述照明包含结构光图案分量和零阶分量；

捕获经照明的场景的图像；

基于所述图像中的所述结构光图案来产生所述场景的深度图；

确定所述深度图的质量水平；

响应于所述深度图的所述质量水平满足第一准则：

基于所述零阶分量在所述图像中的位置，确定深度信息，以及

基于所述深度信息产生第二图像。

16.根据权利要求15所述的计算机可读存储媒体，其进一步包括响应于所述深度图的所述质量水平满足第二准则，基于所述深度图产生第二图像。

17.根据权利要求15所述的计算机可读存储媒体，所述方法进一步包含将所述第二图像写入到输出装置。

18.根据权利要求15所述的计算机可读存储媒体，其中基于所述零阶分量的位置确定深度信息包括：

将所述零阶的位置与对应于预定深度的预定位置进行比较；以及

基于所述比较来确定所述深度信息。

19.根据权利要求18所述的计算机可读存储媒体，所述方法进一步包含：

基于所述零阶分量在所述图像中的位置，在两个预定位置之间进行内插；以及

基于所述内插来确定所述深度信息。

20.根据权利要求15所述的计算机可读存储媒体，其中确定所述深度图的所述质量包括确定所述深度图中的无效深度值的百分比，其中所述深度图的所述质量至少部分地基于无效深度值的所述百分比。

Images