CN109983506A - 用于改进的深度感测的系统和方法 - Google Patents

Abstract

所揭示的方法和系统提供用于成像装置的改进的深度感测。在一些方面中，包含第一发射器的多个发射器被配置成产生在第一分辨率下具有第一视场深度的结构光图案和在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽。例如成像传感器等接收器被配置成聚焦于所述第一视场深度内以接收第一结构光图案并捕获表示所述第一结构光图案的第一图像，以及聚焦于所述第二视场深度内以接收所述第二结构光图案并捕获表示所述第二结构光图案的第二图像。电子硬件处理器被配置成基于所述第一图像和所述第二图像产生所述场景的深度图。

Description

用于改进的深度感测的系统和方法

技术领域

此技术涉及主动深度感测，且更具体来说，涉及产生场景的深度图以促进图像捕获参数的细化以及捕获后图像处理。

背景技术

成像装置是结构光主动感测系统，其包含发射器和接收器，所述发射器和接收器被配置成发射和接收对应于空间代码(或“码字”)的图案以产生指示场景中的一或多个对象与成像装置的距离的深度图。场景中的对象距离发射器和接收器越远，从所述对象反射的所接收码字距离其原始位置(相较于所发射码字)就越近，这是因为传出码字的传播路径与经反射传入码字的传播路径更加平行。相反地，对象距离发射器和接收器越近，所接收码字距离其在所发射码字中的原始位置就越远。因此，所接收码字的位置与对应的所发射码字的位置之间的差异可以用于确定对象在场景中的深度。结构光主动感测系统可使用这些经确定深度产生场景的深度图，所述深度图可以是场景的三维表示。许多应用程序可能受益于确定场景的深度图，包含图像质量增强和计算机视觉技术。

在一些方面，产生深度图可包含检测码字。在一些方面，码字可包含符号阵列。解码滤波器可识别码字和符号的空间边界，并基于其强度值将符号分类为例如“0”或“1”。解码滤波器可使用对应于用于界定可能的码字集合的调和基底函数集合的匹配滤波器来对传入基底函数进行分类。因此，深度图准确度取决于准确地接收符号、码字和/或基底函数。

如果用以投影图案的光源(例如激光)过低，那么对应于较亮符号的光点可能太暗，而无法与较暗符号区分开。因此，需要用以改进针对数字成像应用的深度图产生的方法和系统。

发明内容

本发明的系统、方法和装置各自具有若干方面，其中无单一方面单独地负责其合乎需要的属性。在不限制如通过所附权利要求书表达的本发明的范围的情况下，现在将简要地论述一些特征。在考虑此论述之后，并且尤其在阅读标题为“具体实施方式”的部分之后，将理解本发明的特征如何提供包含改进的深度图产生的优点。

所揭示的一个实施例是成像装置。所述成像装置包含：多个发射器，其包含第一发射器，所述第一发射器被配置成产生在第一分辨率下具有第一视场深度的结构光图案和在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；接收器，其被配置成聚焦于所述第一视场深度内以接收第一结构光图案并捕获表示所述第一结构光图案的第一图像，以及聚焦于所述第二视场深度内以接收所述第二结构光图案并捕获表示所述第二结构光图案的第二图像；和电子硬件处理器，其被配置成基于所述第一图像和所述第二图像产生所述场景的深度图。

在一些方面中，所述电子硬件处理器被进一步配置成基于所述产生的深度图调整第三图像的图像捕获参数，并且使用所述图像捕获参数捕获所述第三图像。在一些方面中，所述电子硬件处理器被配置成基于所述深度图调整所述第三图像的光圈、快门速度或照度参数中的一或多个。在一些方面中，所述电子硬件处理器被进一步配置成将所述深度图和所述第三图像中的一或多个存储到稳定存储装置。在一些方面中，所述第一发射器被配置成产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。在一些方面中，所述第一距离与所述第二距离为相同的。在一些方面中，所述第一距离不同于所述第二距离。在一些方面中，所述第一发射器被配置成产生与所述第二视场深度重叠的所述第一视场深度。在一些方面中，所述第一发射器被配置成产生含于所述第二视场深度内的所述第一视场深度。

所揭示的另一方面是一种用成像装置捕获图像的方法。所述方法包含使用第一光发射体产生到场景上的在第一分辨率下具有第一视场深度的第一结构光图案；经由电子硬件处理器，将成像传感器聚焦于所述第一视场深度内以捕获表示被所述第一结构光图案照明的所述场景的第一图像；使用第二光发射体，产生在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；将所述成像传感器聚焦于所述第二视场深度内以捕获表示被所述第二结构光图案照明的所述场景的第二图像；使用所述电子硬件处理器，基于所述第一图像和所述第二图像产生所述场景的深度图；基于所述深度图确定图像捕获参数；使用所述成像传感器，基于所述图像捕获参数捕获所述场景的第三图像；和将所述第三图像存储到稳定存储装置。在一些方面中，所述方法包含基于所述深度图调整所述第三图像的光圈、快门速度或照度参数中的一或多个。在一些方面中，所述方法包含将所述深度图存储到所述稳定存储装置。在一些方面中，所述方法包含产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。在一些方面中，所述第一距离与所述第二距离为相同的。在一些方面中，所述第一距离不同于所述第二距离。在一些方面中，所述方法包含产生与所述第二视场深度重叠的所述第一视场深度。在一些方面中，所述方法包含产生含于所述第二视场深度内的所述第一视场深度。

所揭示的另一方面是一种包括在被执行时致使处理器执行用成像装置捕获图像的方法的指令的非暂时性计算机可读存储媒体。所述方法包含：使用第一光发射体产生到场景上的在第一分辨率下具有第一视场深度的第一结构光图案；经由电子硬件处理器，将成像传感器聚焦于所述第一视场深度内以捕获表示被所述第一结构光图案照明的所述场景的第一图像；使用第二光发射体，产生在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；将所述成像传感器聚焦于所述第二视场深度内以捕获表示被所述第二结构光图案照明的所述场景的第二图像；使用所述电子硬件处理器，基于所述第一图像和所述第二图像产生所述场景的深度图；基于所述深度图确定图像捕获参数；使用所述成像传感器，基于所述图像捕获参数捕获所述场景的第三图像；和将所述第三图像存储到稳定存储装置。

在一些方面中，所述非暂时性计算机可读存储媒体的所述方法包含产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。在一些方面中，所述第一距离与所述第二距离为相同的。

附图说明

图式中说明的各种特征可能未按比例绘制。因此，为了清晰起见，可能任意扩大或减小各种特征的尺寸。此外，点线或短划线和对象可指示任选特征，或用于示出组件的组构。此外，图式中的一些图式可能并未描绘给定系统、方法或装置的所有组件。最后，在整个说明书和图式中，相同参考标号可用于指代相同特征。

图1示出结构光发射器和接收器。

图2A示出包含透镜和成像传感器的接收器。

图2B示出展示由对象反射并且由接收器接收的光的带宽如何受对象的距离影响的图表。

图3A示出使用衍射光学元件的发射器。

图3B是展示发射器带宽可如何归因于上文关于图3A所描述的的效应而随距离变化的图表。

图4A示出两个光发射体可如何组合成单个装置以提供对于结构光图案的较宽覆盖范围。

图4B示出配备有图4A的两个光发射体的成像装置的接收范围。

图5A示出接收器和三个发射器或光发射体的示范性配置。

图5B示出接收器和两个发射器或光发射体的另一示范性配置。

图5C示出接收器和两个发射器的另一示范性配置。

图6说明可如何感测场景中的一或多个对象的深度的实例。

图7是示出衍射光学元件的替代设计的成像性能的图表。

图8是示出衍射光学元件的替代设计的成像性能的图表。

图9是包含多个结构光发射器的成像装置的说明。

图10是包含多个发射体的成像装置的第二说明。

图11是包含多个发射体的成像装置的第三说明。

图12是包含多个发射体的成像装置的第四说明。

图13是实施所揭示的实施例的示范性装置的框图。

图14是产生深度图的示范性方法的流程图。

具体实施方式

下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，本发明的教示可以许多不同形式来体现，且不应被解释为限于贯穿本发明所呈现的任何具体结构或功能。而是，提供这些方面以使得本发明将透彻且完整，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围意图涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所即使的新颖系统、设备和方法的任何方面。举例来说，可以使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围意图涵盖使用除了本文中所阐述的本发明的各种方面以外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来实施本文中所揭示的任何方面。

此外，虽然本文中描述了特定方面，但这些方面的许多变化和排列落在本发明的范围内。此外，本发明的范围不意图限于本文中所揭示的特定益处、用途或目标。相反地，本发明的方面意图广泛地适用于不同有线和无线技术、系统配置、网络和传输协议，其中的一些是借助于实例在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，且不具有限制性，本发明的范围由所附权利要求书和其等效物界定。

图1示出结构光发射器102和接收器104。主动感测可将来自发射器102的唯一性图案(或代码)投影到场景上并在接收器104处接收那些图案的反射。发射器102投影的图案或代码的大小影响最小可检测对象。另外，发射器102和接收器104两者在特定深度平面处经“频带调谐”并且随着场景中的深度移动远离所述平面而变得频带受限。

在一些方面中，发射器可被配置成发射聚焦于特定深度例如由106a-b表示的深度中的任一个处的结构光图案105。发射器可产生在各个深度106a-b处具有视场108的结构光图案。

接收器可经调谐以接收各个深度106a-b中的一或多个处的结构光图案105。依据接收器104接收的深度，接收器中的成像传感器108可在成像传感器108上的如由位置110a和110b所示的多个位置处接收编码于结构光图案105中的信息。

图2A示出包含透镜和成像传感器的接收器。图2A展示成像传感器202可经由透镜204接收从不同深度处的示出为对象210a-c的多个对象反射的光信息。依据对象210a-c的深度，成像传感器处的反射光的质量可变化。举例来说，从对象210b反射的光示出为恰好在成像传感器202的表面上聚焦为点212a。相反地，从对象210a反射的示出为212a的光可聚焦于成像传感器202的略前方，且从对象210c反射的示出为212c的光可聚焦在成像传感器202后方。这可导致与对象210b相比可用于感测对象210a和210c的减小的光带宽。

图2B示出展示由对象反射并且由接收器接收的光的带宽如何受对象的距离影响的图表250。这可导致接收器例如成像装置的相机难以检测定位在远离相机的焦平面处的小对象。

图3A示出使用衍射光学元件的发射器。图3A示出可从发射表面的多个位置304a-c发出光。在光通过衍射光学元件302时，其可由点306b所示聚焦于焦平面上。然而，发射器可能不能够在场景内的由深度306a和306c所示的不同深度处提供相同经聚焦光。

图3B是展示发射器带宽可如何归因于上文关于图3A所描述的的效应而随距离变化的图表350。

图4A示出两个光发射体可如何组合成单个装置以提供对于结构光图案的较宽覆盖范围。图4A示出可包含在单个成像装置中的光发射体402a和402b。两个光发射体402a-b分别包含衍射光学元件404a-b。分别针对示出为406a-b的不同焦点距离调谐两个光发射体402a-b。如下文论述，在图4B中示出此配置的结果。

图4B示出配备有图4A的两个光发射体402a-b的成像装置的接收范围。如所示出，接收范围450包含由光发射体402a提供的第一深度感测分区452a，以及由光发射体402b提供的第二深度感测分区452b。

图5A示出接收器和三个发射器或光发射体的示范性配置。在图5A的示范性配置中，三个发射器504a-c全部位于接收器502的同一水平侧上，但每一发射器504a-c处于距离接收器502的不同距离处。因而，发射器504a-c产生由506a-c所示的经组合结构光图案。来自场景中的对象的从每一结构光图案506a-c的反射可基于三个发射器405a-c的不同位置具有不同水平的遮挡。三个结构光图案506a-c提供的重叠覆盖可提供与使用其它发射器配置的装置相比改进的深度感测。

图5B示出接收器和两个发射器或光发射体的另一示范性配置。在图5B的示范性配置中，两个发射器被设计成提供不同焦深的结构光图案。如由结构光图案546a-b所示，发射器544a被设计成提供较长焦深，从而产生针对结构光图案546a的较宽视场。相反地，发射器544b被设计成提供较短焦深，从而产生针对结构光图案546b的较高分辨率和较小视场。两个结构光图案546a-b提供的互补覆盖可提供与使用其它发射器配置的装置相比改进的深度感测。

图5C示出接收器和两个发射器的另一示范性配置。在配置560中，发射器544a-b定位于接收器562的任一侧上。因此，两个发射器544a-b发出的结构光图案可提供从经受遮挡引起的最小降级的深度信息产生的深度图。举例来说，在对象的特定侧被发射器544a遮挡的程度上，发射器544b可处于照明对象的所述侧的位置，并且将深度信息提供到接收器562。

图6说明可如何感测场景中的一或多个对象的深度的实例。所公开的实施例中的任一个可使用关于图6的描述确定使用结构光的图像场景的一或多个深度。图6示出包含发射器102和接收器104的装置600。所述装置用从发射器102发出的结构光作为码字投影610照亮两个对象606和608。码字投影610从对象606和/或608反射并且作为反射码字611被传感器平面607上的接收器104接收。

在说明的方面中，发射器102与接收器104在同一参考平面(例如，透镜平面605)上。发射器102将码字投影610穿过孔口613投影到对象606和608上

码字投影610作为所投影段612'照明对象606，并且作为所投影段612"照明对象608。当接收器104接收到穿过接收器孔口615的所投影段612'和612"时，反射的码字111可展示从第一距离d1处的对象608产生的反射和从第二距离d2处的对象106产生的反射。

如由图6所示，由于对象606位于更靠近发射器102(例如，距发射器装置的第一距离)处，因此所投影段612'在距离其初始位置的距离d2处呈现。相反地，由于对象608位于较远(例如，距发射器102的第二距离)处，因此所投影段612"在距其初始位置的距离d1处呈现(其中d1<d2)。即，对象距离发射器/接收器越远，所接收的所投影段/部分/窗距离其在接收器104处的原始位置越近(例如，传出投影和传入投影更平行)。相反地，对象距离发射器/接收器越近，所接收的所投影段/部分/窗距离其在接收器104处的原始位置越远。因此，所接收码字位置与所发射码字位置之间的差可用作对象深度的指示器。在一个实例中，此类深度(例如，相对深度)可提供图像中的每一像素或分组像素(例如，两个或更多个像素区)描绘的对象的深度值。

各种类型的调制和译码方案可以用于产生码字投影或代码掩码。这些调制和译码方案包含时间译码、空间译码，以及直接译码(direct codification)。

在时间译码中，图案连续地投影到测量表面上(例如，随时间推移)。这种技术具有高准确度和分辨率，但较不适合于动态场景。

在空间译码中，信息基于形状和图案编码在局部邻域中。伪随机代码可基于定义码本的德布鲁因(De-Bruijn)或M阵列(例如，多元强度或色彩调制)。图案分段可能不能轻易地获得，例如，其中形状和图案变形。

在直接编码中，编码水平和垂直像素坐标两者。可通过单调相位或强度波形进行调制。然而，这个方案可利用大于用于其它方法的码本的码本。在大部分方法中，所接收码字可与(例如，码本中的)所定义的可能码字集合相关。因此，使用较小码字集合(例如，较小码本)与较大码本相比可提供较好性能。并且，由于较大码本导致码字之间的较小距离，因此使用较大码本的实施方案可经历额外错误。

主动深度感测的示范性代码

结构光图案可通过经由代码掩码照射光来投影到场景上。经由代码掩码投影的光可含有一或多个棋盘格状代码掩码图元。每一代码掩码图元可含有空间代码阵列。码本或数据结构可包含代码集合。可使用基底函数产生空间代码、代码掩码和代码掩码图元。可选择基底函数的周期性来满足对于埃尔米特(Hermitian)对称性的聚合图案(用于消除重影图像以及简化制造)、最小占空比(为确保每码字最小功率)、完美窗口特性(用于最佳轮廓分辨率与高分辨率的代码填充)以及随机移位(用于对象界线上的改进检测)的需求。接收器可在解调、解码和校正所接收图案中的错误时利用意在符合约束的码本和/或设计属性。

空间代码的大小与对应分辨率在代码掩码上对应于空间代码的物理空间范围。大小可对应于表示每一码字的矩阵中的行与列的数目。码字越小，可检测的对象越小。举例来说，为检测和确定衬衫纽扣与衬衫面料之间的深度差异，码字应不大于纽扣的大小。在实施例中，每一空间代码可占据四行和四列。在实施例中，代码可占据更多或更少行和列(行×列)，例如占据3×3、4×4、4×5、5×5、6×4或10×10行和列。

空间代码的空间表示对应于每一码字元素如何图案化于代码掩码上且随后投影到场景上。举例来说，每一码字元素可使用一或多个点、一或多个线段、一或多个栅格、一些其它的形状或其某一组合表示。

空间代码的“占空比”对应于码字中经确证位或部分(例如，“1”)的数目与未经确证位或部分(例如，“0”)的数目的比。当包含码字的经译码光图案投影到场景上时，具有“1”值的每一位或部分可具有能量(例如，“光能”)，而具有“0”值的每一位可不含能量。为了可以更容易地检测码字，码字应具有充足能量。低能量码字可更难以检测且可更易受噪声影响。举例来说，如果码字中的8个或更多个位为“1”，那么4×4的码字具有50％或更大的占空比。可存在对于个别码字的最小(或最大)占空比约束，或对于码本中的代码集合的例如平均占空比的占空比约束。

代码的“轮廓分辨率”或“完美窗口”特性指示当由例如一位旋转的量移位码字时，所得数据表示另一个码字。码字经移位的量可被称为移位量。具有高轮廓分辨率的代码可使结构光深度感测系统能辨识相对小的对象界线且能提供对不同对象的辨识连续性。行尺寸中的1和列尺寸中的2的移位量可对应于由沿行尺寸向右的一位位置和沿列尺寸向下的两位位置的移位。高轮廓分辨率的码字集合使在所接收图像上将窗口每次移动一行或一列，且确定在每一窗口位置处的深度成为可能。这使得能够通过以下操作确定深度：使用在以所接收图像的第三行和第三列为中心的开始点处的5×5窗口，并且将5×5窗口移动到从第三行到第三到最后一行和第三列到第三到最后一列的每一行、列位置。由于码字重叠，所以窗口可基于待确定的对象深度(例如，衬衫纽扣)的分辨率设定大小。

代码的对称性可指示代码掩码或码本图元具有埃尔米特对称性，其与使用非埃尔米特对称码本图元或图案相比可提供若干益处。具有埃尔米特对称性的图案沿X和Y(行和列)轴“翻转”或对称。

代码掩码或代码掩码图元的折叠失真特性对应于相同的两个码字之间的距离。当光学图案包含棋盘格状码本图元时，以及当图元中的每一码本是唯一的时，折叠失真距离可基于码本图元的大小。折叠失真距离可因此表示指示码本原语的每一码字与码本原语的每一其它码字不同且码本原语作为整体为唯一的唯一性规则。折叠失真距离可对一或多个接收器装置为已知的，且可用于在码字解调期间阻止折叠失真。代码掩码的基数对应于码本图元中的多个唯一码。

图7是示出衍射光学元件的替代设计的成像性能的图表。图表740示出四个图表742a-d，其表示衍射光学元件的四个假想设计的光学性能。第一设计在大致70cm的距离处提供最佳分辨率744a。第二设计在大致100cm的距离处提供最佳分辨率744b。第三设计在大致150cm的距离处提供最佳分辨率744c。第四设计在大致200cm的距离处提供最佳分辨率744d。

也可在例如7的参考分辨率746下比较图1B中示出的设计中的每一个的光学性能。参考分辨率可解释如下；在一些方面中，当通过特定设计达成最佳聚焦时，正被成像的场景的空间中的点将在所述设计的透镜上产生一圆。此圆至少部分地基于衍射限制。参考(最大)分辨率是1/circle_diameter；在点从最优聚焦偏离时，所述圆归因于散焦而变大，因此减小分辨率。在任意选择的减小如0.7下，认为所述图像不再处于焦点上。

图表742a表示的第一设计的光学性能提供参考分辨率下的第一深度748a的视场深度。图表742b表示的第二设计的光学性能提供参考分辨率下大于第一视场深度748a的第二深度748b的视场深度。应注意，第二设计的视场深度748b还与第一设计的视场深度748a处于距成像装置的不同距离处。图表742c表示的第三设计的光学性能提供参考分辨率下大于第一和第二视场深度748a-b两者的第三深度748c的视场深度。第三视场深度748c也提供于距离成像装置的不同距离处。还应注意，第三视场深度748c与第二视场深度748b略微重叠。图表742d表示的第四设计的光学性能提供参考分辨率下大于第一、第二或第三视场深度748a-c中的任一个的第四深度748d的视场深度。第四视场深度还提供于与第一、第二或第三视场深度748a-c距离成像装置不同的距离处，不过第四视场深度748d与第三视场深度748c重叠。

图8是示出衍射光学元件的替代设计的成像性能的图表。虽然图7中所示的设计达成距成像装置不同距离下的等效分辨率，但图8中示出的两个设计两者在距成像装置相同的距离(150cm)处达成其最佳分辨率。然而，图表862a所示的第一设计达成显著高于图表862b所示的第二设计的分辨率。

然而，具有图表862b所示的光学性能的第二设计提供在参考分辨率866下大于具有视场深度868a的第一设计的光学性能862a的视场深度868b。

图9是包含多个结构光发射器的成像装置的说明。图9示出成像装置905和两个结构光发射器908a-b。结构光发射器908a-b中的每一个分别发射结构光图案910a-b。结构光图案910a-b中的每一个分别在不同距离920a-b处聚焦。

接收器912可从结构光图案910a-b中的每一个接收图案信息。在一些方面中，接收器912可包含具有可变焦距的透镜。在一些方面中，成像装置905可被配置成当接收器912经调整到焦距920a时，发出第一结构光图案210a。接收器接着可被配置成基于场景被第一结构光图案910a照明而捕获第一图像。成像装置205可被配置成在接收器912已经调整到不同焦距920b之后，产生第二结构光图案910b。接收器接着可被配置成在场景被第二结构光图像照明时捕获第二图像。

成像装置905可被配置成从所述第一图像和所述第二图像产生深度信息。因为第一结构光图像910a和第二结构光图像910b中的每一个聚焦于距成像装置的不同距离920a-b处，所以产生的深度信息可比在仅从一个结构光图案例如结构光图案910a-b中的任一个产生深度信息的情况下更完整和/或更准确。

图10是包含多个发射体的成像装置的第二说明。图10的成像装置1055包含光发射体1058a-b。光发射体1058a被配置成在距成像装置1055的中值距离1070a处产生结构光图案1060a。发射体1058a产生具有指示为1072a的视场深度的第一结构光图案1060a。第二发射体1058b被配置成产生结构光图案1060b。结构光图案1060b具有视场深度272b。结构光图案1060b的视场深度272b基本在光发射体1058a所产生的第一结构光图案1060a的视场深度272a内。

在一些方面中，可在第一分辨率下产生结构光图案1060a，且可在高于第一分辨率的第二分辨率下产生第二结构光图案1072b。

接收器1062可从结构光图案1060a-b中的每一个接收信息。在一些方面中，接收器1062可包含具有可变焦距的透镜。在一些方面中，成像装置1055可被配置成当接收器1062经调整到焦距270a时，发出第一结构光图案1058a。接收器接着可被配置成基于场景被第一结构光图案1060a照明而捕获第一图像。成像装置1055可被配置成在接收器1062已经调整到不同焦距1070b之后，产生第二结构光图案1060b。接收器接着可被配置成在场景被第二结构光图像照明时捕获第二图像。

图11是包含多个发射体的成像装置的第三说明。图11的成像装置1105包含光发射体1108a-b。光发射器1108a被配置成在距成像装置1105的中值距离1120a处产生结构光图案1110。发射体1108a产生具有指示为1122a的视场深度的第一结构光图案1110a。第二发射体308b被配置成产生结构光图案1110b。结构光图案1110b具有视场深度1122b。结构光图案1110b的视场深度1122b比光发射体1108a所产生的第一结构光图案310a的视场深度1122a更窄。此外，不同于图10的视场深度1022a-b，图11中的两个结构光图案1110a-b的视场深度基本不重叠。

在一些方面中，可在第一分辨率下产生结构光图案1110a，且可在高于第一分辨率的第二分辨率下产生第二结构光图案1122b。

接收器1112可从结构光图案1110a-b中的每一个接收图案信息。在一些方面中，接收器1112可包含具有可变焦距的透镜。在一些方面中，成像装置1105可被配置成当接收器1112经调整到焦距1120a时，发出第一结构光图案1108a。接收器接着可被配置成基于场景被第一结构光图案1110a照明而捕获第一图像。成像装置305可被配置成在接收器1112已经调整到不同焦距1120b之后，产生第二结构光图案1110b。接收器接着可被配置成在场景被第二结构光图像照明时捕获第二图像。

在一些方面中，装置1105可包含三个或更多个发射体。举例来说，在一些方面中，第一发射体可产生具有距成像装置1105 50厘米到4米的视场深度的结构光图案。第二光发射体可被配置成产生具有距成像装置1105 30cm到50cm的视场深度的第二结构光图案。第三光发射体可被配置成产生具有距成像装置1105 20cm到30cm的视场深度的第三结构光图案。

图12是包含多个发射体的成像装置的第四说明。图12的成像装置1205包含光发射体1208a-c。不同于分别在图9到11中示出的发射体908a-b、1008a-b和1108a-b，光发射体1208a-c定位于接收器1214的同一侧但处于距其的不同距离处。

光发射体1208a被配置成在距成像装置1205的中值焦距1220a处产生结构光图案1210a。第二发射体308b被配置成在中值焦距1220a处产生结构光图案1210b。光发射体1208c被配置成在中值焦距1220a处产生结构光图案1210c。在一些方面中，通过从距接收器1214不同距离处的发射体1208a-c产生结构光图案1210a-c，场景1201中的对象可具有对结构光图案1210a-c中的每一个的不同水平的遮挡。因而，与使用例如较少光发射体照明场景1201的成像装置相比，成像装置1205可能够导出场景1201的经改进深度信息。

接收器1212可从结构光图案1210a-c中的每一个接收图案信息。在一些方面中，成像装置305可被配置成发出第一结构光图案1208a。接收器1212接着可被配置成基于场景被第一结构光图案1210a照明而捕获第一图像。成像装置1205可被配置成接着产生第二结构光图案1210b。接收器1212接着可被配置成在场景被第二结构光图案1210b照明时，捕获第二图像。成像装置1205可被配置成接着产生第三结构光图案1210c。接收器1212接着可被配置成在场景被第三结构光图案1210c照明时，捕获第三图像。

成像装置1205可被配置成组合来自第一、第二和第三图像的信息以产生深度图。所述深度图可包含场景1201的更完整深度信息和/或更准确深度信息。

图13是实施所揭示的实施例的示范性装置的框图。装置1300可为上文关于图10-12示出的装置1005、1055、1105或1205中的任一个的实施例。装置1300包含至少两个光发射体1308a-b和成像传感器1312。两个光发射体1308a-b可表示上文关于图10-12所论述的光发射体208a-b、1058a-b、308a-b、408a-b中的任一个。成像传感器1312可表示上文所论述的成像传感器912、1062、1112、1312或1212中的任一个。

装置1300还包含电子硬件处理器1340、以可操作方式耦合到处理器1340的电子硬件存储器1345、以可操作方式耦合到处理器1340的电子显示器1350以及以可操作方式耦合到处理器1340的存储装置1360。存储器1345存储配置处理器以执行本文中所论述的一或多个功能的指令。在一些方面中，所述指令可组织成促进其功能性的论述的模块。举例来说，图13的装置1300的指令组织成结构光模块1346a、深度图模块1346b和图像捕获模块1346c。

图14是产生深度图的示范性方法的流程图。在一些方面中，过程1400可由上文关于图13所论述的装置1300执行。替代地，过程1400可由成像装置中的任一个和/或使用图1、4A-C、5A-C或9-12中示出的成像配置中的任一个执行。

过程1400可提供增强的深度感测。如上文所论述，用于主动感测的现有设计可依赖于投影和检测唯一图案或代码。图案的大小可确定最小可检测对象。结构光发射器和接收器两者可经“频带调谐”到特定深度平面并且可由于正被成像的场景中的对象距深度平面较远而在频带上受限。在这些情况下，由于对象距焦平面较远，发光装置可在投影结构光代码上遇到挑战。

过程1400的一些方面可使用自动聚焦相机作为结构光接收器并且基于正被成像的场景使聚焦范围移位。可使用聚焦于不同深度处的多个结构光发射器。接着可依据场景特性和可能的其它考虑因素选择发射器子集。

在框1405中，产生到场景上的第一结构光图案。在一些方面中，可由例如光发射体1308a-b中的一个产生第一结构光图案。在一些方面中，可由投影穿过如上文所描述的衍射光学元件的激光器产生第一结构光图案。在这些方面中，用以产生第一结构光图案的衍射光学元件被配置成提供具有第一视场深度的第一结构光图案。在一些方面中，产生第一结构光图案的光发射体距被配置成捕获第一结构光图案的接收器或成像传感器第一距离。

在框1410中，调整透镜以便使其聚焦于第一视场深度内。举例来说，在一些方面中，透镜可以是成像传感器例如上文关于装置1300所论述的成像传感器1312的部分。

在框1415中，在透镜聚焦于第一视场深度内时，用所述透镜捕获第一图像。因此，所述第一图像表示投影到场景上的第一结构光图案。在一些方面中，使用上文关于示范性装置1300所论述的成像传感器1312捕获所述第一图像。

在框1420中，产生到场景上的第二结构光图案。在一些方面中，可使用不同于用以产生第一结构光图案的光发射体的光发射体产生第二结构光图案。在一些方面中，可由光发射体1308-b中的一个产生第二结构光图案。可通过照明激光源并且投影穿过如上文所论述的第二衍射光学元件(DOE)的光源产生第二结构光图案。在这些方面中，第二DOE可被配置成产生第二结构光图案以便具有不同于第一结构光图案的第一视场深度的第二视场深度。在一些方面中，视场深度可由于其存在于距捕获结构光图案的成像传感器或接收器的不同距离处而为不同的。在一些方面中，视场深度可由于其具有不同宽度而为不同。换句话说，一个视场深度可以是例如20cm深，而第二视场深度可为50cm深。如上文所论述，在一些方面中，依据实施例的配置，两个视场深度可完全或部分地重叠，或可能不重叠。

在一些方面中，第二光发射体可处于距被配置成捕获第一和第二结构光图案的成像传感器1312或接收器的不同的第二距离处。在一些方面中，第二光发射体可在捕获第一和第二结构光图案的成像传感器的相同水平侧上，或可在成像传感器的相对水平侧上。在一些方面中，第一DOE可被配置成使用第一最大分辨率产生第一结构光图案，而第二DOE被配置成产生具有不同于(大于或小于)第一分辨率的第二最大分辨率的第二结构光图案。在一些方面中，所述第一和第二结构光图案可被配置成在距捕获结构光图案的接收器或成像传感器的不同(或相同)距离处提供其最大分辨率。

在框1425中，调整透镜以便使其聚焦于第二视场深度内。在框1430中，在透镜聚焦于第二视场深度内时，用所述透镜捕获第二图像。因此，所述第二图像表示投影到场景上的第二结构光图案。在一些方面中，使用成像传感器1312捕获所述第二图像。

在框1435中，基于第一和/或第二图像产生深度图。举例来说，可在基于所述第一图像的深度图中表示包含在场景中的处于第一视场深度内的深度处的对象，同时可在基于从第二图像导出的数据的深度图中表示场景内的处于第二视场深度内的深度处的对象。

在一些方面中，仅第一或第二图像可用于产生深度图。举例来说，在一些方面中，可基于正被成像的场景的特性使用第一或第二图像。在一些方面中，可评定提供于图像中的深度信息的质量水平，其中所述图像包含用以产生深度图的最高质量深度信息。所述质量水平可基于深度信息的量或损毁或丢失的深度信息的量。举例来说，在一些方面中，可使用具有最小量的丢失的深度信息的图像产生深度图。

过程1400也可包含将产生的深度图写入到稳定存储装置(或存储媒体)。在一些方面中，可基于深度图调整第三图像的一或多个图像捕获参数。举例来说，在一些方面中，可基于深度图修改曝光时间或闪光灯照度设置(例如闪光强度和/或是否使用闪光)。接着可使用一或多个图像捕获参数捕获第三图像。第三图像也可在捕获之后写入到稳定存储装置或其它I/O装置。

下表1展示可在产生深度图时经组合以提供各种优点的衍射光学元件的多种配置。在各种实施例中，过程1400可使用下文所示的示范性配置中的任一个产生深度图。过程1400也可以使用上文在图4A-C、5A-C和7-12中的任一个中示出的示范性配置中的任一个。

表1

在表1中，第一和第二结构光图案的对应空白单元格可在单个配置中为相同的。

如本文中所使用，术语“确定”涵盖广泛的多种动作。举例来说，“确定”可包含计算、运算、处理、导出、研究、查找(例如，在表、数据库或另一数据结构中查找)、确证等等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。此外，“确定”可包含解析、选择、挑选、建立等。另外，如本文中所使用，在某些方面，“信道宽度”可涵盖或也可被称作带宽。

如本文所使用，涉及项目列表“中的至少一个”的短语是指那些项目的任何组合，包含单个成员。作为实例，“以下中的至少一个：a、b或c”意在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。

上文所描述的方法的各种操作可由能够执行所述操作的任何适合装置例如各个硬件和/或软件组件、电路和/或模块执行。通常，各图中所说明的任何操作可以由能够执行所述操作的对应功能装置执行。

可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置(PLD)、离散闸或晶体管逻辑、离散硬件组件或经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明所描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器，但在替代例中，处理器可以是任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心结合，或任何其它此类配置。

在一或多个方面中，所描述的功能可以硬件、软件、固件、或其任意组合来实施。如果实施于软件中，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体包含计算机存储媒体和通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以是可以由计算机存取的任何可供使用的媒体。借助于实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所需程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，那么所述同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。因此，在一些方面，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。另外，在一些方面中，计算机可读媒体可包括暂时性计算机可读媒体(例如，信号)。以上各项的组合也应包含于计算机可读媒体的范围内。

本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非规定了步骤或动作的特定次序，否则在不偏离权利要求书的范围的情况下可对特定步骤和/或动作的次序和/或用法加以修改。

所描述的功能可以硬件、软件、固件或其任何组合实施。如果在软件中实施，那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可以是可以由计算机存取的任何可供使用的媒体。借助于实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所需程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。

因此，某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。举例来说，此类计算机程序产品可包括上面存储有(和/或编码有)指令的计算机可读媒体，所述指令可由一或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包含封装材料。

另外，应了解，用于执行本文所描述的方法和技术的模块和/或其它适当装置可在适用时由用户终端和/或基站下载和/或以其它方式获得。举例来说，可将此类装置耦合到服务器以促进传送用于执行本文中所描述的方法的装置。替代地，可经由存储装置(例如，RAM、ROM、物理存储媒体例如压缩光盘(CD)或软盘等)提供本文中所描述的各种方法，使得用户终端和/或基站可在耦合到装置或将存储装置提供到所述装置后即刻获得各种方法。此外，可以利用用于将本文中所描述的方法和技术提供到装置的任何其它合适的技术。

应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可以在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

虽然前述内容是针对本发明的各方面，但在不偏离本发明的基本范围的情况下，可设计出本发明的其它和另外方面，且由所附权利要求书确定本发明的范围。

Claims (20)

1.一种成像装置，其包括：

多个发射器，其包含第一发射器，所述第一发射器被配置成产生在第一分辨率下具有第一视场深度的结构光图案和在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；

接收器，其被配置成聚焦于所述第一视场深度内以接收第一结构光图案并捕获表示所述第一结构光图案的第一图像，以及聚焦于所述第二视场深度内以接收所述第二结构光图案并捕获表示所述第二结构光图案的第二图像；和

电子硬件处理器，其被配置成基于所述第一图像和所述第二图像产生所述场景的深度图。

2.根据权利要求1所述的成像装置，其中所述电子硬件处理器被进一步配置成基于所述产生的深度图调整第三图像的图像捕获参数，并且使用所述图像捕获参数捕获所述第三图像。

3.根据权利要求2所述的成像装置，其中所述电子硬件处理器被配置成基于所述深度图调整所述第三图像的光圈、快门速度或照度参数中的一或多个。

4.根据权利要求2所述的成像装置，其中所述电子硬件处理器被进一步配置成将所述深度图和所述第三图像中的一或多个存储到稳定存储装置。

5.根据权利要求1所述的成像装置，其中所述第一发射器被配置成产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。

6.根据权利要求5所述的成像装置，其中所述第一距离与所述第二距离为相同的。

7.根据权利要求5所述的成像装置，其中所述第一距离不同于所述第二距离。

8.根据权利要求1所述的成像装置，其中所述第一发射器被配置成产生与所述第二视场深度重叠的所述第一视场深度。

9.根据权利要求8所述的成像装置，其中所述第一发射器被配置成产生含于所述第二视场深度内的所述第一视场深度。

10.一种用成像装置捕获图像的方法，其包括：

使用第一光发射体产生到场景上的在第一分辨率下具有第一视场深度的第一结构光图案；

经由电子硬件处理器，将成像传感器聚焦于所述第一视场深度内以捕获表示被所述第一结构光图案照明的所述场景的第一图像；

使用第二光发射体，产生在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；

将所述成像传感器聚焦于所述第二视场深度内以捕获表示被所述第二结构光图案照明的所述场景的第二图像；

使用所述电子硬件处理器，基于所述第一图像和所述第二图像产生所述场景的深度图；

基于所述深度图确定图像捕获参数；

使用所述成像传感器，基于所述图像捕获参数捕获所述场景的第三图像；和

将所述第三图像存储到稳定存储装置。

11.根据权利要求10所述的方法，其另外包括基于所述深度图调整所述第三图像的光圈、快门速度或照度参数中的一或多个。

12.根据权利要求10所述的方法，其另外包括将所述深度图存储到所述稳定存储装置。

13.根据权利要求10所述的方法，其另外包括产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。

14.根据权利要求13所述的方法，其中所述第一距离与所述第二距离为相同的。

15.根据权利要求13所述的方法，其中所述第一距离不同于所述第二距离。

16.根据权利要求13所述的方法，其另外包括产生与所述第二视场深度重叠的所述第一视场深度。

17.根据权利要求16所述的方法，其另外包括产生含于所述第二视场深度内的所述第一视场深度。

18.一种包括在被执行时致使处理器执行用成像装置捕获图像的方法的指令的非暂时性计算机可读存储媒体，所述方法包括：

使用第一光发射体产生到场景上的在第一分辨率下具有第一视场深度的第一结构光图案；

经由电子硬件处理器，将成像传感器聚焦于所述第一视场深度内以捕获表示被所述第一结构光图案照明的所述场景的第一图像；

使用第二光发射体，产生在所述第一分辨率下具有第二视场深度的第二结构光图案，其中所述第二视场深度比所述第一视场深度更宽；

将所述成像传感器聚焦于所述第二视场深度内以捕获表示被所述第二结构光图案照明的所述场景的第二图像；

使用所述电子硬件处理器，基于所述第一图像和所述第二图像产生所述场景的深度图；

基于所述深度图确定图像捕获参数；

使用所述成像传感器，基于所述图像捕获参数捕获所述场景的第三图像；和

将所述第三图像存储到稳定存储装置。

19.根据权利要求18所述的非暂时性计算机可读存储媒体，所述方法另外包括产生在距所述成像装置第一距离处具有第一最大分辨率的所述第一结构光图案，且所述第二发射器被配置成产生在距所述成像装置第二距离处具有低于所述第一结构光图案的第二最大分辨率的所述第二结构光图案。

20.根据权利要求19所述的非暂时性计算机可读存储媒体，其中所述第一距离与所述第二距离为相同的。