CN107209007A - 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码 - Google Patents

Abstract

公开了用于以深度估计进行图像采集的方法、电路、设备、系统和功能上相关联的计算机可执行代码。根据一些实施例，可提供成像设备，包括：(a)具有至少一个图像传感器的一个或更多个成像组件；(b)至少一个结构化光投影仪，其适用于将多分辨率结构化光图案投影到场景上，该图案包括多分辨率的符号或编码；以及(3)专用或编程到处理器上的图像处理电路，其适用于识别所采集的场景图像内的多分辨率结构化光的符号/编码。

Description

以深度估计进行图像采集的方法、电路、设备、配件、系统和功 能上相关联的计算机可执行代码

发明领域

本发明大体上涉及成像领域。更具体地，本发明涉及用于以深度估计进行图像采集的方法、电路、设备、组件、系统和功能上相关联的计算机可执行代码。

背景

深度感测和三维成像系统在大量应用中被使用。在一些深度感测系统中，编码的结构化光图案被投影到对象上，并且包括图案的对象的图像被获得并进行处理，以导出可被转化成深度信息的对象的三维几何形状。这样的系统通常需要显著的处理能力来导出详细的深度信息。

此外，这样的深度感测系统具有一定的覆盖面积和范围。例如，深度感测系统提取深度的能力受到系统的景深(“DOF”)的限制。系统的DOF 以外的区域通常是图像失焦的区域或SNR过低(例如，由于信号衰减)的区域。限制深度感测系统的覆盖范围的另一因素可以是由场景内的对象或表面的光学特性产生的局部干扰。这样的干扰可衰减或调制反射信号，使得所得到的图像中相应区域的解码失败。

发明概述

本发明涉及用于以深度估计进行图像采集的方法、电路、设备、系统和功能上相关联的计算机可执行代码。根据一些实施例，可提供成像设备，包括：(a)具有至少一个图像传感器的一个或更多个成像组件；(b)至少一个结构化光投影仪，其适用于将多分辨率结构化光图案投影到场景上，该多分辨率结构化光图案可包括多分辨率视觉符号或码字；以及(3)专用的或编程到处理器上的图像处理电路，其适用于识别所采集的场景图像内的多分辨率结构化光符号/编码。

术语“符号”、“视觉符号”、“码字”和/或“编码”可以交换使用，并且可表示投影的视觉图案的一部分，该投影的视觉图案的形状和/或其他视觉特性可包括、编码或以其他方式表示可用于提取或估计关于图案被投影到其上的对象的点和/或区域的深度信息。更具体地，每个符号可包括视觉上可检测的符号元素的某种组合并由其来表征，其中符号元素可以是不同的符号元素类型。每个符号元素类型可表示或编码信息的一部分，其编码的信息可以是绝对的，或者可具有取决于其背景的不同含义，例如，其位于图案中的哪里和/或哪些其他符号在其邻近。

根据一些实施例，多分辨率结构化光图案可包括“粗略”符号和“精细”符号，其中，根据实施例的结构化光图案的“粗略”符号可编码、传达或以其他方式提供比相同图案的“精细”符号相对更低的深度分辨率信息。根据实施例的粗略符号和精细符号在所采集的图像内均可通过图像处理电路检测到。粗略符号可能比精细符号形状相对更大。由于比精细符号相对更大，粗略符号可在所采集的图像内可能更容易地并且在某些情况下更快速地被检测到。例如当所采集的图像模糊、分辨率不足和/或以其他方式保真度差时，粗略符号在其中精细符号是完全不可检测的或不可编码的所采集的图像中可能是可检测的和/或可解码的。

根据本发明的实施例的多分辨率结构化光图案也可被认为是粗略符号和精细符号或子符号(如数字数据的字节的位)的组合。粗略符号可被认为是用于估计其图像已被采集的场景内的一个或更多个点的深度的数据字节的相对较高阶的位，而精细的结构化光符号可被认为是相同数据字节的较低阶位。根据本发明的实施例的被检测、识别和/或解码的结构化光图案的符号越多，可使用该图案估计深度的分辨率就越高。根据另外的实施例，根据这样的实施例的结构化光图案的精细符号可提供与深度估计有关的增强的角度分辨率。由于精细符号可遍布与粗略符号相同的区域和/ 或在其内，因此粗略符号的区域或边界内的特定精细符号的检测和测量 (例如，子像素位置)可提供对粗略符号的区域或边界内的一个或更多个场景对象点或部分的改进的深度估计。

不同的图像处理技术可用于粗略符号的检测和解码，而不是用于精细符号的检测。例如，对在所采集的图像内的粗略符号的检测可包括像素的低通滤波或合并(binning)，以便使精细符号从所采集的图像中消失。这种类型的滤波可以由于差的聚焦、低分辨率成像和/或环境条件而自然发生。不同的图像处理技术可用于精细符号的检测和解码，而不是用于粗略符号的检测。例如，对在所采集的图像内的精细符号的检测可包括图像的高通滤波和/或各种其他图像处理技术，其将使粗略符号在所采集的图像内消失和/或使精细符号在所采集的图像内增强。根据一些实施例，粗略符号的检测和/或解码可有助于精细符号在相同图案中的检测和/或解码。

根据实施例，粗略符号可以是二维的双轴编码或调制的。类似地，精细符号可以是二维的双轴编码或调制的以携带信息。在符号本身的几何形状内，编码或调制到粗略符号和/或精细符号上的信息可以是离散的或封装的。另外，编码或调制到粗略符号和/或精细符号上的信息可以是与背景有关的，至少部分地基于符号相对于结构化光图案内的其他特征的定向和接近度。

根据本发明的一些实施例，图像处理电路可使用相对较低分辨率的像素处理技术(例如，将多个相邻像素值平均成一个像素值)来分析所采集的场景的图像，以检测和解码粗略符号，该粗略符号可例如使用当今已知或将来待设计的任何基于结构化光的深度估计技术来帮助图像处理电路对关于粗略符号被投影到其上的场景区域的相对较低分辨率的三维信息进行估计。如果检测到或以其他方式识别所采集的场景的图像内的感兴趣区域，则图像处理电路可使用相对较高分辨率的像素处理技术来检测、识别或以其他方式解码感兴趣区域内的精细符号。因此，可提供多级处理技术，从而：(a)使用粗略符号识别所采集的图像内的感兴趣区域，然后(b) 使用精细符号估计关于该区域的相对较高分辨率的3D信息。根据另外的实施例，根据本发明的实施例的成像设备或系统的控制器或控制电路可使一个或更多个成像电路和/或成像组件聚焦在从使用投影的多分辨率结构化光符号的粗略特征检测所估计的、区域的相对低或较低分辨率的3D图像检测到的感兴趣区域上，从而便于对结构化光符号的精细特征的检测和解码。

根据实施例的视觉符号可被包含在投影到场景的对象上的结构化光图案的一部分内。出于本申请的目的，投影的图案的一个或更多个粗略符号的视觉可检测元素可被称为低(或相对较低)分辨率图案，而投影的图案的一个或更多个精细符号的视觉可检测元素可被称为高(或相对较高) 分辨率图案。

根据本发明的一些实施例，可以提供深度感测系统，其包括能够储存待被投影到场景上的结构化光图案的一个或更多个图像的存储器单元，以及能够对结构化光图像进行解码的处理器，其中，该处理器可被配置为在处理一个或更多个图像时使用与相对较低分辨率图案相关联的至少第一组特征类型以及与相对较高分辨率图案相关联的至少第二组特征类型，以从场景的一个或更多个图像中提取深度信息。

根据本发明的一些实施例，可提供方法，其包括获得投影到场景上的结构化光图案的一个或更多个图像，以及使用与较低分辨率图案相关联的至少第一组特征类型以及与较高分辨率图案相关联的至少第二组特征类型来对一个或更多个图像进行解码，以便从场景的一个或更多个图像中提取深度信息。

附图简述

视为本发明的主题在说明书的结束部分中被特别指出并被清楚地要求保护。然而，关于操作方法和组织的本发明以及其目的、特征和优点在与附图一起阅读时通过参考以下详细描述可得到最好的理解，其中：

图1是根据当前所公开主题的示例的使用不同编码的光图案分辨率的深度感测系统的框图；

图2是根据当前所公开主题的示例的投影图案的表象(appearance) 和产生高分辨率图案和低分辨率图案的从原始图案的表象到降级图案的转变的图形说明；

图3是根据当前所公开主题的示例的场景的图示，其该场景上应用第一低分辨率模式来识别感兴趣区域并在所识别的感兴趣区域内应用第二较高分辨率模式；

图4是根据当前所公开主题的示例的场景的图示，该场景包括人类用户，其将使用第一低分辨率模式来被识别且在该场景中定位包括将以第二较高分辨率模式成像的手部的感兴趣区域；

图5是根据当前所公开主题的示例说明使用多分辨率深度感测来识别姿势以生成相应的数字系统命令的方法的流程图；

图6是根据示例实施例的用于实现电子电路以执行一种或更多种方法和功能的计算机系统600的方块示意图；以及

图7是根据示例实施例的用于使用具有高分辨率特征和低分辨率特征的结构化光图案以从场景中提取三维信息的移动通信设备的框图。

应当认识到，为了说明的简单和清楚，图中所示的元素不一定按比例绘制。例如，为了清楚起见，一些元素的尺寸可以相对于其他元素被放大。此外，在认为适当的情况下，参考数字可在图中重复以指示对应或类似的元素。

附图的详细描述

在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本发明。在其它实例中，没有详细描述已知的方法、过程、部件和电路，以免使本发明模糊。

除非另有特别规定，如从下面的讨论明显的，应认识到，在整个说明书讨论中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”等的术语可指计算机或计算系统或类似的电子计算设备的动作和/ 或过程，这些设备操作被表示为在计算系统的寄存器和/或存储器内的物理 (诸如电子)量的数据和/或将表示为在计算系统的寄存器和/或存储器内的物理(诸如电子)量的数据转换成类似地被表示为在计算系统的存储器、寄存器或其它这样的信息储存、传输或显示设备内的物理量的其它数据。

另外，在整个说明书讨论中，使用诸如“储存”、“托管”、“缓存”、“保存”等术语可指在计算机或计算系统或类似的电子计算设备上‘写入’和‘保留’数字信息的动作和/或过程，并且可交替使用。整个说明书中可以使用术语“多个”来描述两个或更多个部件、设备、元件、参数等。

例如，本发明的一些实施例可采取完全硬件实施例、完全软件实施例或包括硬件和软件元素二者的实施例的形式。一些实施例可以以软件实现，该软件包括但不限于固件、常驻软件、微代码等。

此外，本发明的一些实施例可采用可由计算机可用或计算机可读的介质访问的计算机程序产品的形式，该计算机可用或计算机可读的介质提供了由计算机或任何指令执行系统使用或与其结合使用的程序代码。例如，计算机可用或计算机可读的介质可以是或可以包括任何装置，该装置可包含、储存、传达、传播或传输由指令执行系统、装置或设备使用的或与其结合使用的程序。

在一些实施例中，介质可以是电子、磁性、光学、电磁，红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的一些说明性示例可包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器 (RAM)、只读存储器(ROM)、基于半导体的非易失性存储器(NVM) 的任何组合和/或架构、基于生物学的非易失性存储器(NVM)的任何组合和/或架构、刚性磁盘和光盘。光盘的一些说明性示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。

在一些实施例中，适于储存和/或执行程序代码的数据处理系统可包括例如通过系统总线直接或间接耦合到存储器元件的至少一个处理器。存储器元件可包括例如在程序代码的实际执行期间采用的本地存储器、大容量存储器和高速缓冲存储器，其可提供至少一些程序代码的临时储存器，以便减少在执行期间必须从大容量储存器中得到的代码的次数。

在一些实施例中，输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等)可直接或通过中间I/O控制器耦合到系统。在一些实施例中，网络适配器可耦合到系统，以使得数据处理系统能够例如通过中间的私有或公共网络耦合到其他数据处理系统或远程打印机或储存设备。在一些实施例中，调制解调器、电缆调制解调器和以太网卡是网络适配器类型的说明性示例。可使用其它功能上合适的部件。

在一个实施例中，本文中所描述的功能或算法能够以软件或软件和人类实现的程序的组合来实现。软件可由储存在计算机可读介质(包括诸如存储器或其他类型的储存设备的有形和非瞬态计算机可读介质)上的计算机可执行指令组成。此外，这样的功能对应于模块，该模块是软件、硬件、固件或它们的任意组合。多个功能可根据需要在一个或更多个模块中执行，并且所描述的实施例仅仅是示例。软件可在数字信号处理器、ASIC、微处理器或在诸如个人计算机、服务器或其他计算机系统的计算机系统上运行的其他类型的处理器上执行。

参照的图1是根据当前所公开主题的示例的使用不同编码的光图案分辨率的深度感测系统的框图。深度感测系统能够提供关于场景中的对象的深度信息。深度感测系统有时被称为3D成像系统或3D捕获系统。使用各种其他术语来描述依赖于深度感测能力的系统。所有这样的系统都在当前所公开主题的范围内，并且在本文中被统称为深度感测系统。深度信息可采取许多形式，包括2D或3D空间中的简单测量、范围图、点云、3D模型和图像等。

如图1中所示，根据一个示例，深度感测系统100包括相机105和投影仪107。相机105可以是基于红外(IR)的相机，其对应于投影包括IR 波段中的光的光的投影仪107。投影仪107可以是IR投影仪。根据当前所公开主题的一个示例，系统能够以低分辨率模式和高分辨率模式操作。在另一示例中，系统100可被配置为使用两种不同的结构化光编码，高分辨率编码和低分辨率编码。在一个示例中，高分辨率编码和低分辨率编码在不同的时间被投影，并且在不同的采样窗口(其通常与编码的投影同步) 被捕获。在另一示例中，(由传感器捕获的)高分辨率编码和/或低分辨率编码的出现是由于成像条件造成的，或者是由于场景内的对象或表面的位置或光学特性造成的。在又一示例中，高分辨率编码和低分辨率编码在单一帧内出现在传感器视场的不同区域内。在另一示例中，系统投影单一编码，并且低分辨率编码或高分辨率编码的出现是由于与给定帧或与给定帧内的不同区域一起使用的采样或解码配置造成的。

在一个示例中，第一结构化光编码和第二结构化光编码都包括多个特征类型，每个特征类型根据由特征元素的唯一组合创建的唯一的二维构形是可区分的。特征元素可以被设想为例如黑色和白色的点或区域，并且每个这样的点或区域可对应于成像对象上的单色光的高照明强度或低照明强度的相应投影点或投影区域。然而，应注意的是，当前所公开主题的一些示例不限于双色调和二维图案，并且可使用其他类型的图案，包括一维多色调图案(色线(lines of color))。在这样的示例中，更细的色线可以彼此混合，并且颜色混合可产生色线的第二较低分辨率图案。应认识到的是，图案能够体现在掩模中，并且投影图案通过照明掩模来接收。

图案可体现编码，因此术语图案和编码在本文中可交换使用。

在一个示例中，两个编码可以是完全独立的。在另一示例中，两个编码彼此相关。例如，较低分辨率编码可以是较高分辨率编码的导数。仍进一步通过示例，第一高分辨率编码的特征类型可包括相对于第二较低分辨率编码的特征类型的较高频率数据或较精细的特征元素。如以下进一步讨论的，第二编码可以是由于减去或融合第一编码中的高频元素的结果。

应认识到的是，虽然在以下描述中参照了使用两个结构化光编码的结构化光3D感测系统的示例，但是当前所公开主题的另外的示例包括使用多于两个的结构化光编码(诸如三个结构化光编码、或甚至是四个编码) 的3D感测系统，并且每个编码具有不同的分辨率。因此，通过示例的方式引用两个编码，并且本文中所提供的教导也可以应用于采用三个或更多个结构化光编码的3D感测系统。

根据当前所公开主题的示例，两个结构化光编码可以是由于3D感测系统投影两个编码并且能够解码两个编码中的每一个的结果。在这种情况下，3D感测系统可包括两个不同的掩模，一个用于每个结构化光编码或任何其他光束整形元件，其包括用于相应两个或更多个编码的两个或更多个衍射光学元件。系统100还可包括两个投影仪，或者可使用能够在两个编码之间切换的单一投影仪。在一种配置中，系统100能够例如通过使用不同的波长和传感器火滤波器以用于对两个投影编码中的每个进行成像来同时投影和成像两个编码。在该配置中，系统100可能需要两个投影仪。在另一示例中，单一投影仪与掩模移位(maskshifting)或交替机制(例如，基于MEMS或使用发射器切换或替代发射器)一起使用来选择性地每次投影两个编码之一。

在另一示例中，仅一个编码由3D感测系统投影，而第二较低分辨率编码是由于投影的(高分辨率)编码的下采样的结果。如以下将进一步解释的，下采样可以是在系统100中执行并由其执行的操作的结果，或者下采样可以由于成像条件或由于图像的内容而自然发生。两个编码之间的关系可使得第二(低分辨率)编码是由于融合第一编码中的高频元素的结果。图像中较低分辨率编码的出现可以是投影的较高分辨率编码的退化的结果。存在能够导致编码退化的几个因素，包括：模糊、调制和噪声信号。

a.例如，当对象由于作为衍射的结果的对象的透明度或由于装备故障而失焦时，模糊可以发生。

b.调制-场景中对象的某3D纹理和某些强度反射图案可以与投影图案发生干扰。在一些情况下，场景中的对象的3D纹理或强度反射图案“破坏”高频数据。例如，头发或降雨可以使小的特征元素对解码过程来说难以辨认。

c.噪声或低信噪比(SNR)也可以使小的特征元素对解码过程来说难以辨认。低SNR通常表征高增益条件，这通常可以是低照明条件的结果。

作为在系统100中执行并由其执行的操作的结果的下采样的一个示例是当相机110或处理器130在给定帧的至少一区域中合并传感器像素的时候。合并像素对下采样合并的区域有影响。在合并的区域中，可接收较低分辨率编码，而不是投影的高分辨率编码。此外，在其中解码数据的质量不足够高或解码器无法对成像图案进行解码的帧的区域中，处理器130可以被配置为指示解码器尝试使用较低分辨率编码来提取深度信息。处理器 130可尝试提前预测帧的哪些区域将可能无法通过合并相应像素或者以其他方式对传感器提供的数据流进行下采样来解码和下采样那些区域。例如，处理器可根据彩色图像确定其中纹理通过其能够调制较高分辨率编码中的高频元素的频率来表征的区域，并且该调制预期会与图像中的相应区域的解码发生干扰，使这样的解码困难、昂贵、不可靠或不可能。在可替代示例中，在帧的某个区域未能解码之后或当解码过程的输出的质量不令人满意时，事后使用处理器130下采样。在该配置中，帧或其某区域可被重新获取，并且随后的帧通过合并或通过对来自传感器的数据流进行下采样来下采样。

如上所述，下采样也能够由于成像条件或由于系统100配置的结果而自然发生。

例如，假如3D感测系统具有例如40cm的最小焦距，根据当前所公开主题的示例的系统100仍然能够提取位于较短距离处的对象的深度信息。在这样的较短距离处，散焦模糊能够使一些更精细的细节在图像中丢失，然而，通过将解码器配置成使得其能够应用基于较低分辨率编码、其转而基于投影编码的较低频率特征元素的第二编码过程以及相应的特征类型，深度信息仍可从捕获的图像的模糊区域中提取出来。

在另一示例中，在投影图案的图像中可能存在某些噪声区域，例如，在与位于离系统超出一定距离的对象对应的图像的区域中，其中信噪比 (SNR)对于涉及更精细的、高分辨率的特征元素的解码可能过低(例如，由于信号衰减)。然而，即使在图像的噪声区域中，较低分辨率特征元素也可能是可解码的，因此提取对于这些区域的深度信息是可能的。在一些情况下，这意味着系统的深度感测范围可使用较低分辨率模式来扩展。应认识到的是，图像中的噪声水平可以例如与深度感测系统及其各种部件的配置相关联，并且选择在哪个区域中使用哪个模式可基于预定义的定义，诸如对于位于离系统一定范围内的对象使用高分辨率模式和对于扩展的范围使用较低分辨率模式的指令，或者选择可基于对图像的分析针对每个图像单独做出。

深度感测系统被配置为以两种不同的分辨率模式(高和低)操作的一种情况可与提高深度感测系统的效率和/或范围相关联，使得高分辨率3D 记录和/或重建仅适用于给定场景内的特定的感兴趣区域，从而减少与高分辨率3D捕获相关的计算负荷。在另一示例中，在深度感测系统中具有两种不同分辨率模式可允许扩展系统能力、覆盖范围和/或范围和/或景深 (“DOF”)。在又一种情况中，具有两种分辨率模式可提高3D捕获系统的覆盖范围和鲁棒性，通过允许它来在场景包括在较高分辨率模式下难以分辨(例如，由于对象的3D纹理或2D反射图案)但在较低分辨率下可分辨的区域时提供更好的结果，反之亦然。

在一个实施例中，两个或更多个层分辨率分辨投影图案110使系统能够以对应的两个或更多个分辨率工作。低分辨率图案115可由系统以低分辨率采样，从而获得场景的粗糙的3D映射。也可以对第二高分辨率图案 120进行采样。在一个实施例中，高分辨率图案的捕获和处理可在整个三维感测系统视场(FOV)的识别的感兴趣区域(ROI)内执行，其中ROI是整个FOV的一部分。深度感测系统可包括控制电路，该控制电路作为相机和投影仪二者的分立控制器或作为组合控制器来实现。

现在参照的图2是根据当前所公开主题的示例的投影图案的表象和产生高分辨率图案和低分辨率图案的从原始图案的表象到降级图案的转变的图形说明。图2示出了高分辨率部分210和低分辨率部分215，其分别对应于图1中的投影的高分辨率图案120和低分辨率图案115。出于说明的目的，使用过渡效果来显示高分辨率部分210和低分辨率部分215之间的关系。如图2中所示，当高分辨率图案210的高频元素融合时，低分辨率图案215被接收。应认识到的是，图2中所示的图案对仅仅是可以用在当前所公开主题的示例中的可能图案的一个示例，并且许多其他图案可在当前所公开主题的示例中创建和使用，包括其中一个图案是由于将来自该对中的另一图案的高频元素融合的结果并且其中降级的影响在高频特征元素上具有类似或不同的影响的图案。

光学元件130与掩模125相关联，并且用于从发射器的阵列135投影光。发射器(例如，激光器)阵列135的不同部分能够以脉冲来驱动，以控制用于照明图案的光强度，其中较强的照明更可能允许对高分辨率图案的捕获。

注意在图2中，附图的顶部部分如何示出了相较于附图底部部分的图案的较小特征元素，以及从高分辨率图像到较低分辨率图像的图案转变的表象，其中较精细或较小的特征元素消失或在转变区中变得不太可见，而较大较粗略的特征元素仍保持可见或至少适度可见。特征元素的可见性由投影图案的图像中的特征元素的表象以及由特征元素的可解码性来确定。可解码性通常是指解码器将投影图案的图像中的某区域正确地识别为与某特征元素相关联的能力。应注意到的是，存在可在解码器中实现并且可以辅助解码器正确地识别图像中的特征元素的各种算法，包括例如，分析图像中的给定区域的周围环境并基于对识别特征元素的区域周围的区域的分析确定特征元素身份的算法。应注意的是，给定某种图案，其中每个特征类型由特征元素的唯一组合组成，每个特征元素周围的区域可提供帮助验证给定区域的分类与特定特征元素相关联的提示。

在示例掩模的一个非限制性实施例中，掩模的较精细的特征元素具有锐角，并且可以是矩形的形式。其他精细的特征元素包括相对小的直径的圆。同时，低分辨率图案的较粗略的特征元素通常是具有弯曲长边和圆形短边的矩形。低分辨率图案还包括圆形，但该圆形稍大一些，在一个实施例中其比高分辨率图案的较精细特征元素的较小圆形大约大三倍。两个图案中的矩形特征元素的大小可以类似。在一个实施例中，矩形特征元件可从彼此正交地延伸以形成具有相似总体尺寸的精细特征元素的正方形和圆形。两种图案中的特征元素可重复并以负片和正片形式(negative and positive form)出现，分别对应于透明和不透明。这仅仅是可用在另外的实施例中的许多不同图案中的一个示例。

根据当前所公开主题的示例，深度感测系统可被配置为对出现在场景的图像中的至少两个不同(和预定义的)结构化光图案中的任何一个的表象进行解码。根据当前所公开主题的另一示例，由深度感测系统使用的解码器可被配置为识别由系统获得的图像中出现的两个(或更多个)不同组的特征类型中的每个。两组特征类型可以出现在场景的不同图像中，或出现在单一图像内的不同的一个或多个区域中。深度感测系统可被配置为通过识别场景图像中的投影特征类型、然后使图像中识别的特征类型和投影图案中的特征类型相对应、并比较相应特征类型的位置来提取深度信息。然后，特征类型的对应被用于使用三角测量来导出深度信息。因此，深度感测系统的解码器可被配置为识别由深度感测设备所使用的两个或更多个图案中的任意一个的特征类型。在一个示例中，使用了两个(或更多个) 不同的解码器，每个解码器被配置为对由深度感测系统投影和/或捕获的图案中的相应一个图案进行解码。应认识到的是，在当前所公开主题的一些示例中，如Gordon等人在美国专利第8,090,194号和第8,538,166号中所公开的，深度信息的较精细的分辨率可通过对应的特征元素实现。

在另一示例中，多分辨率的分辨率深度感测是通过具有特殊结构化光图案来实现的，该特殊结构化光图案具有高分辨率版本，其降级以形成相同图案的本身。这意味着结构化光图案的原始版本具有在某些条件下彼此融合的较精细的特征元素，但所得到的图案具有原始图案中的一些或全部特征类型(码字)，而不是其它特征类型。换句话说，图案降级以形成自身的较低分辨率版本。在这样的情况下，单一解码器或单一解码器版本可能能够处理两种分辨率模式，可能有某些配置修改，因为两种分辨率模式均基于相同的特征类型(编码的“字母表”)。

根据当前所公开主题的示例，深度感测系统可被配置为实现至少两种不同的操作模式，其中至少两种不同操作模式中的每一种对应于成像系统能够进行解码的至少两种不同的结构化光图案中的相应的一种。

又进一步通过示例，成像设备能够进行解码的两种不同的结构化光图案的第一结构化光图案包括第一多个特征类型，其中第一结构化光图案的每个特征类型由第一多个特征元素组成。两种不同的结构化光图案的第二结构化光图案包括第二多个特征类型。在一个示例中，(第二结构化光图案的)第二多个特征类型少于(第一结构化光图案的)所述第一多个特征类型。第二多个特征类型由第二多个特征元素组成。用于形成第二多个特征类型的特征元素的数量小于用于形成第一多个特征类型的特征元素的数量，并且因此，第二多个特征类型的特征在于与第一多个特征类型相比更低的分辨率，并且第一图案实现了与第二图案相比更高分辨率的3D数据。在另外的示例中，第一图案的特征元素的特征在于相对于第二图案中的特征元素的空间域中的更高频率。

根据一个示例，深度感测系统的投影仪可被配置为在至少两种相应的操作模式中的每一种中投影至少两个不同的结构化光图案。在一个示例中，成像设备能够基于以图案(第一图案可以是较高或较低分辨率的图案)之一捕获的图像的处理在第一操作模式和第二操作模式之间(以及相应的图案之间)切换。根据一个示例，图案切换可响应于以第一图案捕获的图像的处理，其指示例如由于场景中的高空间频率纹理存在导致在图像中成像的第一图案的至少一部分未能被解码。应注意的是，某图案的解码失败可能是由于各种情况导致的结果，并且在一些情况下，不同的图案对于相同或类似的情况将不敏感或是敏感的，并且可被成功解码。

在另一示例中，第一图案可以是作为默认使用的较低分辨率图案，并且当例如根据其中第一图案被投影到场景上的图像的处理(例如，第一图案是默认图案)确定了感兴趣的对象(例如，人)存在于场景中时，深度感测系统可被配置为切换到第二操作模式，其中第二较高分辨率模式用于获得在场景或其某部分中检测到的感兴趣的对象的较高分辨率的3D数据。在另一示例中，切换指令被从外部部件或软件模块(诸如本地或远程应用) 接收。

如以下将进一步描述的，深度感测系统的其他配置在从一种操作模式到另一种操作模式的转变中可改变。例如，在高分辨率模式中，仅对以低分辨率模式成像或扫描的FOV(即，感兴趣区域)的一部分进行成像。该 ROI可以是其中从以低分辨率模式捕获的广FOV图像中检测到的感兴趣对象的场景区域。在另一示例中，低分辨率模式下的传感器像素可被合并，并且不在高分辨率模式下合并，因此，虽然在高分辨率模式中，与ROI相关联的像素中的每一个被采样(以提供高分辨率成像)，但在低分辨率模式中，像素可被合并或抽取(下采样)。应认识到的是，下采样像素可为低分辨率模式提供足够的采样速率，同时减少处理负荷，并且假如传感器或成像单元已经内置了合并能力，额外资源的节省可通过合并来实现。

进一步通过示例，成像设备能够根据预定义的切换计划在第一操作模式和第二操作模式之间(以及在相应图案之间)切换。例如，预定义的切换计划可包括预定义数量(例如，五个)的低分辨率图案扫描，随后是高分辨率扫描。扫描协议可基于先前的数据或基于期望不时地进行调节。

现在参照图3，其是根据当前所本公开主题的示例的场景的图示，该上应用第一低分辨率模式来识别感兴趣区域并在所识别的感兴趣区域内应用第二较高分辨率模式。

考虑观察如图3中以300所示的房屋中的房间内的场景图像的广视场 (FOV)深度感测设备。深度感测系统能够以低分辨率模式操作，以获得高层次场景310深度映射，例如，以提供房间中的3D对象的形状的三维几何形状或点云表示。高分辨率深度信息可在由315指示的矩形界定的场景的一部分上获得，以用于更精细的特征感测。

投影仪照明具有低分辨率图案的全FOV，或者从具有较高分辨率图案的全FOV识别的感兴趣区域(ROI)的部分。与成像系统100同步，IR 相机105可以是高分辨率的。IR相机还具有等于全FOV的视场。在可替代模式中，具有双分辨率掩模的相机或具有不同分辨率掩模的不同相机能够以两种模式工作。在一种模式中，可使用诸如具有合并像素的全视场的较低分辨率模式。在较高分辨率或局部视图ROI中，可使用非合并像素。

使用具有合并像素模式的全FOV可实现从传感器到相机电子设备(诸如具有低像素数的CPU)的图像传输。传感器像素的合并可具有额外的优点。可使用有成本效益的传输线，允许低成本和改进的处理来识别ROI。

在一些示例中，低分辨率图案可实现有效的场景分析，而局部ROI(全分辨率)也可实现部分图像传输到CPU，因为对高分辨率深度感测仅需要 FOV的部分。连同高分辨率图案一起，ROI可具有用于精细特征场景分析的高分辨率。成像系统能够在两种操作模式之间交替，其中ROI区域可以是任意的，并且可以根据应用需要来设置。

图4是根据当前所公开主题的示例的场景的图示，该场景包括人类用户，其将使用第一低分辨率模式来被识别且在该场景内定位包括以第二较高分辨率模式成像的手部的感兴趣区域。在全视场400内，出现人410。 FOV 400中可能有背景，但对于该示例，人与背景分开成像。人的单独成像可通过相机的用户绘制人的轮廓来完成，或者基于深度信息和将人410 与背景区分开的图像识别处理来完成。

一旦人被识别，人的手部就可被识别为感兴趣区域415。然后，系统可切换到高分辨率模式，以获得手部的高分辨率深度信息，并且从而获得用手部执行的姿势。

例如，低分辨率场景分析可用于检测作为在系统的FOV内的人的用户的手部。然而，低分辨率分析不足以检测手部/姿势在三维中的精细运动。该系统可以切换到ROI模式，以提供分析所需的高分辨率三维图像。

在另一示例中，默认情况下可使用高分辨率分析，但当高分辨率图案分解并且不能被解码(或者解码太难或不可靠)时，例如当高频图案被投影到具有用作低带通滤波器的丰富纹理的对象上时，较低分辨率分析可用于从丰富纹理区域获得3D数据(尽管可能是较低的分辨率)。

在另一示例中，对远离或更靠近成像设备的场景的区域执行低分辨率分析，并且其中由于散焦和/或扩散，第一高分辨率图案的一些细节在所捕获的图像中丢失，但图像中有足够的细节来允许使用第二较低分辨率的图案进行解码。

图5是根据当前所公开主题的示例说明使用多分辨率深度感测来识别姿势以生成相应的数字系统命令的方法的流程图。在510处，场景由具有广FOV的相机以低分辨率捕获。在520处，人可以可选地与场景内的背景隔离。隔离可基于用户输入来识别人或基于图像识别和深度信息来隔离该人。在530处，人的手部被识别为感兴趣区域。手部可基于解剖学知识以及各种实施例中的图案识别来识别。在540处，一旦手部被识别为感兴趣区域，就进入高分辨率模式，并且感兴趣区域中的手部的高分辨率图像被捕获。

在550处，感兴趣区域的图像可用于识别手势。这样的手势可包括但不限于通过向下移动手部或手指来向下翻动或滚动的姿势，通过将食指和拇指分开或将它们组合在一起指示的缩放姿势，或者通过使手指在相对于手部的向上方向上移动而向上滚动的姿势。各种姿势及其适当的解释可能是无限的。在560处，从图像中识别的手势被转换成用于控制计算机系统的命令，该计算机系统从系统100接收命令并在570处执行该命令。可替代地或另外，命令可用于控制系统100。

照明系统或投影仪107可与相机105成像系统同步地操作。全FOV 模式使用投影仪107来照明整个FOV。一旦系统切换到ROI模式，投影仪 107就可用于使用高分辨率图案和较少的发射器(例如，VCSEL阵列的所有发射器的子集，诸如对于照明感兴趣区域并且可能是感兴趣区域周围的边缘区域必要的那些发射器)来照明场景的一部分。

局部照明方法可通过使用分割成直接可寻址区域或甚至是直接可寻址个体发射器的阵列的VCSEL阵列来获得，其使系统能够选择性地激活阵列的一部分来使用较高分辨率掩码或其某部分来照明成像系统的仅相应的ROI。如上所述，在当前所公开主题的一些示例中，仅有一个掩模用在系统100中，并且该掩模提供高分辨率图案。较低分辨率图案可以是由于系统100所使用的处理模式(例如，合并或下采样)的结果，或者可能是由于信号质量的结果。

根据一个示例，一旦系统以ROI模式(从全FOV模式转变)操作，则能级就可能变低，因为相机的每个单一像素收集比全FOV模式中的每个合并像素少的光。然而，由于发射器阵列的仅一部分用在该模式中，所以投影仪以部分能级操作，并且所使用的阵列的部分能够以高重复率操作，而无需担心烧坏。增强的散热器可用于清除由高重复率生成的余热。

应认识到的是，在以下的讨论中，各种深度感测系统100的配置和操作参数是非限制性的。

在一个示例中，IR相机105可包括具有3000×3000像素阵列的9MP 传感器。相机105能够传送3×3合并图像，其中3×3像素的每个小区域被合并以将一个像素传送到输出端。因此，传感器输出将是1MP合并的像素，而不是9MP。在全FOV情况下，图像采样率可以为10Hz并且每合并帧 100msec。

相机能够切换到ROI模式，其中选择传感器(其可用在全FOV模式中)的全9MP中的0.25MP(500x500)原始像素，以提供传感器输出。 ROI可根据在对先前图像的分析或对在先前的一个帧或多个帧中所捕获的 3D数据的分析来选择。在另一示例中，ROI根据预定义的覆盖范围或采样计划来选择，该采样计划指示3D相机使用ROI模式来对什么ROI进行成像以及何时对其进行成像。在另一示例中，ROI基于从诸如应用或远程主机的外部源接收的指令或基于从用户接收的指令来选择。例如，用户指示深度感测系统激活ROI模式并使用该模式来捕获在所选择的区域内的高分辨率3D数据(或通过使用不同图案可获得的任何其它类型的3D数据)。选择可通过触摸、标记或以其他方式选择触敏屏幕上的某个点或区域来完成。在另外的示例中，其他用户界面模块可用于获得用户指令，包括触觉单元、语音命令、眼睛跟踪技术和任何其它合适的用户输入设备。根据相机传感器，基于VCSEL的照明系统可被设计为照明整个FOV。但可替代地，该系统可被设计为具有6×6＝36个区域，系统可从该区域中激活最匹配所需ROI的任意2×2个元素。

在另一示例中，ROI尺寸和/或VCSEL区域可具有各种尺寸，并且可基于硬件部件(传感器和发射器阵列)的配置并基于一些预定义标准来定义和/或选择，预定义标准包括以下中的一个或更多个：场景内容、应用或用户的要求或选择、系统中的资源可用性等。

一旦处于ROI模式中，重复率就可以是40Hz(每脉冲25ms)的全FOV 速率的4倍。另外，激光器可被过度导出更多的光功率，在4×0.25M＝1M 处获得1M的ROI像素。

在一个实施例中，系统能够以交替模式运行，同时提供低分辨率和高分辨率二者。在ROI模式期间，处理器可累积四个快速序列图像，从而获得更多的累积的能量。

图6是根据示例实施例的用于实现电子电路以执行一种或更多种方法和功能的计算机系统600的方块示意图。在各种实施例中可使用比所示少的部件。计算机600形式的一个示例计算设备可包括处理单元602、存储器603、可移动储存器610和不可移动储存器612。存储器603可包括易失性存储器614和非易失性存储器608。计算机600可包括各种计算机可读介质或者可访问包括该各种计算机可读介质的计算环境，该计算机可读介质诸如易失性存储器614和非易失性存储器608、可移动储存器610和不可移动储存器612。计算机储存器包括随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)、闪存存储器或其它存储器技术、压缩盘只读存储器(CDROM)、数字多功能盘(DVD)或其他光盘储存器、磁带盒、磁带、磁盘储存器或其他磁储存设备、或能够储存计算机可读指令的任何其他介质。计算机600可包括或可具有对包括输入606、输出604和通信连接616的计算环境的访问权。计算机可在使用通信连接的网络化环境中运行，以连接到诸如数据库服务器的一个或更多个远程计算机。远程计算机可包括个人计算机(PC)、服务器、路由器、网络PC、对等设备或其他公用网络节点等。通信连接可包括局域网(LAN)、广域网(WAN)或其他网络。

储存在计算机可读介质上的计算机可读指令可由计算机600的处理单元602执行。硬盘驱动、CD-ROM和RAM是包括非暂时性计算机可读介质的物品的一些示例。例如，能够提供通用技术来执行对数据访问的访问控制检查和/或用于在基于组件对象模型(COM)的系统中的服务器之一上进行操作的计算机程序618可被包括在CD-ROM上，并从CD-ROM加载到硬盘驱动。计算机可读指令允许计算机600在具有多个用户和服务器的基于COM的计算机网络系统中提供通用访问控制。

图7是根据示例实施例的用于使用具有高分辨率特征和低分辨率特征的结构化光图案以从场景中提取三维信息的移动通信设备700的框图。在一些实施例中，移动通信设备700可包括能够提供3D深度或范围数据的 3D相机710。图1图示了有源立体3D相机的配置，但在当前所公开主题的其它实施例中，可使用其他3D相机710。本领域中的熟练的技术人员可容易地将当前所公开主题的示例中所提供的教导应用于其他3D相机710 配置和其他3D捕获技术。

在一些实施例中，3D相机710可包括3D捕获传感器712、驱动器714、 3D捕获处理器716和闪光灯模块718。在一些实施例中，闪光灯模块718 被配置为投影结构化光图案，并且3D捕获传感器712被配置为捕获与从环境反射的反射图案对应的图像，结构化光图案被投影到环境上。国际申请公开号WO2013/144952还描述了闪光灯设计的示例。

在一些实施例中，闪光灯模块718可包括能够投影IR辐射或光的红外(“IR”)光源，并且3D捕获传感器712可以是对IR波段中的辐射敏感的IR传感器，使得3D捕获传感器712能够捕获从场景中的对象反射的IR 辐射。闪光灯模块718和3D捕获传感器712可被校准。在一些实施例中，驱动器714、3D捕获处理器716或移动通信设备700的任何其它合适的部件可被配置为实现自动校准，以用于在闪光灯模块718和3D捕获传感器 712之间维持校准。

3D捕获处理器716可被配置为执行各种处理功能，并运行与3D相机 710的一个或更多个部件的操作相关的计算机程序代码。3D捕获处理器 716可包括存储器717，该存储器717能够储存可由3D捕获处理器716执行的计算机程序指令。

驱动器714可被配置为实现计算机程序，该计算机程序操作或控制3D 相机710的部件能够执行的某些功能、特征或操作。

在一些实施例中，除了3D相机710之外，移动通信设备700还可包括硬件部件，包括例如，电源720、储存器730、通信模块740、设备处理器750、存储器760、设备成像硬件777，显示器单元790和其他用户接口 795。在一些实施例中，移动通信设备700的一个或更多个部件可被实现为分布式部件。在这样的示例中，部件可包括在两个或更多个互连节点上分布的两个或更多个单元。此外，可能由设备处理器750执行的计算机程序可能够控制分布式部件，并且可能够操作两个或更多个互连节点中的每个上的资源。

各种类型的电源可用在移动通信设备700中。电源720可包括一个或更多个电源单元，诸如电池、短期高电流源(例如电容器)、点滴式充电器等。

设备处理器750可包括能够处理软件程序的一个或更多个处理模块。每个处理模块可具有一个或更多个处理器。设备处理器750可以是各种不同类型的设备处理器，诸如主处理器、应用处理器等。设备处理器750或在本文中通常被称为包括在设备处理器750中的任何处理器可具有一个或更多个核、内部存储器或高速缓存单元。

储存器单元730可被配置为储存用于移动通信设备700及其任何部件的操作或功能的计算机程序代码。储存器单元730还可被配置为储存可在移动通信设备700上执行的一个或更多个应用，包括3D应用780。在分布式配置中，一个或更多个3D应用780可被储存在远程计算设备上，并且可由移动通信设备700用作服务。除了应用程序代码之外或作为其替代物的，储存器单元730可被配置为储存数据，包括例如，由3D相机710提供的3D数据。

通信模块740可被配置为实现到移动通信设备700或来自移动通信设备800的数据通信。可由通信模块740支持的通信协议的示例包括但不限于蜂窝通信(3G、4G等)、有线通信协议(诸如局域网(LAN))以及无线通信协议，诸如Wi-Fi、诸如蓝牙的无线个人局域网(PAN)等。

在一些实施例中，3D相机710的部件中的一些可在移动通信硬件资源上实现。例如，可使用设备处理器750而不是具有专用的3D捕获处理器 716。在一些实施例中，移动通信设备700可包括多个处理器或多种类型的处理器，例如一个或更多个数字信号处理器(DSP)、一个或更多个图形处理单元(GPU)等，并且3D相机710可被配置为使用来自多个移动通信设备700处理器的特定(或特定集合或类型的)处理器。

移动通信设备700可被配置为执行操作系统770。移动设备操作系统的示例包括但不限于：华盛顿州雷德蒙德市的微软公司的Windows MobileTM、加利福尼亚州库比蒂诺市的苹果公司的iOS、以及加利福尼亚州山景城的谷歌公司的Android操作系统。

3D应用780可以是使用3D数据的任何应用。3D应用780的示例包括虚拟磁带测量(virtual tape measure)、3D视频、3D快照、3D建模等。不同的3D应用780可具有不同的要求和特征。3D应用程序780可被分配给3D应用组或可与其相关联。在一些实施例中，移动通信设备700能够并行或同时执行多个3D应用780。

设备成像硬件777可包括任何成像传感器；在一些实施例中，可使用能够捕获人类可见光图像的成像传感器。在一些实施例中，设备成像硬件 777可包括传感器，通常是至少对人类可见光敏感的传感器，并且可能还有光源(诸如一个或更多个发光二极管(“LED”))以用于在低的人类可见光条件下实现图像捕获。在一些实施例中，设备成像硬件777或其一些部件可用3D相机710、3D捕获传感器712或闪光灯718进行校准。这样的校准可实现3D图像的纹理化和各种其它协同处理。

在一些实施例中，设备成像硬件777可包括RGB-IR传感器，其可用于捕获人类可见光图像和用于捕获IR图像。在一些实施例中，RGB-IR传感器可用作3D捕获传感器712和用作人类可见光相机二者。在这样的实施例中，3D相机710的驱动器714和闪光灯718，以及可能还有移动通信设备700的其它部件可被配置为与设备成像硬件777协作，并且在以上给出的示例中，使用RGB-IR传感器来提供3D深度数据或范围数据。

显示器单元790可被配置为可能在使用一个或更多个3D应用780进行处理之后提供图像和图形数据，包括由3D相机710捕获的3D数据的视觉渲染。用户接口795可包括可使用户能够与诸如扬声器、按钮、麦克风等的移动通信设备700交互的各种部件。显示器单元790可以是也可用作用户接口的触敏显示器。

假如设备成像硬件777能够并被配置为服务3D相机710，这样的处理实体的3D捕获处理器716、设备处理器750或者任何子部件或CPU核等可被配置为处理从3D捕获传感器712或从设备成像硬件777接收的信号。为了方便起见，核3D捕获功能应以非限制性的方式归因于3D捕获传感器 712和3D捕获处理器716。然而，应认识到的是，移动通信设备700的各种部件和子部件之间的功能和任务分配通常是设计选择。

在一些实施例中，3D捕获处理器716可被配置为收集成像数据，处理成像数据，分析成像数据，产生成像结果，产生成像内容和/或产生成像显示等。

在一些实施例中，3D捕获处理器716可接收IR图像和校准信息作为输入。在一些实施例中，校准信息可涉及IR传感器(作为3D捕获传感器 712的示例)和投影仪(诸如闪光灯718部件)。在一些实施例中，3D捕获处理器716还可以接收例如来自设备成像硬件777的彩色图像和彩色相机(IR相机)校准信息作为输入。

在一些实施例中，由3D捕获处理器716执行的处理可包括预处理、光学字符识别(OCR)、错误校正、三角测量等。预处理可包括用于例如通过解决光学问题(诸如斑点)来移除传感器噪声或改善信号质量的操作。 OCR功能可将图像中的区域转变成由闪光灯718投影并由3D捕获传感器 712捕获的图案中所使用的多个码字之一。

在各种实施例中，码字是特征元素的编码对应物。每个码字被分配一个值。在解码过程中，特征元素在捕获的图像中被识别，转换成相应的码字并分配以相应的值。在二维码中，每个特征元素由多个编码元素组成，并且每个特征元素的特征在于特征元素的唯一构形。

错误校正功能可包括计算，其可使用关于投影的图案/编码的预先存在的知识来校正码字的错误标签或码字的元素(这可能导致一个或更多个码字的标签改变)。在这种情况下，码字是概念，并且标签是码字的实际分类。例如，如果字母A-F中的任一个是码字，则C是某识别的码字的标签。三角测量功能可考虑成像几何形状来提取相关的深度信息。参考有源三角测量方法的三角测量程序的示例在Gordon等人在美国专利第8,090,194号中提供。

在一些实施例中，3D捕获处理器716还可执行彩色投影功能，由此来自彩色传感器(例如，来自设备成像硬件777)的颜色被投影到3D数据上。彩色投影功能(与本文参考3D捕获处理器716所描述的任何其它功能一样)可以由设备处理器750或其任何处理部件执行。

可能涉及处理操作并且可以被实现为用于某些3D应用780的3D数据处理流水线的一部分的附加过程可包括以下中一个或更多个：实时系统控制(例如，自动增益、自动曝光、有源电源和脉冲持续时间的控制等)、点云注册、去噪、特征分类、特征跟踪、3D视觉、无源相机处理(例如，姿态估计、来自运动的形状等)、惯性测量单元(IMU)处理(例如，卡尔曼滤波器)、时间戳、图像信号处理(“ISP”)功能(去马赛克、伽马校正)、压缩、校准质量监控等。以上操作可由3D捕获处理器716、设备处理器 750或二者执行；处理任务可预先或实时地划分在各个处理资源之间。

在一些实施例中，3D相机710在对来自3D捕获传感器712和可能来自其它源的信号进行处理之后，可被配置为提供以下中的一个或更多个作为输出：一组3D点，其通常具有“法线(normal)”(例如，点云)，其中法线可使用相邻点来计算；纹理化网格，使用相邻点的三角测量(生成多边形表面)；或具有彩色映射(彩色投影)的深度图。附加输出可由3D相机710提供。在一些实施例中，归因于3D相机710和3D捕获处理器716 的处理中的一些可在3D相机710外部特别是由设备处理器750执行；因此，归因于3D相机710的输出的一些可在图7中所示的示例中并在本文所提供的图7中的描述中的被称为3D相机710的外部生成。

本文中所使用的术语“3D应用”涉及可作为移动通信平台上的应用(无论是本地托管还是远程托管，并作为移动通信设备700上的服务来消费) 执行的计算机程序代码，以及其计算机程序代码体现了使用3D数据特别是由3D照相机10提供或从其获得的3D数据的至少一个特征。这样的特征被称为“3D捕获特征”。存在3D应用780的许多示例，例如，虚拟磁带测量、房间建模、3D分割和模型创建、增强现实游戏等。

3D应用780或3D应用780的3D捕获特征可具有某些属性、特性或要求。为了启用、支持和/或执行不同的3D捕获特征，可能存在不同的硬件和/或软件资源分配要求(包括给定资源的不同级别)。此外，不同的3D 捕获特征可能会消耗不同的资源(包括给定资源的不同级别)。

例如，假设具有全场景特征和仅面部特征的3D会议应用，其中全场景特征涉及从3D捕获传感器712的整个视场捕获和处理3D数据，并且仅面部特征涉及仅利用对于获取其中面向3D捕获传感器712的人的面部被检测到的场景中的区域的3D数据所需的资源。在两个特征之间，与仅面部特征相比，3D捕获应用的全场景特征极有可能将消耗更多的处理、存储和电力资源。

在一些实施例中，每个3D应用780可具有至少一种操作模式。在一些实施例中，3D应用780可包括实时模式。术语“3D应用的实时模式”(或简称为“实时模式”)涉及3D应用780的模式，其中即时(实时或接近实时，例如，最多1秒延迟)反馈被提供(例如，在显示器上呈现)给3D 应用780的用户(例如，人或程序)。在一些实施例中，在3D应用780的实时模式中所提供的反馈，可能与实时模式的附加特征一起，可促进对3D 数据的持续捕获过程的某种度量的控制。例如，由移动通信设备700在3D 应用780的实时模式中提供的即时反馈可实现对移动通信设备700的一个或更多个配置和/或特征的修改或对其的至少一个资源的使用，以修改持续的3D捕获过程的结果。可通过实时模式启用的修改的示例包括改变3D成像部件的定向，修改由投影仪提供的照明水平，改变由投影仪使用的图案的类型，以及控制移动通信设备700的软件资源，诸如修改应用于来自传感器的传入信号的增益水平，改变在解码过程中使用的错误校正的类型等。

术语“3D应用的非实时模式”或“非实时模式”(例如，延迟高于1秒) 涉及除了实时模式以外的3D应用780的操作模式。在一些实施例中，3D 应用780的非实时模式是不与3D捕获操作同时发生的模式。在一些实施例中，3D应用780的非实时模式可涉及资源的进一步利用，包括例如，3D 数据的进一步处理。在一些实施例中，非实时模式可包括通过移动通信设备700的设备处理器750的进一步处理或通过外部(和/或远程)资源的进一步处理。

本文中参考一个或更多个实施例所描述的功能、操作、部件和/或特征可与本文中参考一个或更多个其他实施例所描述的一个或更多个其它功能、操作、部件和/或特征相结合或通过其他方式一起使用，反之亦然。虽然在本文示出并描述了本发明的某些特征，但是本领域中的技术人员现在将想到很多修改、替换、改变和等效形式。因此，应当理解，所附权利要求旨在覆盖落入本发明的真实精神内的所有这样的修改和改变。

Claims (16)

1.一种三维(3D)成像设备，包括：

用于接收从场景采集的图像的电路，其中，从所述场景采集的所述图像包括具有粗略符号和精细符号二者的投影的结构化光图案；以及

图像处理电路，所述图像处理电路用于：(1)识别所采集的图像内的粗略符号；(2)使用所识别的粗略符号来生成对于所述场景内的对象上的一个或更多个区域中的每个区域的估计深度值；以及(3)通过识别对应于识别的粗略符号特征的精细符号来增强至少一个估计深度值。

2.根据权利要求1所述的设备，其中，增强包括改进所述区域的估计深度值。

3.根据权利要求1所述的设备，其中，增强包括生成至少一个附加的深度估计值。

4.根据权利要求1所述的设备，还包括结构光投影仪，所述结构光投影仪被配置为投影包括至少一个粗略符号和至少一个精细符号的结构光图案。

5.根据权利要求4所述的设备，还包括成像仪，所述成像仪用于采集所述结构光图案被投影到其上的场景的图像。

6.根据权利要求5所述的设备，其中，所述图像处理电路适用于使用一个或更多个粗略符号来识别所采集图像的感兴趣区域，然后使用位于所述感兴趣区域内的精细符号来增强所述感兴趣区域的估计深度值。

7.一种三维(3D)成像方法，包括：

接收从场景采集的图像，其中，从所述场景采集的所述图像包括具有粗略符号和精细符号二者的投影的结构化光图案；以及

图像处理电路(1)识别所采集的图像内的粗略符号；(2)使用所识别的粗略符号特征来生成对于所述场景的一个或更多个区域中的每个区域的估计深度值；以及(3)通过识别精细符号来增强至少一个估计深度值。

8.一种深度感测系统，包括：

存储器单元，所述存储器单元能够储存被投影到场景上的结构化光图案的一个或更多个图像；以及

处理器，所述处理器能够对所述结构化光图像进行解码，其中，所述处理器被配置为在处理所述一个或更多个图像时使用与低分辨率图案相关联的至少第一组特征类型以及与高分辨率图案相关联的至少第二组特征类型，以从所述场景的所述一个或更多个图像中提取深度信息。

9.根据权利要求8所述的系统，还包括能够投影至少两种不同的结构化光图案的结构化光投影仪，所述至少两种不同的结构化光图案包括至少所述低分辨率图案和所述高分辨率图案。

10.根据权利要求8所述的系统，还包括能够投影所述高分辨率图案的结构化光投影仪，以及其中，所述低分辨率图案是对所投影的高分辨率图案的下采样的结果。

11.根据权利要求10所述的系统，其中，所投影的图案的下采样是合并传感器像素的结果。

12.根据权利要求10所述的系统，其中，所述下采样由于成像条件而自然发生。

13.根据权利要求10所述的系统，其中，所述下采样由于所述图像的内容而发生。

14.根据权利要求8所述的系统，其中，所述存储器单元储存至少两个图像，以及其中，所述低分辨率图案和所述高分辨率图案各自出现在来自所述两个或更多个图像的不同的图像中。

15.根据权利要求8所述的系统，其中，所述高分辨率图案和所述低分辨率图案出现在单一图像的不同区域中。

16.一种方法，包括：

获得被投影到场景上的结构化光图案的一个或更多个图像；

使用与低分辨率图案相关联的至少第一组特征类型以及与高分辨率图案相关联的至少第二组特征类型来对所述一个或更多个图像进行解码，以从所述场景的所述一个或更多个图像中提取深度信息。