CN112585947A - 用于有源深度感测系统的可调接收器曝光时间 - Google Patents

Abstract

本公开的各方面涉及有源深度感测。示例设备可以包括存储器和耦合到存储器的处理器。处理器可以被配置为确定要由结构化光接收器捕获的场景的环境光量，并基于所确定的环境光量来调整结构化光接收器的传感器的用于帧捕获的曝光时间。结构化光接收器的传感器的曝光时间与所确定的环境光量成反比。处理器还可以被配置为基于调整后的曝光时间从结构化光接收器接收多个捕获帧并生成聚合帧，包括对跨多个捕获帧的值进行聚合。

Description

用于有源深度感测系统的可调接收器曝光时间

根据35U.S.C.§119的优先权声明

本专利申请要求于2018年8月22日提交的标题为“ADJUSTABLE RECEIVEREXPOSURE TIMES FOR ACTIVE DEPTH SENSING SYSTEMS”的非临时申请第16/108,882号的优先权，该非临时申请被转让给本申请的受让人，并且通过在此引用明确地并入本文。

技术领域

本公开总体上涉及有源深度感测系统和方法，并且具体涉及用于有源深度感测系统的可调的曝光时间或帧捕获速率。

背景技术

设备可以使用不同的有源深度感测系统来确定设备周围事物的深度或距离。在确定对象距设备的深度或距离时，设备可以发射一个或多个无线信号并测量无线信号的反射。然后，设备可以使用该反射来生成深度图，该深度图示出或以其他方式指示对象距设备的深度。一种深度感测系统是结构化光系统，其发射已知的光分布。

例如，结构化光系统可以以点的已知分布或图案来发射光。光可以是电磁光谱的近红外(NIR)信号或其他频率信号。可以对所发射的光的反射进行捕获，并且可以在确定对象距结构化光系统的深度时处理所捕获的信号。对于常规的结构化光系统，对分辨率和所发射分布的发射功率的约束限制了有源深度感测的准确性和有效操作。

发明内容

提供本发明内容以便以简化形式介绍一系列概念，这些概念将在下面的具体实施方式中被进一步描述。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。

本公开的各方面涉及有源深度感测。示例设备可以包括存储器和处理器。该处理器可以被配置为：确定要由结构化光接收器捕获的场景的环境光量，并基于所确定的环境光量来调整结构化光接收器的传感器的用于帧捕获的曝光时间。结构化光接收器的传感器的曝光时间与所确定的环境光量成反比。该处理器还可以被配置为基于调整后的曝光时间从结构化光接收器接收多个捕获帧并生成聚合帧，包括对跨多个捕获帧的值进行聚合。

在另一示例中，公开了一种方法。示例方法可以包括：确定要由结构化光接收器捕获的场景的环境光量，并基于所确定的环境光量来调整结构化光接收器的传感器的用于帧捕获的曝光时间。结构化光接收器的传感器的曝光时间与所确定的环境光量成反比。该方法还可以包括：基于调整后的曝光时间从结构化光接收器接收多个捕获帧并生成聚合帧，包括对跨多个捕获帧的值进行聚合。

在另一示例中，公开了一种非暂时性计算机可读介质。该非暂时性计算机可读介质可以存储指令，该指令在由一个或多个处理器执行时使设备确定要由结构化光接收器捕获的场景的环境光量，并基于所确定的环境光量来调整结构化光接收器的传感器的用于帧捕获的曝光时间。结构化光接收器的传感器的曝光时间与所确定的环境光量成反比。该指令还可以使设备基于调整后的曝光时间从结构化光接收器接收多个捕获帧并生成聚合帧，包括对跨多个捕获帧的值进行聚合。

在另一示例中，公开了一种设备。该设备包括用于确定要由结构化光接收器捕获的场景的环境光量的部件，以及用于基于所确定的环境光量来调整结构化光接收器的传感器的用于帧捕获的曝光时间的部件。结构化光接收器的传感器的曝光时间与所确定的环境光量成反比。该设备还包括用于基于调整后的曝光时间从结构化光接收器接收多个捕获帧的部件，以及用于生成聚合帧的、被配置为对跨多个捕获帧的值进行聚合的部件。

附图说明

通过示例而非限制的方式在附图的图中示出了本公开的各方面，并且附图中相似的附图标记指代相似的元件。

图1是示例结构化光系统的图示。

图2是示例捕获帧的图示，其包括来自场景的光、光分布和噪声。

图3是示例捕获帧的图示，其包括比图2中来自场景的光多的来自场景的光、与图2相同的光分布的示例反射和与图2相同的示例噪声。

图4A是示出了像素的相对于曝光时间的测得的总光强度的示例图表的图示。

图4B是示出了当与图4A中的图表相比存在更多的环境光时，像素的相对于曝光时间的测得的总光强度的示例图表的图示。

图5是包括结构化光系统的示例设备的框图。

图6A是描绘用于调整结构化光接收器传感器的用于帧捕获的曝光时间的示例操作的说明性流程图。

图6B是描绘用于生成聚合帧的示例操作的说明性流程图。

图7是描绘用于确定接收器传感器的用于帧捕获的饱和度的示例操作的说明性流程图。

图8是描绘用于基于增加的帧捕获速率来生成聚合帧的示例操作的说明性流程图。

图9是用于生成聚合帧的示例组件的框图。

图10是使结构化光接收器传感器曝光窗口与具有全局快门的相机的图像传感器曝光窗口同步的图示。

图11是使结构化光接收器传感器曝光窗口与具有滚动快门的相机的图像传感器曝光窗口同步的图示。

具体实施方式

本公开的各方面涉及有源深度感测系统。结构化光系统可以以点的预定义分布(或聚焦光的另一种合适的形状，诸如线、弧等)发射光。光点可以被投影到场景上，并且光点的反射可以被结构化光系统接收。可以通过比较接收光的图案和发射光的图案来确定场景中对象的深度。在比较图案时，可以在接收光中识别出发射光的预定义分布的一部分。

图1是示例结构化光系统100的图示。结构化光系统100可以用于生成深度图(未示出)或以其他方式确定场景106中的对象的深度。结构化光系统100可以至少包括投影仪或发射器102、以及接收器108。投影仪或发射器102可以被称为“发射器”、“投影仪”、“发送器”等，并且不应限于特定的发射组件。类似地，接收器108也可以被称为“检测器”、“传感器”、“感测元件”、“光电检测器”等等，并且不应限于特定的接收组件。

发射器102可以被配置为将光点的码字分布104(或聚焦光的其他合适的分布和类型)投影到场景106上。在一些示例实现方式中，发射器102可以包括一个或多个激光源124、透镜126和光调制器128。发射器102还可以包括孔径122，发射光从孔径122逸出发射器102。在一些实现方式中，发射器102还可以包括衍射光学元件(DOE)，以将来自一个或多个激光源124的发射衍射成另外的发射。在一些方面，光调制器128(为了调整发射的强度)可以包括DOE。码字分布104可以在结构化光系统100上(例如，在发射器102处)被硬编码，使得码字分布104的图案和其他特性不改变。在将光点的码字分布104投影到场景106上时，发射器102可以将来自激光源124的一个或多个激光发射通过透镜126(和/或通过DOE或光调制器128)并发射到场景106上。发射器102可以被定位在与接收器108相同的参考平面上，并且发射器102和接收器108可以被间隔开称为基线(112)的距离。

场景106可以包括距结构化光系统(诸如距发射器102和接收器108)不同深度处的对象。例如，场景106中的对象106A和106B可以在不同的深度处。接收器108可以被配置为从场景106接收所发射的光点的码字分布104的反射110。为了接收反射110，接收器108可以捕获图像帧(帧)。在捕获帧时，接收器108可以接收反射110，以及(i)光点的码字分布104从场景106的不同深度处的其他部分的其他反射，和(ii)环境光。在所捕获的帧中还可能存在噪声。

在一些示例实现方式中，接收器108可以包括透镜130，以将接收到的光(包括来自对象106A和106B的反射110)聚焦或引导到接收器108的传感器132上。接收器108还可以包括孔径120以限制接收器108可以从其接收光的方向。假设仅接收到反射110的示例，则可以基于基线112、码字分布104在反射110中的位移和失真、以及反射110的强度，来确定对象106A和106B的深度。例如，在确定场景106中的对象106B的深度时，可以使用沿着传感器132从位置116到中心114的距离134。类似地，在确定场景106中的对象106A的深度时，可以使用沿着传感器132从位置118到中心114的距离136。可以以传感器132的像素数或距离(诸如毫米)为单位来测量沿传感器132的距离。

在一些示例实现方式中，传感器132可以包括用于捕获图像的光电二极管(诸如雪崩光电二极管)阵列。为了捕获图像，阵列中的每个光电二极管可以捕获撞击光电二极管的光，并且可以提供指示光强度的值(捕获值)。因此，帧可以是由光电二极管阵列提供的捕获值。

除了或者替代传感器132包括光电二极管阵列，传感器132可以包括互补金属氧化物半导体(CMOS)传感器或其他合适类型的传感器。为了通过光敏CMOS传感器捕获图像，传感器的每个像素可以捕获撞击像素的光，并且可以提供指示光强度的值。在一些示例中，可以以亮度、流明、每平方米流明(勒克斯)或其他合适的光强度度量为单位来指示光强度。在一些示例实现方式中，光电二极管阵列可以耦合到CMOS传感器。以这种方式，由光电二极管阵列生成的电脉冲可以触发CMOS传感器的对应像素提供用于帧的捕获值。

传感器132可以包括至少等于码字分布104中的光点数的像素数。例如，光电二极管阵列或CMOS传感器可以分别包括至少对应于码字分布104中的光点数的光电二极管数或像素数。如果在逻辑上将所发射的分布划分为码字，则可以在逻辑上将传感器132划分为与码字分布的位大小相对应的像素或光电二极管的组。像素或光电二极管的组也可以称为位，并且来自传感器132的位的捕获帧的部分也可以称为位。在一些示例实现方式中，传感器132可以包括与码字分布104相同的位数。

如图所示，距离134(对应于来自对象106A的反射110)小于距离136(对应于来自对象106A的反射110)。使用基于基线112以及距离134和136的三角测量，可以确定场景106中的对象106A和106B的不同深度。然而，为了能够确定距离134和距离136，需要识别反射110中的码字分布104的部分。如果在反射110中包括的码字分布104的部分中没有辨识出码字分布104中的足够数量的点，则反射中的码字分布104的部分可能不被识别出。例如，当由接收器108捕获帧时接收到的环境光量可能使反射110中的码字分布104模糊。

结构化光发射器可以包括一个或多个激光二极管，以发射具有825纳米(nm)或940nm波长(或NIR光谱中的另一合适的波长)的光。如上所述，结构化光接收器可能捕获由结构化光发射器发射的光分布的反射和与所发射的光分布不相关的环境光。捕获帧还可能包括噪声。

图2是示例捕获帧202的图示，其包括来自场景204的光、光分布206的示例反射和示例噪声208。如果来自场景204的光(环境光)的强度增加，则光分布206可能更加难以在帧202中识别。图3是示例捕获帧302的图示，其包括来自场景304的光、光分布206的示例反射(来自图2)和示例噪声208(来自图2)。场景304中的光的强度大于场景204中的光的强度。结果，帧302中的光分布206的部分可能更加难以识别。

环境光量可能影响使用结构化光系统确定深度的能力，并且结构化光系统可能在弱光场景(诸如室内或夜间)中比在亮光场景(诸如晴天时候的室外)中更有效。设备可以通过在结构化光接收器中包括滤光器来补偿环境光。返回参考图1，如果发射器102发射具有940nm波长的光，则接收器108可以在透镜130之前包括滤光器，该滤光器阻挡波长在940nm左右的范围之外的光。例如，滤光器可以阻挡波长在800nm至1100nm的示例范围之外的光。然而，环境光仍然存在于可能干扰结构化光系统的操作的波长范围内。

附加地或替代地，设备可以通过调整结构化光接收器传感器的曝光时间来补偿环境光。返回参考图1，传感器132的每个像素接收用于帧捕获的光的时间量可以是可调的。如果增加曝光时间，则像素在用于帧捕获的曝光时间期间接收到的光量增加(并且像素的测得的总光强度增加)。

图4A是示出了像素的相对于曝光时间402的测得的总光强度404的示例图表400的图示。与光不包括来自光分布反射的光(408)的情况相比，如果光包括来自光分布反射的光(406)，则像素测量的总光强度相对于曝光时间增加得更快。在没有光分布反射的情况下测得的总光强度可能来自环境光。线406和408的斜率可以随着环境光量的增加而增加。

对于深度感测，在有和没有光分布反射的情况下，总测得光强度的差异可以用于确定在像素处是否接收到反射光分布的光。例如，设备可以使用强度阈值来确定在像素处是否存在光点。曝光时间的强度阈值可以处于没有光分布反射的光强度值和具有光分布反射的光强度值之间(诸如在线408和406之间)。以这种方式，当测得的总光强度大于强度阈值时，设备可以确定在像素处接收到光分布反射的光点，并且当测得的总光强度小于强度阈值时，设备可以确定在像素处未接收到光分布反射的光点。阈值可以基于像素的曝光时间。

在有和没有光分布反射的情况下测得的总光强度之间的差异可能需要足够大，以使设备使用强度阈值来准确地识别像素处的光点。以这种方式，结构化光接收器可以被配置为具有最小曝光时间或固定的曝光时间。

由于在没有光分布反射的情况下(408)测得的总光强度404可能来自环境光，因此线406和408的斜率可以随着环境光量的增加而增加。随着环境光量的增加，两条线406和408之间的总测得光强度404的差异可以保持相同。图4B是示出了当与图4A中的图表400相比存在更多的环境光时，像素的相对于曝光时间452的测得的总光强度454的示例图表450的图示。如图所示，线456的斜率大于线406(图4A中)的斜率，并且线458的斜率大于线408(图4A中)的斜率。在有和没有光分布反射的情况下(分别为456和458)测得的总光强度454之间的差异、与在有和没有光分布反射的情况下(在图4B中分别为450和408)测得的总光强度404(图4A中)之间的差异对于相同的曝光时间可以是大致相同的。然而，测得的总光强度454的幅度大于图4A中对于相同的曝光时间测得的总光强度404的幅度。

对于像素的测得的总光强度，随着环境光的增加，光分布反射强度部分相对于环境光强度部分减少。结果，增加的环境光可能使设备在识别像素处是否存在光点时更加困难，并且设备在确定在结构化光接收器传感器处接收来自光分布的光的位置时可能出现更多错误。

设备可以尝试通过增加结构化光发射器的发射功率来补偿环境光的增加。以这种方式，可以增加光发射的强度，从而增加由结构化光接收器接收到的反射的强度。然而，对眼睛安全的考虑和各种规定可能会限制结构化光发射的强度。此外，增加的发射功率需要额外的功率，这对于功率受限的设备(诸如电池供电的设备，包括智能电话、平板和其他手持设备)可能是不希望的。

除了或者替代增加结构化光发射器的发射功率，当环境光增加时，可以增加结构化光接收器传感器在捕获帧时的曝光时间。然而，每个传感器像素或光电二极管可能能够测量预定义范围的光强度。如果增加曝光时间，则像素在曝光时间内接收到的光的总强度增加。结果，像素(诸如光电二极管或CMOS传感器像素)可能会在达到曝光时间结束之前变得饱和(达到能够为像素测量的强度范围的上限)。另外，即使在曝光时间固定时，环境光也可能足够显著以使结构化光接收器传感器的像素饱和。例如，由于环境光量，在明亮的白天中使用结构化光系统的深度感测可能无效。设备可能未接收到总强度的准确度量，并且设备无法确定在像素处是否接收到来自光分布的光。

对于用具有更多环境光的场景捕获的帧，设备可以使用较大的码字来识别帧中的光分布的部分。可以在逻辑上将光分布划分为多个部分(诸如码字)。码字可以较大(包括较多的光点)以增加在帧中识别码字的可能性。可替代地，码字可以较小(包括较少的光点)以增加可以针对场景确定的深度的数量(以增加分辨率)。较小的码字与较大的码字(较粗规模的码字)相比被认为是较细规模的码字。当将来自捕获帧的测得光强度与由结构化光发射器发射的预定义光分布进行比较时，尝试在接收到的光中识别一种大小或规模的码字。码字的大小导致在通过使用较粗规模的码字可靠地识别光分布的部分与通过使用较细规模的码字增加分辨率之间的权衡。由于较大的码字比较小的码字包含更多的光点，因此在识别较大的码字时与在识别较小的码字时相比，在识别帧中的光点时存在更大的容错能力。然而，分辨率随着码字大小的增加而降低。此外，环境光可能足够显著，以至于甚至不能识别用于光分布的最大码字。例如，在捕获帧时，结构化光接收器传感器的显著部分可能饱和，从而防止在帧的饱和部分中识别出任何大小的码字。

在本公开的一些方面，结构化光接收器的传感器曝光时间或帧捕获速率可以是可调的。在一些示例实现方式中，设备可以增加帧捕获速率，从而在环境光量增加时减少传感器的曝光时间。例如，当在明亮的白天中使用结构化光系统时，与在室内或夜间使用结构化光系统相比，结构化光接收器可以具有更高的帧捕获速率(从而缩短传感器用于每个帧捕获的曝光时间)。如果增加结构化光接收器的帧捕获速率(从而减少每个帧捕获的曝光时间)，则设备可以对跨多个帧的测得的总光强度进行聚合。例如，设备可以生成具有跨多个帧的聚合光强度度量的聚合帧。以这种方式，设备可以在聚合帧中增加在有和没有光分布的情况下测得的总光强度之间的差异，并且聚合帧的各个帧可以包括足够短的曝光时间，以防止使结构化光接收器传感器的部分饱和。在一些示例实现方式中，设备可以测量环境光量以确定何时增加和/或增加多少帧捕获速率。在一些示例中，增加的帧捕获速率可以是结构化光接收器的基本帧捕获速率的整数倍。在一些其他示例中，结构化光接收器(其可以包括NIR传感器)的增加速率的帧捕获可以与来自相机传感器(诸如RGB传感器)的帧捕获同步。

在以下描述中，阐述了许多特定细节，诸如特定组件、电路和处理的示例，以提供对本公开的透彻理解。如本文所使用的，术语“耦合”意指直接连接到或者通过一个或多个中间组件或电路连接。另外，在以下描述中并且出于解释的目的，阐述了特定术语以提供对本公开的透彻理解。然而，对于本领域技术人员将显而易见的是，实践本文公开的教导可能不需要这些具体细节。在其他情况下，公知的电路和设备以框图形式示出，以避免使本公开的教导模糊。根据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现以下详细描述的一些部分。在本公开中，过程、逻辑块、处理等被认为是得到期望结果的步骤或指令的自洽序列。步骤是需要物理量的物理操纵的那些步骤。通常但尽管不是必须地，这些量采取能够在计算机系统中被存储、传输、组合、比较和以其他方式操纵的电信号或磁信号的形式。

然而，应该记住，所有这些和类似的术语应与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非如从下面的讨论中显而易见地另外特别说明，否则应理解，在整个本申请中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“推导”、“解决”等术语的讨论，指的是计算机系统或类似的电子计算设备的动作或处理，其将计算机系统的寄存器和存储器中表示为物理(电子)量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备中的物理量的其他数据。

在附图中，单个框可被描述为执行一个功能或多个功能；然而，在实际实践中，由该框执行的一个或多个功能可以在单个组件中或跨多个组件执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种互换性，下面通常在其功能方面描述各种说明性的组件、框、模块、电路和步骤。这种功能实现为硬件还是软件取决于特定的应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这种实现决策不应被解释为导致脱离本公开的范围。此外，示例设备可以包括除所示组件之外的组件，包括诸如处理器、存储器等公知的组件。

本公开的各方面适用于包括或耦合到一个或多个结构化光系统的任何合适的电子设备(诸如安全系统、智能电话、平板、膝上型计算机、车辆、无人机或其他设备)。虽然下面针对具有或耦合到一个结构化光系统的设备进行描述，但是本公开的各方面适用于具有任何数量的结构化光系统的设备，因此不限于特定的设备。

术语“设备”不限于一个或特定数量的物理对象(诸如一个智能电话、一个控制器、一个处理系统等)。如本文所使用的，设备可以是具有可以实现本公开的至少一些部分的一个或多个部件的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面，但是术语“设备”不限于特定的配置、类型或对象数量。另外，术语“系统”不限于多个组件或特定实施例。例如，系统可以在一个或多个印刷电路板或其他基板上实现，并且可以具有可移动或静态的组件。虽然以下描述和示例使用术语“系统”来描述本公开的各个方面，但是术语“系统”不限于特定的配置、类型或对象数量。

图5是包括结构化光系统(诸如图1中的结构化光系统100)的示例设备500的框图。在一些其他示例中，结构化光系统可以耦合到设备500。示例设备500可以包括或耦合到发射器501(诸如图1中的发射器102)和接收器502(诸如图1中的接收器108)。发射器501和接收器502可以被分开基线503。示例设备500还可以包括处理器504、存储指令508的存储器506和相机控制器510(其可以包括一个或多个图像信号处理器512)。设备500可选地可以包括(或耦合到)显示器514、多个输入/输出(I/O)组件516和相机522。设备500可以包括未示出的附加特征或组件。例如，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发器和基带处理器。

发射器501和接收器502可以是由相机控制器510和/或处理器504控制的、结构化光系统(诸如图1中的结构化光系统100)的部分。设备500可以包括或耦合到附加的结构化光系统，或者可以包括用于结构化光系统的不同配置。例如，设备500可以包括或耦合到用于以不同的视角捕获场景的多个帧的附加接收器(未示出)。本公开不应限于任何特定的示例或说明，包括示例设备500。

发射器501可以被配置为发射NIR范围内的光分布。例如，发射器501可以包括激光器，以发射波长为825nm或940nm的光。接收器502可以包括用于捕获帧的NIR传感器。接收器502可以具有用于帧捕获的基本曝光时间，或者可以具有基本帧捕获速率，并且曝光时间和/或帧捕获速率可以是可调的(诸如从基本帧捕获速率增加)。

存储器506可以是存储计算机可执行指令508以执行本公开中描述的一个或多个操作的全部或一部分的非瞬时性或非暂时性计算机可读介质。设备500还可以包括电源518，其可以耦合到设备500或集成到设备500中。

处理器504可以是能够执行存储在存储器506中的一个或多个软件程序的脚本或指令(诸如指令508)的一个或多个合适的处理器。在一些方面，处理器504可以是一个或多个通用处理器，其执行指令508以使设备500执行任何数量的功能或操作。在附加的或替代的方面，处理器504可以包括集成电路或其他硬件，以在不使用软件的情况下执行功能或操作。虽然在图5的示例中示出为经由处理器504彼此耦合，但是处理器504、存储器506、相机控制器510、可选显示器514和可选I/O组件516可以以各种布置彼此耦合。例如，处理器504、存储器506、相机控制器510、可选显示器514和/或可选I/O组件516可以经由一个或多个本地总线(为简单起见未示出)彼此耦合。

显示器514可以是允许用户交互和/或呈现供用户观看的项目(诸如场景的深度图或预览图像)的任何合适的显示器或屏幕。在一些方面，显示器514可以是触敏显示器。I/O组件516可以是或包括任何合适的机制、接口或设备，以从用户接收输入(诸如命令)，并向用户提供输出。例如，I/O组件516可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备500的可挤压边框或边界、位于设备500上的物理按钮等。显示器514和I/O组件516可以向用户提供场景的预览图像或深度图和/或接收用于调整设备500的一个或多个设置(诸如调整发射器501的发射强度，调整用于确定深度的码字的规模，调整接收器502的帧捕获速率，等等)的用户输入。

相机控制器510可以包括图像信号处理器512，图像信号处理器512可以是处理由接收器502捕获的帧的一个或多个处理器。图像信号处理器512还可以控制发射器501(诸如控制发射功率)并控制接收器502(诸如控制帧捕获速率或控制帧捕获的曝光时间)。在一些方面，图像信号处理器512可以执行来自存储器的指令(诸如来自存储器506的指令508或存储在耦合到图像信号处理器512的单独的存储器中的指令)。在其他方面，图像信号处理器512可以包括用于操作的特定硬件。图像信号处理器512可以替代地或附加地包括特定硬件和执行软件指令的能力的组合。

如果设备500包括可选相机522，则相机控制器510(诸如图像信号处理器512)可以控制相机522并处理由相机522捕获的图像帧。在设备500的一些替代示例实现方式中，处理器504或另一合适的设备组件可以被配置为控制相机522和/或处理由相机522捕获的图像帧。例如，单独的相机控制器(未示出)可以包括处理图像帧并控制相机522的一个或多个图像信号处理器。

相机522可以被定向为具有与接收器502大致相同的捕获场。例如，智能电话可以在具有显示器514的智能电话的正面上包括相机522和接收器502，并且相机522和接收器502可以被定向在相同的方向上。在一些示例实现方式中，相机522包括用于捕获可见光的图像传感器(诸如RGB传感器)。

以下示例是结合设备500进行描述的，以解释本公开中的一些概念。然而，其他合适的设备可以用于执行本公开的各方面，并且本公开不应限于特定的设备或组件配置，包括设备500。

图6A是描绘用于调整结构化光接收器传感器(诸如图5中的接收器502的传感器)的用于帧捕获的曝光时间的示例操作600的说明性流程图。从602开始，设备500可以确定要由接收器502捕获的场景的环境光量。然后，设备500可以基于环境光量来调整接收器502的传感器的用于一个或多个帧捕获的曝光时间，其中曝光时间与环境光量成反比(604)。以这种方式，设备500可以在环境光增加时减少曝光时间，并且可以在环境光减少时增加曝光时间。

如果用于帧捕获的曝光时间减少，则在有和没有来自发射器501的光分布反射的情况下的(在捕获帧中)度量之间的差异较小。例如，当曝光时间减少时，接收到来自从发射器501而来的光分布的反射光(诸如来自分布的光点的光)的传感器像素测量到更小的与未接收到来自光分布的反射光的传感器像素的强度差。返回参考图4A和图4B，当分别在图表400或450中向左移动(减少曝光时间402或452)时，线406和408或线456和458之间的差异减小。

设备500可以放大较小的度量差异，以识别捕获帧的哪些部分包括光分布的反射。在一些示例实现方式中，设备500可以将多个捕获帧聚合成聚合帧以放大差异。图6B是描绘用于生成聚合帧的示例操作650的说明性流程图。从652开始，设备500可以基于调整后的曝光时间从结构化光接收器接收多个捕获帧。例如，如果设备500基于环境光的增加而减少用于每个帧捕获的曝光时间(图6A中的604)，则结构化光接收器502可以使用缩短的曝光时间来捕获帧，并且设备500可以从接收器502接收捕获帧。

在生成聚合帧中，设备500可以对跨多个捕获帧的值进行聚合(654)。例如，可以跨多个帧将多个帧中的对应位置处的像素值相加。以这种方式，聚合帧包括针对每个像素的跨多个帧的聚合值。结果，对于设备500，可以放大在有和没有光分布反射的情况下的度量之间的差异，以更容易地识别光分布反射。可以使用其他合适的过程来放大度量差异，并且本公开不应限于图6B中的示例。例如，设备可以将捕获帧中的值乘以恒定值(因此在逻辑上聚合同一捕获帧的多个实例)。在另一示例中，捕获帧可以在不需要聚合的情况下是足够的。

返回参考图6A，在确定环境光量(602)的一些示例实现方式中，设备500可以基于来自接收器502的一个或多个捕获帧来确定环境光是否使接收器传感器饱和。另外，设备500可以确定传感器饱和的程度。图7是描绘用于确定接收器传感器的用于帧捕获的饱和度的示例操作700的说明性流程图。从702开始，设备500(诸如相机控制器510或图像信号处理器512)可以从接收器502接收一个或多个帧。设备500可以对于一个或多个帧中的每一个，识别帧的一个或多个部分是否饱和(704)。例如，设备500可以对于帧的每个像素，确定像素是否饱和(706)。在一个示例中，如果帧中的像素值是最大强度值，则可以确定像素是饱和的。在另一示例中，如果像素具有最大强度值并且多个相邻像素具有最大强度值，则可以确定该像素是饱和的。作为说明性示例，如果帧值可以在从0到256的范围内，则设备500可以在像素值(以及可选地，多个相邻像素值)为256的情况下确定像素是饱和的。设备500可以确定每个帧的饱和像素的量(708)。在一个示例中，设备500可以确定帧的饱和像素的数量。附加地或替代地，设备500可以确定饱和像素与帧的总像素的比例。

前进至710，设备500可以跨一个或多个帧累积所识别的饱和度。在一个示例中，设备500可以跨一个或多个帧确定饱和像素的总量(712)。例如，设备500可以跨一个或多个帧确定像素饱和的实例的总数。附加地或替代地，设备500可以跨一个或多个帧确定饱和像素与总像素的组合比例(诸如简单平均比例、中位比例、加权平均比例或其他合适的比例)。

在确定饱和像素的总量的一些附加或替代方面，设备500可以确定连续帧之间的饱和像素量的增加或减少(714)。设备500可以确定连续帧之间的饱和像素总数或饱和像素与总像素的比例的变化。在一些示例中，设备500可以确定连续帧之间的变化趋势。作为说明性示例，如果接收到四个帧(帧1、帧2、帧3和帧4)并且设备500确定帧1和2、帧2和3以及帧3和4之间的变化是饱和度增加时，设备500可以确定跨帧的饱和度增加趋势。附加地或替代地，设备500可以确定变化的幅度是增加还是减小。例如，设备500可以跨多个连续帧确定饱和像素量的增加或减少是加速还是减速。

设备500可以对于一个帧或多个帧累积关于帧中的饱和度的统计。如果对于多个帧进行累积，则设备500可以在每次接收到帧时更新累积。在一些示例实现方式中，可以跨定义数量的帧(诸如2个、3个、5个或其他合适数量的帧)累积饱和度统计。例如，设备500可以包括或被配置为缓冲来自接收器502的最后5个帧的饱和量。在接收到新帧并确定该帧的饱和量时，设备500可以移除最老的缓冲饱和量，并缓冲新帧的饱和量。以这种方式，随着从接收器502接收到帧，累积的识别饱和度可以是跨多个帧的移动窗口。在一些示例实现方式中，窗口的大小(例如，缓冲器的大小)可以是固定的。在一些其他示例实现方式中，窗口的大小(例如，缓冲器的大小)可以是可调的。在一个示例中，当帧之间的饱和像素总量的方差增大时，设备500可以增大窗口大小，并且当帧之间的饱和像素总量的方差减小时，设备500可以减小窗口大小。

虽然关于图7描述了跨一个或多个帧累积饱和度统计的一些示例，但是可以使用饱和度统计的任何合适的累积。本公开不应限于关于图7的以上示例。

在一些其他示例实现方式中，除了或者替代饱和度统计，设备500可以累积其他统计。在一个示例中，设备500可以确定帧的平均测得强度(诸如帧的平均流明或勒克斯)。然后，设备500可以缓冲多个平均强度和/或确定跨帧的总平均强度。曝光时间可以与平均强度成反比。类似于使用饱和度统计，设备500可以使用一个或多个强度阈值来确定何时调整以及调整多少曝光时间。

在另一示例中，设备500可以确定在对帧进行处理以识别光分布的一个或多个码字时发生的解码错误的数量。设备500可以通过确定误识别的码字的数量或未为其识别出码字的帧的部分，来确定解码错误的数量。设备可以确定跨一个或多个帧的解码错误的总数、解码错误的平均或中位数或解码错误的趋势。可以为多个帧缓冲解码错误的数量。曝光时间可以与解码错误的数量成反比。设备500可以使用一个或多个解码错误阈值来确定何时调整以及调整多少曝光时间。

在另一示例中，设备500可以确定一个或多个帧的信噪比(SNR)。环境光可以被认为是噪声。以这种方式，SNR与环境光量成反比。例如，在室内或夜间捕获的帧可能比在明亮的白天期间捕获的帧具有更高的SNR。设备可以确定跨一个或多个帧的平均SNR、中值SNR或SNR趋势。可以为多个帧缓冲SNR。设备500可以使用一个或多个SNR阈值来确定何时调整以及调整多少曝光时间。

可以使用其他合适的累积统计，并且本公开不应限于所提供的示例。此外，设备500可以在确定何时调整以及调整多少曝光时间时使用累积统计的组合。例如，设备500可以使用强度统计和解码误差统计来确定何时调整以及调整多少曝光时间。累积统计的组合可以是例如投票检查器，其中任何统计可以使设备500确定何时调整以及调整多少曝光时间。可以使用统计的其他合适的组合，并且本公开不应限于所提供的示例。

返回参考图6A，对于累积统计的以上示例，可以由设备500(在602中)将环境光量确定为例如饱和度统计、强度统计、解码误差统计、SNR统计或其他合适的统计中的至少一个。在调整接收器传感器的用于帧捕获的曝光时间(在604中)的一些示例实现方式中，设备500可以基于累积的统计来确定何时调整以及调整曝光时间的量。

曝光时间可以基于或对应于接收器502的帧捕获速率。例如，设备500可以通过增加接收器502的帧捕获速率来减少用于帧捕获的曝光时间。接收器502可以具有基本帧捕获速率(例如，15fps、30fps、33fps等)。基本帧捕获速率可以是固定的，或者设备500可以基于例如设备500的图像处理管线中的一个或多个操作来调整基本帧捕获速率。例如，如果设备在处理来自接收器502的帧时变慢，则设备500可以降低基本帧捕获速率以进行补偿。

在减少曝光时间的一些示例实现方式中，设备500可以增加接收器502的帧捕获速率(诸如从基本帧捕获速率中)。在一些方面，设备500可以基于至少一个累积统计将帧捕获速率增加到基本帧捕获速率的整数倍。作为示例，接收器502可以具有15fps的基本帧捕获速率。接收器502以基本帧捕获速率大约每67ms捕获一帧，并且用于每个帧捕获的曝光时间小于67ms。如果接收器502基于至少一个累积统计将帧捕获速率从15fps(基本帧捕获速率)增加到例如30fps(基本帧捕获速率的整数倍)，则用于每个帧捕获的曝光时间小于约33ms。在一些其他示例中，可以在不调整接收器502的帧捕获速率的情况下调整曝光时间。

利用较短的曝光时间(诸如基于较高的帧捕获速率)，接收器传感器在帧捕获期间不太可能饱和。然而，当减少曝光时间时，所确定的在有和没有光分布反射的情况下接收到的光之间的差异较小。返回参考图4A和图4B，当分别在图表400或450中向左移动(减少曝光时间402或452)时，线406和408或线456和458之间的差异减小。

在一些示例实现方式中，设备500可以通过跨多个帧对测得的光强度进行聚合，来增加在有和没有光分布反射的情况下测得的总光强度的差异。以这种方式，设备500可以补偿曝光时间的减少(诸如基于帧捕获速率)。聚合光强度可以用于生成聚合帧(诸如以上关于图6B所描述的)，并且设备可以将聚合帧用于有源深度感测(诸如用于生成深度图)。虽然下面关于增加帧捕获速率来描述针对聚合帧来聚合测得的光强度的示例，但是可以在不增加帧捕获速率的情况下聚合测量光强度，并且本公开不应限于以下示例。

图8是描绘用于基于增加的帧捕获速率来生成聚合帧的示例操作800的说明性流程图。聚合帧可以包括基于调整后的帧捕获速率的跨多个帧聚合的测得光强度。从802开始，设备500可以基于累积统计来调整接收器502的帧捕获速率。在一些示例实现方式中，设备500可以将帧捕获速率从基本帧捕获速率增加到基本帧捕获速率的整数倍(804)。在一些实例中，当前帧捕获速率可能已经是基本帧捕获速率的整数倍(大于1)。因此，设备500可以将帧捕获速率降低到基本帧捕获速率的较低整数倍(包括基本帧捕获速率本身)，或者设备500可以将帧捕获速率增加到基本帧捕获速率的较高整数倍。

在调整帧捕获速率之后，设备500可以使用调整后的帧捕获速率从接收器502接收多个帧捕获(806)，并且设备500可以从接收到的帧中生成聚合帧(808)。在一些示例实现方式中，设备500可以跨多个接收到的帧聚合对应像素的值(810)。例如，设备500可以堆叠该多个接收到的帧。对其进行聚合(堆叠)的接收帧的数量可以是基本帧捕获速率的整数倍数。在一个示例中，如果基本帧捕获速率是15fps，而当前帧捕获速率是30fps，则要聚合的接收帧数可以是2(因为当前帧捕获速率是基本帧捕获速率的2倍)。在另一示例中，如果当前帧捕获速率是60fps，则要聚合的接收帧数可以是4(因为当前帧捕获速率是基本帧捕获速率的4倍)。虽然示例描述了聚合等于基本帧捕获速率的整数倍的数量的帧，但是设备500可以聚合任何数量的帧。此外，帧捕获速率可以是基本帧捕获速率的非整数倍，并且本公开不应限于在生成聚合帧中的特定倍数或特定帧捕获速率。

如果所生成的聚合帧包括等于用于当前帧捕获速率的基本帧捕获速率的整数倍的聚合数量的帧，则(由设备500生成的)聚合帧的速率可以与基本帧捕获速率相同。例如，如果基本帧捕获速率为30fps，当前帧捕获速率为90fps，并且每个聚合帧包括3个帧捕获(在当前帧捕获速率下)，则聚合帧的周期性可以等于基本帧捕获速率。

在一些示例实现方式中，接收器传感器的跨针对聚合帧聚合的捕获帧的总(聚合)曝光时间可以大约等于接收器传感器的用于在基本帧捕获速率下的帧的曝光时间。以这种方式，可以独立于帧捕获速率来使用可以用于确定调整帧捕获速率的任何阈值。此外，设备500可以在执行有源深度感测时与以基本帧捕获速率捕获的帧相同地处理聚合帧。以这种方式，设备500在使用聚合帧代替捕获帧(在基本帧捕获速率下)用于有源深度感测或帧捕获速率调整时，可以不需要执行任何计算或转换。在一些其他示例实现方式中，设备500可以基于帧捕获速率或所生成的聚合帧的类型来调整有源深度感测操作或帧捕获速率调整操作。

图9是用于生成聚合帧的示例组件的框图900。来自接收器502的传感器902可以是具有30fps的基本帧捕获速率的NIR传感器。传感器902可以以30fps的速率向设备500提供捕获帧的流904。设备500可以包括统计收集模块906，以确定和累积要用于确定传感器902的帧捕获速率的一个或多个统计。累积的统计912可以由帧捕获速率确定模块908接收，并且帧捕获速率确定模块908可以使用统计912来确定是否调整传感器902的帧捕获速率以及调整多少帧捕获速率。例如，模块908可以将统计912与一个或多个阈值(诸如饱和度阈值、强度阈值或其他合适的阈值)进行比较，以确定是否调整以及要调整多少传感器902的帧捕获速率。如果模块908确定要调整帧捕获速率，则模块908可以发送用于调整帧捕获速率的指令916。指令916可以指示基本帧捕获速率的倍数N(其中N是等于或大于1的整数)。指令916可以由接收器502或控制接收器502的控制器(诸如相机控制器510)接收，以将传感器902的帧捕获速率调整为基本帧捕获速率的N倍(诸如30N，其中30fps是基本帧捕获速率)。确定模块908还可以将关于要被聚合的帧的数量的指令914发送到帧聚合模块910。例如，确定模块908可以向聚合模块910发送指令以聚合N个帧。聚合模块910可以基于指令914从捕获帧的流904中聚合(诸如堆叠)连续的N个帧，并且聚合模块910可以生成聚合帧的流918。聚合帧的流918可以处于等于传感器902的基本帧捕获速率的速率(诸如对于30fps的基本帧捕获速率为30fps)。

确定和累积统计、确定调整帧捕获速率、指示调整帧捕获速率以及生成聚合帧(诸如图9中的模块906、908和910)可以例如由相机控制器510(诸如图像信号处理器512)、处理器504和/或设备500的其他合适的组件来执行。操作可以体现在存储在存储器506(或设备500的另一合适的存储器)中并由处理器执行的指令508中，可以使用专用硬件来执行(诸如在图像信号处理器512或处理器504中)，或者可以使用硬件和软件的组合来执行。

除了确定在生成聚合帧中要聚合的捕获帧的数量之外，设备500还可以确定要针对聚合帧聚合哪些捕获帧。在图9的以上示例中，设备500可以聚合N个连续的帧(其中N是用于当前帧捕获速率的基本帧捕获速率的整数倍)。

在一些示例实现方式中，设备可以基于来自相机的图像帧捕获来同步来自接收器502的要聚合的捕获帧。返回参考图5，设备500可以包括或耦合到相机522。相机522可以包括图像传感器，诸如RGB传感器，用于使用接收到的可见光来捕获图像。接收器502(其可以接收NIR)可以辅助相机522(其可以接收可见光)。在一个示例中，来自接收器502的NIR度量可以用于帮助确定相机522的焦距。在另一示例中，来自接收器502的NIR度量可以用于在弱光场景下对来自相机522的捕获图像帧进行颜色平衡。如果接收器502和相机522要同时操作，则设备500可以被配置为使接收器502的帧捕获与相机522的图像帧捕获同步。在一些示例实现方式中，相机控制器510可以使接收器502和相机522的帧捕获同步。在一些其他示例实现方式中，处理器504或设备500的另一合适的组件可以使接收器502和相机522的帧捕获同步。本公开不应限于执行使帧捕获同步的示例操作的特定组件或组件组合。

接收器502可以以大于相机522的帧捕获速率的帧捕获速率进行操作。在同步来自接收器502和相机522的捕获时，设备500可以使接收器502传感器的多个曝光窗口的定时与相机522图像传感器的曝光窗口的定时同步。相机522可以具有全局快门(其中同时扫描图像传感器的所有像素)或滚动快门(其中顺序扫描图像传感器的像素)。

图10是使设备500的接收器502和相机522的接收器502传感器曝光窗口1003与图像传感器曝光窗口1002同步的图示。开始图像传感器曝光1004是当图像传感器的第一像素开始(或结束)曝光以进行帧捕获时的定时图示。结束图像传感器曝光1006是当图像传感器的最后像素开始(或结束)曝光以进行图像帧捕获时的定时图示。全局快门1008A、1008B和1008C指示何时扫描图像传感器像素以捕获图像帧(因此指示前一个曝光窗口的结束)。例如，全局快门1008B指示曝光窗口1002A的结束，并且全局快门1008C指示曝光窗口1002B的结束。虽然在结束图像传感器针对第一图像帧的曝光窗口与开始图像传感器针对下一图像帧的曝光窗口之间存在时间量，但是出于示例的目的，图10示出了曝光窗口1002A的结束，并且将曝光窗口1002B的开始示出为发生在同一时间(在全局快门1008B处)。

相机522可以提供指示何时使用图像传感器的快门的同步(sync)选通信号1010。以这种方式，设备500可以知道用于捕获帧的曝光窗口的结束。例如，同步选通脉冲1010A可以指示全局快门1008A何时发生，同步选通脉冲1010B可以指示全局快门1008B何时发生，并且同步选通脉冲1010C可以指示全局快门1008C何时发生。对于全局快门，曝光窗口的结束对于图像传感器的所有像素是同一时间(如全局快门1008A-1008C的垂直线所指示)。

设备500可以基于相机522的类型和其他设备配置来知道图像传感器的曝光窗口的长度。使用已知的曝光窗口长度，设备500可以使用同步选通信号1010来使接收器502的帧捕获的定时(或曝光时间)同步。例如，设备500可以使用同步选通脉冲1010A来使图像传感器的曝光窗口1003A与曝光窗口1002A对准(通过调整曝光窗口1003的开始)。设备500可以基于已知的曝光窗口长度来确定与相机522的图像传感器的曝光窗口相对应的、接收器502的捕获帧的数量。在图10的示例中，设备500可以确定聚合与4个曝光窗口1003相对应的4个连续帧，以生成聚合帧(基于曝光窗口长度和相机522的图像传感器的快门的定时)。以这种方式，聚合帧曝光窗口1012A(针对第一聚合帧)对应于曝光窗口1002A，并且聚合帧曝光窗口1012B(针对第二聚合帧)对应于曝光窗口1002B。在一些示例实现发生中，接收器502的基本帧捕获速率可以等于相机522的图像帧捕获速率。

虽然图10中提供的示例示出了在曝光窗口1002期间发生整数倍的曝光窗口1003，但是曝光窗口1002和1003可以不如所示那样对准。在一些示例实现方式中，设备500可以确定与曝光窗口1002最对准的曝光窗口1003。例如，如果在曝光窗口1002期间发生3.5个曝光窗口1003，则设备500可以针对聚合帧使用三个或四个曝光窗口1003。在一些其他示例实现方式中，设备500可以延迟接收器502的帧捕获，以将曝光窗口1003的开始与曝光窗口1004的开始对准。可以使用任何其他合适的对准技术，并且本公开不应限于所提供的示例。

替代全局快门，相机522可以包括滚动快门。结果，当捕获图像帧时，对于相机522的不同图像传感器像素，曝光窗口的定时可能不同。图11是使接收器502的传感器曝光窗口1103与具有滚动快门的相机522的图像传感器曝光窗口1102同步的图示。开始图像传感器曝光1104是当图像传感器的第一像素开始(或结束)曝光以进行帧捕获时的定时图示。结束图像传感器曝光1106是当图像传感器的最后像素开始(或结束)曝光以进行图像帧捕获时的定时图示。由于相机522包括图11的滚动快门，所以针对滚动快门1108A、1108B和1108C的线倾斜以指示何时扫描图像传感器像素以捕获图像帧(其中第一像素在最后像素之前被扫描)。例如，滚动快门1108B指示与确定的曝光窗口1102A相对应的曝光窗口的结束，其对于图像传感器的不同像素是不同的。滚动快门1108C指示与确定的曝光窗口1102B相对应的曝光窗口的结束。基于相机522和设备500，可以知道或确定从开始滚动快门的扫描到结束滚动快门的扫描的时间。

对于图像传感器曝光窗口1102，当正在扫描图像传感器的像素时，在曝光窗口的结束期间(诸如由间隔1114所示)，可以不曝光图像传感器的一个或多个像素。例如，用于扫描的第一像素的曝光窗口可以在用于从图像传感器扫描的最后像素的曝光窗口之前结束。设备500基于相机522可以知道或确定使用滚动快门的图像传感器的扫描时间(诸如由间隔1114指示)。例如，相机522可以具有其图像传感器的像素扫描速率，并且扫描时间可以是图像传感器的像素数除以像素扫描速率。

类似于关于全局快门的图10中的示例，相机522可以提供指示图像传感器的滚动快门何时开始(何时开始针对图像帧扫描图像传感器的像素)的同步选通信号1110。同步选通脉冲1110A可以指示滚动快门1108A何时开始，同步选通脉冲1110B可以指示滚动快门1108B何时开始，并且同步选通脉冲1110C可以指示滚动快门1108C何时开始。

当图像传感器的所有像素都被曝光时(诸如由所确定的曝光窗口1102A和1102B示出，其中从对应的曝光窗口1102中移除在滚动快门1108A、1108B和1108C期间的间隔(诸如间隔1114)，设备500可以确定曝光的部分。在一些示例实现方式中，设备500可以使接收器传感器曝光窗口1103与图像传感器的所确定的曝光窗口同步(例如，排除在滚动快门期间的间隔)。因此，设备500可以排除在滚动快门期间发生或者在图像传感器的所确定的曝光窗口之外发生的接收器传感器曝光窗口1103(排除滚动快门的时间间隔)。

例如，在图11中，设备500可以将曝光窗口1103B的开始与所确定的曝光窗口1102A的开始对准。以这种方式，设备500可以排除曝光窗口1103A，以免将其用于与曝光窗口1112A相对应的聚合帧(和先前的聚合帧)。用于聚合帧的曝光窗口1112B对应于所确定的曝光窗口1102B，并且用于接收器502的聚合帧各自包括3个捕获帧并排除1个捕获帧。在图11的示例中，滚动快门的时间大约等于接收器502的一个曝光窗口。然而，滚动快门可以采取更长或更短的时间量。

虽然图11中提供的示例示出了在所确定的曝光窗口1102A-1102B期间发生整数倍的曝光窗口1103，但是曝光窗口可以不如所示那样对准。在一些示例实现方式中，设备500可以确定与所确定的曝光窗口1102A最对准的曝光窗口1103。例如，设备500可以排除具有在相机522的滚动快门期间的曝光窗口的任何开始部分的、接收器502的任何曝光窗口。在一些其他示例实现方式中，设备500可以延迟接收器502的帧捕获，以将曝光窗口1103的开始与所确定的曝光窗口1102的开始对准(排除在滚动快门期间的间隔)。可以使用任何其他合适的对准技术，并且本公开不应限于所提供的示例。

在一些示例实现方式中，设备500可以使用同步选通信号来确定何时开始针对相机522的帧从接收器502收集捕获帧。例如，设备500可以在接收到图像帧的同步选通脉冲时或之后开始收集(用于聚合)捕获帧。如果相机522包括滚动快门，则设备500可以在用于根据同步选通脉冲进行扫描的已知时间间隔(诸如在同步选通脉冲1110A之后、在开始从接收器502收集帧以用于聚合之前的间隔1114)之后开始收集帧(用于聚合)。以这种方式，可以使接收器502的帧捕获与相机522的图像帧同步，确保聚合帧中的场景信息与捕获的图像帧中的场景信息相对应。虽然针对以上示例描述了同步选通信号1010和1110，但是可以使用相机522的快门的任何合适的信号或指示，并且本公开不应限于使用同步选通信号。

除非特别描述为以特定方式实现，否则本文描述的技术可以以硬件、软件、固件或其任何组合来实现。被描述为模块或组件的任何特征也可以一起在集成逻辑设备中实现，或者单独作为分立但可互操作的逻辑设备实现。如果以软件实现，则技术可以至少部分地由包括指令508的非暂时性处理器可读存储介质(诸如图5的示例设备500中的存储器506)实现，该指令508在由处理器504(或相机控制器510或图像信号处理器512)执行时，使设备500执行以上描述的方法中的一个或多个。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。

非易失性处理器可读存储介质可以包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、其他已知的存储介质等。附加地或替代地，技术可以至少部分地由承载或传递代码的处理器可读通信介质来实现，该代码具有指令或数据结构的形式，并且可以由计算机或其他处理器访问、读取和/或执行。

结合本文公开的实施例描述的各种说明性的逻辑块、模块、电路和指令可以由一个或多个处理器(诸如图5的示例设备500中的处理器504或图像信号处理器512)执行。这样的处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等效的集成或分立逻辑电路。如本文所使用的，术语“处理器”可以指任何前述结构或适合于实现本文描述的技术的任何其他结构。另外，在一些方面，可以在如本文描述的那样配置的专用软件模块或硬件模块内提供本文描述的功能。同样，技术可以在一个或多个电路或逻辑元件中完全实现。通用处理器可以是微处理器，但是可替代地，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器也可以实现为计算设备的组合，例如DSP和微处理器、多个微处理器、与DSP核心结合的一个或多个微处理器、或任何其他这样的配置的组合。

虽然本公开示出了说明性方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在本文中进行各种改变和修改。例如，虽然将结构化光系统描述为使用NIR，但可以使用其他频率的信号，诸如微波、其他红外、紫外和可见光。在另一示例中，虽然示例描述了基于环境光量自动调整曝光时间，但是设备500可以基于用户输入来调整曝光时间。例如，由于场景的深度图中的错误或遗漏的数量，用户可以输入指令以增加接收器502的帧捕获速率，并且设备500可以基于用户输入来调整接收器502的帧捕获速率和聚合帧。在另一示例中，接收器502可以具有最大帧捕获速率，在该最大帧捕获速率处，设备500不增加速率(即使饱和度或其他统计指示帧捕获速率的增加)。例如，最大速率可以是接收器502的物理限制或对应于设备500的最大处理速度。

此外，除非另外明确指出，否则根据本文描述的方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行。例如，如果由设备500、相机控制器510、处理器504和/或图像信号处理器512执行，则所描述的示例操作的步骤可以以任何顺序和以任何频率执行。此外，尽管元件可以以单数形式描述或要求保护，但是可以想到复数形式，除非明确说明了对单数形式的限制。因此，本公开不限于所示出的示例，并且用于执行本文描述的功能的任何部件都包括在本公开的方面中。

Claims (30)

1.一种用于有源深度感测的方法，包括：

确定要由结构化光接收器捕获的场景的环境光量；

基于所确定的环境光量来调整所述结构化光接收器的传感器的用于帧捕获的曝光时间，其中所述结构化光接收器的传感器的曝光时间与所确定的环境光量成反比；

基于调整后的曝光时间从所述结构化光接收器接收多个捕获帧；以及

生成聚合帧，包括对跨所述多个捕获帧的值进行聚合。

2.根据权利要求1所述的方法，还包括：

调整所述结构化光接收器的帧捕获速率，其中所述调整后的曝光时间基于调整后的帧捕获速率。

3.根据权利要求2所述的方法，其中调整所述帧捕获速率包括：将所述帧捕获速率从基本帧捕获速率增加到所述基本帧捕获速率的整数倍。

4.根据权利要求3所述的方法，其中：

生成所述聚合帧包括对以增加的帧捕获速率捕获的连续数量的接收帧进行聚合，其中在生成所述聚合帧中的接收帧的数量等于所述基本帧捕获速率的所述整数倍。

5.根据权利要求2所述的方法，还包括：使来自所述结构化光接收器的帧捕获与来自被配置为测量可见光的相机的图像帧捕获同步。

6.根据权利要求5所述的方法，其中使帧捕获和图像帧捕获同步包括：

确定用于来自所述相机的图像帧捕获的曝光窗口的开始，其中所述曝光窗口的长度是已知的；

在所述曝光窗口的开始之后并且在来自所述相机的图像帧捕获的曝光窗口期间，确定来自所述结构化光接收器的帧捕获的曝光窗口；

针对所确定的曝光窗口从所述结构化光接收器接收捕获帧；以及

通过对接收到的捕获帧进行聚合来生成聚合帧。

7.根据权利要求6所述的方法，还包括：

在确定来自所述结构化光接收器的帧捕获的曝光窗口中，排除在滚动快门期间的用于所述图像帧捕获的曝光窗口的一部分；以及

排除具有在用于所述图像帧捕获的滚动快门期间的曝光窗口的、从所述结构化光接收器接收到的一个或多个捕获帧，以免在生成所述聚合帧中被聚合。

8.根据权利要求1所述的方法，其中确定环境光量包括由以下组成的组中的至少一项：

确定跨来自所述结构化光接收器的一个或多个捕获帧的饱和度统计；

确定跨来自所述结构化光接收器的一个或多个捕获帧的强度统计；

确定跨来自所述结构化光接收器的一个或多个捕获帧的解码错误统计；以及

确定跨来自所述结构化光接收器的一个或多个捕获帧的信噪比统计。

9.一种用于有源深度感测的设备，包括：

存储器；以及

处理器，所述处理器耦合到所述存储器并且被配置为：

确定要由结构化光接收器捕获的场景的环境光量；

基于所确定的环境光量来调整所述结构化光接收器的传感器的用于帧捕获的曝光时间，其中所述结构化光接收器的传感器的曝光时间与所确定的环境光量成反比；

基于调整后的曝光时间从所述结构化光接收器接收多个捕获帧；以及

生成聚合帧，包括对跨所述多个捕获帧的值进行聚合。

10.根据权利要求9所述的设备，还包括所述结构化光接收器，其中所述处理器还被配置为调整所述结构化光接收器的帧捕获速率，其中所述调整后的曝光时间基于调整后的帧捕获速率。

11.根据权利要求10所述的设备，其中调整所述帧捕获速率包括：将所述帧捕获速率从基本帧捕获速率增加到所述基本帧捕获速率的整数倍。

12.根据权利要求11所述的设备，其中所述结构化光接收器被配置为以增加的帧捕获速率捕获帧，并且其中在生成聚合帧中，所述处理器被配置为：

对以增加的帧捕获速率捕获的连续数量的接收帧进行聚合，其中在生成所述聚合帧中的接收帧的数量等于所述基本帧捕获速率的所述整数倍。

13.根据权利要求10所述的设备，还包括被配置为捕获可见光谱中的图像帧的相机，其中所述处理器还被配置为使来自所述结构化光接收器的帧捕获与来自所述相机的图像帧捕获同步。

14.根据权利要求13所述的设备，其中在使帧捕获和图像帧捕获同步中，所述处理器被配置为：

确定用于来自所述相机的图像帧捕获的曝光窗口的开始，其中所述曝光窗口的长度是已知的；

在所述曝光窗口的开始之后并且在来自所述相机的图像帧捕获的曝光窗口期间，确定来自所述结构化光接收器的帧捕获的曝光窗口；

针对所确定的曝光窗口从所述结构化光接收器接收捕获帧；以及

通过对接收到的捕获帧进行聚合来生成聚合帧。

15.根据权利要求14所述的设备，其中所述处理器还被配置为：

在确定来自所述结构化光接收器的帧捕获的曝光窗口中，排除在滚动快门期间的用于所述图像帧捕获的曝光窗口的一部分；以及

排除具有在用于所述图像帧捕获的滚动快门期间的曝光窗口的、从所述结构化光接收器接收到的一个或多个捕获帧，以免在生成所述聚合帧中被聚合。

16.根据权利要求9所述的设备，其中在确定环境光量中，所述处理器还被配置为确定由以下组成的组中的至少一项：

跨来自所述结构化光接收器的一个或多个捕获帧的饱和度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的强度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的解码错误统计；以及

跨来自所述结构化光接收器的一个或多个捕获帧的信噪比统计。

17.一种非暂时性计算机可读介质，其存储包含指令的一个或多个程序，所述指令在由设备的一个或多个处理器执行时使所述设备：

确定要由结构化光接收器捕获的场景的环境光量；

基于所确定的环境光量来调整所述结构化光接收器的传感器的用于帧捕获的曝光时间，其中所述结构化光接收器的传感器的曝光时间与所确定的环境光量成反比；

基于调整后的曝光时间从所述结构化光接收器接收多个捕获帧；以及

生成聚合帧，包括对跨所述多个捕获帧的值进行聚合。

18.根据权利要求17所述的计算机可读介质，其中所述指令还使所述设备将所述结构化光接收器的帧捕获速率从基本帧捕获速率增加到所述基本帧捕获速率的整数倍，其中所述调整后的曝光时间基于调整后的帧捕获速率。

19.根据权利要求18所述的计算机可读介质，其中用于生成聚合帧的所述指令使所述设备：

对以增加的帧捕获速率捕获的连续数量的接收帧进行聚合，其中在生成所述聚合帧中的接收帧的数量等于所述基本帧捕获速率的所述整数倍。

20.根据权利要求17所述的计算机可读介质，其中所述指令还使所述设备使来自所述结构化光接收器的帧捕获与来自被配置为测量可见光的相机的图像帧捕获同步。

21.根据权利要求20所述的计算机可读介质，其中用于使帧捕获和图像帧捕获同步的所述指令使所述设备：

确定用于来自所述相机的图像帧捕获的曝光窗口的开始，其中所述曝光窗口的长度是已知的；

在所述曝光窗口的开始之后并且在来自所述相机的图像帧捕获的曝光窗口期间，确定来自所述结构化光接收器的帧捕获的曝光窗口；

针对所确定的曝光窗口从所述结构化光接收器接收捕获帧；以及

通过对接收到的捕获帧进行聚合来生成聚合帧。

22.根据权利要求21所述的计算机可读介质，其中所述指令还使所述设备：

在确定来自所述结构化光接收器的帧捕获的曝光窗口中，排除在滚动快门期间的用于所述图像帧捕获的曝光窗口的一部分；以及

排除具有在用于所述图像帧捕获的滚动快门期间的曝光窗口的、从所述结构化光接收器接收到的一个或多个捕获帧，以免在生成所述聚合帧中被聚合。

23.根据权利要求17所述的计算机可读介质，其中用于确定环境光量的所述指令使所述设备确定由以下组成的组中的至少一项：

跨来自所述结构化光接收器的一个或多个捕获帧的饱和度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的强度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的解码错误统计；以及

跨来自所述结构化光接收器的一个或多个捕获帧的信噪比统计。

24.一种用于有源深度感测的设备，包括：

用于确定要由结构化光接收器捕获的场景的环境光量的部件；

用于基于所确定的环境光量来调整所述结构化光接收器的传感器的用于帧捕获的曝光时间的部件，其中所述结构化光接收器的传感器的曝光时间与所确定的环境光量成反比；

用于基于调整后的曝光时间从所述结构化光接收器接收多个捕获帧的部件；以及

用于生成聚合帧的、被配置为对跨所述多个捕获帧的值进行聚合的部件。

25.根据权利要求24所述的设备，还包括用于将所述结构化光接收器的帧捕获速率从基本帧捕获速率增加到所述基本帧捕获速率的整数倍的部件，其中所述调整后的曝光时间基于调整后的帧捕获速率。

26.根据权利要求25所述的设备，其中用于生成聚合帧的所述部件被配置为：

对以增加的帧捕获速率捕获的连续数量的接收帧进行聚合，其中在生成所述聚合帧中的接收帧的数量等于所述基本帧捕获速率的所述整数倍。

27.根据权利要求24所述的设备，还包括用于使来自所述结构化光接收器的帧捕获与来自被配置为测量可见光的相机的图像帧捕获同步的部件。

28.根据权利要求27所述的设备，还包括：

用于确定用于来自所述相机的图像帧捕获的曝光窗口的开始的部件，其中所述曝光窗口的长度是已知的；

用于在所述曝光窗口的开始之后并且在来自所述相机的图像帧捕获的曝光窗口期间、确定来自所述结构化光接收器的帧捕获的曝光窗口的部件；

用于针对所确定的曝光窗口从所述结构化光接收器接收捕获帧的部件；以及

用于通过对接收到的捕获帧进行聚合来生成聚合帧的部件。

29.根据权利要求28所述的设备，还包括：

用于在确定来自所述结构化光接收器的帧捕获的曝光窗口中、排除在滚动快门期间的用于所述图像帧捕获的曝光窗口的一部分的部件；以及

用于排除具有在用于所述图像帧捕获的滚动快门期间的曝光窗口的、从所述结构化光接收器接收到的一个或多个捕获帧、以免在生成所述聚合帧中被聚合的部件。

30.根据权利要求24所述的设备，其中环境光量包括由以下组成的组中的至少一项：

跨来自所述结构化光接收器的一个或多个捕获帧的饱和度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的强度统计；

跨来自所述结构化光接收器的一个或多个捕获帧的解码错误统计；以及

跨来自所述结构化光接收器的一个或多个捕获帧的信噪比统计。

Images