CN113167901A - 利用强度信息的三维成像 - Google Patents

Abstract

一种用于操作飞行时间传感器系统的方法包括：通过飞行时间传感器系统的飞行时间传感器的像素阵列生成表示来自环境的反射光的信号数据；基于表示来自环境的反射光的信号数据，生成环境中对象的强度表示；确定强度表示指示环境中的对象包括目标对象；以及响应于该确定，基于表示反射光的数据生成环境的三维表示。

Description

利用强度信息的三维成像

背景技术

三维(3D)成像使得能够捕获场景的深度表示。诸如飞行时间(time-of-flight，ToF)系统之类的3D感测系统采用例如红外照明源的照明源和传感器。3D感测系统的照明源可以是具有专用像素(诸如锁定像素或单光子雪崩二极管)的调制的照明源。用于照明的调制频率或脉冲长度可以取决于以下因素，诸如距离范围和所得图像的期望精度，并且范围可以高达数百兆赫兹(对于调制频率)，或者可以短至几皮秒(对于脉冲长度)。

发明内容

在一个方面，一种用于操作飞行时间传感器系统的方法包括：通过飞行时间传感器系统的飞行时间传感器的像素阵列，生成表示来自环境的反射光的信号数据；基于表示来自环境的反射光的信号数据，生成环境中对象的强度表示；确定强度表示指示环境中的对象包括目标对象；以及响应于该确定，基于表示反射光的数据生成环境的三维表示。

实施例可以包括一个或多个以下特征。

生成环境的三维表示包括解调表示反射光的数据。

环境的强度表示的生成比环境的三维表示的生成使用更少的功率。

该方法包括通过飞行时间传感器的处理电路，确定环境中存在对象。该方法包括响应于确定环境中存在对象而生成强度表示。信号数据包括具有第一分辨率的第一图像数据。确定环境中存在对象包括：基于第一图像数据生成第二图像数据，第二图像数据具有小于第一分辨率的第二分辨率；以及确定第二图像数据指示环境中存在对象。

生成强度表示包括生成环境的二维表示。

确定强度表示指示对象包括目标对象包括：执行对象识别过程。

该方法包括用调制的照明光照亮环境。当环境具有低于阈值的光水平时，包括用低频调制的光照亮环境。该方法包括使飞行时间传感器的操作与照明光的调制同步。

在一个方面，一种飞行时间传感器系统包括：飞行时间传感器，该飞行时间传感器包括被配置为生成表示来自环境的反射光的信号数据的像素阵列；以及一个或多个处理器，该处理器被配置为：基于表示来自环境的反射光的信号数据生成环境中的对象的强度表示，确定强度表示指示存在于所述环境中的对象包括目标对象；以及基于表示反射光的信号数据生成环境的三维表示。

实施例可以包括一个或多个以下特征。

该系统包括被配置为用调制的照明光照亮环境的照明设备。该系统包括被配置为控制照明设备的操作的照明驱动器。

生成强度表示包括生成环境的二维表示。信号数据包括具有第一分辨率的第一图像数据。该系统包括飞行时间传感器的处理电路，该处理电路被配置为：基于第一图像数据生成第二图像数据，第二图像数据具有小于第一分辨率的第二分辨率；以及确定第二图像数据指示环境中存在对象。

在一个方面，一种移动设备或交通工具包括具有一个或多个前述特征的系统。

这里描述的方法可以具有以下一个或多个优点。这里描述的3D传感器系统可以以功率高效的方式操作，例如节省集成3D传感器系统的设备的电池寿命。通过在强度模式下操作成像传感器来检测感兴趣对象的存在有助于节省功率，例如通过仅当感兴趣的对象被确定存在时才使得成像传感器能够在更高功率深度模式下操作。捕捉关于环境的强度和深度信息的能力使得能够生成环境的丰富的3D表示，其包括深度和强度信息，例如，这对于更高安全性的面部识别过程是有用的。

本发明的一个或多个实施例的细节在附图和以下描述中阐述。从说明书和附图以及权利要求书中，本发明的其他特征、目的和优点将变得显而易见。

附图说明

图1是3D传感器系统的图。

图2是使用3D传感器系统的方法的流程图。

图3是流程图。

图4是与交通工具集成的3D传感器系统的图。

图5A和图5B是与移动设备集成的3D传感器系统的图。

各个附图中相似的附图标记表示相似的元件。

具体实施方式

这里描述了一种用于生成环境中对象的三维(three-dimensional，3D)表示(例如图像)的3D传感器系统。3D传感器系统包括成像传感器，例如飞行时间传感器，其基于从环境反射的光生成信号。在这里描述的3D传感器系统中，成像传感器可以生成强度信号、深度信号或这两者。在一些示例中，成像传感器可以初始地以强度模式操作，例如，使得可以执行基本的对象识别算法来确定环境中感兴趣对象(例如面部)的存在。当感兴趣对象被确定为存在时，成像传感器可以被操作以生成深度信号，例如感兴趣对象的3D表示，来例如用于面部识别。这种两阶段操作可以有助于节省功率。

参考图1，示例性3D传感器系统100采用飞行时间(time-of-flight，ToF)感测来生成3D传感器系统100的环境105中的对象102(在该示例中，面部)的3D图像。3D测量系统100包括成像传感器104，成像传感器104包括解调像素的阵列(例如，二维(2-D)阵列)。

对象102由来自光源110(例如激光)的调制的照明光111照亮。例如，光108可以是红外(infrared，IR)光。照明光中的一些被对象反射。反射光112由成像传感器104检测。

成像传感器104的每个解调像素能够解调接收的光信号112。控制单元118被配置为调节成像传感器104的定时。成像传感器104的所有像素的相位值对应于环境105中(例如，建筑物102上)相应点的距离信息R。来自像素的距离信息，结合由成像传感器104获得的环境的2D图像，由一个或多个图像处理器120转换成环境105的3D图像122。图像122可以例如在诸如移动设备的计算设备的显示器上显示给用户，或者可以用作机器视觉输入。

在一些示例中，调制的照明光可以是脉冲强度调制光，并且反射光的解调可以直接传送飞行时间值。在一些示例中，调制的照明光可以是连续强度调制光，并且反射光的解调可以传送在发射光与反射光之间的相位延迟(P)。相位延迟与距离R对应，如下所示：

其中f_mod是照明光的调制频率，其范围可以从例如几MHz到几GHz。

每个像素的距离信息可以计算如下:

其中c是光速，并且ToF是飞行时间，其是光从光源110发射与成像传感器104检测到反射光之间的经过时间。在每个解调像素能够并发地解调反射光的情况下，成像传感器104可以基本上实时地传送3D图像，例如，帧速率高达30Hz或大于30Hz。解调像素中光生电荷载流子横向转移时间的增加有助于高频图像传输。

在一些示例中，成像传感器104可以在包括深度模式和强度模式的多种模式中的每一种模式下操作。在深度模式下，成像传感器104的像素解调反射的调制照明光，以生成指示环境中深度(例如，距离)的信号，例如，用于生成环境的3D表示的信号。在强度模式下，成像传感器104可以生成指示反射光的强度的信号。例如，为了生成强度信号，成像传感器104可以以其中反射光不被解调的静态或半静态模式操作。“静态或半静态操作”的意思是成像传感器的像素允许每次曝光的单个读出，该曝光基本上与照明频率同步。

在一些示例中，成像传感器104在深度模式和强度模式下的操作可以增强环境的3D表示的质量。例如，考虑深度信息(来自深度模式)和强度信息(来自强度模式)这两者的能力可以通过结合额外的图像特征来增强诸如面部识别或对象识别系统的系统的性能。

在一些示例中，成像传感器104可以在两阶段过程中操作，以降低3D传感器系统100的功耗。成像传感器104在强度模式下的操作是比成像传感器104在深度模式下的操作更低功率的过程。成像传感器104可以在强度模式下操作，以检测环境中对象(例如感兴趣的对象)的存在。如果通过强度模式操作检测到对象(例如感兴趣的对象)，则成像传感器104可以在深度模式下操作，以生成对象的3D表示。例如，可以在面部识别系统中采用这种两阶段过程，其中使用强度模式来确定环境中存在面部，然后使用深度模式来生成面部的3D表示，以进行面部识别处理。

图2示出了使用与移动计算设备集成的3D传感器系统的成像传感器的两阶段操作进行面部识别的方法。该方法用于通过在较低功率强度模式下操作成像传感器来在3D传感器系统的环境中初始地确定诸如感兴趣对象的对象的存在，从而降低3D传感器系统的功耗。如果强度模式操作的结果指示存在对象，例如感兴趣的对象，则3D传感器系统以成像传感器处于深度模式来进行操作，以生成对象的3D表示。成像传感器在深度模式下的操作会消耗大量功率。通过具有第一、较低功率的存在检测步骤，3D传感器系统可以以更功率高效的方式操作。例如，3D传感器系统可以仅在确定存在对象(例如，感兴趣的对象)时触发成像传感器在深度模式下操作。尽管图2是针对移动计算设备描述的，但是结合3D传感器系统的其他类型的设备也可以执行图2的方法或类似方法。

在图2的方法开始时，移动计算设备(例如，手机、平板电脑或其他类型的移动计算设备)处于待机模式202，例如，暂时锁定或睡眠。在图2的示例中，发生事件204，其中用户指示他/她期望解锁的移动计算设备。例如，用户可以摇动移动计算设备或按下移动计算设备上的按钮。在一些示例中，该方法可以继续进行而不发生这种事件。

在一些示例中，响应于事件的发生，移动计算设备的3D传感器系统在低功率存在检测模式206下被激活。在低功率存在检测模式206下，3D传感器系统照亮移动计算设备的环境，并且3D传感器系统的成像传感器检测从环境反射的光。基于反射光生成低分辨率图像数据，并且例如通过3D传感器系统的处理电路在低功率检测模式下对其进行处理，以确定低分辨率图像数据是否指示环境(208)中对象的存在。例如，存在确定可以基于环境中的对象和成像传感器之间的距离满足阈值。

在一些示例中，低功率存在检测模式206可以基于来自少于成像传感器的所有像素的像素(例如单个像素或一组相邻像素)的信号。

在一些示例中，如果低分辨率图像数据没有指示对象的存在，则低功率存在检测模式针对一次或多次附加迭代210重复存在检测过程206。在图2的示例中，低功率存在检测模式重复存在检测过程206达10次迭代210。在最后一次(例如，第十次)迭代中，如果在环境中没有检测到对象，则移动设备返回到待机模式202。在一些示例中，如果仅在单次迭代之后第二图像数据没有指示对象的存在，则存在检测过程结束，并且移动设备返回到待机模式202。

在2019年6月18日提交的美国临时申请序列号62/862,881中提供了低分辨率存在检测模式的附加描述，其内容通过引用整体结合于此。

在图2的示例中，当存在检测过程206确定低分辨率图像数据指示环境中存在对象时，成像传感器在强度模式212下操作。在一些示例中，不执行存在检测过程206，并且在将移动设备从待机模式唤醒时进行的第一操作是成像传感器在强度模式212下的操作。

在强度模式212下，3D传感器系统的环境被照亮，并且成像传感器生成指示从环境反射的光的强度的信号(这里称为强度数据)。在一些示例中，环境可以用调制的照明光照亮，并且成像传感器可以静态或半静态地操作，使得反射光不被调制。

强度数据由诸如移动计算设备的处理器(例如专用集成电路(applicationspecific integrated circuit，ASIC))的一个或多个处理器(214)处理。一个或多个处理器基于强度数据执行图像数据处理算法216。在图2的示例中，图像数据处理算法216是确定环境中存在的对象是否是或者可能是面部的算法。在一些示例中，图像数据处理算法可以处理强度数据，以确定环境中存在的对象是否是或者可能是另一种类型的感兴趣对象。

在一些示例中，如果基于强度数据，感兴趣的对象没有被确定为存在，则成像传感器的操作的强度模式阶段212被重复一次或多次附加迭代218。在图2的示例中，强度模式阶段212重复五次迭代218。在最后(例如，第五次)迭代，如果没有感兴趣的对象被确定存在于环境中，则恢复低功率存在检测模式206(如图所示)，或者移动计算设备返回待机模式202。在一些示例中，基于强度的对象识别过程仅进行单次迭代，并且如果没有感兴趣的对象被确定存在于环境中，则强度模式阶段212结束，例如，恢复低功率存在检测模式206，或者移动计算设备返回待机模式202。

如果图像数据处理算法216的结果指示环境中存在感兴趣的对象，例如面部，则成像传感器在深度模式220下操作。在深度模式下，由环境反射的光被成像传感器解调以生成指示环境中深度的信号(这里称为深度数据)，例如，指示成像传感器和环境中各个点中的每一个之间的距离的信号。

深度数据由一个或多个处理器(例如移动计算设备的处理器，例如ASIC)(222)处理。一个或多个处理器基于深度数据执行图像识别算法224。在图2的示例中，图像识别算法224是面部识别算法，其确定环境中的对象是否是被识别的面部。在一些示例中，图像识别算法可以处理深度数据以识别另一种类型的对象。

在一些示例中，如果环境中没有对象被识别，则该过程返回到强度模式212，以进行一次或多次附加迭代226，例如，图2的示例中的三次迭代226。在最后一次(例如，第三次)迭代中，如果没有识别出对象，则恢复低功率存在检测模式206(如图所示)，或者移动计算设备返回到待机模式202。在一些示例中，图像识别过程仅进行单次迭代，并且如果没有识别出对象，则深度模式阶段220结束，例如，恢复低功率存在检测模式206或者移动计算设备返回待机模式202。

如果图像识别算法识别出环境中的对象，则移动设备被解锁228。

成像传感器在深度模式下的操作是功率密集型过程。通过延迟深度模式的使用直到强度数据指示环境中存在诸如感兴趣对象之类的对象，可以实现功率节省，例如，深度模式可以仅在感兴趣对象存在或可能存在的情况下被激活。在启动强度模式操作之前使用低功率存在检测可以提供进一步的功率节省。低功率存在检测模式的数据处理可以由3D传感器系统的处理电路来执行，而不是由移动设备的一个或多个处理器来执行，因此存在检测数据处理可以比强度模式或深度模式消耗显著更少的功率。通过延迟强度模式的使用直到通过低功率检测模式指示对象的存在，可以实现功率节省，例如，强度模式可以仅在对象存在或可能存在的情况下被激活。

在一些示例中，成像传感器可以并发地在强度模式和深度模式下操作，例如，用于生成环境的强度丰富的3D表示。例如，这种强度丰富的3D表示可用于增强面部识别过程中的安全性。

在一些示例中，3D传感器系统的光源可以以低频调制来操作，例如用于弱光环境(例如亮度低于阈值的环境)。

在一些示例中，3D传感器系统的光源可以在成像传感器的强度模式操作期间被禁用，以提供进一步的功率节省。

这里描述的方法可以使用各种像素读出技术中的任何一种来实现。在一些示例中，每个像素的所有传输栅极基本上同时切换，像素中的光生电荷在像素的所有感测节点之间分配，并且采用单端读出路径。在这些情况下，可以增加有效全井(effective fullwell)。在某些情况下，同时切换会导致更高的噪声水平。在一些示例中，每个像素只有一个传输栅极切换，并且像素中的光生电荷被传输到像素的单个感测节点。在这些情况下，可以采用差分读出。单栅极切换可以降低噪声，并可以至少部分消除暗电流。

参考图3，在操作飞行时间传感器系统的示例方法中，用调制的照明光(300)照亮环境。表示从环境反射的光的信号数据由飞行时间传感器系统的飞行时间传感器的像素阵列生成(302)。

例如，使用低功率存在检测过程来确定环境中存在对象(304)。在一些示例中，低功率存在检测过程可以包括基于表示反射光的信号数据生成低分辨率图像数据，以及确定低分辨率图像数据指示环境中存在对象。

基于表示反射光的数据生成传感器系统的环境的强度表示(306)。例如，可以响应于确定环境中存在对象来生成强度表示。

例如，通过执行对象识别过程来确定强度表示指示环境中的对象是目标对象(308)。

响应于确定环境中的对象是目标对象，例如通过解调表示反射光的数据，基于表示反射光的数据生成例如图像的环境的3D表示(310)。3D表示用于启用动作(312)，例如解锁移动计算设备。例如，可以执行面部识别过程来将目标对象识别为被识别的面部，从而使得移动计算设备能够被解锁。

参考图4，在一些示例中，采用ToF成像传感器的3D成像系统400(诸如这里描述的那些)可以被结合到交通工具402中，诸如部分自主或完全自主的交通工具。交通工具可以是：陆基交通工具(如图所示)，例如汽车或卡车；飞行器，例如无人驾驶飞行器；或水基交通工具，例如船或潜艇。3D成像系统400包括照明设备404和成像组件，成像组件包括照相机406和ToF成像传感器408。3D成像系统400可以用于例如交通工具402的环境的3D映射。例如，3D成像系统400可用于生成对象410(例如交通工具402在其上的道路中或该道路附近的对象)的3D图像。通过确定各种对象的3D形状，交通工具的环境的映射可以被确定并被用于例如通过包括一个或多个处理器的计算设备412来控制交通工具402的部分或完全自主的操作。

参考图5A，在一些示例中，采用ToF传感器的3D成像系统150(诸如这里描述的那些)可以安装在诸如移动电话、平板电脑或可穿戴计算设备的移动计算设备152的前侧上或结合到其中。移动设备152的前侧是该设备的包括屏幕155的一侧。3D成像系统100可以是前侧成像系统，其包括照明设备160和成像组件，成像组件包括照相机164和ToF成像传感器154。前侧3D成像系统150可以用于3D成像应用，例如用于面部识别。例如，前侧3D成像系统150可以用于生成用户面部160的图像，例如用于例如通过移动计算设备152的一个或多个处理器162进行的面部识别处理。

参考图5B，在一些示例中，采用ToF传感器的3D成像系统170(诸如这里描述的那些)可以安装在移动计算设备172的背侧。背侧是设备的与前侧相对的一侧，例如不包括屏幕的一侧。3D传感器系统170可以是背侧成像系统，其包括照明设备180和成像组件，成像组件包括照相机184和ToF传感器174。背侧3D传感器系统170可例如用于对象识别或用于环境映射，例如由一个或多个处理器182进行的房间180的映射。

采用ToF传感器的3D成像系统(诸如这里描述的那些)可以被结合到其他设备中，包括游戏控制台、距离测量设备、监视设备和其他设备。

已经描述了本发明的多个实施例。然而，应当理解，在不脱离本发明的精神和范围的情况下，可以进行各种修改。因此，其他实施例在所附权利要求的范围内。

Claims (18)

1.一种用于操作飞行时间传感器系统的方法，所述方法包括:

通过所述飞行时间传感器系统的飞行时间传感器的像素阵列，生成表示来自环境的反射光的信号数据；

基于表示来自所述环境的所述反射光的所述信号数据，生成所述环境中的对象的强度表示；

确定所述强度表示指示所述环境中的对象包括目标对象；以及

响应于所述确定，基于表示所述反射光的所述数据生成所述环境的三维表示。

2.根据权利要求1所述的方法，其中生成所述环境的所述三维表示包括解调表示所述反射光的所述数据。

3.根据权利要求1或2所述的方法，其中所述环境的所述强度表示的所述生成比所述环境的所述三维表示的所述生成使用更少的功率。

4.根据权利要求1至3中任一项所述的方法，包括通过所述飞行时间传感器的处理电路来确定所述环境中存在对象。

5.根据权利要求4所述的方法，包括响应于确定所述环境中存在对象，生成所述强度表示。

6.根据权利要求4或5所述的方法，其中所述信号数据包括具有第一分辨率的第一图像数据，并且其中确定所述环境中存在对象包括：基于所述第一图像数据生成第二图像数据，所述第二图像数据具有小于所述第一分辨率的第二分辨率；以及确定所述第二图像数据指示所述环境中存在对象。

7.根据权利要求1至6中任一项所述的方法，其中生成强度表示包括生成所述环境的二维表示。

8.根据权利要求1至7中任一项所述的方法，其中确定所述强度表示指示所述对象包括所述目标对象包括：执行对象识别过程。

9.根据权利要求1至8中任一项所述的方法，包括用调制的照明光照亮所述环境。

10.根据权利要求9所述的方法，其中当所述环境具有低于阈值的光水平时，所述方法包括用低频调制的光照亮所述环境。

11.根据权利要求9或10所述的方法，包括使所述飞行时间传感器的操作与所述照明光的调制同步。

12.一种飞行时间传感器系统，包括:

飞行时间传感器，其包括像素阵列，所述像素阵列被配置为生成表示来自环境的反射光的信号数据，以及

一个或多个处理器，其被配置为:

基于表示来自所述环境的所述反射光的所述信号数据，生成所述环境中对象的强度表示，

确定所述强度表示指示存在于所述环境中的对象包括目标对象；以及

基于表示所述反射光的所述信号数据生成所述环境的三维表示。

13.根据权利要求12所述的系统，包括照明设备，所述照明设备被配置为用调制的照明光照亮所述环境。

14.根据权利要求13所述的系统，包括被配置为控制所述照明设备的操作的照明驱动器。

15.根据权利要求12至14中任一项所述的系统，其中生成强度表示包括生成所述环境的二维表示。

16.根据权利要求15所述的系统，其中所述信号数据包括具有第一分辨率的第一图像数据，并且

包括所述飞行时间传感器的处理电路，所述处理电路被配置为:

基于所述第一图像数据生成第二图像数据，所述第二图像数据具有小于所述第一分辨率的第二分辨率；以及

确定所述第二图像数据指示所述环境中存在对象。

17.一种移动设备，包括根据权利要求12至16中任一项所述的系统。

18.一种交通工具，包括根据权利要求12至16中任一项所述的系统。

Images