CN116802513A - 高分辨率飞行时间深度成像 - Google Patents

高分辨率飞行时间深度成像 Download PDF

Info

Publication number
CN116802513A
CN116802513A CN202280012002.5A CN202280012002A CN116802513A CN 116802513 A CN116802513 A CN 116802513A CN 202280012002 A CN202280012002 A CN 202280012002A CN 116802513 A CN116802513 A CN 116802513A
Authority
CN
China
Prior art keywords
fov
light emitting
portions
illumination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280012002.5A
Other languages
English (en)
Inventor
J·马
S·R·戈玛
B-C·希赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116802513A publication Critical patent/CN116802513A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供了用于高分辨率飞行时间(ToF)深度成像的技术和系统。在一些示例中，一种装置包括投影系统，该投影系统包括一个或多个发光设备，每个发光设备被配置为对投影系统的整个视场(FOV)的至少一个部分进行照明。整个FOV包括多个FOV部分。该装置还可以包括接收系统，该接收系统包括传感器，该传感器被配置为基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像。多个图像中的每个图像对应于多个FOV部分之一。与每个图像相关联的图像分辨率对应于传感器的全分辨率。该装置进一步包括处理器，该处理器被配置为使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。

Description

高分辨率飞行时间深度成像
技术领域
本公开总体上涉及飞行时间(ToF)感测。在一些示例中，本公开的各方面与增加深度图的图像分辨率有关，此类深度图是通过顺序地扫描成像系统的视场(FOV)的部分而基于ToF数据来生成的。
背景技术
图像传感器通常被集成到各种各样的电子设备中，诸如相机、移动电话、自主系统(例如，自主无人机、汽车、机器人等)、智能可穿戴设备、扩展现实(例如，增强现实、虚拟现实、混合现实)设备，以及许多其他设备。图像传感器允许用户从任何配备有图像传感器的电子设备中捕捉视频和图像。可以捕捉视频和图像以供娱乐用途、专业摄影、监视和自动化等其他的应用。由图像传感器捕捉的视频和图像可以以各种方式进行操纵，以增加视频或图像的质量并创造某些艺术效果。
在一些情况下，可以对由图像传感器捕捉的光信号和图像数据进行分析以识别关于图像数据和/或由图像数据捕捉的场景的某些特性，然后这些特征可以被用来修改捕捉的图像数据或者执行各种任务。例如，可以对光信号和/或图像数据进行分析以估计由图像数据捕捉的场景的距离。对距离信息进行估计对于各类应用都是有用的，诸如三维(3D)摄影、扩展现实体验、对象扫描、自主车辆操作、地球地形测量、计算机视觉系统、面部辨识系统、机器人、游戏以及创建各种艺术效果，诸如模糊和散景效果(例如，失焦效果)。然而，以足够的分辨率和/或准确度来估计距离信息可能是过高功率和计算密集型的。
发明内容
可以实现本文描述的系统和技术以执行高分辨率飞行时间(ToF)深度成像。根据至少一个示例，提供了一种用于高分辨率ToF深度成像的装置。示例装置可以包括投影系统，该投影系统包括一个或多个发光设备，一个或多个发光设备中的每个发光设备被配置为对投影系统的整个视场(FOV)的至少一个部分进行照明。整个FOV可以包括多个FOV部分。该装置还可以包括接收系统，该接收系统包括传感器，该传感器被配置为基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像。多个图像中的每个图像对应于多个FOV部分之一。此外，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率。该装置还可以包括一个存储器(或多个存储器)和与该存储器(或多个存储器)耦合的一个处理器或多个处理器(例如，以电路实现的)。该处理器(或该多个处理器)可以被配置为使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。
在另一示例中，一种装置，该装置可以包括：用于对投影系统的整个视场(FOV)的多个FOV部分进行照明的部件，其中，用于照明的部件被配置为顺序地对整个FOV的至少一个部分进行照明；用于基于与由用于照明的部件发射的光相对应的多个照明反射来顺序地捕捉多个图像的部件，其中，多个图像中的每个图像对应于多个FOV部分之一，以及其中，与多个图像中的每个图像相关联的图像分辨率对应于用于接收的部件的全分辨率；以及用于使用多个图像来生成与整个FOV相关联的增加分辨率的深度图的部件。
在另一示例中，提供了一种用于高分辨率ToF深度成像的方法。示例方法可以包括使用投影系统的一个或多个发光设备来对投影系统的整个FOV的多个FOV部分进行照明，其中，一个或多个发光设备中的每个发光设备被配置为对整个FOV的至少一个部分进行照明。该方法还可以包括由接收系统的传感器基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像。多个图像中的每个图像对应于多个FOV部分之一。此外，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率。该方法还可以包括使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。
在另一示例中，提供了一种用于高分辨率ToF深度成像的非暂时性计算机可读介质。示例非暂时性计算机可读介质可以存储指令，当这些指令被一个或多个处理器执行时使一个或多个处理器：使用投影系统的一个或多个发光设备来对投影系统的整个视场(FOV)的多个FOV部分进行照明，其中，一个或多个发光设备中的每个发光设备被配置为对整个FOV的至少一个部分进行照明；基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，多个图像中的每个图像对应于多个FOV部分之一，以及其中，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率；以及使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。
在一些方面中，上述方法、装置和计算机可读介质可以包括：按顺序照明次序来对多个FOV部分中的每一个进行照明，该顺序照明次序包括一次对单个FOV部分进行照明；按与顺序照明次序相对应的顺序接收次序来接收多个照明反射中的每个照明反射；以及基于多个照明反射中的每个照明反射来生成多个图像中的每个图像。在一些示例中，按顺序照明次序来对多个FOV部分中的每一个进行照明可以包括：对多个FOV部分的第一FOV部分进行照明；接收与第一FOV部分相对应的第一照明反射；在接收到第一照明反射之后，对多个FOV部分的第二FOV部分进行照明；以及接收与第二FOV部分相对应的第二照明反射。
在一些方面中，一个或多个发光设备可以包括多个发光设备。在一些情况下，投影系统可以包括多个投影透镜，多个投影透镜中的每个投影透镜被配置为将由多个发光设备之一发射的光朝向多个FOV部分中的一不同FOV部分投影。在一些情况下，多个投影透镜中的每个投影透镜可以被定位在多个发光设备的上方。在一些示例中，投影系统包括相对于多个投影透镜定位的一个或多个漫射器。例如，一个或多个漫射器可以被配置为漫射由多个发光设备发射的光。在一些示例中，投影系统包括分段式棱镜阵列。例如，分段式棱镜阵列可以被配置为向多个FOV部分中的每个FOV部分引导光。
在一些方面中，一个或多个发光设备可以包括单个发光设备。在一些情况下，投影系统可以包括扫描镜，该扫描镜被配置为当以不同取向定向时，将由单个发光设备发射的光朝向多个FOV部分中的不同FOV部分投影。在一个示例中，扫描镜可以是微型机电系统(MEMS)镜。在一些方面中，扫描镜可以被定位在单个发光设备的上方。在一些情况下，扫描镜的不同取向中的每一个可以对应于扫描镜与单个发光设备的平面之间的不同取向角。在一些示例中，投影系统包括相对于扫描镜定位的一个或多个漫射器。例如，一个或多个漫射器可以被配置为漫射由单个发光设备发射的光。
在一些方面中，接收系统包括图像透镜的阵列。图像透镜的阵列中的每个图像透镜可以被配置为将与对应于多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向传感器投影。
在一些方面中，上述的方法、装置和计算机可读介质可以包括定位在传感器的上方的滤波器。滤波器被配置为用与由一个或多个发光设备发射的光的频率相对应的频率来透射光。
在一些方面中，上述方法、装置和计算机可读介质可以包括至少部分地基于以下操作来使投影系统和接收系统同步：向投影系统发送第一控制信号，该第一控制信号引导投影系统对多个FOV部分中的特定FOV部分进行照明；以及向接收系统发送第二控制信号，该第二控制信号引导接收系统将由传感器接收到的照明反射与特定FOV部分进行关联，其中，第一控制信号和第二控制信号是时间同步的。
在一些方面中，多个FOV部分的第一FOV部分可以与多个FOV部分的至少第二FOV部分局部地重叠。
在一些方面，生成与整个FOV相关联的增加分辨率的深度图可以包括：生成多个局部距离测量，多个局部距离测量中的每一个对应于多个照明反射之一；以及组合多个局部距离测量。在一些示例中，增加分辨率的深度图的图像分辨率可以对应于传感器的最大分辨率乘以多个FOV部分的数量。
在一些方面中，上述每个装置是或者包括相机、移动设备(例如，移动电话或所谓的“智能手机”或其他移动设备)、智能可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机、自主车辆或其他设备。在一些方面中，该装置包括用于捕捉一个或多个视频和/或图像的一个相机或多个相机。在一些方面中，该装置进一步包括用于显示一个或多个视频和/或图像的显示器。在一些方面中，上述装置可以包括一个或多个传感器。
该概要不意图识别所要求保护的主题的关键或必要特征，也不意图被孤立地用来确定所要求保护的主题的范围。主题应当通过参考该专利的整个说明书的适当部分、任一或所有附图，以及每条权利要求来进行理解。
在参考以下说明书、权利要求书和附图时，前述特征和示例连同其他特征和示例将变得更加明显。
附图说明
下面将参考以下各图来详细描述本公开的说明性示例。
图1是示出根据本公开的一些示例的用于飞行时间(ToF)信号处理的示例图像处理系统的简化框图；
图2A是示出根据本公开的一些示例的直接ToF感测过程的示例的简化框图；
图2B是示出根据本公开的一些示例的间接ToF感测过程的示例的简化框图；
图3是示出根据本公开的一些示例的用于测量光信号的相位角的示例技术的图；
图4是示出根据本公开的一些示例的用于ToF感测的连续波方法的图；
图5是示出根据本公开的一些示例的用于ToF信号处理的示例图像处理系统的简化框图；
图6A是根据本公开的一些示例的用于ToF信号处理的图像处理系统的示例视场(FOV)的说明；
图6B是根据本公开的一些示例的图像处理系统的FOV的示例部分的图；
图7是根据本公开的一些示例的用于对图像处理系统的FOV的部分进行照明的示例设备的图；
图8是根据本公开的一些示例的用于对图像处理系统的FOV的部分进行照明的另一示例设备的图；
图9A是根据本公开的一些示例的用于接收图像处理系统的FOV的部分的照明反射的示例设备的图；
图9B和图9C是示出根据本公开的一些示例的示例顺序ToF图像捕捉进程的图；
图10A和图10B是根据本公开的一些示例的用于同步ToF感测的示例系统的图；
图11是示出根据一些示例的针对高分辨率ToF深度成像的进程的示例的流程图；以及
图12是示出用于实现本文描述的某些方面的系统的示例的图。
具体实施方式
下面提供本公开的某些方面和示例。这些方面和示例中的一些可以独立应用，并且它们中的一些可以组合应用，这对本领域的技术人员来说是显而易见的。在以下描述中，出于解释的目的阐述了具体细节，以便提供对本申请的主题的透彻理解。然而，将显而易见的是，各种示例可以在没有这些具体细节的情况下实践。附图和描述并不意图为是约束性的。
接下来的描述仅提供说明性示例，并不意图限制本公开的范围、适用性或配置。相反，接下来的描述将给本领域技术人员提供使得能够用于实现说明性示例的描述。应当理解的是，在不脱离所附权利要求中阐述的本申请的精神和范围的情况下，可以对要素的功能和布置进行各种改变。
图像传感器通常被集成到各种各样的电子设备中，诸如相机、移动电话、自主系统(例如，自主无人机、汽车、机器人等)、扩展现实(例如，增强现实、虚拟现实、混合现实)设备、物联网(IoT)设备、智能可穿戴设备以及许多其他设备。随着越来越多的电子设备配备了此类图像传感器，视频和图像记录能力已经变得更加广泛。另外，电子设备的图像处理能力已经得到不断改进，从而允许对图像数据进行操纵以产生更高质量的视频和图像，生成广泛的艺术效果，以及在各种各样的应用中实现图像数据。例如，可以对由传感器捕捉的光信号和图像数据进行分析以识别关于图像数据和/或由图像数据捕捉的场景的某些特性。然后，这些信息可以被用来修改捕捉到的图像数据或者执行各种任务。例如，可以对光信号和/或图像数据进行分析以估计由图像数据捕捉的场景内的对象的距离。
飞行时间(ToF)传感器系统可以使用光(例如，红外(IR)光、近红外(NIR)光和/或其他光)来确定关于目标(例如，周围/邻近的场景、一个或多个周围/邻近的对象等)的深度和/或距离信息。ToF传感器系统可以包括光发射器，该光发射器被配置为朝向目标发射光信号，光信号可以击中目标并反射回ToF传感器系统。ToF传感器系统还可以包括传感器，该传感器被配置为对返回/反射光进行检测和/或测量，然后这可以被用来确定目标的深度和/或距离信息。目标相对于ToF传感器系统的距离可以被用来执行深度图绘制。目标的距离可以通过直接ToF或间接ToF来计算。
一些ToF传感器系统的分辨率(例如，图像分辨率)可以对应于ToF传感器系统一次可以接收和处理的反射光信号的数量。例如，ToF传感器系统的图像分辨率可以对应于ToF传感器的像素(例如，光敏元件)的数量。在许多情况下，ToF传感器技术利用复杂的硬件和/或广泛的处理能力。因此，增加ToF传感器的分辨率(例如，像素的数量)可能是不切实际和/或不可能的(例如，成本高昂)。例如，一些现有的ToF系统被限制在不超过320×240像素的分辨率。如此低的分辨率可能不足以用于各种类型的成像和感测应用，诸如长距离成像、宽视场(FOV)成像、自主车辆操作、机器视觉系统、面部辨识系统、数字测量系统、游戏、机器人等。因此，开发改进的ToF系统和技术以用于有效地捕捉高分辨率图像深度信息是有益的。
本公开描述了用于提供高分辨率ToF深度成像的系统、装置、方法和计算机可读介质(被统称为“系统和技术”)。本文描述的系统和技术为ToF系统提供了生成深度图(例如深度图像图)的能力，其分辨率超过了ToF系统的ToF传感器的全(例如，最大)分辨率。另外，ToF系统可以生成高分辨率深度图，而不会在处理时间方面带来实质性的延迟。为了生成高分辨率深度图，ToF系统可以捕捉与ToF系统的整个视场(FOV)的部分相关联的深度信息。在一些情况下，ToF系统可以顺序地捕捉与整个FOV中的个体部分(被称为FOV部分)相关联的深度信息。例如，ToF系统可以“扫描”遍及FOV部分。ToF系统可以利用单个ToF传感器(例如，同一个ToF传感器)来扫描每个FOV部分。个体FOV部分可以对应于(或大致对应于)单个ToF传感器的FOV。ToF系统可以通过组合从每个FOV部分获得的深度信息来生成与整个FOV相对应的深度图。因此，整个FOV的深度图的分辨率(例如，图像分辨率)对应于单个ToF传感器的分辨率乘以被扫描的FOV部分的数量。此外，由于每个FOV部分都小于总FOV，因此由ToF设备投影到每个FOV部分上的光是高度集中的(例如，与由一次性对整个FOV进行照明的ToF系统投影的光的集中度相比)。在照明方面的这种增加导致曝光时间的对应减少(例如，获得准确距离测量所需的时间量)，从而使ToF系统能够在生成或更新深度图时保持高帧速率。例如，如果ToF系统将FOV划分为x个子FOV，则ToF系统可以生成具有x倍高分辨率的深度图，其时延与没有顺序地对FOV部分进行扫描的ToF系统相同。
在一些示例中，ToF系统可以包括投影仪系统，该投影仪系统被配置为顺序地对个体FOV部分进行照明。投影仪系统可以包括一个或多个发光设备。在一个示例中，发光设备可以包括以VCSEL阵列布置的多个垂直腔面发射激光器(VCSEL)。在一些情况下，VCSEL阵列中的每个VCSEL可以发射具有窄带近红外(NIR)光的光。投影仪系统还可以包括适当地引导由发光设备发射的光的一个或多个导光机构(例如，一个或多个投影透镜、棱镜、投影透镜和一个或多个棱镜的组合，和/或扫描镜)。
在一个示例中，投影仪系统可以包括多个发光设备(例如，多个VCSEL阵列)，每个发光设备被配置为对整个FOV中的特定FOV部分进行照明。例如，发光设备的数量可以等于FOV被划分为FOV部分的数量。每个发光设备可以有选择地和/或单独地被激活(例如，使得在任何时间点，仅单个发光设备朝向相应的FOV部分发射光)。在此示例中，一个或多个导光机构可以包括多个投影透镜的透镜阵列和/或一个棱镜(或在一些情况下，多个棱镜)。例如，透镜阵列的每个投影透镜可以对应于相应的发光设备。透镜阵列的多个投影透镜可以被定位(例如，保持在特定角度)以确保由每个发光设备发射的光对适当的FOV部分进行照明。将多个发光装置与一个透镜阵列和/或一个棱镜(或多个棱镜)组合使用可以确保没有必要进行机械运动来捕捉整个FOV的距离测量。
在另一示例中，投影仪系统可以包括单个发光设备(例如，单个VCSEL阵列)，该单个发光设备被配置为选择性地对个体FOV部分进行照明。在此示例中，一个或多个导光机构可以包括扫描镜(例如，微型机电系统(MEMS)镜)。可以定期地对扫描镜的取向进行调整(例如，向特定角度移动)，以顺序地反射由发光设备发射的光，以便对每个FOV部分进行照明。虽然使用扫描镜可能涉及ToF系统的机械运动，但扫描镜的机械疲劳可能可以忽略不计。因此，扫描镜的机械运动可能不会在扫描镜的使用寿命内降低投影仪系统的性能。使用扫描镜可以使得ToF系统能够仅使用单个发光设备。
ToF系统可以通过组合与整个FOV部分中的个体FOV部分相对应的距离测量来生成整个FOV的完整深度图。例如，ToF系统可以将与个体FOV部分相对应的帧“拼接(stitch)”在一起。这些帧可以在被捕捉时或者在所有帧已经被捕捉之后进行组合。在一些情况下，与相邻的FOV部分相对应的帧可以包括预定的重叠量(例如，重叠像素的预定数量)。重叠可以使得ToF系统能够有效地和/或无缝地将个体帧编译成整个FOV的内聚深度图。
在一些情况下，ToF系统可以根据同步方案使投影仪系统和ToF传感器同步。通过执行同步，ToF系统可以确保ToF传感器在特定FOV部分被照明时确定与该特定FOV部分相关联的距离测量。在一个示例中，ToF系统可以包括控制器，该控制器向投影仪系统发送同步信号。如果投影仪系统包括多个发光设备(例如，多个VCSEL阵列)，则同步信号可以指示哪个发光设备当前要被打开。如果投影仪系统包括扫描镜，则同步信号可以指示扫描镜要被定向的特定角度。另外，控制器可以向ToF传感器发送同步信号。此同步信号可以向传感器指示哪个FOV部分当前正在被投影仪系统照明。基于同步信号，ToF传感器可以在FOV部分被顺序地照明时，准确地标记与个体FOV部分相关联的距离测量。
本文相对于各个图提供关于高分辨率ToF系统的进一步细节。图1是示出用于飞行时间(ToF)信号处理的示例图像处理系统100的图。在此说明性示例中，图像处理系统100可以包括ToF系统102，图像传感器104，存储106和应用处理器110。在一些示例中，图像处理系统100可以可选地包括其他计算组件108诸如，例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)和/或图像信号处理器(ISP)，图像处理系统100可以使用它们来执行本文相对于应用处理器110描述的一个或多个操作/功能。在一些情况下，应用处理器110和/或其他计算组件108可以实现ToF引擎130、图像处理引擎134和/或渲染引擎136。
应当注意的是，在一些示例中，应用处理器110和/或其他计算组件108还可以实现图1中没有显示的一个或多个计算引擎。出于说明和解释的目的，本文提供了ToF引擎130、图像处理引擎134和渲染引擎136，并且为了简单起见，没有显示其他可能的计算引擎。同样，出于说明和解释的目的，ToF引擎130、图像处理引擎134、渲染引擎136和所公开的它们的各种操作将在本文被描述为由应用处理器110实现。然而，本领域的技术人员将认识到，在其他示例中，ToF引擎130、图像处理引擎134、渲染引擎136和/或所公开的它们的各种操作可以由其他计算组件108实现。
图像处理系统100可以是一个计算设备或多个计算设备的一部分，或者由其实现。在一些示例中，图像处理系统100可以是一个电子设备(或多个电子设备)的一部分，诸如相机系统(例如，数字相机、IP相机、视频相机、安全相机等)、电话系统(例如，智能手机、蜂窝电话、会议系统等)、膝上型或笔记本计算机、平板计算机、机顶盒、电视、显示设备、数字媒体播放器、游戏控制器、视频流传输设备、头戴式显示器(HMD)、扩展现实(XR)设备、无人机、汽车中的计算机、IoT(物联网)设备、智能可穿戴设备，或任何其他合适的电子设备。在一些实现方式中，ToF系统102、图像传感器104、存储106、其他计算组件108、应用处理器110、ToF引擎130、图像处理引擎134和渲染引擎136可以是同一个计算设备的一部分。
例如，在一些情况下，ToF系统102、图像传感器104、存储106、其他计算组件108、应用处理器110、ToF引擎130、图像处理引擎134和渲染引擎136可以被集成到相机、智能手机、膝上型计算机、平板计算机、智能可穿戴设备、HMD、XR设备、IoT设备、游戏系统和/或任何其他计算设备中。然而，在一些实现方式中，ToF系统102、图像传感器104、存储106、其他计算组件108、应用处理器110、ToF引擎130、图像处理引擎134和/或渲染引擎136中的一个或多个可以是两个或更多个分离的计算设备的一部分，或者它们实现。
ToF系统102可以使用光(诸如，近红外光(NIR))来确定关于目标(例如，周围/邻近的场景、一个或多个周围/邻近的对象等)的深度和/距离信息。在一些示例中，ToF系统102可以测量目标(诸如场景)中的每个像素的距离和强度两者。ToF系统102可以包括光发射器，该光发射器朝向目标(例如，场景、对象等)发射光信号，光信号可以击中目标并返回/反射到ToF系统102。ToF系统102可以包括传感器，该传感器对返回/反射光进行检测和/或测量，然后这可以被用来确定目标的深度和/或距离信息。目标相对于ToF系统102的距离可以被用来执行深度图绘制。目标的距离可以通过直接ToF或间接ToF来计算。
在直接ToF中，距离可以基于发射光脉冲信号和返回/反射光脉冲信号的行进时间(例如，从光信号被发射到返回/反射光信号被接收的时间)来计算。例如，发射光信号和返回/反射光信号的往返距离可以通过将发射光脉冲信号和返回/反射光脉冲信号的行进时间乘以光速(通常表示为c)来计算。计算出的往返距离然后可以被除以2，以确定从ToF系统102到目标的距离。
在间接ToF中，距离可以通过朝向目标发送经调制的光并测量返回/反射光的相位来计算。已知发射光的频率(f)、返回/反射光的相移和光速，从而允许计算到目标的距离。例如，发射光的路径与返回/反射光的路径之间的运行时间差导致了返回/反射光的相移。发射光与返回/反射光之间的相位差以及光的调制频率(f)可以被用来计算ToF系统102与目标之间的距离。例如，用于ToF系统102与目标之间的距离的公式可以是(c/2f)×相移/2p。如该公式所示，较高频率的光可以提供更高的测量准确度，但会导致可以测量的最大距离更短。
相应地，在一些示例中，可以使用双频率来改进测量准确度和/或距离，如本文进一步解释。例如，可以使用60MHz的光信号来测量2.5米远的目标，并且可以使用100MHz的光信号来测量1.5米远的目标。在双频率的情形中，可以使用60MHz和100MHz的光信号两者来计算到目标的距离。
图像传感器104可以包括任何图像和/或视频传感器或捕捉设备，诸如数字相机传感器、视频相机传感器、智能手机相机传感器、电子装置(诸如电视或计算机、相机等)上的图像/视频捕捉设备。在一些情况下，图像传感器104可以是相机或计算设备的一部分，诸如数字相机、视频相机、IP相机、智能手机、智能电视、游戏系统等。在一些示例中，图像传感器104可以包括多个图像传感器，诸如后置和前置传感器设备，并且可以是双相机或其他多相机装配件(例如，包括两个相机、三个相机、四个相机或其他数量的相机)的一部分。图像传感器104可以捕捉图像和/或视频帧(例如，原始图像和/或视频数据)，然后图像和/或视频帧可以由应用处理器110、ToF引擎130、图像处理引擎134和/或渲染引擎136进行处理，如本文进一步描述。
存储106可以是用于存储数据的任何存储设备。此外，存储106可以存储来自图像处理系统100的任何组件的数据。例如，存储106可以存储来自ToF系统102的数据(例如，ToF传感器数据或测量)、来自图像传感器104的数据(例如，帧、视频等)、来自和/或被其他计算组件108和/或应用处理器110使用的数据(例如，处理参数、图像数据、ToF测量、深度图、调节参数、处理输出、软件、文件、设置等)、来自和/或被ToF引擎130使用的数据(例如，一个或多个神经网络、图像数据、调节参数、辅助元数据、ToF传感器数据、ToF测量、深度图、训练数据集等)、来自和/或被图像处理引擎134使用的数据(例如，图像处理数据和/或参数等)、来自和/或被渲染引擎136使用的数据(例如，输出帧)、来自和/或被图像处理系统100的操作系统、图像处理系统100的软件使用的数据以及/或任何其他类型的数据。
应用处理器110可以包括例如但不限于CPU 112、GPU 114、DSP 116和/或ISP 118，应用处理器110可以使用它们来执行各种计算操作，诸如图像/视频处理、ToF信号处理、图形渲染、机器学习、数据处理、计算和/或任何其他操作。在图1中显示的示例中，应用处理器110实现ToF引擎130、图像处理引擎134和渲染引擎136。在其他示例中，应用处理器110还可以实现一个或多个其他处理引擎。此外，在一些情况下，ToF引擎130可以实现一个或多个机器学习算法(例如，一个或多个神经网络)，该一个或多个机器学习算法被配置为执行ToF信号处理并且/或者生成深度图。
在一些情况下，应用处理器110还可以包括存储器122(例如，随机存取存储器(RAM)、动态RAM等)和高速缓存120。存储器122可以包括一个或多个存储器设备，并且可以包括任何类型的存储器诸如，例如，易失性存储器(例如，RAM、DRAM、SDRAM、DDR、静态RAM等)、闪速存储器、基于闪存的存储器(例如，固态驱动器)等。在一些示例中，存储器122可以包括一个或多个DDR(例如，DDR、DDR2、DDR3、DDR4等)存储器模块。在其他示例中，存储器122可以包括其他类型的存储器模块。存储器122可以被用来存储数据诸如，例如，图像数据、ToF数据、处理参数(例如，ToF参数、调节参数等)、元数据和/或任何类型的数据。在一些示例中，存储器122可以被用来存储来自和/或被ToF系统102、图像传感器104、存储106、其他计算组件108、应用处理器110、ToF引擎130、图像处理引擎134和/或渲染引擎136使用的数据。
高速缓存120可以包括存储数据的一个或多个硬件和/或软件组件，以便未来对该数据的请求可以得到服务快于存储在存储器122或存储106上。例如，高速缓存120可以包括任何类型的高速缓存或缓冲区诸如，例如，系统高速缓存或L2高速缓存。高速缓存120可以比存储器122和存储106更快和/或更具成本效益。此外，高速缓存120可以具有比存储器122和存储106更低的功率和/或操作需求或占用空间(footprint)。因此，在一些情况下，高速缓存120可以被用来存储/缓冲预期要被图像处理系统100的一个或多个组件(例如，应用处理器110)处理的和/或在未来请求的某些类型的数据(诸如图像数据或ToF数据)并且快速给这些数据提供服务。
在一些示例中，针对ToF引擎130、图像处理引擎134和渲染引擎136(以及任何其他处理引擎)的操作可以由应用处理器110中的任何计算组件实现。在一个说明性示例中，渲染引擎136的操作可以由GPU 114实现，并且ToF引擎130、图像处理引擎134和/或一个或多个其他处理引擎的操作可以由CPU 112、DSP 116和/或ISP 118实现。在一些示例中，ToF引擎130和图像处理引擎134的操作可以由ISP 118实现。在其他示例中，ToF引擎130和/或图像处理引擎134的操作可以由ISP 118、CPU 112、DSP 116和/或ISP118、CPU 112和DSP 116的组合来实现。
在一些情况下，应用处理器110可以包括其他电子电路或硬件、计算机软件、固件，或它们的任何组合，以执行本文描述的各种操作。在一些示例中，ISP 118可以接收由ToF系统102和/或图像传感器104捕捉或生成的数据(例如，图像数据、ToF数据等)，并且处理该数据以生成输出深度图和/或帧。帧可以包括视频序列的视频帧或静止图像。帧可以包括表示场景的像素阵列。例如，帧可以是红-绿-蓝(RGB)帧，每个像素具有红、绿、蓝颜色分量；亮度、色度-红、色度-蓝(YCbCr)帧，每个像素具有一个亮度分量和两个色度(颜色)分量(色度-红和色度-蓝)；或任何其他合适类型的彩色或单色图片。
在一些示例中，ISP 118可以实现一个或多个处理引擎(例如，ToF引擎130，图像处理引擎134等)，并且可以执行ToF信号处理和/或图像处理操作，诸如深度计算、深度图绘制、滤波、去马赛克、缩放、色彩校正、色彩转换、降噪滤波、空间滤波、伪像校正等。ISP 118可以处理来自ToF系统102、图像传感器104、存储106、存储器122、高速缓存120、应用处理器110中的其他组件的数据，和/或从远程源(诸如远程相机、服务器或内容提供商)接收到的数据。
虽然图像处理系统100被显示为包括某些组件，但普通技术人员将会理解，图像处理系统100可以包括比图1中显示的更多或更少的组件。例如，在一些实例中，图像处理系统100还可以包括一个或多个其他存储器设备(例如，RAM、ROM、高速缓存等)、一个或多个联网接口(例如，有线和/或无线通信接口等)、一个或多个显示设备，和/或图1中没有显示的其他硬件或处理设备。下面将相对于图10描述可以用图像处理系统100实现的计算设备和硬件组件的说明性示例。
图2A是示出直接ToF感测过程200的示例的简化框图。在此示例中，ToF系统102首先朝向目标210发射光脉冲202。目标210可以包括，例如，场景、一个或多个对象、一个或多个动物、一个或多个人等。光脉冲202可以向目标210行进，直到它击中目标210。当光脉冲202击中目标210时，光脉冲202的至少一些部分可以反射回ToF系统102。
因此，ToF系统102可以接收反射光脉冲204，包括从目标210反射回来的光脉冲202的至少一些部分。ToF系统102可以感测反射光脉冲204，并且基于反射光脉冲204来计算到目标210的距离206。为了计算距离206，ToF系统102可以由计算发射光脉冲202和反射光204行进的总时间(例如，从光脉冲202被发射到反射光脉冲204被接收的时间)。ToF系统102可以将由发射光脉冲202和反射光脉冲204行进的总时间乘以光速(c)来确定由光脉冲202和反射光脉冲204行进的总距离(例如，往返时间)。然后，ToF系统102可以将所行进的总时间除以2，以获得从ToF系统102到目标210的距离206。
图2B是示出间接ToF感测过程220的示例的简化框图。在此示例中，可以计算反射光的相移来确定目标210的深度和距离。在这里，ToF系统102首先朝向目标210发射经调制的光222。经调制的光222可以具有某个已知或预定的频率。经调制的光222可以向目标210行进，直到它击中目标210。当经调制的光222击中目标210时，经调制的光222的至少一些部分可以反射回ToF系统102。
ToF系统102可以接收反射光224，并且使用下式来确定反射光224的相移226和到目标210的距离206：距离(206)＝(c/2f)×相移/2p，其中，f是经调制的光222的频率，并且c是光速。
在一些情况下，在计算深度和距离(例如，206)时，可以考虑或使用影响光如何被反射的一个或多个因素来对计算进行调节。例如，对象和表面可以具有具体的特性，这些特性可以使光不同地进行反射。为了说明，不同的表面可以有不同的折射指数，这可以影响光如何行进或如何与表面和/或表面上的(多种)材料相接。此外，非均匀性(诸如材料不规则性或散射中心)会造成光被反射、折射、透射或吸收，并且有时会造成能量损失。因此，当光击中表面时，它可以被吸收、反射、透射等。光被表面反射的比例被称为其反射率。然而，反射率不仅取决于表面(例如，折射指数、材料属性、均匀性或非均匀性等)，而且可以取决于被反射的光的类型和周围环境(例如，温度、环境光、水蒸气等)。因而，如下面进一步解释，在一些情况下，在计算目标210的距离206和/或深度信息时，可以将关于周围环境、光的类型和/或目标210的特性的信息作为因素计入。
图3是示出用于测量光信号的相位角的示例技术的图。在此示例中，ToF系统102发射经调制的光信号222并且接收反射光224。ToF系统102测量反射光224在302、304、306、308四个不同点的幅值(A)，以确定测量点302处的幅值A1、测量点304处的幅值A2、测量点306处的幅值A3、测量点308处的幅值A4。测量点302、304、306、308可以是等间距的点(如0°、90°、180°、270°)。
反射光224的相位角可以用下式表示：
等式1说明了点302、304、306和308处的幅值测量与反射光224的相位角之间的关系。A1与A3之间的差同A2与A4之间的差的比率等于相位角的正切。
图4是示出用于ToF感测的连续波方法400的图。在此示例中，所发射的光信号402和反射光信号404可以是交叉关联的，以确定反射光信号404的相位延迟。首先可以发射光信号402，并且可以使用四个非相位时间窗口(例如，传感器积分时间窗口)C1 414、C2 416、C3 418和C4 420来测量反射光信号404的采样量406-412(Q1、Q2、Q3、Q4)，每个窗口(414-420)是相位步进的，使得C1为0度、C2为180度、C3为90度、C4为270度。如图4所示，测量量406-412对应于测量时间窗口与反射光信号404之间的重叠区域。
所发射的光信号402与反射光信号404之间的相位延迟φ和距离d可以通过下式来计算：
在一些示例中，可以使用量406-412(Q1、Q2、Q3、Q4)来计算像素强度和偏移。此外，在一些情况下，项(Q3-Q4)和(Q1-Q2)可以减少来自量(406－412)的恒定偏移的影响。相位等式(等式2)中的商可以减少来自距离测量的系统或环境变化的影响诸如，例如系统放大、系统衰减、反射强度等。
图5是用于ToF信号处理的示例图像处理系统500的图。在一些情况下，图像处理系统500可以对应于图1的图像处理系统100的全部或部分。如图5所示，图像处理系统500可以包括投影系统502、接收系统508和处理器518。图像处理系统500的这些和/或其他组件可以被配置为生成深度图516。深度图516可以包括与图像处理系统500的FOV内的目标(例如，对象)相关联的深度信息。
在一些情况下，投影系统502可以包括一个或多个发光设备504。出于获得一个或多个目标的深度信息(例如，距离测量)的目的，一个或多个发光设备504可以包括任何被配置为发射光的设备。在说明性示例中，一个或多个发光设备504可以包括一个或多个垂直腔表面发射激光器(VCSEL)或其他激光设备。例如，一个或多个发光设备504可以包括以VCSEL阵列布置的多个VCSEL。如下面将更详细解释，投影系统502可以包括单个VCSEL阵列，或多个VCSEL阵列。在一些情况下，一个或多个发光设备504可以被配置为发射具有某个波长(或某个范围的波长)的光。在非限制性示例中，一个或多个发光设备504可以被配置为发射窄带近红外(NIR)光(例如，具有800到2500纳米之间的波长的光)。一个或多个发光设备504可以发射具有任何适合于获得ToF数据的波长的光。
如图所示，投影系统502可以包括一个或多个光引导设备506。一个或多个光引导设备506可以包括任何被配置为改变、调整或以其他方式引导由一个或多个发光设备504发射的光的角度的设备。在一个示例中，一个或多个光引导设备506可以包括一个或多个投影透镜，该一个或多个投影透镜借助于折射来分散光。在另一示例中，光引导设备506可以包括一个或多个镜，该一个或多个镜基于镜反射定律以期望的角度反射光。如下面将更详细解释，一个或多个光引导设备506可以被配置为选择性地向图像处理系统500的FOV的特定部分引导由一个或多个发光设备504发射的光。
在一些情况下，投影系统502可以生成和投影照明信号512。照明信号512可以对应于由一个或多个发光设备504发射的并且由一个或多个光引导设备506引导的光。在一个示例中，照明信号512可以包括在不同时间点发射的多个照明信号。例如，照明信号512可以包括一系列的照明信号，这些照明信号被顺序地引导向图像处理系统500的不同FOV部分。照明信号512可以被一个或多个目标吸收、透射和/或反射。被反射的全部或部分照明信号可以由接收系统508捕捉。反射和捕捉的照明信号可以对应于图5中的照明反射514。在一个示例中，照明反射514可以由接收系统508的传感器510接收。传感器510可以包括被配置为接收、捕捉和/或处理具有由一个或多个发光设备504发射的光的波长的光的任何类型或形式的设备。在一个示例中，传感器510可以包括光谱带通滤波器，该光谱带通滤波器过滤全部或部分(例如，大部分)环境干扰，同时通过具有与照明信号512大致相同(例如，在某个公差内)的波长的光。在一些情况下，传感器510可以包括ToF传感器。例如，传感器510可以对应于全部或部分ToF系统102和/或图像处理系统100的图像传感器104。传感器510可以处理照明反射514以确定与一个或多个目标相关联的距离信息。例如，传感器510可以基于投影照明信号与接收对应的照明反射之间的时间量来确定到目标的距离(根据上述的直接ToF技术)。在另一示例中，传感器510可以基于照明信号与对应的照明反射之间的相移来确定到目标的距离(根据上述的间接ToF技术)。在一些情况下，传感器510的分辨率(例如，图像分辨率)对应于传感器510内的像素(例如，感光元件)的数量。传感器510的全部或部分像素可以响应于投影的照明信号而接收照明反射。在一个示例中，传感器510可以确定与传感器510的每个像素相对应的距离测量。
在一些示例中，处理器518可以至少部分地基于由传感器510确定的距离测量来生成深度图516。例如，传感器510和/或处理器518可以组合与个体FOV部分相关联的距离测量，以生成图像处理系统500的整个FOV的距离测量完全集。处理器518可以使用距离测量完全集来确定整个FOV的深度图。
图6A是图5的图像处理系统500的示例FOV 602的图。在此示例中，FOV 602可以对应于投影系统502的累积FOV。例如，FOV 602可以表示投影系统502的总发散角。如上所述，一个或多个光引导设备506可以被配置为以各种角度引导由一个或多个发光设备504发射的光(例如，以便减小投影系统502到特定FOV部分的发散角)。在一个示例中，每个FOV部分可以与投影系统502的组件的特定配置相关联。因此，FOV 602可以表示从投影系统502的每个可能的投影配置得来的FOV的组合。
图6B是FOV 602的示例FOV部分的图。在此示例中，FOV 602可以包括9个FOV部分。在一些情况下，与每个FOV部分相关联的ToF数据的分辨率(例如，图像分辨率)可以对应于传感器510的全分辨率。例如，在整个传感器510上顺序地对每个FOV部分的场景进行成像。以这种方式，传感器510的全部分辨率可以在每个配置中得到利用。此外，投影系统502的全照明功率可以在每个配置处得到利用。如下面将更详细解释，图像处理系统500可以组合与多个FOV部分相关联的ToF数据以生成深度图，该深度图的分辨率大于传感器510的分辨率。例如，深度图516的分辨率可以对应于传感器510的分辨率乘以FOV 602被划分为FOV部分的数量。在说明性示例中，传感器510的分辨率可以给定为r＝n×m，并且FOV 602可以被划分为N×M个FOV部分。在此示例中，与整个FOV相对应的累积深度图的分辨率可以给定为R＝Nn×Mm。此外，如果一个FOV部分对应于水平投影角θx和垂直投影角θy，则FOV 602的水平和垂直投影角可以分别给定为θX＝Nθx和θY＝Mθy。参见供参考的图6A和图6B。
在一些情况下，投影系统502可以顺序地对FOV 602的每个FOV部分进行照明。例如，投影系统502可以在处于第一投影配置中时通过将第一照明信号投影来对第一FOV部分进行照明。接收系统508可以用整个传感器510的分辨率来捕捉和处理第一照明反射，并且第一照明的全分辨率ToF帧被存储在存储器缓冲区中。在接收到和/或处理过第一照明反射之后，投影系统502可以在处于第二投影配置中时通过将第二照明信号投影来对第二FOV部分进行照明。接收系统508可以用整个传感器510的分辨率来捕捉和处理第二照明反射，并且第二照明的全分辨率ToF帧也被存储在存储器缓冲区中。在一些示例中，图像处理系统500可以重复将照明信号投影和接收照明反射的进程，直到已经接收到与每个FOV部分相对应的照明反射。在此进程中，一次可以对单个FOV部分进行照明。例如，投影系统502可以被配置为在将光朝向另一FOV部分投影之前停止将光朝向一个FOV部分投影。
在一个示例中，投影系统502可以根据顺序照明次序来对FOV部分进行照明。顺序照明次序可以对应于投影系统502“扫描”FOV部分的预定次序。顺序照明次序可以包括通过FOV部分的行(row)进行扫描，通过FOV部分的列(column)进行扫描，对角扫描FOV部分等其他的照明次序。在说明性示例中，用于对图6B中显示的FOV部分进行照明的顺序照明次序可以遵循ToF帧FOV1,1、FOV1,2、FOV1,3、FOV2,1等的顺序。在一些情况下，接收系统508可以按与顺序照明次序相对应的顺序接收次序来接收照明反射。例如，传感器510可以响应于由传感器510接收到的每个照明反射来确定距离测量。传感器510可以基于顺序照明次序来记录与适当的FOV部分相关联的特定距离测量。例如，图像处理系统500可以向投影系统502和接收系统508发送同步信号。同步信号可以向投影系统502和接收系统508两者指示当前被照明的FOV。
如上所提到，图像处理系统500可以组合(例如，“拼接在一起”)与个体FOV部分相关联的距离测量，以生成整个FOV的距离测量完全集。为了组合与个体FOV部分相关联的距离测量，图像处理系统500可以存储针对每个FOV部分的ToF帧(例如，针对图6B的FOV部分的ToF帧FOV1,1、FOV1,2、FOV1,3、FOV2,1至FOV3,3)。在一个示例中，图像处理系统500可以将ToF帧存储在传感器510的内置存储器缓冲区中。在另一示例中，图像处理系统500可以将ToF帧存储在传感器510外部的系统存储器中(例如，图像处理系统100的存储106)。在一些情况下，图像处理系统500可以实时组合与FOV部分相关联的距离测量。例如，传感器510和/或处理器518可以在根据顺序照明次序接收到并且处理新的照明反射时，将距离测量值纳入到距离测量完全集中。在其他示例中，传感器510和/或处理器518可以在每个FOV部分都已经被扫描之后生成距离测量完全集。距离测量完全集可以被存储在单个位置(例如，同一个文件或数据结构)，并且被用于生成深度图516。图像拼接操作可以由图像处理系统500的传感器电子器件或在传感器电子器件之外(例如，由设备CPU或其他处理器)实现。
在一些示例中，一个FOV部分可以与另一FOV部分局部地重叠。例如，图6B示出了FOV1,1与FOV1,2之间的示例重叠612。在一个示例中，重叠612可以对应于预定数量的像素的重叠。例如，FOV1,1的水平分辨率n可以由n＝nx+x给出，其中nx对应于FOV1,1独有的像素，并且x对应于被包括在FOV1,1和FOV1,2两者中的像素。类似地，FOV1,1和FOV2,1可以共享重叠614。在一个示例中，FOV1,1的垂直分辨率m可以由m＝my+y给出，其中my对应于FOV1,1独有的像素，并且y对应于被包括在FOV1,1和FOV2,1两者中的像素。如图6B所示，其余FOV部分的全部或部分可以包括类似的重叠。在一些情况下，FOV部分之间的重叠可以促进实现图像拼接方案，图像拼接方案使用自动数字对齐技术来将FOV部分无缝地“拼接”在一起。例如，图像处理系统500可以至少部分地基于检测到重叠(例如，匹配)距离测量来定域FOV部分内相对于整个FOV的像素。图像处理系统500可以实现任何合适大小的重叠，包括没有重叠。
图7是与图5的投影系统502的示例实现方式相对应的设备700的图。在一些示例中，设备700可以包括多个发光设备。在说明性示例中，设备700可以具有多个VCSEL阵列。如图所示，设备700可以包括一个或多个发光设备，包括发光设备708(A)、708(B)和708(C)。尽管图7示出了三个发光设备708(A)、708(B)和708(C)，但设备700可以包括以任何合适的配置布置的任何合适数量的发光设备。在说明性示例中，设备700可以包括以3×3网格布置的九个发光设备。在一些情况下，设备700的发光设备的数量可以对应于FOV 602被划分为FOV部分的数量。在一些情况下，每个发光设备可以对应于一个不同FOV部分。例如，投影系统502可以顺序地依次激活(例如，打开)每个发光设备，以便扫描每个FOV部分。
在一些情况下，设备700可以包括被配置为将由发光设备发射的光投影的一个或多个投影镜头和/或额外的导光组件。例如，设备700可以包括多个投影透镜(例如，包括投影透镜710(A)、710(B)和/或710(C)的投影透镜阵列)。在一些情况下，投影透镜阵列的每个投影透镜可以对应于发光设备之一(例如，来自发光设备708(A)的光通过多个投影透镜的对应的投影透镜710(A)发射，来自发光设备708(B)的光通过对应的投影透镜710(B)发射，以此类推)。在说明性示例中，投影透镜阵列可以包括多个分立的(例如，分离的)投影透镜。在一些示例中，设备700不包括投影透镜阵列(即，投影透镜阵列可以是可选的)。在一些情况下，投影透镜阵列的投影透镜710(A)、710(B)和710(C)的焦距确定每个FOV部分的度数，例如，FOV1,1、FOV1,2、…FOVn,m、…。在一些情况下，投影透镜710(A)、710(B)和710(C)的焦距连同导光元件(例如，棱镜714)确定FOV部分之间的重叠量。
在一些情况下，图7中显示的棱镜714可以被配置为以不同角度(或不同角度范围)引导光。在一些示例中，投影透镜阵列的每个投影透镜连同棱镜714可以被配置为以特定角度引导光。例如，当一个发光设备708(A)、708(B)或708(C)被激活时，棱镜714(或与特定发光设备相对应的投影透镜-棱镜组合件)可以将来自发光设备(例如，发光设备708(A)、708(B)或708(C))的光朝向期望的FOV部分弯曲。在一个示例中，棱镜714可以是分段式棱镜阵列，其包括被配置为在不同方向上折射光的多个棱镜段。例如，分段式棱镜阵列上的每个棱镜可以将来自对应的发光设备的光弯曲到与特定FOV部分相关联的期望的角度。虽然图7中显示了棱镜714，但可以使用棱镜以外的另一类型的光学元件，诸如衍射光学元件(DOE)。棱镜段(或其他光学元件)折射光的方向可以取决于棱镜段的折射指数、棱镜段的顶角(例如，棱镜段的两个面之间的角度)等其他的特性。在一些情况下，可以选择与发光设备(例如，定位在发光设备的上方的棱镜段)相对应的棱镜段的特性，使得棱镜段将由发光设备发射的光朝向期望的FOV部分弯曲。
在一些示例中，设备700可以包括多个漫射器(例如，漫射器阵列712)。漫射器阵列712的每个漫射器可以对应于(例如，被定位在其上方)投影透镜阵列的相应的投影透镜(例如，投影透镜710(A)的上方的第一漫射器，投影透镜710(B)的上方的第二漫射器，和投影透镜710(C)的上方的第三漫射器)。在一些情况下，漫射器阵列712(例如，连同投影透镜阵列)可以漫射从像素化VCSEL(或其他类型的光源)发射的光，并且增加由设备700生成的照明投影的均匀性。在一些情况下，漫射器712可以被置于投影透镜阵列的投影透镜710(A)、710(B)和710(C)的另一侧上，在VCSEL阵列708的顶部，或在任何其他合适的配置中。设备700可以包括图7中没有示出的任何额外的或替代的光引导设备。
图8是与图5的投影系统502的另一示例实现方式相对应的设备800的图。在一些示例中，设备800可以包括单个发光设备808。在说明性示例中，发光设备808可以是单个VCSEL阵列。单个发光设备808可以被用来顺序地对全FOV被划分为的每个FOV部分进行照明。在一些情况下，由发光设备808发射的光可以由扫描镜814引导。在说明性示例中，扫描镜814可以是微型机电系统(MEMS)镜。MEMS镜扫描仪可以提供各种益处，包括高可靠性、长寿命、紧凑的大小、低成本等其他的益处。扫描镜814可以包括和/或对应于任何额外或替代类型的扫描镜。
在一些情况下，设备800可以调整扫描镜814的取向，以便调整发射光的方向。例如，扫描镜814可以具有多个取向。每个取向可以对应于一个不同FOV部分的照明。在一些情况下，扫描镜814的特定取向可以对应于扫描镜814与参考平面之间的特定角度。在一个示例中，参考平面可以是发光设备808的一个平面(例如，一个面)。图8示出了扫描镜814的三个示例取向。图8中用虚线示出了扫描镜814的取向O1。由扫描镜814以取向O1投影的光的方向用对应的虚线箭头来示出。取向O2和O3(及其对应的投影光方向)分别用实线和虚线来示出。
设备800可以包括一个或多个额外的光引导设备，诸如投影透镜810和/或漫射器812。在一些情况下，漫射器812(例如，在某些情况下，连同透镜810)可以增加由设备800生成的照明投影的均匀性。在一些情况下，漫射器812可以被置于投影透镜810的另一侧或发光设备808(例如，VCSEL阵列)的顶部。投影透镜810的焦距确定每个FOV部分的度数，例如，FOV1,1、FOV1,2、…FOVn,m、…。在一些情况下，投影透镜810的焦距连同导光镜814的角度确定FOV部分之间的重叠量。设备800可以包括图8中没有示出的任何额外的或替代的光引导设备。在一些示例中，设备800不包括投影透镜810(即，投影透镜810可以是可选的)。
图9A是与图5的接收系统508的示例实现方式相对应的设备900的图。在一些示例中，设备900可以包括传感器910(例如，对应于图5的传感器510)。设备900还可以包括一个或多个组件，该一个或多个组件被配置为将照明反射(例如，基于由图5的投影系统502、图7的设备700或图8的设备800发射的照明信号512的照明反射514)聚焦到传感器910上。例如，设备900可以包括图像透镜阵列902，该图像透镜阵列包括一个或多个图像透镜(例如，图像透镜902(A)、902(B)、和/或902(C))。在说明性示例中，图像透镜阵列902可以包括3×3矩阵的图像透镜。在一些情况下，可以选择图像透镜阵列902的折射特性(例如，折射指数、角度、斜率、曲率、倾斜度等)，以将与一个FOV部分相对应的照明反射聚焦到传感器910上。此外，传感器910可以被定位在距离图像透镜阵列902(或图9中未显示的其他图像透镜阵列)一定距离处，以促进照明反射的捕捉。例如，传感器910可以被定位在图像透镜阵列902的后焦平面内。在一个说明性示例中，图像透镜阵列902可以具有焦距f。传感器910可以被定位在距离图像透镜阵列902距离f处，以促进和/或确保由图7或图8的投影仪照明的场景被聚焦或成像在传感器910上。此外，在一些情况下，传感器910可以相对于图像透镜阵列902的中间和/或中心透镜段居中。在这些情况下，图像透镜段之间的中心到中心距离可以被设计为促进对特定大小的FOV部分(例如，特定投影角度)进行照明，并且/或者促进照明反射的聚焦。例如，图像透镜902(A)、902(B)和/或902(C)的位置可以被设计为促进期望的光分散和/或光聚焦水平。图像透镜阵列902的每个图像透镜(图像透镜902(A)、902(B)和902(C))被指定为将FOV的部分(即，FOV1,1、FOV1,2、…FOVn,m、…)成像到传感器910。在一些情况下，图像透镜的数量与FOV部分的数量相同。
在一些示例中，图像透镜阵列902可以被配置用于离轴成像。例如，在离轴成像配置中，图像透镜的光轴不与传感器的中心对齐。在一些情况下，此离轴成像会导致像差(例如，不期望的光分散)。为了校正和/或解释与离轴成像相关联的像差，图像透镜阵列902内的一个或多个图像透镜可以相对于彼此倾斜，如图9A中所示出。例如，传感器910可以与图像透镜阵列902的中心图像透镜902(B)对齐(例如，被定位在正下方)，而图像透镜阵列902的其他图像透镜(例如，图像透镜902(A)和902(C))可以不相对于传感器910对齐。
在一些情况下，设备900可以包括促进照明反射的捕捉的一个或多个滤波器。例如，设备900可以包括带通滤波器，该带通滤波器被配置为通过具有与由一个或多个发光设备(例如，图7的设备700和/或图8的设备800的发光设备)发射的光的频率相对应的频率的光。在说明性示例中，设备900可以包括窄带通滤波器，其中心频率对应于NIR光。带通滤波器可以通过与照明反射相对应的光，同时至少局部地阻挡来自外部光源(例如，太阳光)的光干扰，从而增加信噪比或信号背景噪声比，并且因此增加生成的深度图的准确度和/或质量。图9A示出了可以在设备900内实现的示例滤波器922。如图所示，滤波器922可以被定位在传感器910的上方。
连同光投影系统(例如，图5的投影系统502，它可以包括图7的设备700和/或图8的设备800)，设备900可以执行顺序ToF图像捕捉进程。图9B和图9C示出了可以由设备900和设备700和/或800执行的示例顺序ToF图像捕捉进程。以下描述提供了由设备900和设备700执行的顺序ToF图像捕捉进程的示例。在时间T1，设备700可以激活发光设备708(A)，使光被棱镜714和/或投影透镜阵列的对应的投影透镜710(A)朝向第一FOV部分引导。作为响应(例如，在与时间T1同步的时间)，传感器910可以接收与第一FOV部分(例如，与图6B的ToF帧FOV1,1相对应的FOV部分)的照明反射相对应的光。该光在图9C中被示出为光L1。如图9B和图9C所示，接收到的光L1可以被图像透镜902(A)和/或由设备900的额外的导光组件引导到传感器910。在时间T2，设备700可以激活发光设备708(B)，使光被棱镜714和/或对应的投影透镜710(B)朝向第二FOV部分引导。作为响应(例如，在与时间T2同步的时间)，传感器910可以接收与第二FOV部分(例如，与图6B的ToF帧FOV1,2相对应的FOV部分)的照明反射相对应的光。该光在图9C中被示出为光L2。接收到的光L2可以被图像透镜902(B)和/或由设备900的额外的导光组件引导向传感器910。在时间T3，设备700可以激活发光设备708(C)，使光被棱镜714和/或对应的投影透镜710(C)朝向第三FOV部分引导。作为响应(例如，在与时间T3同步的时间)，传感器910可以接收与第三FOV部分(例如，与图6B的ToF帧FOV1,3相对应的FOV部分)的照明反射相对应的光。该光在图9C中被示出为光L3。接收到的光L3可以被图像透镜902(C)和/或由设备900的额外的导光组件引导向传感器910。
在一些情况下，时间T1与时间T2之间(以及时间T2与时间T3之间)的时间量可以足够用于设备700向一个FOV投影照明信号、设备900接收与照明信号相对应的照明反射，以及设备900(和/或额外的处理器或计算设备)处理用于纳入到深度图中的照明反射。在一些示例中，顺序ToF照明进程可以至少部分地由连接到设备700的驱动器702(图7中显示)来引导。例如，驱动器702可以分别向发光设备708(A)、708(B)和708(C)发送控制信号716(A)、716(B)和716(C)。控制信号可以引导单个发光设备在一个时间被激活。例如，控制信号可以交错激活发光设备。
以下描述提供了由设备800和设备900执行的顺序ToF图像捕捉进程的示例。在时间T1，设备800可以以取向O1定向扫描镜814，使光被朝向第一FOV部分引导。作为响应(例如，在与时间T1同步的时间)，传感器910可以接收与第一FOV部分(例如，与图6B的ToF帧FOV1,1相对应的FOV部分)的照明反射相对应的光。在时间T2，设备800可以以取向O2定向扫描镜814，使光被朝向第二FOV部分引导。作为响应(例如，在与时间T2同步的时间)，传感器910可以接收与第二FOV部分(例如，与图6B的ToF帧FOV1,2相对应的FOV部分)的照明反射相对应的光。在时间T3，设备800可以以取向O3定向扫描镜，使光被朝向第三FOV部分引导。作为响应(例如，在与时间T3同步的时间)，传感器910可以接收与第三FOV部分(例如，与图6B的ToF帧FOV1,3相对应的FOV部分)的照明反射相对应的光。在一些情况下，时间T1与时间T2之间(以及时间T2与时间T3之间)的时间量可以足够用于设备800向一个FOV投影照明信号、设备900接收与照明信号相对应的照明反射，以及设备900(和/或额外的处理器或计算设备)处理用于纳入到深度图中的照明反射。在一些示例中，顺序照明进程可以至少部分地由通信连接到设备800的驱动器802来引导。例如，驱动器802可以向扫描镜814发送控制信号816。控制信号816可以引导扫描镜814在适当的时间调整扫描镜814的取向，以便扫描每个FOV部分。
在一些情况下，设备700可以促进顺序地获得多个FOV部分的距离测量，而无需机械运动。例如，设备700可以经由选择性地激活发光设备来对期望的FOV部分进行照明，而不是通过调整设备700的组件的物理位置和/或取向。消除对机械运动的需要可以减少设备700内的故障风险。如上所述，设备800可以经由对扫描镜进行的机械调整来获得多个FOV部分的距离测量。然而，由对扫描镜进行的机械调整造成的机械疲劳(和对应的性能退化)可以是可忽略不计的。此外，设备800可以包括单个发光设备，这可以减少设备的大小、成本和/或复杂性。
回到图5，如上所提到，图像处理系统500可以经由同步信号使投影系统502和接收系统508同步。例如，图像处理系统500可以实现同步方案，同步方案包括向投影系统502发送第一控制信号以及向接收系统508发送第二控制信号。在一个示例中，第一控制信号可以指示顺序照明次序，并且第二控制信号可以指示对应的顺序的接收次序。在一些情况下，第一控制信号和第二控制信号可以是相同的(或类似的)时间同步信号。
图10A是示例同步ToF系统1000(A)的图。在一个示例中，同步ToF系统1000(A)的全部或部分可以对应于图7的设备700和图9A的设备900。如图所示，同步ToF系统1000(A)可以包括控制器1002。控制器1002可以向设备700的驱动器(例如，驱动器702)发送控制信号1004。在一些情况下，控制信号1004可以表示VCSEL选择信号。例如，控制信号1004可以引导驱动器702在适当的时间选择性地激活设备700的发光设备708。在一个示例中，控制信号1004可以引导驱动器702发送图7中显示的控制信号716(A)、716(B)和/或716(C)。在一些情况下，控制信号716(A)、716(B)和/或716(C)可以包括适合于发光设备708的操作的驱动电流(例如，脉冲串驱动电流或连续波(CW)调制的驱动电流)。控制器1002还可以向设备900的传感器电子器件1008发送控制信号1006。传感器电子器件1008可以包括硬件和/或软件组件，这些硬件和/或软件组件被配置为确定与照明反射相关联的距离测量。在一些情况下，控制信号1006可以是与控制信号1004同步的。例如，控制信号1006可以向传感器电子器件1008指示哪个FOV部分当前正在被照明，并因此指示哪个FOV部分对应于当前照明反射。基于控制信号1004和1006，同步ToF系统1000(A)可以标记与对应的FOV部分相关联的距离测量。
图10B是示例同步ToF系统1000(B)的图。在一个示例中，全部或部分同步ToF系统1000(A)可以对应于图8的设备800和图9A的设备900。如图所示，同步ToF系统1000(B)可以包括控制器1012。控制器1012可以向设备800的驱动器(例如，驱动器802)发送控制信号1014。在一些情况下，控制信号1014可以表示角度选择信号。例如，控制信号1014可以引导驱动器802在适当的时间调整扫描镜814的角度。在一些示例中，控制器1012可以向额外的驱动器1016发送控制信号1020。在一个示例中，驱动器1016可以是用于设备800的发光设备808的驱动器。在一些情况下，控制信号1020可以表示VCSEL同步信号。例如，控制信号1020可以引导驱动器1016向发光设备808提供适当的驱动电流，以便顺序地对FOV部分进行照明。如图所示，控制器1012还可以向设备900的传感器电子器件1018发送控制信号1022。传感器电子器件1018可以包括硬件和/或软件组件，这些硬件和/或软件组件被配置为确定与照明反射相关联的距离测量。在一些情况下，控制信号1022可以是与控制信号1014和/或控制信号1020同步的。例如，控制信号1022可以向传感器电子器件1018指示哪个FOV部分当前正在被照明，并且因而哪个FOV部分对应于当前照明反射。基于控制信号1014、1020和/或1022，同步ToF系统1000(B)可以标记与对应的FOV部分相关联的距离测量。
使用本文描述的系统和技术，ToF系统可以生成分辨率超过ToF系统的ToF传感器的全分辨率的深度图(例如深度图像图)。这些系统和技术还允许ToF系统生成高分辨率深度图，而不会在处理时间方面带来实质性的延迟，并且不会增加传感器的大小(因此降低了传感器的成本)。
图11是示出针对高分辨率ToF深度成像的示例进程1100的流程图。为了清楚起见，进程1100参考图5、图7、图8和图9A的系统和设备进行描述。本文概括的步骤或操作是示例并且可以以其任何组合实现，包括排除、添加或修改某些步骤或操作的组合。
在操作1102，进程1100包括对包括一个或多个发光设备的投影系统的FOV的至少一个部分进行照明，其中，整个FOV包括多个FOV部分。在一些示例中，多个FOV部分的第一FOV部分可以与多个FOV部分中的至少第二FOV部分局部地重叠。在一些示例中，对多个FOV部分进行照明包括按顺序照明次序对多个FOV部分中的每一个进行照明(例如，通过一次对单个FOV部分进行照明)。在此类示例中，接收多个照明反射中的每个照明反射包括按与顺序照明次序相对应的顺序接收次序来接收每个反射。进程1100可以包括基于多个照明反射中的每个照明反射来生成多个图像中的每个图像。参考图5，作为说明性示例，图像处理系统500的投影系统502可以至少部分地通过一次对单个FOV部分进行照明来按顺序照明次序对多个FOV部分中的每一个进行照明。在一些示例中，投影系统502可以使用(多个)发光设备504和/或(多个)光引导设备506来顺序地将照明信号512投影。
在一个说明性示例中，(多个)发光设备504可以包括多个发光设备，并且(多个)光引导设备506可以包括多个投影透镜。多个投影透镜中的每个投影透镜可以被配置为将(例如，连同棱镜，诸如棱镜714)由多个发光设备之一发射的光朝向多个FOV部分中的一不同FOV部分投影。在一些示例中，投影系统502可以包括分段式棱镜阵列，该分段式棱镜阵列被配置为向多个FOV部分中的每个FOV部分引导光。例如，多个发光设备504可以包括图7的发光设备708，并且多个光引导设备可以包括图7的棱镜714。在一个示例中，棱镜714可以是分段式棱镜阵列，其包括多个棱镜段。棱镜714的每个棱镜段可以被定位在发光设备708之一的上方。此外，棱镜714的每个棱镜段可以相对于发光设备708的平面以不同角度定向。在一些示例中，投影系统502可以包括相对于扫描镜定位的一个或多个漫射器。一个或多个漫射器被配置为漫射由单个发光设备发射的光。例如，图7的设备700(作为投影系统502的示例)可以包括漫射器阵列712。作为另一示例，图8的设备800可以包括漫射器812。
在另一说明性示例中，(多个)发光设备504可以包括单个发光设备，并且(多个)光引导设备506可以包括扫描镜。扫描镜可以被配置为当以不同取向定向时，将由单个发光设备发射的光朝向多个FOV部分中的不同FOV部分投影。例如，单个发光设备可以包括图8的发光设备808，并且单个光引导设备可以包括图8的扫描镜814。扫描镜814可以是一个扫描镜。在一些情况下，扫描镜814可以被定位在发光设备808的上方。此外，扫描镜814的每个不同取向可以对应于扫描镜814与发光设备808的平面之间的不同取向角。
在操作1104，进程1100包括(例如，由接收系统的传感器，诸如接收系统508)基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像。多个图像中的每个图像对应于多个FOV部分之一。此外，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率。在一个说明性示例中，参考图5，图像处理系统500的接收系统508可以按与照明信号512的顺序照明次序相对应的顺序接收次序来接收照明反射514。接收系统508的传感器可以捕捉每个照明反射的图像。例如，投影系统502可以对多个FOV部分的第一FOV部分进行照明，并且接收系统508可以接收第一照明反射，以及传感器可以捕捉与第一FOV部分相对应的第一图像。在接收到第一照明反射之后，投影系统502可以对多个FOV部分的第二FOV部分进行照明。然后，接收系统508可以接收第二照明反射，并且传感器可以捕捉与第二FOV部分相对应的第二图像。
在一个示例中，投影系统502和接收系统508可以是同步的。例如，图像处理系统500的处理器518可以向投影系统502发送第一控制信号，该第一控制信号引导投影系统502对多个FOV部分中的特定FOV部分进行照明。506。处理器518还可以向接收系统508发送第二控制信号，该第二控制信号引导接收系统508将由传感器510接收到的照明反射与特定FOV部分进行关联。第一控制信号和第二控制信号可以是时间同步的。
在一些示例中，接收系统508可以包括图像透镜的阵列，该阵列的每个图像透镜被配置为将与对应于多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向接收系统508的传感器投影。例如，图9A的设备900(作为接收系统508的示例)可以包括图像透镜阵列902。在一些情况下，接收系统508可以包括定位在传感器510的上方的滤波器。例如，设备900可以包括滤波器922。滤波器922可以被配置为透射具有与由(多个)发光设备504(例如，图7的发光设备708和/或图8的发光设备808)发射的光的频率相对应的频率的光。
在操作1106，进程1100包括使用多个图像(和/或照明反射)来生成与整个FOV相关联的增加分辨率的深度图。例如，处理器518可以生成深度图516，该深度图可以包括基于与整个FOV的每个FOV部分相关联的各种全分辨率图像的增加分辨率的深度图。在一个示例中，处理器518可以生成多个局部距离测量(例如，作为图像)，每个距离测量对应于照明反射514之一。然后，处理器518可以通过组合多个局部距离测量来生成深度图516。此外，在一些示例中，深度图516的图像分辨率可以对应于传感器510的最大分辨率乘以个体FOV部分的数量。
在一些示例中，进程1100和/或本文描述的其他进程可以由一个或多个计算设备或装置来执行。在一些示例中，进程1100和/或本文描述的其他进程可以由以下各项来执行：图5中显示的图像处理系统500、图7中显示的设备700、图8中显示的设备800、图9A中显示的设备900、图10A中显示的同步ToF系统1000(A)、图10B中显示的同步ToF系统1000(B)和/或具有图1100中显示的计算设备架构1100的一个或多个计算设备。在一些情况下，此计算设备或装置可以包括处理器、微处理器、微型计算机或被配置为实施进程1100的步骤的设备的其他组件。在一些示例中，此计算设备或装置可以包括被配置为捕捉图像数据的一个或多个传感器。例如，计算设备可以包括智能手机、相机、头戴式显示器、移动设备或其他合适的设备。在一些示例中，此计算装置或设备可以包括被配置为捕捉一个或多个图像或视频的相机。在一些情况下，此计算设备可以包括用于显示图像的显示器。在一些示例中，一个或多个传感器和/或相机与计算设备分离，在这种情况下，计算设备接收感测到的数据。此计算设备可以进一步包括被配置为通信数据的网络接口。
计算设备的组件可以以电路实现。例如，组件可以包括和/或可以使用电子电路或其他电子硬件来实现，这些电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其他合适的电子电路)，并且/或者可以包括和/或使用计算机软件、固件或它们的任何组合来实现，以执行本文描述的各种操作。计算设备可以进一步包括显示器(作为输出设备的示例或补充输出设备)、被配置为通信和/或接收数据的网络接口、它们的任何组合，和/或其他组件。网络接口可以被配置为通信和/或接收基于互联网协议(IP)的数据或其他类型的数据。
进程1100被示出为逻辑流程图，其操作表示可以以硬件、计算机指令或它们的组合实现的操作序列。在计算机指令的背景下，这些操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，这些计算机可执行指令当由一个或多个处理器执行时执行所叙述的操作。通常，计算机可执行指令包括执行特定功能或者实现特定数据类型的例程、程序、对象、组件、数据结构等。操作被描述的次序并不意图被解释为限制，并且任何数量的所描述的操作可以按任何次序和/或并行地组合来实现这些进程。
此外，本文描述的进程1100和/或其他进程可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以被实现为在一个或多个处理器上集体执行、由硬件或它们的组合执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)。如上所指出，代码可以被存储在计算机可读或机器可读的存储介质上，例如，以包括可由一个或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非暂时性的。
图12是示出用于实现本技术的某些方面的系统的示例的图。特别地，图12示出了计算系统1200的示例，它可以是例如构成内部计算系统的任何计算设备、远程计算系统、相机或它们的任何组件，其中，系统的组件使用连接1205彼此通信。连接1205可以是使用总线的物理连接，或到处理器1210的直接连接，诸如在芯片组架构中。连接1205还可以是虚拟连接、网络化连接，或逻辑连接。
在一些示例中，计算系统1200是分布式系统，其中本公开中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些示例中，一个或多个所描述的系统组件表示许多此类组件，每个组件执行针对该组件描述的一些或全部功能。在一些情况下，这些组件可以是物理或虚拟设备。
示例系统1200包括至少一个处理单元(CPU或处理器)1210和连接1205，该连接将各种系统组件包括系统存储器1215(诸如只读存储器(ROM)1220和随机存取存储器(RAM)1225)耦合到处理器1210。计算系统1200可以包括与处理器1210直接连接、接近或集成为处理器1210的一部分的高速存储器的高速缓存1212。
处理器1210可以包括任何通用处理器和被配置为控制处理器1210的硬件服务或软件服务，诸如存储在存储设备1230中的服务1232、1234和1236，以及专用处理器，在该专用处理器中，软件指令被纳入到实际处理器设计中。处理器1210本质上可以是完全自含式的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了使得能够进行用户互动，计算系统1200包括输入设备1245，该输入设备可以表示任何数量的输入机制，诸如用于语音的麦克风、用于手势或图形输入的触摸感应屏、键盘、鼠标、运动输入、语音等。计算系统1200还可以包括输出设备1235，该输出设备可以是若干输出机制中的一个或多个。在一些实例中，多模态系统可以使得用户能够提供多个类型的输入/输出来与计算系统1200进行通信。计算系统1200可以包括通信接口1240，该通信接口通常可以治理和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发器来执行或促进接收和/或发送有线或无线通信，有线和/或无线收发器包括利用以下的那些：音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专有的有线端口/插头、/>无线信号传输、/>低能量(BLE)无线信号传输、/>无线信号传输、射频识别(RFID)无线信号传输、近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.12Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、全球微波接入互操作性(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网络(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网络无线信号传输、自组织网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外线信号传输、沿电磁波谱的无线信号传输，或它们的某种组合。通信接口1240还可以包括用来基于从与一个或多个GNSS系统相关联的一个或多个卫星接收到的一个或多个信号来确定计算系统1200的位置的一个或多个全球导航卫星系统(GNSS)接收器或收发器。GNSS系统包括但不限于美国的全球定位系统(GPS)、俄罗斯的全球导航卫星系统(GLONASS)、中国的北斗导航卫星系统(BDS)和欧洲的伽利略GNSS。对在任何特定硬件布置上操作没有约束，并且因而这里的基本功能可以很容易地随着改进的硬件或固件布置被开发出来而被它们所取代。
存储设备1230可以是非易失性和/或非暂时性和/或计算机可读存储器设备，并且可以是可以存储计算机可访问的数据的硬盘或其他类型的计算机可读介质，诸如磁带、闪速存储器卡、固态存储器设备、数字多功能磁盘、磁带盒、软盘、柔性盘、硬盘、磁带、磁条/条带、任何其他磁性存储介质，闪速存储器、忆阻器存储器、任何其他固态存储器，压缩光盘只读存储器(CD-ROM)光学光盘、可重写压缩光盘(CD)光学光盘、数字视频盘(DVD)光学光盘、蓝光光盘(BDD)光学光盘、全息光学光盘、另一光学介质，安全数字(SD)卡、微型安全数字(microSD)卡、Memory卡、智能卡芯片、EMV芯片、订户身份模块(SIM)卡、迷你/微型/纳米/微微SIM卡、另一集成电路(IC)芯片/卡，随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速EPROM(FLASHEPROM)、高速缓存存储器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移扭矩RAM(STT-RAM)、另一存储器芯片或盒，和/或它们的组合。
存储设备1230可以包括软件服务、服务器、服务等，当定义此软件的代码由处理器1210执行时，它使系统执行功能。在一些示例中，执行特定功能的硬件服务可以包括存储在与必要的硬件组件(诸如处理器1210、连接1205、输出设备1235等)连接的计算机可读介质中的软件组件，以实施该功能。
如本文所用，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带(多个)指令和/或数据的各种其他介质。计算机可读介质可以包括非暂时性介质，在该非暂时性介质中，可以存储数据并且不包括无线地或透过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带，光学存储介质，诸如压缩盘(CD)或数字多用盘(DVD)，闪速存储器，存储器或存储器设备。计算机可读介质可以在其上存储代码和/或机器可执行指令，这些代码和/或机器可执行指令可以表示过程、函数、子程序、程序、例程、子程序、模块、软件分组、类，或者指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容与另一代码段或硬件电路耦合。信息、变元、参数、数据等可以使用任何合适的手段(包括存储器共享、消息传递、令牌传递、网络传输等)来传递、转发或传输。
在一些示例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的电缆或无线信号。然而，当提到时，非暂时性计算机可读存储介质明确地排除了诸如能量、载波信号、电磁波和信号本身之类的介质。
在上面的描述中提供了具体细节，以提供对本文所提供的示例的透彻理解。然而，本领域技术人员将会理解，在没有这些具体细节的情况下可以实践这些示例。为了解释清楚，在一些实例中，本技术可以被呈现为包括单独的功能块，包括了包括设备、设备组件、体现在软件中的方法中的步骤或例程，或硬件和软件的组合的功能块。除了图中显示和/或本文描述的组件外，还可以使用额外的组件。例如，电路、系统、网络、进程和其他组件可以以框图的形式显示为组件，以便不在不必要的细节中模糊这些示例。在其他实例中，众所周知的电路、进程、算法、结构和技术可以不显示不必要的细节，以便避免模糊这些示例。
单独的示例可以在上面描述为进程或方法，该进程或方法被描绘为流程图表、流程图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序进程，但许多操作可以并行或并发地执行。另外，操作的次序也可以重新布置。过程在其操作完成时被终止，但可以具有未包括在图中的额外的步骤。进程可以对应于方法、函数、过程、子例程、子程序等。当进程对应于功函数，它的终止可以对应于该函数返回到调用函数或主函数。
根据上述示例的进程和方法可以使用计算机可执行指令来实现，这些指令被存储或以其他方式从计算机可读介质获得。例如，此类指令可以包括使或以其他方式配置通用计算机、特殊用途计算机或处理设备执行某种功能或功能组的指令和数据。所使用的计算机资源的部分可以透过网络访问。计算机可执行指令可以是例如二进制、中间格式指令，诸如汇编语言、固件、源代码等。可以用来存储指令的计算机可读介质、在根据所描述的示例的方法期间使用的数据和/或创建的信息的示例包括磁性或光学磁盘、闪速存储器、提供有非易失性存储器的USB设备、网络化存储设备等等。
实现根据这些公开的进程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或它们的任何组合，并且可以采取各种各样的形状因子(form factor)中任一种。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。(多个)处理器可以执行必要任务。形状因子的典型示例包括膝上型计算机、智能手机、移动电话、平板设备或其他小形状因子的个人计算机、个人数字助理、机架式设备、单机设备等等。本文描述的功能也可以在外围设备或内插卡中体现。作为进一步的示例，此功能也可以在电路板上的不同芯片或在单个设备中执行的不同进程中实现。
指令、用于传达此类指令的介质、用于执行它们的计算资源以及用于支持此类计算资源的其他结构是用于提供本公开中描述的功能的示例部件。
在前面的描述中，本申请的各方面是参考其具体示例进行描述的，但本领域的技术人员将认识到，本申请并不限于此。因此，虽然本申请的说明性示例已经在本文中进行了详细描述，但应理解的是，本发明的概念可以以其他方式被不同地体现和采用，并且所附的权利要求意图被解释为包括此类变化，除非受到现有技术的限制。上述申请的各种特征和方面可以单独地或共同地使用。此外，在不脱离本说明书更广泛的精神和范围的情况下，可以在本文描述的那些之外的任何数量的环境和应用中利用这些示例。相应地，本说明书和图应被视为说明性而非约束性的。出于说明的目的，方法是按特定次序进行描述的。应当理解的是，在替代的示例中，方法可以按与所描述不同的次序执行。
普通技术人员将会理解，在不脱离本描述的范围的情况下，本文使用的小于(“＜”)和大于(“＞”)的符号或术语可以分别用小于或等于(“≤”)和大于或等于(“≥”)符号代替。
当组件被描述为“被配置为”执行某些操作时，此配置可以通过例如设计电子电路或其他硬件来执行操作，通过对可编程电子电路(例如，微处理器，或其他合适的电子电路)进行编程来执行操作，或它们的任何组合来完成。
短语“耦合到”是指直接或间接地与另一组件物理连接的任何组件，和/或直接或间接地与另一组件通信的任何组件(例如，透过有线或无线连接和/或其他合适的通信接口与另一组件连接)。
叙述集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其他语言指示该集合的一个成员或该集合的多个成员(以任何组合)满足权利要求。例如，叙述“A和B中的至少一个”的权利要求语言意味着A、B或A和B。在另一示例中，叙述“A、B和C中的至少一个”的权利要求语言意味着A、B、C，或A和B，或A和C，或B和C，或A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”并不将该集合限制为该集合中列出的项目。例如，叙述“A和B中的至少一个”的权利要求语言可以意味着A、B，或A和B，并且可以附加地包括A和B的集合中没有列出的项目。
结合本文公开的示例描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或它们的组合。为了清楚地说明硬件和软件的这种互换性，上文已经就它们的功能性的方面大致描述了各种说明性组件、块、模块、电路和步骤。此功能性被实现为硬件还是软件取决于特定应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以变化的方式来实现所描述的功能，但是此类实现方式决策不应被解释为导致脱离本公开的范围。
本文描述的技术还可以以电子硬件、计算机软件、固件或它们的任何组合实现。此类技术可以以各种各样的设备中的任一种实现，诸如通用计算机、无线通信设备手机或具有多种用途的集成电路设备，包括无线通信设备手机和其他设备中的应用。任何被描述为模块或组件的特征都可以在集成的逻辑设备中一起实现，或者作为分立但可互操作的逻辑设备分离地实现。如果以软件实现，这些技术可以至少部分地由包括程序代码的计算机可读数据存储介质实现，该程序代码包括指令，当这些指令被执行时，执行上文描述的一个或多个方法。计算机可读数据存储介质可以形成计算机程序产品的一部分，该产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，诸如随机存取存储器(RAM)诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁性或光学数据存储介质等。这些技术附加地或替代地可以至少部分地由计算机可读通信介质实现，该计算机可读通信介质以指令或数据结构的形式携带或通信程序代码，并且可以由计算机访问、读取和/或执行，诸如传播的信号或波。
程序代码可以由处理器执行，处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。此处理器可以被配置为执行本公开中描述的任何技术。通用处理器可以是微处理器，但是替代地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核的结合的一个或多个微处理器、或者任何其他此配置。相应地，如本文所用的术语“处理器”可以指任何前述结构、前述结构的任何组合或适合于本文描述的技术的实现方式的任何其他结构或装置。另外，在一些方面中，本文描述的功能性可以在被配置用于编码以及解码的专用软件模块或硬件模块内提供，或者被纳入到组合视频编解码器(CODEC)中。
本公开的说明性方面包括：
方面1：一种用于高分辨率飞行时间深度成像的装置，该装置包括：投影系统，该投影系统包括一个或多个发光设备，一个或多个发光设备中的每个发光设备被配置为对投影系统的整个视场(FOV)的至少一个部分进行照明，其中，整个FOV包括多个FOV部分；接收系统，该接收系统包括传感器，该传感器被配置为基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，多个图像中的每个图像对应于多个FOV部分之一，以及其中，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率；以及处理器，该处理器被配置为使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。
方面2：根据权利要求1的装置，其中：投影系统被配置为按顺序照明次序来对多个FOV部分中的每一个进行照明，该顺序照明次序包括一次对单个FOV部分进行照明；以及接收系统被配置为按与顺序照明次序相对应的顺序接收次序来接收多个照明反射中的每个照明反射并且基于每个照明反射来生成多个图像中的每个图像。
方面3：根据权利要求2的装置，其中，为了按顺序照明次序来对多个FOV部分中的每一个进行照明，投影系统被配置为：对多个FOV部分的第一FOV部分进行照明；接收与第一FOV部分相对应的第一照明反射；在接收到第一照明反射之后，对多个FOV部分的第二FOV部分进行照明；以及接收与第二FOV部分相对应的第二照明反射。
方面4：根据权利要求1的装置，其中：一个或多个发光设备包括多个发光设备；以及投影系统包括多个投影透镜，多个投影透镜中的每个投影透镜被配置为将由多个发光设备之一发射的光朝向多个FOV部分中的一不同FOV部分投影。
方面5：根据权利要求4的装置，其中，投影系统包括相对于多个投影透镜定位的一个或多个漫射器，该一个或多个漫射器被配置为漫射由多个发光设备发射的光。
方面6：根据权利要求4的装置，其中，多个投影透镜中的每一个被定位在多个发光设备的上方。
方面7：根据权利要求1的装置，其中，投影系统包括分段式棱镜阵列，该分段式棱镜阵列被配置为向多个FOV部分中的每个FOV部分引导光。
方面8：根据权利要求1的装置，其中：一个或多个发光设备包括单个发光设备；以及投影系统包括扫描镜，其中，该扫描镜被配置为当以不同取向定向时，将由单个发光设备发射的光朝向多个FOV部分中的不同FOV部分投影。
方面9：根据权利要求8的装置，其中，扫描镜包括微型机电系统(MEMS)镜。
方面10：根据权利要求8的装置，其中：扫描镜被定位在单个发光设备的上方；以及扫描镜的不同取向中的每一个对应于扫描镜与单个发光设备的平面之间的不同取向角。
方面11：根据权利要求8的装置，其中，投影系统包括相对于扫描镜定位的一个或多个漫射器，该一个或多个漫射器被配置为漫射由单个发光设备发射的光。
方面12：根据权利要求1的装置，其中，接收系统包括图像透镜的阵列，该图像透镜的阵列中的每个图像透镜被配置为将与对应于多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向传感器投影。
方面13：根据权利要求1的装置，其中，接收系统进一步包括定位在传感器的上方的滤波器，该滤波器被配置为透射具有与由一个或多个发光设备发射的光的频率相对应的频率的光。
方面14：根据权利要求1的装置，其中，处理器被配置为至少部分地基于以下操作来使投影系统和接收系统同步：向投影系统发送第一控制信号，该第一控制信号引导投影系统对多个FOV部分中的特定FOV部分进行照明；以及向接收系统发送第二控制信号，该第二控制信号引导接收系统将由传感器接收到的照明反射与特定FOV部分进行关联，其中，第一控制信号和第二控制信号是时间同步的。
方面15：根据权利要求1的装置，其中，多个FOV部分的第一FOV部分与多个FOV部分的至少第二FOV部分局部地重叠。
方面16：根据权利要求1的装置，其中，为了生成与整个FOV相关联的增加分辨率的深度图，处理器被配置为：生成多个局部距离测量，该多个局部距离测量中的每一个对应于多个照明反射之一；以及组合多个局部距离测量。
方面17：根据权利要求1的装置，其中，增加分辨率的深度图的图像分辨率对应于传感器的最大分辨率乘以多个FOV部分的数量。
方面18：一种用于高分辨率飞行时间深度成像的方法，该方法包括：使用投影系统的一个或多个发光设备来对投影系统的整个视场(FOV)的多个FOV部分进行照明，其中，一个或多个发光设备中的每个发光设备被配置为对整个FOV的至少一个部分进行照明；基于与由一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，多个图像中的每个图像对应于多个FOV部分之一，以及其中，与多个图像中的每个图像相关联的图像分辨率对应于传感器的全分辨率；以及使用多个图像来生成与整个FOV相关联的增加分辨率的深度图。
方面19：根据权利要求18的方法，其中：对多个FOV部分进行照明包括按顺序照明次序来对多个FOV部分中的每一个进行照明，该顺序照明次序包括一次对单个FOV部分进行照明；按与顺序照明次序相对应的顺序接收次序来接收多个照明反射中的每个照明反射；以及进一步包括基于多个照明反射中的每个照明反射来生成多个图像中的每个图像。
方面20：根据权利要求19的方法，其中，按顺序照明次序来对多个FOV部分中的每一个进行照明包括：对多个FOV部分的第一FOV部分进行照明；接收与第一FOV部分相对应的第一照明反射；在接收到第一照明反射之后，对多个FOV部分的第二FOV部分进行照明；以及接收与第二FOV部分相对应的第二照明反射。
方面21：根据权利要求18的方法，其中：一个或多个发光设备包括多个发光设备；以及投影系统包括多个投影透镜，该多个投影透镜中的每个投影透镜被配置为将由多个发光设备之一发射的光朝向多个FOV部分中的一不同FOV部分投影。
方面22：根据权利要求21的方法，其中，投影系统包括相对于多个投影透镜定位的一个或多个漫射器，该一个或多个漫射器被配置为漫射由多个发光设备发射的光。
方面23：根据权利要求21的方法，其中，多个透镜中的每一个被定位在多个发光设备的上方。
方面24：根据权利要求18的方法，其中，投影系统包括分段式棱镜阵列，该分段式棱镜阵列被配置为向多个FOV部分中的每个FOV部分引导光。
方面25：根据权利要求18的方法，其中：一个或多个发光设备包括单个发光设备；以及投影系统包括扫描镜，其中，该扫描镜被配置为当以不同取向定向时，将由单个发光设备发射的光朝向多个FOV部分中的不同FOV部分投影。
方面26：根据权利要求25的方法，其中，扫描镜包括微型机电系统(MEMS)镜。
方面27：根据权利要求25的方法，其中：扫描镜被定位在单个发光设备的上方；以及扫描镜的不同取向中的每一个对应于扫描镜与单个发光设备的平面之间的不同取向角。
方面28：根据权利要求25的装置，其中，投影系统包括相对于扫描镜定位的一个或多个漫射器，该一个或多个漫射器被配置为漫射由单个发光设备发射的光。
方面29：根据权利要求18的方法，其中，接收系统包括图像透镜的阵列，该图像透镜的阵列中的每个图像透镜被配置为将与对应于多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向传感器投影。
方面30：根据权利要求18的方法，进一步包括定位在传感器的上方的滤波器，该滤波器被配置为透射具有与由一个或多个发光设备发射的光的频率相对应的频率的光。
方面31：根据权利要求18的方法，进一步包括至少部分地基于以下操作来使投影系统和接收系统同步：向投影系统发送第一控制信号，该第一控制信号引导投影系统对多个FOV部分中的特定FOV部分进行照明；以及向接收系统发送第二控制信号，该第二控制信号引导接收系统将由传感器接收到的照明反射与特定FOV部分进行关联，其中，第一控制信号和第二控制信号是时间同步的。
方面32：根据权利要求18的方法，其中，多个FOV部分的第一FOV部分与多个FOV部分的至少第二FOV部分局部地重叠。
方面33：根据权利要求18的方法，其中，生成与整个FOV相关联的增加分辨率的深度图包括：生成多个局部距离测量，该多个局部距离测量中的每一个对应于多个照明反射之一；以及组合多个局部距离测量。
方面34：根据权利要求18的方法，其中，增加分辨率的深度图的图像分辨率对应于传感器的最大分辨率乘以多个FOV部分的数量。
方面35：一种非暂时性计算机可读存储介质，具有存储在其中的指令，当这些指令被一个或多个处理器执行时使该一个或多个处理器执行根据方面1至34中任一项的操作。
方面36：一种装置，包括：用于执行根据方面1至34中任一项的操作的部件。

Claims (35)

1.一种用于高分辨率飞行时间深度成像的装置，所述装置包括：
投影系统，所述投影系统包括一个或多个发光设备，所述一个或多个发光设备中的每个发光设备被配置为对所述投影系统的整个视场(FOV)的至少一个部分进行照明，其中，整个FOV包括多个FOV部分；
接收系统，所述接收系统包括传感器，所述传感器被配置为基于与由所述一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，所述多个图像中的每个图像对应于所述多个FOV部分之一，以及其中，与所述多个图像中的每个图像相关联的图像分辨率对应于所述传感器的全分辨率；以及
处理器，所述处理器被配置为使用所述多个图像来生成与所述整个FOV相关联的增加分辨率的深度图。
2.根据权利要求1所述的装置，其中：
所述投影系统被配置为按顺序照明次序来对所述多个FOV部分中的每一个进行照明，所述顺序照明次序包括一次对单个FOV部分进行照明；以及
所述接收系统被配置为按与所述顺序照明次序相对应的顺序接收次序来接收所述多个照明反射中的每个照明反射并且基于每个照明反射来生成所述多个图像中的每个图像。
3.根据权利要求2所述的装置，其中，为了按所述顺序照明次序来对所述多个FOV部分中的每一个进行照明，所述投影系统被配置为：
对所述多个FOV部分的第一FOV部分进行照明；
接收与所述第一FOV部分相对应的第一照明反射；
在接收到所述第一照明反射之后，对所述多个FOV部分的第二FOV部分进行照明；以及
接收与所述第二FOV部分相对应的第二照明反射。
4.根据权利要求1所述的装置，其中：
所述一个或多个发光设备包括多个发光设备；以及
所述投影系统包括多个投影透镜，所述多个投影透镜中的每个投影透镜被配置为将由所述多个发光设备之一发射的光朝向所述多个FOV部分中的一不同FOV部分投影。
5.根据权利要求4所述的装置，其中，所述投影系统包括相对于所述多个投影透镜定位的一个或多个漫射器，所述一个或多个漫射器被配置为漫射由所述多个发光设备发射的光。
6.根据权利要求4所述的装置，其中，所述多个投影透镜中的每一个被定位在所述多个发光设备的上方。
7.根据权利要求1所述的装置，其中，所述投影系统包括分段式棱镜阵列，所述分段式棱镜阵列被配置为向所述多个FOV部分中的每个FOV部分引导光。
8.根据权利要求1所述的装置，其中：
所述一个或多个发光设备包括单个发光设备；以及
所述投影系统包括扫描镜，其中，所述扫描镜被配置为当以不同取向定向时，将由所述单个发光设备发射的光朝向所述多个FOV部分中的不同FOV部分投影。
9.根据权利要求8所述的装置，其中，所述扫描镜包括微型机电系统(MEMS)镜。
10.根据权利要求8所述的装置，其中：
所述扫描镜被定位在所述单个发光设备的上方；以及
所述扫描镜的不同取向中的每一个对应于所述扫描镜与所述单个发光设备的平面之间的不同取向角。
11.根据权利要求8所述的装置，其中，所述投影系统包括相对于所述扫描镜定位的一个或多个漫射器，所述一个或多个漫射器被配置为漫射由所述单个发光设备发射的光。
12.根据权利要求1所述的装置，其中，所述接收系统包括图像透镜的阵列，所述图像透镜的阵列中的每个图像透镜被配置为将与对应于所述多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向所述传感器投影。
13.根据权利要求1所述的装置，其中，所述接收系统进一步包括定位在所述传感器的上方的滤波器，所述滤波器被配置为透射具有与由所述一个或多个发光设备发射的光的频率相对应的频率的光。
14.根据权利要求1所述的装置，其中，所述处理器被配置为至少部分地基于以下操作来使所述投影系统和所述接收系统同步：
向所述投影系统发送第一控制信号，所述第一控制信号引导所述投影系统对所述多个FOV部分中的特定FOV部分进行照明；以及
向所述接收系统发送第二控制信号，所述第二控制系统引导所述接收系统将由所述传感器接收到的照明反射与所述特定FOV部分进行关联，其中，所述第一控制信号和所述第二控制系统是时间同步的。
15.根据权利要求1所述的装置，其中，所述多个FOV部分的第一FOV部分与所述多个FOV部分的至少第二FOV部分局部地重叠。
16.根据权利要求1所述的装置，其中，为了生成与所述整个FOV相关联的增加分辨率的深度图，所述处理器被配置为：
生成多个局部距离测量，所述多个局部距离测量中的每一个对应于所述多个照明反射之一；以及
组合所述多个局部距离测量。
17.根据权利要求1所述的装置，其中，增加分辨率的深度图的图像分辨率对应于所述传感器的最大分辨率乘以所述多个FOV部分的数量。
18.一种用于高分辨率飞行时间深度成像的方法，所述方法包括：
使用投影系统的一个或多个发光设备来对所述投影系统的整个视场(FOV)的多个FOV部分进行照明，其中，所述一个或多个发光设备中的每个发光设备被配置为对整个FOV的至少一个部分进行照明；
由接收系统的传感器基于与由所述一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，所述多个图像中的每个图像对应于所述多个FOV部分之一，以及其中，与所述多个图像中的每个图像相关联的图像分辨率对应于所述传感器的全分辨率；以及
使用所述多个图像来生成与所述整个FOV相关联的增加分辨率的深度图。
19.根据权利要求18所述的方法，其中：
对所述多个FOV部分进行照明包括按顺序照明次序来对所述多个FOV部分中的每一个进行照明，所述顺序照明次序包括一次对单个FOV部分进行照明；
接收所述多个照明反射中的每个照明反射包括按与所述顺序照明次序相对应的顺序接收次序来接收每个反射；以及
进一步包括基于所述多个照明反射中的每个照明反射来生成所述多个图像中的每个图像。
20.根据权利要求19所述的方法，其中，按所述顺序照明次序来对所述多个FOV部分中的每一个进行照明包括：
对所述多个FOV部分的第一FOV部分进行照明；
接收与所述第一FOV部分相对应的第一照明反射；
在接收到所述第一照明反射之后，对所述多个FOV部分的第二FOV部分进行照明；以及
接收与所述第二FOV部分相对应的第二照明反射。
21.根据权利要求18所述的方法，其中：
所述一个或多个发光设备包括多个发光设备；以及
所述投影系统包括多个投影透镜，所述多个投影透镜中的每个投影透镜被配置为将由所述多个发光设备之一发射的光朝向所述多个FOV部分中的一不同FOV部分投影。
22.根据权利要求21所述的方法，其中，所述投影系统包括相对于所述多个投影透镜定位的一个或多个漫射器，所述一个或多个漫射器被配置为漫射由所述多个发光设备发射的光。
23.根据权利要求21所述的方法，其中，所述多个透镜中的每一个被定位在所述多个发光设备的上方。
24.根据权利要求18所述的方法，其中，所述投影系统包括分段式棱镜阵列，所述分段式棱镜阵列被配置为向所述多个FOV部分中的每个FOV部分引导光。
25.根据权利要求18所述的方法，其中：
所述一个或多个发光设备包括单个发光设备；以及
所述投影系统包括扫描镜，其中，所述扫描镜被配置为当以不同取向定向时，将由所述单个发光设备发射的光朝向所述多个FOV部分中的不同FOV部分投影。
26.根据权利要求25所述的方法，其中，所述扫描镜包括微型机电系统(MEMS)镜。
27.根据权利要求25所述的方法，其中：
所述扫描镜被定位在所述单个发光设备的上方；以及
所述扫描镜的不同取向中的每一个对应于所述扫描镜与所述单个发光设备的平面之间的不同取向角。
28.根据权利要求25所述的装置，其中，所述投影系统包括相对于所述扫描镜定位的一个或多个漫射器，所述一个或多个漫射器被配置为漫射由所述单个发光设备发射的光。
29.根据权利要求18所述的方法，其中，所述接收系统包括图像透镜的阵列，所述图像透镜的阵列中的每个图像透镜被配置为将与对应于所述多个FOV部分中的相应FOV部分的场景的一不同部分相关联的光向所述传感器投影。
30.根据权利要求18所述的方法，进一步包括定位在所述传感器的上方的滤波器，所述滤波器被配置为透射具有与由所述一个或多个发光设备发射的光的频率相对应的频率的光。
31.根据权利要求18所述的方法，进一步包括至少部分地基于以下操作来使所述投影系统和所述接收系统同步：
向所述投影系统发送第一控制信号，所述第一控制信号引导所述投影系统对所述多个FOV部分中的特定FOV部分进行照明；以及
向所述接收系统发送第二控制信号，所述第二控制系统引导所述接收系统将由所述传感器接收到的照明反射与所述特定FOV部分进行关联，其中，所述第一控制信号和所述第二控制系统是时间同步的。
32.根据权利要求18所述的方法，其中，所述多个FOV部分的第一FOV部分与所述多个FOV部分的至少第二FOV部分局部地重叠。
33.根据权利要求18所述的方法，其中，生成与所述整个FOV相关联的增加分辨率的深度图包括：
生成多个局部距离测量，所述多个局部距离测量中的每一个对应于所述多个照明反射之一；以及
组合所述多个局部距离测量。
34.根据权利要求18所述的方法，其中，增加分辨率的深度图的图像分辨率对应于所述传感器的最大分辨率乘以所述多个FOV部分的数量。
35.一种用于高分辨率飞行时间深度成像的非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括：
存储在其中的指令，当所述指令被一个或多个处理器执行时使所述一个或多个处理器：
使用投影系统的一个或多个发光设备来对所述投影系统的整个视场(FOV)的多个FOV部分进行照明，其中，所述一个或多个发光设备中的每个发光设备被配置为对整个FOV的至少一个部分进行照明；
由接收系统的传感器基于与由所述一个或多个发光设备发射的光相对应的多个照明反射来顺序地捕捉多个图像，其中，所述多个图像中的每个图像对应于所述多个FOV部分之一，以及其中，与所述多个图像中的每个图像相关联的图像分辨率对应于所述传感器的全分辨率；以及
使用所述多个图像来生成与所述整个FOV相关联的增加分辨率的深度图。
CN202280012002.5A 2021-02-03 2022-01-26 高分辨率飞行时间深度成像 Pending CN116802513A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/166,990 US11763425B2 (en) 2021-02-03 2021-02-03 High resolution time-of-flight depth imaging
US17/166,990 2021-02-03
PCT/US2022/013886 WO2022169649A1 (en) 2021-02-03 2022-01-26 High-resolution time-of-flight depth imaging

Publications (1)

Publication Number Publication Date
CN116802513A true CN116802513A (zh) 2023-09-22

Family

ID=80786843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280012002.5A Pending CN116802513A (zh) 2021-02-03 2022-01-26 高分辨率飞行时间深度成像

Country Status (8)

Country Link
US (1) US11763425B2 (zh)
EP (1) EP4288797A1 (zh)
JP (1) JP2024507706A (zh)
KR (1) KR20230141774A (zh)
CN (1) CN116802513A (zh)
BR (1) BR112023014833A2 (zh)
TW (1) TW202235909A (zh)
WO (1) WO2022169649A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
WO2024112903A1 (en) * 2022-11-23 2024-05-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Method and device for three-dimensional imaging and imaging through scattering scenes
US11721063B1 (en) * 2023-01-26 2023-08-08 Illuscio, Inc. Systems and methods for dynamic image rendering using a depth map
WO2024192565A1 (zh) * 2023-03-17 2024-09-26 华为技术有限公司 探测系统、激光雷达和终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
WO2017079483A1 (en) 2015-11-05 2017-05-11 Luminar Technologies, Inc. Lidar system with improved scanning speed for high-resolution depth mapping
KR102457029B1 (ko) 2016-09-20 2022-10-24 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10598771B2 (en) 2017-01-18 2020-03-24 Analog Devices Global Unlimited Company Depth sensing with multiple light sources
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device

Also Published As

Publication number Publication date
US20220245762A1 (en) 2022-08-04
TW202235909A (zh) 2022-09-16
US11763425B2 (en) 2023-09-19
WO2022169649A1 (en) 2022-08-11
KR20230141774A (ko) 2023-10-10
EP4288797A1 (en) 2023-12-13
JP2024507706A (ja) 2024-02-21
BR112023014833A2 (pt) 2023-11-14

Similar Documents

Publication Publication Date Title
US11763425B2 (en) High resolution time-of-flight depth imaging
EP3804297A1 (en) Programmable pixel array
WO2019174435A1 (zh) 投射器及其检测方法和装置、图像获取装置、电子设备、可读存储介质
US20230204724A1 (en) Reducing interference in an active illumination environment
US10055881B2 (en) Video imaging to assess specularity
US11570342B2 (en) Selective power efficient three-dimensional imaging
US20240249423A1 (en) Processing image data using multi-point depth sensing system information
US20240070886A1 (en) Mixed-mode depth imaging
US20230281835A1 (en) Wide angle eye tracking
US20230021016A1 (en) Hybrid object detector and tracker
US20240127401A1 (en) Active depth sensing
US20240267632A1 (en) Adaptive algorithm for power efficient eye tracking
US11889196B2 (en) Systems and methods for determining image capture settings
US20240265570A1 (en) Method and apparatus for optimum overlap ratio estimation for three dimensional (3d) reconstructions
US11982527B2 (en) Systems and methods of imaging with multi-domain image sensor
US11831858B2 (en) Passive three-dimensional image sensing based on referential image blurring
WO2024081491A1 (en) Active depth sensing
US20240281996A1 (en) Systems and methods for motion blur compensation for feature tracking
KR20240154550A (ko) 광각 눈 추적

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination