CN113687376A - 连续波飞行时间系统 - Google Patents

连续波飞行时间系统 Download PDF

Info

Publication number
CN113687376A
CN113687376A CN202110526156.3A CN202110526156A CN113687376A CN 113687376 A CN113687376 A CN 113687376A CN 202110526156 A CN202110526156 A CN 202110526156A CN 113687376 A CN113687376 A CN 113687376A
Authority
CN
China
Prior art keywords
charge
samples
imaging
charge samples
modulation signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110526156.3A
Other languages
English (en)
Inventor
J·E·D·赫维茨
K·巴利基
E·E·英格利什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Analog Devices International ULC
Original Assignee
Analog Devices International ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Analog Devices International ULC filed Critical Analog Devices International ULC
Publication of CN113687376A publication Critical patent/CN113687376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及连续波飞行时间系统。本公开涉及配置为测量到物体的距离的较低能量/较快的飞行时间的摄像系统。该系统被配置为发射以第一频率调制的激光和被物体反射的图像光，以便确定所发射和反射的光之间的第一相位差。然后，它发出以第二频率调制的激光，并成像被物体反射的光，以确定所发出和反射的光之间的第二相位差。到物体的距离是使用第一和第二相位差确定的。与获得第二相位差的操作相比，该系统被布置为以较低的能量进行操作以获得第一相位差。与先前的连续波飞行时间系统相比，这将降低总体能源消耗，并有可能使整体运行速度更快，而成像精度没有任何显着降低。

Description

连续波飞行时间系统
技术领域
本公开涉及配置为测量到物体的距离的较低功率/较快的飞行时间的摄像系统。
背景技术
飞行时间(ToF)摄像系统是一种范围成像系统，可通过测量从ToF摄像系统发出的光的往返行程来解析相机与物体之间的距离。该系统通常包括：光源(例如激光器或LED)；控制来自光源的光的光源驱动器；用于对物体反射的光进行成像的图像传感器；用于控制图像传感器的操作的图像传感器驱动器；光学器件，用于使从光源发射的光整形以及将由物体反射的光聚焦到图像传感器上的光学系统；以及计算单元，被配置为基于所发射的光和来自物体的相应光反射来确定到物体的距离。
在连续波(CW)ToF摄像系统中，激光会发出多个周期的连续光波。该系统然后被配置为基于所发射的光与所接收的反射光之间的相位差来确定到成像物体的距离。CW ToF系统通常在以第二调制信号调制所发射的激光并确定所发射的激光与反射光之间的进一步的相位差之前，以第一调制信号调制所发射的激光，并确定所发射的光和反射光之间的第一相位差。然后可以基于第一和第二相位差来确定深度图/深度帧。第一调制信号和第二调制信号具有不同的频率，使得第一和第二相位差可以用于解决相位缠绕。
在每次发光之后发射激光并清除存储在图像传感器上的电荷所花费的时间内，被成像的物体可移动，这可导致生成的图像帧不准确和/或模糊。此外，驱动(通常是相对较高功率的)激光器，并且执行图像传感器的像素的多次读出操作，会消耗相对大量的功率。因此，需要更快和/或更低能量的CW ToF摄像系统。
发明内容
本公开涉及配置为测量到物体的距离的较低功率/较快的飞行时间的摄像系统。该系统被配置为发射以第一频率调制的激光和被物体反射的图像光，以便确定发射光和反射光之间的第一相位差，并分别在不同的时间(在涉及使用第一频率的激光调制的过程之前或之后)，发射以第二频率调制的激光以及对由物体反射的光进行成像，以确定发射光与反射光之间的第二相位差。到物体的距离是使用第一和第二相位差确定的。与获得第二相位差的操作相比，该系统被布置为以较低的能量进行操作以获得第一相位差。与先前的连续波飞行时间系统相比，这将降低总体能源消耗，并有可能使整体运行速度更快，而成像精度没有任何显着降低。
在本公开的第一方面，提供连续波飞行时间CW-ToF摄像系统，包括：用于输出激光的激光器；成像传感器，包括多个成像像素，用于基于包括反射激光的入射光来累积电荷；和图像采集系统，耦合到所述成像传感器并被配置为:通过以下方式从所述成像传感器采集第一组电荷样本:a)驱动所述激光器输出以第一调制信号调制的激光,其中所述第一调制信号具有第一频率；和b)在步骤a之后，读出指示由所述成像传感器的多个成像像素中的至少一些成像像素累积的电荷的图像传感器值；通过以下方式从所述成像传感器采集第二组电荷样本:c)驱动所述激光器输出以第二调制信号调制的激光,其中所述第二调制信号具有第二频率，并且其中所述第二频率大于所述第一频率；和d)在步骤c之后，读出指示由所述成像传感器的多个成像像素中的至少一些成像像素累积的电荷的图像传感器值；和基于所述第一组电荷样本和所述第二组电荷样本确定深度帧；其中与采集所述第二组电荷样本相比，所述CW-ToF摄像系统以相对低能量的模式操作来采集所述第一组电荷样本。可以在第二组电荷样本之前或之后采集第一组电荷样本。
相对低能量的模式可包括：在步骤b)中，从所述成像传感器的第一组成像像素中读出图像传感器值；和在步骤d)中，从所述成像传感器的第二组成像像素中读出图像传感器值，其中所述第一组成像像素比所述第二组成像像素包括更少的成像像素。
相对低能量的模式可包括：当采集所述第一组电荷样本时：对两个或更多个成像像素的组的图像传感器值进行合并，使得所述第一组电荷样本中的每一个均包括多个合并的像素值。步骤b)可包括：在模拟域中将两个或多个成像像素组的图像传感器值进行合并；和数字转换所述多个合并的像素值。
图像采集系统可进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧，并且其中确定深度帧包括对所述第一组电荷样本进行上采样。
图像采集系统可进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧，其中确定深度帧包括：使用所述第一组电荷样本来确定以第一调制频率调制的输出激光与入射在所述成像传感器上的光之间的相位差；和对以第一调制频率调制的输出激光与入射在所述成像传感器上的光之间的确定的相位差进行上采样。
相对低能量的模式可包括：驱动所述激光器，使得以第一调制信号调制的输出激光的光功率低于以第二调制信号调制的输出激光的光功率。
图像采集系统可包括一个或多个放大器，用于放大从所述成像传感器读取的信号，并且其中所述图像采集系统被配置为:当采集所述第一组电荷样本时，以第一功率模式操作一个或多个放大器中的至少一些；和当采集所述第二组电荷样本时，以第二功率模式操作一个或多个放大器中的至少一些,其中所述第一功率模式低于所述第二功率模式。
图像采集系统可包括一个或多个模数转换器ADC，用于将从所述成像传感器读取的模拟信号转换为数字信号，并且其中所述图像采集系统被配置为:当确定第一组样本中的至少一些时，以第一功率模式操作至少一些ADC；和当确定第二组样本中的至少一些时，以第二功率模式操作至少一些ADC,其中所述第一功率模式低于所述第二功率模式。
相对低能量的模式可包括：第一多次重复步骤a)和b)，使得采集的第一组电荷样本包括第一多个电荷样本；和第二多次重复步骤c)和d)，使得采集的第二组电荷样本包括第二多个电荷样本,其中所述第一多个少于所述第二多个，使得所述第一多个电荷样本包括比所述第二多个电荷样本更少的电荷样本。
相对低能量的模式可包括：驱动步骤a)和c)中的激光器，使得在步骤a)期间从所述激光器输出激光的时间比在步骤c)期间从所述激光器输出激光的时间短。
图像采集系统可进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧。
图像采集系统可进一步被配置为将所述第一组电荷样本和所述第二组电荷样本输出到处理器以确定深度帧。
在本公开的第二方面，提供一种使用连续波ToF CW-ToF摄像系统来获得多个电荷样本的方法，该系统包括激光器和具有用于基于入射光累积电荷的多个成像像素的成像传感器,该方法包括:通过以下方式从所述成像传感器采集第一组电荷样本:a)驱动所述激光器输出以第一调制信号调制的激光,其中所述第一调制信号具有第一频率；和b)读出指示由所述成像传感器的多个成像像素中的至少一些累积的电荷的图像传感器值；通过以下方式从所述成像传感器采集第二组电荷样本:c)驱动所述激光器输出以第二调制信号调制的激光,其中所述第二调制信号具有第二频率，和其中所述第二频率大于所述第一频率；和d)读出指示由所述成像传感器的多个成像像素中的至少一些累积的电荷的图像传感器值,其中与采集所述第二组电荷样本相比，所述CW-ToF摄像系统以相对低能量的模式操作来采集所述第一组电荷样本。
该方法还可包括：基于所述第一组电荷样本和所述第二组电荷样本确定深度图像。
在本公开的第三方面，提供一种用于连续波飞行时间CW-ToF摄像系统的图像采集系统,该图像采集系统被配置为:通过以下方式获得第一多个电荷样本:驱动所述激光器来发射以第一调制信号调制的第一激光；和从所述成像传感器的第一多个成像像素中读出图像传感器值；通过以下方式获得第二多个电荷样本:驱动所述激光器来发射以第二调制信号调制的第二激光；和从所述成像传感器的第二多个成像像素中读出图像传感器值,其中与所述第二多个电荷样本中的每一个相比，所述第一多个电荷样本中的每一个包括更少的数据点。
第一多个成像像素的数量可以少于第二多个成像像素的数量。
获得第一多个电荷样本还可包括对两个或更多个成像像素的组的图像传感器值进行合并，使得所述第一多个电荷样本中的每一个均包括多个合并的像素值，其中所述第一组电荷样本中的每一个中的多个合并的像素值的数量少于所述第二组电荷样本中的每一个中的多个图像传感器值。
图像采集系统可进一步被配置为通过以下方式获得所述第一多个电荷样本：驱动所述激光器来在多个时间段内发射以第一调制信号调制的第一激光；对于多个时间段中的每个时间段，控制所述成像传感器以针对一部分调制信号在至少一些成像像素上积累电荷,其中对于多个时间段的每个时间段，调制信号中发生累积的部分具有不同的相位偏移；和在多个时间段中的每个时间段结束时，通过从所述第一多个成像像素中读出图像传感器值来获得所述第一多个电荷样本中的一个。对于所述第一多个电荷样本中的每一个，可读出所述成像传感器的同一组成像像素。
图像采集系统可进一步被配置为通过以下方式获得所述第一多个电荷样本：驱动所述激光器来在时间段内发射以第一调制信号调制的第一激光；在该时间段内，控制所述成像传感器来为调制信号的第一部分在第一组成像像素上累积电荷；在该时间段内，控制所述成像传感器来为调制信号的第二部分在第二组成像像素上累积电荷,其中所述第二部分与所述第一部分具有相同的调制信号持续时间，但具有不同的相位偏移；和在该时间段结束时，读出所述第一组成像像素以获得第一多个电荷样本中的一个，并且读出所述第二组成像像素以获得第一多个电荷样本中的另一个。
公开的方面
通过非限制性示例，本公开的一些方面在以下编号的条款中阐述。
1.连续波飞行时间CW-ToF摄像系统，包括:
用于输出激光的激光器；
成像传感器，包括多个成像像素，用于基于包括反射激光的入射光来累积电荷；和
图像采集系统，耦合到所述成像传感器并被配置为:
通过以下方式从所述成像传感器采集第一组电荷样本:
a)驱动所述激光器输出以第一调制信号调制的激光，其中所述第一调制信号具有第一频率；和
b)从所述图像传感器中读取电荷；
通过以下方式从所述成像传感器采集第二组电荷样本:
c)驱动所述激光器输出以第二调制信号调制的激光，其中所述第二调制信号具有第二频率，并且其中所述第二频率大于所述第一频率；和
d)从所述图像传感器中读取电荷；和
基于所述第一组电荷样本和所述第二组电荷样本确定深度帧；
其中与采集所述第二组电荷样本相比，所述CW-ToF摄像系统以相对低能量的模式操作来采集所述第一组电荷样本。
2.方面1的CW-ToF摄像系统，其中成像传感器包括多个成像像素；和其中所述相对低功率的模式包括：
在步骤b)中，从所述成像传感器的第一组像素中读出电荷；
在步骤d)中，从所述成像传感器的第二组像素中读出电荷；
其中第一组像素比第二组像素包含更少的像素。
3.方面2的CW-ToF摄像系统，其中第一组像素的每个像素的大小与第二组像素的每个像素的大小相同。
4.方面2的CW-ToF摄像系统，其中第一组像素的每个像素的面积大于第二组像素的每个像素的面积。
5.方面4的CW-ToF摄像系统，其中第一组像素中的每个像素包括多个成像像素中的两个或多个合并像素。
6.方面5的CW-ToF摄像系统，其中两个或更多个合并像素是成像传感器的相邻成像像素。
7.方面2的CW-ToF摄像系统，其中第一组像素中的至少一些像素大于第二组像素中的每个像素。
8.方面2至7中任一个的CW-ToF摄像系统，其中确定深度帧包括上采样第一组电荷样本中的至少一些和/或上采样至少一些基于第一组电荷样本而生成的数据。
9.前述任一方面的CW-ToF摄像系统，其中相对低功率的模式包括驱动所述激光器，使得以第一调制信号调制的输出激光的光功率低于以第二调制信号调制的输出激光的光功率。
10.前述任一方面的CW-ToF摄像系统，其中所述图像采集系统包括一个或多个放大器，用于放大从所述成像传感器读取的信号，并且其中所述图像采集系统被配置为:
当采集所述第一组电荷样本时，以第一功率模式操作一个或多个放大器中的至少一些；和
当采集所述第二组电荷样本时，以第二功率模式操作一个或多个放大器中的至少一些，
其中所述第一功率模式低于所述第二功率模式。
11.前述任一方面的CW-ToF摄像系统，其中所述图像采集系统包括一个或多个模数转换器ADC，用于将从所述成像传感器读取的模拟信号转换为数字信号，并且其中所述图像采集系统被配置为:
当确定一个或多个第一子帧中的至少一些子帧时，以第一功率模式操作至少一些ADC；和
当确定一个或多个第二子帧中的至少一些时，以第二功率模式操作至少一些ADC，
其中所述第一功率模式低于所述第二功率模式。
12.前述任一方面的CW-ToF摄像系统，其中所述相对低功率的模式包括：
第一多次重复步骤a)和b)，使得采集的第一组电荷样本包括第一多个电荷样本；
第二多次重复步骤c)和d)，使得采集的第二组电荷样本包括第二多个电荷样本；
其中所述第一多个少于所述第二多个，使得所述第一多个电荷样本包括比所述第二多个电荷样本更少的电荷样本。
13.前述任一方面的CW-ToF摄像系统，其中所述相对低功率的模式包括：
驱动步骤a)和c)中的激光器，使得在步骤a)期间从所述激光器输出激光的时间比在步骤c)期间从所述激光器输出激光的时间短。
14.连续波飞行时间CW-ToF摄像系统，包括:
用于输出激光的激光器；
成像传感器，包括多个成像像素；和
图像采集系统，耦合到所述成像传感器并被配置为:
a)驱动激光器来发射以第一调制信号调制的第一激光；
b)从成像传感器的第一组像素中读取电荷；
c)驱动激光器来发射以第二调制信号调制的第二激光；和
d)从成像传感器的第二组像素读取电荷，
其中第一组像素比第二组像素包含更少的像素。
附图说明
参考以下附图，仅以示例的方式描述了本公开的各方面，其中：
图1是根据本公开的一个方面的CW-ToF成像系统的示意图。
图2是图1的CW-ToF成像系统可以如何操作以从成像传感器累积和读出电荷的示意图。
图3是根据本公开的另一方面的CW-ToF成像系统的示意图。
图4是图3的CW-ToF成像系统可以如何操作以从成像传感器累积和读出电荷的示意图。
图5是另一种方式的示意图，其中可以操作图3的CW-ToF成像系统以从成像传感器累积和读出电荷。
图6是另一替代方式的示意图，其中，可以操作图3的CW-ToF成像系统以从成像传感器累积和读出电荷。
图7是像素子采样的示例类型的表示。
图8是根据本公开的另一方面的CW-ToF成像系统的示意图。
图9表示根据本公开的一方面的示例方法步骤。
这些图仅是示意性的和代表性的。它们没有按比例绘制。
具体实施方式
如背景技术部分中所述，CW-ToF摄像系统配置为在用第二调频信号调制发射的激光并确定发射光与反射光之间的进一步相位差之前，用第一调频信号调制发射的激光并确定发射光与反射光之间的第一相位差。然后可以使用两个确定的相位差和确定的深度图/深度帧来执行相位展开。发明人已经认识到，与使用较低频率调制信号确定的相位差相比，使用较高频率调制信号确定的相位差的精度对深度图/帧的总体精度的影响更大。结果，发明人已经认识到，以降低使用低频调制信号确定的相位差的精度的方式来修改系统，应该对整体精度产生相对适度的影响，因为使用较高的频率调制信号确定的相位差的较高准确度水平要走很长的路要走。
结果，减少能量消耗和/或增加处理速度的修改可能对相位差精度产生不利影响，但是可以相对于低频激光信号处理进行修改，同时仍保持可接受的总体精度。例如，当以较低的频率对其进行调制时，可以降低激光的发射功率，和/或可以降低由于在较低的频率调制过程中反射的激光而使成像传感器所累积的电荷信号的处理(例如，放大或转换)。这提高了系统的整体电源效率。附加地或可替代地，与高频操作相比，在低频操作期间，可以从成像传感器读出较少的数据，或者可以对从成像传感器读出的像素数据进行装仓，以减少用于后续处理的数据量(例如，在较低调制频率照明的每个周期之后，只能读出像素的子集)。这不仅可以减少成像传感器和处理组件的功耗，而且还可以减少确定较低发射频率和接收光之间的相位差所需的总时间。时间的减少可以帮助减少在对运动物体成像时的图像模糊，也可以帮助提高摄像系统的帧速率。此外，可以执行内插以便对与较低频率调制有关的数据进行上采样，这可以使精度的任何降低最小化。因此，发明人已经开发出了较低能量和/或较高速度的CW-ToF摄像系统，其对于许多应用仍保持可接受的精度水平。
图1示出了CW ToF摄像系统100的示例表示。系统100包括激光器110(其可以是任何合适类型的激光器，例如VCSEL)和被配置成驱动激光器110发光的激光器驱动器105。
系统100还包括成像传感器120，该成像传感器120包括多个(在这种情况下为m×n)成像像素。转换器系统130(包括多个放大器和ADC)耦合到成像传感器120，以读取指示累积在成像像素上的电荷的图像传感器值(例如，电压)，并数字转换读取的值，将其输出到存储处理器和控制器140。存储器处理器和控制器140可以被配置为基于接收到的指示在成像像素上累积的电荷的数字值来确定深度帧(也称为深度图)，该深度帧指示到正被成像的物体的距离。存储器处理器和控制器140还可被配置为确定活动亮度帧(也称为2D IR帧/图像)。备选地，存储器处理器和控制器140可以经由数据库(未在图中示出)耦合到处理器，并且输出所采集的数字值以供处理器用于确定深度帧和/或2D IR帧。存储器处理器和控制器140控制时钟生成电路150，该时钟生成电路150输出用于驱动激光器110和用于从成像传感器120读取电荷的定时信号。转换器系统130、存储器处理器和控制器140以及时钟生成电路150可以一起统称为图像采集系统，其被配置为通过控制激光器110的发射、控制图像传感器120的电荷累积定时、读取图像传感器120以及处理结果数据来确定一个或多个深度帧。
图2示出了示例性示意图，以帮助解释系统100的操作。存储器处理器和控制器140以及时钟生成电路150控制激光器110，以在一个累积时间段2101中，输出由具有第一频率f1的第一调制信号调制的第一激光。在该时间段期间，从物体反射的一些第一激光将入射在成像传感器120上。在累积时间段2101期间，存储处理器和控制器140以及时钟生成电路150还在第一激光的时段/周期的第一部分/时间间隔中(0°至180°，或0至π)基于入射的反射第一激光控制成像传感器120以累积电荷。例如，当所发射的第一激光的相位在0°至180°之间时，成像传感器120被控制为“打开其快门”以累积电荷。因此，随后可以使用成像传感器120上累积的电荷，例如通过将累积的电荷信号与第一调制信号互相关，来确定接收到的第一激光相对于发射的第一激光在0至π的第一间隔中的相位。在该示例中，累积发生在第一激光的周期/周期的一半，但是可以替代地发生在任何其他合适的时间量，例如第一激光的相位的四分之一。技术人员将容易地理解如何基于激光调制信号的定时使用控制信号来控制成像传感器120的累积定时。如本领域技术人员将理解的，如果图像传感器120是单端像素类型，则可以控制像素以在该时段的该部分/间隔中累积电荷，而在该时段的其余部分中不累积任何电荷。如果图像传感器120是差分像素类型，则可以控制像素以在该像素的一侧上的该周期的该部分/间隔中累积电荷，并且在该时段的剩余时间中在像素的另一侧上累积电荷。这也适用于稍后描述的其他累加部分/间隔。
在随后的读出时段2201中，存储处理器和控制器140以及时钟生成电路150控制第一激光器1101停止发光并控制读出的图像传感器值，该值指示在成像传感器120的成像像素中累积的电荷。读出值的性质将取决于成像传感器120的技术。例如，如果成像传感器是CMOS传感器，则可以读出电压值，其中每个电压值取决于在成像传感器120的成像像素中累积的电荷，使得读出值各自指示在成像传感器120的成像像素中累积的电荷。在其他传感器技术中，读出值的性质可以不同，例如可以直接读出电荷或电流等。例如，可以控制成像传感器120，以使用本领域技术人员熟知的任何标准读出过程和电路来逐行读出图像传感器值。以此方式，可以在成像传感器120上读出在时段2101期间由每个成像像素累积的电荷的样本，将其转换为数字值，然后由存储处理器和控制器140进行存储。达到该过程的结论的一组值或数据点在本公开中称为电荷样本。
应当理解，时间累积的时段2101可以持续第一调制信号的多个时段/周期(如图1所示)，以便在第一调制信号的0到π的间隔内累积足够的反射光以执行相对于第一调制信号的接收的反射光的相位的精确确定。
在累积时段2102期间，存储处理器和控制器140以及时钟生成电路150再次控制第一激光器1101以在累积时段2102中输出由第一调制信号调制的第一激光。这与累积时段2101非常相似，除了在时段2102的累积期间存储处理器和控制器140和时钟生成电路150控制成像传感器120累积电荷以积累第一调制信号的时段/周期的第二部分/间隔(90°至270°，或π/2至3π/2)之外。读出的时段2202与时段2201非常相似，除了所获得的电荷样本与第一调制信号的π/2到3π/2的移位或延迟间隔有关。
累积时段2103与期间2102非常相似，除了存储处理器和控制器140和时钟生成电路150控制成像传感器120累积第一调制信号的时段/周期的第三部分/时间间隔的电荷(180°至360°或π至2π)。读出的时段2203与时段2202非常相似，除了采样的电荷数据与第一调制信号的π到2π的移位或延迟间隔有关之外。
最后，除了在第一调制信号的时段/周期的第四部分/间隔中(270°至90°，或3π/2至π/2)存储处理器和控制器140以及时钟生成电路150还控制成像传感器120基于入射的反射第一激光积累电荷之外，累积时段2104与时段2103非常相似。读出的时段2204与时段2203非常相似，除了电荷样本与3π/2至π/2的移位或延迟间隔(或者换句话说，3π/2至π/2的移位或延迟间隔)有关之外。
从上面可以看出，对于每个累积时段2101-2104，像素累积定时相对于激光调制信号的开始定时被偏移(即，激光调制信号和控制像素累积时序的像素解调信号的相对相位发生偏移)。这可以通过调整像素解调信号或通过调整激光调制信号来实现。例如，可以通过时钟来设置两个信号的时序，并且对于每个累积时段2101-2104，可以将激光调制信号或像素解调信号增量地延迟π/2。
尽管在该示例中，每个累积时段2101-2104持续激光调制信号的时段的50％(即，持续180°)，但是在替代方案中，每个累积时段可以更短，例如60°或90°或120°等，如上所述，每个累积时段的开始相对偏移90°。
完成此操作后，已采集四个数据样本(电荷样本)并将其存储在内存中。它们一起可以被称为第一组电荷样本。紧接在读出时段2204之后，或在稍后的某个时间，可以使用四个电荷样本来确定第一激光和接收到的反射光之间的相位关系(例如，通过对样本执行离散傅里叶变换(DFT)以找到基频的实部和虚部，然后从实部和虚部确定相位，这将被技术人员所熟知)。这可以由图像采集系统执行，或者可以通过数据总线将电荷样本从图像采集系统输出到外部处理器，以确定相位关系。可选地，还可以使用四个样本来确定(通过图像采集系统或外部处理器)反射的第一激光的有源亮度(2D IR)(例如，通过从实部和虚部确定基频的幅度，本领域技术人员将很好地理解)。
尽管在该示例中，通过具有四个累积时段2101-2104获得了四个数据样本，但是对于某些类型的成像像素，可以从更少的累积时段中获得相同数量的样本。例如，如果成像像素是差分像素或两个抽头像素，则可以针对与累积间隔0°至180°有关的样本读出每个像素的一半，而对于累积间隔180°至360°可以读出另一半。因此，可以从单个累积时段2101和读出2201获得两个样本。同样地，可以从单个累积时段2102和读出2202获得两个90°至270°和270°至450°的样本。在另一示例中，如果使用四个抽头成像像素，并且每个相对偏移90°的位置开始累积，所有四个样本都可以从一个累积周期和读出中获得。然而，即使当在单个累积周期和读出中针对两个或更多个不同的相位偏移可以获得两个或更多个样本时，仍然可以可选地执行多个累积周期和读出，并且为了校正像素缺陷，每个相位偏移围绕每个成像像素的可用累积区域在每个连续的累积周期内移动。例如，对于四抽头成像像素，可能存在四个累积周期和读出，并且相位偏移围绕每个像素的四个累积区域连续移动，从而导致每个相位偏移有四个样本，从像素的不同累积区域读出每个样本，这意味着可以使用样本校正像素缺陷。
本领域技术人员将容易理解，使用DFT来确定第一激光和接收到的反射激光之间的相位关系以及确定有源亮度仅仅是一个示例，并且可以使用任何其他合适的替代技术。通过简要说明，现在描述另一个非限制性示例。
发射的调制激光信号可以用以下等式描述：
s(t)＝Assin(2πft)+Bs
其中:
s(t)＝发射信号的光功率
f＝激光调制频率
As＝调制发射信号的幅度
Bs＝调制发射信号的偏移
在成像传感器处接收到的信号可以用以下等式描述：
r(t)＝α(A5sin(2πft+Φ)+Bs)+Benv
Φ＝2πfΔ
Figure BDA0003065635280000131
其中：
r(t)＝接收信号的光功率
α＝接收信号的衰减系数
Φ＝相移
Benv＝背景光的振幅
Δ＝发射和接收信号之间的时间延迟(即飞行时间)
d＝到成像物体的距离
c＝光速
可以使用解调信号g(t-τ)来控制成像像素的累积定时，该解调信号实际上是照明信号的时间延迟版本。
g(t-τ)＝Agsin(2πf(t-τ))+Bg
其中：
τ＝可变延迟，可以将其设置为实现上述每个累积周期2101-2104之间的相位延迟/偏移2101-2104
Ag＝解调信号的幅度
Bg＝解调信号的偏移
成像传感器的成像像素有效地将信号r(t)和g(t-τ)进行相乘。结果信号可以由成像传感器的成像像素积分，以产生互相关信号c(τ)：
c(τ)＝Asin(2πf(t-τ))+B
如上所述，通过驱动成像传感器在不同的累积周期内以不同的偏移进行累积，可以测量不同的时间偏移τ(相位偏移
Figure BDA0003065635280000141
)0、π/2、π、3π/2的相关性。
Figure BDA0003065635280000151
Figure BDA0003065635280000152
c(0)＝A1＝A(sin(Φ))+B
Figure BDA0003065635280000153
c(π)＝A3＝-A(sin(Φ))+B
Figure BDA0003065635280000154
根据这些读数，可以确定相位偏移/飞行时间可以通过以下方式找到：
Figure BDA0003065635280000155
因此，可以使用从图像传感器采集的四个电荷样本来确定深度图像或深度图。
还可以通过确定
Figure BDA0003065635280000156
确定活动亮度或2D IR图像/帧。
随后，随后可以在累积时段2301-2304中重复先前关于时段2101-2104和2201-2204所描述的过程，并读出时段2401-2404。这些与累积时段2101-2104和读出时段2201-2204相同，除了驱动激光器110以发射用第二调制信号调制的光，而不是驱动激光器1101以发射用第一调制信号调制的光。所述第二调制信号具有第二频率f2高于第一频率f1。结果，获得了另外四个数据样本(电荷样本)并将其存储在存储器中。基于这些电荷样本，可以由图像采集系统或外部处理器确定第二激光与所接收的反射光之间的相位关系(以及可选地还包括所反射的第二激光的有效亮度)，例如使用如上所述的DFT或相关函数处理。
使用所确定的第一激光与所接收的反射光之间的相位关系以及所确定的第二激光与所接收的反射光之间的相位关系，可以执行相位缠绕，并且由存储器处理器和控制器140确定的单个深度图像/帧(本领域技术人员将理解)。这样，可以解决任何相位缠绕问题，从而可以确定准确的深度帧。为了生成深度帧的时间序列，该过程可以重复很多次，深度帧可以一起形成视频。
可选地，还可以使用所确定的第一激光的有源亮度和/或所确定的第二激光的有源亮度来确定2D IR帧。
发明人已经认识到，用于采集第一组电荷样本(包括累积时段2101-2104和读出时段2201-2204)并采集第二组电荷样本(包括累积时段2301-2304和读出时段2401-2404)的上述过程花费了相对大量的时间。例如，每个累积周期可以持续约100μs的范围，并且每个读出时段可以持续约3ms的范围，从而整个过程持续在19ms的范围内。在这段时间中，被成像的物体可能相对于摄像系统100移动，从而最终确定的深度帧可能具有该物体的模糊图像和/或存在一些误差。此外，他们已经认识到上述过程可能需要相当大的能量消耗，如果系统100是在电池驱动的设备(例如智能手机或平板电脑)中实现的，则这可能尤其重要。
发明人已经认识到，第一组电荷样本可以比第二组电荷样本对深度帧架的最终精度有所贡献。这是因为第一组电荷样本是使用比第二组电荷样本具有更低的频率调制信号(因此具有更长的波长)调制的激光来采集的。结果，第一调制信号和所接收的反射光之间的相关性的样本(使用第一组电荷样本来确定)有效地提供了到物体的相对粗略的距离指示。第二调制信号和所接收的反射光之间的相关性的样本(使用第二组电荷样本来确定)有效地改善了到物体的相对粗略的距离指示，从而提供了更高的深度精度。发明人已经认识到，因此可以在不显着降低所确定的深度帧的质量或准确性的情况下降低第一调制信号与所接收的反射光之间的相关性的样本的准确性。因此，发明人已经开发出各种不同的方式，其中摄像系统100的图像采集系统可以在采集第一组电荷样本期间以相对较低的能量模式操作，而在第二组电荷样本的采集期间以相对较高的能量模式操作。通过以较低能量模式操作以采集第一组电荷样本，不仅可以减少总能耗，而且可以减少采集第一组和第二组电荷样本的总时间(取决于使用以下描述的哪种低功耗技术)。减少总时间不仅可以减少在对运动物体成像时一帧内的运动模糊，而且还可以帮助相机实现更高的帧频，因为每帧确定所需的时间更少。
图像采集系统可以配置为实现以下所述的任何一种或多种低功耗技术：
A)低光功率激光
与累积时段2301-2304相比，图像采集系统可以被配置为在累积时段2101-2104期间驱动激光器110发射较低的光功率光。例如，这可以通过在累积时段2101-2104与累积时段2301-2304相比下控制驱动器105以较低的驱动电流来驱动激光器110来完成。
输出较低的光功率可以导致更少的反射光入射在成像传感器120上，使得第一组电荷样本提供的相位信息精度低于第二组电荷样本。然而，如上所述，这可能不会显着影响深度图像的精度，使得所确定的深度图像仍然具有可接受的精度。
B)积累时段短
与采集第二组电荷样本相比，图像采集系统可以被配置为在采集第一组电荷样本时驱动激光器110更短的时间量。特别地，每个累积时段2101-2104可以短于每个累积时段2301-2304。这不仅应减少能量消耗，而且还应减少采集电荷样本所需的总时间，从而减少深度帧中的运动模糊/运动伪像。
在较短的时间段内输出激光可能会导致在累积时段2101-2104期间在成像传感器上累积的反射光更少，因此第一组电荷样本提供的相位信息精度低于第二组电荷样本。然而，如上所述，这可能不会显着影响深度图像的精度，使得所确定的深度图像仍然具有可接受的精度。
C)第一组电荷样本中的电荷样本较少
图像采集系统可以被配置为与使用第二调制信号调制激光时采集的电荷样本的数量相比，当使用第一调制信号调制激光时采集较少的电荷样本。例如，可以减少累积时段2101-2104的数量以及相应的读出时段2201-2204，以使得第一组电荷样本的数量小于第二组电荷样本的数量。这将导致能量消耗的显着减少，因为激光器110被驱动较少的累积时间，并且图像采集系统消耗较少的读出时间的读出能量(例如，放大器和ADC 130s的功率)。此外，由于每个读出时段通常可能花费大约3ms，因此应当导致用于采集电荷样本所需的总时间的显着减少，从而减少了深度帧中的运动模糊/运动伪像。此外，由于将需要存储较少的电荷样本，因此应当减少对存储器处理器和控制器140的存储器要求，从而减小尺寸和成本。
在第一组电荷样本中采集较少的电荷样本可能会导致可以使用第一组电荷样本确定的相位信息的准确性降低。然而，如上所述，这可能不会显着影响深度图像的精度，使得所确定的深度图像仍然具有可接受的精度。
D)低功率放大器和/或ADC操作
图像采集系统可以被配置为与读出时段2401-2404相比，在读出时段2201-2204中以较低功率操作模式操作放大器和/或ADC 130中的至少一些。例如，与在读出时段2401-2404期间的放大水平相比，放大器可以以在读出时段2201-2204期间以较小的量放大信号的模式操作和/或它们可以在耗电量少但放大精度降低/噪声较高/带宽较低的模式下操作。附加地或可替代地，与在读出时段2401-2404期间相比，当在读出时段2201-2204期间执行转换时，例如，可以允许ADC具有更少的建立时间。
以这种方式操作放大器和/或ADC 130会降低可以使用第一组电荷样本确定的相位信息的准确性。然而，如上所述，这可能不会显着影响深度图像的精度，使得所确定的深度图像仍然具有可接受的精度。
E)读取较少的成像像素
图像采集系统可以被配置为与在时段2401-2404期间读出的像素数量相比，在读出时段2201-2204期间从成像传感器120的较少成像像素读出图像传感器值。在该示例中，每个电荷样本可以包括在读出时段2201-2204、2401-2404期间从成像传感器120读出的所有图像传感器值。结果，关于第一频率f1获得的每个电荷样本(例如，通过读出时段2201-2204获得的每个电荷样本)将具有较少的数据/较少的数据点，即，与相对于频率f2获得的每个样本(例如，通过读出时段2401-2404获得的每个电荷样本)相比，将包括来自更少的成像像素的数据。
图3示出了包括图像采集系统330的一个示例摄像系统300，该图像采集系统330被配置为与在时段2401-2404期间从成像像素读出的图像传感器值相比，在读出时段2201-2204期间从较少的成像像素读出图像传感器值(即，在时段2201-2204内对成像传感器120进行二次采样)。在每个时段2201-2204期间，从第一组成像像素中读出图像传感器值，并且在每个周期2401-2404期间，从第二组成像像素中读出图像传感器值。这可以在图3中看到，其中在时段2201-2204期间仅读取来自突出显示的成像像素的值，而在时段2401-2404期间从所有成像像素读取值。在该示例中，在时段2201-2204期间，每p×q个像素322仅从一个成像像素读出图像传感器值。由于在该示例中p＝2并且q＝2，所以这意味着在时段2201-2204期间仅读出四分之一的成像像素。然而，将领会，成像采集系统330可以被配置为以任何其他合适的比率进行子采样，例如，读出二分之一的成像像素或三分之一的成像像素等。技术人员将容易地理解如何寻址成像传感器120以便读出传感器中的一些但不是全部成像像素。
通过以这种方式对成像像素进行二次采样，可以显着减少读出时间。此外，由于需要放大和转换较少的信号，因此能量消耗也可以显着降低。此外，可以减少图像采集系统330上的存储器需求，从而减小尺寸和成本。
图像采集系统330可以被配置为控制成像传感器120以在每个周期2101-2104中的所有成像像素上累积电荷，然后仅读出那些成像像素的子集，或者可以被配置为控制每个时段2101-2104的成像传感器120仅在一些成像像素上累积电荷，然后读出那些成像像素。
图4示出了一个示例，其中图像采集系统330被配置为控制成像传感器120以仅在一些成像像素上积累电荷，在这种情况下，对于每个周期2101-2104，在相同的成像像素上积累电荷(即，在2101-2104的每个过程中，控制成像传感器120在成像像素的同一子集上“打开快门”)。在这种情况下，在时段2201-2204期间读出的每个电荷样本将指示由成像像素的相同子集累积的电荷。然而，可替代地，图像采集系统330可以被配置为控制成像传感器120以在至少一些时段2101-2104中在成像像素的不同子集上累积电荷(即，在至少一些时段2101-2104中，控制成像传感器120在像素的不同子集上“打开快门”)。
图5显示了这种过程的示例表示。在每个图示510、520、530、540中，突出显示的成像像素是被控制为在该特定累积时段内累积电荷的像素。例如，控制510中的突出显示的成像像素在时段2101期间累积电荷，使得在时段2201期间读取的图像传感器值包括来自那些突出显示的成像像素的电荷信息。控制520中的突出显示的成像像素以在时段2102期间累积电荷，使得在时段2202期间读出的值包括来自那些突出显示的成像像素的电荷信息等。因此，在该示例中，在时段2201-2204期间获得的每个电荷样本可以包括来自成像像素的不同子集的电荷信息。稍后将更详细地解释上采样，但是应当注意，可选地，在时段2201-2204期间读出的每个电荷采样可以在被进一步处理之前被上采样。可替代地，可以在确定接收到的反射光相对于第一调制信号的相位的结果上进行上采样。
图6示出了另一过程的示例表示，由此，图像采集系统330被配置为控制成像传感器120以在至少一些相位间隔内在成像像素的不同子集上累积电荷。在该示例中，存在单个累积时段6101和单个读出时段6201。然而，图像采集系统330被配置为控制成像传感器120以在第一调制信号的间隔0至π期间在一些成像像素上累积电荷(即，打开快门)。这些成像像素在图示630中被突出显示。图像采集系统330被配置为控制成像传感器120在第一调制信号的间隔π/2至3π/2期间在成像像素的不同子集上累积电荷。在图示640中突出显示了那些成像像素。图像采集系统330被配置为在第一调制信号的间隔为π至0期间，控制成像传感器120在成像像素的不同子集上累积电荷。这些成像像素在图示650中被突出显示。图像采集系统330被配置为控制成像传感器120在第一调制信号的间隔3π/2至π/2期间在成像像素的不同子集上累积电荷。这些成像像素在图示660中突出显示。在此特定示例中，可以看到图像采集系统330配置为打开成像传感器120的列的第一子集以在间隔0到π之间进行累积，在间隔π/2到3π/2之间打开成像传感器120的不同列子集以进行累加，在间隔π至0期间打开成像传感器120的不同列子集以进行累加，并打开成像传感器120的列的不同子集以在间隔π/2至3π/2期间累积。技术人员可以容易地领会如何例如通过为每个列解调信号g(t-π)设置适当的可变延迟定时τ来实现该控制。然而，将意识到，图像采集系统330可以被配置为以任何其他合适的方式来控制成像传感器120的操作以实现相似的结果。
因此，可以看出，根据该过程，可以从单个累积时段6101和读出时段6201获得四个不同的电荷样本，每个电荷样本与成像像素的不同子集有关，该子集被控制为针对调制信号的不同偏移部分/间隔累积电荷(即，0至π、π/2至3π/2等)。因此，与将多个累积和读出时段用于第一调制频率f1的先前示例相比，实现了时间和功耗的显着减少。此外，从图6可以看出，与频率f2(在此示例中为像素数的一半)相比，在此示例中，频率f1的总体成像像素更少。因此，实现了能量消耗的进一步降低和存储器需求的降低。然而，将领会，在一些其他替代实施方式中，在读出时段620期间从成像传感器120读出的成像像素的总数可以与在每个时段2401-2404中读出的成像像素的总数相同(例如，在时段6101期间累积的每个电荷样本可以包括成像像素的1/4)。上采样将在后面更详细地说明，但是应当注意，在时段6201期间读出的每个电荷采样可选地可以在被进一步处理之前被上采样。可替代地，可以在确定接收到的反射光相对于第一调制信号的相位的结果上进行上采样。
在上面的每个示例中，成像像素的子采样均匀分布在整个成像传感器120上。但是，在替代方案中，与其他成像区域相比，在成像传感器120的一些区域中，可以比在成像传感器120的其他区域中采样更多的成像像素。例如，图像采集系统330可以被配置为控制成像传感器120在成像传感器120的某些部分(例如，在感兴趣的区域)以全(或接近全)分辨率累积电荷，并在成像传感器120的其他部分以较低或子样本的分辨率累积电荷。
图7示出了示例表示，其中突出显示的成像像素已被控制为在时段2101-2104期间累积电荷。可以看出，在成像传感器120的中心区域710(感兴趣的区域)中，所有成像像素均被控制为累积电荷(即，其快门打开)。在成像传感器120的外围区域720中，对成像像素进行二次采样。以此方式，对于第一调制频率f1，可以在可能是图像的最重要区域中保持高分辨率的成像，同时仍然实现能耗的降低。在该示例中，针对第一调制频率f1采集的每个电荷样本可以包括来自相同成像像素的图像传感器值。在替代方案中，对于至少一些电荷样本，二次采样的成像像素可以是不同的，如参考图5和图6所描述的。
在上述每个示例中，针对第二调制频率f2采集的所有电荷样本都包括来自成像传感器120的所有成像像素的图像传感器值。但是，在替代方案中，可以将图像采集系统330配置为以用于第二调制频率f2的每个电荷样本包括用于成像传感器120的一些但不是全部成像像素的图像传感器值的方式控制成像传感器120。如果关于第一调制频率f1用于每个电荷样本的成像像素的数量小于关于第二调制频率f2用于每个电荷样本的成像像素的数量，则与对于第一调制频率f1和第二调制频率f2使用的成像像素的数量相同时相比，仍将实现能量消耗的减少。
F)对来自成像像素的值进行合并
上面描述了一种过程，在该过程中，在每个采集的电荷样本中，成像像素的读出与电荷样本中的值/数据点之间存在1：1的关系(即，每个电荷样本包括在读出期间从成像传感器120读出的所有图像传感器值)。由于与第二调制频率f2相比，相对于第一调制频率f1读出的成像像素更少，因此，相对于第一调制频率f1获得的每个电荷样本中的值/数据点的数量小于相对于第二调制频率f2获得的每个电荷样本中的值/数据点的数量。
图8示出了可以实现相同结果的替代方式。摄像系统800被配置为在采集第一组电荷样本时对两个或更多个成像像素的合并的图像传感器值(即，组合值)进行分档。在该示例中，四个成像像素被有效地组合或合并为包括p×q个成像传感器像素的单个合并像素822，其中p＝2且q＝2。在成像传感器120上重复该过程，以使得总共有(m.n)/(p.q)个合并像素值。像素合并可以以各种不同的方式进行。例如，由于成像传感器120被配置为可由图像采集系统830控制以选择性地组合来自多个成像像素的电荷，因此它可以在电荷域中发生，使得对于每个合并的像素，可以由图像采集系统830读出表示累积电荷的单个值。在另一示例中，图像采集可以从每个成像像素读出图像传感器值，然后在模拟域或数字域中将两个或更多个图像传感器值的组一起合并，以创建合并像素822。每个合并的像素值可以是已合并的两个或多个图像传感器值的总和，或者是已合并的两个或多个图像传感器值的平均值。
第一组电荷样本中的每一个可以包括多个合并像素值，每个合并像素值一个。结果，通过对图像像素进行合并或组合，第一组电荷样本中的每组中的值/数据点的数量将低于第二组电荷样本中的每组中的值/数据点的数量。在该示例中，因为每个合并像素包括四个成像像素，所以第一组电荷样本中的每一个的大小可以是第二组电荷样本中的每一个的大小的四分之一。应当理解，每个合并像素可以由任意数量的成像像素(例如，两个或更多个成像像素)组成。
如果将成像像素装在电荷域中，则由于需要读出、放大、数字转换和存储的信号较少，因此可以显着减少读出时间和能量。如果成像像素在模拟域中被合并，则能量将被显着降低，因为需要放大、数字转换和存储的信号更少。如果成像像素在数字域中进行了合并，则能量可能仍会降低，因为可能需要存储的数据更少，并且如果图像采集系统830将电荷样本输出到外部处理器以确定深度帧，则将传输较少的数据，这将减少能量消耗。
将理解的是，在以上参考图3至图8描述的每个示例中，第一组电荷样本中的每个数据点的数量小于第二组电荷样本中的每个数据点的数量(即，第一组电荷采样的每一个的数据大小小于第二组电荷采样的每一个的数据大小)，因为对于第一组电荷样本，较少的图像传感器值从成像传感器120上读出和/或由于像素合并。结果，与第二组电荷样本相比，第一组电荷样本的分辨率可能降低，这可能会影响所确定的深度帧的准确性。可选地，作为基于第一组电荷样本和第二组电荷样本确定深度帧的过程的一部分，可以对第一组电荷样本进行数字上采样，以提高分辨率(例如，对第一组电荷样本中的每个样本中的数据进行上采样，以使用于确定相位差的电荷样本中的数据点数对于第一调制频率与第二调制频率相同)。可以使用任何合适的上采样技术(例如，诸如线性插值、三次插值、矢量缩放等插值)。在深度帧确定期间，可以在任何合适的时间进行上采样。例如，上采样可以在确定接收到的反射光相对于第一调制信号的相位之前进行(例如，在对与第一激光有关的读出的电荷样本执行上述DFT或上述相关函数技术之前)。可替代地，可以基于第一组采样电荷来确定接收到的反射光相对于第一调制信号的相位，然后在最终深度帧的相位展开处理之前，对所确定的相位执行上采样，因此相对于频率f1的确定相数与相对于频率f2的确定相数相同(即，对于在读出时段2401-2404期间的每个成像像素读出而言，存在两个可用的阶段，一个阶段使用第一组电荷样本确定，而另一阶段使用第二组电荷样本确定)。
在执行上采样的情况下，深度帧的精度应几乎没有(如果有的话)明显降低。此外，由于在图2所示的累积和读出周期之后执行的处理过程中可能会发生上采样，因此它不会影响采集电荷样本所需的时间或能量。然而，将理解，取决于深度帧所需的准确度水平，上采样是可选的。
可选地，还可以基于第一组电荷样本和第二组电荷样本中的值的大小在确定活动亮度帧的过程中执行上采样(例如，向上采样数据点的大小，例如图像传感器值或合并的像素值，即第一组电荷采样)。
图9表示根据本公开的一方面的示例方法步骤。在步骤S910中，如以上在各种不同示例中所述，图像采集系统驱动激光器以第一频率输出激光并且控制成像传感器120的至少一些成像像素的电荷累积定时。在步骤S920中，从成像传感器120读出图像传感器值，这些值指示由至少一些成像像素累积的电荷。在步骤S930中，确定对于激光的第一频率是否已经获得了所有需要的电荷样本。如果还没有，则处理返回到步骤S910，以便例如在像素电荷累积的不同相位偏移下重复步骤S910和S920。这样，可以完成上述所有所需的累积时段2101-2104和读出时段2201-2204。
当确定已经针对激光的第一频率获得了所有所需的电荷样本时(即，已经采集了完整的第一组电荷样本)，处理进行到步骤S940，在步骤S940中，图像采集系统将如上文在各种不同示例中所描述的，驱动激光器以第二频率输出激光并控制成像传感器120的至少一些成像像素的电荷累积定时。在步骤S950中，从成像传感器120读出图像传感器值，这些值指示由至少一些成像像素累积的电荷。在步骤S960中，确定是否已经针对第二激光频率获得了所有需要的电荷样本。如果还没有，则处理返回到步骤S940，以便例如在像素电荷累积的不同相位偏移下重复步骤S940和S950。这样，可以完成上述所有所需的累积时段2301-2304和读出时段2401-2404。
当确定已经针对激光的第二频率获得了所有所需的电荷样本时(即，已经采集了完整的第二组电荷样本)，处理进行到S970，在S970中，所获得的第一组电荷样本和第二组电荷样本被输出到处理器以确定深度帧，或者图像采集系统本身确定深度帧。
在一个示例中，第一激光频率具有比第二激光频率低的频率，在这种情况下，步骤S910和S920是使用上述低功率/高速技术中的任何一个或多个来执行的。在替代方案中，第二激光频率具有比第一激光频率低的频率，在这种情况下，步骤S940和S950是使用上述低功率/高速技术中的任何一个或多个来执行的。换句话说，系统可以被配置为在较高激光频率部分之前或之后执行其操作的较低激光频率部分。
在整个本公开中，术语“电耦合”或“电连接”涵盖部件之间的直接电连接或间接电连接(例如，其中两个部件经由至少一个另外的部件电连接)。
技术人员将容易地意识到，可以在不脱离本公开的范围的情况下，对本公开的上述方面进行各种改变或修改。
上述图像传感器可以是单端像素或差分像素定义(例如，CMOS单端或差分传感器设计)。因此，将理解，每个像素读出可以是单端或差分的。
尽管上面的描述描述了在高频f2样本之前采集较低频率f1样本，但是应当理解，可以替代地以相反的顺序采集样本。
上面描述的用于降低能量/提高速度的不同技术中的每一个可以单独实现，或者以两个或更多个的任意组合实现。例如，技术A和E都可以由图像采集系统实现，以实现甚至进一步增强的节能。
尽管在以上描述中，总是相对于频率f2确定四个电荷采样，并且通常相对于频率f1确定对应的四个电荷采样，但是在替代方案中，可以根据频率f1和f2确定任何合适数量的电荷样本，即每个频率一个或多个电荷样本。例如，可以针对每个频率确定三个或五个、或六个等电荷样本，每个电荷样本具有激光调制信号的适当部分的适当累积时段。

Claims (21)

1.连续波飞行时间CW-ToF摄像系统，包括:
用于输出激光的激光器；
成像传感器，包括多个成像像素，用于基于包括反射激光的入射光来累积电荷；和
图像采集系统，耦合到所述成像传感器并被配置为：
通过以下方式从所述成像传感器采集第一组电荷样本：
a)驱动所述激光器输出以第一调制信号调制的激光，其中所述第一调制信号具有第一频率；和
b)在步骤a之后，读出指示由所述成像传感器的多个成像像素中的至少一些成像像素累积的电荷的图像传感器值；
通过以下方式从所述成像传感器采集第二组电荷样本：
c)驱动所述激光器输出以第二调制信号调制的激光，其中所述第二调制信号具有第二频率，并且其中所述第二频率大于所述第一频率；和
d)在步骤c之后，读出指示由所述成像传感器的多个成像像素中的至少一些成像像素累积的电荷的图像传感器值；和
基于所述第一组电荷样本和所述第二组电荷样本确定深度帧；
其中与采集所述第二组电荷样本相比，所述CW-ToF摄像系统以相对低能量的模式操作来采集所述第一组电荷样本。
2.权利要求1所述的CW-ToF摄像系统，其中所述相对低能量的模式包括:
在步骤b)中，从所述成像传感器的第一组成像像素中读出图像传感器值；
在步骤d)中，从所述成像传感器的第二组成像像素中读出图像传感器值；
其中所述第一组成像像素比所述第二组成像像素包括更少的成像像素。
3.权利要求1所述的CW-ToF摄像系统，其中所述相对低能量的模式包括当采集所述第一组电荷样本时：
对两个或更多个成像像素的组的图像传感器值进行合并，使得所述第一组电荷样本中的每一个均包括多个合并的像素值。
4.权利要求3所述的CW-ToF摄像系统，其中步骤b)包括:
在模拟域中将两个或多个成像像素组的图像传感器值进行合并；和
数字转换所述多个合并的像素值。
5.权利要求2所述的CW-ToF摄像系统，其中所述图像采集系统进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧，并且其中确定深度帧包括对所述第一组电荷样本进行上采样。
6.权利要求2所述的CW-ToF摄像系统，所述图像采集系统进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧，并且其中确定深度帧包括:
使用所述第一组电荷样本来确定以第一调制频率调制的输出激光与入射在所述成像传感器上的光之间的相位差；和
对以第一调制频率调制的输出激光与入射在所述成像传感器上的光之间的确定的相位差进行上采样。
7.权利要求1所述的CW-ToF摄像系统，其中所述相对低能量的模式包括驱动所述激光器，使得以第一调制信号调制的输出激光的光功率低于以第二调制信号调制的输出激光的光功率。
8.权利要求1所述的CW-ToF摄像系统，其中所述图像采集系统包括一个或多个放大器，用于放大从所述成像传感器读取的信号，并且其中所述图像采集系统被配置为：
当采集所述第一组电荷样本时，以第一功率模式操作一个或多个放大器中的至少一些；和
当采集所述第二组电荷样本时，以第二功率模式操作一个或多个放大器中的至少一些，
其中所述第一功率模式低于所述第二功率模式。
9.权利要求1所述的CW-ToF摄像系统，其中所述图像采集系统包括一个或多个模数转换器ADC，用于将从所述成像传感器读取的模拟信号转换为数字信号，并且其中所述图像采集系统被配置为:
当确定第一组样本中的至少一些时，以第一功率模式操作至少一些ADC；和
当确定第二组样本中的至少一些时，以第二功率模式操作至少一些ADC，
其中所述第一功率模式低于所述第二功率模式。
10.权利要求1所述的CW-ToF摄像系统，其中所述相对低能量的模式包括:
第一多次重复步骤a)和b)，使得采集的第一组电荷样本包括第一多个电荷样本；
第二多次重复步骤c)和d)，使得采集的第二组电荷样本包括第二多个电荷样本；
其中所述第一多个少于所述第二多个，使得所述第一多个电荷样本包括比所述第二多个电荷样本更少的电荷样本。
11.权利要求1所述的CW-ToF摄像系统，其中所述相对低功率的模式包括：
驱动步骤a)和c)中的激光器，使得在步骤a)期间从所述激光器输出激光的时间比在步骤c)期间从所述激光器输出激光的时间短。
12.权利要求1所述的CW-ToF摄像系统，其中所述图像采集系统进一步被配置为基于所述第一组电荷样本和所述第二组电荷样本确定深度帧。
13.权利要求1所述的CW-ToF摄像系统，其中所述图像采集系统进一步被配置为将所述第一组电荷样本和所述第二组电荷样本输出到处理器以确定深度帧。
14.一种使用连续波ToF CW-ToF摄像系统来获得多个电荷样本的方法，该系统包括激光器和具有用于基于入射光累积电荷的多个成像像素的成像传感器，该方法包括：
通过以下方式从所述成像传感器采集第一组电荷样本：
a)驱动所述激光器输出以第一调制信号调制的激光，其中所述第一调制信号具有第一频率；和
b)读出指示由所述成像传感器的多个成像像素中的至少一些累积的电荷的图像传感器值；
通过以下方式从所述成像传感器采集第二组电荷样本:
c)驱动所述激光器输出以第二调制信号调制的激光，其中所述第二调制信号具有第二频率，并且其中所述第二频率大于所述第一频率；和
d)读出指示由所述成像传感器的多个成像像素中的至少一些累积的电荷的图像传感器值，
其中与采集所述第二组电荷样本相比，所述CW-ToF摄像系统以相对低能量的模式操作来采集所述第一组电荷样本。
15.权利要求14所述的方法，还包括基于所述第一组电荷样本和所述第二组电荷样本确定深度图像。
16.一种用于连续波飞行时间CW-ToF摄像系统的图像采集系统，该图像采集系统被配置为：
通过以下方式获得第一多个电荷样本：
驱动所述激光器来发射以第一调制信号调制的第一激光；和
从所述成像传感器的第一多个成像像素中读出图像传感器值；
通过以下方式获得第二多个电荷样本：
驱动所述激光器来发射以第二调制信号调制的第二激光；和
从所述成像传感器的第二多个成像像素中读出图像传感器值；
其中与所述第二多个电荷样本中的每一个相比，所述第一多个电荷样本中的每一个包括更少的数据点。
17.权利要求16所述的图像采集系统，其中所述第一多个成像像素的数量少于所述第二多个成像像素的数量。
18.权利要求16所述的图像采集系统，其中获得第一多个电荷样本还包括对两个或更多个成像像素的组的图像传感器值进行合并，使得所述第一多个电荷样本中的每一个均包括多个合并的像素值，其中所述第一组电荷样本中的每一个中的多个合并的像素值的数量少于所述第二组电荷样本中的每一个中的多个图像传感器值。
19.权利要求16所述的图像采集系统，还被配置为通过以下方式获得所述第一多个电荷样本：
驱动所述激光器来在多个时间段内发射以第一调制信号调制的第一激光；
对于多个时间段中的每个时间段，控制所述成像传感器以针对一部分调制信号在至少一些成像像素上积累电荷，其中对于多个时间段的每个时间段，调制信号中发生累积的部分具有不同的相位偏移；和
在多个时间段中的每个时间段结束时，通过从所述第一多个成像像素中读出图像传感器值来获得所述第一多个电荷样本中的一个。
20.权利要求19所述的图像采集系统，其中对于所述第一多个电荷样本中的每一个，读出所述成像传感器的同一组成像像素。
21.权利要求16所述的图像采集系统，还被配置为通过以下方式获得所述第一多个电荷样本:
驱动所述激光器来在时间段内发射以第一调制信号调制的第一激光；
在该时间段内，控制所述成像传感器来为调制信号的第一部分在第一组成像像素上累积电荷；
在该时间段内，控制所述成像传感器来为调制信号的第二部分在第二组成像像素上累积电荷，其中所述第二部分与所述第一部分具有相同的调制信号持续时间，但具有不同的相位偏移；和
在该时间段结束时，读出所述第一组成像像素以获得第一多个电荷样本中的一个，并且读出所述第二组成像像素以获得第一多个电荷样本中的另一个。
CN202110526156.3A 2020-05-15 2021-05-14 连续波飞行时间系统 Pending CN113687376A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063025393P 2020-05-15 2020-05-15
US63/025,393 2020-05-15
US17/316,285 2021-05-10
US17/316,285 US20210356597A1 (en) 2020-05-15 2021-05-10 Continuous wave time of flight system

Publications (1)

Publication Number Publication Date
CN113687376A true CN113687376A (zh) 2021-11-23

Family

ID=75919231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110526156.3A Pending CN113687376A (zh) 2020-05-15 2021-05-14 连续波飞行时间系统

Country Status (3)

Country Link
US (1) US20210356597A1 (zh)
EP (1) EP3910375B1 (zh)
CN (1) CN113687376A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103622A1 (zh) * 2021-12-10 2023-06-15 浙江舜宇智能光学技术有限公司 iToF深度计算装置、方法、iToF相机模组和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172142B2 (en) * 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering
US11985437B2 (en) * 2021-11-03 2024-05-14 Omnivision Technologies, Inc. Readout architectures for binned indirect time-of-flight sensors
WO2023235404A1 (en) * 2022-05-31 2023-12-07 Preact Technologies, Inc. Use of time-integrated samples of return waveforms to enable a software defined continuous wave lidar

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075534A1 (en) * 2010-09-28 2012-03-29 Sagi Katz Integrated low power depth camera and projection device
US20150285625A1 (en) * 2014-04-07 2015-10-08 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US20170272651A1 (en) * 2016-03-16 2017-09-21 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US20180278843A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US20190094342A1 (en) * 2017-09-25 2019-03-28 Sharp Kabushiki Kaisha Ranging sensor
US20190227169A1 (en) * 2018-01-24 2019-07-25 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
CN110221274A (zh) * 2019-05-09 2019-09-10 深圳奥比中光科技有限公司 时间飞行深度相机及多频调制解调的距离测量方法
US20190383946A1 (en) * 2017-02-28 2019-12-19 Sony Semiconductor Solutions Corporation Distance measurement apparatus, distance measurement method, and distance measurement system
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
EP2446296A1 (en) * 2009-06-26 2012-05-02 Trimble AB Distance measuring device
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
US11442540B2 (en) * 2019-09-18 2022-09-13 Apple Inc. Eye tracking using low resolution images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120075534A1 (en) * 2010-09-28 2012-03-29 Sagi Katz Integrated low power depth camera and projection device
US20150285625A1 (en) * 2014-04-07 2015-10-08 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US20170272651A1 (en) * 2016-03-16 2017-09-21 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US20190383946A1 (en) * 2017-02-28 2019-12-19 Sony Semiconductor Solutions Corporation Distance measurement apparatus, distance measurement method, and distance measurement system
US20180278843A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US20190094342A1 (en) * 2017-09-25 2019-03-28 Sharp Kabushiki Kaisha Ranging sensor
US20190227169A1 (en) * 2018-01-24 2019-07-25 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
WO2020095603A1 (ja) * 2018-11-07 2020-05-14 ソニーセミコンダクタソリューションズ株式会社 投光制御装置、投光制御方法
CN110221274A (zh) * 2019-05-09 2019-09-10 深圳奥比中光科技有限公司 时间飞行深度相机及多频调制解调的距离测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李芳菲;张珂殊;龚强;: "无扫描三维成像激光雷达原理分析与成像仿真", 科技导报, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103622A1 (zh) * 2021-12-10 2023-06-15 浙江舜宇智能光学技术有限公司 iToF深度计算装置、方法、iToF相机模组和系统

Also Published As

Publication number Publication date
US20210356597A1 (en) 2021-11-18
EP3910375B1 (en) 2023-07-05
EP3910375A1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
CN113687376A (zh) 连续波飞行时间系统
US10422879B2 (en) Time-of-flight distance measuring device
US20220236419A1 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
US10656271B2 (en) Time-of-flight distance measurement device and method for same
US20210356598A1 (en) Camera system
US20160198147A1 (en) Correction of depth images from t-o-f 3d camera with electronic-rolling-shutter for light modulation changes taking place during light integration
EP2758801B1 (en) Time of flight sensor with subframe compression and method
US20110164132A1 (en) Demodulation Sensor with Separate Pixel and Storage Arrays
US20230108515A1 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
CN108848320B (zh) 深度检测系统及其曝光时间调整方法
US20130140433A1 (en) Sensor Pixel Array and Separated Array of Storage and Accumulation with Parallel Acquisition and Readout
CN109391268B (zh) 用于lidar系统的采样和保持电路
CN108353158B (zh) 图像拍摄装置及其控制方法
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
JP6539990B2 (ja) 光飛行型測距装置
US11336854B2 (en) Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus
WO2014132767A1 (ja) 距離画像センサ
WO2010150494A1 (ja) 撮像装置、撮像方法及び撮像回路
EP2863628A1 (en) Readout circuit for image sensors
JP5271643B2 (ja) 光飛行時間型距離画像センサの制御方法およびそのシステム
CN113325439B (zh) 一种深度相机及深度计算方法
US20130176426A1 (en) Image sensor, method of sensing image, and image capturing apparatus including the image sensor
KR20200007870A (ko) 수광 디바이스 및 수광 디바이스의 신호 판독 방법
CN115297285A (zh) 一种读出图像数据的方法、装置、计算机及存储介质
KR20190143278A (ko) 이미지 센서 및 이를 이용하는 카메라 모듈

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination