CN112424640A - 电子设备和方法 - Google Patents

电子设备和方法 Download PDF

Info

Publication number
CN112424640A
CN112424640A CN201980047701.1A CN201980047701A CN112424640A CN 112424640 A CN112424640 A CN 112424640A CN 201980047701 A CN201980047701 A CN 201980047701A CN 112424640 A CN112424640 A CN 112424640A
Authority
CN
China
Prior art keywords
illumination light
frequency
modulation
signal
modulated signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980047701.1A
Other languages
English (en)
Inventor
丁庆
维克托·别洛孔斯基
沃德·万·德·滕佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112424640A publication Critical patent/CN112424640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种电子设备，包括被配置为生成用于调制由飞行时间相机(3)发射的照明光(16；55)的编码调制信号(54；60)的电路。

Description

电子设备和方法
技术领域
本公开总体上涉及电子设备领域，特别是涉及成像设备和用于成像设备的方法。
背景技术
飞行时间相机是范围成像相机系统，其确定针对图像的每个点测量物体和相机之间的光信号的飞行时间(ToF)的物体的距离。飞行时间相机因此接收场景的深度图。通常，飞行时间相机具有用调制光照射受关注区域的照明单元，以及收集从相同受关注区域反射的光的像素阵列。当各个像素从场景的某些部分收集光时，飞行时间相机可以包括用于成像的透镜，同时保持合理的光收集区域。
间接ToF相机(iTOF)测量例如反射红外(IR)光的相位延迟。通过将反射信号与参考信号(照明信号)相关来获得相位数据。典型的四帧数用于计算深度图像。在所谓的“2抽头/4帧”系统中，调制器是2抽头电光调制器。“2-抽头/4帧”系统的主要优势在于，所有光生电子都得到了利用，而不是倾倒一半的电子，例如在1-抽头像素内，其中倾倒的电子代表相反的采样信号。
尽管存在用于飞行时间相机的解调技术，但是通常期望提供用于飞行时间相机的更好的解调技术。
发明内容
根据第一方面，本公开提供电子设备，其包括被配置为生成用于调制由飞行时间相机发射的照明光的编码调制信号的电路。
根据第二方面，本公开提供一种系统，该系统包括：电路，被配置为生成用于调制由飞行时间相机发射的照明光和/或用于解调由飞行时间相机接收的反射光的编码调制信号；图像传感器，被配置为接收反射光；以及照明光源，被配置为发射所调制的照明光。
根据第三方面，本公开提供一种方法，该方法包括生成用于调制由飞行时间相机发射的照明光的编码调制信号。
根据第四方面，本公开提供一种包括指令的计算机程序，该指令在处理器上执行时生成控制信号，该控制信号用于生成编码调制信号，该编码调制信号用于调制由飞行时间相机发射的照明光。
在从属权利要求、以下描述和附图中阐述了其他方面。
附图说明
参照附图通过示例的方式说明实施例，其中：
图1示意性地示出ToF相机的基本操作原理；
图2A示出在ToF距离测量中相位延迟与距离之间的线性关系；
图2B描述当待测距离超过最大可测距离时出现的测量模糊度；
图3示出编码照明光及其返回光的实施例，其旨在处理ToF传感器中的模糊度问题；
图4示意性地示出具有编码照明光的ToF相机的基本操作原理；
图5示出用于实现开/关键控的电路的示例；
图6作为实施例示出在获得场景距离的2抽头单相像素中的操作序列；
图7描述基于所获得的精细相位延迟和粗略相位延迟的距离的确定；
图8作为实施例示出N相像素中的操作序列，其中N表示可以存储在像素中的相数(“或相关”)；
图9作为另一实施例示出开/关键控的照明分组1和开/关键控的照明分组2；
图10A作为实施例示出解调频率的空间布置；
图10B示出具有高调制频率的照明光、具有低调制频率的照明光以及所得的编码照明光的示例；
图11示出编码照明光及其返回光的分组的另一实施例；以及
图12示意性地示出具有编码解调信号的ToF相机的基本操作原理。
具体实施方式
在参考图3对实施例进行详细描述之前，先进行一般说明。
以下描述的实施例提供电子设备，其包括被配置为生成用于调制由飞行时间相机发射的照明光的编码调制信号的电路。
电子设备例如可以是图像传感器，例如间接飞行时间相机(ToF)的图像传感器。
电路可以包括任何电子元件、半导体元件、开关、放大器、晶体管、处理元件等。
飞行时间相机可以是范围成像相机系统，其确定针对图像的每个点测量物体和相机之间的光信号的飞行时间(ToF)的物体的距离。间接飞行时间相机(iToF)通过测量相位延迟来工作。相位延迟可以是编码调制信号与调制信号的相关的结果。相位数据可用于获得相位延迟。相位数据例如可以包括四个相关相位，例如QA0和QB180、相位QA90和QB270、相位QA270和QB90以及相位QA180和QB0。每个相位数据可以存储在ToF相机的相位存储器中。相位存储器可以被多个抽头共享并重新使用。例如，电子设备可以包括两个抽头，每个抽头在子曝光期间接收相应的相位数据。可替代地，电子设备可以包括N个抽头，其中N表示可以存储在像素中的相数(“或相关”)。
在一些实施例中，通过调制时钟的开/关键控来生成编码调制信号。
编码调制信号可以基于调制时钟，其中，调制时钟可以生成周期信号，更优选地为方波。调制时钟可以是具有恒定频率的连续波。特别地，可以通过“打开和关闭”由调制时钟产生的正常调制信号来生成编码调制信号。编码调制信号可以基于调制信号，其中可以在预定时间间隔内打开调制信号，并在预定时间间隔内关闭调制信号。
代替常规方法中使用多个PLL生成具有不同频率的照明光的方法，通过用调制时钟的开/关键控来生成编码调制信号，编码调制信号可以只由一个单锁相环(PPL)生成。因此，可以降低ToF相机的功耗。
与其中使用具有两个不同调制信号且具有不同调制频率的两个不同测量的常规双频方法相比，实施例的电子设备可以在单个快照而不是两个(或更多)快照中进行去模糊/去混叠/相位解缠。这可以提高帧速率，可以降低功耗并可以避免可能的频率污染问题。
在一些实施例中，编码调制信号包括至少两个调制频率。
在一些实施例中，编码调制信号包括高频和低频。
高调制频率可以是由通常在飞行时间相机的传感器中使用的调制时钟产生的“正常”调制频率。编码调制信号例如可以包括对应于第一调制频率(调制时钟)的高频和对应于第二调制频率并且作为某些特定调制码存在于包络中的低频。
在一些实施例中，编码调制信号的高频是由调制时钟生成的，而调制信号的低频对应于编码调制信号的包络的频率。
由于除了调制时钟预定义的较高频率外，包络中还有其他频率分量，因此可以进行距离测量而不会造成距离模糊。此外，ToF相机的系统复杂度可以较小，并且对于具有N相像素的ToF相机可以仅需要一帧。
在一些实施例中，电路被配置为基于编码调制信号生成双调制的照明光。
例如，可以通过对调制光进行两次调制以生成双调制照明光来创建第一频率和第二频率。代替如图所示的连续的正常照明光，可以发射通过开-关键控编码的照明光。
在一些实施例中，通过两次调制照明光来生成编码照明光。
在一些实施例中，编码调制信号的第一频率分量用于计算粗略相移，并且编码调制信号的第二频率分量用于计算精细相移。
与第二频率相比，第一频率可具有扩展的操作范围，而在测量距离上没有模糊度(以更高的距离不确定度为代价)。扩展的操作范围表示可以测量的最大距离，并且距离不确定度表示基于测量距离的实际距离的概率分布。粗略相移可以表示场景的近似距离，并且精细相移可以表示基于近似距离的真实距离的概率分布。
在一些实施例中，电路被配置为生成第一编码调制信号和第二编码调制信号，其中，第二编码调制信号具有与第一编码调制信号完全反相的相位。
在一些实施例中，电路被配置为提供解调频率的空间布置。
在一些实施例中，编码调制信号用于调制由飞行时间相机发射的照明光。
在一些实施例中，编码调制信号用于解调由飞行时间相机的相位像素接收的反射光。
一种系统，其包括：电路，被配置为生成用于调制由飞行时间相机发射的照明光和/或用于解调由飞行时间相机接收的反射光的编码调制信号；图像传感器，被配置为接收反射光；以及照明光源，被配置为发射所调制的照明光。
在一些实施例中，图像传感器被配置为根据空间布置来解调反射信号。
在一些实施例中，图像传感器包括多种类型的像素子阵列，每个子阵列被配置为以单独的解调频率来解调反射光。
在一些实施例中，图像传感器包括两种类型的像素子阵列，其中，第一类型的像素子阵列以对应于编码调制信号的高调制频率的高调制频率对反射的照明光进行解调，并且第二类型的像素子阵列以对应于编码调制信号的低频的低调制频率来解调反射的照明光。
实施例还公开方法，该方法包括生成用于调制由飞行时间相机发射的照明光的编码调制信号。
实施例还公开包括指令的计算机程序，该指令在处理器上执行时生成控制信号，该控制信号用于生成编码调制信号，该编码调制信号用于调制由飞行时间相机发射的照明光。
图1示意性地示出ToF相机的基本操作原理。ToF相机3通过分析从专用照明单元18到物体的光的飞行时间来捕获场景15的3D图像。ToF相机3包括相机，例如3D传感器1和处理器4。使用专用照明单元18，以预定波长的调制光16，例如，用充当定时发生器的调制时钟5生成的至少一个预定频率的一些光脉冲，主动地照射场景15。调制光16从场景15内的物体反射回去。透镜2收集反射光17，并将物体的图像形成在相机的成像传感器1上。根据物体与相机之间的距离，在调制光16的发射(例如所谓的光脉冲)与相机在接收这些反射光脉冲17之间会经历延迟。可以根据观察到的时间延迟和光速恒定值来确定反射物体与相机之间的距离。
图2A示出ToF距离测量中的相位延迟与距离之间的线性关系。在图2A的图中，在横坐标上示出相位延迟并且在纵坐标上示出距离。通过使场景的反向散射光与调制信号互相关来获得相位延迟
Figure BDA0002900593700000062
基于相位延迟与距离之间的线性关系，距离D可以归因于相位延迟
Figure BDA0002900593700000063
距离测量涉及距离不确定度U1，其在图2A中表示为以获取的距离D为中心的正态分布。飞行时间测量的最大可测量距离Dmax取决于调制信号的频率。最大可测量距离Dmax为：
Figure BDA0002900593700000061
其中，fmod表示调制频率，并且c是光速。
图2B描述当待测距离超过最大可测距离Dmax时出现的测量模糊度。如图2B所示，多个距离D、D’、D”与相同的相位延迟
Figure BDA0002900593700000064
有关，因此，距离测量出现模糊度。即，当测量的距离超过最大可测量距离Dmax时，距离计算可能是错误的，因为它无法区分以超过最大可测量距离的距离反射的信号和以相同相移从近距离反射的另一个信号。
在图2B的测量中使用的调制信号的频率大于在图2A的测量中使用的调制信号的频率。一方面，由于调制信号的频率更大，图2A的测量的最大可测量距离Dmax大于图2B的测量的最大可测量距离Dmax。另一方面，图2B的测量的距离不确定度U2小于图2A的测量的距离不确定度U1。即，具有较低频率的调制信号(如图2A所示)允许扩展的工作范围而在测量距离上没有模糊度，但是距离不确定度增加。
为了扩展操作范围，可以将由两个锁相环(PLL)生成的具有不同调制频率的两个距离测量组合为一个联合距离测量。在第一距离测量中可以使用具有低频、大的最大可测量距离和大的距离不确定度的第一调制信号。在第二距离测量中可以使用具有较大频率、较小的最大可测量距离和较小的距离不确定度的第二调制信号。即，可以使用具有不同频率的多个调制信号的距离测量，使得每个调制信号具有不同的模糊度和距离不确定度。
编码照明光
图3示出编码照明光及其返回光的实施例，其旨在处理以上在图2B中描述的ToF传感器中的模糊度问题。代替使用两个PLL来生成两个频率，如在上面关于图2A和图2B描述的双频方法中，本申请的实施例通过对调制光进行两次调制以生成双调制照明光来创建第一频率和第二频率。代替如图3上部所示的连续的正常照明光，如图3的中间部分所示，发射通过开-关键控编码的照明光(编码照明光是通过“打开和关闭”具有高频的正常照明光而生成的)。
图3示出一个分组的编码照明光。如图3中的点所指示的，该分组被周期性地重复。分组包括四个帧T0、T1、T2、T3，其中每个帧具有帧时间T。第一帧T1以N×T开始并且以(N+1)×T结束，第二帧T2以(N+1)×T开始并且以(N+2)×T结束，第三帧T3以(N+2)×T开始并且以(N+3)×T结束，第四帧T4以(N+3)×T开始并且以(N+4)×T结束，其中N表示分组号。在第一帧T0中，正常照明光关闭，因此没有信号生成。在第二帧T1中，正常照明光在子帧时间T/2的一半中关闭，而在剩余子帧时间T/2中打开。与第二帧T1相比，第三帧T2具有反相，即正常照明光在半子帧时间T/2中打开，而在剩余子帧时间T/2中关闭。与帧T0相比，第四帧T3具有反相，即，正常照明光打开。因此，编码照明光的包络在一个分组中具有0°、90°、270°和180°的相位数据。
双调制的照明光包括高频和低频两者：对应于第一调制频率的高频和对应于由包络线定义的第二调制频率的低频。第一调制频率可以是由通常在飞行时间相机的传感器中使用的调制时钟(参见下面的图4中的5)产生的“正常”调制频率。编码照明光的包络线表示低频(这里也称为“编码”)，其频率比正常照明光的第一调制频率小1/T。
图3还示出由编码照明光生成的返回光的示例。与编码照明光相比，返回光具有相位延迟，该相位延迟取决于反射回光的物体的距离。
图4示意性地示出具有编码照明光的ToF相机的基本操作原理。图4基于图1，并且具有基本上相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。调制时钟5生成高频调制信号。该调制信号被发射到开/关键控20。开/关键控20对从调制时钟5接收的高频调制信号进行第二次调制。开/关键控20由从处理器4接收的控制信号控制。通过开/关键控20，基于从调制时钟5获得的高频调制信号并且基于从处理器4获得的控制信号(“编码”)，生成编码调制信号。将编码调制信号发射到照明单元18，该照明单元18生成编码照明光16。编码照明16从场景15内的物体反射回去。反射光17由3D传感器1收集，该3D传感器1用调制时钟5的调制信号解调。
图5示出用于实现开/关键控(图4中的20)的电路的示例。电路包括用于打开/关闭照明单元18的MOSFET 50。MOSFET 50接收由处理器4生成的控制信号53。当MOSFET 50接收到正电压时，接通MOSFET 50并且由调制时钟5生成的高频调制信号52经由缓冲器51发射到照明单元18。当MOSFET 50接收零电平电压时，关断MOSFET 50，从而关断照明单元18。因此，基于编码调制信号54生成编码照明光55，该编码调制信号54是通过接通和关断MOSFET 50而生成的。控制信号53的频率代表低频(编码照明光55的包络频率)，并且调制信号的频率代表高频，该高频由定时发生器5生成。编码照明光55因此是双调制照明光。
2抽头单相像素中的解调
图6作为实施例示出在获得场景的距离的2抽头单相像素中的操作序列。在2抽头单相像素中，由于仅存在一对存储节点(两个浮动扩散)，因此需要四个帧，即相位QA0和QB180、相位QA90和QB270、相位QA270和QB90以及相位QA180和QB0来获得返回光的相位数据。每个帧包括多个子帧T0、T1、T2、T3，每个子帧包括积分(integration)阶段和读出阶段。
在第一帧T0的积分阶段，通过调制时钟(图4中的5)对2抽头像素进行解调，该调制时钟等于图3的高调制频率，没有相位延迟(图6中的“f0”)。在积分阶段之后，读出2抽头像素的相位数据，从而获得第一抽头(抽头A)的相位数据QA0和第二抽头(抽头B)的相位数据QB180。在第二帧T1的积分阶段，通过具有90°相位延迟(图6中的“f90”)的调制时钟对2抽头像素进行解调。在积分阶段之后，读出2抽头像素的相位数据，并且获得第一抽头(抽头A)的相位数据QA90和第二抽头(抽头B)的相位数据QB270。在第三帧T2的积分阶段，通过具有270°相位延迟(图6中的“f270”)的调制时钟对2抽头像素进行解调。在积分阶段之后，读出2抽头像素的相位数据，并且获得第一抽头(抽头A)的相位数据QA270和第二抽头(抽头B)的相位数据QB90。在第四帧T3的积分阶段，通过具有180°相位延迟(图6中的“f180”)的调制时钟对2抽头像素进行解调。在积分阶段之后，读出2抽头像素的相位数据，并且获得第一抽头(抽头A)的相位数据QA180和第二抽头(第二抽头B)的相位数据QB0。
基于第一(高)调制频率的精细相位延迟计算如下：
Figure BDA0002900593700000091
基于编码调制信号的包络频率的粗略相位延迟计算如下：
Figure BDA0002900593700000101
通过使用包括两个调制频率的编码照明光，可以从同一测量(数据集)确定粗略相位延迟和精细相位延迟，从而无需使用第二频率进行额外的积分和解调。
图7描述基于所获得的精细相位延迟和粗略相位延迟的距离的确定。图7的上部表示在ToF距离测量中，粗略相位延迟与距离之间的线性关系。图7的下部表示在ToF距离测量中，精细相位延迟与距离之间的线性关系。如以上关于图2B所描述的，基于高频的ToF距离测量具有小的最大距离Dmax但具有较低的距离不确定度U2。为了获得场景中物体的距离，将通过两个不同的调制频率获得的信息进行组合。当两个调制频率之间的距离结果一致时，该距离DA被认为是物体的距离而没有距离模糊度。所得距离DA的距离不确定度对应于高频测量的低距离不确定度U2。
N相像素中的解调
作为实施例，图8示出了N相像素中的操作序列，其中N表示可以存储在像素中的相数(“或相关”)。该实施例的N相像素包括八个浮动扩散(图8中未示出)，以存储八个信息电压(相位数据)。因此，不必在每次积分后立即读出抽头。取而代之的是，帧包括多个积分阶段(子帧)，并且在对几个子帧进行解调之后读出抽头。
在第一子帧T1中，通过调制时钟N相像素进行解调，该调制时钟等于高调制频率，没有相位延迟(图8中的“f0”)。在第二子帧T2中，通过具有90°相位延迟(图8中的“f90”)的调制时钟对N抽头像素进行解调。在第三子帧T3中，通过具有270°相位延迟(图8中的“f270”)的调制时钟对N抽头像素进行解调。在第四子帧T3中，通过具有180°相位延迟(图8中的“f180”)的调制时钟对N抽头像素进行解调。
在子帧的积分阶段完成之后，读出N相像素的相位数据，并且获得相位数据QA0、QA90、QA180、QA270以及QB0、QB90、QB180、QB270。
基于高调制频率的精细相位延迟计算如下：
Figure BDA0002900593700000111
其中atan表示反正切函数。
基于编码调制信号的包络频率的粗略相位延迟计算如下：
Figure BDA0002900593700000112
改善的SNR性能
图9作为另一实施例示出开/关键控的照明分组1和开/关键控的照明分组2。两个开/关键控的照明分组1、2均具有与图3所示相同的形状，其中与开/关键控的照明分组1相比，开/关键控的照明分组2具有完全反相的相位。将开/关键控的照明分组1和开/关键控的照明分组2依次提供给2抽头单相像素(如图6所示)和/或N相像素(如图8所示)，其中顺序可以是组织的或随机的。开/关键控的照明分组2的总数比开/关键控的照明分组1的数量少1/N倍。因此，与图3中描述的实施例相比，在图3所示的实施例中在不发光的时间间隔中也发光，可以改善SNR性能。
通过在积分时间内对所提供的编码调制信号进行解调，相位数据被积分在各个抽头中的每一个中，并且在读出阶段中被读出。
根据此示例，基于高调制频率的精细相位延迟计算如下：
Figure BDA0002900593700000113
基于编码调制信号的包络频率的粗略相位延迟计算如下：
Figure BDA0002900593700000114
其中，Qx，1表示基于开/关键控的照明分组1获得的相位数据，QX，2表示基于开/关键控的照明分组2获得的相位数据。
空间布置
图10a作为实施例示出传感器像素阵列的空间布置。传感器像素阵列接收如以上关于图3所述的编码照明光。传感器像素阵列包括两种不同类型的像素子阵列fM、fE，其中第一类型的像素子阵列fm以对应于编码调制信号的高调制频率的高调制频率对反射的照明光进行解调，并且第二类型的像素子阵列fE以对应于编码调制信号的低频(包络)的低调制频率对反射的照明光进行解调。
根据空间布置的一个示例，高调制频率fM和低调制频率fE被提供给飞行时间相机(ToF)的照明单元的像素阵列的列C1，C2，...，CN-1，CN，其中高调制频率fM应用于奇数列，而低调制频率fE应用于偶数列。
通过调制频率fM、fE的空间布置，积分时间与开/关键控的时间间隔的关系被打破。fE可以是任意频率，只要它小于或等于fM/2即可。通过具有四个相位延迟0°、90°、180°和270°的高调制频率fM对标有高调制频率fM的列进行解调，并且通过具有四个相位延迟0°、90°、180°和270°的低调制频率f1对标有低调制频率fE的列进行解调。
图10B作为示例示出具有高调制频率fM的照明光、具有低调制频率fE的照明光以及所得的编码照明光。
如以上在图6或图8的描述中所提到的，像素可以在积分阶段中被解调并且在读出阶段中被读出。
基于获得的相位数据，精细相位延迟计算如下：
Figure BDA0002900593700000121
其中，QA0、QA90、QA180、QA270以及QB0、QB90、QB180、QB270是在标有fE的列中具有低调制频率fE的解调数据。
粗略相位延迟计算如下：
Figure BDA0002900593700000122
其中QA0′、QA90′、QA180′、QA270′以及QB90′、QB90′、QB180′、QB270′是在标有fM的列中具有高调制频率fM的解调数据。请注意，相位数据QA0′、QA90′、QA180′、QA270′与相应的相位数据QB90′、QB90′、QB180′、QB270′相减。
实施例不限于对像素列的供应的空间布置，可以使用其他空间布置，例如可以将高调制频率fM应用于偶数列，而将低调制频率fE应用于奇数列。
此外，可以将高调制频率fM和低调制频率fE提供给飞行时间相机(ToF)的像素相位单元的像素阵列的列，其中像素相位单元可以是其中收集反向散射的光。
备用码
图11示出编码照明光和其返回光的分组的另一实施例。
如图11中的点所指示的，该分组被周期性地重复。如在上述图3的实施例中，该分组包括四个帧T0、T1、T2、T3。图11还示出2抽头相位像素的两个抽头：抽头A和抽头B的对应内容。
如图11的中部所示，发射开关键控的编码照明光(编码照明光是通过“打开和关闭”具有高频的正常照明光生成的)。图11还在下部示出由编码照明光生成的返回光。与编码照明光相比，返回光具有相位延迟，该相位延迟取决于反射回光的物体的距离。
在第一帧T0中，打开正常照明光，因此编码照明光具有与正常照明光相同的形状。没有相移的编码照明光和返回光的互相关结果存储在抽头A中。具有180°相移的编码照明光和返回光的互相关结果存储在抽头B中。
在第二帧T1中，打开正常照明光，因此编码照明光具有与正常照明光相同的形状。不具有90°相移的编码照明光与返回光的互相关结果存储在抽头A中。具有270°相移的编码照明光与返回光的互相关结果存储在抽头B中。
在第三帧T2中，关闭正常照明光，因此编码照明光设置为零。不具有270°相移的编码照明光与返回光的互相关结果存储在抽头A中。具有90°相移的编码照明光与返回光之间的互相关结果存储在抽头B中。
在第四帧T3中，打开正常照明光，因此编码照明光设置为零。不具有180°相移的编码照明光与返回光的互相关结果存储在抽头A中。不具有相移的编码照明光与返回光的互相关结果存储在抽头B中。
因此，编码照明光的包络在一个分组中具有0°、90°、270°和180°的相位数据。
双调制的照明光包括高频和低频两者：对应于第一调制频率的高频和对应于由包络线定义的第二调制频率的低频。第一调制频率可以是由通常在飞行时间相机的传感器中使用的调制时钟(图4中的5)产生的“正常”调制频率。编码照明光的包络线表示低频，其频率比正常照明光的第一调制频率小1/T。
SNR比较
飞行时间相机的SNR估计如下：
Figure BDA0002900593700000141
其中QI是具有第一频率的光振幅，QI是具有第二频率的光振幅，并且Qab是环境光的振幅。
在包括具有两个不同的调制时钟f1、f2的两个不同的测量的常规双频方法中，针对每个频率f1、f2划分总解调光振幅Qsig。换句话说，每个调制光都有
Figure BDA0002900593700000142
个电荷。常规双频的f1的总SNR为：
Figure BDA0002900593700000143
并且常规双频的f2的总SNR为：
Figure BDA0002900593700000151
根据以上公开的任何实施例并且根据上述图3至图11的描述，编码调制光的总振幅可以等于常规方法的振幅，即Qsig。由于，根据实施例，将编码调制光关闭半个分组持续时间，因此编码调制光的振幅可以设置为比常规解调光的第一或第二解调光的振幅大两倍，以保持总振幅不变。
因此，根据本公开的f1的总SNR为：
Figure BDA0002900593700000152
并且根据本公开的f2的总SNR为：
Figure BDA0002900593700000153
因此，由于节省了一个采样数据，本公开的总SNR比常规双频方法更具优势，即更好的功率效率。
例如，基于图3计算SNR，其中将包络的相位延迟定义为ph(此编码中0＜ph＜π/4)。
在图3的第一帧T0中，当前实施例的SNR计算如下：
Figure BDA0002900593700000154
在图3的第二帧T1中，当前实施例的SNR计算如下：
Figure BDA0002900593700000155
在图3的第三帧T2中，当前实施例的SNR计算如下：
Figure BDA0002900593700000156
在图3的第四帧T1中，当前实施例的SNR计算如下：
Figure BDA0002900593700000161
因此，在第一帧T0和第二帧T1中，当前实施例的各自的SNR总是低于常规双频方法，而第三帧T2和第四帧T3中，当前实施例的各自的SNR始终是更高的常规双频方法。
在2抽头单相像素中，帧T0和T1中的SNR可以足够高以至于读出噪声。一种可能的解决方案是确保SNR足够高，以使用两个不同的调制信号，其中第二调制信号与第一调制信号完全反相，如图9所示。
编码解调信号
图12示意性地示出具有编码解调信号的ToF相机的基本操作原理。图4基于图1，并且具有基本上相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。调制时钟5生成高频调制信号。该调制信号被发射到开/关键控20′。开/关键控20′对从调制时钟5接收的高频调制信号进行第二次调制。开/关键控20′由从处理器4接收的控制信号控制。通过开/关键控20′，基于从调制时钟5获得的高频调制信号并且基于从处理器4获得的控制信号(“编码”)，生成编码解调信号。将编码解调信号发射到3D传感器1，该3D传感器1收集反射光17。
3D传感器1可以是ToF相机的相位像素。相位像素可以包括一个或多个浮动扩散，也称为“感测节点”。例如在光电门像素传感器中，浮动扩散存储电荷以用于读出。例如，它可以是与所有其他节点电隔离的图像传感器的有源硅(扩散)区域中的区域。例如，它可以是通过p-n结与其他节点隔离的准中性区域。由两个浮动扩散收集的电荷例如可以是来自由光敏区域产生的电子-空穴对的电子。可以提供光电二极管以将光转换成电流。光电二极管将其电荷排空到浮动扩散中，该浮动扩散不受光的影响。然后，浮动扩散存储电荷。
在一些实施例中，本文描述的方法还被实现为当在计算机和/或处理器上执行时使计算机和/或处理器执行该方法的计算机程序。在一些实施例中，还提供非暂时性计算机可读记录介质，该介质在其中存储计算机程序产品，当该计算机程序产品由诸如上述处理器的处理器执行时，使得执行本文所述的方法。
如果没有另外说明，则可以将本说明书中描述的以及所附权利要求书中要求保护的所有单元和实体实现为集成电路逻辑，例如在芯片上，并且如果没有另外说明，则可以将这些单元和实体提供的功能由软件实现。
就以上描述的本公开的实施例而言，至少部分地使用软件控制的数据处理设备来实现，将理解的是，将提供这种软件控制的计算机程序以及通过其提供这种计算机程序的传输、存储或其他介质设想为本公开的方面。
注意，本技术还可以配置如下。
(1)电子设备，包括被配置为生成用于调制由飞行时间相机(3)发射的照明光(16；55)的编码调制信号(54；60)的电路。
(2)根据(1)所述的电子设备，其中，通过调制时钟(5)的开/关键控来生成所述编码调制信号(54；60)。
(3)根据(1)或(2)所述的电子设备，其中，编码调制信号(54；60)包括至少两个调制频率。
(4)根据(1)至(3)中任一项所述的电子设备，其中，编码调制信号(54；60)包括高频和低频。
(5)根据(4)所述的电子设备，其中，编码调制信号的高频由调制时钟(5)生成，并且调制信号的低频对应于编码调制信号的包络的频率(54；60)。
(6)根据(1)至(5)中任一项所述的电子设备，其中，电路被配置为基于编码调制信号来生成双调制照明光(16；55)。
(7)根据(1)至(6)中的任一项所述的电子设备，其中，通过两次调制照明光来生成编码照明光(16；55)。
(8)根据(1)至(7)中任一项所述的电子设备，其中，编码调制信号(54；60)的第一频率分量用于计算粗略相移，并且编码调制信号的第二频率分量(54；60)用于计算精细相移。
(9)根据(1)至(8)中任一项所述的电子设备，其中，电路被配置为生成第一编码调制信号和第二编码调制信号，其中，第二编码调制信号具有与第一编码调制信号完全相反的相位。
(10)根据(1)至(9)中任一项所述的电子设备，其中，编码调制信号(54)用于调制由飞行时间相机发射的照明光。
(11)根据(1)至(9)中任一项所述的电子设备，其中，编码调制信号(60)用于解调飞行时间相机(3)的相位像素接收的反射光(17)。
(12)一种系统，包括：电路，被配置为生成用于调制由飞行时间相机发射的照明光和/或用于解调由飞行时间相机接收的反射光的编码调制信号；图像传感器，被配置为接收所述反射光；以及照明光源，被配置为发射所调制的照明光。
(13)根据(12)所述的系统，其中，图像传感器被配置为根据空间布置来解调反射信号。
(14)根据(12)或(13)所述的系统，其中，图像传感器包括多种类型的像素子阵列(fM，fE))，每个子阵列(fM，fE))被配置为以单独的解调频率来解调所述反射光。
(15)根据(12)至(14)中任一项所述的系统，其中，图像传感器包括两种类型的像素子阵列(fM，fE)，第一类型的像素子阵列(fM)以对应于编码调制信号的高调制频率的高调制频率对反射的照明光进行解调，并且第二类型的像素子阵列(fE)以对应于编码调制信号的低频的低调制频率对所反射的照明光进行解调。
(16)一种方法，其包括生成用于调制由飞行时间相机(3)发射的照明光(16；55)的编码调制信号(54；60)。
(17)一种包括指令的计算机程序，该指令在处理器(4)上执行时生成控制信号(52)，该控制信号(52)用于生成编码调制信号(54；60)，该编码调制信号(54；60)用于调制由飞行时间相机(3)发射(16；55)的照明光。

Claims (17)

1.一种电子设备，包括被配置为生成用于调制由飞行时间相机发射的照明光的编码调制信号的电路。
2.根据权利要求1所述的电子设备，其中，通过调制时钟的开/关键控生成所述编码调制信号。
3.根据权利要求1所述的电子设备，其中，所述编码调制信号包括至少两个调制频率。
4.根据权利要求1所述的电子设备，其中，所述编码调制信号包括高频和低频。
5.根据权利要求4所述的电子设备，其中，所述编码调制信号的所述高频由调制时钟生成，并且所述调制信号的所述低频对应于所述编码调制信号的包络的频率。
6.根据权利要求1所述的电子设备，其中，所述电路被配置为基于所述编码调制信号生成双调制的照明光。
7.根据权利要求1所述的电子设备，其中，通过两次调制所述照明光生成编码照明光。
8.根据权利要求1所述的电子设备，其中，所述编码调制信号的第一频率分量用于计算粗略相移，并且所述编码调制信号的第二频率分量用于计算精细相移。
9.根据权利要求1所述的电子设备，其中，所述电路被配置为生成第一编码调制信号和第二编码调制信号，其中，所述第二编码调制信号具有与所述第一编码调制信号完全反相的相位。
10.根据权利要求1所述的电子设备，其中，所述编码调制信号用于调制由所述飞行时间相机发射的照明光。
11.根据权利要求1所述的电子设备，其中，所述编码调制信号用于解调由所述飞行时间相机的相位像素接收的反射光。
12.一种系统，包括：电路，被配置为生成用于调制由飞行时间相机发射的照明光和/或用于解调由飞行时间相机接收的反射光的编码调制信号；图像传感器，被配置为接收所述反射光；以及照明光源，被配置为发射所调制的照明光。
13.根据权利要求12所述的系统，其中，所述图像传感器被配置为根据空间布置来解调反射信号。
14.根据权利要求12所述的系统，其中，所述图像传感器包括多种类型的像素子阵列，每个子阵列被配置为以单独的解调频率来解调所述反射光。
15.根据权利要求12所述的系统，其中，所述图像传感器包括两种类型的像素子阵列，其中，第一类型的像素子阵列以对应于所述编码调制信号的高调制频率的高调制频率对所反射的照明光进行解调，并且第二类型的像素子阵列以对应于所述编码调制信号的低频的低调制频率对所反射的照明光进行解调。
16.一种方法，包括生成用于调制由飞行时间相机发射的照明光的编码调制信号。
17.一种包括指令的计算机程序，所述指令在处理器上执行时生成控制信号，所述控制信号用于生成编码调制信号，所述编码调制信号用于调制由飞行时间相机发射的照明光。
CN201980047701.1A 2018-07-17 2019-07-10 电子设备和方法 Pending CN112424640A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18184041 2018-07-17
EP18184041.4 2018-07-17
PCT/EP2019/068546 WO2020016075A1 (en) 2018-07-17 2019-07-10 Electronic device and method

Publications (1)

Publication Number Publication Date
CN112424640A true CN112424640A (zh) 2021-02-26

Family

ID=62981131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047701.1A Pending CN112424640A (zh) 2018-07-17 2019-07-10 电子设备和方法

Country Status (5)

Country Link
US (1) US20210318443A1 (zh)
EP (1) EP3824319A1 (zh)
KR (1) KR20210031710A (zh)
CN (1) CN112424640A (zh)
WO (1) WO2020016075A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206501A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 基于雷达的距离检测方法、装置、雷达及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
US20220174251A1 (en) * 2020-11-27 2022-06-02 Verity Ag Systems and methods for processing time of flight sensor data
CN116635748A (zh) * 2020-12-15 2023-08-22 索尼半导体解决方案公司 飞行时间图像传感器电路和飞行时间图像传感器电路控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4317209A (en) * 1979-12-04 1982-02-23 Frederick Electronics Corp. FSK Tone generator circuit
US5745437A (en) * 1996-08-05 1998-04-28 Wachter; Eric A. Method and apparatus for coherent burst ranging
US6031601A (en) * 1998-07-08 2000-02-29 Trimble Navigation Limited Code-space optical electronic distance meter
WO2001055746A1 (en) * 2000-01-26 2001-08-02 Instro Precision Limited Optical distance measurement
US20090059201A1 (en) * 2007-08-28 2009-03-05 Science Applications International Corporation Full-Field Light Detection and Ranging Imaging System
DE102013205600A1 (de) * 2012-03-29 2013-10-02 Ifm Electronic Gmbh Überwachungsvorrichtung für eine Beleuchtung eines Lichtlaufzeitmesssystems
EP2680035A1 (en) * 2011-02-21 2014-01-01 Panasonic Corporation Spatial information detection device
CN103765241A (zh) * 2011-04-29 2014-04-30 怀卡托大学 低功率范围成像相机的谐振调制
US20170329010A1 (en) * 2016-05-10 2017-11-16 Texas Instruments Incorporated Methods and apparatus for lidar operation with pulse position modulation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10605916B2 (en) * 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
US11307296B2 (en) * 2016-02-08 2022-04-19 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4317209A (en) * 1979-12-04 1982-02-23 Frederick Electronics Corp. FSK Tone generator circuit
US5745437A (en) * 1996-08-05 1998-04-28 Wachter; Eric A. Method and apparatus for coherent burst ranging
US6031601A (en) * 1998-07-08 2000-02-29 Trimble Navigation Limited Code-space optical electronic distance meter
WO2001055746A1 (en) * 2000-01-26 2001-08-02 Instro Precision Limited Optical distance measurement
US20090059201A1 (en) * 2007-08-28 2009-03-05 Science Applications International Corporation Full-Field Light Detection and Ranging Imaging System
EP2680035A1 (en) * 2011-02-21 2014-01-01 Panasonic Corporation Spatial information detection device
CN103765241A (zh) * 2011-04-29 2014-04-30 怀卡托大学 低功率范围成像相机的谐振调制
DE102013205600A1 (de) * 2012-03-29 2013-10-02 Ifm Electronic Gmbh Überwachungsvorrichtung für eine Beleuchtung eines Lichtlaufzeitmesssystems
US20170329010A1 (en) * 2016-05-10 2017-11-16 Texas Instruments Incorporated Methods and apparatus for lidar operation with pulse position modulation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206501A1 (zh) * 2021-04-02 2022-10-06 华为技术有限公司 基于雷达的距离检测方法、装置、雷达及终端

Also Published As

Publication number Publication date
US20210318443A1 (en) 2021-10-14
EP3824319A1 (en) 2021-05-26
KR20210031710A (ko) 2021-03-22
WO2020016075A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN112424640A (zh) 电子设备和方法
US11067675B2 (en) Time of flight imaging apparatuses and a method for adjusting a reference frequency
US10509126B2 (en) Method for driving a time-of-flight system
US9341715B2 (en) Multi-level digital modulation for time of flight method and system
US6239456B1 (en) Lock in pinned photodiode photodetector
KR101625175B1 (ko) 배경 방사선 억제 기능을 지니는 ｔｏｆ 거리측정
EP3757616A1 (en) Time of flight-based distance measurement method and distance measurement system
US10101453B2 (en) Time of flight apparatuses and an illumination source
US7119350B2 (en) Spatial information detecting device using intensity-modulated light and a beat signal
EP1612511B1 (en) TOF rangefinding with large dynamic range and enhanced background radiation suppression
CN107300705B (zh) 基于载波调制的激光雷达测距系统及测距方法
US8908063B2 (en) Method and apparatus for a time-of-flight sensor with charge storage
US20200018833A1 (en) Electronic device, method and computer program
US11044429B2 (en) Charge collection gate with central collection photodiode in time of flight pixel
US11770633B2 (en) Readout architecture for indirect time-of-flight sensing
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
CN109863604B (zh) 具有相位敏感像素的图像传感器
WO2021005102A1 (en) Electronic device and method for time-of-flight measurement
Heide Transient convolutional imaging
JP2000083260A (ja) ３次元画像入力装置
Watanabe et al. ToF Image Sensor with Pulse-Frequency-Modulation Pixel for In-Pixel Code Discrimination
CN115701132A (zh) 一种用于减少图像传感器背景噪声的方法和像素电路
CN113424072A (zh) 飞行时间装置和方法
WO2023174646A1 (en) Time-of-flight demodulation circuitry and time-of-flight demodulation method
CN112437238A (zh) 一种低kTC噪声三维图像传感器锁相像素结构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination