CN110320528B - 时间深度相机及多频调制解调的降低噪声的距离测量方法 - Google Patents

时间深度相机及多频调制解调的降低噪声的距离测量方法 Download PDF

Info

Publication number
CN110320528B
CN110320528B CN201910518105.9A CN201910518105A CN110320528B CN 110320528 B CN110320528 B CN 110320528B CN 201910518105 A CN201910518105 A CN 201910518105A CN 110320528 B CN110320528 B CN 110320528B
Authority
CN
China
Prior art keywords
taps
time
pulse
flight
tap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910518105.9A
Other languages
English (en)
Other versions
CN110320528A (zh
Inventor
王飞
朱亮
胡小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN201910518105.9A priority Critical patent/CN110320528B/zh
Priority to PCT/CN2019/097099 priority patent/WO2020248335A1/zh
Publication of CN110320528A publication Critical patent/CN110320528A/zh
Application granted granted Critical
Publication of CN110320528B publication Critical patent/CN110320528B/zh
Priority to US17/535,311 priority patent/US20220082698A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种时间深度相机及多频调制解调的降低噪声的距离测量方法，深度相机包括：发射模组，包括光源用于向待测物发射脉冲光束；采集模组，包括由至少一个像素组成的图像传感器，每个像素包括至少3个抽头，抽头用于采集由待测物反射回的反射脉冲光束所产生的电荷信号和/或背景光的电荷信号；处理电路，用于控制至少3个抽头在宏周期的至少3个帧周期之间轮换采集电荷信号，相邻的两个宏周期内采用不同的调制解调频率，并接收相邻的两个宏周期内接收到的电荷信号的数据以计算出脉冲光束的飞行时间和/或待测物的距离。测量距离的扩展不再受限于脉宽，降低或消除工艺制造误差等造成抽头之间或者读出电路之间的失配而引起的固定噪声。

Description

时间深度相机及多频调制解调的降低噪声的距离测量方法
技术领域
本发明涉及光学测量技术领域，尤其涉及一种时间深度相机及多频调制解调的降低噪声的距离测量方法。
背景技术
ToF的全称是Time-of-Flight，即飞行时间，ToF测距法是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在ToF技术中直接对光飞行时间进行测量的技术被称为dToF(direct-TOF)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为iToF(Indirect-TOF)技术。按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方式和脉冲调制(Pulse Modulated，PM)调制解调方式。
目前，CW-iToF技术主要应用于基于两抽头传感器构建的测量系统，核心测量算法是一种四相位的调制解调方式，至少需要进行两次曝光(为了保证测量精度，通常需要进行四次曝光)才能完成对四个相位数据的采集输出一帧深度图像，因而难以获得较高的帧频。PM-iToF调制技术主要应用于四抽头像素传感器(三个抽头用于信号的采集和输出，一个抽头用于对无效电子进行释放)，这一测量手段的测量距离目前受限于调制解调信号的脉宽，当需要进行远距测量时，需要延长调制解调信号的脉宽，而调制解调信号脉宽的延长会导致功耗的增加和测量精度的下降。
另外，对于多抽头像素传感器而言，往往面临着由于工艺制造误差等原因造成抽头之间或者读出电路之间的失配，从而引入固定噪声(Fixed-Pattern Noise,FPN)，进一步影响测量精度。
发明内容
本发明为了解决现有的问题，提供一种时间深度相机及多频调制解调的降低噪声的距离测量方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种时间飞行深度相机，包括：发射模组，包括光源，用于向待测物发射脉冲光束；采集模组，包括由至少一个像素组成的图像传感器，每个所述像素包括至少3个抽头，所述抽头用于采集由所述待测物反射回的反射脉冲光束所产生的电荷信号和/或背景光的电荷信号；处理电路，用于控制所述至少3个抽头在宏周期的至少3个帧周期之间轮换采集电荷信号，相邻的两个所述宏周期内采用不同的调制解调频率，并接收所述相邻的两个宏周期内接收到的电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
在本发明的一种实施例中，所述处理电路根据下式计算单个所述宏周期内所述脉冲光束的飞行时间
Figure BDA0002095654400000021
其中，Q11、Q21、Q31、Q12、Q22、Q32、Q13、Q23、Q33分别表示在连续3个帧周期内所述3个抽头所采集到的信号。所述处理电路通过控制所述至少3个抽头的采集时序不断发生变化或者控制所述光源发射所述脉冲光束的时间延迟以实现所述至少3个抽头进行轮换采集电荷信号。在连续的所述帧周期之间的所述时间延迟是规则递增、规则递减或不规则变化的；在连续的所述帧周期之间的的时间延迟的差距是脉冲宽度的整数倍。所述处理电路还用于对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号，再根据判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。
本发明还提供一种多频调制解调的降低噪声的距离测量方法，包括：利用光源用于向待测物发射脉冲光束；利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于采集所述电荷信号和/或背景光的电荷信号；控制所述至少3个抽头在宏周期的至少3个帧周期之间轮换采集电荷信号，相邻的两个所述宏周期内采用不同的调制解调频率，并接收所述相邻的两个宏周期内接收到的电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
在本发明的一种实施例中，单个所述宏周期内所述脉冲光束的飞行时间根据下式计算：
Figure BDA0002095654400000022
其中，Q11、Q21、Q31、Q12、Q22、Q32、Q13、Q23、Q33分别表示在连续3个帧周期内所述3个抽头所采集到的信号。所述处理电路通过控制所述至少3个抽头的采集时序不断发生变化或者控制所述光源发射所述脉冲光束的时间延迟以实现所述至少3个抽头进行轮换采集电荷信号。在连续的所述帧周期之间的所述时间延迟是规则递增、规则递减或不规则变化的；在连续的所述帧周期之间的时间延迟的差距是脉冲宽度的整数倍。本发明的方法还包括对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号，再根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。
本发明的有益效果为：提供一种时间深度相机及多频调制解调的降低噪声的距离测量方法，摆脱了现在PM-iToF测量方案中脉宽与测量距离和功耗成正比，而与测量精度负相关的矛盾，使测量距离的扩展不再受限于脉宽，从而在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度，另外通过抽头轮换采集方法以降低或消除由于工艺制造误差等原因造成抽头之间或者读出电路之间的失配而引起的固定噪声(Fixed-Pattern Noise,FPN)。相对于CW-iToF测量方案，本方案中单组调制解调频率而言只需要一次曝光输出三个抽头的信号量即可获得一帧深度信息，因而显著降低了整体的测量功耗并提高了测量帧频。因此，本方案相对于现有的iToF技术方案均具有明显的优势。
附图说明
图1是根据本发明实施例的一种时间飞行深度相机原理示意图。
图2是根据本发明实施例的一种时间飞行深度相机光信号发射与采集方法示意图。
图3是根据本发明实施例的一种降低噪声的时间飞行深度相机光信号发射与采集方法示意图。
图4是根据本发明实施例的又一种降低噪声的时间飞行深度相机光信号发射与采集方法示意图。
图5是根据本发明实施例的单频调制解调的降低噪声的距离测量方法的示意图。
图6是根据本发明实施例的又一种时间飞行深度相机的光信号发射与采集示意图。
图7是根据本发明实施例的一种前后帧顺延采集方法。
图8(a)是根据本发明实施例的又一种前后帧顺延采集方法。
图8(b)是根据本发明实施例的再一种前后帧顺延采集方法。
图9是是根据本发明实施例的多频调制解调的降低噪声的距离测量方法的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1是根据本发明一个实施例的时间飞行深度相机示意图。时间飞行深度相机10包括发射模组11、采集模组12以及处理电路13，其中发射模组11提供发射光束30至目标空间中以照明空间中的物体20，至少部分发射光束30经物体20反射后形成反射光束40，反射光束40的至少部分被采集模组12采集，处理电路13分别与发射模组11以及采集模组12连接，同步发射模组11以及采集模组12的触发信号以计算光束由发射模组11发出并被采集模组12接收所需要的时间，即发射光束30与反射光束40的飞行时间t，进一步的，物体上对应点的总光飞行距离D可由下式计算出：
D＝c·t (1)
其中，c为光速。
发射模组11包括光源111、光束调制器112以及光源驱动器(图中未示出)等。光源111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。光源111在光源驱动器(其可以进一步被处理电路13控制)的控制下向外发射光束，比如在一个实施例中，光源111在控制下以一定的频率发射脉冲光束，可以用于直接时间飞行法(Direct TOF)测量中，频率根据测量距离进行设定，比如可以设置成1MHz～100MHz，测量距离在几米至几百米；在一个实施例中，光源111在控制下其发射的光束振幅被调制以发射脉冲光束、方波光束、正弦波光束等光束，可以用于间接飞行时间法(Indirect TOF)测量中。可以理解的是，可以利用处理电路13中的一部分或者独立于处理电路13存在的子电路来控制光源111发射相关的光束，比如脉冲信号发生器。
光束调制器112接收来自光源111的光束，并向外发射空间调制光束，比如强度分布均匀的泛光光束或者强度分布不均匀的图案化光束等。可以理解的是，这里的分布均匀是一个相对的概念，并非绝对的均匀，一般地视场边缘的光束强度稍低是被允许的，另外在中间用于成像区域的强度也可以在一定的阈值内变化，比如可以允许有不超过15％或者10％等数值的强度变化。在一些实施例中，光束调制器112还用于将接收到的光束进行扩束，以扩大视场角。
采集模组12包括图像传感器121、透镜单元122，还可以包含滤光片(图中未示出)，透镜单元122接收并将由物体反射回的至少部分空间调制光束并成像在至少部分所述图像传感器121上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。
一般地，图像传感器121包括至少一个像素，每个像素则包含多个抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括3个抽头，以用于读取电荷信号数据。
在一些实施例中，时间飞行深度相机10还可以包括驱动电路、电源、彩色相机、红外相机、IMU等器件，在图中并未示出，与这些器件的组合可以实现更加丰富的功能，比如3D纹理建模、红外人脸识别、SLAM等功能。时间飞行深度相机10可以被嵌入到手机、平板电脑、计算机等电子产品中。
处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理电路13的至少一部分。在一些实施例中，处理电路13用于提供光源111发射激光时所需的调制信号(发射信号),光源在调制信号的控制下向待测物发射脉冲光束；此外处理电路13还提供图像传感器121各像素中抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含待测物反射回的反射脉冲光束的光束所产生的电荷信号，一般地，除了待测物反射回的反射脉冲光束之外还有一些背景光、干扰光等光束；处理电路13还可以提供辅助的监测信号，如温度传感、过电流、过压保护、脱落保护等；处理电路13还可以用于将图像传感器121中各个抽头采集到的原始数据保存并作相应处理，得到待测物的具体位置信息。处理电路13所执行的调制解调方法、控制、处理等功能将在图2-图8的实施例中进行详细介绍，为了便于阐述均以PM-iTOF调制解调方法为例进行说明。
图2为根据本发明实施例的一种时间飞行深度相机光信号发射与采集方法示意图。图2中示例性给出了两个帧周期T内的激光发射信号(调制信号)、接收信号以及采集信号(解调信号)的时序示意图，其中各个信号的含义为：Sp表示光源的脉冲发射信号，每个脉冲发射信号表示一次脉冲光束；Sr表示脉冲光被物体反射回的反射光信号，每个反射光信号表示被待测物体反射回的相应的脉冲光束，其在时间线(图中横轴)上相对于脉冲发射信号有一定的延迟，延迟的时间t即是需要计算的脉冲光束的飞行时间；S1表示像素第一抽头的脉冲采集信号、S2表示像素第二抽头的脉冲采集信号、S3表示像素第三抽头的脉冲采集信号，每个脉冲采集信号表示抽头采集了该信号对应的时间段内像素所产生的电荷信号(电子)；Tp＝N×Th，其中N为参与像素电子收集的抽头数量，在图2所示实施例中N＝3。
整个帧周期T被分成两个时间段Ta以及Tb，其中Ta表示像素各抽头进行电荷采集与存储的时间段、Tb表示电荷信号被读出的时间段。在电荷采集与存储时间段Ta中，第n抽头的采集信号脉冲相对于激光发射信号脉冲分别存在一个(n-1)×Th的相位延迟时间，在反射光信号被物体反射回像素时，各抽头在其脉冲时间段内对像素上产生的电子进行收集。在本实施例中，第一抽头的采集信号与激光发射信号同步被触发，在反射光信号被物体反射回像素时，第一抽头、第二抽头、第三抽头分别依次进行电荷采集与存储，分别获取电荷量q1、q2以及q3，如此完成一个脉冲周期Tp，对于3抽头的情形，Tp＝3Th。图2所示实施例中，在单个帧周期中包含两个脉冲周期Tp，共发射了2次激光脉冲信号，因此在Tb时间段各个抽头共收集及读出的总电荷量为两次采集的光信号对应电荷量的和，可以理解的是，在单帧周期内，脉冲周期Tp或者激光脉冲信号发射的次数可以是K次，K不小于1，也可以高达几万，甚至更高，具体的数目根据实际的需求来确定，另外，不同帧周期内的脉冲次数也可以不等。
因此，在Tb时间段各个抽头共收集及读出的总电荷量为各个抽头在整个帧周期T内多次采集的光信号对应电荷量的和，单帧周期内各个抽头的总电荷量可以表示如下：
Qi＝∑qi，i＝1,2,3 (2)
根据公式(2)可得第一抽头、第二抽头、第三抽头单帧周期内总电荷量为Q1、Q2和Q3。
在传统的调制解调方式中，测量范围被限定在单个脉冲宽度时间Th内，即假定反射光信号被第一抽头以及第二抽头采集(第一抽头及第二抽头同时也会采集到环境光信号)，第三抽头则用于采集环境光信号，这样基于各个抽头所采集到的总电荷量，处理单元可以根据下式对脉冲光信号从发射到反射至像素上的总光飞行距离进行计算：
Figure BDA0002095654400000071
进一步的再根据相机的光学和结构参数可以对目标的空间坐标进行计算。
传统的调制解调方式的优点在于计算简单，但缺点则是测量范围被限定，测量的飞行时间被限制在Th以内，相应的最大飞行距离测量范围被限制在c×Th之内。
为了提升测量距离，本发明提供一种新的调制解调方法。图2是根据本发明一个实施例的光信号发射与采集示意图，此时反射光信号不仅可以落入到第一抽头与第二抽头上，也可以允许落入到第二抽头与第三抽头上，甚至允许落入到第三抽头与下一脉冲周期Tp内的第一抽头上(针对至少两个脉冲周期Tp以上的情形)。这里所述的“落入到抽头上”指的是可以被抽头采集。由于在时间段Tb内读取的总电荷量是Q1、Q2以及Q3，与传统调制解调方式不同的是，本发明中由于没有对接收反射光信号的抽头甚至周期进行限定。
考虑到接收到反射光信号的抽头所采集到的电荷量要大于仅包含背景光信号的抽头，处理电路将对所获取的三个总电荷量Q1、Q2以及Q3进行判断，以确定获取包含反射光信号激发电子的抽头和/或获取仅包含背景信号的抽头，实际使用中各个抽头之间可能会有电子的串扰，比如本来用于仅获取背景信号的抽头中可能会进入一些反射光信号，这些误差将被允许，同时也在本方案的保护范围之中。假定经过判断之后，依次(依时间顺序接收到反射光信号)包含反射光信号的两个总电荷量分别记为QA与QB，仅包含背景光信号的总电荷量记为QO，则对于三抽头图像传感器而言，共有以下三种可能：
(1)QA＝Q1，QB＝Q2，QO＝Q3；
(2)QA＝Q2，QB＝Q3，QO＝Q1；
(3)QA＝Q3，QB＝Q1(下一脉冲周期Tp)，QO＝Q2；
随后，处理电路可以根据下式可以计算出光信号的飞行时间：
Figure BDA0002095654400000081
公式中的m反映的是反射光信号第一次落入的抽头相对于第一抽头的延迟，对于上述三种情况而言，m分别为0，1，2。即若反射光信号首先落入到第n个抽头中，则m＝n-1。n指的是所述QA所对应抽头的序号，序号为n的抽头相对于发射光脉冲信号的相位延迟时间为(n-1)×Th；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期，Tp＝N×Th，其中N为参与像素电子收集的抽头数量。
对比公式(4)与公式(3)，可以明显看到测量距离得到了延伸，最大测量飞行距离由传统方法中的c·Th扩大到本申请中的c×Tp＝c×N×Th，其中N为参与像素电子收集的抽头数量，在本示例中其值为3，因而即相对于传统调制解调方法，上述方法通过判断机制实现了3倍于传统方法的测量距离。
以上调制解调方法的关键在于如何判断出反射光信号所落入的抽头。对此本申请提供了以下几种判断方法：
(1)单抽头最值法。查找抽头1～抽头N(上述实施例中N＝3)中输出信号(总电荷量)最大的抽头(记为Nodex)，再按照Node1→Node2→…→NodeN→Node1→…的顺序记Nodex的前一抽头为Nodew；记Nodex的后一抽头为Nodey。若Nodew与Nodey的总电荷量Qw≥Qy，则Nodew即为抽头A；若Qw<Qy，则Nodex即为抽头A。
(2)相邻抽头和最值法。先按照Node1→Node2→…→NodeN→Node1→…的顺序计算相邻抽头的总电荷量之和，即Sum1＝Q1+Q2,Sum2＝Q2+Q3,…,SumN＝QN+Q1，查找其中的最大值项Sumn，则抽头n为抽头A，抽头n后一抽头为抽头B。
当完成抽头A，B确认后，背景信号量的计算方式至少有以下四种：
(2)B后背景；即取B抽头之后一个抽头的信号量为背景信号量。
(3)A前背景；即取A抽头之前一个抽头的信号量为背景信号量。
(4)平均背景；即取A、B抽头之外所有抽头信号量的均值作为背景信号量。
(5)减一平均背景；即取A、B抽头和B抽头之后一个抽头之外所有抽头信号量的均值作为背景信号量。
需要说明的是，当N＝3即只有3个抽头时，方法(4)不可取，方法(1)～(3)等价；当k＝4时，方法(3)、(4)等价，为了尽可能减少信号量的串扰，可以优先选择方法(3)。当k>4时可以优先选择方法(4)。
上述实施例中介绍了基于3抽头像素的调制解调方法，可以理解的是，这一调制解调方法同样适用于更多抽头的像素，即N>3，比如对于4抽头像素，可以实现最大4Th的测量距离，对于5抽头像素，可以实现最大5Th的测量距离。这一测量方法相对于传统的PM-iTOF测量方案将最远测量飞行时间从脉宽时间Th扩展至整个脉冲周期Tp，这里称之为单频全周期测量方案。
在对上述实施例的分析中，各个抽头采集到的电荷量以及飞行时间计算公式均针对理想情况，然而在实际情况下，由于工艺制造误差引起像素的失配或者由于各抽头ADC(模拟数字转换器)之间的失配等均会引起FPN(Fixed-pattern Noise,固定模式噪声)，具体表现为各个抽头的增益之间有偏差或者ADC等电路的偏置(offset)不同等问题,最终导致测量误差。
为了解决这一问题，本发明提供一种可降低噪声的测量方法。图3是根据本发明实施例的一种降低噪声的时间飞行深度相机光信号发射与采集方法示意图。图3中示意性画出了连续三个帧周期T1,T2,T3内的调制解调信号示意图，这三个连续帧周期作为本方案的一个宏周期单元，即在时序上调制解调信号将不断以T1,T2,T3,T1,T2,T3,T1…的宏周期进行循环。在单个宏周期单元的连续三个帧周期Ti(i＝1,2,3)内，处理电路控制各个抽头的采集时序(采集相位)不断发生变化以使得三个抽头可以轮换采集电荷信号。比如在图3所示实施例中，在T1周期内，三个抽头在各个脉冲周期Tp内，以S1-S2-S3的顺序依次采集0～1/3Tp(0～120°)、1/3Tp～2/3Tp(120°～240°)、2/3Tp～Tp(240°～360°)时间段内的电荷信号；在T2周期内，三个抽头在各个脉冲周期Tp内，以S3-S1-S2的顺序依次采集0～1/3Tp(0～120°)、1/3Tp～2/3Tp(120°～240°)、2/3Tp～Tp(240°～360°)时间段内的电荷信号；在T3周期内，三个抽头在各个脉冲周期Tp内，以S2-S3-S1的顺序依次采集0～1/3Tp(0～120°)、1/3Tp～2/3Tp(120°～240°)、2/3Tp～Tp(240°～360°)时间段内的电荷信号。
可以理解的是，各个帧周期内，抽头采集时序的变化方式不限定于上述示例中的依次序轮换方法，任意变化方式只要能让各个抽头的采集时序实现轮换采集即可。
一般地，对于N个抽头的像素而言，单个宏周期单元中将至少含有N个帧周期，如此才能保证每个抽头可以实现完全的轮换采集。比如如图3所示实施例中对于3抽头像素而言，单个宏周期单元内含有3个帧周期，可以理解的是，单个宏周期单元也可以含有更多个帧周期，比如在一个实施例中，含有3n个帧周期，即抽头数据的整数倍，当然也可以根据实际需求包含其他任意多个帧周期。另外，宏周期单元中N个帧周期在时序上也不一定是连续的，比如在一个实施例中两个宏周期或多个宏周期中所包含的多个帧周期可以相互交叉。
假定理想情况下沿时序上的三个抽头分别采集到的电荷信号分别是QO、Q120、Q240，实际上由于FPN的存在，在连续三个帧周期内各个抽头所采集到的信号分别是Q11、Q21、Q31、Q12、Q22、Q32、Q13、Q23、Q33，其中Qij＝∑qij，i表示抽头且i＝1，2，3，j表示周期，且j＝1，2，3。另外还有Q＝GQ+O，其中G、O分别表示对应抽头的增益与偏置(offset)，比如对于图3中T1周期而言，则有：
Q11＝G1QO+O1,Q21＝G2Q120+O2,Q31＝G3Q240+O3 (5)
对于图3中T2周期而言，则有：
Q12＝G1Q120+O1,Q22＝G2Q240+O2,Q32＝G3QO+O3 (6)
对于图3中T3周期而言，则有：
Q13＝G1Q240+O1,Q23＝G2QO+O2,Q33＝G3Q120+O3 (7)
为了降低FPN，本方案将采用连续三帧采集到的电荷信号计算出单帧飞行时间值(或深度值)，为了便于分析，这里假定反射光信号落入到0～1/3Tp(0～O°)、1/3Tp～2/3Tp(O°～120°)对应时间段的抽头上，计算公式如下：
Figure BDA0002095654400000111
若考虑图2所示的单频全周期测量方案，计算公式如下：
Figure BDA0002095654400000112
选取(8)式对应的情形为例进行分析，将公式(5)-(7)代入(8)式：
Figure BDA0002095654400000113
从式(10)可知，通过连接3帧数据所计算出的飞行时间将不受增益G以及偏置O的影响，从而在理论上消除了FPN所引起的误差。
图4是根据本发明又一实施例的一种降低噪声的时间飞行深度相机光信号发射与采集方法示意图。为了降低噪声在图3所示的实施例中采取在宏周期单元内各个帧周期中让抽头变化采集时序以实现轮换采集的方式，然而由于在实际应用中不断变化抽头采集时序相对难以实现，为了克服这一问题，本实施例中将采取控制脉冲发射时间的方式。同样以3抽头为例进行说明，单个宏周期内包含3个帧周期T1，T2，T3，在各个帧周期内，处理电路控制脉冲光束以一定时序的时间延迟进行发射以实现各个抽头对电荷信号的轮换采集，本实施例中在帧周期T1，T2，T3中，脉冲光束分别以Δt1、Δt2、Δt3的时间延迟被发射，其中Δti＝(i-1)Th，(i＝1,2,3)。因为最低时间延迟Δt1是0，所以图中没有标出。可以理解的，在本发明的其他实施例中，最低延迟可以不是0。
图4中在T3帧周期内，反射脉冲信号进入了第二个脉冲周期Tp中导致在第一个脉冲周期中仅单个抽头采集到电荷信号，但由于实际上有几千至几万个脉冲周期，因此误差可以忽略。
可以理解的是，在单个宏周期的连续各个帧周期内，脉冲光束的时间延迟也可以不以图4所示实施例中的规则递增形式，比如可以采用规则递减形式或者不规则形式，另外最低时间延迟也可以不是0，各个时间延迟之间的差距也可以不是单个脉冲宽度，可以是脉冲宽度的整数倍，比如2个脉冲宽度。
从图4中可以看出，通过对脉冲光束施加时间延迟的方式，在不改变各抽头采集时序的前提下，同样实现了让各抽头在单个宏周期的各个帧周期内对电荷信号的轮换采集，其飞行时间的计算公式同样为公式(5)-(10)，FPN噪声同样得到降低。
图3、4所示实施例中介绍了基于3抽头像素的降低噪声的调制解调方法，可以理解的是，这一调制解调方法同样适用于更多抽头的像素，即N>3，比如对于4抽头像素，单个宏周期单元内包含连续4个帧周期，在各个周期内，处理电路控制各个抽头的采集时序不断发生变化或者控制脉冲光束以一定时序的时间延迟进行发射以使得各个抽头可以轮换采集电荷信号，由此则可以降低噪声。
图2所示实施例中的提出的单频全周期测量方案同样适用于图3、4所示降低噪声的测量方案中，即对各个抽头所测量的电荷信号进行判断以确定所采集到的电荷信号数据中是否包含反射脉冲光束的电荷信号，以确认公式(9)中各个电荷量Q的值，再基于公式(9)计算出飞行时间。
如图5所示，单频调制解调的降低噪声的距离测量方法的示意图，具体包括如下步骤：
S1：利用光源向待测物发射脉冲光束；
S2：利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于采集所述电荷信号和/或背景光的电荷信号；
S3：控制所述至少3个抽头在宏周期的至少3个帧周期之间轮换采集电荷信号，并接收所述电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
单频全周期测量方案在一定程度上增加了测量距离，但仍无法满足更远距离的测量。比如基于3抽头像素的调制解调方法，当物体距离对应的飞行时间超过3Th时，在某个脉冲周期Tp内的反射光信号将首先落入到后序脉冲周期内的抽头上，此时利用公式(3)或者公式(4)均无法对飞行时间或距离进行准确测量。比如当某个脉冲周期Tp内的反射光信号首先落入到后序第j个脉冲周期内的第n个抽头上，真实物体对应的光信号飞行时间如下式所示：
Figure BDA0002095654400000131
其中m＝n-1，n即为QA所对应抽头的序号。由于各个抽头的总电荷量是对所涉及脉冲周期内积累的电荷进行积分，因此仅从输出的各个抽头的总电荷量不能分辨出j的具体数值，这就造成了距离测量的混淆。
图6是根据本发明另一实施例的一种时间飞行深度相机的光信号发射与采集示意图，可以用于解决上述混淆问题。与图2所示实施例不同的是，本实施例采用的是多频调制解调方法，即相邻帧中由处理电路控制以采用不同的调制解调频率。本实施例中为便于阐述起见，以相邻的两个帧周期为例进行说明，相邻的帧周期内，脉冲发射次数K＝2(也可以为多次，不同帧次数也可以不同)，像素的抽头数N＝3，脉冲周期TPi分别为Tp1、Tp2，脉冲宽度Thi分别为Th1、Th2，脉冲频率或调制解调频率分别为f1、f2，三个抽头每次脉冲积累电荷分别为q11、q12、q21、q22、q31、q32，根据公式(2)可得总电荷量为Q11、Q12、Q21、Q22、Q31、Q32。
假定相邻帧(也可以是连续多帧)周期内物体的距离不变，因此相邻帧周期内的t相同。处理电路在接收到各个抽头的总电荷量之后，利用图2所示的调制解调方法分别对各帧周期内的距离d(或者t)进行测量，通过上述的判断方法计算出各个帧周期内的QAi，QBi以及QOi，i表示第i个帧周期，本实施例中i＝1，2。为了扩大测量范围，允许反射光信号落入到后序脉冲周期内的抽头上，假定第i个帧周期内某一像素上反射光信号首先落入到发射光脉冲所在脉冲周期后的第ji个脉冲周期中的第mi个抽头上(发射脉冲所在脉冲周期为发射脉冲光束发出后第0个脉冲周期)，则对应的飞行时间根据(11)式可表示如下：
Figure BDA0002095654400000141
考虑到相邻帧周期内物体距离不变，对于本实施例中连续两帧的情形有下式成立：
(x1+m1)Th1+j1·Tp1＝(x2+m2)Th2+j2·Tp2 (13)
其中，
Figure BDA0002095654400000142
对于连续多帧(假定连续w帧，即i＝1,2,…,w)情形则有下式成立：
(x1+m1)Th1+j1·Tp1＝(x2+m2)Th2+j2·Tp2
＝…＝xw+mwThw+jw·Tpw (14)
可以理解的是，当w＝1时，即对应于前文所阐述的单频全周期测量方案。当w>1时，处理电路则可以根据余数定理或通过遍历最大测量距离内的各种ji组合，找出各调制解调频率下ti方差最小的一组ji组合作为求解值，完成对ji的求解；再通过对各组频率下求解的飞行时间或测量距离进行加权平均获取最终的飞行时间或者测量距离。利用多频调制解调方法，最大测量飞行时间扩大至：
tmax＝LCM(Tp1，Tp2，...，Tpw) (15)
最大测量飞行距离扩大至：
Dmax＝LCM(Dmax1,Dmax2,…,Dmaxw) (16)
其中，Dmaxi＝C·Tpi，LCM(Lowest Common Multiple)表示取‘最小公倍数’(这里的‘最小公倍数’是对整数域最小公倍数的一种广义扩充，LCM(a,b)定义为可以被实数a,b整除的最小实数)。
假设在图6所示实施例中，Tp＝15ns，最大测量飞行距离为4.5m；若Tp＝20ns，最大测量飞行距离为6m。若采用多频调制解调方法，比如在一个实施例中，Tp1＝15ns，Tp2＝20ns，15ns与20ns的最小公倍数是60ns，60ns对应的最大测量距离为18m，对应的最远测量目标距离可达到9m。
可以理解的是，虽然图6所示实施例中，计算出物体的距离是通过至少两帧以上的数据，但在一个实施例中，可以通过前后帧顺延的方式从而不会降低采集帧数，如图7所示的根据本发明一个实施例的前后帧顺延采集方法，即对于双频调制解调方法中通过前后帧来获取单个飞行时间测量的情形，由1、2帧计算出第一个飞行时间，由2、3帧计算出第二个飞行时间，依此类推，飞行时间的帧率仅比帧周期少1帧，从而不会降低测量帧率。
多频调制解调方式同样适用于图3、4所示的降低噪声的时间飞行测量方案。图8(a)和图8(b)所示的是根据本发明一个实施例的降低噪声的多频调制解调时间飞行测量方法示意图。这里以3抽头为例进行说明，单个宏周期内包含3个帧周期，每个帧周期内处理电路控制各个抽头的采集时序不断发生变化或者控制脉冲光束以一定时序的时间延迟进行发射以使得各个抽头可以轮换采集电荷信号，由此则可以降低噪声。为了提升测量距离，在相邻的两个宏周期内采用不同的调制解调频率，比如图8(a)中所示的f1、f2，结合两个宏周期内采集到的电荷信号数据，以计算出所述脉冲光束的飞行时间和/或所述待测物的距离，其飞行时间计算方法的原理与公式(12)、(13)相似，这里不加赘述。
在一些实施例中，为了让时间飞行深度相机具有更多的应用范围，往往需要满足多种调制解调功能。比如即可以采用图2所示的调制解调方式实现高帧速测量，也可以采用如图3或图4所示的调制解调方式实现高精度测量，这两者分别对应高帧速测量模式以及高精度测量模式。在两种模式的基础上还可以通过多频调制实现更远的测量范围，即大范围测量模式。可以理解的是，频率调制是需要通过特定的调制驱动电路来实现的，图7所示的多频调制方式与图8(a)所示的多频调制方式对应不同的调制驱动电路，也就意味着欲想深度相机满足这种调制方案时，需要设定至少两组独立的调制驱动电路进行控制，这无疑增加了设计难度与成本。为此，如图8(b)所示，利用图7所示的频率调制方式同样可以实现高精度测量。此时宏周期可以看成是第n、(n+2)、(n+4)帧组成，比如从第1帧开始，第1、3、5组成一个宏周期，第2、4、5组成相邻的另一个宏周期，结合这两个不同调制解调频率的宏周期内采集到的电荷信号数据，则可以计算出脉冲光束的飞行时间和/或所述待测物的距离。
同样地，为了不降低帧率，也可以采取前后帧顺延的方式，比如图8所示，第一个飞行时间由第1～6帧采集信号数据计算获取，第二个飞行时间由第2～7帧采集信号数据计算获取，依次类推，飞行时间的帧率仅比帧周期少5帧，不会降低测量帧率。
可以理解的是，在上述多频调制解调方法中，通过采用不同的频率组合可以满足不同的测量场景需求，例如通过增加测量频率数量可以提高最终距离解析的准确度。为了能够动态满足不同测量场景下的测量需求，本发明的一个实施例中，处理电路将通过结果反馈自适应调整调制解调的频率数量和具体的频率组合以尽可能满足不同测量场景下的需求。具体地，在一个实施例中，处理电路在计算出物体当前的距离(或飞行时间)后，对目标距离进行统计，当绝大部分测量目标距离较近时可以采用较少的频率数去测量以保证较高的帧频，并降低目标运动对测量结果的影响，当测量目标中存在较多的远距目标时可以适当增加测量的频率数或调整测量频率组合的方式来保证测量精度。
如图9所示，多频调制解调的降低噪声的距离测量方法的示意图，具体包括如下步骤：
T1：利用光源用于向待测物发射脉冲光束；
T2：利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于采集所述电荷信号和/或背景光的电荷信号；
T3：控制所述至少3个抽头在宏周期的至少3个帧周期之间轮换采集电荷信号，相邻的两个所述宏周期内采用不同的调制解调频率，并接收所述相邻的两个宏周期内接收到的电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
此外，针对本发明所述的方法、以及实施例中所述的内容，需要说明的是，任意基于三抽头以上传感器的单频全周期测量方案、降噪声测量方案以及多频远距测量方案，不论调制解调信号的波形在曝光时间范围内是连续的还是有间断的，或者不同频率调制解调信号的测量顺序以及同一曝光时间内的调制频率的微调等情形都应在本专利的保护范围内，为解释本专利原理所进行的示例描述或分析算法只是本专利的一个实例描述，不应视为对本专利内容的限制。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
本发明达到的有益效果为，摆脱了现在PM-iToF测量方案中脉宽与测量距离和功耗成正比，而与测量精度负相关的矛盾；使测量距离的扩展不再受限于脉宽，从而在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度，另外通过抽头轮换采集方法以降低或消除由于工艺制造误差等原因造成抽头之间或者读出电路之间的失配而引起的固定噪声(Fixed-Pattern Noise,FPN)。相对于CW-iToF测量方案，本方案中单组调制解调频率而言只需要一次曝光输出三个抽头的信号量即可获得一帧深度信息，因而显著降低了整体的测量功耗并提高了测量帧频。因此，本方案相对于现有的iToF技术方案均具有明显的优势。
本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种时间飞行深度相机，其特征在于，包括：
发射模组，包括光源，用于向待测物发射脉冲光束；
采集模组，包括由至少一个像素组成的图像传感器，每个所述像素包括至少3个抽头，所述抽头用于在宏周期的至少3个帧周期之间采集时序不断发生变化从而轮换采集由所述待测物反射回的反射脉冲光束所产生的电荷信号和/或背景光的电荷信号；对接收所述发射脉冲光束的抽头和周期不进行限定；
处理电路，用于控制所述至少3个抽头在宏周期的至少3个帧周期之间采集时序不断发生变化从而轮换采集电荷信号，相邻的两个所述宏周期内采用不同的调制解调频率，并接收所述相邻的两个宏周期内接收到的电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
2.如权利要求1所述的时间飞行深度相机，其特征在于，所述处理电路根据下式计算单个所述宏周期内所述脉冲光束的飞行时间：
Figure FDA0002950878090000011
其中，Q11、Q21、Q31、Q12、Q22、Q32、Q13、Q23、Q33分别表示在连续3个帧周期内所述3个抽头所采集到的信号。
3.如权利要求1所述的时间飞行深度相机，其特征在于，所述处理电路通过控制所述至少3个抽头的采集时序不断发生变化或者控制所述光源发射所述脉冲光束的时间延迟以实现所述至少3个抽头进行轮换采集电荷信号。
4.如权利要求3所述的时间飞行深度相机，其特征在于，在连续的所述帧周期之间的所述时间延迟是规则递增、规则递减或不规则变化的；在连续的所述帧周期之间的时间延迟的差距是脉冲宽度的整数倍。
5.如权利要求1所述的时间飞行深度相机，其特征在于，所述处理电路还用于对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号，再根据判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。
6.一种多频调制解调的降低噪声的距离测量方法，其特征在于，包括：
T1：利用光源用于向待测物发射脉冲光束；
T2：利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于在宏周期的至少3个帧周期之间采集时序不断发生变化从而轮换采集所述电荷信号和/或背景光的电荷信号；对接收所述发射脉冲光束的抽头和周期不进行限定；
T3：控制所述至少3个抽头在宏周期的至少3个帧周期之间采集时序不断发生变化从而轮换采集电荷信号，相邻的两个所述宏周期内采用不同的调制解调频率，并接收所述相邻的两个宏周期内接收到的电荷信号的数据以计算出所述脉冲光束的飞行时间和/或所述待测物的距离。
7.如权利要求6所述的多频调制解调的降低噪声的距离测量方法，其特征在于，单个所述宏周期内所述脉冲光束的飞行时间根据下式计算：
Figure FDA0002950878090000021
其中，Q11、Q21、Q31、Q12、Q22、Q32、Q13、Q23、Q33分别表示在连续3个帧周期内所述3个抽头所采集到的信号。
8.如权利要求6所述的多频调制解调的降低噪声的距离测量方法，其特征在于，处理电路通过控制所述至少3个抽头的采集时序不断发生变化或者控制所述光源发射所述脉冲光束的时间延迟以实现所述至少3个抽头进行轮换采集电荷信号。
9.如权利要求6所述的多频调制解调的降低噪声的距离测量方法，其特征在于，在连续的所述帧周期之间的所述时间延迟是规则递增、规则递减或不规则变化的；在连续的所述帧周期之间的的时间延迟的差距是脉冲宽度的整数倍。
10.如权利要求6所述的多频调制解调的降低噪声的距离测量方法，其特征在于，还包括对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号，再根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。
CN201910518105.9A 2019-06-14 2019-06-14 时间深度相机及多频调制解调的降低噪声的距离测量方法 Active CN110320528B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910518105.9A CN110320528B (zh) 2019-06-14 2019-06-14 时间深度相机及多频调制解调的降低噪声的距离测量方法
PCT/CN2019/097099 WO2020248335A1 (zh) 2019-06-14 2019-07-22 时间深度相机及多频调制解调的降低噪声的距离测量方法
US17/535,311 US20220082698A1 (en) 2019-06-14 2021-11-24 Depth camera and multi-frequency modulation and demodulation-based noise-reduction distance measurement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910518105.9A CN110320528B (zh) 2019-06-14 2019-06-14 时间深度相机及多频调制解调的降低噪声的距离测量方法

Publications (2)

Publication Number Publication Date
CN110320528A CN110320528A (zh) 2019-10-11
CN110320528B true CN110320528B (zh) 2021-04-30

Family

ID=68120019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910518105.9A Active CN110320528B (zh) 2019-06-14 2019-06-14 时间深度相机及多频调制解调的降低噪声的距离测量方法

Country Status (3)

Country Link
US (1) US20220082698A1 (zh)
CN (1) CN110320528B (zh)
WO (1) WO2020248335A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110361751B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
CN113676260A (zh) * 2020-05-13 2021-11-19 宁波飞芯电子科技有限公司 探测装置及方法
CN113740866A (zh) * 2020-05-13 2021-12-03 宁波飞芯电子科技有限公司 探测单元、探测装置及方法
CN111580119B (zh) * 2020-05-29 2022-09-02 Oppo广东移动通信有限公司 深度相机、电子设备及控制方法
CN111856485B (zh) * 2020-06-12 2022-04-26 深圳奥锐达科技有限公司 一种距离测量系统及测量方法
CN111896971B (zh) * 2020-08-05 2023-12-15 上海炬佑智能科技有限公司 Tof传感装置及其距离检测方法
WO2022170508A1 (zh) * 2021-02-09 2022-08-18 深圳市汇顶科技股份有限公司 深度信息确定方法、装置、设备、存储介质及程序产品
CN113760539A (zh) * 2021-07-29 2021-12-07 珠海视熙科技有限公司 一种tof相机深度数据处理方法、终端以及存储介质
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065683A (zh) * 2004-11-23 2007-10-31 Iee国际电子工程股份公司 3d相机的误差补偿方法
WO2011057244A1 (en) * 2009-11-09 2011-05-12 Mesa Imaging Ag Multistage demodulation pixel and method
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN105518485A (zh) * 2014-01-13 2016-04-20 软动力学传感器公司 用于驱动飞行时间系统的方法
CN109343070A (zh) * 2018-11-21 2019-02-15 深圳奥比中光科技有限公司 时间飞行深度相机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953109A (en) * 1997-12-08 1999-09-14 Asia Optical Co., Inc. Method and apparatus for improving the accuracy of laser range finding
KR101711061B1 (ko) * 2010-02-12 2017-02-28 삼성전자주식회사 깊이 추정 장치를 이용한 깊이 정보 추정 방법
CN108445500A (zh) * 2018-02-07 2018-08-24 余晓智 一种tof传感器的距离计算方法及系统
CN109870704A (zh) * 2019-01-23 2019-06-11 深圳奥比中光科技有限公司 Tof相机及其测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065683A (zh) * 2004-11-23 2007-10-31 Iee国际电子工程股份公司 3d相机的误差补偿方法
WO2011057244A1 (en) * 2009-11-09 2011-05-12 Mesa Imaging Ag Multistage demodulation pixel and method
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN105518485A (zh) * 2014-01-13 2016-04-20 软动力学传感器公司 用于驱动飞行时间系统的方法
CN109343070A (zh) * 2018-11-21 2019-02-15 深圳奥比中光科技有限公司 时间飞行深度相机

Also Published As

Publication number Publication date
WO2020248335A1 (zh) 2020-12-17
US20220082698A1 (en) 2022-03-17
CN110320528A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110320528B (zh) 时间深度相机及多频调制解调的降低噪声的距离测量方法
CN110361751B (zh) 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
CN110221274B (zh) 时间飞行深度相机及多频调制解调的距离测量方法
CN110221273B (zh) 时间飞行深度相机及单频调制解调的距离测量方法
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN110221272B (zh) 时间飞行深度相机及抗干扰的距离测量方法
WO2021051478A1 (zh) 一种双重共享tdc电路的飞行时间距离测量系统及测量方法
US20200217965A1 (en) High dynamic range direct time of flight sensor with signal-dependent effective readout rate
CN110546530B (zh) 一种像素结构
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
US20220043129A1 (en) Time flight depth camera and multi-frequency modulation and demodulation distance measuring method
US8482722B2 (en) Delay compensation in modulated optical time-of-flight phase estimation
WO2021051480A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
CN110187355B (zh) 一种距离测量方法及深度相机
WO2021051481A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
WO2021103428A1 (zh) 一种深度测量系统及方法
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
CN111885316B (zh) 一种图像传感器像素电路、图像传感器及深度相机
WO2022241942A1 (zh) 一种深度相机及深度计算方法
Li et al. Optimization of system design and calibration algorithm for SPAD-based LiDAR imager
CN112532970B (zh) 一种多抽头像素传感器的抽头非一致性校正方法、装置及tof相机
WO2021227203A1 (zh) 探测单元、探测装置及方法
WO2020223980A1 (zh) 时间飞行深度相机及单频调制解调的距离测量方法
WO2020223982A1 (zh) 时间飞行深度相机及抗干扰的距离测量方法
US20230243928A1 (en) Overlapping sub-ranges with power stepping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant