CN110221274A - 时间飞行深度相机及多频调制解调的距离测量方法 - Google Patents

Abstract

本发明提供一种时间飞行深度相机及多频调制解调的距离测量方法，时间飞行深度相机包括发射模组，包括光源，用于向待测物发射脉冲光束；采集模组，包括由至少一个像素组成的图像传感器，每个像素包括至少3个抽头，抽头用于采集由待测物反射回的反射脉冲光束产生的电荷信号或背景光的电荷信号；处理电路，控制发射模组在相邻的帧周期内发射不同频率的脉冲光束，并分别在帧周期内接收至少3个抽头的电荷信号的数据；对电荷信号的数据进行判断以确定电荷信号的数据中是否包含反射脉冲光束的电荷信号；根据判断结果计算脉冲光束的飞行时间和/或待测物的距离。在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度。

Description

时间飞行深度相机及多频调制解调的距离测量方法

技术领域

本发明涉及光学测量领域，尤其涉及一种时间飞行深度相机及多频调制解调的距离测量方法。

背景技术

ToF的全称是Time-of-Flight，即飞行时间，ToF测距法是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术。在ToF技术中直接对光飞行时间进行测量的技术被称为dToF(direct-TOF)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为iToF(Indirect-TOF)技术。按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方式和脉冲调制(Pulse Modulated，PM)调制解调方式。

目前，CW-iToF技术主要应用于基于两抽头传感器构建的测量系统，核心测量算法是一种四相位的调制解调方式，至少需要进行两次曝光(为了保证测量精度，通常需要进行四次曝光)才能完成对四个相位数据的采集输出一帧深度图像，因而难以获得较高的帧频。PM-iToF调制技术主要应用于四抽头传感器(三个抽头用于信号的采集和输出，一个抽头用于对无效电子进行释放)，这一测量手段的测量距离目前受限于调制解调信号的脉宽，当需要进行远距测量时，需要延长调制解调信号的脉宽，而调制解调信号脉宽的延长会导致功耗的增加和测量精度的下降，因而也无法满足市场需求。针对目前两种调制解调方式存在的缺点，这里提出一种新的调制解调方式对iToF技术方案进行优化。

发明内容

本发明为了解决现有的问题，提供一种时间飞行深度相机及多频调制解调的距离测量方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种时间飞行深度相机，包括：发射模组，包括光源，用于向待测物发射脉冲光束；采集模组，包括由至少一个像素组成的图像传感器，每个所述像素包括至少3个抽头，所述抽头用于采集由所述待测物反射回的反射脉冲光束产生的电荷信号或背景光的电荷信号；处理电路，控制所述发射模组在相邻的帧周期内发射不同频率的脉冲光束，并分别在所述帧周期内接收所述至少3个抽头的所述电荷信号的数据；对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号；根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。

在本发明的一种实施例中，所述处理电路根据下式计算所述脉冲光束的飞行时间：

其中，QA是经过所述判断之后获取的第一个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QB是经过所述判断之后获取的第二个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QO是所述抽头采集的仅包含所述背景光的电荷信号的电荷量；m＝n-1，其中n指的是所述QA所对应抽头的序号；j是所述反射脉冲光束首先被所述发射脉冲光束发出后第j个脉冲周期内的抽头采集；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期。所述判断包含单抽头最值法，即通过依序查找并获取所述至少3个抽头中电荷信号的电荷量最大的第一抽头，若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量大，则第二抽头、第一抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量小，则第一抽头、第三抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；或，所述判断包含相邻抽头和最值法，即依序计算相邻抽头的电荷信号的电荷量之后并查找其中的最大值项，所述最大值项对应的两个抽头采集到的电荷信号的电荷量按抽头序号先后顺序分别为所述QA、所述QB。所述j的值通过余数定理或者通过遍历最大测量距离内的各个所述帧周期对应的所述j的值，将飞行时间计算方差最小的一组j值作为求解值。所述QO通过以下方式中的至少一种方式获取：取所述QB对应的所述抽头的后面的一个抽头的采集到的电荷信号的电荷量；或，取所述QA对应所述抽头的前面一个抽头采集到的电荷信号的电荷量；或，取所述QA、所述QB对应的所述抽头之外的所有所述抽头采集到的电荷信号的电荷量的均值；或，取所述QA、所述QB对应的所述抽头以及所述QB对应的所述抽头后面一个所述抽头之外所有所述抽头采集到的电荷信号的电荷量的均值。

本发明还提供一种多频调制解调的距离测量方法，包括：利用光源用于向待测物发射脉冲光束；利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束所产生的电荷信号或背景光的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于采集所述电荷信号；控制所述发射模组在相邻帧周期内发射不同频率的脉冲光束，并分别在所述相邻帧周期内接收所述至少3个抽头的电荷信号的数据；对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号；根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。

在本发明的一种实施例汇总，所述飞行时间根据下式计算：

其中，QA是经过所述判断之后获取的第一个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QB是经过所述判断之后获取的第二个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QO是所述抽头采集的仅包含所述背景光的电荷信号的电荷量；m＝n-1，其中n指的是所述QA所对应抽头的序号；j是所述反射脉冲光束首先被所述发射脉冲光束发出后第j个脉冲周期内的抽头采集；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期。所述判断包含单抽头最值法，即通过依序查找并获取所述至少3个抽头中电荷信号的电荷量最大的第一抽头，若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量大，则第二抽头、第一抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量小，则第一抽头、第三抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；或，所述判断包含相邻抽头和最值法，即依序计算相邻抽头的电荷信号的电荷量之后并查找其中的最大值项，所述最大值项对应的两个抽头采集到的电荷信号的电荷量按抽头序号先后顺序分别为所述QA、所述QB。所述j的值通过余数定理或者通过遍历最大测量距离内的各个所述帧周期对应的所述j的值，将飞行时间计算方差最小的一组j值作为求解值。所述QO通过以下方式中的至少一种方式获取：取所述QB对应的所述抽头的后面的一个抽头的采集到的电荷信号的电荷量；或，取所述QA对应所述抽头的前面一个抽头采集到的电荷信号的电荷量；或，取所述QA、所述QB对应的所述抽头之外的所有所述抽头采集到的电荷信号的电荷量的均值；或，取所述QA、所述QB对应的所述抽头以及所述QB对应的所述抽头后面一个所述抽头之外所有所述抽头采集到的电荷信号的电荷量的均值。

本发明的有益效果为：提供一种时间飞行深度相机及多频调制解调的距离测量方法，摆脱了现在PM-iToF测量方案中脉宽与测量距离和功耗成正比，而与测量精度负相关的矛盾；使测量距离的扩展不再受限于脉宽，从而在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度。

附图说明

图1是根据本发明实施例的一种时间飞行深度相机原理示意图。

图2是根据本发明实施例的一种时间飞行深度相机光信号发射与采集方法示意图。

图3是根据本发明另一实施例的一种时间飞行深度相机的光信号发射与采集示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1是根据本发明一个实施例的时间飞行深度相机示意图。时间飞行深度相机10包括发射模组11、采集模组12以及处理电路13，其中发射模组11提供发射光束30至目标空间中以照明空间中的物体20，至少部分发射光束30经物体20反射后形成反射光束40，反射光束40的至少部分被采集模组12采集，处理电路13分别与发射模组11以及采集模组12连接，同步发射模组11以及采集模组12的触发信号以计算光束由发射模组11发出并被采集模组12接收所需要的时间，即发射光束30与反射光束40之间的飞行时间t，进一步的，物体上对应点的总光飞行距离D可由下式计算出：

D＝c·t (1)

其中，c为光速。

发射模组11包括光源111、光束调制器112以及光源驱动器(图中未示出)等。光源111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。光源111在光源驱动器(其可以进一步被处理电路13控制)的控制下向外发射光束，比如在一个实施例中，光源111在控制下以一定的频率发射脉冲光束，可以用于直接时间飞行法(Direct TOF)测量中，频率根据测量距离进行设定，比如可以设置成1MHz～100MHz，测量距离在几米至几百米；在一个实施例中，光源111在控制下其发射的光束振幅被调制以发射脉冲光束、方波光束、正弦波光束等光束，可以用于间接飞行时间法(Indirect TOF)测量中。可以理解的是，可以利用处理电路13中的一部分或者独立于处理电路13存在的子电路来控制光源111发射相关的光束，比如脉冲信号发生器。

光束调制器112接收来自光源111的光束，并向外发射空间调制光束，比如强度分布均匀的泛光光束或者强度分布不均匀的图案化光束等。可以理解的是，这里的分布均匀是一个相对的概念，并非绝对的均匀，一般地视场边缘的光束强度稍低是被允许的，另外在中间用于成像区域的强度也可以一定的阈值内变化，比如可以允许有不超过15％或者10％等数值的强度变化。在一些实施例中，光束调制器112还用于将接收到的光束进行扩束，以扩大视场角。

采集模组12包括图像传感器121、透镜单元122，还可以包含滤光片(图中未示出)，透镜单元122接收并将由物体反射回的至少部分空间调制光束并成像在至少部分所述图像传感器121上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。

一般地，图像传感器121包括至少一个像素，每个像素则包含多个抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括3个抽头，以用于读取电荷信号数据。

在一些实施例中，时间飞行深度相机10还可以包括驱动电路、电源、彩色相机、红外相机、IMU等器件，在图中并未示出，与这些器件的组合可以实现更加丰富的功能，比如3D纹理建模、红外人脸识别、SLAM等功能。时间飞行深度相机10可以被嵌入到手机、平板电脑、计算机等电子产品中。

处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理电路13的至少一部分。在一些实施例中，处理电路13用于提供光源111发射激光时所需的调制信号(发射信号),光源在调制信号的控制下向待测物发射脉冲光束；此外处理电路13还提供图像传感器121各像素中抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含待测物反射回的反射脉冲光束的光束所产生的电荷信号，一般地，除了待测物反射回的反射脉冲光束之外还有一些背景光、干扰光等光束；处理电路13还可以提供辅助的监测信号，如温度传感、过电流、过压保护、脱落保护等；处理电路13还可以用于将图像传感器121中各个抽头采集到的原始数据保存并作相应处理，得到待测物的具体位置信息。处理电路13所执行的调制解调方法、控制、处理等功能将在图2-图3的实施例中进行详细介绍，为了便于阐述均以PM-iTOF调制解调方法为例进行说明。

图2为根据本发明实施例的一种时间飞行深度相机光信号发射与采集方法示意图。图2中示例性给出了两个帧周期T内的激光发射信号(调制信号)、接收信号以及采集信号(解调信号)的时序示意图，其中各个信号的含义为：Sp表示光源的脉冲发射信号，每个脉冲发射信号表示一次脉冲光束；Sr表示脉冲光被物体反射回的反射光信号，每个反射光信号表示被待测物体反射回的相应的脉冲光束，其在时间线(图中横轴)上相对于脉冲发射信号有一定的延迟，延迟的时间t即是需要计算的脉冲光束的飞行时间；S1表示像素第一抽头的脉冲采集信号、S2表示像素第二抽头的脉冲采集信号、S3表示像素第三抽头的脉冲采集信号，每个脉冲采集信号表示抽头采集了该信号对应的时间段内像素所产生的电荷信号(电子)；Tp＝N×Th，其中N为参与像素电子收集的抽头数量。

整个帧周期T被分成两个时间段Ta以及Tb，其中Ta表示像素各抽头进行电荷采集与存储的时间段、Tb表示电荷信号被读出的时间段。在电荷采集与存储时间段Ta中，第n抽头的采集信号脉冲相对与激光发射信号脉冲分别存在一个(n-1)×Th的相位延迟时间，在反射光信号被物体反射回像素时，各抽头在其脉冲时间段内对像素上产生的电子进行收集。在本实施例中，第一抽头的采集信号与激光发射信号同步被触发，在反射光信号被物体反射回像素时，第一抽头、第二抽头、第三抽头分别依次进行电荷采集与存储，分别获取电荷量q1、q2以及q3，如此完成一个脉冲周期Tp，对于3抽头的情形，Tp＝3Th。图2所示实施例中，在单个帧周期中包含两个脉冲周期Tp，共发射了2次激光脉冲信号，因此在Tb时间段各个抽头共收集及读出的总电荷量为两次采集的光信号对应电荷量的和，可以理解的是，在单帧周期内，脉冲周期Tp或者激光脉冲信号发射的次数可以是K次，K不小于1，也可以高达几万，甚至更高，具体的数目根据实际的需求来确定，另外，不同帧周期内的脉冲次数也可以不等。

因此，在Tb时间段各个抽头共收集及读出的总电荷量为各个抽头在整个帧周期T内多次采集的光信号对应电荷量的和，单帧周期内各个抽头的总电荷量可以表示如下：

Qi＝∑qi,i＝1,2,3 (2)

根据公式(2)可得第一抽头、第二抽头、第三抽头单帧周期内总电荷量为Q1、Q2和Q3。

在传统的调制解调方式中，测量范围被限定在单个脉冲宽度时间Th内，即假定反射光信号被第一抽头以及第二抽头采集(第一抽头及第二抽头同时也会采集到环境光信号)，第三抽头则用于采集环境光信号，这样基于各个抽头所采集到的总电荷量，处理单元可以根据下式对脉冲光信号从发射到反射至像素上的总光飞行距离进行计算：

进一步的再根据相机的光学和结构参数可以对目标的空间坐标进行计算。

传统的调制解调方式的优点在于计算简单，但缺点则是测量范围被限定，测量的飞行时间被限制在Th以内，相应的最大飞行距离测量范围被限制在c×Th之内。

为了提升测量距离，本发明提供一种新的调制解调方法。图2是根据本发明一个实施例的光信号发射与采集示意图，此时反射光信号不仅可以落入到第一抽头与第二抽头上，也可以允许落入到第二抽头与第三抽头上，甚至允许落入到第三抽头与下一脉冲周期Tp内的第一抽头上(针对至少两个脉冲周期Tp以上的情形)。这里所述的“落入到抽头上”指的是可以被抽头采集。由于在时间段Tb内读取的总电荷量是Q1、Q2以及Q3，与传统调制解调方式不同的是，本发明中由于没有对接收反射光信号的抽头甚至周期进行限定。

考虑到接收到反射光信号的抽头所采集到的电荷量要大于仅包含背景光信号的抽头，处理电路将对所获取的三个总电荷量Q1、Q2以及Q3进行判断，以确定获取包含反射光信号激发电子的抽头和/或获取仅包含背景信号的抽头，实际使用中各个抽头之间可能会电子的串扰，比如本来用于仅获取背景信号的抽头中可能会进入一些反射光信号，这些误差将被允许，同时也在本方案的保护范围之中。假定经过判断之后，依次(依时间顺序接收到反射光信号)包含反射光信号的两个总电荷量分别记为QA与QB，仅包含背景光信号的总电荷量记为QO，则对于三抽头图像传感器而言，共有以下三种可能：

(1)QA＝Q1,QB＝Q2,QO＝Q3；

(2)QA＝Q2,QB＝Q3,QO＝Q1；

(3)QA＝Q3,QB＝Q1(下一脉冲周期Tp),QO＝Q2；

随后，处理电路可以根据下式可以计算出光信号的飞行时间：

公式中的m反映的是反射光信号第一次落入的抽头相对于第一抽头的延迟，对于上述三种情况而言，m分别为0，1，2。即若反射光信号首先落入到第n个抽头中，则m＝n-1。n指的是所述QA所对应抽头的序号，序号为n的抽头相对于发射光脉冲信号的相位延迟时间为(n-1)×Th；j指的是所述反射脉冲光束首先被发射脉冲光束发出后第j个脉冲周期内的抽头采集(发射脉冲所在脉冲周期为发射脉冲光束发出后第0个脉冲周期)；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期，Tp＝N×Th，其中N为参与像素电子收集的抽头数量。

对比公式(4)与公式(3)，可以明显看到测量距离得到了延伸，最大测量飞行距离由传统方法中的c·Th扩大到本申请中的c×Tp＝c×N×Th，其中N为参与像素电子收集的抽头数量，在本示例中其值为3，因而即相对于传统调制解调方法，上述方法通过判断机制实现了3倍于传统方法的测量距离。

以上调制解调方法的关键在于如何判断出反射光信号所落入的抽头。对此本申请提供了以下几种判断方法：

(1)单抽头最值法。查找抽头1～抽头N(上述实施例中N＝3)中输出信号(总电荷量)最大的抽头(记为Node_x)，再按照Node₁→Node₂→…→Node_N→Node₁→…的顺序记Node_x的前一抽头为Node_w；记Node_x的后一抽头为Node_y。若Node_w与Node_y的总电荷量Q_w≥Q_y，则Node_w即为抽头A；若Q_w<Q_y,则Node_x即为抽头A。

(2)相邻抽头和最值法。先按照Node₁→Node₂→…→Node_N→Node₁→…的顺序计算相邻抽头的总电荷量之和，即Sum₁＝Q₁+Q₂,Sum₂＝Q₂+Q₃,…,Sum_N＝Q_N+Q₁，查找其中的最大值项Sum_n，则抽头n为抽头A,抽头n后一抽头为抽头B。

当完成抽头A，B确认后，背景信号量的计算方式至少有以下四种：

(1)B后背景；即取B抽头之后一个抽头的信号量为背景信号量。

(2)A前背景；即取A抽头之前一个抽头的信号量为背景信号量。

(3)平均背景；即取A、B抽头之外所有抽头信号量的均值作为背景信号量。

(4)减一平均背景；即取A、B抽头和B抽头之后一个抽头之外所有抽头信号量的均值作为背景信号量。

需要说明的是，当N＝3即只有3个抽头时，方法(4)不可取，方法(1)～(3)等价；当k＝4时，方法(3)、(4)等价，为了尽可能减少信号量的串扰，可以优先选择方法(3)。当k>4时可以优先选择方法(4)。

上述实施例中介绍了基于3抽头像素的调制解调方法，可以理解的是，这一调制解调方法同样适用于更多抽头的像素，即N>3，比如对于4抽头像素，可以实现最大4Th的测量距离，对于5抽头像素，可以实现最大5Th的测量距离。这一测量方法相对于传统的PM-iTOF测量方案将最远测量飞行时间从脉宽时间Th扩展至整个脉冲周期Tp，这里称之为单频全周期测量方案。

上述调制解调方法虽然实现了N-1倍的测量距离增长，但仍无法满足更远距离的测量。比如基于3抽头像素的调制解调方法，当物体距离对应的飞行时间超过3Th时，在某个脉冲周期Tp内的反射光信号将首先落入到后序脉冲周期内的抽头上，此时利用公式(3)或者公式(4)均无法对飞行时间或距离进行准确测量。比如当某个脉冲周期Tp内的反射光信号首先落入到后序第j个脉冲周期内的第n个抽头上，真实物体对应的光信号飞行时间如下式所示：

其中m＝n-1，n即为QA所对应抽头的序号。由于各个抽头的总电荷量是对所及脉冲周期内积累的电荷进行积分，因此仅从输出的各个抽头的总电荷量不能分辨出j的具体数值，这就造成了距离测量的混淆。

图3是根据本发明另一实施例的一种时间飞行深度相机的光信号发射与采集示意图，可以用于解决上述混淆问题。与图2所示实施例不同的是，本实施例采用的是多频调制解调方法，即相邻帧中采用不同的调制解调频率。本实施例中为便于阐述起见，以相邻的两个帧周期为例进行说明，相邻的帧周期内，脉冲发射次数K＝2(也可以为多次，不同帧次数也可以不同)，像素的抽头数N＝3，脉冲周期TPi分别为Tp1、Tp2，脉冲宽度Thi分别为Th1、Th2，三个抽头每次脉冲积累电荷分别为q11、q12、q21、q22、q31、q32，根据公式(2)可得总电荷量为Q11、Q12、Q21、Q22、Q31、Q32。

假定相邻帧(也可以是连续多帧)周期内物体的距离不变，因此相邻帧周期内的t相同。处理电路在接收到各个抽头的总电荷量之后，利用图2所示的调制解调方法分别对各帧周期内的距离d(或者t)进行测量，通过上述的判断方法计算出各个帧周期内的QAi，QBi以及QOi，i表示第i个帧周期，本实施例中i＝1，2。为了扩大测量范围，允许反射光信号落入到后序脉冲周期内的抽头上，假定第i个帧周期内某一像素上反射光信号首先落入到发射光脉冲所在脉冲周期后的第ji个脉冲周期中的第mi个抽头上(发射脉冲所在脉冲周期为发射脉冲光束发出后第0个脉冲周期)，则对应的飞行时间根据(5)式可表示如下：

考虑到相邻帧周期内物体距离不变，对于本实施例中连续两帧的情形有下式成立：

(x1+m1)Th1+j1·Tp1＝(x2+m2)Th2+j2·Tp2 (7)

其中，i＝1，2。对于连续多帧(假定连续w帧，即i＝1,2,…,w)情形则有下式成立：

(x1+m1)Th1+j1·Tp1＝(x2+m2)Th2+j2·Tp2

＝…＝xw+mwThw+jw·Tpw (8)

可以理解的是，当w＝1时，即对应于前文所阐述的单频全周期测量方案。当w>1时，可以根据余数定理或通过遍历最大测量距离内的各种ji组合，找出各调制解调频率下ti方差最小的一组ji组合作为求解值，完成对ji的求解；再通过对各组频率下求解的飞行时间或测量距离进行加权平均获取最终的飞行时间或者测量距离。利用多频调制解调方法，

最大测量飞行时间扩大至：

t_max＝LCM(Tp₁,Tp₂,…,Tp_w) (9)

最大测量飞行距离扩大至：

D_max＝LCM(D_max1,D_max2,…,D_maxw) (10)

其中，Dmax_i＝C·Tpi，LCM(Lowest Common Multiple)表示取‘最小公倍数’(这里的‘最小公倍数’是对整数域最小公倍数的一种广义扩充，LCM(a,b)定义为可以被实数a,b整除的最小实数)。

假设在图3所示实施例中，T_p＝15ns，最大测量飞行距离为4.5m；若T_p＝20ns，最大测量飞行距离为6m。若采用多频调制解调方法，比如在一个实施例中，T_p1＝15ns，T_p2＝20ns，15ns与20ns的最小公倍数是60ns，60ns对应的最大测量距离为18m，对应的最远测量目标距离可达到9m。

可以理解的是，虽然图3所示实施例中，计算出物体的距离是通过至少两帧以上的数据，但在一个实施例中，可以通过前后帧顺延的方式从而不会降低采集帧数，比如对于双频调制解调方法中通过前后帧来获取单个飞行时间测量的情形，由1、2帧计算出第一个飞行时间，由2、3帧计算出第二个飞行时间，依此类推，从而不会降低测量帧率。

可以理解的是，在上述多频调制解调方法中，通过采用不同的频率组合可以满足不同的测量场景需求，例如通过增加测量频率数量可以提高最终距离解析的准确度。为了能够动态满足不同测量场景下的测量需求，本发明的一个实施例中，处理电路将通过结果反馈自适应调整调制解调的频率数量和具体的频率组合以尽可能满足不同测量场景下的需求。具体地，在一个实施例中，处理电路在计算出物体当前的距离(或飞行时间)后，对目标距离进行统计，当绝大部分测量目标距离较近时可以采用较少的频率数去测量以保证较高的帧频，并降低目标运动对测量结果的影响，当测量目标中存在较多的远距目标时可以适当增加测量的频率数或调整测量频率组合的方式来保证测量精度。

此外，针对本发明所述的方法、以及实施例中所述的内容，需要说明的是，任意基于三抽头以上传感器的多频远距及单频全周期测量方案，不论调制解调信号的波形在曝光时间范围内是连续的还是有间断的，不同频率调制解调信号的测量顺序以及同一曝光时间内的调制频率的微调都应在本专利的保护范围内，为解释本专利原理所进行的示例描述或分析算法只是本专利的一个实例描述，不应视为对本专利内容的限制。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

针对上述各实施例中的时间飞行深度相机，由于是基于iToF技术因此需要进行主动发光，当多个iToF深度相机在较近的距离上同时工作时，设备的采集模组不仅会接受到物体反射的来自于设备自身发光单元的光信号，还会接收到来自于其他设备的发射光或者反射光，这些来自于其他设备的光信号会对各抽头间收集的电子量产生干扰，并进而对最终的目标距离测量的准确度和精度产生不利影响。针对这一问题本发明提供了以下几种方式对多设备之间的相关干扰进行消除。

(1)变频方案。所谓变频方案是指在实际测量过程中，当调制解调信号的频率设置为f_m0时，实际使用的调制解调信号频率为f_m＝f_m0+Δf。其中Δf为一个随机的频率偏移。通过这种方式可以使各单机之间的工作频率至少存在一个随机的偏差，从而显著降低各设备间的相互干扰。

(2)随机曝光时刻。相对于整个工作时间，相机的曝光时间是相对有限的。以双频为例，获取每个深度帧数据最多只需要2次曝光，当单次曝光时间为1ms，深度帧帧率为30fps时，整个工作时间内曝光时间占比仅为6％。曝光时刻的选择通常是在整个工作时间内均匀分布的，为了降低设备之间的相互干扰，可以在曝光时刻均匀分布的基础上加入一个随机偏移，这样可以使不同设备间的曝光成像时刻尽可能错开，避免相互干扰。为了保证获取图像的时间间隔尽可能相同，可以选择在一个相对较长的工作时间片内(如1s)使用相同的时间偏移，以保证在该时间片内的图像时间间隔相同。

本发明达到的有益效果为，摆脱了现在PM-iToF测量方案中脉宽与测量距离和功耗成正比，而与测量精度负相关的矛盾；使测量距离的扩展不再受限于脉宽，从而在具有较远测量距离的情况下仍能保持较低的测量功耗和较高的测量精度。相对于CW-iToF测量方案，本方案中单组调制解调频率而言只需要一次曝光输出三个抽头的信号量即可获得一帧深度信息，因而显著降低了整体的测量功耗并提高了测量帧频。因此，本方案相对于现有的iToF技术方案均具有明显的优势。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种时间飞行深度相机，其特征在于，包括：

发射模组，包括光源，用于向待测物发射脉冲光束；

采集模组，包括由至少一个像素组成的图像传感器，每个所述像素包括至少3个抽头，所述抽头用于采集由所述待测物反射回的反射脉冲光束产生的电荷信号或背景光的电荷信号；

处理电路，控制所述发射模组在相邻的帧周期内发射不同频率的脉冲光束，并分别在所述帧周期内接收所述至少3个抽头的所述电荷信号的数据；对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号；根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。

2.如权利要求1所述的时间飞行深度相机，其特征在于，所述处理电路根据下式计算所述脉冲光束的飞行时间：

其中，QA是经过所述判断之后获取的第一个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QB是经过所述判断之后获取的第二个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QO是所述抽头采集的仅包含所述背景光的电荷信号的电荷量；m＝n-1，其中n指的是所述QA所对应抽头的序号；j是所述反射脉冲光束首先被所述发射脉冲光束发出后第j个脉冲周期内的抽头采集；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期。

3.如权利要求2所述的时间飞行深度相机，其特征在于，所述判断包含单抽头最值法，即通过依序查找并获取所述至少3个抽头中电荷信号的电荷量最大的第一抽头，若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量大，则第二抽头、第一抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量小，则第一抽头、第三抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；

或，所述判断包含相邻抽头和最值法，即依序计算相邻抽头的电荷信号的电荷量之后并查找其中的最大值项，所述最大值项对应的两个抽头采集到的电荷信号的电荷量按抽头序号先后顺序分别为所述QA、所述QB。

4.如权利要求2所述的时间飞行深度相机，其特征在于，所述j的值通过余数定理或者通过遍历最大测量距离内的各个所述帧周期对应的所述j的值，将飞行时间计算方差最小的一组j值作为求解值。

5.如权利要求2所述的时间飞行深度相机，其特征在于，所述QO通过以下方式中的至少一种方式获取：

取所述QB对应的所述抽头的后面的一个抽头的采集到的电荷信号的电荷量；或，取所述QA对应所述抽头的前面一个抽头采集到的电荷信号的电荷量；或，取所述QA、所述QB对应的所述抽头之外的所有所述抽头采集到的电荷信号的电荷量的均值；或，取所述QA、所述QB对应的所述抽头以及所述QB对应的所述抽头后面一个所述抽头之外所有所述抽头采集到的电荷信号的电荷量的均值。

6.一种多频调制解调的距离测量方法，其特征在于，包括：

利用光源用于向待测物发射脉冲光束；

利用包括由至少一个像素组成的图像传感器采集由所述待测物反射回的反射脉冲光束所产生的电荷信号或背景光的电荷信号，每个所述像素包括至少3个抽头，所述抽头用于采集所述电荷信号；

控制所述发射模组在相邻帧周期内发射不同频率的脉冲光束，并分别在所述相邻帧周期内接收所述至少3个抽头的电荷信号的数据；

对所述电荷信号的数据进行判断以确定所述电荷信号的数据中是否包含所述反射脉冲光束的所述电荷信号；

根据所述判断结果计算所述脉冲光束的飞行时间和/或所述待测物的距离。

7.如权利要求6所述的多频调制解调的距离测量方法，其特征在于，所述飞行时间根据下式计算：

其中，QA是经过所述判断之后获取的第一个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QB是经过所述判断之后获取的第二个所述抽头采集到的包含所述反射脉冲光束的所述电荷信号的电荷量；QO是所述抽头采集的仅包含所述背景光的电荷信号的电荷量；m＝n-1，其中n指的是所述QA所对应抽头的序号；j是所述反射脉冲光束首先被所述发射脉冲光束发出后第j个脉冲周期内的抽头采集；Th是各抽头的脉冲采集信号的脉冲宽度；Tp是脉冲周期。

8.如权利要求7所述的多频调制解调的距离测量方法，其特征在于，所述判断包含单抽头最值法，即通过依序查找并获取所述至少3个抽头中电荷信号的电荷量最大的第一抽头，若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量大，则第二抽头、第一抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；若所述第一抽头之前的第二抽头比所述第一抽头之后的第三抽头的电荷信号的电荷量小，则第一抽头、第三抽头采集到的电荷信号的电荷量分别为所述QA、所述QB；

或，所述判断包含相邻抽头和最值法，即依序计算相邻抽头的电荷信号的电荷量之后并查找其中的最大值项，所述最大值项对应的两个抽头采集到的电荷信号的电荷量按抽头序号先后顺序分别为所述QA、所述QB。

9.如权利要求7所述的多频调制解调的距离测量方法，所述j的值通过余数定理或者通过遍历最大测量距离内的各个所述帧周期对应的所述j的值，将飞行时间计算方差最小的一组j值作为求解值。

10.如权利要求7所述的多频调制解调的距离测量方法，其特征在于，所述QO通过以下方式中的至少一种方式获取：

取所述QB对应的所述抽头的后面的一个抽头的采集到的电荷信号的电荷量；或，取所述QA对应所述抽头的前面一个抽头采集到的电荷信号的电荷量；或，取所述QA、所述QB对应的所述抽头之外的所有所述抽头采集到的电荷信号的电荷量的均值；或，取所述QA、所述QB对应的所述抽头以及所述QB对应的所述抽头后面一个所述抽头之外所有所述抽头采集到的电荷信号的电荷量的均值。