CN115308718A - 飞行时间测距方法、飞行时间测距装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种飞行时间测距方法、装置、电子设备及存储介质，方法包括：获取时间分箱长度为第一预设时长的第一直方图，并对第一直方图进行粗测操作，以获得粗测飞行时间；获取时间分箱长度为第二预设时长的第二直方图，并对第二直方图进行细测操作，以获得细测飞行时间；第二预设时长小于第一预设时长；基于粗测飞行时间和细测飞行时间确定激光脉冲的飞行时间，并根据飞行时间确定外部对象的距离，从而利用粗测飞行时间和细测飞行时间提取到准确的飞行时间，使得测距结果更加准确，并且由于本方案无需对直方图进行计算纠错，因此可以节省大量的计算资源，能够提升测距效率。

Description

飞行时间测距方法、飞行时间测距装置、电子设备及计算机可 读存储介质

技术领域

本申请涉及光检测技术领域，具体涉及一种飞行时间测距方法、飞行时间测距装置、电子设备及计算机可读存储介质。

背景技术

飞行时间技术(ToF，Time of Flight)作为一种长距离、高精度和低功耗的测距方案被广泛应用。目前ToF技术主要包括直接飞行时间(direct Time of Flight,dToF)和间接飞行时间(indirect Time of Flight,iTOF)。其中，dToF方案需要通过发射和接收激光脉冲，并测量被物体反射回来的激光脉冲的飞行时间实现测距。通常dToF方案采用单光子雪崩光电二极管(Single Photon Avalanche Diode，SPAD)对反射回来的激光脉冲的光子进行检测，通过时间数字转换器(Time-to-Digital Convert,TDC)对接收到光子的时间进行计数统计而输出直方图，再通过查找直方图中计数最高的时间分箱(bin)或者统计直方图中整个信号峰的质心来得到所接收的被反射回来的激光脉冲的飞行时间。

然而，在实际使用中，由于环境光的存在，会使得直方图中的光子计数夹杂有环境光的光子所产生的噪声计数，而容易引发堆叠效应(pile-up)，使得所检测的时间越靠后，相应时间分箱内的实际光子计数越低于理想光子计数值，最后导致无法正确找到信号峰的问题。

发明内容

本申请的目的是针对上述现有技术的不足提出的一种飞行时间测距方法、飞行时间测距装置、电子设备及计算机可读存储介质，该目的是通过以下技术方案实现的。

本申请的第一方面提出了一种飞行时间测距方法，所述方法包括：

获取时间分箱长度为第一预设时长的第一直方图，并对所述第一直方图进行粗测操作，以获得粗测飞行时间；

获取时间分箱长度为第二预设时长的第二直方图，并对所述第二直方图进行细测操作，以获得细测飞行时间；所述第二预设时长小于第一预设时长；

基于所述粗测飞行时间和所述细测飞行时间确定激光脉冲的飞行时间，并根据所述飞行时间确定外部对象的距离；

其中，第一直方图是控制时间数字转换器TDC以较低时间检测精度获得，第二直方图是控制TDC以较高时间检测精度获得。

本申请的第二方面提出了一种飞行时间测距装置，包括

发射模组，被配置为向测量场景发射感测光信号以对测量场景内的外部对象进行三维检测；

接收模组，被配置为感测来自测量场景的光信号并输出相应的光感应信号；

处理电路，与所述发射模组和接收模组耦接，被配置为处理所述接收模组接收光子对应产生的光感应信号以获得外部对象的三维信息，所述处理电路包括：

计时模块，被配置为根据接收模组感测到光信号而输出的相应光感应信号在对应的时间分箱内累积计数；

统计模块，被配置为对一个检测帧内的多次感测在各个对应时间分箱内累计的光感应信号计数进行统计以生成相应的光子计数直方图；

飞行时间确定模块，被配置为根据光子计数直方图中信号峰对应的时间分箱的时间戳确定被外部对象反射回来的感测光信号的飞行时间；及

距离确定模块，被配置为根据确定的飞行时间获得外部对象的距离信息；

其中，所述计时模块包括第一计时单元和第二计时单元，所述第一计时单元被配置为以第一预设时长的时间分箱长度对所述光感应信号进行计数，所述第二计时单元被配置为以第二预设时长的时间分箱长度对所述光感应信号进行计数，所述第一预设时长小于第二预设时长，所述飞行时间确定模块包括飞行时间粗测单元、飞行时间细测单元和确定单元；所述飞行时间粗测单元被配置为对时间分箱长度为第一预设时长的所述第一直方图进行粗测操作，以获得粗测飞行时间；所述飞行时间细测单元被配置为对时间分箱长度为第二预设时长的第二直方图进行细测操作，以获得细测飞行时间；所述确定单元用于基于所述粗测飞行时间和所述细测飞行时间确定激光脉冲的飞行时间。

本申请的第三方面提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述方法的步骤。

本申请的第四方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。

基于上述第一方面和第二方面所述的飞行时间测距方法及装置，本申请至少具有如下有益效果或优点：

首先通过控制TDC以较低时间检测精度获取时间分箱长度(也即一个bin的时间长度)比较长的直方图，并通过对直方图进行粗测操作，以得到飞行时间中的粗测飞行时间，然后再控制TDC以较高时间检测精度获取时间分箱长度比较短的直方图，并对直方图进行细测操作，以找到飞行时间中准确的细测飞行时间，由于第二次获取的直方图的采集粒度小，因此确定出来的细测飞行时间更加精确，从而利用粗测飞行时间和细测飞行时间可以得到准确的飞行时间，使得测距结果更加准确，并且由于本方案无需对直方图进行计算纠错，因此可以节省大量的计算资源，能够提升测距效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请根据一示例性实施例示出的一种电子设备的硬件结构示意图图；

图2为本申请根据一示例性实施例示出的一种飞行时间测距装置的硬件结构示意图；

图3为本申请根据一示例性实施例示出的一种统计直方图的示意图；

图4为图2中所述计时模块的一示例性实施例的结构示意图；

图5为本申请一示例性实施例的飞行时间测距装置在发生堆积效应时的光子计数直方图的示意图；

图6为本申请根据一示例性实施例示出的一种飞行时间测距方法的实施例流程图；

图7为本申请根据图6所示实施例示出的用于粗测操作的第一直方图；

图8为本申请根据图6所示实施例示出的第一网络模型的结构示意图；

图9为本申请根据图7所示实施例示出的一个残差块的结构示意图；

图10为本申请根据图8所示实施例示出的注意力层的结构示意图；

图11为本申请根据图6所示实施例示出的用于细测操作的第二直方图；

图12为本申请根据一示例性实施例示出的一种飞行时间测距装置的结构示意图；

图13为本申请根据一示例性实施例示出的另一种飞行时间测距装置的结构示意图；

图14为本申请根据一示例性实施例示出的又一种飞行时间测距装置的结构示意图；

图15为本申请根据一示例性实施例示出的一种存储介质的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，本申请实施例描述的电子设备1具有飞行时间测距功能，可以用于三维信息感测或空间距离测定，例如具体可以用于人脸识别、手势识别、姿势或动作识别、自动驾驶、机器视觉、物体识别，场景建模、增强现实(Augmented Reality,AR)/虚拟现实(Virtual Reality,VR)、测距、接近感测、即时定位和地图构建(SimultaneousLocalization and Mapping,SLAM)或3D图绘制等。电子设备1可以包括智能手机、平板电脑、计算机、笔记本电脑、台式电脑、智能可穿戴设备、智能门锁、车载电子设备、医疗、航空等有三维信息感测功能需求的设备。

电子设备1可以是基于dToF技术的设备，dToF技术基于时间相关单光子计数(Time-Correlated Single-Photon Counting,TCSPC)原理测量场景中外部对象距离的一种测距方式。TCSPC可以通过重复发射和接收感测光信号，对被外部对象发射回来的感测光信号的接收时间信息进行统计分析，以获得反射感测光信号的外部对象的相关三维信息。

以下对电子设备的一种示例性结构进行描述：

如图1所示，电子设备1可以包括处理器101和存储器102。处理器101与存储器102耦接。处理器101可以用于控制电子设备1的操作，例如为中央处理单元(CentralProcessing Unit,CPU)。处理器101可以是一种集成电路芯片，具有信号的处理能力，例如为：通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、图像信号处理器(Image SignalProcessor,ISP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器102用于存储计算机程序和操作过程中产生的数据，可以是随机存取存储器(Random Access Memory,RAM),也可以是只读存储器(Read-Only Memory,ROM),或者其他类型的存储设备。具体地，存储器102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。在一些实施例中，存储器102中的计算机可读存储介质用于存储至少一条程序代码。存储器102中存储的计算机程序能够被处理器101执行，进而可以控制电子设备1的运行，实现相关的操作和功能。

在一些实施例中，电子设备1还可以包括外围设备接口103和外围设备104。处理器101、存储器102和外围设备接口103之间可以通过总线或信号线相连。各个外围设备104可以通过总线、信号线或电路板与外围设备接口103相连。具体地，外围设备104可以包括射频电路、显示屏、音频电路、电源和飞行时间测距装置20中的任意一种或多种。

外围设备接口103可被用于将外围设备104连接到处理器101和存储器102。可选地，在一些实施例中，处理器101、存储器102和外围设备接口103可以被集成在同一芯片或电路板上。可选地，在一些其他实施例中，处理器101、存储器102和外围设备接口103中的任意一个或两个可以在单独的芯片或电路板上实现，本申请对此不做具体限定。

如图1所示，在一些实施例中，电子设备1可以包括飞行时间测距装置20，所述飞行时间测距装置20可以耦接至处理器101。可选地，所述飞行时间测距装置20可以实现dToF功能，对测量场景中的外部对象进行探测以获得外部对象的三维信息。所述电子设备1被配置为根据飞行时间测距装置20获得的外部对象的三维信息实现对应的功能。

如图2所示，飞行时间测距装置20包括发射模组201、接收模组202及处理电路203。处理电路203可以与电子设备1的处理器101耦接，发射模组201和接收模组202分别与处理电路203耦接。发射模组201被配置为向测量场景发射感测光信号以对测量场景内的外部对象30进行三维检测，其中的部分感测光信号会被测量场景中的外部对象30反射而返回，反射回来的感测光信号携带有所述外部对象30的三维信息，而其中的一部分被反射回来的感测光信号可以被所述接收模组202感测以用于获得外部对象30的三维信息。接收模组202被配置为感测来自测量场景的光信号并输出相应的光感应信号，通过分析所述光感应信号可实现对测量场景内的外部对象30的三维信息检测，所述三维信息可以为外部对象30的距离信息和/或外部对象30表面的深度信息。可以理解的是，接收模组202所感测的光信号可以为光子，例如包括被测量场景中的外部对象30反射回来的感测光信号的光子以及测量场景的环境光的光子，所述接收模组202采用SPAD作为光感器件来感测从测量场景返回的光子并输出相应的光感应信号。

可选地，感测光信号可以为具有预设频率的激光脉冲，发射模组201在一个检测帧内按照预设频率周期性地发射N个激光脉冲作为感测光信号，即一个检测帧可以包括N个感测光信号的发射周期。预设频率比如可以为10Hz-100MHz，进一步可以为1000Hz-10MHz，本申请对此不做具体限定。

可选地，感测光信号可以为可见光、红外光或近红外光，波长范围例如为390纳米(nm)-780nm、700nm-1400nm、800nm-1000nm。

可选地，接收模组202也可以通过其他光感器件来感测反射回来的光信号，所述光感器件例如可以为电荷耦合元件(Charge-Coupled Device,CCD)、互补金属氧化物半导体(Complementary Meta1Oxide Semiconductor,CMOS)，雪崩光电二极管(Avalanche PhotonDiode,APD)，多个SPAD并联设置的硅光电倍增光(Silicon Photomultiplier,SiPM)和/或其他合适的光感器件。可选地，多个光感器件可以呈规则的阵列排布或者以不规则的随机方式进行排布。

可选地，接收模组202具有与发射周期对应的检测周期。例如，接收模组202的光感器件具有与发射周期一致的起始时刻和结束时刻，发射模组201每发射一次感测光信号的同时接收模组202的光感器件开始感测从测量场景返回的光子。

处理电路203用于处理接收模组202接收光子对应产生的光感应信号以获得外部对象30的三维信息。在一些实施例中，处理电路203可以包括计时模块2031、统计模块2032、飞行时间确定模块2033和距离确定模块2034。

其中，计时模块2031被配置为确定接收模组202感测到光信号而输出相应光感应信号的时间并据此在对应的时间分箱内累积计数，时间分箱为计时模块2031记录所述光感应信号产生时刻的时间单位，能够反映计时模块对光感应信号进行时间记录的精确程度，时间分箱越细密表示记录时间的精度越高。

可选地，计时模块2031可以包括时间数字转换器(Time-to-Digital Converter,TDC)和计数存储器，计数存储器具有根据时间分箱对应分配的计数存储空间。接收模组202每感测到一个光子会输出相应的光感应信号，计时模块2031通过TDC检测光感应信号的产生时刻并据此在对应时间分箱的计数存储空间内累计加一。例如，在飞行时间测距装置的一个检测帧内，发射模组201可以重复发射感测光信号N次，接收模组202对应执行N次光感测，具体的每一次感测可能感测到光子，也可能感测不到光子，但每感测到一个光子，计时模块2031根据感测到光子的时刻(亦即光感应信号的产生时刻)在对应时间分箱的计数存储空间内累计加一。应理解的是，单个时间分箱的长度可以通过改变TDC的时间检测精度来相应调整，例如单个时间分箱的长度为TDC当前的时间检测精度所能检测出来的最短时间单元。由此，计时模块2031可以根据TDC的时间检测精度将整个飞行时间检测范围划分成相应数量的时间分箱来对光感应信号的时间分布进行计数。应理解的是，所述飞行时间检测范围的最大飞行时间值至少大于光子往返飞行时间测距装置的最远检测距离所需的飞行时间，以确保能够对从最远检测距离返回的光子进行计数。

统计模块2032可被配置为对一个检测帧的N次感测在各个对应时间分箱内累计的光感应信号计数进行统计，以生成相应的光子计数直方图，如图3所示。其中，光子计数直方图的横坐标表示各个对应时间分箱的时间戳，可以根据TDC检测出的光感应信号的输出时间在具有对应时间戳的时间分箱内计数，光子计数直方图的纵坐标表示各个对应时间分箱内累计的光感应信号计数值。可选地，统计模块2032可以为直方图电路。

在感测过程中，大量环境光的光子也会被接收模组202接收并感测而产生相应的光感应信号计数。由于环境光造成的光感应信号计数是随机的，这些环境光的光子被感测而在各个时间分箱内留下计数的几率趋于相同，构成测量场景的噪音背底(Noise Level)，在环境光较强的测量场景中，测得的噪音背底的平均水平相对较高，在环境光较弱的测量场景中，测得的噪音背底的平均水平相对较低。在此基础上，从测量场景内的外部对象反射回来的感测光信号被感测而对应产生的光感应信号计数叠加在噪音背底上，使得与该感测光信号被感测时间对应的时间分箱内的光感应信号计数会明显高于其他时间分箱的光感应信号计数，进而形成光子计数直方图中突出的信号峰。由此，飞行时间确定模块2033可以根据与信号峰的峰值对应的时间分箱的时间戳t1与产生该信号峰的相关感测光信号的发射时刻t0之间的时间差获得被外部对象反射回来而被接收模组202感测到的相关感测光信号的飞行时间。距离确定模块2034可被配置为根据由光子计数直方图确定的相关感测光信号的飞行时间获得反射相关感测光信号的外部对象30与飞行时间测距装置20之间的距离信息，例如：测量场景中外部对象与飞行时间测距装置之间的连线距离。

如图4所示，在一些实施例中，所述计时模块2031还包括第一计时单元610和第二计时单元620。所述第一计时单元610被配置为以第一预设时长的时间分箱长度对接收模组202感测到光信号而输出光感应信号的时间进行计数统计。所述第二计时单元620被配置为以第二预设时长的时间分箱长度对接收模组202感测到光信号而输出光感应信号的时间进行计数统计。其中，所述第二预设时长小于第一预设时长，亦即所述第一计时单元610控制TDC以较低的时间检测精度对接收模组202的光信号感测时间进行记录，所述第二计时单元620控制TDC以较低的时间检测精度对接收模组202的光信号感测时间进行记录。

对应地，所述统计模块2032根据第一计时单元610对光感应信号感测时间的计数统计获取时间分箱长度为第一预设时长的第一直方图。所述统计模块2032根据第二计时单元620对光感应信号感测时间的计数统计获取时间分箱长度为第二预设时长的第二直方图。

应理解的是，发射模组201与接收模组202并排相邻设置，发射模组201的出光面与接收模组202的入光面均朝向飞行时间测距装置的同一侧，发射模组201与接收模组202的间距的取值范围例如可以为2毫米(mm)至20mm。由于发射模组201与接收模组202之间靠得比较近，感测光信号从发射模组201到外部对象30的发射路径与反射后从外部对象到接收模组202的返回路径虽然不是完全相等，但两者均远大于发射模组201与接收模组202的间距，可以视为近似相等。由此，可以根据被外部对象30反射回来的感测光信号的飞行时间t的一半与光速c的乘积来计算外部对象30与飞行时间测距装置20之间的距离信息。

若接收模组以SPAD作为光感器件，工作在盖革模式下的SPAD存在一定概率被光子触发雪崩效应而输出光感应信号。雪崩后的SPAD需要经过重置才能重新恢复至能够再次感测光子的盖革模式，而SPAD从开始雪崩至重新再恢复至盖革模式的时间段为无法感测光子的死区时间。由此，在发射模组201发出的感测光信号功率过高、外部对象反射率较高、环境光强度较大和/或被测外部对象距离较近等情况下，一个检测周期内较为靠前的时段会有大量被外部对象反射回来的感测光信号的光子把接收模组202的大部分SPAD都雪崩掉而无法在该检测周期内再感测计数后续反射回来的感测光信号光子，从而导致所获得的光子计数直方图中信号峰的峰值位置发生前移的堆积效应(Pile Up Effect)，也就是最后得出的飞行时间是偏小的，进而测量出的外部对象距离值也会比实际值小。

如图5所示，光子计数直方图中的虚线部分为没有发生堆积效应时信号峰的光子计数分布，实线打阴影部分为发生堆积效应时信号峰的光子计数分布。发生了堆积效应后，信号峰的峰值时间分箱的位置发生前移，导致测得的信号峰的峰值时间分箱小于实际上信号峰的峰值时间分箱，该检测帧获得的感测光信号的飞行时间值也发生对应地前移而偏小。

为此，在对直方图进行统计分析之前，需要对直方图上不同时间分箱进行计数纠错，以纠正产生的堆叠效应。

然而，每纠错一个时间分箱的计数，需要缓冲前面几个时间分箱的计数参与计算，导致计数纠错需要耗费大量的计算资源，并且在大部分情况下纠错效果并不好，甚至无法实现纠错，例如受到TDC中数字电路的读写速度限制，有些光子计数被随机丢掉，导致纠错效果不好。

基于此，本申请提出一种飞行时间测距方法，即通过控制TDC的时间检测精度，先以较低的时间检测精度获取时间分箱长度为第一预设时长的第一直方图，以根据所述第一直方图进行粗测操作，获得粗测飞行时间，然后再控制TDC以较高的时间检测精度获取时间分箱长度为第二预设时长的第二直方图，以根据第二直方图进行细测操作，获得细测飞行时间，第二预设时长小于第一预设时长，最后基于粗测飞行时间和细测飞行时间确定被反射回来感测到的激光脉冲的飞行时间，并根据飞行时间确定外部对象的距离。

基于上述描述可达到的技术效果有：

首先通过控制TDC以较低时间检测精度获取具有较长时间分箱长度(也即一个bin的时间长度)的直方图，并对直方图进行粗测操作，以得到飞行时间中的粗测飞行时间，然后再控制TDC以较高时间检测精度获取具有较短时间分箱长度的直方图，并对直方图进行细测操作，以找到飞行时间中准确的细测飞行时间，由于第二次获取的直方图的采集粒度小，因此确定出来的细测飞行时间更加精确，从而利用粗测飞行时间和细测飞行时间可以得到准确的飞行时间，使得测距结果更加准确，并且由于本方案无需对直方图进行计算纠错，因此可以节省大量的计算资源，能够提升测距效率。

为了使本领域技术人员更好的理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图6为本申请根据一示例性实施例示出的一种飞行时间测距方法的实施例流程图，在本申请实施例中，第一直方图是控制TDC以较低时间检测精度获得，第二直方图是控制TDC以较高时间检测精度获得。参见图6所示，该测距方法包括如下步骤：

步骤401：获取时间分箱长度为第一预设时长的第一直方图。

其中，第一直方图的时间范围由激光脉冲能够测量的最远距离(也即激光脉冲的最长飞行时间)决定，因此第一直方图包含时间序列上多个时间分箱的反射脉冲的光子计数，且单个时间分箱的长度为第一预设时长。

参见图6所示，为用于粗测操作的第一直方图，其中，单个时间分箱(即图中的单个长条柱)的时间长度为1.6纳秒，总计有25个时间分箱，从左到右，时间分箱序号依次为1、2、3、4……25，总的时间范围为25*1.6＝40纳秒。也就是说，激光脉冲的最长飞行时间为40纳秒。

需要说明的是，单个时间分箱的长度设置越长，直方图采集效率越高，但是飞行时间的计算准确度越低，因此需要设置一个合适的时间分箱长度来采集直方图。

步骤402：对第一直方图进行粗测操作，以获得粗测飞行时间。

其中，粗测操作指的是从第一直方图中找出可能表示激光脉冲飞行时间的分箱序号。

在一种可能的实现方式中，由于第一直方图中存在大量噪声，为了避免使用传统飞行时间获取算法需要进行计数纠错，本申请基于深度神经网络的方法进行飞行时间获取，不仅节省计算资源，而且效果更好。

具体粗测过程为：通过将第一直方图输入第一网络模型中，以由第一网络模型对第一直方图进行飞行时间预测，并输出表示飞行时间的第一分箱序号，从而利用第一分箱序号和第一预设时长确定出粗测飞行时间。

在具体实施时，由于粗测过程中，单个时间分箱的长度比较长，一个激光脉冲很容易记在两个时间分箱交界处，因此理论上直方图中表示粗测飞行时间的时间分箱可能不只一个。

基于此，本实施例中第一网络模型可以输出相邻两个第一分箱序号。其中一个为概率最高的分箱序号，另一个是与概率最高的分箱序号相邻的两个分箱序号中概率较高的一个。

针对粗测飞行时间的确定过程，具体是利用第一分箱序号的前一个分箱序号与第一预设时长确定，该前一个分箱序号对应的时间属于总飞行时间中的前段时间，假设第一分箱序号分别为15和16，分箱时间长度为1.6纳秒，那么粗测飞行时间T1＝14*1.6＝22.4纳秒。

下面对于第一网络模型的结构和处理流程进行详细说明。

参见图7所示的模型结构，对第一直方图的处理流程为：通过卷积层将第一直方图转为多通道数据，通过残差网络对多通道数据进行多次去噪处理，得到去噪后的多通道数据，最后通过输出层对去噪后的多通道数据在通道维度上进行全局平均池化操作，以得到单通道一维数据，并根据单通道一维数据输出第一分箱序号。

其中，由于输入的直方图数据为单通道一维数据，为了更好地进行特征提取通过卷积层将直方图数据变为多通道一维数据，卷积层具体可以使用3*1*1卷积核将单通道一维数据变为3通道一维数据。在深层次网络中随着层数增加，梯度退化问题越来越严重，而残差网络中的每个残差块是以跳层连接的形式实现，即残差块的输入直接与输出加在一起，能够缓解网络的梯度退化问题，因此本实施例使用残差网络进行多次去噪，便于准确获取可能表示飞行时间的分箱位置。

具体地，从单通道一维数据中选取最大值和与最大值相邻的两个值中较高的值所对应的两个分箱序号输出。

举例来说，如上述图7所示的第一直方图包括25个时间分箱的计数，因此由输出层进行全局平均池化操作后得到的是1*1*25单通道一维数据，且在1*1*25单通道一维数据中第16个数值最大，且与第16个数值相邻的第15个数值和第17个数值中，第15个数值最大，因此输出层输出的是第15个数值和第16个数值对应的分箱序号15和16，表示飞行时间可能存在于这两个分箱中。

通过观察图6可以看出，实际上是第3个时间分箱的统计数最高，但是经网络模型预测之后，输出的是第15个时间分箱的序号和与其相邻的第16个时间分箱的序号。这是因为堆积效应造成的信号峰的峰值位置发生前移，即在检测周期内较为靠前的时段有大量被外部对象反射回来的感测光信号的光子把大部分SPAD都雪崩掉而无法在该检测周期内再感测计数后续反射回来的感测光信号光子，因此通过将直方图输入训练好的网络模型进行预测，可以避免堆积效应造成的信号峰误判问题。

在一具体的可选实施例中，参见图8所示，残差网络包括四个串联的残差块，前一残差块的输出作为后一残差块的输入，从而通过四个串联的残差块可以对多通道数据实现四次串联去噪，即每一残差块对输入的多通道数据进行一次去噪处理。

进一步地，参见图9所示的单个残差块的结构，其包括注意力层、软阈值层以及拼接层，具体去噪处理过程为：通过注意力层基于输入的多通道数据获得每一通道上的阈值，通过软阈值层针对输入的多通道数据中的每一通道数据，利用该通道上的阈值对该通道数据进行软阈值去噪，最后通过拼接层将输入的多通道数据与去噪后的每一通道数据，按照通道维度进行拼接并输出。

通过在每个残差块中引入注意力机制以找到每个通道上的噪声阈值，并利用软阈值操作方式将各个通道数据中的噪声置零，由于飞行时间数据在不同环境下信噪比差别较大，因此利用软阈值去噪相比固定阈值去噪，鲁棒性更高，效果也更好。

其中，软阈值去噪公式如下：

由上述公式可以看出，软阈值去噪是将绝对值小于阈值的特征删掉，将绝对值大于阈值的特征朝着零的方向进行收缩属于一种非线性变换，其输出y对输入x的导数要么是1，要么是0，有着与ReLu激活函数同样的性质，因此软阈值操作作为网络模型的激活函数，可以避免网络模型出现梯度弥散和梯度爆炸的风险。

针对通过注意力层获取每一通道上的阈值的过程，参见图10所示，具体是对输入的多通道数据C*W*H进行绝对值操作和全局平均池化操作，以将每一通道数据的尺寸变为1*1，并对每一通道上的1*1数据进行激活操作后再与每一通道上的1*1数据进行点乘，以获得每一通道上的阈值。

步骤403：获取时间分箱长度为第二预设时长的第二直方图，第二预设时长小于第一预设时长。

其中，第二直方图同样也包括时间序列上多个时间分箱的反射脉冲的光子计数，只是单个时间分箱的长度为第二预设时长，为了获得后段精确飞行时间，此时的时间分箱长度相对粗测时的时间分箱长度要短很多，即第二直方图的采集粒度变小，因此第二预设时长可以是TDC的时间检测精度所能检测出来的最短时间单元。

需要说明的是，第二直方图是在粗测结果基础上进一步进行细测的数据，因此第二直方图的时间范围与粗测结果中的时间分箱的总长度有关，因此在获取集第二直方图时，具体是根据第一分箱序号的数量和第一预设时长确定直方图的采集时间范围，然后再获取时间分箱长度为第二预设时长且时间序列为该采集时间范围的第二直方图。

参见图11所示，为用于细测操作的第二直方图，由于上述例子中输出的第一分箱序号有2个，每个时间分箱的长度为1.6纳秒，因此第二直方图的时间范围是1.6*2＝3.2纳秒，且每个时间分箱的长度取值为0.1纳秒，从而第二直方图总计有32个时间分箱，从左到右，分箱序号依次为1、2、3、4……32。也就是说，在细测过程中，需要从0-3.2ns中选取一个更细的细测飞行时间。

步骤404：对第二直方图进行细测操作，以获得细测飞行时间。

需要说明的是，由于第二直方图中同样可能存在大量噪声，也不适宜使用传统飞行时间获取算法，因此本申请仍然基于深度神经网络的方法进行飞行时间获取，不仅节省计算资源，而且效果更好。

具体细测过程为：通过将第二直方图输入第二网络模型中，以由第二网络模型对第二直方图进行飞行时间预测，并输出表示飞行时间的第二分箱序号，然后利用第二分箱序号和第二预设时长确定细测飞行时间。

其中，由于细测过程中，单个时间分箱的长度比较短，其已经接近TDC的硬件限制，因此表示细测飞行时间的时间分箱为一个，也即第二分箱序号的数量只有1个。

针对细测飞行时间的确定过程，具体是利用第二分箱序号与第二预设时长确定，假设第二分箱序号为15，时间分箱长度为0.1纳秒，那么细测飞行时间T2＝15*0.1＝15纳秒。

需要进一步说明的是，使用第二网络模型对第二直方图进行飞行时间预测的原理与上述粗测过程中使用的第一网络模型的预测原理相同，因此第二网络模型的网络结构与第一网络模型的结构相同，只是需要为两个网络模型分别训练不同的网络参数。

因此，针对第二网络模型对第二直方图的预测过程，请参见上述第一网络模型的处理过程，本申请在此不再详述。

步骤405：基于粗测飞行时间和细测飞行时间确定激光脉冲的飞行时间，并根据飞行时间确定外部对象的距离。

具体地，基于上述描述的粗测飞行时间T1和细测飞行时间T2，激光脉冲的飞行时间T＝T1+T2。

本领域技术人员可以理解的是，根据飞行时间计算距离的过程可以采用相关技术实现，本申请对此不进行具体限定，例如，根据飞行时间和光速便可计算出外部对象的距离。

至此，完成上述图6所示的测距流程，首先通过控制TDC以较低时间检测精度获取时间分箱长度(也即一个bin的时间长度)比较长的直方图，并通过对直方图进行粗测操作，以得到飞行时间中的粗测飞行时间，然后再控制TDC以较高时间检测精度获取时间分箱长度比较短的直方图，并对直方图进行细测操作，以找到飞行时间中准确的细测飞行时间，由于第二次获取的直方图的采集粒度小，因此确定出来的细测飞行时间更加精确，从而利用粗测飞行时间和细测飞行时间可以得到准确的飞行时间，使得测距结果更加准确，并且由于本方案无需对直方图进行计算纠错，因此可以节省大量的计算资源，能够提升测距效率。

与前述飞行时间测距方法的实施例相对应，本申请实施例提供的飞行时间测距装置20的处理电路203中的飞行时间确定模块2033还包括对应的功能单元。

图12为本申请根据一示例性实施例示出的一种飞行时间确定模块的的功能单元示意图，该飞行时间确定模块2033用于执行上述任一实施例提供的飞行时间测距方法。如图12所示，该飞行时间确定模块2033包括飞行时间粗测单元710、飞行时间细测单元720及确定单元730。

所述飞行时间粗测单元710被配置为对时间分箱长度为第一预设时长的所述第一直方图进行粗测操作，以获得粗测飞行时间。所述粗测操作指的是所述飞行时间粗测单元710根据第一直方图中与信号峰的峰值对应的时间分箱的时间戳来确定粗测飞行时间。

所述飞行时间细测单元720被配置为对时间分箱长度为第二预设时长的第二直方图进行细测操作，以获得细测飞行时间；所述第二预设时长小于第一预设时长。所述粗测操作指的是所述飞行时间粗测单元710根据第二直方图中与信号峰的峰值对应的时间分箱的时间戳来确定粗测飞行时间。

所述确定单元730被配置为基于所述粗测飞行时间和所述细测飞行时间确定被外部对象30反射回来的飞行时间。

其中，第一直方图是控制时间数字转换器TDC以较低时间检测精度获得，第二直方图是控制TDC以较高时间检测精度获得。

在一种可选的实现方式中，如图13所示，所述飞行时间粗测单元710，包括：

第一模型预测单元7101，用于将所述第一直方图输入第一网络模型中，以由所述第一网络模型对所述第一直方图进行飞行时间预测，并输出表示飞行时间的第一分箱序号；

粗测时间确定单元7102，用于利用所述第一分箱序号和所述第一预设时长确定粗测飞行时间。

在一种可选的实现方式中，如图14所示，所述飞行时间细测单元720，包括：

范围确定单元7201，用于根据所述第一分箱序号的数量和所述第一预设时长确定第二直方图的采集时间范围；

获取单元7202，用于获取时间分箱长度为第二预设时长且时间序列为所述采集时间范围的第二直方图。

在一种可选的实现方式中，所述第一网络模型包括卷积层、残差网络和输出层；所述飞行时间粗测单元710，具体用于在由所述第一网络模型对所述第一直方图进行飞行时间预测，并输出表示飞行时间的第一分箱序号过程中，通过所述卷积层将所述第一直方图转为多通道数据；通过所述残差网络对所述多通道数据进行多次去噪处理，得到去噪后的多通道数据；通过所述输出层对去噪后的多通道数据在通道维度上进行全局平均池化操作，以得到单通道一维数据，并根据单通道一维数据输出第一分箱序号。

在一种可选的实现方式中，所述残差网络包括四个串联的残差块，前一残差块的输出作为后一残差块的输入；所述飞行时间粗测单元710，具体用于在通过所述残差网络对所述多通道数据进行多次去噪处理过程中，通过所述四个串联的残差块对所述多通道数据进行四次去噪处理；其中，每一残差块对输入的多通道数据进行一次去噪处理。

在一种可选的实现方式中，所述残差块包括注意力层、软阈值层、以及拼接层；所述飞行时间粗测单元710，具体用于在每一残差块对输入的多通道数据进行一次去噪处理过程中，通过所述注意力层基于输入的多通道数据获得每一通道上的阈值；通过所述软阈值层针对输入的多通道数据中的每一通道数据，利用该通道上的阈值对该通道数据进行软阈值去噪；通过所述拼接层将输入的多通道数据与去噪后的每一通道数据，按照通道维度进行拼接并输出。

在一种可选的实现方式中，所述飞行时间粗测单元710，具体用于在通过所述注意力层基于输入的多通道数据获得每一通道上的阈值的过程中，通过所述注意力层对输入的多通道数据进行绝对值操作和全局平均池化操作，以将每一通道数据的尺寸变为1*1，并对每一通道上的1*1数据进行激活操作后再与每一通道上的1*1数据进行点乘，以获得每一通道上的阈值。

在一种可选的实现方式中，如图13所示，所述飞行时间细测单元720，还包括：

第二模型预测单元7203，用于将所述第二直方图输入第二网络模型中，以由所述第二网络模型对所述第二直方图进行飞行时间预测，并输出表示飞行时间的第二分箱序号；

细测时间确定单元7204，用于利用所述第二分箱序号和所述第二预设时长确定细测飞行时间。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施方式还提供一种与前述实施方式所提供的飞行时间测距方法对应的计算机可读存储介质，请参考图15所示，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的飞行时间测距方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的飞行时间测距方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种飞行时间测距方法，其特征在于，所述方法包括：

获取时间分箱长度为第一预设时长的第一直方图，并对所述第一直方图进行粗测操作，以获得粗测飞行时间；

获取时间分箱长度为第二预设时长的第二直方图，并对所述第二直方图进行细测操作，以获得细测飞行时间；所述第二预设时长小于第一预设时长；

基于所述粗测飞行时间和所述细测飞行时间确定激光脉冲的飞行时间，并根据所述飞行时间确定外部对象的距离；

其中，第一直方图是控制时间数字转换器TDC以较低时间检测精度获得，第二直方图是控制TDC以较高时间检测精度获得。

2.根据权利要求1所述的飞行时间测距方法，其特征在于，对所述第一直方图进行粗测操作，以获得粗测飞行时间，包括：

将所述第一直方图输入第一网络模型中，以由所述第一网络模型对所述第一直方图进行飞行时间预测，并输出表示飞行时间的第一分箱序号；

利用所述第一分箱序号和所述第一预设时长确定粗测飞行时间。

3.根据权利要求2所述的飞行时间测距方法，其特征在于，获取时间分箱长度为第二预设时长的第二直方图，包括：

根据所述第一分箱序号的数量和所述第一预设时长确定直方图的采集时间范围；

获取时间分箱长度为第二预设时长且时间序列为所述采集时间范围的第二直方图。

4.根据权利要求2所述的飞行时间测距方法，其特征在于，所述第一网络模型包括卷积层、残差网络和输出层；

由所述第一网络模型对所述第一直方图进行飞行时间预测，并输出表示飞行时间的第一分箱序号，包括：

通过所述卷积层将所述第一直方图转为多通道数据；

通过所述残差网络对所述多通道数据进行多次去噪处理，得到去噪后的多通道数据；

通过所述输出层对去噪后的多通道数据在通道维度上进行全局平均池化操作，以得到单通道一维数据，并根据单通道一维数据输出第一分箱序号。

5.根据权利要求4所述的飞行时间测距方法，其特征在于，所述残差网络包括四个串联的残差块，前一残差块的输出作为后一残差块的输入；

通过所述残差网络对所述多通道数据进行多次去噪处理，包括：

通过所述四个串联的残差块对所述多通道数据进行四次去噪处理；

其中，每一残差块对输入的多通道数据进行一次去噪处理。

6.根据权利要求5所述的飞行时间测距方法，其特征在于，所述残差块包括注意力层、软阈值层、以及拼接层；

每一残差块对输入的多通道数据进行一次去噪处理，包括：

通过所述注意力层基于输入的多通道数据获得每一通道上的阈值；

通过所述软阈值层针对输入的多通道数据中的每一通道数据，利用该通道上的阈值对该通道数据进行软阈值去噪；

通过所述拼接层将输入的多通道数据与去噪后的每一通道数据，按照通道维度进行拼接并输出。

7.根据权利要求6所述的飞行时间测距方法，其特征在于，通过所述注意力层基于输入的多通道数据获得每一通道上的阈值，包括：

通过所述注意力层对输入的多通道数据进行绝对值操作和全局平均池化操作，以将每一通道数据的尺寸变为1*1，并对每一通道上的1*1数据进行激活操作后再与每一通道上的1*1数据进行点乘，以获得每一通道上的阈值。

8.根据权利要求1所述的飞行时间测距方法，其特征在于，对所述第二直方图进行细测操作，以获得细测飞行时间，包括：

将所述第二直方图输入第二网络模型中，以由所述第二网络模型对所述第二直方图进行飞行时间预测，并输出表示飞行时间的第二分箱序号；

利用所述第二分箱序号和所述第二预设时长确定细测飞行时间。

9.一种飞行时间测距装置，其特征在于，包括：

发射模组，被配置为向测量场景发射感测光信号以对测量场景内的外部对象进行三维检测；

接收模组，被配置为感测来自测量场景的光信号并输出相应的光感应信号；

处理电路，与所述发射模组和接收模组耦接，被配置为处理所述接收模组接收光子对应产生的光感应信号以获得外部对象的三维信息，所述处理电路包括：

计时模块，被配置为根据接收模组感测到光信号而输出的相应光感应信号在对应的时间分箱内累积计数；

统计模块，被配置为对一个检测帧内的多次感测在各个对应时间分箱内累计的光感应信号计数进行统计以生成相应的光子计数直方图；

飞行时间确定模块，被配置为根据光子计数直方图中信号峰对应的时间分箱的时间戳确定被外部对象反射回来的感测光信号的飞行时间；及

距离确定模块，被配置为根据确定的飞行时间获得外部对象的距离信息；

其中，所述计时模块包括第一计时单元和第二计时单元，所述第一计时单元被配置为以第一预设时长的时间分箱长度对所述光感应信号进行计数，所述第二计时单元被配置为以第二预设时长的时间分箱长度对所述光感应信号进行计数，所述第一预设时长小于第二预设时长，所述飞行时间确定模块包括飞行时间粗测单元、飞行时间细测单元和确定单元；所述飞行时间粗测单元被配置为对时间分箱长度为第一预设时长的所述第一直方图进行粗测操作，以获得粗测飞行时间；所述飞行时间细测单元被配置为对时间分箱长度为第二预设时长的第二直方图进行细测操作，以获得细测飞行时间；所述确定单元用于基于所述粗测飞行时间和所述细测飞行时间确定激光脉冲的飞行时间。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8任一项所述方法的步骤。

Images