CN114509740B - 飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 - Google Patents
飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114509740B CN114509740B CN202210406193.5A CN202210406193A CN114509740B CN 114509740 B CN114509740 B CN 114509740B CN 202210406193 A CN202210406193 A CN 202210406193A CN 114509740 B CN114509740 B CN 114509740B
- Authority
- CN
- China
- Prior art keywords
- peak
- signal
- time
- detection frame
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/25—Design optimisation, verification or simulation using particle-based methods
Abstract
本申请公开了飞行时间偏移的修正方法、ToF装置、电子设备及存储介质,其中,修正方法包括:获取相关检测帧的感测光信号发射总次数以及光子计数直方图中信号峰的峰值计数和半峰宽。利用相关检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据。利用所获得的所述飞行时间的偏移补偿数据对根据相关检测帧中对应信号峰测得的飞行时间进行修正。通过上述方式,本申请能够有效对所测得的飞行时间因堆积效应导致的偏移进行修正,提高距离检测的精确性。
Description
技术领域
本申请涉及ToF感测技术领域,特别是涉及飞行时间偏移的修正方法、ToF装置、电子设备及存储介质。
背景技术
飞行时间(Time of Flight,ToF)测量技术,就是利用时间相关单光子计数(Time-Correlated Single-Photon Counting,TCSPC)技术来测量场景中外部对象距离的一种测距方式。ToF装置按照预设的发射周期向测量场景发射感测光信号,通过光感器件,比如:单光子雪崩二极管(Single Photon Avalanche Diode, SPAD),感测来自测量场景的光信号并生成对应的光感应信号后,对光感应信号按感测时间进行计数,然后对光感应信号的计数做直方图统计,选取出现频率最高的感测时间作为感测光信号的飞行时间用来计算待测外部对象的距离或深度等三维信息。
然而,在一个发射周期内,单光子雪崩二极管通常在感测一次光子而发生雪崩淬灭后需要在下一个发射周期前进行重置才能再次感测光子。由此,若反射回来的感测光信号过强,在发射周期前段反射回来的感测光信号已使得大部分SPAD雪崩掉,会导致后续返回的感测光信号无法被感测而丢失计数。那么,得到的光子计数直方图会发生畸变,影响飞行时间测距的准确度。
发明内容
本申请主要解决的技术问题是提供飞行时间偏移的修正方法、ToF装置、电子设备及存储介质,能够改善现有技术中所测得的飞行时间存在误差的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种飞行时间偏移的修正方法,用于对基于时间相关单光子计数原理进行距离感测时存在的飞行时间偏移进行修正,该修正方法包括步骤:获取相关检测帧的感测光信号发射总次数以及相关检测帧的光子计数直方图中信号峰的峰值计数和半峰宽;利用相关检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,所述预设关联关系用于表征一个检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽与对应信号峰的飞行时间的偏移补偿数据之间的关系;利用所获得的所述飞行时间的偏移补偿数据对根据相关检测帧中对应信号峰测得的飞行时间进行修正。
为了解决上述技术问题,本申请采用的另一个技术方案是:提供一种ToF装置,被配置为对位于测量场景内的外部对象进行距离检测。该ToF装置包括发射组件、接收组件及处理电路。发射组件被配置为向测量场景发射感测光信号。接收组件被配置为感测来自测量场景中的光信号,并输出相应的光感应信号。处理电路连接所述发射组件和所述接收组件,被配置为所述光感应信号按照输出时间进行计数统计以生成随时间分箱分布的光子计数直方图,并根据所述光子计数直方图中信号峰对应的飞行时间获得所述测量场景中被测外部对象的距离信息。其中,所述处理电路还包括:特征数据获取单元、偏移补偿数据生成单元及修正单元。特征数据获取单元被配置为获取相关检测帧的特征数据。偏移补偿数据生成单元被配置为利用相关检测帧的特征数据根据预设关联关系获得相关检测帧中对应信号峰的飞行时间偏移补偿数据,所述预设关联关系用于表征一个检测帧的特征数据与根据对应信号峰测得的飞行时间的偏移补偿数据之间的关系。修正单元被配置为利用所获得的飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。
为了解决上述问题,本申请采用的又一个技术方案是:提供一种电子设备,该电子设备包括上述的ToF装置,所述电子设备被配置为根据ToF装置的检测结果实现相应的功能。
为了解决上述问题,本申请采用的再一个技术方案是:提供一种计算机可读的存储介质,该存储介质存储有计算机程序,计算机程序能够被处理器执行以实现上述的修正方法。
本申请的有益效果是:区别于现有技术的情况,通过设置一个检测帧内的感测光信号发射总次数、获得的光子计数直方图中信号峰的峰值计数及半峰宽等特征数据与对应信号峰的飞行时间的偏移补偿数据之间的预设关联关系,在获取相关检测帧的特征数据后可以根据预设关联关系获得与信号峰对应的飞行时间的偏移补偿数据,进而利用偏移补偿数据对根据相关检测帧中对应信号峰测得的飞行时间进行修正。由此,能够有效地改善感测光信号过强引起的堆积效应所导致的测得的飞行时间偏低的问题,使得修正后的飞行时间更为精确,以提升ToF装置的测距准确度,保证高效、精确地实现3D感测功能。
附图说明
图1是本申请电子设备实施例的电路结构示意框图;
图2是本申请ToF装置实施例的电路结构示意框图;
图3是本申请ToF装置实施例的一光子计数直方图的示意图;
图4是本申请ToF装置实施例在发生堆积效应下的光子计数直方图的示意图;
图5是本申请飞行时间偏移的修正方法实施例的流程示意图;
图6是本申请飞行时间偏移的修正方法实施例的半峰宽、最大峰值计数与堆积效应强度的关联关系的示意图;
图7是本申请飞行时间偏移的修正方法实施例的偏移量、半峰宽与堆积效应强度的关联关系的示意图;
图8是本申请计算机可读的存储介质实施例的电路结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的实施例提供了一种飞行时间偏移的修正方法,用于对基于时间相关单光子计数原理进行距离感测时存在的飞行时间偏移进行修正,该修正方法包括步骤:获取相关检测帧的感测光信号发射总次数以及相关检测帧的光子计数直方图中信号峰的峰值计数和半峰宽;利用相关检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,所述预设关联关系用于表征一个检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽与对应信号峰的飞行时间的偏移补偿数据之间的关系;利用所获得的所述飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。
可选地,在一些实施例中,所述预设关联关系通过对感测光信号的发射和接收过程进行多次测试所采用的多组特征数据及在各组特征数据下对应测得的飞行时间偏移量进行拟合而获得,所述特征数据包括检测帧的感测光信号发射总次数、检测帧的光子计数直方图中信号峰的峰值计数及半峰宽。
可选地,在一些实施例中,采用二阶函数进行拟合得到预设关联关系为:,其中,K为检测帧的光子计数直方图中信号峰的峰值计数,N为检测帧的感测光信号发射总次数,a、b和c为与信号峰的半峰宽F有关的系数,为对应测得的飞行时间的偏移量。
可选地,在一些实施例中,采用指数函数进行拟合得到的预设关联关系为:,其中,K为检测帧的光子计数直方图中信号峰的峰值计数,N为检测帧的感测光信号发射总次数,a、b和c为与信号峰的半峰宽F有关的系数,为对应测得的飞行时间偏移量。
可选地,将各组特征数据中的信号峰的半峰宽与相应的系数进行关联存储,获得对应相关检测帧中信号峰的飞行时间的偏移补偿数据的步骤还包括如下分步骤:匹配出与相关检测帧的信号峰半峰宽对应的预设关联关系中的系数;将匹配出的系数、相关检测帧的感测光信号发射总次数N以及光子计数直方图中信号峰的峰值计数K代入预设关联关系中计算出根据相关检测帧的信号峰测得的飞行时间的偏移补偿数据。
可选地,在一些实施例中,多组特征数据分别根据预设关联关系计算出相应的飞行时间的偏移补偿数据,并将各组特征数据与相应的飞行时间的偏移补偿数据以对照表的形式关联存储,由此,获得对应相关检测帧中信号峰的飞行时间的偏移补偿数据的步骤为:利用相关检测帧的特征数据在基于预设关联关系所得出的对照表中匹配出相应的飞行时间的偏移补偿数据。
本申请的实施例提供了一种ToF装置,被配置为对位于测量场景内的外部对象进行距离检测。该ToF装置包括发射组件、接收组件及处理电路。发射组件被配置为向测量场景发射感测光信号。接收组件被配置为感测来自测量场景中的光信号,并输出相应的光感应信号。处理电路连接所述发射组件和所述接收组件,被配置为所述光感应信号按照输出时间进行计数统计以生成随时间分箱分布的光子计数直方图,并根据所述光子计数直方图中信号峰对应的飞行时间获得所述测量场景中被测外部对象的距离信息。其中,所述处理电路还包括:特征数据获取单元、偏移补偿数据生成单元及修正单元。特征数据获取单元被配置为获取相关检测帧的特征数据。偏移补偿数据生成单元被配置为利用相关检测帧的特征数据根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间偏移补偿数据,所述预设关联关系用于表征一个检测帧的特征数据与根据对应信号峰测得的飞行时间的偏移补偿数据之间的关系。修正单元被配置为利用所获得的飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。
本申请的实施例提供一种电子设备,该电子设备包括上述的ToF装置,所述电子设备被配置为根据ToF装置的检测结果实现相应的功能。
本申请的实施例提供一种计算机可读的存储介质,该存储介质存储有计算机程序,计算机程序能够被处理器执行以实现上述的修正方法。
如图1所示,本申请实施例描述的电子设备100可以为具有飞行时间(Time ofFlight,ToF)测距功能的电子设备100,可以用于三维(3D)信息感测或者空间距离测定,例如具体可以用于人脸识别、手势识别、姿势或动作识别、自动驾驶、机器视觉、物体识别,场景建模、增强现实(Augmented Reality, AR)/虚拟现实(Virtual Reality, VR)、测距、接近感测、即时定位和地图构建(Simultaneous Localization and Mapping, SLAM)或3D图绘制等。电子设备100可以包括智能手机、平板电脑、计算机、笔记本电脑、台式电脑、智能可穿戴设备、智能门锁、车载电子设备、医疗、航空等有三维(3D)信息感测功能需求的设备或者装置。
电子设备100可以是基于直接飞行时间(direct Time of Flight, dToF)技术的设备,也可以是基于间接飞行时间(indirect Time of Flight, iToF)技术的设备。以下以基于dToF技术的电子设备100进行示例性的描述。
dToF技术是基于时间相关单光子计数(Time-Correlated Single PhotonCounting,TCSPC)原理测量场景中外部对象距离的一种测距方式。TCSPC可以通过重复发射和接收感测光信号,对光子事件(如单个光子被接收)的时间信息进行统计分析,以获得反射感测光信号的外部对象的相关三维信息。
以下对电子设备100的一种示例性结构进行描述:
如图1所示,电子设备100可以包括处理器110和存储器120。处理器110与存储器120耦接。
处理器110可以用于控制电子设备100的操作,处理器110还可以为中央处理单元(Central Processing Unit,CPU)。处理器110可能是一种集成电路芯片,具有信号的处理能力。处理器110还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、图像处理器(ISP)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器110也可以是任何常规的处理器等。
存储器120可以用于存储计算机程序,可以是随机存取存储器(Random AccessMemory, RAM),也可以是只读存储器(Read-Only Memory, ROM),或者其他类型的存储设备。具体地,存储器120可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。在一些实施例中,存储器120中的计算机可读存储介质用于存储至少一条程序代码。存储器120中存储的计算机程序能够被处理器110执行,进而可以控制电子设备100的运行,实现相关的操作和功能。
其中,ROM例如可以是可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM,EEPROM)或闪存。RAM用作外部高速缓存,例如可以是静态随机存取存储器(StaticRAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。
在一些实施例中,电子设备100还可以包括外围设备接口130和至少一个外围设备。处理器110、存储器120和外围设备接口130之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口130相连。具体地,外围设备可以包括射频电路140、显示屏150、音频电路160和电源170中的至少一种。
外围设备接口130可被用于将I/O(Input/output,输入/输出)相关的至少一个外围设备连接到处理器110和存储器120。可选地,在一些实施例中,处理器110、存储器120和外围设备接口130可以被集成在同一芯片或电路板上。可选地,在一些其他实施例中,处理器110、存储器120和外围设备接口130中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例不加以限定。
射频电路140用于接收和发射射频(Radio Frequency,RF)信号,也称电磁信号。射频电路140通过电磁信号与通信网络以及其他通信设备进行通信。可选地,射频电路140包括天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路140可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或无线保真(Wireless Fidelity,WiFi)网络。在一些实施例中,射频电路140还可以包括近距离无线通信(Near Field Communication,NFC)有关的电路,本申请对此不加以限定。
显示屏150用于显示用户界面(User Interface,UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏150是触摸显示屏时,显示屏150还具有采集在显示屏150的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器110进行处理。此时,显示屏150还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏150可以为一个,设置在电子设备100的前面板;在另一些实施例中,显示屏150可以为至少两个,分别设置在电子设备100的不同表面或呈折叠设计;在另一些实施方式中,显示屏150可以是柔性显示屏,设置在电子设备100的弯曲表面上或折叠面上。甚至,显示屏150还可以设置成非矩形的不规则图形,也即异形屏。显示屏150可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode , OLED)等材质制备。
音频电路160可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器110进行处理,或者输入至射频电路140以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器110或射频电路140的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路160还可以包括耳机插孔。
电源170用于为电子设备100中的各个组件进行供电。电源170可以是交流电、直流电、一次性电池或可充电电池。当电源170包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
如图1所示,电子设备100还可以包括ToF装置200,ToF装置200可以耦接至处理器110。
可选地,ToF装置200可以用于实现dToF功能,对测量场景中的外部对象进行探测以获得外部对象的三维(3D)信息。所述电子设备100被配置为根据ToF装置200获得的外部对象的三维信息实现相应的功能。
如图2所示,ToF装置200可以包括发射组件210、接收组件220以及处理电路230。处理电路230可以耦接电子设备100的处理器110,发射组件210和接收组件220分别耦接处理电路230。发射组件210被配置为向测量场景发射感测光信号以对测量场景内的外部对象进行三维检测,其中的部分感测光信号会被测量场景中的外部对象反射而返回,反射回来的感测光信号携带有所述外部对象的三维信息,而其中的一部分反射回来的感测光信号可以被所述接收组件220感测以用于获得外部对象的三维信息。接收组件220被配置为感测来自测量场景的光信号并输出相应的光感应信号,通过分析所述光感应信号可实现对测量场景内外部对象的距离检测。可以理解的是,接收组件220所感测的光信号可以为光子,例如包括被测量场景中的外部对象反射回来的感测光信号的光子以及测量场景的环境光的光子。所述处理电路230被配置为分析处理所述光感应信号以获得感测光信号被接收组件220感测到的时刻,并根据所述感测光信号的发射时刻与反射回来被感测时刻的时间差异来获得所述外部对象的三维信息。
可选地,发射组件210在一个检测帧内周期性地发射感测光信号N次,即一个检测帧可以包括N个感测光信号的发射周期。
可选地,感测光信号可以为具有预设频率的激光脉冲,发射组件210按照预设频率周期性地发射激光脉冲作为感测光信号。预设频率比如可以为10Hz-100MHz,进一步可以为1000HZ-10MHz,可以根据具体的情况进行相应的设置或调整,在此不做限定。
可选地,感测光信号例如为可见光、红外光或近红外光,波长范围例如为390纳米(nm)-780nm、700nm-1400nm、800nm-1000nm。
可选地,发射组件210可以包括光源211、驱动电路212和发射光学器件213。其中,光源211用于发射感测光信号。光源211包括至少一个发光单元215,所述发光单元215被配置为发出所述感测光信号。可选地,所述发光单元215可以呈阵列排布,例如可以为M×N的发光单元215阵列,M、N均为大于1的自然数。可选地,所述发光单元215也可以其他合适的方式进行排布,例如:呈直线排布或者不规则地随机排布等,本申请对此不做具体限定。
可选地,发光单元215可以为垂直腔面发射激光器(Vertical Cavity SurfaceEmitting Laser, VCSEL)、边发射激光器(Edge Emitting Laser, EEL)、发光二极管(Light Emitting Diode, LED)、激光二极管(Laser Diode, LD)等形式的光源。其中,边发射激光器可以为法布里泊罗(Fabry Perot, FP)激光器、分布式反馈(DistributeFeedback, DFB)激光器、电吸收调制激光器(Electro-absorption Modulated, EML)等,本申请实施例对此不做限定。驱动电路212与光源211连接,用于驱动光源211发射感测光信号。
发射光学器件213被配置为将发光单元215发出的感测光信号沿预设的发射方向发出。可选地,发射光学器件213可以包括调制元件。调制元件可以用于对光源211发射的感测光信号进行调制,以调整投射出去的感测光信号在测量场景中的分布情况。调制元件例如为衍射光学元件(Diffractive Optical Element, DOE),可以用于对光源211发射的感测光信号进行衍射,以对感测光信号进行复制并扩展,使得经调制后的感测光信号能够覆盖到测量场景中更大的空间范围。在其他一些实施例中,调制元件还可以为柱透镜、光栅、微透镜阵列等光学器件,本申请对此不做限定。
可选地,发射光学器件213还可以包括准直器,准直器设置于光源211和调制元件之间,可以用于将光源211发射的感测光信号进行准直或者汇聚后传输至调制元件213。
可选地,发射光学器件213可以包括投射镜头,所述投射镜头可以包括一片透镜或多片透镜。所述投射镜头被配置为将发光单元215发出的感测光信号分别沿不同的预设发射方向发出,以照射测量场景中位于对应预设位置的检测区域。
至少部分感测光信号被测量场景中的外部对象反射回来后能够被接收组件220接收并感测到。经外部对象反射回来的感测光信号的发射时刻与被感测时刻之间的时间差被称为感测光信号的飞行时间t,通过计算反射回来被接收组件220感测到的感测光信号在飞行时间t内经过的距离可以获得反射该感测光信号的外部对象的距离信息D=(c*t)/2,c为光速。其中,感测光信号的飞行时间t可以通过对接收组件220感测到光子而产生的光感应信号的时间计数分布进行统计分析来获得。
接收组件220可以包括光电传感器221。可选地,光电传感器221可以包括单个感光像素225或多个感光像素225。多个感光像素225例如可以排列成像素阵列。感光像素225用于接收来自测量场景的光信号并输出相应的光感应信号。应理解的是,来自测量场景的光信号包括环境光的光子和被反射回来的感测光信号的光子。感光像素225包括至少一个光感器件。可选地,光感器件例如为电荷耦合元件(Charge-Coupled Device, CCD)、互补金属氧化物半导体(Complementary Meta1Oxide Semiconductor, CMOS),雪崩光电二极管(Avalanche Photon Diode, APD),单光子雪崩二极管(Single Photon Avalanche Diode,SPAD)、多个SPAD并联设置的硅光电倍增光(Silicon Photomultiplier, SiPM)和/或其他合适的光感器件。可选地,多个感光像素225之间也可以不呈阵列排布,例如可以呈不规则方式排布。
可选地,所述接收组件220具有与发射周期对应的检测周期。例如,所述感光像素225按照与发射周期相同的预设频率周期性执行感测,检测周期具有与发射周期一致的起始时刻和结束时刻,每发射一次感测光信号的同时感光像素225开始感测从测量场景返回的光子。
在一些实施例中,接收组件220包括与光电传感器221连接的信号放大器、信号整形电路、模数转换器(Analog-to-Digital Converter, ADC)等器件中的一种或多种组成的周边电路。可选地,周边电路也可以部分或全部集成在光电传感器221中。
接收组件220还可以包括接收光学器件223,接收光学器件223设置在光电传感器221的入光侧,被配置为将来自测量场景的光信号传播至光电传感器221进行感测。例如,所述接收光学器件223包括接收镜头。可选地,所述接收镜头可以包括一片透镜或多片透镜。
处理电路230用于处理接收组件220接收光子对应产生的光感应信号以获得外部对象的三维信息。在一些实施例中,处理电路230可以包括计数单元231、统计单元232、飞行时间获取单元233和距离获取单元234。
其中,计数单元231被配置为根据接收组件220感测到光信号而输出相应光感应信号的时间在对应的时间分箱内累积计数,时间分箱为计数单元231记录所述光感应信号产生时刻的时间单位Δt,能够反映所述计数单元231152对光感应信号进行时间记录的精度高低,时间分箱越细密表示记录时间的精度越高。
可选地,计数单元231可以包括时间数字转换器(Time-to-Digital Converter,TDC)和计数存储器,计数存储器具有根据时间分箱对应分配的计数存储空间。接收组件220每成功感测到一个光子会输出相应的光感应信号,TDC根据光感应信号的产生时刻在对应时间分箱的计数存储器内累计加一。例如,在ToF装置200的一个检测帧内,发射组件210可以重复发射感测光信号N次,接收组件220可对应执行N次光感测,具体的每一次感测可能感测得到光子,也可能感测不到光子,但每感测到一个光子,计数单元231根据感测到光子的时刻(亦即光感应信号的产生时刻)在对应时间分箱的计数存储器内累计加一。
在一些实施例中,统计单元232可被配置为对一个检测帧的N次感测在各个对应时间分箱的计数存储器内累计的光感应信号计数进行统计,以生成相应的光子计数直方图,如图3所示。其中,光子计数直方图的横坐标表示各个对应时间分箱的时间戳,光子计数直方图的纵坐标表示各个对应时间分箱内累计的光感应信号计数值。可选地,统计单元232可以为直方图电路。
在感测过程中,大量环境光的光子也会被接收组件220接收并感测而产生相应的光感应信号计数。由于环境光造成的光子事件是随机的,这些环境光的光子被感测而在各个时间分箱内留下计数的几率趋于相同,构成测量场景的噪音背底(Noise Level),在环境光较强的测量场景中,测得的噪音背底的平均水平相对较高,在环境光较弱的场景中,测得的噪音背底的平均水平相对较低。在此基础上,从测量场景内的外部对象反射回来的感测光信号被接收而对应产生的光感应信号计数叠加在噪音背底上,使得与该感测光信号被接收时刻对应的时间分箱内的光感应信号计数会明显高于其他时间分箱的光感应信号计数,进而形成光子计数直方图中突出的信号峰。可以理解的是,信号峰的计数高度会受到感测光信号的光发射功率、外部对象的反射率、ToF装置200的检测范围等因素的影响,信号峰的宽度会受到发射的感测光信号的脉宽、接收组件220的光感器件和TDC的时间抖动等因素的影响。由此,飞行时间获取单元233可以根据与信号峰的峰值对应的时间分箱的时间戳t1与产生该信号峰的相关感测光信号的发射时刻t0(图未示)之间的时间差获得被外部对象反射回来而被接收组件220感测到的相关感测光信号的飞行时间。距离获取单元234可被配置为根据由光子计数直方图确定的相关感测光信号的飞行时间获得反射相关感测光信号的外部对象与ToF装置200之间的距离信息,例如:测量场景中外部对象与ToF装置200之间的连线距离。
应理解的是,发射组件210与接收组件220并排相邻设置,发射组件210的出光面与接收组件220的入光面均朝向ToF装置200的同一侧,发射组件210与接收组件220的间距的取值范围例如可以为2毫米(mm)至20mm。由于发射组件210与接收组件220之间靠得比较近,感测光信号从发射组件210到外部对象的发射路径与反射后从外部对象到接收组件220的返回路径虽然不是完全相等,但两者均远大于发射组件210与接收组件220的间距,可以视为近似相等。由此,可以根据被外部对象反射回来的感测光信号的飞行时间t的一半与光速c的乘积来计算外部对象与ToF装置200之间的距离信息。
图3中示意出各时间分箱上的光子计数分布情况,噪音背底一般是由于环境光引起的,在环境光较弱的情况下,噪音背底不会影响信号峰的分辨。因此,仍能够清楚地分辨出信号峰。信号峰的峰值所对应的时间分箱即可作为该检测帧所感测到的与外部对象距离相关的感测光信号的飞行时间。
工作在盖革模式下的SPAD存在一定概率被光子触发雪崩效应而输出光感应信号。雪崩后的SPAD需要经过重置才能重新恢复至能够再次感测光子的盖革模式,而SPAD从开始雪崩至重新再恢复至盖革模式的时间段为无法感测光子的死区时间。由此,在发射组件210发出的感测光信号功率过高、外部对象反射率较高和/或被测外部对象距离较近等情况下,一个检测周期内较为靠前的时段会有大量被外部对象反射回来的感测光信号光子把光电传感器211中的大部分SPAD都雪崩掉而无法在该检测周期内再感测计数后续反射回来的感测光信号光子,从而导致所获得的光子计数直方图中信号峰的峰值位置发生前移的堆积效应(Pile Up Effect),也就是最后得出的飞行时间是偏小的,进而测量出的外部对象距离值也会比实际值小。
如图4所示,光子计数直方图中的虚线部分为没有发生堆积效应时信号峰的光子计数分布,实线打阴影部分为发生堆积效应时信号峰的光子计数分布。发生了堆积效应后,信号峰的峰值时间分箱的位置发生前移,导致测得的信号峰的峰值时间分箱小于实际上信号峰的峰值时间分箱,该检测帧获得的感测光信号的飞行时间值也发生对应地前移而偏小。
为了解决由于反射回来的光信号过强而引起的堆积效应,如图2所示,处理电路230还可以包括特征数据获取单元235、偏移补偿数据生成单元236和修正单元237。
特征数据获取单元235被配置为获取相关检测帧的感测光信号发射总次数N以及相关检测帧的光子计数直方图中信号峰的峰值计数K和半峰宽F等特征数据。偏移补偿数据生成单元236被配置为利用相关检测帧的感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,预设关联关系用于表征一个检测帧的感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F等特征数据与对应信号峰的飞行时间的偏移补偿数据之间的关系。修正单元237被配置为利用所获得的所述飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。
关于上述特征数据获取单元235的特征数据获取过程、偏移补偿数据生成单元236的偏移补偿数据生成过程以及修正单元237的修正过程可具体参见下述本申请飞行时间偏移的修正方法实施例详细描述,在此先不赘述。
在一些实施例中,处理电路230中的全部或其中的部分功能单元可以是固化在ToF装置200的存储器240内的固件或者是存储在存储器240内的计算机软件代码,并由对应的一个或多个处理电路230执行以控制相关部件来实现对应的功能。处理电路230包括但不限于应用处理器(Application Processor, AP)、中央处理器(Central Processing Unit,CPU)、微控制器(Micro Controller Unit, MCU)等。存储器240包括但不限于闪存(FlashMemory)、带电可擦写可编程只读存储介质(Electrically Erasable Programmable readonly memory, EEPROM)、可编程只读存储介质(Programmable read only memory, PROM)、硬盘等。
在一些实施例中,处理电路230的部分功能单元或全部功能单元也可以通过硬件来实现,例如通过下列技术中的任一项或者他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。可以理解的是,用来实现处理电路230功能的上述硬件可以设置在光电传感器221内。
在一些实施例中,上述处理电路230的部分或全部功能单元可以集成在光电传感器221中。可选地,光源211和驱动电路212也可以和光电传感器221集成在同一个芯片内。当然,还可以集成其他的相关电路与部件在光电传感器221内,上述仅为示例,并不构成对光电传感器221以及本实施例的限制。
在一些实施例中,电子设备100的存储器120内可以存储有相应的计算机程序,能够被处理器110执行以实现本申请公开的飞行时间偏移的修正方法,进而能够对因堆积效应导致测得的偏小的飞行时间进行修正。在另一些实施例中,ToF装置200的存储器240可以存储有相应的计算机程序,计算机程序能够被处理电路230所执行以实现如本申请实施例公开的飞行时间偏移的修正方法,进而能够对测得的偏小的飞行时间进行修正。
本申请实施例公开的飞行时间偏移的修正方法,可以改善由于反射回来的感测光信号过强引起的堆积效应而导致测得的飞行时间偏小的问题。
如图5所示,本申请实施例公开的飞行时间偏移的修正方法,可以在上述提及的处理器110或者处理电路230中执行,包括如下步骤:
步骤S100:获取相关检测帧的感测光信号发射总次数N以及相关检测帧的光子计数直方图中信号峰的峰值计数K和半峰宽F。步骤S200:利用相关检测帧的感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,预设关联关系用于表征检测帧的感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F等特征数据与对应信号峰的飞行时间的偏移补偿数据之间的关系。步骤S300:利用所获得的飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。应理解的是,与信号峰对应的飞行时间指的是根据信号峰中具有峰值计数K的时间分箱的位置确定的感测光信号回波的飞行时间。
由于光子计数直方图中信号峰的峰值计数K和半峰宽F以及感测光信号的发射次数N与堆积效应强度Q之间具有第一关联关系,而堆积效应强度Q与根据信号峰测得的飞行时间的偏移程度之间具有第二关联关系。因此,相关检测帧的感测光信号的发射次数N、信号峰的峰值计数K及半峰宽F与根据相关检测帧的对应信号峰测得的飞行时间的偏移程度之间具有递进的关联关系。
如此,通过设置一个检测帧的感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F与对应信号峰的飞行时间的偏移补偿数据之间的预设关联关系,在获取相关检测帧的感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F后可以根据预设关联关系获得与信号峰对应的飞行时间的偏移补偿数据,进而利用偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。由此,能够有效地改善感测光信号过强引起的堆积效应导致所测得的飞行时间偏低的问题,使得修正后的飞行时间更为精确,以提升ToF装置200的测距准确度,保证高效、精确地实现3D感测功能。
以下为本申请实施例公开的飞行时间偏移的修正方法的示例性描述。
步骤S100:获取相关检测帧的感测光信号发射总次数N以及相关检测帧的光子计数直方图中信号峰的峰值计数K及半峰宽F。
相关检测帧的感测光信号发射总次数N可以为发射组件210在相关检测帧内发射感测光信号的总次数。可选地,感测光信号可以为激光脉冲,感测光信号的发射总次数可以为一个检测帧内发射激光脉冲的脉冲个数。相关检测帧指的是需要进行飞行时间修正的检测帧。
在ToF装置200完成一个检测帧的检测后,通过处理电路230的处理可以输出该检测帧的光子计数直方图,进而可以从该检测帧的光子计数直方图中获取到信号峰的峰值计数K和半峰宽F。应理解的是,光子计数直方图中的信号峰可以为包括多个连续分布的时间分箱的时间分箱组合,所述时间分箱组合中的多个时间分箱的光子计数值超过噪音背底且呈高斯分布。信号峰的峰值计数K可以为对应的时间分箱组合中单个时间分箱具有的最高光子计数值。
信号峰的半峰宽F可以为与该信号峰的峰值计数K的一半所对应的时间分箱之间的间隔宽度。
信号峰在具有峰值计数K的时间分箱两侧分别各有一个半峰位置,两个半峰位置在光子计数直方图中对应的计数值为峰值计数K的一半,即为K/2,两个半峰位置之间的间隔宽度定义为半峰宽F。分别位于峰值计数K所在的时间分箱与两个半峰位置之间的时间分箱的光子计数都大于K/2。若在两个半峰位置恰好有对应光子计数值为K/2的两个时间分箱,则该两个时间分箱的位置就是两个半峰位置,半峰宽就是该两个时间分箱之间的间隔宽度。
若对应位于两个半峰位置上的两个时间分箱的光子计数值不为K/2,则两个半峰位置以及半峰宽还可以通过多种方式计算得出,以下示例性地介绍其中两种:
(1)差值计算
通过差值方式找出两个半峰位置。既然半峰计数为K/2且邻近峰值计数K的位置没有恰好光子计数值为K/2的两个时间分箱,那么位于峰值计数K对应的时间分箱之前的半峰位置必然是位于一个光子计数值低于K/2的时间分箱与光子计数值高于K/2的时间分箱之间,同理,位于峰值计数K对应的时间分箱之后的半峰位置必然也是位于一个光子计数值低于K/2的时间分箱和光子计数值高于K/2的时间分箱之间。
具体地,峰值计数K对应的时间分箱往前找第一个光子计数值小于K/2的时间分箱,比如记为i,第i个时间分箱的光子计数值H[i]小于K/2,那么第i+1个时间分箱的光子计数值H[i+1]必然是大于K/2。位于峰值计数K对应的时间分箱之前的半峰位置则位于i和i+1之间,比如记为i+x,x取值小于1。
利用差值公式x=(K/2-H[i])/(H[i+1]-H[i]),如此就可以计算出i+x。
同理,峰值计数K对应的时间分箱往后找第一个光子计数值比K/2小的时间分箱,比如记为m,第m个时间分箱的计数H[m]小于K/2,那么第m-1个时间分箱的光子计数值H[m-1]必然是大于K/2。峰值计数K对应的时间分箱之后的半峰位置则位于m-1和m之间,比如记为m-y,y取值小于1。
利用差值公式y=(K/2-H[m])/(H[m-1]-H[m]),如此就可以计算出m-y。
在计算出m-y以及i+x之后,半峰宽F=(m-y)-(i+x)。
(2)模拟曲线
模拟绘制出光子计数直方图所对应的曲线,比如可以在光子计数直方图中将表示各相邻时间分箱的光子计数值高低的柱体顶点采用圆滑曲线进行连接,绘制成光子计数直方图对应的曲线,在曲线图中可以计算得出信号峰的峰值计数K的一半所对应的间隔宽度,即为半峰宽F。
应理解的是,光子计数直方图的横坐标表示各个对应时间分箱的时间戳,由此半峰宽F的单位为时间单位。
应理解的是,在一些实施例中,对于检测多个外部对象的测量场景,获得的光子计数直方图中可以对应出现多个信号峰。对此,针对每个信号峰的飞行时间修正需要根据该信号峰的特征数据:比如该信号峰的峰值计数K及半峰宽F等,来获得对应信号峰的飞行时间的偏移补偿数据。
步骤S200:利用相关检测帧的感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,预设关联关系用于表征一个检测帧的感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F与对应信号峰的飞行时间的偏移补偿数据之间的关系。
可选地,预设关联关系可以预先设置在ToF装置200内,比如在ToF装置200以及包括ToF装置200的电子设备100实际应用之前,提前写入处理电路230或者存储器240。应理解的是,在ToF装置200以及包括ToF装置200的电子设备100使用的过程中也可以允许修改或更新其内预置的预设关联关系。
可选地,预设关联关系可以通过对感测光信号发射和接收过程进行多次测试获得,所述测试可以为在搭建的真实场景中用ToF装置200进行发射和接收的实验,也可以是在计算机模拟环境中进行的仿真测试,仿真模拟的方式例如可采用蒙特卡洛仿真,本申请对此不做具体限定。
例如,可以通过对感测光信号的重复发射和接收过程进行测试,利用测试获得的多组数据拟合出感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F与对应信号峰的飞行时间的偏移程度之间的关联关系。
在单个检测帧内,ToF装置200可以重复发射感测光信号N次,对应感测并记录到次被反射回来的感测光信号光子,通过对次记录的光子感测时刻进行统计可得到光子计数直方图,反应了光感器件被发射的感测光信号触发的频率。如前所述,反射率高的外部对象或者外部对象距离较近会使得较大,也就更容易导致堆积效应,换言之堆积效应强度就较高。如此可知,越高说明被外部对象反射回去的感测光信号越强,所导致的堆积效应也就越严重。以单次发射感测光信号后感测到的感测光信号光子个数的数学期望值Q定义堆积效应强度,堆积效应强度Q与感测光信号被感测的频率之间的关系可以表示为:
其中,为一个检测帧内的感测光信号总计数的数学期望值。显然,堆积效应强度Q越高或者感测光信号发射总次数N越多,得到的感测光信号总计数就会越高,得到的光子计数直方图中信号峰的峰值计数K也会越高。由于感测光信号总计数为整个信号峰的时间分箱组合中各个时间分箱内的感测光信号光子计数总和,信号峰越宽,信号峰的峰值计数K就会被相对拉低。
图6模拟了不同脉宽的感测光信号回波对应形成的光子计数直方图中信号峰的峰值计数K与堆积效应强度Q之间的关系,其中σ为感测光信号随时间分布的标准差。由于反射回来的感测光信号强度呈高斯分布,对于符合高斯分布的模型而言,感测光信号强度随时间分布的标准差σ与信号峰的半峰宽F之间的关系可以表示为:
由此,通过综合考虑光子计数直方图中信号峰的峰值计数K及半峰宽F,可以判断感测光信号导致的堆积效应强度Q。从图6中可以看出,信号峰的峰值计数K及半峰宽F(体现为图6中的标准差σ)与堆积效应强度Q之间的关联关系为:在信号峰的半峰宽F一定的情况下,信号峰的峰值计数K越大,堆积效应强度Q相应越大;而对于相同的峰值计数K的信号峰,半峰宽越大,堆积效应强度Q相应越大。
根据堆积效应强度Q和信号峰的半峰宽F并考虑接收组件220的光电传感器221特性,比如一个检测周期内一个感光像素225仅感测一个光子,可以通过测试获得信号峰的峰值位置因堆积效应所导致的偏移。
具体的测试过程可以参见如下示例性步骤:
步骤一:在已知的预设距离下按照设置的多组特征参数分别进行多次测试,并对应获得每次测试的光子计数直方图。特征参数比如包括所发射的感测光信号的脉宽及感测光信号的发射总次数N等。
应理解的是,开始测试前事先设置好外部对象与ToF装置200之间的预设距离,在预设距离已知的情况下,结合光速和预设距离可以对应得出在没有堆积效应下感测光信号准确的实际飞行时间。
应理解的是,每次测试包括至少一个检测帧,并获得对应的光子计数直方图。各次测试可以搭配不同的感测光信号特征参数进行以获得与堆积效应强度Q之间的关联关系,例如:保持感测光信号的脉宽不变,搭配不同的每帧发射总次数N 来获得相同半峰宽F情况下信号峰的峰值计数K随堆积效应强度Q变化的关联关系。
步骤二:对通过各次测试得到的光子计数直方图进行分析,以获得其中与预设距离对应的信号峰的峰值计数K及半峰宽F等特征数据,这些特征数据与测试所采用的感测光信号导致的堆积效应强度Q相关。
具体而言,通过计数单元231和统计单元232的处理可获得各检测帧对应的光子计数直方图,通过特征数据获取单元235对各光子计数直方图的分析可获取其中信号峰的峰值计数K及半峰宽F等特征数据。
步骤三:从各测试的光子计数直方图中获得与信号峰对应的测试飞行时间并与预设距离对应的实际飞行时间进行比较,以得出在各不同的堆积效应强度Q下对应的飞行时间偏移量。可以理解的是,所得到的飞行时间偏移量可以作为在对应堆积效应强度Q下对测得的飞行时间进行修正的偏移补偿数据。
具体而言,可通过飞行时间获取单元233从各测试的光子计数直方图中获得与其中的信号峰对应的测试飞行时间。由于各测试分别在不同的堆积效应强度Q下进行,将从各测试中测得的测试飞行时间与预设距离对应的实际飞行时间进行比较可得到不同堆积效应强度Q导致的飞行时间前移的偏移量△。
例如,假设与预设距离对应的实际飞行时间为100个时间分箱,根据测试获得的光子计数直方图测得的测试飞行时间为98个时间分箱,则可以得到该测试的堆积效应强度Q会导致测得的飞行时间前移的偏移量△为2个时间分箱,该偏移量△即为对在上述堆积效应强度Q下测得的飞行时间进行修正的偏移补偿数据。
如此,可获得每次测试相关的特征数据,包括:感测光信号的发射总次数N、对应光子计数直方图中信号峰的峰值计数K及半峰宽F,以及该次测试所测得的飞行时间偏移量△。
步骤四:拟合出各次测试的相关特征数据与对应获得的飞行时间偏移量△之间的关联关系。
如图6所示,根据上述特征数据可确定对应测试的堆积效应强度Q。将在各次测试中测得的飞行时间偏移量△按照各次测试所发射的感测光信号的脉宽进行拟合,可得到如图7所示的各次测试的堆积效应强度Q与所导致的飞行时间偏移量△之间的关联关系。从图7中可以得出:在信号峰的半峰宽F一定的情况下,根据信号峰测得的飞行时间的偏移量△与堆积效应强度Q成正相关的关联关系;而在相同的堆积效应强度Q下,信号峰的半峰宽F越大则根据信号峰测得的飞行时间的偏移量△也相应越大。
由此可见,各次测试的特征数据,比如:感测光信号发射总次数N、对应获得的光子计数直方图中信号峰的峰值计数K及半峰宽F三者与测试的堆积效应强度Q之间具有第一关联关系,而测试的堆积效应强度Q与根据信号峰测得的飞行时间的偏移量△之间具有第二关联关系。换言之,感测光信号发射总次数N、对应获得的光子计数直方图中信号峰的峰值计数K及半峰宽F三者与根据信号峰测得的飞行时间的偏移量△之间具有递进的关联关系。
进一步地,可以通过各次测试获得的多组特征数据与根据信号峰测得的飞行时间的偏移量△进行拟合得到上述递进关联关系作为所述预设关联关系。
可选地,在一些实施例中,各次测试可以采用相同的一个预设距离来获得用于拟合的多组特征数据与对应测得的飞行时间的偏移量△。
可选地,在其他一些实施例中,为了能够得出更为精确且普适性更强的预设关联关系,可以针对至少两个不同的预设距离进行测试,每个预设距离可以至少进行一个检测帧的测试,进而可以得到针对至少两个不同的预设距离的多组特征数据及对应测得的飞行时间偏移量△,以此拟合出特征数据与对应测得的飞行时间偏移量△之间的预设关联关系。
可选地,特征数据与感测光信号相关,可表示由感测光信号导致的堆积效应强度Q的大小。特征数据例如包括:感测光信号的发射总次数、所获得的光子计数直方图中信号峰的峰值计数K及半峰宽F等。
如前所述,各次测试的特征数据与所构建的堆积效应强度Q成正相关的关系,而各次测试的堆积效应强度Q与对应导致的飞行时间偏移量△也成正相关的关系。由此,可利用二阶函数或指数函数对各次测试获得的多组特征数据与对应测得的飞行时间偏移量△进行拟合,以得出预设关联关系。
由此,可以针对不同的半峰宽F分别通过多次测试获取多组相关的信号峰的峰值计数K、感测光信号发射总次数N及飞行时间偏移量,再通过拟合的方式获得对应不同半峰宽F的系数a、b和c。例如,对于半峰宽F1、F2……Fn分别对应获得的系数为a1、b1和c1,a2、b2和c2,……,an、bn和cn。
在得到上述预设关联关系后,在ToF装置200的实际工作中,可以通过特征数据获取单元235获得相关检测帧的感测光信号发射总次数N,光子计数直方图中信号峰的峰值计数K以及半峰宽F等特征数据,再利用预设关联关系就可以得到对应的飞行时间偏移量作为对测得的飞行时间进行修正的偏移补偿数据。利用预设关联关系获得偏移补偿数据的方式有多种,以下示例性描述其中两种,但并不仅限制于此。
第一种方式:
(1)确定预设关联关系中与信号峰的半峰宽F对应的系数。
可选地,通过将信号峰的半峰宽F和系数相互关联的方式,以利用相关检测帧的信号峰半峰宽F匹配出相应的预设关联关系的系数。例如,可以将信号峰的半峰宽F与相应的系数进行关联存储。
在一些实施例中,针对于上述第一种方式,获得飞行时间的偏移补偿数据的步骤S200可以包括如下分步骤:
步骤S210:匹配出与相关检测帧的信号峰半峰宽F对应的预设关联关系中的系数。
在上述步骤S100获得相关检测帧的感测光信号发射总次数N、相关检测帧的光子计数直方图中信号峰的峰值计数K及半峰宽F后,可以利用信号峰的半峰宽F在上述关联存储中匹配出相应的预设关联关系的系数。例如,F1可以匹配出a1、b1和c1。
步骤S211:将匹配出的系数、相关检测帧的感测光信号发射总次数N以及获得的光子计数直方图中信号峰的峰值计数K代入预设关联关系中计算出根据相关检测帧的信号峰测得的飞行时间的偏移补偿数据。
在实际应用中,匹配出系数后,可以将感测光信号发射总次数N、信号峰的峰值计数K以及系数代入到预设关联关系中计算出相应的飞行时间的偏移补偿数据,如此能够提升处理效率和修正响应度,减少延迟。
第二种方式:
(1)利用各次测试获得的多组感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F等特征数据在预设关联关系中计算出相应的飞行时间的偏移补偿数据。
在得出上述预设关联关系后,将各次测试获得的多组感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F代入预设关联关系计算出相应的飞行时间的偏移补偿数据。例如,N1,K1和F1,……,Nn,Kn和Fn各自对应的飞行时间的偏移补偿数据的补偿量为,……,。
(2)将各组感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F与相应的飞行时间的偏移补偿数据相互关联起来。
在得出相应的飞行时间偏移补偿数据后,可选地,可以将感测光信号发射总次数N、光子计数直方图中信号峰的峰值计数K及半峰宽F与相应的飞行时间的偏移补偿数据以对照表的形式进行关联存储。
(3)根据实际测量中相关检测帧的特征数据,从上述对照表中获得对应的飞行时间的偏移补偿数据。
由此,在进行实际测量时,可以将相关检测帧的感测光信号发射总次数N、相关检测帧的光子计数直方图中信号峰的峰值计数K及半峰宽F在对照表中查询出与相关检测帧的特征数据相匹配的飞行时间的偏移补偿数据。通过预先以对照表的形式进行关联存储,在实际应用中可以无需进行实时计算,能够节省处理资源和时间,提升处理效率。
在一些实施例中,针对于上述第二种方式,获得飞行时间的偏移补偿数据的步骤S200可以为:
步骤S220:利用相关检测帧的感测光信号发射总次数N、相关检测帧的光子直方图中信号峰的峰值计数K和半峰宽F在基于预设关联关系所得出的对照表中匹配出相应的飞行时间的偏移补偿数据,可用于对根据相关检测帧中对应信号峰测得的飞行时间进行修正。
在实际使用之前就事先计算出各种特征数据下对应的飞行时间的偏移补偿数据并以对照表的形式进行关联,进而在实际测量时可以利用相关检测帧的特征数据直接匹配出相应的飞行时间的偏移补偿数据,能够极大地提高处理速度以及效率,提高补偿的响应度,减少延迟。
步骤S300:利用所获得的飞行时间的偏移补偿数据对根据相关检测帧中信号峰测得的飞行时间进行修正。
由于ToF装置200在堆积效应影响下所获得的光子计数直方图中信号峰的峰值位置出现前倾而导致测得的飞行时间偏低,可以利用获得的与相关检测帧的特征数据对应的飞行时间的偏移补偿数据对所测得的飞行时间进行修正。例如,
将测得的飞行时间加上所获得的相应飞行时间的偏移补偿数据,得出处理后的准确的飞行时间。如此,利用与预先测试好的特征数据对应的飞行时间的偏移补偿数据能够有效地修正因感测光信号过强引起的堆积效应所导致的飞行时间偏低的问题,进而提升处理后的飞行时间的精确度,能够更加精确地测量出外部对象的空间距离或深度。
综上所述,通过设置表征检测帧内的感测光信号发射总次数N、信号峰的峰值计数K及半峰宽F与飞行时间的偏移补偿数据之间关系的预设关联关系,能够在获取到相关检测帧的感测光信号发射总次数N、相关检测帧的光子计数直方图中信号峰的峰值计数K及半峰宽F后在预设关联关系中得到相应的飞行时间偏移补偿数据,进而对相关检测帧测得的飞行时间进行修正和补偿,以有效地改善由于感测光信号过强引起的堆积效应所导致的飞行时间偏低的问题,使得修正后的飞行时间更为精确,提升ToF装置200的测距准确度,保证高效、精确地实现3D感测功能。
在ToF装置200或者包括ToF装置200的电子设备100出厂之前,可以通过在不同特征数据下进行多组测试,以得到由这些特征数据引起的堆积效应强度所导致的飞行时间偏移补偿数据与对应特征数据之间的关联关系,并将得到的关联关系预先设置在ToF装置200或者电子设备100中。由此,可以在ToF装置200或电子设备100的实际使用时可以根据相关检测帧的特征数据快速匹配到合适的飞行时间偏移补偿数据对所测得的飞行时间进行修正,有效地修正由于堆积效应所导致的测距误差。
本申请所提供的几个实施例中,应该理解到,所揭露的电子设备100、ToF装置200和飞行时间偏移的修正方法,可以通过其它的方式实现。例如,以上所描述的各实施例仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中描述的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
参阅图8,上述飞行时间偏移的修正方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读的存储介质300中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令/计算机程序用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所公开方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
关于计算机可读的存储介质中的计算机程序的执行过程的阐述可以参照本申请公开的上述飞行时间偏移的修正方法的实施例,在此不再赘述。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均包括在本申请的专利保护范围内。
Claims (10)
1.一种飞行时间偏移的修正方法,其特征在于,用于对基于时间相关单光子计数原理进行距离感测时由于堆积效应而导致的飞行时间偏移进行修正,包括如下步骤:
获取相关检测帧的感测光信号发射总次数以及相关检测帧的光子计数直方图中信号峰的峰值计数和半峰宽;
利用相关检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,所述预设关联关系用于表征一个检测帧的感测光信号发射总次数、信号峰的峰值计数及半峰宽与对应信号峰的飞行时间的偏移补偿数据之间的关系;其中,所述预设关联关系通过对感测光信号的发射和接收过程进行多次测试所采用的多组特征数据及在各组特征数据下对应测得的飞行时间偏移量进行拟合而获得,所述特征数据包括检测帧的感测光信号发射总次数、检测帧的光子计数直方图中信号峰的峰值计数及半峰宽;
利用所获得的所述飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正。
4.根据权利要求2或3所述的修正方法,其特征在于:将各组特征数据中的信号峰的半峰宽与相应的系数进行关联存储,获得对应相关检测帧中信号峰的飞行时间的偏移补偿数据的步骤还包括如下分步骤:
匹配出与相关检测帧的信号峰半峰宽对应的预设关联关系中的系数;
将匹配出的系数、相关检测帧的感测光信号发射总次数N以及光子计数直方图中信号峰的峰值计数K代入预设关联关系中计算出根据相关检测帧的信号峰测得的飞行时间的偏移补偿数据。
5.根据权利要求2或3所述的修正方法,其特征在于:多组特征数据分别根据预设关联关系计算出相应的飞行时间的偏移补偿数据,并将各组特征数据与相应的飞行时间的偏移补偿数据以对照表的形式关联存储,由此,获得对应相关检测帧中信号峰的飞行时间的偏移补偿数据的步骤为:
利用相关检测帧的特征数据在基于预设关联关系所得出的对照表中匹配出相应的飞行时间的偏移补偿数据。
6.一种ToF装置,其特征在于,被配置为对位于测量场景内的外部对象进行距离检测,包括:
发射组件,被配置为向测量场景发射感测光信号;
接收组件,被配置为感测来自测量场景中的光信号,并输出相应的光感应信号;及
处理电路,连接所述发射组件和所述接收组件,被配置为对所述光感应信号按照输出时间进行计数统计以生成随时间分箱分布的光子计数直方图,并根据所述光子计数直方图中信号峰对应的飞行时间获得所述测量场景中被测外部对象的距离信息;
其中,所述处理电路还包括:
特征数据获取单元,被配置为获取相关检测帧的特征数据,所述特征数据包括检测帧的感测光信号发射总次数、检测帧的光子计数直方图中信号峰的峰值计数及半峰宽;
偏移补偿数据生成单元,被配置为利用相关检测帧的特征数据根据预设关联关系获得与相关检测帧中信号峰对应的飞行时间的偏移补偿数据,所述预设关联关系用于表征一个检测帧的感测光信号发射总次数、检测帧的光子计数直方图中信号峰的峰值计数及半峰宽与根据对应信号峰测得的飞行时间的偏移补偿数据之间的关系;其中,所述预设关联关系通过对感测光信号的发射和接收过程进行多次测试所获得的多组特征数据及与各组特征数据对应的飞行时间偏移量进行拟合而获得;及
修正单元,被配置为利用所获得的飞行时间的偏移补偿数据对根据相关检测帧中的对应信号峰测得的飞行时间进行修正,以能够用于对由于堆积效应而导致的飞行时间偏移进行修正。
9.一种电子设备,其特征在于,包括根据权利要求6-8中任意一项所述的ToF装置,所述电子设备被配置为根据ToF装置的检测结果实现相应的功能。
10.一种计算机可读的存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-5任一项所述的飞行时间偏移的修正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210406193.5A CN114509740B (zh) | 2022-04-18 | 2022-04-18 | 飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210406193.5A CN114509740B (zh) | 2022-04-18 | 2022-04-18 | 飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114509740A CN114509740A (zh) | 2022-05-17 |
CN114509740B true CN114509740B (zh) | 2022-08-09 |
Family
ID=81555300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210406193.5A Active CN114509740B (zh) | 2022-04-18 | 2022-04-18 | 飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114509740B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114637020B (zh) * | 2022-05-18 | 2022-08-23 | 杭州宇称电子技术有限公司 | 一种用于飞行时间法距离测量的抗环境光方法 |
CN117741682A (zh) * | 2024-02-19 | 2024-03-22 | 荣耀终端有限公司 | 距离检测方法、测距系统、电子设备及可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018091760A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | 光学測定装置、光学測定方法、及び光学測定プログラム |
CN109633670A (zh) * | 2018-10-25 | 2019-04-16 | 上海无线电设备研究所 | 一种利用接收信号宽度修正测量误差的激光脉冲测距方法 |
CN111742241A (zh) * | 2018-02-20 | 2020-10-02 | 株式会社电装 | 光测距装置 |
CN112363149A (zh) * | 2020-11-06 | 2021-02-12 | 深圳奥锐达科技有限公司 | 激光雷达的测距误差标定系统和标定方法 |
CN112946675A (zh) * | 2021-01-28 | 2021-06-11 | 深圳奥锐达科技有限公司 | 一种基于时间融合的距离测量方法、系统和设备 |
CN113433563A (zh) * | 2020-03-06 | 2021-09-24 | 宁波飞芯电子科技有限公司 | 测距方法及测距装置 |
CN113484870A (zh) * | 2021-07-20 | 2021-10-08 | Oppo广东移动通信有限公司 | 测距方法与装置、终端及非易失性计算机可读存储介质 |
CN113661407A (zh) * | 2019-04-02 | 2021-11-16 | ams国际有限公司 | 测量飞行时间传感器中的光学串扰的方法和对应的飞行时间传感器 |
CN113848558A (zh) * | 2020-06-28 | 2021-12-28 | 宁波飞芯电子科技有限公司 | 一种飞行时间距离测量系统及方法 |
WO2022022432A1 (zh) * | 2020-07-31 | 2022-02-03 | 宁波飞芯电子科技有限公司 | 探测装置及方法 |
CN114019478A (zh) * | 2021-09-22 | 2022-02-08 | 深圳阜时科技有限公司 | 光学检测装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11120104B2 (en) * | 2017-03-01 | 2021-09-14 | Stmicroelectronics (Research & Development) Limited | Method and apparatus for processing a histogram output from a detector sensor |
EP3415950B1 (de) * | 2017-06-13 | 2020-05-27 | Hexagon Technology Center GmbH | Distanzmesser mit spad-anordnung und range walk kompensation |
-
2022
- 2022-04-18 CN CN202210406193.5A patent/CN114509740B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018091760A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社豊田中央研究所 | 光学測定装置、光学測定方法、及び光学測定プログラム |
CN111742241A (zh) * | 2018-02-20 | 2020-10-02 | 株式会社电装 | 光测距装置 |
CN109633670A (zh) * | 2018-10-25 | 2019-04-16 | 上海无线电设备研究所 | 一种利用接收信号宽度修正测量误差的激光脉冲测距方法 |
CN113661407A (zh) * | 2019-04-02 | 2021-11-16 | ams国际有限公司 | 测量飞行时间传感器中的光学串扰的方法和对应的飞行时间传感器 |
CN113433563A (zh) * | 2020-03-06 | 2021-09-24 | 宁波飞芯电子科技有限公司 | 测距方法及测距装置 |
CN113848558A (zh) * | 2020-06-28 | 2021-12-28 | 宁波飞芯电子科技有限公司 | 一种飞行时间距离测量系统及方法 |
WO2022022432A1 (zh) * | 2020-07-31 | 2022-02-03 | 宁波飞芯电子科技有限公司 | 探测装置及方法 |
CN112363149A (zh) * | 2020-11-06 | 2021-02-12 | 深圳奥锐达科技有限公司 | 激光雷达的测距误差标定系统和标定方法 |
CN112946675A (zh) * | 2021-01-28 | 2021-06-11 | 深圳奥锐达科技有限公司 | 一种基于时间融合的距离测量方法、系统和设备 |
CN113484870A (zh) * | 2021-07-20 | 2021-10-08 | Oppo广东移动通信有限公司 | 测距方法与装置、终端及非易失性计算机可读存储介质 |
CN114019478A (zh) * | 2021-09-22 | 2022-02-08 | 深圳阜时科技有限公司 | 光学检测装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114509740A (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114509740B (zh) | 飞行时间偏移的修正方法、ToF装置、电子设备及存储介质 | |
US20170184704A1 (en) | Apparatus for making a distance determination | |
US11561085B2 (en) | Resolving multipath interference using a mixed active depth system | |
KR101675112B1 (ko) | 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치 | |
US11259002B2 (en) | Time-of-flight camera and proximity detector | |
US11187804B2 (en) | Time of flight range finder for a structured light system | |
US20130101176A1 (en) | 3d image acquisition apparatus and method of calculating depth information in the 3d image acquisition apparatus | |
KR20170017927A (ko) | 시간 공유를 이용한 자동적인 다수의 심도 카메라들 동기화 | |
US20160349359A1 (en) | Reduction in camera to camera interference in depth measurements using spread spectrum | |
CN112055820B (zh) | 利用不同发射场的飞行时间测距 | |
KR20120071970A (ko) | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 | |
KR102194237B1 (ko) | 깊이 영상 촬영 장치 및 깊이 정보 획득 방법 | |
WO2021169531A1 (zh) | 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备 | |
US20210116569A1 (en) | Range estimation for light detecting and ranging (lidar) systems | |
CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
US10884101B2 (en) | Crosstalk detection and compensation | |
WO2022241942A1 (zh) | 一种深度相机及深度计算方法 | |
CN112346076A (zh) | 电子装置的控制方法、电子装置及计算机可读存储介质 | |
CN111522024A (zh) | 解决飞行时间深度图像的多路径损坏 | |
WO2022188885A1 (zh) | 飞行时间测量方法、装置及时间飞行深度相机 | |
WO2023279620A1 (zh) | 一种itof测距系统及其相对精度的确定方法、装置、设备 | |
WO2022222290A1 (zh) | 一种消除屏下杂散光的方法、装置、屏下系统和存储介质 | |
CN115079193A (zh) | 光电检测装置、控制方法、电子设备及存储介质 | |
WO2022160622A1 (zh) | 一种距离测量方法、装置及系统 | |
CN114236504A (zh) | 一种基于dToF的探测系统及其光源调整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |