CN113296114A - dTOF深度图像的采集方法、装置、电子设备及介质 - Google Patents
dTOF深度图像的采集方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113296114A CN113296114A CN202110557552.2A CN202110557552A CN113296114A CN 113296114 A CN113296114 A CN 113296114A CN 202110557552 A CN202110557552 A CN 202110557552A CN 113296114 A CN113296114 A CN 113296114A
- Authority
- CN
- China
- Prior art keywords
- exposure
- measurement period
- sub
- exposure time
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000005259 measurement Methods 0.000 claims abstract description 390
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 16
- 230000003247 decreasing effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000002310 reflectometry Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 6
- 238000010791 quenching Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000000171 quenching effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种dTOF深度图像的采集方法、装置、电子设备及介质,属于计算机视觉技术领域。该方法包括:在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;根据第i个子测量周期对应的曝光时间,通过接收端接收光信号,测量周期中包含对应不同曝光时间的子测量周期,光信号中包含激光信号的反射光信号;响应于测量周期内各个子测量周期结束,基于接收到的光信号生成深度图像帧。可以兼顾同一视场内远近物体的测量精度,进一步可以增加同时探测视场内远、近距离目标的距离差,即提高了距离动态范围。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,特别涉及一种dTOF深度图像的采集方法、装置、电子设备及介质。
背景技术
随着三维(Three Dimensions,3D)技术的发展,立体显示、机器视觉和卫星遥感等应用场景中均需要获取场景的深度信息。目前,获取深度信息的原理可以分为双目测距、结构光和飞行时间(Time of Flight,TOF)三种,其中,TOF基于测距原理的不同又分为直接测量飞行时间(direct Time-of-Flight,dTOF)和间接测量飞行时间(indirect Time-of-Flight,iTOF)两种。
相关技术中,采用dTOF获取深度信息的过程为:发射端发射光能量集中的调制脉冲光,同时在该脉冲周期内打开接收端接收光子,经过多个脉冲周期的曝光后,接收端接收到数量足够多的光子,进而绘制出各个像素点(pixel)在一个脉冲周期不同时刻接收到光子数的分布直方图,基于分布直方图可恢复出待测目标的深度信息。该曝光方式可以同时接收到来自远距离目标和近距离目标反射的光信号,但是,距离过近时接收到的反射光过强,可能出现过曝而测量出错或发生堆积(pile up)效应,使近距离目标测量误差过大;若需要保证近距离测量准确,则必须减少dTOF发射的激光脉冲个数或者缩短曝光时间,但同时也会导致接收到远距离目标或低反射率目标的光子数不足,从而降低远距离目标或低反射率目标的信噪比与测量精度。
显然,采用目前的曝光方式无法兼顾同一视场内较远和较近不同距离的测量精度,从而导致深度图像采集设备的距离动态测量范围较小。
发明内容
本申请实施例提供了一种dTOF深度图像的采集方法、装置、电子设备及介质。所述技术方案如下:
一方面,本申请实施例提供了一种dTOF深度图像的采集方法,所述方法包括:
在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;
根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,所述测量周期中包含对应不同曝光时间的子测量周期,所述光信号中包含所述激光信号的反射光信号;
响应于所述测量周期内各个所述子测量周期结束,基于接收到的所述光信号生成所述深度图像帧。
另一方面,本申请实施例提供了一种dTOF深度图像的采集装置,所述装置包括:
发射模块,用于在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;
接收模块,用于根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,所述测量周期中包含对应不同曝光时间的子测量周期,所述光信号中包含所述激光信号的反射光信号;
生成模块,用于响应于所述测量周期内各个所述子测量周期结束,基于接收到的所述光信号生成所述深度图像帧。
另一方面,本申请实施例提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现如上述方面所述的dTOF深度图像的采集方法。
另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如上述方面所述的dTOF深度图像的采集方法。
另一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述方面的各种可选实现方式中提供的dTOF深度图像的采集方法。
本申请实施例提供的技术方案可以带来如下有益效果:
在深度图像的获取场景中,通过将单帧深度图像帧对应深度信息的测量周期划分为不同子测量周期,进而为不同子测量周期设置不同曝光时间,使得可以通过调整不同子测量周期的划分,或调整不同子测量周期对应的曝光时间,进而调整在同一测量周期内,远距离目标的总曝光时长和近距离目标的总曝光时长,使得近距离物体可以对应较短的总曝光时长,防止过曝和堆积效应,同时远距离物体相对于近距离物体对应有较长的总曝光时长,在防止过曝和堆积效应的同时保证了远距离目标的测量精度,从而可以兼顾同一视场内更远和更近物体的测量精度,进一步可以增加同时探测视场内远、近距离目标的距离差,从而提高了深度图像采集设备的距离动态范围。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了相关技术中单帧深度图像帧对应深度信息的测量时序图;
图2本申请一个示例性实施例示出的单帧深度图像帧对应的测量时序图;
图3示出了本申请一个示例性实施例提供的dTOF深度图像的采集方法的流程图;
图4示出了本申请另一个示例性实施例示出的单帧深度图像帧对应的测量时序图;
图5示出了本申请另一个示例性实施例提供的dTOF深度图像的采集方法的流程图;
图6示出了本申请一个实施例提供的曝光延迟时长的示意图;
图7示出了本申请另一个示例性实施例提供的dTOF深度图像的采集方法的流程图;
图8示出了本申请一个示例性实施例示出的曝光方式的调整流程图;
图9示出了本申请一个实施例提供的dTOF深度图像的采集装置的结构框图;
图10示出了本申请一个示例性实施例提供的电子设备的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中,如图1所示,其示出了相关技术中单帧深度图像帧对应深度信息的测量时序图。假设采集一帧深度图像帧对应的深度信息需要发射端(TX)发射N个激光脉冲,脉冲周期为Td,从一个激光脉冲发出到第二个激光脉冲发出的这段时间为一个脉冲周期。且针对单个激光脉冲,接收端(RX)的曝光时间为T(T为最大曝光时间),也就是说,在发射端发射激光脉冲的同时,接收端打开曝光等待接收反射光信号;且N个脉冲周期所对应的曝光时间均为T。
显然,采用上述曝光方式,每个脉冲周期内均可以接收到来自远距离目标和近距离目标反射的光信号,既可以测量远距离也可以测量近距离,但是,当目标距离过近且反射光较强时,可能会出现过曝现象而导致测量距离出错,或者可能会出现堆积效应,从而导致近距离目标测量误差较大,为了保证近距离目标测量的准确性,需要通过减少发射端发射的脉冲个数,以减少接收到的近距离目标的反射光,示意性的,若初始采集深度图像时,发射端通过发射1000个激光脉冲获取一帧深度图像,存在过曝现象,为了减少接收到的近距离目标的反射光,采集下一帧深度图像时,将发射端发射的脉冲个数调整为600个。通过减少采集每帧深度图像对应的激光脉冲个数,虽然可以减少接收到的近距离目标的反射光,但是同时也会减少接收到的远距离目标的反射光,从而导致接收到的远距离光子数不足,进而降低了远距离信噪比和测量精度。
显然,采用相关技术中的曝光方式无法兼顾同一视场内较远和较近不同距离目标的测量精度,距离动态范围较小。
基于相关技术中的问题,本实施例提供了一种获取深度图像的曝光方式,如图2所示,其示出了本申请一个示例性实施例示出的单帧深度图像帧对应的测量时序图。本实施例将一次测量周期分为三段子测量周期,其中,分别为不同的子测量周期设置不同的曝光时间,示意性的,分别设定m1段对应曝光时间T(T为最大曝光时间),m2段对应曝光时间T/2,m3段对应曝光时间T/4。在实际应用过程中,针对m1段,当TX开始发射激光脉冲,RX立刻打开曝光等待接收反射光,完成第一段曝光过程;针对m2段,RX延迟T/2的时间后,继续曝光T/2的时间;针对m3段,RX延迟T3/4的时间后,继续曝光T/4的时间。最后,统计N个激光脉冲下,单光子雪崩二极管(Single Photon Avalanche Diode,SPAD)被触发的总次数,绘制出各个像素点(pixel)在T不同时刻接收到光子数的分布直方图,并根据分布直方图峰值得到的飞行时间,进而获得该像素点对应的目标距离。
采用如图2所示的曝光方式,通过减少曝光周期为T的脉冲周期数(由原来的N减少为m1段),可以有效减少近距离接收到的光强;且m2、m3段曝光均仅接收脉冲周期后T/2或T/4反射回来的光子,同样可以有效减少近距离接收到的光强,同时由于每个子测量周期内均会接收到远距离反射的光强,使得在减少近距离接收到的光强的同时,不会减少远距离反射的光强,从而不会降低远距离测量的信噪比。使得可以同时兼顾远近距离目标的测量精度,同时进一步提高了距离动态范围。
请参考图3,其示出了本申请一个示例性实施例提供的dTOF深度图像的采集方法的流程图,本申请实施例以该方法应用于电子设备为例进行说明,该方法包括:
步骤301,在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数。
其中,测量周期指示测量单帧深度图像帧对应深度信息所需要的时间,以激光脉冲划分来看,即每个测量周期中包含固定数量的激光脉冲,比如,测量周期中包含N个激光脉冲。示意性的,测量周期可以是按照一定发射周期发射1000个激光信号(激光脉冲)的时间,发射周期为相邻两次激光脉冲的发射时间的时间差。
可选的,测量周期中包含的激光脉冲的个数与发射光功率、传感器(sensor)性能、待测目标反射率和环境光噪声强度等多个因素相关,在实际应用过程中,需要根据实际情况进行选择。示意性的,若发射光功率较低,为了保证接收端可以接收到较充足的反射光信号,在测量周期内可能需要发射较多的激光脉冲,反之,若发射功率较高,在测量周期内需要发射较少的激光脉冲;若待测目标反射率比较低,为了保证接收到较充足的反射光,也需要在测量周期内发射较多的激光脉冲,反之,在测量周期内无需发射较多的激光脉冲。
以dTOF原理获取待测目标的深度信息的过程中,需要发射端发射光能量集中的调制脉冲光(比如,激光信号),同时接收端在发射周期内打开曝光接收光子,经过多个脉冲周期的曝光后,通过统计单个像素点在整个测量周期内不同时刻接收到的光子数,绘制出该像素点对应的光子数分布直方图,并将光子数分布直方图中出现频率最高的接收时刻确定为该像素点对应的光飞行时间,进而基于该光飞行时间恢复出该像素点对应的深度距离信息。且相关技术中,对于测量周期内各个发射周期均采用相同的曝光时间,在进行曝光时间的调整时,测量周期内的曝光时间也对应同步调整,会使得在调节过程中无法同时兼顾近距离测量精度和远距离测量精度,比如,若曝光时间缩短,会使得远距离接收到的光子数不足,从而影响到远距离测量精度;若增加曝光时间,会使得近距离接收到的反射光过强,出现过曝或堆积效应,从而影响近距离测量精度。
基于相关技术中的问题,本实施例中,首先对测量周期进行划分,划分出n个子测量周期,从而在不同子测量周期内分别采用不同曝光时间,使得远近距离目标的曝光时间在一帧内即具有一定差距,从而进一步通过调整不同子测量周期所对应的曝光时间,或不同曝光时间对应的子测量周期,调整同时探测到视场内远近距离目标的距离差。
示意性的,为了达到提高动态范围的效果,本实施例中n的取值最小为2,即将测量周期划分为两个子测量周期,示意性的,若测量周期中包含1000个发射周期,将测量周期划分为两段子测量周期m1和m2,其中,m1段可以包括400个发射周期,m2段可以包括600个发射周期。可选的,n的取值还可以是3、4、5等大于1的整数,在实际应用过程中,可以基于实际需求将测量周期划分为任意不小于2的n个子测量周期。
可选的,不同子测量周期内包含的发射周期(脉冲周期)的数量可以相同,也可以不相同,本实施例对此不构成限定。
示意性的,不同子测量周期和测量周期的关系可以表示为:
其中,m1表示第一个子测量周期(i=1),表示第一个子测量周期中所包含的脉冲周期数,m2表示第二个子测量周期(i=2),表示第二个子测量周期中所包含的脉冲周期数,mn表示第n个子测量周期(i=n),表示第n个子测量周期中所包含的脉冲周期数,N表示测量周期中包含的脉冲周期总数,n≥2表示至少将测量周期划分为2个子测量周期。
需要说明的是,第i个子测量周期指n个子测量周期中的任意一个子测量周期,示意性的,若n为5,表示测量周期被划分为5个子测量周期,i的取值可以是1、2、3、4、5,i取1时,即测量周期中的第一个子测量周期。
步骤302,根据第i个子测量周期对应的曝光时间,通过接收端接收光信号,测量周期中包含对应不同曝光时间的子测量周期,光信号中包含激光信号的反射光信号。
其中,曝光时间指示接收端在每次发射周期内(或脉冲周期内)打开曝光接收光信号的时间。由于接收端的SPAD具有淬灭时间,即SPAD在一个脉冲周期曝光开启后的任一时刻成功被单个光子激发后会有一段淬灭时间,这段时间SPAD无法继续被光子激发。示意性的,如图2所示,从RX曝光关闭到TX发射第二次激光脉冲之间的小段时间,为淬灭时间。因此,可以理解曝光时间小于发射周期。
示意性的,在采集深度图像帧之前,需要预先将各个子测量周期和曝光时间的对应关系设置到接收端,以便接收端在采集深度图像帧过程中,可以根据子测量周期对应的曝光时间,通过接收端接收光信号。
可选的,各个子测量周期和曝光时间的对应关系可以是人为预先设置的,比如,图像采集设备的使用人员在曝光参数配置界面中,手动配置子测量周期和曝光时间的对应关系,图像采集设备在接收到对曝光参数的设置操作后,将该设置操作所指示的子测量周期和曝光时间的对应关系设置到接收端;可选的,各个子测量周期和曝光时间的对应关系也可以由图像采集设备根据前一帧曝光参数动态调整后得到,并将调整后曝光参数所指示的各个子测量周期和曝光时间的对应关系设置到接收端。
在一种可能的实施方式中,测量周期中包含对应不同曝光时间的子测量周期,使得位于不同距离处的待测目标在同一测量周期内即具备不同的总曝光时长,因此,针对调整曝光参数过程中无法兼顾远近目标的情况,在分析远近距离目标的曝光过程可知,近距离目标一般会在曝光时间的前半段被接收到,且距离越近,光子的接收时刻就越靠前;而远距离目标一般会在曝光时间的后半段被接收到,且距离越远,光子数的接收时刻就越靠后,基于该曝光特性,在设置不同子测量周期对应的曝光时间时,对于曝光时间较长的(可以同时接收到远近距离的反射光),设置较短的子测量周期,即子测量周期中包含较少的发射周期数,对于曝光时间较短的(将曝光时间设置在发射周期后半段,可以减少近距离目标的反射光,同时可以保证接收到远距离目标的反射光),设置较长的子测量周期,即子测量周期中包含较多的发射周期数,因此,当测量周期中既包含对应长曝光时间的子测量周期,又包含对应短曝光时间的子测量周期,同时将短曝光时间设置在发射周期后半段时,可以在减少近距离接收光强的同时,保证了远距离接收到的光强,使得在调整曝光参数的过程中可以兼顾远近距离目标的曝光情况。
示意性的,如图2所示,以最大曝光时间T为例,测量周期被划分为3个子测量周期,不同子测量周期对应的曝光时间可以为:m1=T、m2=T/2、m3=T/4等。
需要说明的是,曝光时间为T/k(k≥2),k可以取不小于2的任意整数,比如,3、4、5等。但是在实际应用过程中,可以固定k为2的倍数,由于硬件底层中,2的n次幂通过移位操作可以很方便地实现,硬件开销较小。
可选的,在同一个子测量周期内曝光时间是相同的,而不同子测量周期内,曝光时间是不同的。
可选的,在n段子测量周期内,不同子测量周期对应的曝光时间不需要按照递增或者是递减的顺序,也可以是其他顺序。示意性的,m1、m2、m3对应的曝光时间可以为T、T/2、T/4;m1、m2、m3对应的曝光时间也可以为T/2、T、T/4;m1、m2、m3对应的曝光时间也可以为T、T/4、T/2。
如图4所示,其示出了本申请另一个示例性实施例示出的单帧深度图像帧对应的测量时序图。其中,第一个子测量周期(m1段)对应的曝光时间为T/2,第二个子测量周期(m2段)对应的曝光时间为T,第三个子测量周期(m3段)对应的曝光时间为T/4。
需要说明的是,图4和图2之间的差异仅是交换了不同子测量周期的测量时序,并未修改同一曝光时间对应子测量周期中所包含的发射周期数,也就是说,测量周期中不同距离物体的总曝光时长并未发生改变,因此,在其他外部条件(比如,发射端光功率、接收端sensor感光能力、应用环境等)相同的情况下,采用图2和图4的测量过程,采集到的光信号强度应该相同,可以达到相同的距离测量效果。
在一种可能的实施方式中,在第i个子测量周期内,当发射端发射激光信号时,接收端基于第i个子测量周期对应的曝光时间打开曝光接收光信号。其中,接收端接收到的光信号中可以包括激光信号被待测目标反射后的反射光信号,也可以包括环境光。
如图4所示,在第一个子测量周期内(即图4中的第m1段),其对应的曝光时间为T/2,当发射端发射激光信号后,接收端延迟T/2的时间后,打开曝光,继续曝光T/2的时间,即在后T/2时间内接收反射光信号;在m3段,其对应的曝光时间为T/4,当发射端发射激光信号后,接收端延迟3T/4的时间后,打开曝光接收反射光,继续曝光T/4的时间,在m2段,其对应的曝光时间为T,当发射端发射激光信号后,接收端立即打开曝光接收T时间的反射光。采用图4所示的曝光方式,通过减少曝光周期为T的脉冲周期数(由原来的N减少为m1段),可以有效减少近距离接收到的光强,且m1和m3段曝光均仅接收脉冲周期后T/2和后T/4反射回来的光子,同样可以有效减少近距离接收到的光强,同时由于每个子测量周期内均会接收到远距离反射的光强,使得在减少近距离接收到的光强的同时,不会减少远距离反射的光强,从而不会降低远距离测量的信噪比,使得可以同时兼顾远近距离目标的测量精度。
步骤303,响应于测量周期内各个子测量周期结束,基于接收到的光信号生成深度图像帧。
在一种可能的实施方式中,当单帧深度图像帧对应的测量周期结束后,即每个子测量周期结束后,通过统计在N个激光信号激励下,接收端的SPAD被触发的总次数和触发时刻,绘制出不同像素点在一个曝光时间T内不同时刻接收到光子数的分布直方图,基于分布直方图的直方图峰值确定出该像素点对应的光飞行时间,从而基于光飞行时间确定出该像素点对应的目标距离,进而可以获取到待测物体对应的深度图像信息,生成对应的深度图像帧。
示意性的,深度图像帧中每个像素点的像素值为该像素点对应的距离。
在一种可能的实施方式中,在采集深度图像帧之前,预先设置不同子测量周期对应的曝光时间至接收端,使得接收端基于该曝光时间确定何时接收光信号;在深度图像帧对应深度信息的测量周期中,对于每个子测量周期,当发射端发射激光信号后,接收端均根据该子测量周期对应的曝光时间,确定接收光信号的时机,直至测量周期中的各个子测量周期结束后,基于接收到的光信号生成深度图像帧。
综上所述,本申请实施例中,在深度图像的获取场景中,通过将单帧深度图像帧对应深度信息的测量周期划分为不同子测量周期,进而为不同子测量周期设置不同曝光时间,使得可以通过调整不同子测量周期的划分,或调整不同子测量周期对应的曝光时间,进而调整在同一测量周期内,远距离目标的总曝光时长和近距离目标的总曝光时长,使得近距离物体可以对应较短的总曝光时长,防止过曝和堆积效应,同时远距离物体相对于近距离物体对应有较长的总曝光时长,在防止过曝和堆积效应的同时保证了远距离目标的测量精度,从而可以兼顾同一视场内更远和更近物体的测量精度,进一步可以增加同时探测视场内远、近距离目标的距离差,从而提高了深度图像采集设备的距离动态范围。
由于距离较近的目标,光飞行时间比较短,反射回来的光子会在接收端曝光时间的前半段被接收到,且距离越近,接收到光子的时刻会越靠前,反射光比较强,容易造成过曝或者堆积效应,本实施例中,可以通过在曝光时间的后半段,或后T/4段接收光子,从而有效减少近距离接收到的光强,同时可以避免减少接收远距离反射光强。
请参考图5,其示出了本申请另一个示例性实施例提供的dTOF深度图像的采集方法的流程图,本申请实施例以该方法应用于电子设备为例进行说明,该方法包括:
步骤501,在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数。
其中,测量周期中包含N个发射周期,N为大于1的整数,发射周期为相邻激光信号之间的发射时间差值。示意性的,如图4所示,发射周期为Td。
可选的,不同子测量周期中包含相同发射周期数,示意性的,测量周期包含1200个发射周期,被划分为3个子测量周期,每个子测量周期中均可以包含400个发射周期;或,不同子测量周期中也可以包含不同发射周期数,示意性的,第一个子测量周期可以包括200个发射周期,第二个子测量周期中可以包含600个发射周期,第三个子测量周期可以包含400个发射周期。
步骤502,基于第i个子测量周期对应的曝光时间,确定第i个子测量周期对应的曝光延迟时长。
由于远距离的反射光子一般会在发射周期的后半段被接收到,因此,为了保证不会减少接收远距离反射光强,在一种可能的实施方式中,当发射端发射激光信号后,接收端延迟一段时间再继续接收光信号,其中,接收端曝光延迟时长可以由曝光时间确定,即通过第i个子测量周期对应的曝光时间,确定第i个子测量周期对应的曝光延迟时长。
示意性的,曝光延迟时长由最大曝光时间和第i子测量周期对应的曝光时间确定,即曝光延迟时长和曝光时间之和为最大曝光时间。其中,应用最大曝光时间时,发射端发射激光信号后,立即通过接收端接收反射光(即不存在曝光延迟时长,或曝光延迟时长为0的情况),且最大曝光延迟时长和猝灭时长之和等于发射周期(发射周期为相邻两个激光信号的发射时间差)。
由图6可知,最大曝光时间为T,在确定曝光延迟时长时,可以基于最大曝光时间和第i个子测量周期对应的曝光时间确定,示意性的,最大曝光时间为T,若第i个子测量周期对应的曝光时间为T/2,则第i个子测量周期对应的曝光延迟时长为T/2,即在发射端发射激光脉冲后,延迟T/2时间通过接收端接收T/2时间段的光信号;若第i个子测量周期对应的曝光时间为T/4,则第i个子测量周期对应的曝光延迟时长为3T/4,即在发射端发射激光信号后,延迟3T/4时间通过接收端接收T/4时间段的光信号。
步骤503,响应于激光信号的发射时刻与当前接收时刻之间的时间差达到曝光延迟时长后,通过接收端接收光信号。
本实施例中,发射端的工作时钟和接收端的工作时钟同步,当发射端发射激光信号时,接收端以该激光信号的发射时刻开始,进入接收周期(接收周期与发射周期对应),即接收周期的初始时刻为发射时刻,对应在确定是否达到曝光延迟时长时,仅需要确定接收端的当前接收时刻与发射时刻之间的时间差是否达到曝光延迟时刻即可。
在一种可能的实施方式中,当发射端发射激光信号后,激光信号的发射时刻与当前接收时刻之间的时间差达到该曝光延迟时长后,打开接收端接收光信号。
示意性的,若曝光延迟时长为3T/4,对应的,当发射端发射激光信号后,发射时长达到3T/4时,通过接收端接收T/4时间段的反射光信号。其中,发射时长即激光信号的发射时刻与当前接收时刻之间的时间差。
为了保证可以接收到同一视场内近距离物体反射的光子,在一种可能的实施方式中,可以通过在至少一个子测量周期内采用最大曝光时间(T)实现。即存在至少一段子测量周期对应的曝光时间为最大曝光时间,最大曝光时间由激光信号的发射周期确定。
可选的,由于接收端的SPAD存在淬灭时间,则最大曝光时间小于激光信号的发射周期,可以理解:最大曝光时间和淬灭时间之和为发射周期。
可选的,若曝光时间中包含最大曝光时间,为了保证可以接收到近距离物体的反射光,应该在发射激光信号的同时打开接收端接收反射光信号;若曝光时间小于最大曝光时间,为了保证可以接收到远距离物体的反射光,应该在曝光延迟时长后打开接收端接收反射光信号。在一个示例性的例子中,通过接收端接收反射光信号的过程可以包括以下步骤:
一、响应于曝光时间为最大曝光时间,在发射时刻通过接收端接收光信号,最大曝光时间由激光信号的发射周期确定。
在一种可能的实施方式中,当存在某个子测量周期对应最大曝光时间,由于曝光延迟时长由最大曝光时间和曝光时间确定,也就是说,该曝光延迟时长为0,即在发射端发射激光信号的同时,通过接收端接收反射光信号。
二、响应于曝光时间小于最大曝光时间,且发射时刻与当前接收时刻之间的时间差达到曝光延迟时长后,通过接收端接收光信号。
在一种可能的实施方式中,当子测量周期对应的曝光时间小于最大曝光时间,为了减少近距离接收到的光强,同时保证远距离接收到的光强,通过接收端在曝光延迟时长后接收光信号。
示意性的,如图4所示,第一个子测量周期(m1)对应曝光时间T/2,第二个子测量周期(m2)对应最大曝光时间T,第三个子测量周期(m3)对应曝光时间T/4。对于距离较近的目标,光飞行时间短,反射回来的光子会在RX最大曝光时间T的前半周期被接收到,且距离越近,接收到的光子的时刻就会越靠前,而反射光较强的时候,容易造成过曝或者堆积效应,为了降低近距离反射光强,可以通过减少曝光时间为T的子测量周期中所包含的发射周期数,从而有效减少近距离接收到的光强;而m1段曝光会接收后T/2反射回来的光子,以及m3段曝光会接收后T/4反射回来的光子,因此在减少近距离反射光的同时不会减少远距离反射的光强,使得可以同时兼顾同一视场内远近距离的测量精度。
步骤504,响应于测量周期内各个子测量周期结束,基于接收到的光信号生成深度图像帧。
步骤504的实施方式可以参考步骤303,本实施例在此不做赘述。
本实施例中,基于各个子测量周期对应的曝光时间,确定出曝光延迟时长,使得接收端基于该曝光延迟时长确定何时接收光信号;此外,通过设置子测量周期对应的曝光时间为最大曝光时间,使得接收端可以在发射端发射激光信号后立即开始接收光信号,从而可以接收到视场内近距离物体的反射光;通过设置子测量周期对应的曝光时间小于最大曝光时间,并使得接收端在最大曝光时间的后期接收光信号,可以有效减少近距离接收到的反射光的同时,不会减少远距离接收到的反射光,从而使得可以兼顾远近距离的测量精度,进而可以提高动态测量范围。
由于不同电子设备的采集范围要求不同,比如,电子设备A对采集范围的要求是50cm至1m,电子设备B对采集范围的要求是50cm至10m,在实际应用过程中,需要基于具体需求对测量周期进行划分,以及设置不同子测量周期对应的曝光时间,下文实施例中主要描述如何对曝光参数进行调节的过程。
如图7所示,其示出了本申请另一个示例性实施例提供的dTOF深度图像的采集方法的流程图,本申请实施例以该方法应用于电子设备为例进行说明,该方法包括:
步骤701,获取用于生成第j-1帧深度图像帧的第j-1曝光结果数据,第j-1曝光结果数据包括各个像素点在测量周期中接收到的总光子数,其中,j为大于1的整数。
由于近距离的待测物体可能是反射率较高的,也可能是反射率较低的,如果对于近距离物体均为反射率较低的场景下,减少最大曝光时间T对应子测量周期中包含的发射周期数,可能会降低低反射率目标反射回来的光信号强度,从而影响低反射率目标的距离测量精度,因此,在一种可能的实施方式中,在对测量周期进行划分之前,可以通过预先采集当前场景的一帧深度图像,再基于接收端接收光子数的情况来确定如何划分测量周期,即基于前一帧的曝光参数和曝光结果数据,指导后一帧的曝光参数调节方式。
在一种可能的实施方式中,电子设备在调试过程中,获取生成前一帧(第j-1帧)深度图像帧的第j-1曝光结果数据,该曝光结果数据为接收端在生成前一帧深度图像帧过程中采集到的测量数据,示意性的,本实施例中,该曝光结果数据为统计得到的各个像素点在测量周期内接收到的总光子数。
步骤702,响应于第j-1曝光结果数据满足预设条件,按照预设调节方式对第j-1曝光参数进行调节,生成第j曝光参数。
其中,第j-1曝光参数为采集第j-1深度图像帧时所使用的曝光参数,第j-1曝光参数包括:测量周期被划分的k个子测量周期以及各个子测量周期对应的曝光时间,k为大于1的整数。
可选的,预设调节方式可以是改变测量周期的划分方式。示意性的,可以增加测量周期中子测量周期的划分个数;或改变不同子测量周期对应的曝光时间;或改变不同曝光时间对应子测量周期中所包含的发射周期数。
在曝光方式调节过程中存在两种可能的情景,一种是接收到的光强较强,可能是由于较长曝光时间对应子测量周期中所包含的发射周期数较多,使得近距离接收到的光强较多,需要减少近距离接收到的光强;一种是接收到的光强较弱,可能是由于较长曝光时间对应子测量周期中所包含的发射周期数较少,使得近距离接收到的光强较弱,需要增加近距离接收到的光强;本实施例中,针对这两种情景,分别设置有对应的曝光参数调节方式,也即预设条件至少包括第一预设条件(对应光强较强的情景)和第二预设条件(对应光强较弱的情景),预设调节方式也包括第一预设调节方式(用于在满足第一预设条件时使用)和第二预设调节方式(用于在满足第二预设条件时使用),当第j-1曝光结果数据满足第一预设条件时,采用对应的第一预设调节方式,当第j-1曝光结果数据满足第二预设条件时,采用对应的第二预设调节方式。
当像素点接收到的总光子数过多时,可能会导致过曝现象,从而导致测量的距离有误;也可以会产生堆积效应,导致测量距离值偏小,因此,在一种可能的实施方式中,可以通过判断接收到的总光子数,确定是否需要进行曝光参数调节,以及若需要进行曝光参数调节,具体应该如何调节测量周期的划分方式。
由于远距离目标所对应像素点接收到的总光子数一般不会过多,出现接收到的总光子数过多的像素点一般是近距离物体的反射光,因此,当确定出接收到的总光子数过多时,可以适当减少较长曝光时间对应子测量周期中所包含的发射周期数,同时增加较短曝光时间对应子测量周期中所包含的发射周期数。在一个示例性的例子中,对曝光参数的调节过程可以包括以下步骤:
一、响应于第j-1曝光结果数据满足第一预设条件,按照第一预设调节方式对第j-1曝光参数进行调节,第一预设调节方式用于减少第一曝光时间对应子测量周期中所包含的发射周期数,并增加第二曝光时间对应子测量周期中所包含的发射周期数,第二曝光时间小于第一曝光时间。
其中,第一预设条件包括:单个像素点在测量周期中接收到的总光子数高于第一预设光子数阈值、总光子数高于第一预设光子数阈值的像素点数量大于第一预设数量阈值,以及总光子数高于第一预设光子数阈值的像素点所占比例高于第一预设比例阈值中的至少一种。需要说明的是,本申请实施例中的总光子数均是指单个像素点在一个测量周期中接收到的光子数。
可选的,第一预设光子数阈值可以是固定值,也可以是动态调整的值。该第一预设光子数阈值可以依据发射端光功率、接收端sensor感光能力、应用环境(最近、最远测量范围,环境噪声强弱,所需要的距离动态范围等)等设定。示意性的,该第一预设光子数阈值可以基于测量深度信息所需要的光子数来设置。比如,第一预设光子数阈值可以是1000个。
当第一预设条件为单个像素点在测量周期中接收到的总光子数高于第一预设光子数阈值时,在一种可能的实施方式中,获取生成前一帧深度图像帧的曝光结果数据,即每个像素点分别在测量周期中接收到的总光子数,并将每个像素点接收到的总光子数与第一预设光子数阈值进行比较,若存在单个像素点对应的总光子数超过第一预设光子数阈值,可以按照第一预设调节方式对前一帧的曝光参数进行调节。
对于面阵dTOF,pixel数量在几百到几万、十几万数量级,由于硬件上无法实现对每个pixel单独控制曝光时间,曝光时间设定是针对所有pixel统一的,因此不能因为单独几个pixel接收到总光子数过多就调节曝光方式,为了提高曝光方式调节时机的准确性,在一种可能的实施方式中,设置第一预设条件为总光子数高于第一预设光子数阈值的像素点数量大于第一预设数量阈值,或总光子数高于第一预设光子数阈值的像素点所占比例高于第一预设比例阈值。
当第一预设条件为总光子数高于第一预设光子数阈值的像素点数量大于第一预设数量阈值时,在一种可能的实施方式中,比较每个像素点接收到的总光子数与第一预设光子数阈值之间的关系,并统计总光子数较多(总光子数大于第一预设光子数阈值)的像素点数量,进而比较该像素点数量与第一数量阈值之间的关系,若该像素点数量高于第一预设数量阈值,需要按照第一预设调节方式对第j-1帧曝光参数进行调节;否则,可以无需按照第一预设调节方式对第j-1帧曝光参数进行调节。
示意性的,第一预设数量阈值可以基于实际应用场景进行设置,比如,第一预设数量阈值可以是500个。
当第一预设条件为总光子数高于第一预设光子数阈值的像素点所占比例高于第一预设比例阈值时,在一种可能的实施方式中,比较每个像素点接收到的总光子数与第一预设光子数阈值之间的关系,并统计总光子数较多(总光子数大于第一预设光子数阈值)的像素点数量,再确定该像素点数量占全部像素点数量的比值,进而比较该比值与第一预设比例阈值之间的关系,若该比值高于第一预设比例阈值,需要按照第一预设调节方式对第j-1帧曝光参数进行调节;否则,可以无需按照第一预设调节方式对第j-1帧曝光参数进行调节。
示意性的,第一预设比例阈值也可以基于实际应用场景进行设置,比如,第一预设比例阈值可以是1/4。
对于同一视场内,由于远距离接收到光子数一般不会过多,因此,总光子数超过第一预设光子数阈值的一般是近距离,也即当确定第j-1曝光结果数据满足第一预设条件时,表示近距离接收到的反射光强较多,因此,为了减少近距离接收到的光子数,在一种可能的实施方式中,可以通过减少较长曝光时间(第一曝光时间)对应子测量周期中所包含的发射周期数,以减少近距离接收到的光强;而在测量周期内的总发射周期数一定的情况下,同时还需要增加较短曝光时间(第二曝光时间)对应子测量周期中所包含的发射周期数,以保证不会减少远距离反射的光强,从而不会降低远距离测量的精度。
示意性的,以测量周期被划分为三段子测量周期为例,若第j-1曝光参数指示:第一个子测量周期(m1)对应曝光时间T/2,m1中包含400个发射周期,第二个子测量周期(m2)对应曝光时间T,m2中包含500个发射周期,第三个子测量周期(m3)对应曝光时间T/4,m3中包含300个发射周期,当确定出第j-1曝光结果数据满足第一预设条件时,可以适当减少曝光时间T对应第二子测量周期中包含的发射周期数,适当增加曝光周期为T/2或T/4对应子测量周期中包含的发射周期数,比如,调整后的第j曝光参数为:m1中包含600个发射周期,m2中包含300个发射周期,m3中包含300个发射周期。
可选的,当第j-1曝光参数满足第一预设条件时,也可以通过增加测量周期被划分的子测量周期来降低近距离的反射光强,示意性的,若第j-1曝光参数指示:第一个子测量周期(m1)对应曝光时间T/2,m1中包含400个发射周期,第二个子测量周期(m2)对应最大曝光时间T,m2中包含800个发射周期,可以在减少曝光时间T对应子测量周期中所包含的发射周期数的同时,增加曝光时间为T/4的子测量周期,比如,调整后的第j曝光参数指示:测量周期被划分为m1、m2和m3,其中,m1(对应曝光时间T/2)包括400个发射周期,m2(对应曝光时间为T)包括500个发射周期,m3(对应曝光时间为T/4)包括300个发射周期。
可选的,为了可以尽快获得较为合适的测量周期划分方式,在一种可能的实施方式中,可以基于总光子数与第一预设光子数阈值之间的关系,确定子测量周期中包含的发射周期数增加幅度,或子测量周期中包含的发射周期数减少幅度。
在一个示例性的例子中,按照第一预设调节方式对第j-1曝光参数进行调节的过程还可以包括以下步骤:
1.基于总光子数和第一预设光子数阈值之间的第一数量差值,确定第二曝光时间对应发射周期数的第一增长量,以及确定第一曝光时间对应发射周期数的第一减少量,第一增长量与第一数量差值呈正相关关系,且第一减少量与第一数量差值呈正相关关系。
当确定出单个像素点接收到的总光子数越多,表示近距离接收到的光强越大,在调整曝光方式时,可能需要减少较长曝光时间对应的发射周期数越多(以降低近距离接收到的光强),同时需要增加较短曝光时间对应的发射周期数越多,因此,在一种可能的实施方式中,当曝光结果数据满足第一预设条件时,可以基于总光子数与第一预设光子数阈值之间的第一数量差值,确定近距离接收到的光强情况,以便基于该第一数量差值确定各个曝光时间对应发射周期数的调整幅度。若第一数量差值较大,表示近距离接收到的光强越强,需要减少较长曝光时间对应的发射周期数越多,对应的需要增加较短曝光时间对应的发射周期数越多,以尽快减少近距离接收到的光强;反之,若第一数量差值较小,表示近距离接收到的光强相对较弱,为了避免减少较长曝光时间对应的发射周期数过多而对近距离测量精度造成影响,可能需要减少较长曝光时间对应的发射周期数较少,同时需要增加较短曝光时间对应的发射周期数较少,也即较长曝光时间对应发射周期数的减少量与第一数量差值呈正相关关系,较短曝光时间对应发射周期数的增长量也与第一数量差值呈正相关关系。
示意性的,若第一预设光子数阈值为1000,曝光参数为:m1(对应曝光时间T/2)包括400个发射周期,m2(对应曝光时间为T)包括800个发射周期,应用该曝光参数分别采集场景一和场景二对应的深度图像帧,采集到的场景一和场景二对应的曝光结果数据满足第一预设条件(即近距离接收光子数过多),其中,场景一对应的曝光结果数据指示:总光子数与第一预设光子数阈值之间的数量差值为A1;场景二对应的曝光结果数据指示:总光子数与第一预设光子数阈值之间的数量差值为A2,且A1大于A2。由于两个场景对应的曝光结果数据不同,对应的在两个场景下对曝光参数的调整幅度也不相同,基于接收光强、数量差值和调整幅度之间的关系(光强越强,数量差值越大,调整幅度越大),场景一调整后的曝光参数可以为:m1(对应曝光时间T/2)包括800个发射周期,m2(对应曝光时间为T)包括400个发射周期,较短曝光时间对应发射周期数的增加量为400,较长曝光时间对应发射周期数的减少量为400;场景二调整后的曝光参数可以为:m1(对应曝光时间T/2)包括600个发射周期,m2(对应曝光时间为T)包括600个发射周期,较短曝光时间对应发射周期数的增加量为200,较长曝光时间对应发射周期数的减少量为200。
可选的,在确定第一数量差值时,可以首先确定出总光子数(总光子数是指单个像素点在测量周期中接收到的光子数)超过第一预设光子数阈值的特定像素点,并求得特定像素点对应的总光子数之和,再基于总光子数之和与特定像素点的数量,求得特定像素点对应的总光子平均值,进而将总光子数平均值和第一预设光子数阈值之间的数量差值确定为第一数量差值;或无需求总光子数平均值,直接将特定像素点对应的总光子数之和与第一预设光子数阈值之间的数量差值确定为第一数量差值。
可选的,在曝光方式调节过程中,可能存在某些特定应用场景,仅需要关注sensor中特定区域像素点的光强接收情况,比如,仅关注中心区域的像素点,对应的,在确定曝光参数的调节幅度过程中,当确定出总光子数超过第一预设光子数阈值的特定像素点后,还可以基于预设区域,从特定像素点中筛选出目标特定像素点(目标特定像素点是位于预设区域的特定像素点),进而基于目标特定像素点对应的总光子数和第一预设光子数阈值,确定第一数量差值。
2.基于第一增长量和第一减少量,对第j-1曝光参数进行调节。
在一种可能的实施方式中,基于确定出的各个曝光时间所对应发射周期数的增加幅度,以及各个曝光时间所对应发射周期数的减少幅度,对第j-1曝光参数进行调整,从而生成用于采集第j帧深度图像帧对应的第j曝光参数。
示意性的,若第j-1曝光参数为:m1(对应曝光时间T/2)包括400个发射周期,m2(对应曝光时间为T)包括800个发射周期,确定出的第一增长量为300个,第一减少量为300个,对应的,第j曝光参数可以为:m1(对应曝光时间T/2)包括700个发射周期,m2(对应曝光时间为T)包括500个发射周期。
二、响应于第j-1曝光结果数据满足第二预设条件,按照第二预设调节方式对第j-1曝光参数进行调节,第二预设调节方式用于增加第一曝光时间对应子测量周期中所包含的发射周期数,并减少第二曝光时间对应子测量周期中所包含的发射周期数,第二曝光时间小于第一曝光时间。
其中,第二预设条件包括:单个像素点在测量周期中接收到的总光子数低于第二预设光子数阈值、总光子数低于第二预设光子数阈值的像素点数量大于第二预设数量阈值,以及总光子数低于第二预设光子数阈值的像素点所占比例高于第二预设比例阈值中的至少一种,其中,第二预设光子数阈值小于等于第一预设光子数阈值。
可选的,第二预设光子数阈值可以是固定值,也可以是动态调整的值。该第二预设光子数阈值可以依据发射端光功率、接收端sensor感光能力、应用环境(最近、最远测量范围,环境噪声强弱,所需要的距离动态范围等)等设定。示意性的,该第二预设光子数阈值可以基于测量深度信息所需要的光子数来设置。
可选的,第二预设光子数阈值可以与第一预设光子数阈值相同,也可以小于第一预设光子数阈值,示意性的,若第一预设光子数阈值为1000个,则第二预设光子数阈值可以为800个。本实施例对此不构成限定。
当第二预设条件为单个像素点在测量周期中接收到的总光子数低于第二预设光子数阈值时,在一种可能的实施方式中,获取生成前一帧深度图像帧的曝光结果数据,即每个像素点分别对应的总光子数,并比较每个像素点接收到的总光子数与第二预设光子数阈值的关系,若存在单个像素点对应的总光子数低于第二预设光子数阈值,表示近距离接收到的光强较弱,无法基于该光子数较准确的测量出该点对应的深度信息,可以按照第二预设调节方式对前一帧的曝光参数进行调节。
对于面阵dTOF,pixel数量在几百到几万、十几万数量级,由于硬件上无法实现对每个pixel单独控制曝光时间,曝光时间设定是针对所有pixel统一的,因此不能因为单独几个pixel接收到总光子数过多就调节曝光方式,为了提高曝光方式调节时机的准确性,在一种可能的实施方式中,设置第二预设条件为总光子数低于第二预设光子数阈值的像素点数量大于第二预设数量阈值,或总光子数低于第二预设光子数阈值的像素点所占比例高于第二预设比例阈值。
当第二预设条件为总光子数低于第二预设光子数阈值的像素点数量大于第二预设数量阈值时,在一种可能的实施方式中,比较每个像素点接收到的总光子数与第二预设光子数阈值之间的关系,并统计总光子数较少(总光子数低于第二预设光子数阈值)的像素点数量,进而比较该像素点数量与第二预设数量阈值之间的关系,若该像素点数量高于第二预设数量阈值,表示近距离接收到的光强较弱,需要按照第二预设调节方式对第j-1帧曝光参数进行调节;否则,可以无需按照第二预设调节方式对第j-1帧曝光参数进行调节。
示意性的,第二预设数量阈值可以基于实际应用场景进行设置,第二预设数量阈值可以与第一预设数量阈值相同,也可以与第一预设数量阈值不同,本实施例对此不构成限定,比如,第二预设数量阈值可以是800个。
当第二预设条件为总光子数低于第二预设光子数阈值的像素点所占比例高于第二预设比例阈值时,在一种可能的实施方式中,比较每个像素点接收到的总光子数与第二预设光子数阈值之间的关系,并统计总光子数较少(总光子数小于第二预设光子数阈值)的像素点数量,再确定该像素点数量占全部像素点数量的比值,进而比较该比值与第二预设比例阈值之间的关系,若该比值高于第二预设比例阈值,需要按照第二预设调节方式对第j-1帧曝光参数进行调节;否则,可以无需按照第二预设调节方式对第j-1帧曝光参数进行调节。
示意性的,第二预设比例阈值也可以基于实际应用场景进行设置,比如,第二预设比例阈值可以是1/4,可选的,第二预设比例阈值可以与第一预设比例阈值相同,也可以不相同,本申请实施例对第一预设比例阈值和第二预设比例阈值之间的关系不构成限定。
在不调整总发射周期数(或发射端功率、接收端感光能力等外部条件)的基础上,划分测量周期和调整曝光时间一般仅会减少近距离目标的总曝光时长,但是并未减少远距离目标的总曝光时长,因此,若存在某些像素点接收到的光强较弱时,一般是近距离目标对应的像素点,因此,为了增加近距离接收到的光子数,在一种可能的实施方式中,可以增加较长曝光时间(第一曝光时间)对应子测量周期中所包含的发射周期数,并减少较短曝光时间(第二曝光时间)对应子测量周期中所包含的发射周期数。
示意性的,以测量周期被划分为三段子测量周期为例,若第j-1曝光参数指示:第一个子测量周期(m1)对应曝光时间T/2,m1中包含600个发射周期,第二个子测量周期(m2)对应曝光时间T,m2中包含400个发射周期,第三个子测量周期(m3)对应曝光时间T/4,m3中包含200个发射周期,当第j-1曝光结果数据满足第二预设条件时,可以适当增加曝光时间T对应第二子测量时间中包含的发射周期数,并适当减少曝光时间为T/2或T/4对应子测量周期中包含的发射周期数,比如,调整后的第j曝光参数为:m1中包含400个发射周期,m2中包含600个发射周期,m3中包含200个发射周期。
可选的,当第j-1曝光参数满足第二预设条件时,也可以通过减少测量周期被划分的子测量周期来增加近距离的反射光强,示意性的,若第j-1曝光参数指示:m1(对应曝光时间T/2)包括400个发射周期,m2(对应曝光时间为T)包括500个发射周期,m3(对应曝光时间为T/4)包括300个发射周期,可以在增加曝光时间T对应的发射周期数的同时,删除曝光时间为T/4的子测量周期,比如,第j曝光参数指示:测量周期被划分为m1和m2,其中,m1(对应曝光时间T/2)包括500个发射周期,m2(对应曝光时间为T)包括700个发射周期。
可选的,为了可以尽快获得较为合适的测量周期划分方式,在一种可能的实施方式中,可以基于总光子数与第二预设光子数阈值之间的关系,确定子测量周期中所包含发射周期数的增加幅度,或子测量周期中所包含发射周期数的减少幅度。
在一个示例性的例子中,按照第二预设调节方式对第j-1曝光参数进行调节的过程还可以包括以下步骤:
1.基于总光子数和第二预设光子数阈值之间的第二数量差值,确定第一曝光时间对应发射周期数的第二增长量,以及确定第二曝光时间对应发射周期数的第二减少量,第二增长量与第二数量差值呈正相关关系,第二减少量与第二数量差值呈正相关关系。
当确定出像素点接收到的总光子数较少,表示近距离接收到的光强较小,在调整曝光方式时,可能需要增加较长曝光时间对应的发射周期数越多(以提高近距离目标的反射光强),同时减少较短曝光时间对应的发射周期数越多,以尽快增加近距离接收到的光强,因此,在一种可能的实施方式中,当曝光结果数据满足第二预设条件时,可以基于总光子数与第二预设光子数阈值之间的第二数量差值,确定近距离接收到的光强情况,以便基于该第二数量差值确定各个曝光时间对应发射周期数的调整幅度。若第二数量差值较大,表示近距离接收到的光强较弱,需要增加较长曝光时间对应的发射周期数越多,对应减少较短曝光时间对应的发射周期数越多;反之,若第二数量差值较小,为了避免增加较长曝光时间对应的发射周期数过多而导致过曝或堆积效应,需要增加较长曝光时间对应的发射周期数较少,对应减少较短曝光时间对应的发射周期数较少。也即较长曝光时间对应发射周期数的增长量与第二数量差值呈正相关关系,较短曝光时间对应发射周期数的减少量与第二数量差值呈正相关关系。
示意性的,若第二预设光子数阈值为800,曝光参数为:m1(对应曝光时间T/2)包括900个发射周期,m2(对应曝光时间为T)包括300个发射周期,应用该曝光参数分别采集场景一和场景二对应的深度图像帧,采集到的场景一和场景二对应的曝光结果数据满足第二预设条件(即近距离接收到的光子数较少),其中,场景一对应的曝光结果数据指示:总光子数与第二预设光子数阈值之间的数量差值为A1;场景二对应的曝光结果数据指示:总光子数与第二预设光子数阈值之间的数量差值为A2,且A1大于A2。由于两个场景对应的曝光结果数据不同,对应的在两个场景下对曝光参数的调整幅度也不相同,基于接收光强、数量差值和调整幅度之间的关系(光强越弱,数量差值越大,调整幅度越大),场景一调整后的曝光参数可以为:m1(对应曝光时间T/2)包括500个发射周期,m2(对应曝光时间为T)包括700个发射周期,较长曝光时间对应发射周期数的增加量为400,较短曝光时间对应发射周期数的减少量为400;场景二调整后的曝光参数可以为:m1(对应曝光时间T/2)包括700个发射周期,m2(对应曝光时间为T)包括500个发射周期,较长曝光时间对应发射周期数的增加量为200,较短曝光时间对应发射周期数的减少量为200。
其中,确定第二数量差值的实施方式可以参考确定第一数量差值的实施方式,本实施例在此不做赘述。
2.基于第二增长量和第二减少量,对第j-1曝光参数进行调节。
在一种可能的实施方式中,基于确定出的各个曝光时间所对应发射周期数的增加幅度,以及各个曝光时间所对应发射周期数的减少幅度,对第j-1曝光参数进行调整,从而生成用于采集第j帧深度图像帧对应的第j曝光参数。
示意性的,若第j-1曝光参数为:m1(对应曝光时间T/2)包括800个发射周期,m2(对应曝光时间为T)包括400个发射周期,确定出的第二增长量为300个,第二减少量为300个,对应的,第j曝光参数可以为:m1(对应曝光时间T/2)包括500个发射周期,m2(对应曝光时间为T)包括700个发射周期。
步骤703,基于第j曝光参数向接收端发送曝光参数更新指令,接收端用于基于第j曝光参数接收光信号。
在一种可能的实施方式中,当基于前一帧曝光参数和曝光结果数据,确定出当前帧对应的曝光参数后,需要向接收端发送曝光参数调节指令,以便接收端基于不同子测量周期对应的曝光参数接收光信号,用于生成第j帧深度图像帧。
可选的,当生成第j帧深度图像帧后,也可以基于第j帧深度图像帧对应的第j曝光结果数据和第j曝光参数,确定是否需要调节第j+1帧对应的曝光参数,以及如何调节。
步骤704,在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数。
步骤705,根据第i个子测量周期对应的曝光时间,通过接收端接收光信号,测量周期中包含对应不同曝光时间的子测量周期,光信号中包含激光信号的反射光信号。
步骤706,响应于测量周期内各个子测量周期结束,基于接收到的光信号生成深度图像帧。
步骤704和步骤706的实施方式可以参考上文实施例,本实施例在此不做赘述。
上文实施例中,步骤701至步骤703在步骤704之前执行,该步骤执行顺序下第j曝光参数满足单个测量周期内包含对应不同曝光时间的子测量周期,而第j-1曝光参数可能存在两种情况:(1)第j-1曝光参数满足单个测量周期内包含对应不同曝光时间的子测量周期;(2)第j-1曝光参数指示单个测量周期内均采用相同曝光时间,即第j-1曝光参数不满足单个测量周期内包含对应不同曝光时间的子测量周期。可选的,步骤701至步骤703也可以在步骤706之后执行,该步骤执行顺序下,第j-1曝光参数满足单个测量周期内包含对应不同曝光时间的子测量周期,而第j曝光参数可能存在两种情况:(1)第j曝光参数也满足单个测量周期内包含对应不同曝光时间的子测量周期;(2)第j曝光参数指示单个测量周期内均采用相同曝光时间,即第j曝光参数不满足单个测量周期内包含对应不同曝光时间的子测量周期。
本实施例中,通过分析采集前一帧深度图像帧时,每个像素点接收总光子数的情况,以便确定采用前一帧曝光参数采集深度图像时,是否会出现近距离光强较强,或近距离光强较弱的情况,来确定是否需要对前一帧曝光参数进行调节,以及如何调节,从而将曝光方式调整至该应用场景下对应的较佳曝光方式。
需要说明的是,本申请实施例在调整曝光参数过程中,并不会增加或减少发射端发射激光信号的发射周期数,也就是说,在曝光参数调整过程中,单帧深度图像帧对应测量周期中所包含的发射周期总数为固定值;而本申请实施例本身是对测量周期进行划分,划分出至少两段子测量周期,每个子测量周期对应不同曝光时间,在调整曝光参数过程中,主要基于上一帧采集到的曝光结果数据调整不同子测量周期中所包含的发射周期数,示意性的,初始曝光参数为:m1(对应曝光时间T/2)包括400个发射周期,m2(对应曝光时间为T)包括800个发射周期,且发射端所发射激光信号的发射周期总数为1200个;调整后的曝光参数为:m1(对应曝光时间T/2)包括700个发射周期,m2(对应曝光时间为T)包括500个发射周期,可见,仅对不同曝光时间对应子测量周期中所包含的发射周期数进行调整,而发射端发射的发射周期总数仍然为1200个。
请参考图8,其示出了本申请一个示例性实施例示出的曝光方式的调整流程图。
步骤801,初始设置测量周期内的曝光时间均为T。
也就是说,测量周期中仅包含单个子测量周期,m1=N,测量周期采用相同曝光时间,均为T,且T为最大曝光时间。
步骤802,设置各个子测量周期中包含的脉冲周期数至接收端。
其中,接收端用于基于各个子测量周期对应的曝光时间确定接收光信号的时机。
示意性的,初次运行时曝光时间为T,即测量周期中包含单个子测量周期,且该子测量周期对应的脉冲周期数为N。
示意性的,若后续修改曝光方式后,测量周期被划分为三段,分别为m1=T、m2=T/2、m3=T/4,需要分别设置不同子测量周期中所包含的脉冲周期数,使得接收端可以在特定子测量周期处采用特定的曝光时间。
步骤803,在第i个子测量周期内,通过发射端发射激光信号,且接收端根据第i子测量周期对应的曝光时间接收光信号。
步骤804,响应于测量周期内各个子测量周期结束,基于接收到的光信号生成当前场景数据。
其中,当前场景数据为当前曝光参数下各个像素点对应的光子数分布直方图,也即上文实施例中的曝光结果数据。不仅可以基于该当前场景数据生成当前曝光参数下采集到的深度图像帧,同时可以基于当前场景数据判断是否需要调节曝光方式。
步骤805,基于当前场景数据,生成深度图像帧。
基于各个像素点对应的光子数分布直方图,确定出各个像素点对应的飞行时间(由光子数分布直方图对应的直方图峰值确定),从而基于该飞行时间确定出各个像素点对应的深度距离,进而生成深度图像帧。
步骤806,基于当前场景数据,确定近距离接收到总光子数是否过多。
基于采集到当前场景数据,判断近距离接收到的光子数是否过多,若过多,为了避免过曝或堆积效应,进入步骤807,调节曝光方式,否则无需调节曝光方式。
步骤807,减少接收端曝光时间为T的脉冲周期数,增加曝光时间为后T/2的脉冲周期数,和/或增加曝光时间为后T/4的脉冲周期数。
当确定出近距离接收到的光子数较多,表示需要减少近距离接收到的光子数,可以通过减少曝光时间为T的脉冲周期数实现,由于脉冲周期总数一定,还需要对应增加曝光时间为T/2和/或T/4的脉冲周期数。
当调节完曝光方式后,可以进入步骤802,基于调节后的曝光参数重新设置各个子测量周期中包含的脉冲周期数到接收端,使得基于调节后的曝光参数重新采集场景数据。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图9,其示出了本申请一个实施例提供的dTOF深度图像的采集装置的结构框图。该装置具有实现上述方法实施例中由电子设备执行的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。如图9所示,该装置可以包括:
发射模块901,用于在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;
接收模块902,用于根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,所述测量周期中包含对应不同曝光时间的子测量周期,所述光信号中包含所述激光信号的反射光信号;
生成模块903,用于响应于所述测量周期内各个所述子测量周期结束,基于接收到的所述光信号生成所述深度图像帧。
可选的,所述接收模块902,包括:
确定单元,用于基于所述第i个子测量周期对应的所述曝光时间,确定所述第i个子测量周期对应的曝光延迟时长;
第二接收单元,用于响应于所述激光信号的发射时刻与当前接收时刻之间的时间差达到所述曝光延迟时长后,通过所述接收端接收所述光信号。
可选的,所述接收模块902,包括:
第三接收单元,用于响应于所述曝光时间为最大曝光时间,在所述发射时刻通过所述接收端接收所述光信号,所述最大曝光时间由所述激光信号的发射周期确定;
第四接收单元,用于响应于所述曝光时间小于所述最大曝光时间,且所述发射时刻与所述当前接收时刻之间的时间差达到所述曝光延迟时长后,通过所述接收端接收所述光信号。
可选的,所述测量周期中包含N个发射周期,N为大于1的整数,所述发射周期为相邻激光信号之间的发射时间差值;
其中,不同子测量周期中包含相同发射周期数,或,不同子测量周期中包含不同发射周期数。
可选的,存在至少一段所述子测量周期对应的所述曝光时间为最大曝光时间,所述最大曝光时间由所述激光信号的发射周期确定。
可选的,所述装置还包括:
获取模块,用于获取用于生成第j-1帧深度图像帧的第j-1曝光结果数据,所述第j-1曝光结果数据包括各个像素点在所述测量周期中接收到的总光子数,其中,j为大于1的整数;
调节模块,用于响应于所述第j-1曝光结果数据满足预设条件,按照预设调节方式对第j-1曝光参数进行调节,生成第j曝光参数,所述第j-1曝光参数为采集所述第j-1深度图像帧时所使用的曝光参数,所述第j-1曝光参数包括:所述测量周期被划分的k个子测量周期以及各个子测量周期对应的所述曝光时间,所述预设调节方式用于改变所述测量周期的划分方式,k为大于1的整数;
发送模块,用于基于所述第j曝光参数向所述接收端发送曝光参数更新指令,所述接收端用于基于所述第j曝光参数接收所述光信号。
可选的,所述调节模块,包括:
第一调节单元,用于响应于所述第j-1曝光结果数据满足第一预设条件,按照第一预设调节方式对所述第j-1曝光参数进行调节,所述第一预设调节方式用于减少第一曝光时间对应子测量周期中所包含的发射周期数,并增加第二曝光时间对应子测量周期中所包含的发射周期数,所述第二曝光时间小于所述第一曝光时间;
和/或,
第二调节单元,用于响应于所述第j-1曝光结果数据满足第二预设条件,按照第二预设调节方式对所述第j-1曝光参数进行调节,所述第二预设调节方式用于增加第一曝光时间对应子测量周期中所包含的发射周期数,并减少第二曝光时间对应子测量周期中所包含的发射周期数,所述第二曝光时间小于所述第一曝光时间。
可选的,所述第一预设条件包括:单个像素点在所述测量周期中接收到的总光子数高于第一预设光子数阈值、所述总光子数高于所述第一预设光子数阈值的像素点数量大于第一预设数量阈值,以及所述总光子数高于所述第一预设光子数阈值的像素点所占比例高于第一预设比例阈值中的至少一种;
所述第二预设条件包括:单个像素点在所述测量周期中接收到的总光子数低于第二预设光子数阈值、所述总光子数低于所述第二预设光子数阈值的像素点数量大于第二预设数量阈值,以及所述总光子数低于所述第二预设光子数阈值的像素点所占比例高于第二预设比例阈值中的至少一种,其中,所述第二预设光子数阈值小于等于所述第一预设光子数阈值。
可选的,所述第一调节单元,还用于:
基于所述总光子数和所述第一预设光子数阈值之间的第一数量差值,确定所述第二曝光时间对应发射周期数的第一增长量,以及确定所述第一曝光时间对应发射周期数的第一减少量,所述第一增长量与所述第一数量差值呈正相关关系,且所述第一减少量与所述第一数量差值呈正相关关系;
基于所述第一增长量和所述第一减少量,对所述第j-1曝光参数进行调节。
可选的,所述第二调节单元,还用于:
基于所述总光子数和所述第二预设光子数阈值之间的第二数量差值,确定所述第一曝光时间对应发射周期数的第二增长量,以及确定所述第二曝光时间对应发射周期数的第二减少量,所述第二增长量与所述第二数量差值呈正相关关系,所述第二减少量与所述第二数量差值呈正相关关系;
基于所述第二增长量和所述第二减少量,对所述第j-1曝光参数进行调节。
综上所述,本申请实施例中,在深度图像的获取场景中,通过将单帧深度图像帧对应深度信息的测量周期划分为不同子测量周期,进而为不同子测量周期设置不同曝光时间,使得可以通过调整不同子测量周期的划分,或调整不同子测量周期对应的曝光时间,进而调整在同一测量周期内,远距离目标的总曝光时长和近距离目标的总曝光时长,使得近距离物体可以对应较短的总曝光时长,防止过曝和堆积效应,同时远距离物体相对于近距离物体对应有较长的总曝光时长,在防止过曝和堆积效应的同时保证了远距离目标的测量精度,从而可以兼顾同一视场内更远和更近物体的测量精度,进一步可以增加同时探测视场内远、近距离目标的距离差,从而提高了深度图像采集设备的距离动态范围。
需要说明的是:上述实施例提供的dTOF深度图像的采集装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的dTOF深度图像的采集装置与dTOF深度图像的采集方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图10,其示出了本申请一个示例性实施例提供的电子设备的结构方框图。该电子设备1000可以是具有深度图像采集功能的设备,其可以是智能手机、平板电脑、智能电视、数码相机等,本实施例对电子设备不构成限定。本申请中的电子设备1000可以包括一个或多个如下部件:处理器1001、存储器1002和图像采集组件1003。
存储器1002可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。可选地,该存储器1002包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1002可用于存储指令、程序、代码、代码集或指令集。存储器1002可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区还可以存储电子设备1000在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据、图像数据)等。
处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分,通过运行或执行存储在存储器1002内的指令、程序、代码集或指令集,以及调用存储在存储器1002内的数据,执行电子设备1000的各种功能和处理数据。可选地,处理器1001可以采用DSP、现场可编程门阵列(Field-Programmable GateArray,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1004可集成CPU、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。
图像采集组件1003用于实现dTOF深度图像采集功能。该图像采集组件1003可以包括发射端、接收端,其中,发射端用于发射激光信号,接收端用于接收光信号。
可选的,电子设备1000中还可以包括触控显示屏,该触控显示屏可以为电容式触控显示屏,该电容式触控显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触控显示屏通常设置在电子设备1000的前面板。触控显示屏可被设计成为全面屏、曲面屏或异型屏。触控显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备1000的结构并不构成对电子设备1000的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备1000中还包括传感器、射频电路、音频电路、无线保真(Wireless Fidelity,WiFi)组件、电源、蓝牙组件等部件,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如上各个实施例所述的dTOF深度图像的采集方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述方面的各种可选实现方式中提供的dTOF深度图像的采集方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种dTOF深度图像的采集方法,其特征在于,所述方法包括:
在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;
根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,所述测量周期中包含对应不同曝光时间的子测量周期,所述光信号中包含所述激光信号的反射光信号;
响应于所述测量周期内各个所述子测量周期结束,基于接收到的所述光信号生成所述深度图像帧。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,包括:
基于所述第i个子测量周期对应的所述曝光时间,确定所述第i个子测量周期对应的曝光延迟时长;
响应于所述激光信号的发射时刻与当前接收时刻之间的时间差达到所述曝光延迟时长后,通过所述接收端接收所述光信号。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,包括:
响应于所述曝光时间为最大曝光时间,在所述发射时刻通过所述接收端接收所述光信号,所述最大曝光时间由所述激光信号的发射周期确定;
响应于所述曝光时间小于所述最大曝光时间,且所述发射时刻与所述当前接收时刻之间的时间差达到所述曝光延迟时长后,通过所述接收端接收所述光信号。
4.根据权利要求1至3任一所述的方法,其特征在于,所述测量周期中包含N个发射周期,N为大于1的整数,所述发射周期为相邻激光信号之间的发射时间差值;
其中,不同子测量周期中包含相同发射周期数,或,不同子测量周期中包含不同发射周期数。
5.根据权利要求1至3任一所述的方法,其特征在于,存在至少一段所述子测量周期对应的所述曝光时间为最大曝光时间,所述最大曝光时间由所述激光信号的发射周期确定。
6.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
获取用于生成第j-1帧深度图像帧的第j-1曝光结果数据,所述第j-1曝光结果数据包括各个像素点在所述测量周期中接收到的总光子数,其中,j为大于1的整数;
响应于所述第j-1曝光结果数据满足预设条件,按照预设调节方式对第j-1曝光参数进行调节,生成第j曝光参数,所述第j-1曝光参数为采集所述第j-1深度图像帧时所使用的曝光参数,所述第j-1曝光参数包括:所述测量周期被划分的k个子测量周期以及各个子测量周期对应的所述曝光时间,所述预设调节方式用于改变所述测量周期的划分方式,k为大于1的整数;
基于所述第j曝光参数向所述接收端发送曝光参数更新指令,所述接收端用于基于所述第j曝光参数接收所述光信号。
7.根据权利要求6所述的方法,其特征在于,所述响应于所述第j-1曝光结果数据满足预设条件,按照预设调节方式对第j-1曝光参数进行调节,包括:
响应于所述第j-1曝光结果数据满足第一预设条件,按照第一预设调节方式对所述第j-1曝光参数进行调节,所述第一预设调节方式用于减少第一曝光时间对应子测量周期中所包含的发射周期数,并增加第二曝光时间对应子测量周期中所包含的发射周期数,所述第二曝光时间小于所述第一曝光时间;
和/或,
响应于所述第j-1曝光结果数据满足第二预设条件,按照第二预设调节方式对所述第j-1曝光参数进行调节,所述第二预设调节方式用于增加第一曝光时间对应子测量周期中所包含的发射周期数,并减少第二曝光时间对应子测量周期中所包含的发射周期数,所述第二曝光时间小于所述第一曝光时间。
8.根据权利要求7所述的方法,其特征在于,
所述第一预设条件包括:单个像素点在所述测量周期中接收到的总光子数高于第一预设光子数阈值、所述总光子数高于所述第一预设光子数阈值的像素点数量大于第一预设数量阈值,以及所述总光子数高于所述第一预设光子数阈值的像素点所占比例高于第一预设比例阈值中的至少一种;
所述第二预设条件包括:单个像素点在所述测量周期中接收到的总光子数低于第二预设光子数阈值、所述总光子数低于所述第二预设光子数阈值的像素点数量大于第二预设数量阈值,以及所述总光子数低于所述第二预设光子数阈值的像素点所占比例高于第二预设比例阈值中的至少一种,其中,所述第二预设光子数阈值小于等于所述第一预设光子数阈值。
9.根据权利要求8所述的方法,其特征在于,所述按照第一预设调节方式对所述第j-1曝光参数进行调节,包括:
基于所述总光子数和所述第一预设光子数阈值之间的第一数量差值,确定所述第二曝光时间对应发射周期数的第一增长量,以及确定所述第一曝光时间对应发射周期数的第一减少量,所述第一增长量与所述第一数量差值呈正相关关系,且所述第一减少量与所述第一数量差值呈正相关关系;
基于所述第一增长量和所述第一减少量,对所述第j-1曝光参数进行调节。
10.根据权利要求8所述的方法,其特征在于,所述按照第二预设调节方式对所述第j-1曝光参数进行调节,包括:
基于所述总光子数和所述第二预设光子数阈值之间的第二数量差值,确定所述第一曝光时间对应发射周期数的第二增长量,以及确定所述第二曝光时间对应发射周期数的第二减少量,所述第二增长量与所述第二数量差值呈正相关关系,所述第二减少量与所述第二数量差值呈正相关关系;
基于所述第二增长量和所述第二减少量,对所述第j-1曝光参数进行调节。
11.一种dTOF深度图像的采集装置,其特征在于,所述装置包括:
发射模块,用于在第i个子测量周期内,通过发射端发射激光信号,其中,单帧深度图像帧对应深度信息的测量周期被划分为n个子测量周期,n为大于1的整数,i为小于等于n的正整数;
接收模块,用于根据所述第i个子测量周期对应的曝光时间,通过接收端接收光信号,所述测量周期中包含对应不同曝光时间的子测量周期,所述光信号中包含所述激光信号的反射光信号;
生成模块,用于响应于所述测量周期内各个所述子测量周期结束,基于接收到的所述光信号生成所述深度图像帧。
12.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述程序代码由所述处理器加载并执行以实现如权利要求1至10任一所述的dTOF深度图像的采集方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至10任一所述的dTOF深度图像的采集方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110557552.2A CN113296114B (zh) | 2021-05-21 | 2021-05-21 | dTOF深度图像的采集方法、装置、电子设备及介质 |
PCT/CN2022/085379 WO2022242348A1 (zh) | 2021-05-21 | 2022-04-06 | dTOF深度图像的采集方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110557552.2A CN113296114B (zh) | 2021-05-21 | 2021-05-21 | dTOF深度图像的采集方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113296114A true CN113296114A (zh) | 2021-08-24 |
CN113296114B CN113296114B (zh) | 2024-05-14 |
Family
ID=77323553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110557552.2A Active CN113296114B (zh) | 2021-05-21 | 2021-05-21 | dTOF深度图像的采集方法、装置、电子设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113296114B (zh) |
WO (1) | WO2022242348A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022242348A1 (zh) * | 2021-05-21 | 2022-11-24 | Oppo广东移动通信有限公司 | dTOF深度图像的采集方法、装置、电子设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150243038A1 (en) * | 2014-02-27 | 2015-08-27 | Ricoh Company, Ltd. | Method and apparatus for expressing motion object |
US20160320486A1 (en) * | 2014-01-14 | 2016-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Range imaging apparatus and range imaging method |
CN106683130A (zh) * | 2015-11-11 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 一种深度图像获得方法及装置 |
WO2019023868A1 (zh) * | 2017-07-31 | 2019-02-07 | 深圳市大疆创新科技有限公司 | 一种图像拍摄的控制方法、控制装置及控制系统 |
CN110023785A (zh) * | 2016-11-29 | 2019-07-16 | 松下知识产权经营株式会社 | 距离测定装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6296401B2 (ja) * | 2013-06-27 | 2018-03-20 | パナソニックIpマネジメント株式会社 | 距離測定装置および固体撮像素子 |
CN107710015B (zh) * | 2015-07-03 | 2021-08-24 | 新唐科技日本株式会社 | 距离测量装置以及距离图像合成方法 |
US10928518B2 (en) * | 2016-04-19 | 2021-02-23 | Hitachi-Lg Data Storage, Inc. | Range image generation apparatus and range image generation method |
CN113296114B (zh) * | 2021-05-21 | 2024-05-14 | Oppo广东移动通信有限公司 | dTOF深度图像的采集方法、装置、电子设备及介质 |
-
2021
- 2021-05-21 CN CN202110557552.2A patent/CN113296114B/zh active Active
-
2022
- 2022-04-06 WO PCT/CN2022/085379 patent/WO2022242348A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160320486A1 (en) * | 2014-01-14 | 2016-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Range imaging apparatus and range imaging method |
US20150243038A1 (en) * | 2014-02-27 | 2015-08-27 | Ricoh Company, Ltd. | Method and apparatus for expressing motion object |
CN106683130A (zh) * | 2015-11-11 | 2017-05-17 | 杭州海康威视数字技术股份有限公司 | 一种深度图像获得方法及装置 |
CN110023785A (zh) * | 2016-11-29 | 2019-07-16 | 松下知识产权经营株式会社 | 距离测定装置 |
WO2019023868A1 (zh) * | 2017-07-31 | 2019-02-07 | 深圳市大疆创新科技有限公司 | 一种图像拍摄的控制方法、控制装置及控制系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022242348A1 (zh) * | 2021-05-21 | 2022-11-24 | Oppo广东移动通信有限公司 | dTOF深度图像的采集方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022242348A1 (zh) | 2022-11-24 |
CN113296114B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109804271B (zh) | 功率控制方法、测距模块及电子装置 | |
CN112739980B (zh) | 多阶段有源光深度系统 | |
CN111886517B (zh) | 距离测量装置、距离测量系统、距离测量方法和程序 | |
CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
TW201945759A (zh) | 具有改變的發射場之飛行時間測距 | |
US20230197759A1 (en) | Pixel circuit and method of operating the same in an always-on mode | |
JP2020112443A (ja) | 距離測定装置及び距離測定方法 | |
US20230325979A1 (en) | Image correction method, and under-screen system | |
WO2022242348A1 (zh) | dTOF深度图像的采集方法、装置、电子设备及介质 | |
WO2022110947A1 (zh) | 电子装置的控制方法、电子装置及计算机可读存储介质 | |
US20210325514A1 (en) | Time of flight apparatus and method | |
TWI723413B (zh) | 測量一成像感測器與一物體間之一距離的系統及方法 | |
US11561291B2 (en) | High pulse repetition frequency lidar | |
EP3712645A1 (en) | Range finding device and range finding method | |
CN112255635A (zh) | 一种距离测量方法、系统及设备 | |
WO2022160622A1 (zh) | 一种距离测量方法、装置及系统 | |
CN115792936A (zh) | 一种DToF测距方法、系统及装置 | |
CN109975821A (zh) | 控制方法及装置、飞行时间组件、存储介质和计算机设备 | |
US20230019246A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method | |
US20220171036A1 (en) | Methods and devices for peak signal detection | |
CN114814881A (zh) | 一种激光测距方法及激光测距芯片 | |
WO2023001363A1 (en) | Time-of-flight sensor | |
CN114667457A (zh) | 电子设备及其控制方法 | |
CN116413730B (zh) | 测距方法、装置、存储介质及激光雷达 | |
CN116449337B (zh) | 像素电路、光电传感器、ToF装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |