CN112954230B - 深度测量方法、芯片和电子设备 - Google Patents

深度测量方法、芯片和电子设备 Download PDF

Info

Publication number
CN112954230B
CN112954230B CN202110184297.1A CN202110184297A CN112954230B CN 112954230 B CN112954230 B CN 112954230B CN 202110184297 A CN202110184297 A CN 202110184297A CN 112954230 B CN112954230 B CN 112954230B
Authority
CN
China
Prior art keywords
phase
extended
image
subframe
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110184297.1A
Other languages
English (en)
Other versions
CN112954230A (zh
Inventor
李明采
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202110184297.1A priority Critical patent/CN112954230B/zh
Publication of CN112954230A publication Critical patent/CN112954230A/zh
Priority to PCT/CN2022/074100 priority patent/WO2022166723A1/zh
Application granted granted Critical
Publication of CN112954230B publication Critical patent/CN112954230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请实施例涉及测距领域,公开了一种深度测量方法、芯片和电子设备。上述深度测量方法包括:根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像;其中,N为大于或等于2的自然数;根据N个子帧图像,确定目标场景的深度信息;其中,N个相位包括基准相位和扩展相位,N个曝光时长包括与基准相位对应的基准曝光时长和与扩展相位对应的扩展曝光时长;基准曝光时长小于或等于在基准相位及预设的基准距离下图像不过曝的最大时长,扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间,扩展曝光时长与基准曝光时长不同,使得可以在提高测距的动态范围的同时减小功耗。

Description

深度测量方法、芯片和电子设备
技术领域
本申请实施例涉及测距领域,特别涉及一种深度测量方法、芯片和电子设备。
背景技术
深度信息的获取目前在许多领域有较广泛的应用。飞行时间(Time of flight,TOF)技术作为深度信息获取的一种方式,原理是通过光在空气中的飞行时间来计算测量装置(比如TOF摄像机)到目标物体的距离,大多TOF摄像机都采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)像素阵列作为接收端的光传感器,并采用调制光作为测量用的光源,比如由发射端发射调制过的单脉冲或连续调制光信号,接收端接受目标物体反射回来的光,通过计算发射光与接收光的相位差来计算物体当前的距离。
目前为了扩大TOF摄像机测距的动态范围,采用的方式是:采集两次曝光数据进行融合。两次曝光数据分别为低曝光时的曝光数据和高曝光时的曝光数据,以四相位法飞行时间测距为例,低曝光时的曝光数据包括:低曝光时采集的4个不同相位的子帧图像,高曝光时的曝光数据包括:高曝光时采集的4个不同相位的子帧图像。
然而,发明人发现相关技术中至少存在如下问题:为了扩大动态范围,需要采集两次曝光数据进行融合才能获得一帧深度数据,功耗较大。
发明内容
本申请实施例的目的在于提供一种深度测量方法、芯片和电子设备,使得可以在提高测距的动态范围的同时减小功耗。
为解决上述技术问题,本申请的实施例提供了一种深度测量方法,包括:根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像;其中,所述N为大于或等于2的自然数,所述N个相位是与发射光相位的相位差各不相同的N个相位;根据所述N个子帧图像,确定所述目标场景的深度信息;其中,所述N个相位包括基准相位和扩展相位,所述N个曝光时长包括与基准相位对应的基准曝光时长和与所述扩展相位对应的扩展曝光时长;所述基准曝光时长小于或等于在所述基准相位及预设的基准距离下图像不过曝的最大时长,所述扩展曝光时长介于所述基准曝光时长和在所述扩展相位及所述基准距离下图像不过曝的最大时长之间。
本申请的实施例还提供了一种深度测量方法,包括:以基准相位发射用于深度测量的发射光;根据第一相位和基准曝光时长采集目标场景的第一子帧图像;其中,所述第一相位与所述基准相位的相位差为0度;根据第二相位采集目标场景的第二子帧图像;其中,所述第二相位与所述基准相位的相位差为180度;根据第三相位采集目标场景的第三子帧图像;其中,所述第三相位与所述基准相位的相位差为90度;根据第四相位采集目标场景的第四子帧图像;其中,所述第四相位与所述基准相位的相位差为270度;其中,采集所述第二子帧图像所使用的曝光时长、采集所述第三子帧图像所使用的曝光时长和采集所述第四子帧图像所使用的曝光时长分别大于所述基准曝光时长,所述第一子帧图像、所述第二子帧图像、所述第三子帧图像和所述第四子帧图像用于确定一帧深度图像。
本申请的实施例还提供了一种芯片,设置于电子设备中,所述芯片与所述电子设备中的存储器连接,所述存储器存储有可被所述芯片执行的指令,所述指令被所述芯片执行,以使所述芯片能够执行上述的深度测量方法。
本申请的实施例还提供了一种电子设备,包括上述的芯片和与所述芯片连接的存储器。
本申请实施例,根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像,N为大于或等于2的自然数,N个相位是与发射光相位的相位差各不相同的N个相位;根据N个子帧图像,确定目标场景的深度信息;N个相位包括基准相位和扩展相位,N个曝光时长包括与基准相位对应的基准曝光时长和与扩展相位对应的扩展曝光时长;基准曝光时长小于或等于在基准相位和预设的基准距离下图像不过曝的最大时长,确保根据基准相位对应的基准曝光时长,获取的目标场景的子帧图像不过曝。扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间,确保根据扩展相位对应的扩展曝光时长,获取的目标场景的子帧图像不过曝。另外,由于扩展曝光时长与基准曝光时长不同,因此在不同曝光时长下,有利于确定目标场景中不同距离处的深度信息。在扩展曝光时长与基准曝光时长中,较长的一个曝光时长下有利于准确的确定目标场景中较远处即远景点的深度信息,较短的一个曝光时长下有利于准确的确定目标场景中较近处即近景点的深度信息,从而有利于在不过曝的同时提高测距的动态范围,而且由于每个相位下采用1个曝光时长,获取1个子帧图像,并不需要对每个相同相位采用2个不同的曝光时长,获取2个子帧图像,从而无需对基于每个相位采用2个不同的曝光时长,获取的子帧图像进行融合,因此可以在提高测距的动态范围的同时减小功耗。
另外,所述在所述扩展相位及所述基准距离下图像不过曝的最大时长的确定方式为:在相同曝光时长内,分别获取所述基准相位下的子帧图像的光子数和所述扩展相位下的子帧图像的光子数;计算所述基准相位下的子帧图像的光子数与所述扩展相位下的子帧图像的光子数的第一比值;基于深度测量中光信号的调制频率、所述扩展相位以及所述基准距离,计算所述扩展相位下的子帧图像的光子数达到极限值的最远测量距离;计算所述最远测量距离与所述基准距离的第二比值的平方;在所述第一比值和所述第二比值的平方中选择最小的数值,并将所述最小的数值与所述基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为所述扩展相位及所述基准距离下图像不过曝的最大时长。通过将第一比值和第二比值的平方中最小的数值与基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为扩展相位及基准距离下图像不过曝的最大时长,有利于考虑到不同维度下的比值关系,一种维度为确保测量近距离时不过曝,另一种维度为确保测量远距离时不过曝,从而可以更加合理的确定扩展相位及基准距离下图像不过曝的最大时长,使得最终确定的扩展相位及基准距离下图像不过曝的最大时长能够同时满足测量近距离时不过曝和测量远距离时不过曝。
另外,扩展相位包括两个所述第一类扩展相位和一个所述第二类扩展相位,且两个所述第一类扩展之间的相位差为π。即,本申请实施例根据预设的与4个相位分别对应的4个曝光时长,获取目标场景的4个子帧图像,通过4个子帧图像,确定目标场景的深度信息,采用了4相位采样的方式,可以同时兼顾测距精度、功耗以及速度,即在提高测距精度的同时不会对功耗和速度有太大影响。
另外,所述目标场景的深度信息包括所述目标场景中多个像素点的深度信息,在所述根据所述N个子帧图像确定所述目标场景的深度信息之后,还包括:根据所述N个子帧图像,确定与所述多个像素点的深度信息分别对应的多个置信度;若所述多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值且所述扩展曝光时长未达到所述扩展相位及所述基准距离下图像不过曝的最大时长,增大所述扩展曝光时长。可以理解的是,对目标场景中若干个像素点测量的深度准确性均较低,说明扩展曝光时长设置的不合理的可能性较大,扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长说明当前的扩展曝光时长还有可以增大的空间。因此,本实施例中在多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值且扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长,增大扩展曝光时长,可以在合理的时机增大扩展曝光时长,无需一开始就将扩展曝光时长设置的较大,有利于得到可以使置信度大于置信度阈值的最小扩展曝光时长,能够在提高测距动态方范围和测距准确度的同时,进一步降低功耗。
另外,以基准相位发射用于深度测量的发射光;根据第一相位和基准曝光时长采集目标场景的第一子帧图像;其中,所述第一相位与所述基准相位的相位差为0度;根据第二相位采集目标场景的第二子帧图像;其中,所述第二相位与所述基准相位的相位差为180度;根据第三相位采集目标场景的第三子帧图像;其中,所述第三相位与所述基准相位的相位差为90度;根据第四相位采集目标场景的第四子帧图像;其中,所述第四相位与所述基准相位的相位差为270度;其中,采集所述第二子帧图像所使用的曝光时长、采集所述第三子帧图像所使用的曝光时长和采集所述第四子帧图像所使用的曝光时长分别大于所述基准曝光时长,所述第一子帧图像、所述第二子帧图像、所述第三子帧图像和所述第四子帧图像用于确定一帧深度图像。本发明实施方式中可以基于4个子帧图像确定一帧深度图像,由于四子帧图像中采集第二子帧图像所使用的曝光时长、采集第三子帧图像所使用的曝光时长和采集第四子帧图像所使用的曝光时长分别大于基准曝光时长,因此基于第二、三、四子帧图像相比于第一子帧图像可以确定目标场景中的远景点的深度信息,基于第一子帧图像可以确定目标场景中的近景点的深度信息。因此,本实施方式中基于4个子帧图像可以同时得到目标场景中的远景点的深度信息和近景点的深度信息,从而在提高测距的动态范围的同时极大的提高帧率并减小了功耗。同时基于4个子帧图像确定的深度图像,还可以在提高测量精度的同时还可以保证测量需要花费的时间不会很长,即提高确定一帧深度图像的速度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请实施例中提到的用于进行深度测量的电子设备的模块图;
图2是本申请实施例中提到的相关技术中发射的光信号、接收的光信号以及基于4相位进行采样的光信号的波形图;
图3是本申请实施例中提到的深度测量方法的流程图;
图4是本申请实施例中提到的以0°为基准相位且基准距离为0时,4相位对应的不同曝光时长的示意图;
图5是本申请实施例中提到的以0°为基准相位且基准距离大于0时,4相位对应的不同曝光时长的示意图;
图6是本申请实施例中提到的在扩展相位及基准距离下图像不过曝的最大时长的确定方式的流程图;
图7是本申请实施例中提到的一个例子中的深度测量方法的流程图;
图8是本申请一实施例中提到的深度测量方法的流程图;
图9是本申请实施例中提到的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请实施例涉及一种深度测量方法,应用于电子设备,该电子设备用于测量深度信息,深度信息可以理解为待测对象与电子设备之间的距离。该电子设备可以为TOF测距设备,在具体实现中可以表现为TOF相机。TOF相机测量的深度信息可以理解为待测对象与TOF相机之间的距离。下面对本实施例的深度测量方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
为便于对本实施例的理解,下面对本实施例涉及的深度测量原理进行说明:
本实施例涉及的深度测量技术是为对发射光信号进行周期性调制,通过对反射光信号相对于发射光信号的相位延迟进行测量,再依据相位延迟和光速对深度进行计算,这种测量技术可以称为间接-飞行时间(indirect-TOF,iTOF)技术。用于进行深度测量的电子设备的模块图可以参考图1,包括:发射模块101、接收模块102、处理模块103。
发射模块101,用于发射基于调制频率f调制过的光信号,可以采用诸如激光发射器作为光源。
接收模块102,用于接收目标物反射回来的光(简称反射光),通过对反射光进行不同相位的采样得到不同相位对应的子帧图像,接收模块中主要由CMOS图像传感器来检测反射光信号。图像传感器也可以称之为光探测器,其一般包含阵列式分布的多个像素。比如常用的4相位采样法,通过图像传感器的像素阵列进行检测,可以得到4个不同的相位子帧即4个不同相位的子帧图像,4个子帧图像中每个像素而言,其对应有各自的光子数,分别为Q1、Q2、Q3、Q4。相关技术中,发射的光信号、接收的光信号以及基于4相位进行采样的光信号的波形图可以参考图2,即4相位采用相同的曝光时长。上述的相位可以理解为积分窗口的起始位置相对于发射窗口的起始位置的相位偏移量,其中,发射窗口的起始位置对应的相位作为参考基准可以视为0°,积分窗口也可以称为接收窗口。图2中的4个相位分别为0°、90°、180°、270°,通过图2可以看出0°的积分窗口的起始位置相对于发射窗口的起始位置的相位偏移量为0°,即0°的积分窗口和发射窗口完全重合;90°的积分窗口的起始位置相对于发射窗口的起始位置的相位偏移量为90°;180°的积分窗口的起始位置相对于发射窗口的起始位置的相位偏移量为180°;270°的积分窗口的起始位置相对于发射窗口的起始位置的相位偏移量为270°。
积分窗口可以理解为:光探测器中像素的感光控制开关的工作时序图的高电平所占的窗口。积分窗口包括有效积分窗口和无效积分窗口,有效积分窗口为积分窗口中实际接收到反射光的窗口,即图2中的每个积分窗口的阴影部分;无效积分窗口为积分窗口中实际未接收到反射光的窗口,即图2中每个积分窗口的非阴影部分。图2中各相位子帧对应的波形图中,感光控制开关打开为高电平,高电平表示允许开始接收反射光,感光控制开关关闭为低电平,低电平表示停止接收反射光,在规定的曝光时长结束后,一个相位子帧采样完成。在具体实现中,规定的曝光时长内通常有多个积分窗口,比如图2中的270°子帧对应的曝光时长内有3个积分窗口,每个积分窗口内接收的光子数为q4,3个积分窗口均接收完光子数后,可以认为270°相位子帧采样完成,其中一个相位子帧也可以称为一个子帧图像。一个子帧图像还可以理解为各像素在规定的曝光时长内所有积分窗口积分完后形成的图像。
处理模块103,用于将发起采图命令发送给接收模块102,接收模块102将采图命令发送至发射模块101,以使发射模块101发射出光信号。处理模块103还用于接收接收模块102发送的相位数据,该相位数据可以包括上述4个相位下采样得到的4个子帧图像的图像数据,该图像数据可以具体表现为4个子帧图像的光子数,依次表示为Q1、Q2、Q3、Q4。从而,处理模块103可以通过如下公式计算深度d:
Figure BDA0002942375410000061
Figure BDA0002942375410000062
Figure BDA0002942375410000063
A=1/2(Q2+I2)1/2
Figure BDA0002942375410000064
其中,f为光信号的调制频率、
Figure BDA0002942375410000071
为反射光信号相对于发射光信号的相位延迟,c为光速,A为测量的深度d的置信度。参考图2,q1为0°相位子帧中接收模块102在每个积分窗口内接收到的光子数,n1为0°相位子帧对应的曝光时长内积分窗口的数量,Q1为0°相位子帧中接收模块102在所有积分窗口内接收到的光子数的总和。q2为180°相位子帧中接收模块102在每个积分窗口下接收到的光子数,n2为180°相位子帧对应的曝光时长内积分窗口的数量,Q2为180°相位子帧中接收模块102在所有积分窗口内接收到的光子数的总和。q3为90°相位子帧中接收模块102在每个积分窗口下接收到的光子数,n3为90°相位子帧对应的曝光时长内积分窗口的数量,Q3为90°相位子帧中接收模块102在所有积分窗口内接收到的光子数的总和。q4为270°相位子帧中接收模块102在每个积分窗口下接收到的光子数,n4为270°相位子帧对应的曝光时长内积分窗口的数量,Q4为270°相位子帧中接收模块102在所有积分窗口内接收到的光子数的总和。图2中,n1=n2=n3=n4=3。
在具体实现中,接收模块103中的光探测器上各像素均可独立获取光子数,处理模块103基于光探测器上的一个像素可以计算得到目标场景中的一个像素点的深度信息,基于光探测器上多个像素可以计算得到目标场景中的多个像素点的深度信息。其中,像素获取的光子数可以理解为:在曝光时长内将反射光信号成像在像素上以累积光电荷,即在曝光时长内累积反射光在像素中生成的光子数,还可以理解为:在曝光时长内的所有积分窗口下接收到的光子数的总和。
在一种实现方式中,采用两次曝光数据(低曝光的4个子帧图像+高曝光的4个子帧图像)进行融合以扩大动态测量范围,低曝光下4个相位采用相同的曝光时长,高曝光下4个相位采用相同的曝光时长。高曝光与低曝光的不同之处在于,高曝光下采用的曝光时长大于低曝光下采用的曝光时长。即采集一次曝光数据,不同相位对应的曝光时长保持一致,假设0°、180°、90°、270°对应的曝光时长分别为t1、t2、t3、t4,则t1=t2=t3=t4。总共需要采集8个子帧图像,每个相位下采用2个不同的曝光时长(低曝光的曝光时长和高曝光的曝光时长),获取2个子帧图像,4个相位就可以得到8个子帧图像。为了提高动态范围,每个相位需要基于2个不同的曝光时长进行采样,得到2个子帧图像,对基于4个相位采样得到的8个子帧图像进行融合以输出一帧深度信息,但这样明显降低了帧率,增大了功耗。其中,8个子帧图像进行融合可以理解为:基于低曝光的4个子帧图像得到一帧低曝光的深度信息,基于高曝光的4个子帧图像得到一帧高曝光的深度信息,再将低曝光的深度信息和高曝光的深度信息进行融合得到最终测量的深度信息。
本实施例中为了在扩大动态测量范围的同时降低功耗,提供如下的深度测量方法,本实施例的深度测量方法的流程图可以参考图3,包括:
步骤301:根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像。
步骤302:根据N个子帧图像,确定目标场景的深度信息。
其中,N为大于或等于2的自然数,N个相位是与发射光相位的相位差各不相同的N个相位。每个相位下采用1个曝光时长,获取1个子帧图像,并不需要对每个相位采用2个不同的曝光时长,获取2个子帧图像。本实施例中为了提高动态范围,每个相位基于1个曝光时长进行采样,得到1个子帧图像,基于N个不同相位下采集的N个子帧图像,输出一帧深度信息。
在一个例子中,N为大于或等于2且小于8的自然数,即至多可以根据基于7个不同的相位采样得到的7个子帧图像,输出一帧深度信息,这样相比于对8个子帧图像进行融合以输出一帧深度信息的方式可以提高帧率,降低功耗。
在一个例子中,N=4,本实施例可以根据基于4个不同的相位采样得到的4个子帧图像,输出一帧深度信息,即根据4个依序先后获得的子帧图像,确定目标场景的深度信息。考虑到相位越多测量精度越高,但同时功耗以及测量需要花费的时间也会相对越多,帧率也会随之降低,N取4可以权衡动态范围、帧率、测量精度、功耗以及测量需要花费的时间,在一定程度上可以在提高动态范围的同时、提高帧率和测量精度的,还可以保证功耗不会很大,测量需要花费的时间也不会很长。
N个不同的相位包括基准相位和扩展相位,N个曝光时长包括与基准相位对应的基准曝光时长和与扩展相位对应的扩展曝光时长;基准曝光时长小于或等于在基准相位及预设的基准距离下图像不过曝的最大时长,确保根据基准相位对应的基准曝光时长,获取的目标场景的子帧图像不会过曝。扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间,确保根据扩展相位对应的扩展曝光时长,获取的目标场景的子帧图像不会过曝。
在具体实现中,基准相位可以根据实际需要进行选择,基准相位与基准距离对应。比如,基准相位为0°时,0°对应的基准距离为应用测距的最近距离range0,range0可以理解为TOF测距设备所应用的测距场景中需要测量的最近距离。也可以理解为,假设应用测距的最近距离表示为range0,则参考图4当积分窗口完全对准发射窗口时,该相位记为基准相位0°即基准相位是与发射光相位的相位差为0°的相位。通过图4可以看出,range0为0米,0°相位子帧的积分窗口内接收到的光子数为满光子,也就是说0°相位子帧的积分窗口都是有效积分窗口,180°相位子帧的积分窗口内接收到的光子数为0,也就是说180°相位子帧的积分窗口都是无效积分窗口。其中,满光子可以理解为在一个发射窗口内发射的光子数总和。图4中,Q1=3q1,Q2=0,Q3=6q3,Q4=5q4。
在一个例子中,应用测距的最近距离range0大于0,比如可能为0.3米。当range0大于0时,可以参考图5,0°相位子帧的积分窗口内接收到的光子数小于满光子,也就是说0°相位子帧的积分窗口并不都是有效积分窗口还包括无效积分窗口。180°相位子帧的积分窗口内接收到的光子数大于0,也就是说180°相位子帧的积分窗口并不都是无效积分窗口还包括小部分的有效积分窗口。图5中的阴影部分均为有效积分窗口,需要说明的是,由于180°相位子帧的有效积分窗口很小,因此图5中q2并未标准在阴影区域中。图5中,Q1=3q1,Q2=6q2,Q3=6q3,Q4=5q4。
为便于说明,下面将在基准相位及预设的基准距离下图像不过曝的最大时长简称为t0,基准曝光时长简称为t1,则t1小于或等于t0。在一个例子中,t0的确定方式可以如下:
在基准距离下,调整基准相位的积分窗口的起始点与发射的光信号的起始点间隔基准相位,逐渐增大预设的起始曝光时长,并在每次增大起始曝光时长后获取在基准相位下的光子数,直到获取的光子数与上一次获取的光子数相同即获取的光子数不再增加,说明光子数已经到达极限值,将上一次获取的光子数所基于的曝光时长作为t0。可以理解的是,TOF测距设备中包括感光芯片,感光芯片能够接收的光子数是有限的,如果达到其极限值就认为感光芯片已经饱和,再增加曝光时长,获取的光子数也不会再增加。因此,t0可以理解为随着曝光时长的增加,使得光子数不会再增加的临界曝光时长。
比如,基准相位为0°,基准距离为range0时,t0的确定方式可以:
在range0下,调整基准相位的积分窗口的起始点与发射的光信号的起始点间隔0°,即基准相位的积分窗口的起始点与发射的光信号的起始点对齐。比如,参考图4,让0°帧对齐到发射模块发射的调制波,使得0°帧积分窗口为最大,然后从小往大增加曝光时长,比如曝光时长从1ms逐渐增加到10ms后感光芯片收到的光子数不会再增加了,可以认为在0°相位及range0下图像不过曝的最大时长为10ms,即t0=10ms,0°对应的曝光时长t1可以设为10ms,即t1=t0。
在一个例子中,在扩展相位及基准距离下图像不过曝的最大时长的确定方式可以参考图6,包括:
步骤601:在相同曝光时长内,分别获取基准相位下的子帧图像的光子数和扩展相位下的子帧图像的光子数。
步骤602:计算基准相位下的子帧图像的光子数与扩展相位下的子帧图像的光子数的第一比值。
步骤603:基于深度测量中光信号的调制频率、扩展相位以及基准距离,计算扩展相位下的子帧图像的光子数达到极限值的最远测量距离。
步骤604:计算最远测量距离与基准距离的第二比值的平方。
步骤605:在第一比值和第二比值的平方中选择最小的数值,并将最小的数值与基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为扩展相位及基准距离下图像不过曝的最大时长。
为便于理解,基准相位以0°为例,下面分别以扩展相位为90°和180°为例,对在扩展相位及基准距离下图像不过曝的最大时长的确定方式进行举例说明:
扩展相位90°及基准距离下图像不过曝的最大时长简称为t3,t3的确定方式为:
首先,参考图4可以看出,相同曝光时长(比如T)内,90°下的子帧图像的光子数至多为0°下的子帧图像的光子数的一半,即上述的第一比值为2。
其次,假设基于深度测量中光信号的调制频率f=100Mhz,在f=100Mhz时最大测量距离d=c/2f=1.5m,假设基准距离为0.3m,90°下光子数达到极限值的最远测量距离为:0.3+1.5/(90°/360°)=0.3+1.5/4=0.675m。则第二比值为:0.675/0.3=2.25,第二比值的平方约等于5。
最后,在第一比值(2)和第二比值的平方(5)中选择最小的数值即2,则t3=2t0,当基准曝光时长t1=t0时,t3=2t1。也就是说,t3介于t1和2t1之间,t1<t3≤2t1。
扩展相位180°及基准距离下图像不过曝的最大时长简称为t2,t2的确定方式为:
首先,参考图4可以看出,相同曝光时长(比如T)内,180°下的子帧图像的光子数为0即没有接收到光子,因此上述第一比值理论为无限大。
其次,假设基于深度测量中光信号的调制频率f=100Mhz,在f=100Mhz时最大测量距离d=c/2f=1.5m,假设基准距离为0.3m,180°下光子数达到极限值的最远测量距离为:0.3+1.5/(180°/360°)=0.3+1.5/2=1.05m≈1m。则第二比值的平方为:1/0.3≈3,第二比值的平方约等于9。
最后,在第一比值(无限大)和第二比值的平方(9)中选择最小的数值即9,则t2=9t0,当基准曝光时长t1=t0时,t2=9t1。也就是说,t2介于t1和9t1之间,t1<t2≤9t1。
需要说明的是,上述示例只是为了便于理解分别选择扩展相位为90°和180°进行说明,在具体实现中,选择其他相位时也可以基于上述方式计算图像不过曝的最大时长。比如,如果选择270°,在扩展相位270°及基准距离下图像不过曝的最大时长简称为t4,可以计算得出t1<t4≤2t1。如果选择45°,在扩展相位45°及基准距离下图像不过曝的最大时长简称为t5,可以计算得出t1<t5≤4/3t1。
可以理解的是,根据调制光原理,在range0上,0°相位子帧的接收窗口(也可以称为积分窗口)接收的光子数为最大,对应90°、270°至多接收到1/2的光子,即上述的第一比值为2,故最大可以设置t3=t4=2t1。在range0上,通过计算第一比值的方式,确定的t3、t4有利于确保测量近距离时不过曝。
另外,在基准距离的基础上,随着距离的增大,在180°相位子帧的接收窗口内接收到的光子数会逐渐增加,考虑到一个点光源发出的光,在离光源任意距离处的照度,随距离的平方衰减,也就是说,光子数的衰减和距离的平方成反比。因此,通过计算上述第二比值的平方的方式,确定的扩展相位180°及基准距离下图像不过曝的最大时长t2,有利于确保测量远距离时不过曝。
通过将第一比值和第二比值的平方中最小的数值与基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为扩展相位及基准距离下图像不过曝的最大时长,有利于考虑到不同维度下的比值关系,一种维度为确保测量近距离时不过曝,另一种维度为确保测量远距离时不过曝,从而可以更加合理的确定扩展相位及基准距离下图像不过曝的最大时长,使得最终确定的扩展相位及基准距离下图像不过曝的最大时长能够同时满足测量近距离时不过曝和测量远距离时不过曝。
在一个例子中,扩展相位包括第一类扩展相位和/或第二类扩展相位。下面分别对第一类扩展相位及基准距离下图像不过曝的最大时长的确定方式,以及第二类扩展相位及基准距离下图像不过曝的最大时长的确定方式进行说明:
第一类扩展相位与基准相位之间的相位差大于0且小于或等于π/2,第一类扩展相位及基准距离下图像不过曝的最大时长的确定方式为:TOF测距设备在相同曝光时长内,分别获取基准相位下的子帧图像的光子数和第一类扩展相位下的子帧图像的光子数,计算基准相位下的子帧图像的光子数与第一类扩展相位下的子帧图像的光子数的第一比值,并将第一比值与基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为扩展相位及基准距离下图像不过曝的最大时长。可以理解的是,上述第一比值的确定方式和步骤501至步骤502类似,此处不再赘述。
比如,基准相位为0°,则第一类扩展相位可以在[270°,0°)、(0°,90°]这两个区间范围内选择。
第二类扩展相位与基准相位之间的相位差大于π/2且小于或等于π,第二类扩展相位及基准距离下图像不过曝的最大时长的确定方式为:基于深度测量中光信号的调制频率、第二类扩展相位以及基准距离,计算第二类扩展相位下的子帧图像的光子数达到极限值的最远测量距离;计算最远测量距离与基准距离的第二比值的平方,并将第二比值的平方与基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为第二类扩展相位及基准距离下图像不过曝的最大时长。可以理解的是,上述第二比值的平方的确定方式和步骤503至步骤504类似,此处不再赘述。
比如,基准相位为0°,则第二类扩展相位可以在(90°,180°]这个区间范围内选择。
通过区分扩展相位的类型,即第一类扩展相位和第二类扩展相位,不同类型的扩展相位采用不同的方式计算图像不过曝的最大时长,可以结合不同类型的扩展相位的特征直接针对性的计算一种比值,从而能够更加快速且合理的计算出图像不过曝的最大时长。
在一个例子中,N取4,4个不同的相位包括:一个基准相位和三个扩展相位,扩展相位包括两个第一类扩展相位和一个第二类扩展相位,且两个第一类扩展之间的相位差为π。比如,如果基准相位为0°,则两个第一类扩展相位可以在[270°,0°)、(0°,90°]这两个区间范围内选择,比如选择出90°和270°。第二类扩展相位在(90°,180°]这个区间范围内选择,比如选择出180°。参考图4,0°对应的基准曝光时长为t1,t1可以等于在0°及range0下图像不过曝的最大时长。分别设置180°、90°、270°对应的曝光时长分别为t2、t3、t4,其中,t1<t3=t4≤2t1;t1<t2≤9t1。本示例通过上述方式设置的4相位的曝光时长,可以确保近距离不会过曝,而远距离由于90°、270°、180°相比于t1增大了曝光时长,因此测距的动态范围提高了,最大可以提高到两倍。而且相当于只需采集4个子帧图像,相比同类的高动态范围方案(采集8个子帧图像,且需要高曝光的4个子帧图像和低曝光的4个子帧图像融合),极大地提高了帧率(只采集4个子帧,不需要两次采集融合),极大地减小了功耗。
在一个例子中,当扩展相位大于基准相位,扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间是指:扩展曝光时长大于基准曝光时长且小于或等于在扩展相位及基准距离下图像不过曝的最大时长。比如,基准相位为0°时,扩展相位为90°,基准曝光时长为t1,扩展曝光时长为t3,则t3介于基准曝光时长t1和在扩展相位及基准距离下图像不过曝的最大时长2t1之间是指:t1<t3≤2t1。
在另一个例子中,当扩展相位小于基准相位,扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间是指:扩展曝光时长大于或等于在扩展相位及基准距离下图像不过曝的最大时长且小于基准曝光时长。比如,基准相位为90°,扩展相位为0°,基准曝光时长为t3,扩展曝光时长为t1,则t1介于基准曝光时长t3和在扩展相位及基准距离下图像不过曝的最大时长t3/2之间是指:t3/2≤t1<t3。
需要说明的是,图4中只是以4相位采样为例,在具体实现中,并不限于4相位采样,也可以为2相位采样(比如0°和90°)、8相位采样(比如0°、45°、90°、135°、180°、225°、270°、315°)等。4相位采样可以同时兼顾测距精度、功耗以及速度,即在提高测距精度的同时不会对功耗和速度有太大影响。
在一个例子中,如果为2相位采样,则步骤301中,TOF测距设备根据预设的与2个相位分别对应的2个曝光时长,获取目标场景的2个子帧图像。步骤302中,TOF测距设备根据2个子帧图像,确定目标场景的深度信息。比如,2个子帧图像分别称为0°相位子帧和90°相位子帧,0°相位子帧的图像数据为光子数Q1,90°相位子帧的图像数据为光子数Q3,则可以通过如下公式计算目标场景中的深度信息:
Figure BDA0002942375410000131
Figure BDA0002942375410000132
其中,d为计算的深度,f为光信号的调制频率、
Figure BDA0002942375410000133
为反射光信号相对于发射光信号的相位延迟,c为光速。
在另一个例子中,如果为4相位采样,则步骤301中,TOF测距设备根据预设的与4个相位分别对应的4个曝光时长,获取目标场景的4个子帧图像。步骤302中,根据4个子帧图像,确定目标场景的深度信息。比如,4个子帧图像分别可以称为0°相位子帧、180°相位子帧、90°相位子帧,270°相位子帧。参考图4,4个相位子帧的图像数据依次为:Q1、Q2、Q3、Q4,可以通过如下公式计算目标场景中的深度信息:
Figure BDA0002942375410000134
Figure BDA0002942375410000135
其中,d为计算的深度,f为光信号的调制频率、
Figure BDA0002942375410000136
为反射光信号相对于发射光信号的相位延迟,c为光速。
在一个例子中,深度测量方法的流程图可以参考图7,包括:
步骤701:以基准相位发射用于深度测量的发射光。
其中,基准相位可以为上述示例中提到的0°,但并不以此为限。TOF测距设备可以以基准相位发射用于深度测量的发射光。
步骤702:根据第一相位和基准曝光时长采集目标场景的第一子帧图像。
其中,第一相位与基准相位的相位差为0度。在一个例子中,当基准相位为0°时,第一相位即为0°,第一子帧图像即为上述的0°相位子帧。由于,基准相位和第一相位相差0度,因此,第一相位也可以理解为基准相位。
在具体实现中,基准曝光时长小于或等于在基准相位及预设的基准距离下图像不过曝的最大时长。其中,预设的基准距离可以理解为上述TOF测距设备所应用的测距场景中需要测量的最近距离,还可以理解为深度测量方法的最小检测距离。
步骤703:根据第二相位采集目标场景的第二子帧图像。
其中,第二相位与基准相位的相位差为180度。在一个例子中,当基准相位为0°时,第二相位即为180°,第二子帧图像即为上述的180°相位子帧。
步骤704:根据第三相位采集目标场景的第三子帧图像。
其中,所述第三相位与所述基准相位的相位差为90度。在一个例子中,当基准相位为0°时,第三相位即为90°,第三子帧图像即为上述的90°相位子帧。
步骤705:根据第四相位采集目标场景的第四子帧图像。
其中,所述第四相位与所述基准相位的相位差为270度。在一个例子中,当基准相位为0°时,第四相位即为270°,第四子帧图像即为上述的270°相位子帧。
在具体实现中,采集所述第二子帧图像所使用的曝光时长(比如图4中的t2)、采集所述第三子帧图像所使用的曝光时长(比如图4中的t3)和采集所述第四子帧图像所使用的曝光时长(比如图4中的t4)分别大于所述基准曝光时长,所述第一子帧图像、所述第二子帧图像、所述第三子帧图像和所述第四子帧图像用于确定一帧深度图像。也就是说,根据第一子帧图像、第二子帧图像、第三子帧图像和第四子帧图像可以输出一帧深度图像。
上述步骤702至步骤705中采集到的4个子帧图像,可以理解为步骤301中N取4时,根据预设的4个相位分别对应的4个曝光时长,获取的目标场景中的4个子帧图像。上述第一子帧图像、第二子帧图像、第三子帧图像、第四子帧图像依序先后采集。上述步骤702至步骤705中提到的第一相位可以理解为基准相位,第二相位、第三相位、第四相位可以理解为3个扩展相位。
在一个例子中,采集第三子帧图像所使用的曝光时长(比如图4中的t3)和采集第四子帧图像所使用的曝光时长(比如图4中的t4)均小于采集第二子帧图像所使用的曝光时长(比如图4中的t2)。参考图4,即t1<t3<t2,t1<t4<t2,t1<t2。也就是说,4个曝光时长中,采集第二子帧图像所使用的曝光时长t2最大,第二相位与基准相位的相位差为180度时,基于第二相位采集的第二子帧图像能够测量的深度最大,因此t2最大,能够增大测量的最大深度,从而进一步增大测量的动态范围。
在一个例子中,采集第三子帧图像所使用的曝光时长(比如图4中的t3)小于采集所述第四子帧图像所使用的曝光时长(比如图4中的t4),参考图4,即t1<t3<t4。
在一个例子中,t1、t2、t3、t4各不相同,由于基于1个曝光时长采集的1个子帧图像可以准确得出目标场景中1个深度范围内的深度信息,基于4个曝光时长采集的4个子帧图像可以准确得出目标场景中4个深度范围内(比如,目标场景中的较近景点、近景点、较远景点、远景点)的深度信息,有利于在提高测量动态范围的同时,提高不同深度范围内的测量精度。
本实施例中,基准曝光时长小于或等于在基准相位和预设的基准距离下图像不过曝的最大时长,确保根据基准相位对应的基准曝光时长,获取的目标场景的子帧图像不过曝。扩展曝光时长介于基准曝光时长和在扩展相位及基准距离下图像不过曝的最大时长之间,确保根据扩展相位对应的扩展曝光时长,获取的目标场景的子帧图像不过曝。另外,由于扩展曝光时长与基准曝光时长不同,因此在不同曝光时长下,有利于确定目标场景中不同距离处的深度信息。在扩展曝光时长与基准曝光时长中,较长的一个曝光时长下有利于准确的确定目标场景中较远处即远景点的深度信息,较短的一个曝光时长下有利于准确的确定目标场景中较近处即近景点的深度信息,从而有利于在不过曝的同时提高测距的动态范围,而且由于每个相位下采用1个曝光时长,获取1个子帧图像,并不需要对每个相同相位采用2个不同的曝光时长,获取2个子帧图像,从而无需对基于每个相位采用2个不同的曝光时长,获取的子帧图像进行融合,因此可以在提高测距的动态范围的同时减小功耗。
本申请实施例涉及一种深度测量方法,下面对本实施例的深度测量方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施例中,本实施例的深度测量方法的流程图可以参考图8,包括:
步骤801:根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像。
步骤802:根据N个子帧图像,确定目标场景的深度信息。
其中,步骤801至步骤802与上述实施例中步骤301至步骤302大致相同,未避免重复此处不再赘述。
步骤803:根据N个子帧图像,确定与多个像素点的深度信息分别对应的多个置信度。
其中,TOF测距设备可以基于光探测器上的多个像素以及N个子帧图像,确定目标场景中多个像素点的深度信息。在具体实现中,目标场景中多个像素点可能包括近景点和远景点,即TOF测距设备可以测量得到目标场景中近景点的深度信息和远景点的深度信息。每个像素点的深度信息对应的置信度可以表征该像素点的深度信息的可信程度,即测量的该像素点的深度信息是否准确。置信度的确定方式可以参考第一实施例中的相关描述,为避免重复本实施例对此不再赘述。
步骤804:若多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值且扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长,增大扩展曝光时长。
其中,当目标场景中一个像素点的深度信息对应的置信度小于预设的置信度阈值,说明对该像素点测量得到的深度准确性较低,若多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值,说明对目标场景中若干个像素点测量的深度准确性均较低,在确保图像不过曝的前提下,增大曝光时长可以提高置信度。图像不过曝的前提即确定当前的扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长。在具体实现中,预设的置信度阈值和预设的数量阈值可以根据实际需要进行设置。比如,希望测距的精度较高,可以将置信度阈值设置的较高,将数量阈值设置的较小。
在一个例子中,参考图4,基准相位为0°,扩展相位包括:180°、90°、270°。基准曝光时长等于在0°及range0下图像不过曝的最大时长,即基准曝光时长为t1,则理论上180°对应的扩展曝光时长t2的取值范围可以为:t1<t2≤9t1,90°和270°对应的扩展曝光时长t3、t4的取值范围可以为:t1<t3=t4≤2t1。在设置t2、t3、t4时可以在各自的取值范围内通过逐渐增大t2、t3、t4从而寻找到可以使置信度大于置信度阈值的最小曝光时长,无需一开始就将t2、t3、t4设置的较大,比如设置为不过曝的最大时长即无需一开始就将t2直接设置为9t1,将t3、t4设置为2t1,能够在提高测距动态方范围和测距准确度的同时,进一步降低功耗。
可以理解的是,对目标场景中若干个像素点测量的深度准确性均较低,说明扩展曝光时长设置的不合理的可能性较大,扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长说明当前的扩展曝光时长还有可以增大的空间。因此,本实施例中在多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值且扩展曝光时长未达到扩展相位及基准距离下图像不过曝的最大时长,增大扩展曝光时长,可以在合理的时机增大扩展曝光时长,无需一开始就将扩展曝光时长设置的较大,有利于得到可以使置信度大于置信度阈值的最小扩展曝光时长,能够在提高测距动态方范围和测距准确度的同时,进一步降低功耗。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请实施例涉及一种芯片,如图9所示,芯片901与电子设备中的存储器902连接,所述存储器902存储有可被芯片901执行的指令,所述指令被所述芯片901执行,以使所述芯片901能够执行上述实施例中的深度测量方法。
其中,存储器902和芯片901采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个芯片901和存储器902的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经芯片901处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给芯片901。
芯片901负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器902可以被用于存储芯片901在执行操作时所使用的数据。
本申请实施例涉及一种电子设备,如图9所示,包括上述实施例所述的芯片901和与所述芯片901连接的存储器。
本申请实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (15)

1.一种深度测量方法,其特征在于,包括:
根据预设的与N个相位分别对应的N个曝光时长,获取目标场景的N个子帧图像;其中,所述N为大于或等于2的自然数,所述N个相位是与发射光相位的相位差各不相同的N个相位;
根据所述N个子帧图像,确定所述目标场景的深度信息;
其中,所述N个相位包括基准相位和扩展相位,所述N个曝光时长包括与基准相位对应的基准曝光时长和与所述扩展相位对应的扩展曝光时长;所述基准曝光时长小于或等于在所述基准相位及预设的基准距离下图像不过曝的最大时长,所述扩展曝光时长介于所述基准曝光时长和在所述扩展相位及所述基准距离下图像不过曝的最大时长之间,所述扩展曝光时长与所述基准曝光时长不同;
所述预设的基准距离为所述深度测量方法的最小检测距离。
2.根据权利要求1所述的深度测量方法,其特征在于,所述扩展相位包括第一类扩展相位和/或第二类扩展相位;
所述第一类扩展相位与所述基准相位之间的相位差大于0且小于或等于π/2,所述第一类扩展相位及所述基准距离下图像不过曝的最大时长的确定方式为:
在相同曝光时长内,分别获取所述基准相位下的子帧图像的光子数和所述第一类扩展相位下的子帧图像的光子数;
计算所述基准相位下的子帧图像的光子数与所述第一类扩展相位下的子帧图像的光子数的第一比值,并将所述第一比值与所述基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为所述第一类扩展相位及所述基准距离下图像不过曝的最大时长;
所述第二类扩展相位与所述基准相位之间的相位差大于π/2且小于或等于π,所述第二类扩展相位及所述基准距离下图像不过曝的最大时长的确定方式为:
基于深度测量中光信号的调制频率、所述第二类扩展相位以及所述基准距离,计算所述第二类扩展相位下的子帧图像的光子数达到极限值的最远测量距离;
计算所述最远测量距离与所述基准距离的第二比值的平方,并将所述第二比值的平方与所述基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为所述第二类扩展相位及所述基准距离下图像不过曝的最大时长。
3.根据权利要求2所述的深度测量方法,其特征在于,所述扩展相位包括两个所述第一类扩展相位和一个所述第二类扩展相位,且两个所述第一类扩展之间的相位差为π。
4.根据权利要求3所述的深度测量方法,其特征在于,两个所述第一类扩展相位分别为90°、270°,一个所述第二类扩展相位为180°。
5.根据权利要求1至4任一项所述的深度测量方法,其特征在于,所述基准相位为0°。
6.根据权利要求1至4任一项所述的深度测量方法,其特征在于,所述基准曝光时长等于在所述基准相位及预设的基准距离下图像不过曝的最大时长。
7.根据权利要求1所述的深度测量方法,其特征在于,所述在所述扩展相位及所述基准距离下图像不过曝的最大时长的确定方式为:
在相同曝光时长内,分别获取所述基准相位下的子帧图像的光子数和所述扩展相位下的子帧图像的光子数;
计算所述基准相位下的子帧图像的光子数与所述扩展相位下的子帧图像的光子数的第一比值;
基于深度测量中光信号的调制频率、所述扩展相位以及所述基准距离,计算所述扩展相位下的子帧图像的光子数达到极限值的最远测量距离;
计算所述最远测量距离与所述基准距离的第二比值的平方;
在所述第一比值和所述第二比值的平方中选择最小的数值,并将所述最小的数值与所述基准相位及预设的基准距离下图像不过曝的最大时长的乘积,作为所述扩展相位及所述基准距离下图像不过曝的最大时长。
8.根据权利要求1所述的深度测量方法,其特征在于,所述目标场景的深度信息包括所述目标场景中多个像素点的深度信息,在所述根据所述N个子帧图像确定所述目标场景的深度信息之后,还包括:
根据所述N个子帧图像,确定与所述多个像素点的深度信息分别对应的多个置信度;
若所述多个置信度中小于预设的置信度阈值的置信度的数量超过预设的数量阈值且所述扩展曝光时长未达到所述扩展相位及所述基准距离下图像不过曝的最大时长,增大所述扩展曝光时长。
9.一种深度测量方法,其特征在于,包括:
以基准相位发射用于深度测量的发射光;
根据第一相位和基准曝光时长采集目标场景的第一子帧图像;其中,所述第一相位与所述基准相位的相位差为0度;
根据第二相位采集目标场景的第二子帧图像;其中,所述第二相位与所述基准相位的相位差为180度;
根据第三相位采集目标场景的第三子帧图像;其中,所述第三相位与所述基准相位的相位差为90度;
根据第四相位采集目标场景的第四子帧图像;其中,所述第四相位与所述基准相位的相位差为270度;
其中,所述第一相位、所述第二相位、所述第三相位和所述第四相位均为扩展相位,采集所述第二子帧图像所使用的曝光时长、采集所述第三子帧图像所使用的曝光时长和采集所述第四子帧图像所使用的曝光时长均为扩展曝光时长,所述基准曝光时长小于或等于在所述基准相位及预设的基准距离下图像不过曝的最大时长,所述扩展曝光时长介于所述基准曝光时长和在所述扩展相位及所述基准距离下图像不过曝的最大时长之间,所述第一子帧图像、所述第二子帧图像、所述第三子帧图像和所述第四子帧图像用于确定一帧深度图像;
所述预设的基准距离为所述深度测量方法的最小检测距离。
10.根据权利要求9所述的深度测量方法,其特征在于,所述采集所述第三子帧图像所使用的曝光时长和采集所述第四子帧图像所使用的曝光时长均小于采集所述第二子帧图像所使用的曝光时长。
11.根据权利要求10所述的深度测量方法,其特征在于,所述采集所述第三子帧图像所使用的曝光时长小于采集所述第四子帧图像所使用的曝光时长。
12.根据权利要求9至11任意一项所述的深度测量方法,其特征在于,所述第一子帧图像、所述第二子帧图像、所述第三子帧图像、所述第四子帧图像依序先后采集。
13.根据权利要求9至11任意一项所述的深度测量方法,其特征在于,所述基准曝光时长等于在所述基准相位及所述深度测量方法的最小检测距离下图像不过曝的最大时长。
14.一种芯片,其特征在于,设置于电子设备中,所述芯片与所述电子设备中的存储器连接,所述存储器存储有可被所述芯片执行的指令,所述指令被所述芯片执行,以使所述芯片能够执行如权利要求1至13中任一所述的深度测量方法。
15.一种电子设备,其特征在于,包括如权利要求14所述的芯片和与所述芯片连接的存储器。
CN202110184297.1A 2021-02-08 2021-02-08 深度测量方法、芯片和电子设备 Active CN112954230B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110184297.1A CN112954230B (zh) 2021-02-08 2021-02-08 深度测量方法、芯片和电子设备
PCT/CN2022/074100 WO2022166723A1 (zh) 2021-02-08 2022-01-26 深度测量方法、芯片和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110184297.1A CN112954230B (zh) 2021-02-08 2021-02-08 深度测量方法、芯片和电子设备

Publications (2)

Publication Number Publication Date
CN112954230A CN112954230A (zh) 2021-06-11
CN112954230B true CN112954230B (zh) 2022-09-09

Family

ID=76245486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110184297.1A Active CN112954230B (zh) 2021-02-08 2021-02-08 深度测量方法、芯片和电子设备

Country Status (2)

Country Link
CN (1) CN112954230B (zh)
WO (1) WO2022166723A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954230B (zh) * 2021-02-08 2022-09-09 深圳市汇顶科技股份有限公司 深度测量方法、芯片和电子设备
CN113538551B (zh) * 2021-07-12 2023-08-15 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2594959A1 (en) * 2011-11-17 2013-05-22 MESA Imaging AG System and method for multi TOF camera operation using phase hopping
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
CN109901181A (zh) * 2017-12-07 2019-06-18 德克萨斯仪器股份有限公司 在光学距离测量系统中使用扩展频谱技术进行相位抗混叠
CN110023785A (zh) * 2016-11-29 2019-07-16 松下知识产权经营株式会社 距离测定装置
CN111580067A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893563B (zh) * 2010-04-19 2013-04-03 清华大学 变曝光时间成像相移测量相位的方法
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
CN107894215B (zh) * 2017-12-26 2020-05-08 东南大学 基于全自动曝光的高动态范围光栅投影三维测量方法
CN112954230B (zh) * 2021-02-08 2022-09-09 深圳市汇顶科技股份有限公司 深度测量方法、芯片和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2594959A1 (en) * 2011-11-17 2013-05-22 MESA Imaging AG System and method for multi TOF camera operation using phase hopping
CN107229056A (zh) * 2016-03-23 2017-10-03 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
CN110023785A (zh) * 2016-11-29 2019-07-16 松下知识产权经营株式会社 距离测定装置
CN109901181A (zh) * 2017-12-07 2019-06-18 德克萨斯仪器股份有限公司 在光学距离测量系统中使用扩展频谱技术进行相位抗混叠
CN111580067A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《飞行时间法三维成像摄像机数据处理方法研究》;潘华东;《浙江大学学报》;20100615;全文 *

Also Published As

Publication number Publication date
WO2022166723A1 (zh) 2022-08-11
CN112954230A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
US10545239B2 (en) Distance-measuring imaging device and solid-state imaging device
CN112954230B (zh) 深度测量方法、芯片和电子设备
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
US20180259647A1 (en) Imaging device and solid-state imaging element used in same
US10073164B2 (en) Distance-measuring/imaging apparatus, distance measuring method of the same, and solid imaging element
US20220082698A1 (en) Depth camera and multi-frequency modulation and demodulation-based noise-reduction distance measurement method
JP4488170B2 (ja) 三次元距離画像を記録するための方法及び装置
US9207065B2 (en) Depth sensing apparatus and method
WO2021051480A1 (zh) 一种动态直方图绘制飞行时间距离测量方法及测量系统
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN110456369B (zh) 飞行时间传感系统及其测距方法
CN110456370B (zh) 飞行时间传感系统及其测距方法
CN111045029A (zh) 一种融合的深度测量装置及测量方法
WO2016204992A1 (en) Time-of-flight (tof) system calibration
US20220043129A1 (en) Time flight depth camera and multi-frequency modulation and demodulation distance measuring method
WO2022242348A1 (zh) dTOF深度图像的采集方法、装置、电子设备及介质
CN115032608B (zh) 测距传感器数据优化方法及其应用
JP2020112443A (ja) 距離測定装置及び距離測定方法
CN111366943A (zh) 飞行时间测距系统及其测距方法
US20210103054A1 (en) Distance measurement device and distance measurement system
WO2021227203A1 (zh) 探测单元、探测装置及方法
CN114814881A (zh) 一种激光测距方法及激光测距芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant