CN111025319A - 一种深度测量装置及测量方法 - Google Patents
一种深度测量装置及测量方法 Download PDFInfo
- Publication number
- CN111025319A CN111025319A CN201911385285.4A CN201911385285A CN111025319A CN 111025319 A CN111025319 A CN 111025319A CN 201911385285 A CN201911385285 A CN 201911385285A CN 111025319 A CN111025319 A CN 111025319A
- Authority
- CN
- China
- Prior art keywords
- image sensor
- light beam
- zoom lens
- tof image
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种深度测量装置,包括发射单元、接收单元、以及控制与处理电路;其中,发射单元包括光源和光学元件,光源发射时序上振幅被调制的光束,光束经过光学元件后投射到目标区域;接收单元包括有TOF图像传感器和变焦透镜,TOF图像传感器采集目标区域反射回的光束并形成电信号,变焦透镜将反射光束投射到TOF图像传感器中;控制与处理电路接收电信号并计算出反射光束的强度信息,根据强度信息及预定义的阈值范围调整变焦透镜的焦距,进而调整TOF图像传感器采集反射光束的视场角。通过调整变焦透镜的焦距进而调整传感器接收反射光束的光强度,保证传感器在不同情况均可接收到有效的响应信号,提高了装置的测量精度。
Description
技术领域
本发明涉及光学测量技术领域,尤其涉及一种相位式深度测量装置及测量方法。
背景技术
深度测量装置可以用来获取物体的深度图像,进一步可以进行3D建模、骨架提取、人脸识别等,其在3D测量以及人机交互等领域有着非常广泛的应用。目前的深度测量技术主要有TOF测距技术、结构光测距技术、双目测距技术等。
TOF的全称是Time-of-Flight,即飞行时间,TOF测距技术是一种通过测量光脉冲在发射/接收装置和目标物体间的往返飞行时间来实现精确测距的技术,分为直接测距技术和间接测距技术。
其中,直接测距技术是通过向目标物体连续发送光脉冲,然后利用传感器接收从物体反射回的光信号,通过探测这些发射和反射回后被接收光脉冲的飞行(往返)时间来得到目标物体距离;间接测距技术则是通过向目标物体发射时序上振幅被调制的光束,测量反射光束相对于发射光束的相位延迟,再根据相位延迟对飞行时间进行计算。按照调制解调类型方式的不同可以分为连续波(Continuous Wave,CW)调制解调方法和脉冲调制(Pulse Modulated,PM)调制解调方法。
在利用TOF技术进行深度测量的装置中,由于应用场景广泛,在不同的环境中环境光的强弱对装置的测量精度影响较大。而且,存在显著不同的光反射率的目标物体,导致反射光强度会发生改变从而影响到测量精度。此外,深度测量装置中发射端和接收端的不同设置,也会影响装置的测量精度。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种相位式深度测量装置及测量方法,以解决上述背景技术问题中的至少一种问题。
为达到上述目的,本发明实施例的技术方案是这样实现的:
一种深度测量装置,包括发射单元、接收单元、以及与发射单元和接收单元连接的控制与处理电路;其中,所述发射单元包括有光源和光学元件,所述光源被配置为发射时序上振幅被调制的光束,所述光束经过所述光学元件后投射到目标区域;所述接收单元包括有TOF图像传感器和变焦透镜,所述TOF图像传感器被配置成采集所述目标区域反射回的至少部分光束并形成电信号,所述变焦透镜被配置为将所述反射光束投射到所述TOF图像传感器的像素中;所述控制与处理电路接收所述电信号并计算出所述反射光束的强度信息,根据所述强度信息以及预定义的阈值范围调整所述变焦透镜的焦距,进而调整所述TOF图像传感器采集所述反射光束的视场角。
在一些实施例中,所述变焦透镜具有至少两个可调焦距;或,所述变焦透镜被配置为是连续变焦。
在一些实施例中,所述TOF图像传感器包括有多个像素;其中,每个像素包括至少两个抽头,所述抽头用于采集所述反射光束并产生电信号;所述控制与处理电路接收所述电信号并计算所述反射光束的强度信息
在一些实施例中,所述控制与处理电路存储有预定义的光强度的阈值范围,所述阀值范围被配置成通过最小光强度和最大光强度来定义。
在一些实施例中,所述控制与处理电路根据所述电信号计算光束从发射到反射被接收的相位差,基于所述相位差计算飞行时间,进一步计算出所述目标区域的深度图像。
本发明另一技术方案为:
一种深度测量方法,包括如下步骤:
控制发射单元朝向目标区域发射时序上振幅被调制的光束;
控制接收单元采集经所述目标区域反射回的至少部分光束;其中,所述接收单元包括有TOF图像传感器和变焦透镜,所述TOF图像传感器被配置成采集所述目标区域反射回的至少部分光束并形成电信号,所述变焦透镜被配置为将所述反射光束投射到所述TOF图像传感器的像素中;
计算所述反射光束的光强度,并根据所述光强度以及预定义的阈值范围调整所述变焦透镜的焦距,进而改变所述TOF图像传感器采集所述反射光束的视场角。
在一些实施例中,通过最小光强度与最大光强度来定义所述阈值范围;其中,所述最小光强度被定义为当所述TOF图像传感器采集的反射光束的光强度小于或等于该最小光强度时,所述TOF图像传感器不产生有效电信号传输到控制与处理电路;所述最大光强度被定义为当所述TOF图像传感器采集的反射光束的光强度大于或等于所述最大光强度时,所述TOF图像传感器饱和而不产生有效电信号传输到控制与处理电路。
在一些实施例中,当所述光强度小于或等于所述最小光强度时,减小所述变焦透镜的焦距,使所述TOF图像传感器在大视场角内采集所述反射光束;当所述光强度大于或等于所述最大光强度时,增大所述变焦透镜的焦距,使所述TOF图像传感器在小视场角内采集所述反射光束。
在一些实施例中,所述变焦透镜被配置为具有至少三个可调焦距;其中,所述变焦透镜的初始焦距被配置为第一焦距时,使所述TOF图像传感器接收的光强度满足所述阈值范围;若所述光强度小于或等于最小光强度时,调整所述变焦透镜的焦距为第二焦距;若所述光强度大于或等于最大光强度时,调整所述变焦透镜的焦距为第三焦距。
在一些实施例中,当所述光强度满足所述阈值范围时,所述TOF图像传感器接收所述反射光束并形成有效的电信号,控制与处理电路根据所述有效的电信号计算所述目标区域的深度图像。
本发明技术方案的有益效果是:
本发明深度测量装置通过调整变焦透镜的焦距而调整TOF图像传感器接收反射光束的视场角,进而调整TOF图像传感器接收反射光束的光强度,可以在探测不同环境、具有不同反射率的物体、不同距离时实时调整接收信号的视场角,保证TOF图像传感器在不同情况下都可以接收到有效的响应信号,提高了装置的探测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例深度测量装置的结构示意图。
图2是根据本发明一个实施例深度测量装置的接收单元的结构示意图。
图3是根据本发明一个实施例可变焦的深度测量方法的流程图示。
图4是根据本发明又一个实施例深度测量方法的流程图示。
图5是根据本发明另一个实施例深度测量方法的流程图示。
图6a-6c是根据本发明实施例的接收光信号形成直方图的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请参照图1所示,图1所示为本发明一个实施例相位式深度测量装置的意图,该深度测量装置10包括发射单元11、接收单元12以及控制与处理电路13;其中,发射单元11用于向目标区域20发射光束30,该光束发射至目标区域空间中以照明空间中的目标物体,至少部分发射光束30经目标区域20反射后形成反射光束40,反射光束40中的至少部分光束被接收单元12接收,控制与处理电路13分别与光发射单元11以及接收单元12连接以控制光束的发射与接收,同时接收来自接收单元12接收反射光束并产生的信息,对该信息进行计算以获取目标物体的深度信息。
光发射单元11包括光源111、光学元件112以及光源驱动器(图中未示出)等。光源111可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等,也可以是由多个光源组成的光源阵列,以用于朝向目标区域发射点状光束。光源111的排列方式可以是规则的也可以是不规则的,光源111所发射的光束可以是可见光、红外光、紫外光等。光源111在光源驱动器(其可以进一步被控制与处理电路13控制)的控制下向外发射光束,比如在一个实施例中,光源111在控制下发射时序上振幅被调制的光束,可以是脉冲调制光束、方波调制光束或正弦波调制光束。在另一个实施例中,光源111在控制下发射脉冲光束。可以理解的是,可以利用控制与处理电路13中的一部分或者独立于控制与处理电路13存在的子电路来控制光源111发射相关的光束,比如脉冲信号发生器。
光学元件112接收来自光源111的光束并整形后投射到目标区域。例如在一个实施例中,光学元件112接收来自光源111的脉冲光束,并将脉冲光束进行光学调制,比如衍射、折射、反射等调制,随后向空间中发射被调制后的光束,比如聚焦光束、泛光光束、结构光光束等。光学元件112可以是透镜、液晶元件、衍射光学元件、微透镜阵列、超表面(Metasurface)光学元件、掩膜板、反射镜、MEMS振镜等形式中的一种或多种组合,优选地,光学元件是液晶元件。
接收单元12包括TOF图像传感器121、滤光片122和变焦透镜123,变焦透镜123接收并将由目标物体反射回的至少部分光束成像在至少部分TOF图像传感器121上,滤光片122被设置为与光源波长相匹配的窄带滤光片,用于抑制其余波段的背景光噪声。TOF图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器,阵列大小代表着该深度相机的分辨率,比如320×240等。一般地,与TOF图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。变焦透镜123可以改变焦点距离,可以是连续变焦的也可以是具有多个可调焦距,例如在一些实施例中,可以是具有至少两个可调焦距的变焦透镜。在一些实施例中,变焦透镜可以是通过驱动器改变透镜的焦点实现变焦功能。在另一些实施例中,变焦透镜可以是液体透镜,通过改变液体的形状来实现变焦。
在一些实施例中,TOF图像传感器121包括至少一个像素,与传统的仅用于拍照的图像传感器相比,TOF图像传感器121的每个像素包含两个及以上的抽头(tap,用于在相应电极的控制下存储并读取或者输出由入射光子产生的电荷信号),比如包括2个抽头,在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子,以用于接收光信号并转换成电信号。
控制与处理电路13提供光源111发射激光时所需的调制信号(发射信号),光源在调制信号的控制下向目标物体发射时序上振幅被调制的光束,控制与处理电路13还提供TOF图像传感器121的像素中各抽头的解调信号(采集信号)。变焦透镜将从目标区域反射回的反射光束投射到TOF图像传感器的像素中,各抽头在解调信号的控制下采集反射光束并产生电信号,控制与处理电路13接收电信号后采用加权平均的方式计算反射光束的强度信息,根据强度信息以及预定义的阈值范围调整变焦透镜的焦距,进一步调整TOF图像采集反射光束的视场角。随后对该电信号进行处理并计算出反映光束从发射到反射回被接收的相位差,基于相位差计算光束的飞行时间,进一步获得目标区域的深度图像。
在一些实施例中,TOF图像传感器121由单光子雪崩光电二极管(SPAD)组成,也可以由多个SPAD像素组成的阵列像素单元,阵列像素单元的阵列大小代表着该深度相机的分辨率,比如320×240等。SPAD可以对入射的单个光子进行响应从而实现对单光子的检测,还可以基于时间相关单光子计数法(TCSPC)实现对光子的采集以及飞行时间的计算。
控制与处理电路13与发射单元11以及接收单元12连接并同步发射单元11和接收单元12的触发信号,控制光源111发射脉冲光束,并控制TOF图像传感器121中的每个SPAD像素在同一时刻接收经过变焦透镜投射到TOF图像传感器像素中的反射光束中的光子并形成光子信号,接收光子信号并对接收的光子数进行统计以形成测量直方图,根据测量直方图确定的测量波形,将测量波形与预存储的多个参考波形进行匹配计算,根据匹配结果调整变焦透镜的焦距,进一步调整TOF图像传感器采集光束的视场角。此外,控制与处理电路13还用于确定测量直方图中的测量波形对应的时间,根据测量波形对应的时间计算目标区域的深度图像。
在一些实施例中,深度测量装置10还可以包括驱动电路、电源、彩色相机、红外相机、IMU等器件,在图中并未示出,与这些器件的组合可以实现更加丰富的功能,比如3D纹理建模、红外人脸识别、SLAM等功能。另外,深度测量装置10可以被嵌入到手机、平板电脑、计算机等电子产品中。
图2是根据本发明一个实施例的接收单元的结构示意图。接收单元包括TOF图像传感器121和变焦透镜122。TOF图像传感器121被配置成采集目标区域反射回的至少部分光束并形成电信号,变焦透镜122被配置为将反射光束投射到TOF图像传感器121的像素中,通过改变变焦透镜122的焦距而改变TOF图像传感器121采集反射光束的视场角。变焦透镜122可以是连续变焦的也可以是非连续变焦的,例如在一些实施例中,可以是具有至少两个可调焦距的变焦透镜,当变焦透镜的焦点位于第一位置时(图中标记为A),具有第一焦距f1,此时TOF图像传感器在第一视场角201内采集目标区域20反射的部分光束;当变焦透镜的焦点位于第二位置时(图中标记为B),具有第二焦距f2,此时TOF图像传感器在第二视场角202内采集目标区域20反射的部分光束。随着变焦透镜的焦距增大,TOF图像传感器在目标区域内采集反射光束的视场角减小,而导致采集到的反射光束也会减小;相反的,随着焦距减小导致视场角增加进而采集的光束也会增加,基于此可以通过合理的配置实现不同场景的采集设计。
通常情况下,TOF图像传感器需要采集到合适的光束,在传感器的像素上接收到合适的光强度或光子数量,才能够产生有效电信号传输到控制与处理电路,然后进行处理计算得到目标区域精确的深度图像。TOF测距技术需要返回光的高信噪比以实现高精度测量,反射光或脉冲太弱时将导致反射光或脉冲的信噪比不足而难以精确测量,但是若反射光束或脉冲过强时则导致传感器饱和,也难以获得准确的深度图像。例如,目标物体与测量装置位于不同距离时,距离远处的目标物体反射的光小于距离近处目标物体反射的光;或,探测区域中具有多个不同反射率的目标物体时,反射率高的目标物体反射的光高于反射率低的目标物体;或,测量装置应用在不同的应用场景中个,强的环境光也会引起TOF图像传感器的饱和现象,以上所述的情况可能单独或共同的作用下影响装置的测量精度。
因此,在接收单元设置变焦透镜可以实时调控TOF图像传感器采集反射光束的视场角,进一步改变了接收反射光束的光强度或光子数量,提高系统的测量精度。
在一些实施例中,发射单元可以被配置为朝向目标区域发射多个强度不同的光束实现多种功能的测量应用。例如在一个实施例中,发射单元包括多个光源组成的光源阵列和液晶元件,被配置为朝向目标区域发射泛光光束和斑点图案光束。
其中,每个光源发射点状光束,经过透明态的液晶后投射斑点图案光束,此时光束直接穿过液晶元件照射到目标区域,每个光斑的尺寸较小,以一定间隔分布在投影区域中,每个光斑处光能量相对集中且高,投射到目标区域中反射光束的强度也较高,为降低因反射光能量过高而导致传感器饱和的情况出现,增加变焦透镜的焦距使TOF图像传感器在小视场角内采集反射光束,保证采集到恰当的反射光束以测量目标区域的深度图像。
相对的,每个光源发射的点状光束经过扩散态的液晶元件后投射泛光光束到目标区域,此时,每个点状光束经过液晶后发射衍射,光斑尺寸增大且均匀分布在整个投影区域中,与斑点图案光束相比光能量较小但分布均匀。若采用相同的视场角采集光束,则可能会存在反射光强度较低的情况,因此,减小变焦透镜焦距使TOF图像传感器在更大的视场角内采集反射光束,保证采集到合适的反射光束以测量目标区域的深度图像。
基于上述各实施例深度测量装置,本申请还提供一种可变焦的深度测量方法。参照图3所示,图3是根据本发明一个实施例可变焦的深度测量方法的流程图示,该深度测量方法包括:
S31、控制发射单元朝向目标区域发射光束,发射单元包括光源和光学元件,光源发射的光束经过光学元件后投射到目标区域;
S32、控制接收单元采集目标区域反射回的至少部分光束并形成电信号,接收单元包括TOF图像传感器和变焦透镜,通过改变变焦透镜的焦距而改变TOF图像传感器采集反射光束的视场角;
S33、根据电信号计算目标区域的深度图像。
具体的,控制与处理电路与发射单元和接收单元连接,控制发射单元朝向目标区域发射光束以及控制接收单元采集目标区域反射的部分光束,并根据接收单元形成的电信号计算深度图像。在一些实施例中,控制与处理电路对电信号进行处理并计算出光束从发射到反射回被接收的相位差,基于该相位差计算光束的飞行时间,进一步计算目标区域的深度图像。在一些实施例中,控制与处理电路对电信号进行处理并计算光束从发射到反射回被接收的飞行时间,根据飞行时间计算目标区域的深度图像。
具体的,变焦透镜可以是连续变焦的透镜也可以是具有多个可调焦距的透镜。随着变焦透镜的焦距增大,TOF图像传感器在目标区域内采集反射光束的视场角减小,而导致采集到的反射光束会减小;相反的,随着焦距减小导致视场角增加进而采集的光束会增加。因此,在接收单元设置变焦透镜可以实时调控TOF图像传感器采集反射光束的视场角,进一步改变了接收反射光束的光强度,提高测量装置的测量精度。
在一些实施例中,发射单元可以被配置为发射泛光光束和斑点图案光束,当发射泛光光束时,减小变焦透镜的焦距,使TOF图像传感器在小视场角内采集反射光束;当发射斑点图案光束时,增大变焦透镜的焦距,使TOF图像传感器在大视场角内采集反射光束。
参照图4所示,本发明又一个实施例提供一种深度测量方法,包括如下步骤:
S41、控制发射单元朝向目标区域发射时序上振幅被调制的光束;
S42、控制接收单元采集经目标区域反射回的至少部分光束,接收单元包括由多个像素组成的TOF图像传感器和变焦透镜,TOF图像传感器被配置成采集目标区域反射回的至少部分光束并形成电信号,变焦透镜被配置为将反射光束投射到TOF图像传感器的像素中;
S43、计算反射光束的光强度,并根据光强度及预定义的阈值范围调整变焦透镜的焦距,进一步改变TOF图像传感器采集反射光束的视场角。
具体的,发射单元包括光源和光学元件,光源被配置为发射时序上振幅被调制的光束,该光束经过光学元件后投射到目标区域;控制与处理电路提供光源发射光束所需要的调制信号,控制光源朝向目标区域发射时序上振幅被正弦波、方波或脉冲调制的光束,光学元件接收来自光源的光束并整形后投射到目标区域,整形后的光束保持振幅上被正弦波、方波或脉冲调制。
具体的,TOF图像传感器中的每个像素包括至少2个抽头,在单个帧周期(或单次曝光时间)内以一定的次序依次切换抽头以采集相应的光子,接收光信号并转换成电信号。变焦透镜可以配置成是连续变焦的透镜也可以是具有多个可调焦距的透镜。
具体的,发射单元以及接收单元分别连接至控制与处理电路,通过控制与处理电路控制发射单元发射光束,以及控制接收单元接收经目标区域反射回的光束形成的电信号并计算出反射光束的强度信息,根据强度信息及预定义的阈值范围调整变焦透镜的焦距,进一步调整TOF图像采集反射光束的视场角。
控制与处理电路内存储有预定义的光强度的阈值范围,在该阈值范围内设定有最小光强度L1和最大光强度L2,所述阀值范围被配置成通过最小光强度和最大光强度来定义;可以理解的是,所述阀值范围也可以存储在其他介质中,例如存储在使用深度测量装置的设备中。其中,最小光强度被定义为若TOF图像传感器采集的反射光束的光强度小于或等于最小光强度,则TOF图像传感器难以产生有效电信号传输到控制与处理电路获得精准的深度图像,也可以理解为TOF图像传感器不产生有效电信号传输到控制与处理电路获得精准的深度图像。最大光强度被定义为若TOF图像传感器采集反射光束的光强度大于或等于最大光强度,则TOF图像传感器饱和而难以产生有效电信号传输到控制与处理电路获得精准的深度图像,也可以理解为TOF图像传感器饱和不产生有效电信号传输到控制与处理电路获得精准的深度图像;即,只有在最小光强度与最大光强度之间,TOF图像传感器才产生有效电信号。
控制与处理电路接收TOF图像传感器产生的电信号并计算反射光束的光强度L,优选地,可采用加权平均的方式计算所述反射光束的强度信息。在一些实施例中,变焦透镜可以被配置为连续变焦,当计算的光强度小于或等于最小光强度时,即L≤L1时,增大变焦透镜的焦距,使TOF图像传感器在大视场角内采集反射光束;当计算的光强度大于或等于最大光强度时,即L≥L2时,减小变焦透镜的焦距,使TOF图像传感器在小视场角内采集反射光束;当计算的光强度满足阈值范围时,即L1<L<L2时,TOF图像传感器接收反射光束并形成有效的电信号。控制与处理电路根据形成的有效电信号计算目标区域的深度图像。可以理解的是,最小光强度L1、最大光强度L2为阀值范围两端点,具体过程中,所述阀值范围可以包括端点值,也可以不包括端点值,无论是何种情形,只要不脱离本发明的创作思想,均应属于本申请保护的范围。
在一些实施例中,变焦透镜可以被配置为具有多个可调焦距。例如,设置变焦透镜具有至少三个可调焦距,变焦透镜的初始焦距被配置为第一焦距,此时使TOF图像传感器接收的光强度满足阈值范围,TOF图像传感器在第一视场角内采集反射光束并生成电信号,控制与处理器计算光强度并根据预定义的光强度阈值范围进行分析。若传感器像素上接收的光强度小于或等于最小光强度时,则调整变焦透镜的焦距为第二焦距,TOF图像传感器在第二视场角内采集反射光束并生成电信号;若传感器像素上接收的光强度大于或等于最大光强度时,则调整变焦透镜的焦距为第三焦距,TOF图像传感器在第三视场角内采集反射光束并生成电信号。TOF图像传感器接收反射光束并形成有效的电信号后,即像素上采集的光强度满足阈值范围时,控制与处理电路根据形成的有效电信号计算目标区域的深度图像。
参照图5所示,图5为本发明另一个实施例一种深度测量方法的流程图,该测量方法包括:
S51、控制发射单元朝向目标区域发射脉冲光束;
S52、控制接收单元采集由目标区域反射回的至少部分光束,接收单元包括TOF图像传感器和变焦透镜,TOF图像传感器被配置成采集目标区域反射回的至少部分光束中的光子并形成光子信号,变焦透镜被配置为将反射光束投射到TOF图像传感器的像素中;
S53、接收所述光子信号并对接收光子数并进行统计以形成测量直方图,并根据测量直方图确定出测量波形,将测量波形与预存储的多个参考波形进行匹配计算,根据匹配结果调整变焦透镜的焦距,进一步调整TOF图像采集光束的视场角。
具体的,发射单元包括光源和光学元件,光源被配置为发射脉冲光束,光束经过光学元件后投射到目标区域;TOF图像传感器包括多个单光子雪崩光电二极管(SPAD),变焦透镜可以是连续变焦的也可以是具有多个可调焦距的。
发射单元以及接收单元分别连接控制与处理电路,通过控制与处理电路控制发射单元发射光束,以及控制接收单元接收经目标区域反射回的光束。具体的,控制与处理电路同步发射单元和接收单元的触发信号,控制发射单元朝向目标区域发射脉冲光束,经过目标区域反射后射入SPAD中,单个光子入射到SPAD像素中就会引起雪崩并产生响应信号输入到控制与处理电路中,控制与处理电路根据输入的响应信号检测出光子从发射到引起雪崩的时间间隔并记录。通过多次测量后将时间间隔利用时间相关单光子计数(TCSPC)技术形成统计直方图以恢复出整个脉冲信号的波形,直方图的最小时间单元(最小存储单元bin)表示系统的分辨率,确定直方图中波形峰值所对应的时间间隔即为飞行时间,根据飞行时间计算出目标区域的深度图像。
图6a-6c所示是根据本发明实施例的接收光信号形成直方图的几种示例的说明示意图。当单个光子入射到SPAD像素中时引起雪崩效应,此时SPAD像素处于截止状态,不再接收入射的光子,像素将接收到光子的响应信号传输到控制与处理电路进行计数,一次计数结束后提高SPAD像素上的反偏电压使其处于盖革模式下开始新一次的光子采集,多次重复后形成统计直方图,如图6a所示,确定直方图中的脉冲波形对应的时间t即为飞行时间,根据飞行时间计算出目标区域的深度图像。但是,在一些实施例中,从目标区域反射的光束强度较低,导致SPAD像素无法采集到足够多的光子,在控制与处理电路内难以形成准确的统计直方图,如图6c所示,此时直方图中没有出现波形峰值而无法判断具体的飞行时间,导致难以计算准确的深度图像。在一些实施例中,还存在环境光过强、目标反射率过高等情况,发射光束投射到目标后反射的光子数量较多,此时大量的光子进入单个SPAD像素引起截止使其无法再采集光子,在每个脉冲周期内,入射光子都集中在一个bin内,导致最终形成的测试直方图中的波形太窄无法超过1个bin,如图6c所示,在这种情况下也无法确定直方图中的脉冲波形对应的时间,难以计算目标区域的深度图像。
为解决上述问题,控制与处理电路根据形成的测量直方图确定出测量波形,将测量波形与预设的参考波形比较,判断所获取的直方图是否有效,若直方图有效则根据直方图的波形峰值确定飞行时间并计算出深度图像;若无效则调整变焦透镜的焦距,改变TOF图像传感器采集光束的视场角,调整TOF图像传感器采集光束的强度信息。
控制与处理电路内预先存储多个参考波形,参考波形与TOF图像传感器上接收的光束中的光子数量具有一一对应关系,通过匹配方法计算测量直方图获得的测量波形与参考波形的匹配度来确定采集光束中的光子数量,若匹配度满足预设条件,则说明两个波形相似,此时根据参考波形对应的光子数量信息调整变焦透镜的焦距,进而调整TOF图像传感器上接收光束的视场角。参考波形包括至少一个第一参考波形、一个第二参考波形、一个第三参考波形;第一参考波形对应TOF传感器接收的光子数量在阈值范围内时,控制与处理电路根据接收到的足够多的光子数进行统计形成的直方图,根据直方图的波形能够确定飞行时间并计算深度图像。其中,阈值范围包括最小光子数量和最大光子数量,第二参考波形对应接收的光子数量小于或等于最小光子数量时,则TOF图像传感器无法接收到足够多的光子而形成的直方图中没有波峰出现,得不到有效的直方图;第三参考波形对应接收的光子数量大于或等于最大光子数量时,则TOF图像传感器因接收大量光子而饱和导致形成的直方图波形过窄,同样也得不到有效的直方图。
控制与处理电路计算测量波形与参考波形的匹配度,确定测量波形与其中一个参考波形匹配度满足的预设条件,根据该参考波形对应的光子数量情况调控变焦透镜的焦距或进行飞行时间计算,变焦透镜的焦距可以是连续变化的。例如,测量波形与第一参考波形相似,则利用该测量波形确定飞行时间并计算目标区域的深度图像;若测量波形与第二参考波形相似,则减小变焦透镜的焦距,使TOF图像传感器在大视场角内重新采集反射光束形成测量直方图;若测量波形与第三参考波形相似,则增大变焦透镜的焦距,使TOF图像传感器在小视场角内重新采集反射光束形成测量直方图。
在一些实施例中,为提高测量时间,可以设置变焦透镜具有多个可调焦距,例如,可以设计至少三个可调焦距,分别对应三个参考波形的情况。变焦透镜的初始焦距设置为第一焦距,保证在大部分情况下测量直方图中确定的测量波形与第一参考波形相似,基于获取的测量波形确定飞行时间计算深度图像。若通过匹配计算的结果得出测量波形与第二参考波形相似时,调整变焦透镜焦距为第二焦距,使TOF图像传感器在第二视场角内采集光束获得测量直方图并计算深度图像。同样的,若测量波形与第三参考波形相似时,则调整变焦透镜焦距为第三焦距,使TOF图像传感器在第三视场角内采集光束获得测量直方图并计算深度图像。
本发明创作提出了深度测量装置的几种方案,并基于该等方案提出了可调控的深度测量方法,在接收端设置变焦透镜,调整变焦透镜的焦距能够调整TOF图像传感器接收反射光束的视场角,进而调整TOF传感器接收反射光束的光强度,可以在探测不同环境、具有不同反射率的物体、不同距离时实时调整接收信号的视场角,保证TOF传感器在不同情况下都可以接收到有效的响应信号提高了装置的探测精度。
可以理解的是,以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中,参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点,但应当理解,在不脱离由所附权利要求限定的范围的情况下,可以在本文中进行各种改变、替换和变更。
此外,本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解,可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此,所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。
Claims (10)
1.一种深度测量装置,其特征在于:包括发射单元、接收单元、以及与发射单元和接收单元连接的控制与处理电路;其中,
所述发射单元包括有光源和光学元件,所述光源被配置为发射时序上振幅被调制的光束,所述光束经过所述光学元件后投射到目标区域;
所述接收单元包括有TOF图像传感器和变焦透镜,所述TOF图像传感器被配置成采集所述目标区域反射回的至少部分光束并形成电信号,所述变焦透镜被配置为将所述反射光束投射到所述TOF图像传感器的像素中;
所述控制与处理电路接收所述电信号并计算出所述反射光束的强度信息,根据所述强度信息以及预定义的阈值范围调整所述变焦透镜的焦距,进而调整所述TOF图像传感器采集所述反射光束的视场角。
2.根据权利要求1所述深度测量装置,其特征在于:所述变焦透镜具有至少两个可调焦距;或,所述变焦透镜被配置为是连续变焦。
3.根据权利要求1所述深度测量装置,其特征在于:所述TOF图像传感器包括有多个像素;其中,每个所述像素包括至少两个抽头,所述抽头用于采集所述反射光束并产生电信号;所述控制与处理电路接收所述电信号以计算所述反射光束的强度信息。
4.根据权利要求1所述深度测量装置,其特征在于:所述控制与处理电路存储有预定义的光强度的阈值范围,所述阀值范围被配置成通过最小光强度和最大光强度来定义。
5.根据权利要求1-4任一项所述深度测量装置,其特征在于:所述控制与处理电路根据所述电信号计算光束从发射到反射被接收的相位差,基于所述相位差计算飞行时间,进一步计算出所述目标区域的深度图像。
6.一种深度测量方法,其特征在于,包括如下步骤:
控制发射单元朝向目标区域发射时序上振幅被调制的光束;
控制接收单元采集经所述目标区域反射回的至少部分光束;其中,所述接收单元包括有TOF图像传感器和变焦透镜,所述TOF图像传感器被配置成采集所述目标区域反射回的至少部分光束并形成电信号,所述变焦透镜被配置为将所述反射光束投射到所述TOF图像传感器的像素中;
计算所述反射光束的光强度,并根据所述光强度及预定义的阈值范围调整所述变焦透镜的焦距,进而改变所述TOF图像传感器采集所述反射光束的视场角。
7.根据权利要求6所述深度测量方法,其特征在于:通过最小光强度与最大光强度来定义所述阈值范围;其中,所述最小光强度被定义为当所述TOF图像传感器采集的反射光束的光强度小于或等于该最小光强度时,所述TOF图像传感器不产生有效电信号传输到控制与处理电路;所述最大光强度被定义为当所述TOF图像传感器采集的反射光束的光强度大于或等于所述最大光强度时,所述TOF图像传感器饱和而不产生有效电信号传输到控制与处理电路。
8.根据权利要求7所述深度测量方法,其特征在于:当所述光强度小于或等于所述最小光强度时,减小所述变焦透镜的焦距,使所述TOF图像传感器在大视场角内采集所述反射光束;当所述光强度大于或等于所述最大光强度时,增大所述变焦透镜的焦距,使所述TOF图像传感器在小视场角内采集所述反射光束。
9.根据权利要求7所述深度测量方法,其特征在于:所述变焦透镜被配置为具有至少三个可调焦距;其中,所述变焦透镜的初始焦距被配置为第一焦距时,使所述TOF图像传感器接收的光强度满足所述阈值范围;若所述光强度小于或等于最小光强度时,调整所述变焦透镜的焦距为第二焦距;若所述光强度大于或等于最大光强度时,调整所述变焦透镜的焦距为第三焦距。
10.根据权利要求6-9任一项所述深度测量方法,其特征在于:当所述光强度满足所述阈值范围时,所述TOF图像传感器接收所述反射光束并形成有效的电信号,控制与处理电路根据所述有效的电信号计算所述目标区域的深度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911385285.4A CN111025319B (zh) | 2019-12-28 | 2019-12-28 | 一种深度测量装置及测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911385285.4A CN111025319B (zh) | 2019-12-28 | 2019-12-28 | 一种深度测量装置及测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111025319A true CN111025319A (zh) | 2020-04-17 |
CN111025319B CN111025319B (zh) | 2022-05-27 |
Family
ID=70194988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911385285.4A Active CN111025319B (zh) | 2019-12-28 | 2019-12-28 | 一种深度测量装置及测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111025319B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458717A (zh) * | 2020-04-20 | 2020-07-28 | 深圳奥比中光科技有限公司 | 一种tof深度测量装置、方法及电子设备 |
CN115047433A (zh) * | 2022-08-16 | 2022-09-13 | 杭州宇称电子技术有限公司 | 用于tof距离量测系统光学自动化调整方法及其应用 |
CN115516852A (zh) * | 2020-05-18 | 2022-12-23 | 青岛海信激光显示股份有限公司 | 投影设备及其视场角调整方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165271A (ja) * | 2004-12-07 | 2006-06-22 | Stanley Electric Co Ltd | 面発光素子及びその製造方法 |
CN109959942A (zh) * | 2017-12-22 | 2019-07-02 | 株式会社电装 | 距离测量设备、识别设备和距离测量方法 |
CN110161529A (zh) * | 2019-06-10 | 2019-08-23 | 炬佑智能科技(苏州)有限公司 | Tof传感器及其形成方法、机器视觉系统 |
CN110333501A (zh) * | 2019-07-12 | 2019-10-15 | 深圳奥比中光科技有限公司 | 深度测量装置及距离测量方法 |
CN110456379A (zh) * | 2019-07-12 | 2019-11-15 | 深圳奥比中光科技有限公司 | 融合的深度测量装置及距离测量方法 |
CN110471080A (zh) * | 2019-07-12 | 2019-11-19 | 深圳奥比中光科技有限公司 | 基于tof图像传感器的深度测量装置 |
CN209826571U (zh) * | 2018-12-27 | 2019-12-24 | 余姚舜宇智能光学技术有限公司 | 一种用于扫地机器人的tof模组和扫地机器人 |
-
2019
- 2019-12-28 CN CN201911385285.4A patent/CN111025319B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006165271A (ja) * | 2004-12-07 | 2006-06-22 | Stanley Electric Co Ltd | 面発光素子及びその製造方法 |
CN109959942A (zh) * | 2017-12-22 | 2019-07-02 | 株式会社电装 | 距离测量设备、识别设备和距离测量方法 |
CN209826571U (zh) * | 2018-12-27 | 2019-12-24 | 余姚舜宇智能光学技术有限公司 | 一种用于扫地机器人的tof模组和扫地机器人 |
CN110161529A (zh) * | 2019-06-10 | 2019-08-23 | 炬佑智能科技(苏州)有限公司 | Tof传感器及其形成方法、机器视觉系统 |
CN110333501A (zh) * | 2019-07-12 | 2019-10-15 | 深圳奥比中光科技有限公司 | 深度测量装置及距离测量方法 |
CN110456379A (zh) * | 2019-07-12 | 2019-11-15 | 深圳奥比中光科技有限公司 | 融合的深度测量装置及距离测量方法 |
CN110471080A (zh) * | 2019-07-12 | 2019-11-19 | 深圳奥比中光科技有限公司 | 基于tof图像传感器的深度测量装置 |
Non-Patent Citations (1)
Title |
---|
曹兆楼等: "用于运动目标探测的球面复眼透镜的结构设计", 《红外与激光工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458717A (zh) * | 2020-04-20 | 2020-07-28 | 深圳奥比中光科技有限公司 | 一种tof深度测量装置、方法及电子设备 |
CN115516852A (zh) * | 2020-05-18 | 2022-12-23 | 青岛海信激光显示股份有限公司 | 投影设备及其视场角调整方法 |
CN115516852B (zh) * | 2020-05-18 | 2024-03-29 | 青岛海信激光显示股份有限公司 | 投影设备及其视场角调整方法 |
CN115047433A (zh) * | 2022-08-16 | 2022-09-13 | 杭州宇称电子技术有限公司 | 用于tof距离量测系统光学自动化调整方法及其应用 |
Also Published As
Publication number | Publication date |
---|---|
CN111025319B (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111025318B (zh) | 一种深度测量装置及测量方法 | |
CN111025317B (zh) | 一种可调的深度测量装置及测量方法 | |
CN111025321B (zh) | 一种可变焦的深度测量装置及测量方法 | |
CN110596722B (zh) | 直方图可调的飞行时间距离测量系统及测量方法 | |
CN110596721B (zh) | 双重共享tdc电路的飞行时间距离测量系统及测量方法 | |
CN111830530B (zh) | 一种距离测量方法、系统及计算机可读存储介质 | |
CN110596725B (zh) | 基于插值的飞行时间测量方法及测量系统 | |
US8610043B2 (en) | Proximity sensor having an array of single photon avalanche diodes and circuitry for switching off illumination source and associated method, computer readable medium and firmware | |
CN111025319B (zh) | 一种深度测量装置及测量方法 | |
US7834985B2 (en) | Surface profile measurement | |
CN110596724B (zh) | 动态直方图绘制飞行时间距离测量方法及测量系统 | |
JP2018531374A (ja) | 物体までの距離を測定するためのシステムおよび方法 | |
CN110687541A (zh) | 一种距离测量系统及方法 | |
JP2018531374A6 (ja) | 物体までの距離を測定するためのシステムおよび方法 | |
CN109791207A (zh) | 用于确定到对象的距离的系统和方法 | |
CN110221272B (zh) | 时间飞行深度相机及抗干扰的距离测量方法 | |
CN111142088A (zh) | 一种光发射单元、深度测量装置和方法 | |
CN111766596A (zh) | 一种距离测量方法、系统及计算机可读存储介质 | |
CN112731425B (zh) | 一种处理直方图的方法、距离测量系统及距离测量设备 | |
JP2019529957A (ja) | 物体までの距離を測定するためのシステム | |
CN111796295B (zh) | 一种采集器、采集器的制造方法及距离测量系统 | |
CN110596723A (zh) | 动态直方图绘制飞行时间距离测量方法及测量系统 | |
EP2260325B1 (en) | Light-integrating rangefinding device and method | |
CN110780312B (zh) | 一种可调距离测量系统及方法 | |
CN211148917U (zh) | 一种距离测量系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant after: Obi Zhongguang Technology Group Co., Ltd Address before: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: SHENZHEN ORBBEC Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |