CN111538024B - 一种滤波ToF深度测量方法及装置 - Google Patents

一种滤波ToF深度测量方法及装置 Download PDF

Info

Publication number
CN111538024B
CN111538024B CN202010213727.3A CN202010213727A CN111538024B CN 111538024 B CN111538024 B CN 111538024B CN 202010213727 A CN202010213727 A CN 202010213727A CN 111538024 B CN111538024 B CN 111538024B
Authority
CN
China
Prior art keywords
filtering
map
distance
distance map
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010213727.3A
Other languages
English (en)
Other versions
CN111538024A (zh
Inventor
刘映江
曾海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202010213727.3A priority Critical patent/CN111538024B/zh
Publication of CN111538024A publication Critical patent/CN111538024A/zh
Application granted granted Critical
Publication of CN111538024B publication Critical patent/CN111538024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种滤波ToF深度测量方法及装置，方法包括：提供调制信号控制发射模组发射至少两个频率的输出光以照射目标物体；提供解调信号控制包含由至少一个像素组成的图像传感器的采集模组分别检测所述至少两个频率的输出光经所述目标物体反射回的至少一部分反射光；分别基于所述反射光计算相位差以获取所述目标物体的距离图，并分别对所述距离图进行预处理以获取融合后的第三距离图；对所述第三距离图进行第一滤波以获取平滑且保边的第四距离图；基于所述第四距离图进行计算以获取第一深度图；对所述第一深度图进行第二滤波以获取第二深度图。通过形成了一个完整的滤波体系，能够进一步消除深度图像中的误差，获得更精准的深度图像。

Description

一种滤波ToF深度测量方法及装置
技术领域
本发明涉及滤波技术领域，尤其涉及一种滤波ToF深度测量方法及装置。
背景技术
ToF的全称是Time-of-Flight，即飞行时间，通过对发射光信号进行周期性调制，并对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术称为i-ToF测距技术。按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方法和脉冲调制(Pulse Modulated，PM)调制解调方法。
在硬件测量过程中，由于受到硬件设备制造工艺和性能的影响，导致ToF相机存在一定的测量误差，并且测量误差随着深度值的增大而增大；而软件测量过程中，由于设备分辨率、算法匹配精度等影响得到的深度图像也存在一定的误差。
虽然现有技术中会通过滤波算法来解决深度图像中的误差问题，但是目前ToF滤波大多数都是基于深度图滤波，而仅仅在深度图上能做的滤波比较有限并且没有针对ToF测距技术形成完整的滤波体系。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种滤波ToF深度测量方法及装置。
为了解决上述问题，本发明采用的技术方案如下所述：
一种滤波ToF深度测量方法，包括如下步骤：S1：提供调制信号控制发射模组发射至少两个频率的输出光以照射目标物体；S2：提供解调信号控制包含由至少一个像素组成的图像传感器的采集模组分别检测所述至少两个频率的输出光经所述目标物体反射回的至少一部分反射光；S3：分别基于所述反射光计算相位差以获取所述目标物体的距离图，并分别对所述距离图进行预处理以获取融合后的第三距离图；S4：对所述第三距离图进行第一滤波以获取平滑且保边的第四距离图；S5：基于所述第四距离图进行计算以获取第一深度图；S6：对所述第一深度图进行第二滤波以获取第二深度图。
在本发明的一种实施例中，分别对所述距离图进行预处理以获取融合后的第三距离图包括：标定：分别对所述距离图进行标定校正以获取校正后的距离图；噪声滤波：分别对所述较正后的距离图进行噪声滤波以获取去除噪声后的距离图；双频融合：对所述去除噪声后的距离图进行双频融合以获取融合后的所述第三距离图。
在本发明的另一种实施例中，对所述第三距离图进行第一滤波包括：散射滤波：对所述第三距离图进行散射滤波以对滤除所述第三距离图中前景周围计算错误的点以获取散射滤波后的图像；双边滤波：对所述散射滤波后的图像进行双边滤波以滤除所述散射滤波后的图像中的飞点，获取平滑且保边的第四距离图。
在本发明的第三种实施例中，基于所述第四距离图根据下列公式计算以获取第一深度图；
Figure BDA0002423688830000021
Figure BDA0002423688830000022
Figure BDA0002423688830000023
其中，D是距离，Z是深度，f是采集模组的焦距，x、y为第四距离图中像素点的坐标，X、Y是空间坐标点的坐标，xc、yc是采集模组的内参。
在本发明的第四种实施例中，对所述第一深度图进行第二滤波以获取第二深度图，所述第二滤波包括置信度滤波、飞点滤波以及斑点滤波。
在本发明的第五种实施例中，本发明的方法还包括：S7：对所述第二深度图进行空洞补偿以获取第三深度图。本发明还提供一种滤波ToF深度测量装置，包括：发射模组，用于发射至少两个频率的输出光以照射目标物体；采集模组，包含由至少一个像素组成的图像传感器，所述图像传感器被配置为分别检测所述至少两个频率的输出光经所述目标物体反射回反射光；控制与处理电路，分别与所述发射模组以及所述采集模组连接，并用于执行如上任一所述的方法。
在本发明的一种实施例中，所述发射模组，被配置为分别提供第一频率的第一输出光和第二频率的第二输出光以照射目标物体；所述采集模组，被配置为所述图像传感器分别检测包括所述第一输出光和所述第二输出光经所述目标物体反射回的至少一部分第一反射光和第二反射光。所述像素包括至少2个抽头，所述抽头用于在单个帧周期内分别采集由包含所述目标物体反射的光束所产生的电信号。
在本发明的再一种实施例中，所述发射模组发射脉冲调制光束、方波调制光束、正弦波调制光束；所述采集模组包括滤光片，所述滤光片是与所述发射模组发射的所述输出光的波长相匹配的窄带滤光片。
本发明的有益效果为：提供一种滤波ToF深度测量方法及装置，通过形成了一个完整的滤波体系，能够进一步消除深度图像中的误差，获得更精准的深度图像。
附图说明
图1是本发明实施例中一种ToF深度测量装置的结构示意图。
图2是本发明实施例中一种滤波ToF深度测量方法的示意图。
图3是本发明实施例中又一种滤波ToF深度测量方法的示意图。
图4是本发明实施例中分别对距离图进行预处理以获取融合后的第三距离图的方法示意图。
图5是本发明实施例中对第三距离图进行第一滤波的方法示意图。
图6是本发明实施例中对第一深度图进行第二滤波以获取第二深度图的方法示意图。
图7是本发明实施例中再一种滤波ToF深度测量方法的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1为本发明一个实施例中一种ToF深度测量装置10的结构示意图。深度测量装置10包括发射模组11、采集模组12以及控制与处理电路13。发射模组11被配置为发射至少两个频率的输出光以照射目标物体，在本发明的一种实施例中，发射模组11被配置为分别提供第一频率的第一输出光和第二频率的第二输出光以照射目标物体20，如下以此为例进行说明，并不代表发射模组仅能发射两个频率的输出光；采集模组12包含由至少一个像素组成的图像传感器121，图像传感器121被配置为分别检测包括第一输出光和第二输出光经目标物体20反射回的至少一部分的第一反射光和第二反射光；控制与处理电路13分别与发射模组11以及采集模组12连接，控制与处理电路13被配置为执行以下功能。具体包括：分别基于第一反射光和第二反射光计算相位差并根据公式(1)以获取目标物体20的第一距离图和第二距离图：
Figure BDA0002423688830000041
其中，其中，D是距离，fm是频率，c是光飞行速度，
Figure BDA0002423688830000042
是相位差。
然后对第一距离图和第二距离图进行预处理以获取融合后的第三距离图，基于第三距离图进行第一滤波以获取平滑且保边的第四距离图，基于第四距离图进行计算以获取第一深度图，以及，对第一深度图进行第二滤波以获取第二深度图，第二深度图的图像质量高于所述第一深度图。
在本发明的一种实施例中，控制与处理器对第一距离图和第二距离图进行双频融合，双频融合既可以在相位差上进行融合也可以在距离图上进行融合，双频融合的方法可以是中国余数定理。可以理解的是，不同于现有技术中ToF滤波大多数都是基于深度图滤波，本发明的方法形成了一个完整的滤波体系，能够进一步消除深度图像中的误差，获得更精准的深度图像。
发射模组11包括光源以及光源驱动器(图中未示出)等。光源可以是发光二极管(LED)、边发射激光器(EEL)、垂直腔面发射激光器(VCSEL)等光源，也可以是多个光源组成的光源阵列，光源所发射的光束可以是可见光、红外光、紫外光等。光源在光源驱动器(其可以进一步被控制和处理电路13控制)的控制下以一定的时序振幅被调制后向外发射光束，比如在一个实施例中，光源在控制下以一定的第一频率和第二频率发射脉冲调制光束、方波调制光束、正弦波调制光束等光束，比如第一频率为60M，第二频率为100M，这样使用两个频率发射光束可以提高测量精度和测量距离。可以理解的是，不止可以使用两个频率，也可以使用三个甚至更多，如此能得到更高的测量精度和更大的测量距离。
采集模组12包括ToF图像传感器121、透镜单元、还可以包含滤光片(图中未示出)，透镜单元接收并将由目标物体20反射回的至少部分光束并成像在至少部分ToF图像传感器121上，滤光片需选择与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。ToF图像传感器121可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等组成的图像传感器，阵列大小代表着该深度相机的分辨率，比如320x240等。一般地，与图像传感器121连接的还包括由信号放大器、时数转换器(TDC)、模数转换器(ADC)等器件中的一种或多种组成的读出电路(图中未示出)。
一般地，ToF图像传感器121包括至少一个像素，与传统的仅用于拍照的图像传感器相比，这里每个像素则包含两个以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括2个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光子，以用于接收光信号并转换成电信号。
控制与处理电路13可以是独立的专用电路，比如包含CPU、存储器、总线等组成的专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该控制与处理电路13的至少一部分。
控制与处理电路13用于提供光源发射激光时所需的调制信号(发射信号)，光源在调制信号的控制下向目标物体20发射光束。比如在一个实施例中，调制信号为连续波信号如正弦波信号，光源在该正弦波信号的调制下振幅在时序上以正弦波形式发射；在一个实施例中，调制信号为方波信号或脉冲信号，光源在该调制信号的调制下振幅被时序上调制以产生方波信号或者脉冲信号向外发射。
此外，控制与处理电路13还提供ToF图像传感器121各像素中各抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含目标物体20反射回的反射的光束所产生的电信号。该电信号与反射光束的强度相关，控制与处理电路13随后对该电信号进行处理并计算出相位差以获得目标物体20的深度图像。
在一个实施例中，控制与处理电路13对所述第一距离图和所述第二距离图进行预处理以获取第三距离图和第四距离图。该预处理包括标定、噪声滤波和双频融合。其中，对第一距离图、第二距离图标定校正以获取校正后的距离图，并对该距离图进行噪声滤波以获取去除噪声后的距离图，对该去除噪声后的距离图进行双频融合以获取融合后的第三距离图。
可以理解的是，控制与处理器利用余数定理对第一距离图和第二距离图进行双频融合，双频融合可以在相位差上融合，也可以在距离图上融合。
在一个实施例中，控制与处理电路13对第三距离图进行第一滤波以获取平滑且保边的第四距离图。该第一滤波包括散射滤波、双边滤波。由于ToF系统往往会在低幅值区域受到高幅值区域像素的干扰，导致深度相位差受到干扰，从而导致深度出现异常。在实际情况中表现为近距离前景的边缘存在远距离背景深度，导致深度计算错误，从而产生散射效应，因此，需要对第四距离图中前景周围计算错误的点进行去散射滤波以滤除第三距离图中前景周围计算错误的点，并对去散射滤波后的图像进行双边滤波以滤除该图像中的飞点，获取平滑且保边的第九距离图，该过程采用保边滤波方法，比如双边、联合双边、引导滤波等方法可以避免出现深度边缘产生模糊、点云上产生飞点等情况。
在一个实施例中，控制与处理电路13基于第四距离图进行小孔成像计算以获取第一深度图。具体公式如下所示：
Figure BDA0002423688830000071
由上式可以得到：
Figure BDA0002423688830000072
Figure BDA0002423688830000073
Figure BDA0002423688830000074
其中，D是距离，Z是深度，f是采集模组的焦距，x、y为第四距离图中像素点的坐标，X、Y是空间坐标点的坐标，xc、yc是采集模组的内参。
在一个实施例中，控制与处理电路13对第一深度图进行第二滤波以获取第二深度图。该第二滤波包括置信度滤波、飞点滤波以及斑点滤波。由于第一深度图中存在置信度极低的点，并且根据这些置信度极低的点计算出来的深度不具有可靠性，因此需要对第一深度图进行置信度滤波以滤除幅值低、信噪比低的点，比如幅值低于1.0、信噪比低于0.3的点。
控制与处理电路13基于置信度滤波后的图像进行飞点滤波以滤除飞点。由于第二深度图中存在一些较偏的飞点，这些飞点的深度值与周围的深度值差异较大的点，比如该点的深度值与周围的深度值差异超过100mm，那么认为该点是飞点，需要滤除这些飞点以获取滤除飞点以后的图像。飞点滤波的方法可以采用基于二维的飞点滤波或基于三维的飞点滤波。基于三维的飞点滤波可选择直通滤波、统计滤波、体素滤波、条件滤波、半径滤波等，在此对其不做任何的限制。
控制与处理电路13基于飞点滤波后的图像进行斑点滤波以滤除偏远小块区域。由于第三深度图中可能存在一些偏远小块区域，需要滤除这些偏远小块区域。滤波方法可以选择斑点滤波、半径滤波等方法以滤除这些偏远小块区域。可以理解的是，中值滤波对深度图的椒盐噪声滤除的同时，也会补偿部分深度空洞，但是由于中值滤波空洞补偿有限，还需要对第四深度图进行进一步的空洞补偿。在本发明的一种实施例中，比如一张深度图的像素点集中在一个区域，而在边角区域也出现一小部分像素点，则边角区域的像素点区域为偏远小块区域。
在一个实施例中，控制与处理电路13还包括对斑点滤波后的图像进行空洞补偿从而获取第三深度图。进行空洞补偿的方法主要是采取领域生长的方式来进行补偿，比如生长算法，反距离加权法等，在此对该补偿方法不做任何的限制。
可以理解的是，经过本实施例中的ToF滤波体系对整个深度图进行滤波能有效减小ToF深度图的噪声、飞点等的影响，从而提高深度图的精度。
如图2所示，是本发明中一种滤波ToF深度测量方法，包括如下步骤：
S1：提供调制信号控制发射模组发射至少两个频率的输出光以照射目标物体；
S2：提供解调信号控制包含由至少一个像素组成的图像传感器的采集模组分别检测所述至少两个频率的输出光经所述目标物体反射回的至少一部分反射光；
S3：分别基于所述反射光计算相位差以获取所述目标物体的距离图，并分别对所述距离图进行预处理以获取融合后的第三距离图；
S4：对所述第三距离图进行第一滤波以获取平滑且保边的第四距离图；
S5：基于所述第四距离图进行计算以获取第一深度图；
S6：对所述第一深度图进行第二滤波以获取第二深度图。
如前所述，在本发明的一种实施例中，发射模组，被配置为分别提供第一频率的第一输出光和第二频率的第二输出光以照射目标物体；对应的，采集模组，被配置为图像传感器分别检测包括所述第一输出光和所述第二输出光经所述目标物体反射回的至少一部分第一反射光和第二反射光。
如图3所示，是本发明中另一种滤波ToF深度测量方法，包括如下步骤：
提供调制信号控制所述发射模组发射第一频率的第一输出光和第二频率的第二输出光以照射目标物体；
提供解调信号控制所述采集模组分别检测所述第一输出光和所述第二输出光经所述目标物体反射回的至少一部分第一反射光和第二反射光；
根据所述第一输出光和所述第一反射光计算相位差以获取所述目标物体的第一距离图；和，根据所述第二输出光和所述第二反射光计算相位差以获取所述目标物体的第二距离图，并分别对所述距离图进行预处理以获取融合后的第三距离图；
对所述第三距离图进行第一滤波以获取平滑且保边的第四距离图；
基于所述第四距离图进行计算以获取第一深度图；
对所述第一深度图进行第二滤波以获取第二深度图。
可以理解的是，控制与处理电路的其他处理方法如前所述，此处不再赘述。
如图4所示，分别对所述距离图进行预处理以获取融合后的第三距离图包括：包括：
标定：分别对所述距离图进行标定校正以获取校正后的距离图；
噪声滤波：分别对所述较正后的距离图进行噪声滤波以获取去除噪声后的距离图；
双频融合：对所述去除噪声后的距离图进行双频融合以获取融合后的所述第三距离图。
可以理解的是，本发明的实施例中可以只采用如上步骤中的任意一个、任意两个或全部。
如图5所示，对所述第三距离图进行第一滤波包括：
散射滤波：对所述第三距离图进行散射滤波以对滤除所述第三距离图中前景周围计算错误的点以获取散射滤波后的图像；
双边滤波：对所述散射滤波后的图像进行双边滤波以滤除所述散射滤波后的图像中的飞点，获取平滑且保边的第四距离图。
可以理解的是，本发明的实施例中可以只采用如上步骤中的任意一个或全部。
如图6所示，对所述第一深度图进行第二滤波以获取第二深度图，所述第二滤波包括置信度滤波、飞点滤波以及斑点滤波。
可以理解的是，本发明的实施例中可以只采用如上步骤中的任意一个、任意两个、任意三个或全部。
如图7所示，本发明还提供一种滤波ToF深度测量方法，在前面所述的方法基础上还包括：
S7：对所述第二深度图进行空洞补偿以获取第三深度图。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种滤波ToF深度测量方法，其特征在于，包括如下步骤：
S1：提供调制信号控制发射模组发射至少两个频率的输出光以照射目标物体；
S2：提供解调信号控制包含由至少一个像素组成的图像传感器的采集模组分别检测所述至少两个频率的输出光经所述目标物体反射回的至少一部分反射光；每个像素包含两个以上的抽头；
S3：分别基于所述反射光计算相位差以获取所述目标物体的距离图，并分别对所述距离图进行预处理以获取融合后的第三距离图；
S4：对所述第三距离图进行第一滤波以获取平滑且保边的第四距离图；
S5：基于所述第四距离图进行计算以获取第一深度图；
S6：对所述第一深度图进行第二滤波以获取第二深度图。
2.如权利要求1所述的滤波ToF深度测量方法，其特征在于，分别对所述距离图进行预处理以获取融合后的第三距离图包括：
标定：分别对所述距离图进行标定校正以获取校正后的距离图；
噪声滤波：分别对所述校正后的距离图进行噪声滤波以获取去除噪声后的距离图；
双频融合：对所述去除噪声后的距离图进行双频融合以获取融合后的所述第三距离图。
3.如权利要求1所述的滤波ToF深度测量方法，其特征在于，对所述第三距离图进行第一滤波包括：
散射滤波：对所述第三距离图进行散射滤波以对滤除所述第三距离图中前景周围计算错误的点以获取散射滤波后的图像；
双边滤波：对所述散射滤波后的图像进行双边滤波以滤除所述散射滤波后的图像中的飞点，获取平滑且保边的第四距离图。
4.如权利要求1所述的滤波ToF深度测量方法，其特征在于，基于所述第四距离图根据下列公式计算以获取第一深度图；
Figure FDA0003657301760000011
Figure FDA0003657301760000021
Figure FDA0003657301760000022
其中，D是距离，Z是深度，f是采集模组的焦距，x、y为第四距离图中像素点的坐标，X、Y是空间坐标点的坐标，xc、yc是采集模组的内参。
5.如权利要求1所述的滤波ToF深度测量方法，其特征在于，所述第二滤波包括置信度滤波、飞点滤波以及斑点滤波。
6.如权利要求1所述的滤波ToF深度测量方法，其特征在于，还包括：
S7：对所述第二深度图进行空洞补偿以获取第三深度图。
7.一种滤波ToF深度测量装置，其特征在于，包括：
发射模组，用于发射至少两个频率的输出光以照射目标物体；
采集模组，包含由至少一个像素组成的图像传感器，所述图像传感器被配置为分别检测所述至少两个频率的输出光经所述目标物体反射回反射光；
控制与处理电路，分别与所述发射模组以及所述采集模组连接，并用于执行如权利要求1-6任一所述的方法。
8.如权利要求7所述的滤波ToF深度测量装置，其特征在于，所述发射模组，被配置为分别提供第一频率的第一输出光和第二频率的第二输出光以照射目标物体；
所述采集模组，被配置为所述图像传感器分别检测包括所述第一输出光和所述第二输出光经所述目标物体反射回的至少一部分第一反射光和第二反射光。
9.如权利要求7所述的滤波ToF深度测量装置，其特征在于，所述像素包括至少2个抽头，所述抽头用于在单个帧周期内分别采集由包含所述目标物体反射的光束所产生的电信号。
10.如权利要求7-9任一所述的滤波ToF深度测量装置，其特征在于，所述发射模组发射脉冲调制光束、方波调制光束、正弦波调制光束；所述采集模组包括滤光片，所述滤光片是与所述发射模组发射的所述输出光的波长相匹配的窄带滤光片。
CN202010213727.3A 2020-03-24 2020-03-24 一种滤波ToF深度测量方法及装置 Active CN111538024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010213727.3A CN111538024B (zh) 2020-03-24 2020-03-24 一种滤波ToF深度测量方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010213727.3A CN111538024B (zh) 2020-03-24 2020-03-24 一种滤波ToF深度测量方法及装置

Publications (2)

Publication Number Publication Date
CN111538024A CN111538024A (zh) 2020-08-14
CN111538024B true CN111538024B (zh) 2022-09-16

Family

ID=71978753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010213727.3A Active CN111538024B (zh) 2020-03-24 2020-03-24 一种滤波ToF深度测量方法及装置

Country Status (1)

Country Link
CN (1) CN111538024B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526546B (zh) * 2021-02-09 2021-08-17 深圳市汇顶科技股份有限公司 深度信息确定方法及装置
CN113050073B (zh) * 2021-03-08 2023-02-28 上海炬佑智能科技有限公司 参考平面标定方法、障碍物检测方法以及距离检测装置
CN113325439B (zh) * 2021-05-17 2023-04-07 奥比中光科技集团股份有限公司 一种深度相机及深度计算方法
CN113298785A (zh) * 2021-05-25 2021-08-24 Oppo广东移动通信有限公司 校正方法、电子设备及计算机可读存储介质
CN113760539A (zh) * 2021-07-29 2021-12-07 珠海视熙科技有限公司 一种tof相机深度数据处理方法、终端以及存储介质
CN114120415A (zh) * 2021-11-30 2022-03-01 支付宝(杭州)信息技术有限公司 人脸检测方法、装置和电子设备
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078074A1 (en) * 2017-10-20 2019-04-25 Sony Semiconductor Solutions Corporation IN-DEPTH PICTURE ACQUISITION APPARATUS, CONTROL METHOD, AND DEPTH PICTURE ACQUISITION SYSTEM
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
CN110400338A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
KR102163728B1 (ko) * 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN106839975B (zh) * 2015-12-03 2019-08-30 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
US10416296B2 (en) * 2016-10-19 2019-09-17 Infineon Technologies Ag 3DI sensor depth calibration concept using difference frequency approach
CN107270890B (zh) * 2017-04-25 2021-06-15 深圳大学 一种无人机上tof距离传感器的测距方法及系统
CN107884066A (zh) * 2017-09-29 2018-04-06 深圳奥比中光科技有限公司 基于泛光功能的光传感器及其3d成像装置
CN109615652B (zh) * 2018-10-23 2020-10-27 西安交通大学 一种深度信息获取方法及装置
CN109615596B (zh) * 2018-12-05 2020-10-30 青岛小鸟看看科技有限公司 一种深度图像的去噪方法、装置和电子设备
CN110221274B (zh) * 2019-05-09 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及多频调制解调的距离测量方法
CN110121031B (zh) * 2019-06-11 2021-03-12 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN110400339B (zh) * 2019-07-11 2021-04-16 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110378946B (zh) * 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN110390689B (zh) * 2019-07-11 2021-07-30 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110599547A (zh) * 2019-08-30 2019-12-20 深圳奥比中光科技有限公司 一种tof相机的标定装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078074A1 (en) * 2017-10-20 2019-04-25 Sony Semiconductor Solutions Corporation IN-DEPTH PICTURE ACQUISITION APPARATUS, CONTROL METHOD, AND DEPTH PICTURE ACQUISITION SYSTEM
US10382736B1 (en) * 2018-02-09 2019-08-13 Infineon Technologies Ag Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth
CN110400338A (zh) * 2019-07-11 2019-11-01 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Distance Error Correction in Time-of-Flight Cameras Using Asynchronous Integration Time;Eu-Tteum Baek;《sensors》;20200220;1-17 *
保留边界特征的深度图像增强算法研究;周自顾;《应用光学》;20180331;200-206 *
基于双通道卷积神经网络的深度图超分辨研究;李素梅;《光学学报》;20181030;1-7 *

Also Published As

Publication number Publication date
CN111538024A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111538024B (zh) 一种滤波ToF深度测量方法及装置
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
WO2021008209A1 (zh) 深度测量装置及距离测量方法
CN111045029B (zh) 一种融合的深度测量装置及测量方法
CN113538591B (zh) 一种距离测量装置与相机融合系统的标定方法及装置
CN111123289B (zh) 一种深度测量装置及测量方法
CN110596723B (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
US11536804B2 (en) Glare mitigation in LIDAR applications
CN110596724B (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
US9194953B2 (en) 3D time-of-light camera and method
CN113538592B (zh) 一种距离测量装置与相机融合系统的标定方法及装置
CN111736173B (zh) 一种基于tof的深度测量装置、方法及电子设备
CN111708039A (zh) 一种深度测量装置、方法及电子设备
CN111025317A (zh) 一种可调的深度测量装置及测量方法
US10712432B2 (en) Time-of-light-based systems using reduced illumination duty cycles
CN212694038U (zh) 一种tof深度测量装置及电子设备
CN111427048B (zh) 一种ToF深度测量装置、控制方法及电子设备
CN110609299A (zh) 一种基于tof的三维成像系统
US9258548B2 (en) Apparatus and method for generating depth image
CN113466836A (zh) 一种测距方法、装置及激光雷达
CN111458717A (zh) 一种tof深度测量装置、方法及电子设备
CN113780349A (zh) 训练样本集的获取方法、模型训练方法及相关装置
CN110986816B (zh) 一种深度测量系统及其测量方法
US20220364849A1 (en) Multi-sensor depth mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co.,Ltd.

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant