CN111308482A - 基于编码调制图像的滤波连续波飞行时间测量 - Google Patents

基于编码调制图像的滤波连续波飞行时间测量 Download PDF

Info

Publication number
CN111308482A
CN111308482A CN201911173570.XA CN201911173570A CN111308482A CN 111308482 A CN111308482 A CN 111308482A CN 201911173570 A CN201911173570 A CN 201911173570A CN 111308482 A CN111308482 A CN 111308482A
Authority
CN
China
Prior art keywords
pixel
pixels
continuous wave
reference signal
coded modulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911173570.XA
Other languages
English (en)
Other versions
CN111308482B (zh
Inventor
H·波兰克
A·施恩莱博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN111308482A publication Critical patent/CN111308482A/zh
Application granted granted Critical
Publication of CN111308482B publication Critical patent/CN111308482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开通常涉及图像处理。用于利用图像传感器执行深度测量的示例方法包括：针对至少第一像素，执行针对第一像素的一个或多个连续波相位测量，并且执行针对第一像素的编码调制测量。该方法进一步包括基于编码调制测量确定针对第一像素的掩码值，并且将该掩码值应用于从一个或多个连续波相位测量计算的距离值，以获取针对由于相位环绕而没有歧义的第一像素的掩蔽的距离值。

Description

基于编码调制图像的滤波连续波飞行时间测量
技术领域
本公开通常涉及图像处理，并且更具体地涉及使用从编码调制测量生成的掩码来处理图像数据。
背景技术
在光学感测应用中，深度测量可以如同所谓的飞行时间(ToF)测量来执行(即，以图像传感器的视角到一个或多个对象的各种特征的距离的测量)，该测量是使用光的速度和图像/像素传感器确定的距离测量。到感兴趣的对象的距离通常是按每像素计算的，一旦计算出，就可以被用于深度检测、手势识别、对象检测等。这些距离可以被组合以创建深度图和/或三维(3D)点云，例如用于3D图形渲染。
用于TOF测量的常规方法需要多次连续曝光，该多次连续曝光可以被称为子帧或原始帧或相位图。对于这些曝光中的每一次曝光，照亮感兴趣的对象的光由连续波形(诸如正弦或脉冲波形)调制，其中图像传感器的每一个像素测量从感兴趣的对象反射的光与参考信号的相关性，参考信号是调制波形的副本。对于每一次曝光，参考信号与调制光的波形之间的相位差是变化的。例如，一种方法需要四次单独的曝光，诸如0°、90°、180°和270°。收集来自四次曝光的测量信息并且可以被用于确定深度图。
连续波(CW)TOF测量的一个众所周知的问题是，针对调制波形和对应的参考信号的相关函数会产生周期波形。由于相位测量本身不提供任何表明它们来自周期相关波形的哪个周期的指示，因此这在所得的相位测量中产生了歧义。这意味着，尤其是在一个或多个背景对象具有高反射率的情况下，一个或多个感兴趣的对象的背景中的对象可以反射显示为图像中的有害响应的光。
对该问题的常规解决方案是使用具有不同频率的参考信号进行附加的相位测量组，即，执行附加的曝光。因为针对该第二参考信号适当地选择的频率将导致不同的歧义距离，所以可以将利用两个不同参考信号频率执行的测量进行组合以解决歧义。当然，这种方法增加了所需的测量的数目，从而增加了针对成像系统的数据存储和处理能力要求。
发明内容
公开了满足这些需求的飞行时间(TOF)系统和技术，由此通过使用源自使用相同像素执行的编码调制测量的掩码来掩蔽连续波飞行时间测量来消除距离歧义。可以应用类似的技术来掩蔽从图像传感器获取的其它图像数据，以(例如)将掩蔽的图像数据限制为对应的对象落入距图像传感器的预定距离范围内的数据。
根据所公开的实施例中的一些实施例的用于利用图像传感器执行深度测量的示例方法包括：对于至少第一像素，执行针对第一像素的一个或多个连续波相位测量，并且执行针对第一像素的编码调制测量。该方法进一步包括基于编码调制测量确定针对第一像素的掩码值，并且将该掩码值应用于从一个或多个连续波相位测量计算的距离值，以获取针对由于相位环绕而没有歧义的第一像素的掩蔽的距离值。
根据本文公开的一些实施例的用于处理图像数据的另一示例方法包括针对图像传感器的多个像素中的每一个像素执行编码调制测量，并且通过将每一个编码调制测量值与预定的阈值进行比较来生成掩码。该示例方法进一步包括通过将掩码应用于从多个像素获取的图像数据来生成掩蔽的图像数据。
还公开了对应的图像处理系统。一个这样的系统包括传感器，该传感器包含多个像素，被配置为响应于接收到的光生成相应的多个像素信号值，其中每一个像素被配置为通过使用参考信号解调接收到的光来获取其相应像素信号值。该系统进一步包括：参考信号生成器，被配置为生成参考信号并且将该参考信号提供给多个像素；以及控制电路装置，被配置为控制参考信号生成器和多个像素以执行针对每一个像素的一个或多个连续波相位测量，并且被配置为控制参考信号生成器和多个像素以执行针对每一个像素的编码调制测量。控制电路装置进一步被配置为基于相应的编码调制测量确定针对每一个像素的掩码值，并且将针对每一个像素的掩码值应用于从针对像素的一个或多个连续波相位测量计算的相应距离值，以获取针对每一个像素的掩蔽的距离值。
另一个示例图像处理系统还包括传感器，该传感器包含多个像素，被配置为响应于接收到的光生成相应的多个像素信号值，其中每一个像素被配置为通过使用参考信号解调接收到的光来获取其相应的像素信号值。该系统进一步包括：参考信号生成器，被配置为生成参考信号并且将该参考信号提供给多个像素；以及控制电路装置，被配置为控制参考信号生成器和多个像素以执行针对每一个像素的一个或多个连续波相位测量，并且被配置为控制参考信号生成器和多个像素以执行针对每一个像素的编码调制测量。控制电路装置进一步被配置为基于相应的编码调制测量确定针对每一个像素的掩码值，并且将针对每一个像素的掩码值应用于从针对像素的一个或多个连续波相位测量计算的相应距离值，以获取针对每一个像素的掩蔽的距离值。
本文描述的技术和装置可以被用于(诸如，在深度图中)有效地获取由于相位环绕而没有歧义的距离测量。这些技术还可以被用于选择性地过滤图像数据，以将数据限制为落入距图像传感器的预定距离范围内的对象的图像。
在下面的具体实施方式中讨论了上述技术和装置的变型以及进一步的优点。
附图说明
图1是示出根据本文所述的一些实施例的飞行时间测量的原理的图。
图2示出了示例光子混合设备(PMD)。
图3是示出了根据飞行时间(TOF)技术的相位测量的原理的图。
图4示出了针对飞行时间相位测量的相关函数。
图5示出了针对示例编码调制测量的相关函数，以及对应的掩码。
图6是示出根据一些当前公开的实施例的用于使用图像传感器执行深度测量的示例方法的过程流程图。
图7是示出根据一些当前公开的实施例的用于处理图像数据的示例方法的过程流程图。
图8是示出根据一些实施例的示例图像处理系统的部件的框图。
具体实施方式
现在将参考附图描述本发明，其中，类似的参考标号始终用于表示类似的元件，并且其中所示的结构和器件不必按比例绘制。在本公开中，术语“图像”和“图像传感器”不限于涉及可见光的图像或传感器，而是涵盖了可见光和其它电磁辐射的使用。因此，本文使用的术语“光”含义广泛并且指可见光以及红外和紫外线辐射。
图1示出了连续波(CW)飞行时间(TOF)测量的基本原理，其是公知的。利用电信号(例如，300MHz的射频正弦波)调制光源110(诸如，发光二极管(LED)或垂直腔表面发射激光器(VCSEL))，使得光源110向目标场景120发射调幅的光信号。光信号以光速c行进，利用到目标场景120的飞行时间，从场景120中的一个或多个对象反射并且返回到TOF传感器130中的像素阵列135处，并且相对于原始传输的光信号在如像素阵列135处接收的光信号上向后施加
Figure BDA0002289378740000041
的相移。
用于调制发射的光或其相移的版本的调制信号137还作为参考信号被提供给像素阵列135中的像素，以与叠加在反射的光信号上的调制信号相关联——实际上，反射的光信号被像素阵列135中的每一个像素解调。
虽然光感测像素的结构和设计可以变化，但是在某些情况下，像素阵列135中的每一个像素可以是光子混合设备或PMD。图2示出了示例PMD的基本结构，该基本结构包括读出二极管A和B以及调制门A和B。当入射光在光栅/二极管处被接收时，跨调制门A和B差分地施加参考信号，从而跨p衬底创建电势梯度。跨读出二极管A和B生成差分传感器信号。来自像素的传感器信号可以被整合成时间段以确定相位测量信息。
PMD的Read-A和Read-B节点处的电压之差对应于调制光信号与参考信号之间的相关性，调制光信号由示出的设备中的光敏二极管结构检测，参考信号被施加在设备的Mod-A与Mod-B节点之间。因此，如下面进一步详细讨论的，PMD(和其它光敏像素结构)解调从目标场景120反射的调制光信号，产生表示反射的光信号行进的距离的像素信号值(在这种情况下是Read-A与Read-B处的电压之差)。
尽管调制信号可以采取多种形式中的任何一种形式，但是最容易以正弦信号作为调制信号来理解该相关/解调背后的原理。如果调制幅度为“a”且相移为
Figure BDA0002289378740000051
的调制信号g(t)和接收信号s(t)给出为：
m(t)＝cos(ωt)，以及
Figure BDA0002289378740000052
则接收信号与参考信号的相关性为：
Figure BDA0002289378740000053
其是两个信号之间的相位差
Figure BDA0002289378740000054
的函数。应当理解，利用周期性的调制信号，可以在延长的时间段(例如，调制信号的几个周期)内执行这种相关，以改善所得的测量的信噪比。
可以通过N相移技术来提取发射的光信号与该信号的接收的反射之间的相位差，该相位差与光信号行进的距离成比例。这需要针对调制信号g(t)在N个不同点处对相关函数进行采样，例如通过使用参考信号的N个不同相移来执行相关。至少需要两次测量才能计算出该相移，从而确定行进距离。这通常使用四个不同(例如在0、90、180和270度处)的相移来完成，因为这样可以简单地消除相关结果中的系统偏移。这在图3中可以看到，其示出了分别在0度和90度处的相关性A0和A1如何对应于具有“理想”分量和系统分量的第一相位向量，“理想”分量对应于光信号行进的实际差，系统分量反映测量和读出中的系统误差。同样，在180和270度处的相关性A2和A3分别对应于指向相反方向的第二相位向量，第二相位向量具有完全相反的“理想”分量和相同的系统分量。在图中，理想分量由从原点延伸到圆的向量表示，而系统误差分量由较小的向量表示。然后可以按以下方式计算实际相位
Figure BDA0002289378740000061
Figure BDA0002289378740000062
从该相位到目标场景120的距离或“深度”可以计算如下：
Figure BDA0002289378740000063
其中fmod是调制信号的频率。
应当立即理解，由于“相位环绕”，该距离计算具有歧义的结果，使得不可能从单个距离计算中准确地辨别出几个可能的距离中的哪一个距离可能已经产生了计算的相位。
发生该相位环绕的距离被称为歧义距离，其被定义为：
Figure BDA0002289378740000064
该歧义距离是调制信号的自由空间波长的一半。因此，例如对于80MHz的调制信号的歧义距离为大约1.9米。
这种相位环绕的重要性可以在图4中看到，图4示出了作为距离的函数的CW TOF相位测量的相位测量结果的示例。从图中可以看出，尽管相关性的幅度随着距离的增加而衰减，但是如果没有附加的信息，就不可能区分从距离为x处的对象反射的信号和从距离为x+damb处的具有比较高反射率稍高的对象反射的信号。换句话说，歧义距离是每个相关值都是唯一的区域的宽度——超出该区域会导致重复的相关值。
用于解决该歧义的各种技术是已知的。一种方法是将从反射的光信号获取的幅度信息合并到距离测定中。另一种方法是利用不同的调制频率重复测量，从而导致不同的歧义距离。因为这些测量应当在仅单个距离上提供一致的结果，所以可以将第二测量结果与第一测量结果结合起来以解决歧义。然而，与单次曝光组相比，该方法使功耗增加了一倍，由于完成测量需要附加的时间，因此会产生运动伪影，并且需要显著更多的计算。
利用编码调制感测距离是可以被用来避免距离歧义问题的另一种方法。利用调制编码，所发射的光脉冲和像素参考信号(其被TOF像素用来测量与从感兴趣对象反射的接收信号的相关性)被调整，使得自相关函数在特定距离处被截止。在图5中描绘了这样的示例。在该图中，粗线530表示在ToF像素处的相关性测量，作为针对示例编码调制测量的距离的函数。从图中可以看出，该函数具有单个峰值，并且仅在有限的距离范围内产生显著的振幅。例如，尽管其它代码调制信号是已知的并且已经被讨论，但是这种结果可以利用以m序列对光信号进行幅度调制的调制信号(和对应的参考信号)来实现。
然而，仅使用编码调制测量来计算距离图像具有一些缺点。与CW ToF测量相比，这些测量每次测量需要显著更多的能量并且可能导致较差的深度分辨率。如果需要与常规的连续波ToF相同的信号强度，则需要增加曝光时间。然而，由于人眼安全规定，在某些情况下这甚至是不可能的。
根据当前公开的技术，通过组合两种类型的测量来克服CW ToF测量和编码调制ToF测量的这些问题。因此，例如，使用2、3、4或任意数目的相位图来捕获常规的连续波ToF深度图像。通过利用编码调制捕获至少一个附加的图像，可以创建针对常规的深度图像的滤波掩码。滤波掩码还可以利用其它数目的编码调制帧(2、3、4……n)完成，这可以增加并适应滤波范围。
通过将编码调制图像的每一个像素值与阈值进行比较来创建该滤波掩码。图5中示出了这样的阈值的示例，其中阈值510被设置在高于自相关波形520的下限的水平处。如由图中示出的掩码540所示，高于阈值510的测量值产生第一预定的掩码值(诸如“1”)，指示该像素处的测量对应于从由该图指示的测量范围内的距离接收的光信号。低于阈值510的测量值产生第二预定的掩码值(诸如“0”)，指示该像素处的测量指示没有光信号从测量范围530内的距离反射。
例如，通过将掩码值乘以从CW测量计算的对应的距离值，可以将所得的掩码值在逐像素地基础上应用于从CW ToF测量计算出的深度图和/或3D点云，从而掩蔽来自测量范围530之外的距离的任何响应。备选地，这些掩码值可以再次在逐像素地基础上被用于甚至避免执行针对对应于掩码值为“0”的那些像素的距离计算，使得默认值(例如“0”)被插入到针对这些像素中的每一个像素的深度图中。利用这种方法，如图5所示，测量范围530之外的相位测量可以有效地被滤除。
考虑到以上说明，应当理解，图6示出了用于利用图像传感器执行深度测量的示例方法。为简单起见，该程序被示出在针对仅单个像素的过程流程图中。当然，应当理解，可以针对许多像素(例如，针对二维像素阵列中的所有像素)同时执行所示出的过程，以便产生深度图。
如框610处所示，该方法包括执行针对像素的一个或多个连续波相位测量。在一些实施例中，可以利用被用于测量的参考信号与被应用于照射一个或多个感兴趣的对象的光的调制信号之间的变化的相位差来执行这些测量中的每一个测量。更具体地，所示出的执行一个或多个连续波相位测量的步骤可以包括：针对一个或多个连续波相位测量中的每一个连续波相位测量，相对于用于照射感兴趣的对象的发射的光的连续波调制，使用具有不同相位差的参考信号，测量像素处接收的光与参考信号之间的相关性。例如，在一些实施例中，针对第一像素执行四个连续波相位测量，用于四个连续波相位测量的参考信号具有彼此(相对于光调制波形)相差90度的相位差。
如框620处所示，该方法进一步包括针对像素执行编码调制测量。有利地，使用调制波形和对应的参考信号执行该测量，调制波形和对应的参考信号仅针对期望的测量距离范围产生具有高值的互相关波形。然后，在一些实施例中，执行该编码调制测量可以包括：相对于调制用于照射感兴趣的对象的发射的光的波形，使用具有互相关函数的参考信号，测量在像素处接收的光与参考信号之间的相关性，该波形具有在实质上大于针对一个或多个连续波相位测量的歧义距离的距离范围之上的单个峰值。所谓“实质上大于”是指距离的范围是连续波相位测量的歧义距离的2倍或3倍或更大。例如，针对该编码调制测量的参考信号可以是m序列，m序列具有被用于在测量期间调制照射一个或多个感兴趣的对象的光的对应的调制波形。尽管在框610的连续波测量之后在图6中示出了针对像素的编码调制测量，但是在各种实施例中，可以在连续波测量之前、之后或之间执行该编码调制测量。
如框630处所示，该方法进一步包括至少部分地基于编码调制测量来确定针对像素的掩码值。例如，这可以通过响应于编码调制测量值超过阈值，将编码调制测量值与阈值进行比较并且将掩码值设置为第一预定值(诸如“1”)来完成。当编码调制测量值小于阈值时，可以将掩码值设置为第二预定值(诸如“0”)。在该示例中，仅针对像素的单个编码调制测量被用于获取掩码值。在其它实施例中，可以组合针对像素或者针对像素以及一个或多个相邻像素的两个或多个编码调制测量值，以获取掩码值。在其它情况下，可以使用(来源于CW ToF测量的)幅度图像来完善滤波掩码以补偿不同的对象反射率，从而允许在距离之间的更清晰的切割。因此，掩码值本身可以是聚合多个编码调制测量和/或对编码调制测量结果进行滤波或平滑的结果，并且可以基于幅度信息进一步被调整。
如框640处所示，然后将掩码值应用于从一个或多个连续波相位测量计算的距离值，以获取针对像素的掩蔽的距离值。利用编码调制波形的适当的选择(以及对应的参考信号)，即使当仅将单个频率用于针对连续波相位测量的调制波形时，掩蔽的距离值也不会出现歧义。当针对多个像素(例如，针对在图像传感器中的像素的二维阵列中的所有像素)执行图6中所示的方法时，结果是具有明确的深度值的深度图。
类似于上文所述的技术可以被应用于其它图像数据。因此，例如，从针对图像传感器的多个像素中的每一个像素执行的一个或多个编码调制测量生成的掩码可以被用于掩蔽从CW TOF测量获取的幅度图像数据。这样的掩码还可以被用于掩蔽常规的图像数据，以便提供背景细节的掩蔽。例如，这可以被用于实现针对视频电话的隐私掩蔽。
因此，图7示出了根据本文公开的一些技术的用于处理图像数据的另一示例方法。如框710处所示，所示的方法包括针对图像传感器的多个像素中的每一个像素执行编码调制测量。如前所述，可以使用光调制波形和对应的参考信号来执行这些编码调制测量，该对应的参考信号被选择为在像素处仅在从图像传感器到一个或多个成像对象的距离的预定范围内产生高于阈值的相关性。
如框720处所示，通过将每一个编码调制测量值与预定阈值进行比较来生成掩码。最后，如框730处所示，通过将掩码应用于从多个像素或从另一个传感器获取的图像数据来生成掩码图像数据。
在一些实施例中，该图像数据是从利用像素执行的连续波飞行时间测量获取的幅度图像。在其它实施例或实例中，被施加掩码的该图像数据可以是从连续波飞行时间测量数据获取的深度图。在一些实施例中，掩蔽的图像数据的生成可以包括通过计算针对与未掩蔽的像素相对应的像素的距离值并且避免针对与掩蔽的像素相对应的像素执行距离计算来生成深度图。
鉴于以上提供的详细示例，将理解的是，当前公开的技术可以被应用于几种图像处理应用，以获取一个或多个优点。例如，针对需要近距离飞行时间感测的应用，本文公开的技术可以被用于去除不属于预期测量范围的深度测量。例如，可以在前置智能手机摄像头或手势识别系统中采用这些技术。
其它应用包括隐私成像。所采用的技术与用于消除距离歧义的技术类似，但是所得的深度图像/3D点云被用于从彩色摄像头流中去除信息，其中彩色摄像头被安装在ToF传感器旁边。例如，可以在用于智能手机的视频聊天应用中使用这种方法，其中ToF传感器被前置安装在彩色摄像头旁边。然后可以使用根据当前公开的技术生成的掩码来去除背景，以通过不显示用户周围环境的细节来保护用户的隐私。
当然，该技术还可以被用于消除由上文所讨论的相位环绕引起的错误测量。这对于中长距离应用(诸如，3D扫描)特别有用。通过使用编码调制图像作为指导，可以确定感测到的深度值属于哪个周期。编码调制图像的峰值的位置可能适合该场景，以提供最佳的相位展开性能。
当前公开的技术的其它应用也是可能的。
图8对应地示出了根据当前公开的设备和系统的几个实施例的示例图像处理系统800。系统800可以被用于检测对象(例如，如目标场景802中所示)，以及确定到检测到的对象的距离。
所示的系统800包括光源824，光源824被配置为对光束进行幅度调制，并且向场景802发射已幅度调制的光。幅度调制可以基于由参考信号生成器808生成的参考信号。尽管可以使用其它调制频率，但是对于连续波飞行时间测量，参考信号可以是(例如，在MHz范围内的)射频(RF)信号。对于编码调制测量，参考信号可以是编码序列(诸如，m序列)。发射的光可以包括具有变化的波长范围的光(诸如，日光和红外光)。发射的光从场景中的一个或多个对象反射并返回到传感器804。
图8中示出的图像处理系统800进一步包括传感器804，该传感器804包含多个像素，被配置为响应于接收的光814生成相应的多个像素信号值，其中每一个像素被配置为通过使用参考信号822解调接收的光来获取其相应的像素信号值。如图8所示，接收的光802可以是从目标场景802被反射的。如上所述，尽管几种合适的像素配置是可能的，但是一种合适的像素设计是如上所述的PMD。
像素、行和列的数目可以从一个实施例到另一实施例变化，并且基于包括期望的分辨率、强度等的因素被选择。在一个示例中，基于要检测的对象和到对象的预期距离来选择这些传感器特性。因此，例如，传感器804中的像素的像素分辨率可以从一个实施例到另一实施例变化。小型对象需要更高的分辨率用于检测。例如，手指检测需要在大约0.5米的距离或范围内每像素<5mm的分辨率。中型对象(诸如手部检测)需要在大约1.5米的距离或范围内每像素<20mm的分辨率。较大尺寸的对象(诸如，人体)需要在大约2.5米处每像素<60mm的分辨率。应当理解，提供以上示例仅出于说明性目的，并且可能发生包括用于检测的其它对象、分辨率和距离的变化。合适的分辨率的一些示例包括VGA-640x640像素、CIF-352x288像素、QQ-VGA-160x120像素等。
图像处理系统800进一步包括参考信号生成器808，参考信号生成器808可以被配置为相对于施加到朝向目标场景802传输的光的调制信号的相位，生成具有可选择相位的连续波参考信号822，并且被配置为将参考信号822提供给传感器804中的多个像素。例如，参考信号生成器808可以进一步被配置为生成编码调制参考信号，编码调制参考信号可以采用m序列的形式，并且将参考信号822提供给传感器804中的多个像素用于编码调制测量。图像处理系统800更进一步包括模数转换器(ADC)电路806，模数转换器电路806可以包括可操作地耦合到传感器804中的多个像素的一个或几个ADC。
所示的图像处理系统800进一步包括控制电路装置812，控制电路812可以包含(例如)处理器、控制器等和/或其它数字逻辑。如图中所示，控制电路装置812可以控制参考信号生成器808、传感器804和光源824的操作。控制电路装置812进一步被配置为控制输出(诸如深度图810、3D点云等)的生成和使用。在几个实施例中，控制电路装置812被配置为使图像处理系统800执行如上文所述的结合图6和图7的那些方法的一种或多种方法。
因此，例如在一些实施例中，控制电路装置812可以被配置为控制参考信号生成器808和传感器804中的多个像素以执行针对每一个像素的一个或多个连续波相位测量，并且被配置为控制参考信号生成器808和传感器804中的多个像素以执行针对每一个像素的编码调制测量。在这些实施例中的控制电路装置812可以进一步被配置为基于相应的编码调制测量确定针对每一个像素的掩码值，并且被配置为将针对每一个像素的掩码值应用于从针对像素的一个或多个连续波相位测量计算的相应距离值，以获取针对每一个像素的掩蔽的距离值。例如，这些掩蔽的距离值可以被存储在深度图810中。
在一些实施例中，控制电路装置812可以被配置为通过将针对像素的编码调制测量值与阈值进行比较，并且针对编码调制测量超过阈值的每一个像素，将掩码值设置为第一预定值(诸如“1”)，以及针对编码调制测量小于阈值的每一个像素，将掩码值设置为第二预定值(诸如“0”)来生成针对每一个像素的掩码值。
在一些实施例中，控制电路装置812被配置为针对一个或多个连续波相位测量中的每一个连续波相位测量，相对于用于照射感兴趣的对象的发射光的连续波调制，使用具有不同相位差的连续波参考信号，控制像素来测量在每一个像素处接收的光与参考信号之间的相关性。例如，在这些实施例中的一些实施例中，控制电路装置812被配置为控制像素以针对每一个像素执行四个连续波相位测量，用于四个连续波相位测量的参考信号具有彼此相差90度的相位差。
同样地，在一些实施例中，控制电路装置812被配置为相对于调制用于照射感兴趣的对象的发射的光的波形，使用具有互相关函数的参考信号，通过测量在像素处接收的光与参考信号之间的相关性来控制像素，以执行针对每一个像素的编码调制测量，该波形具有在实质上大于针对一个或多个连续波相位测量的歧义距离的距离范围之上的单个峰值。在一些实施例中，用于至少一个编码调制测量的该参考信号是m序列。然而，应当理解，可以使用其它编码。
在一些实施例中，控制电路装置812可以被配置为控制参考信号生成器808和传感器804中的像素来执行针对多个像素中的每一个像素的编码调制测量。在一些实施例中，使用光调制波形和对应的参考信号执行编码调制测量，该参考信号被选择为在像素处仅在从图像传感器到一个或多个成像对象的预定距离范围内产生高于阈值的相关性。
控制电路装置812还可以被配置为通过将每一个编码调制测量值与预定的阈值进行比较来生成掩码。这些实施例中的控制电路装置812还可以被配置为通过将掩码应用于从多个像素获取的图像数据来生成掩蔽的图像数据。
在这些实施例中的一些实施例中，从多个像素获取的图像数据是从利用像素执行的连续波飞行时间测量获取的深度图。在其它实施例中或在其它实例中，从多个像素获取的图像数据是从利用像素执行的连续波飞行时间测量获取的幅度图像。在另外其它实施例和/或其它实例中，从多个像素获取的图像数据可以是三维(3D)点云数据。
在一些实施例中，控制电路装置812可以被配置为通过生成深度图来生成掩蔽的图像数据，其中在这些实施例中生成的深度图包括计算针对与未掩蔽的像素相对应的像素距离值并且避免针对与掩蔽的像素相对应的像素执行距离计算。
鉴于以上的详细讨论，应当理解，可以使用标准编程和/或工程技术将要求保护的主题实现为方法、装置或制品，以产生软件、固件、硬件或它们的任何组合来控制计算机以实现所公开的主题。本文所使用的术语“制品”旨在涵盖可从任何计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到可以在不背离所要求保护的主题的范围或精神的情况下对该配置进行许多修改。
具体地，关于由上述部件或结构(组件、设备、电路、系统等)执行的各种功能，除非另有说明，否则即使在结构上不等效于执行在本文示出的本发明的示例性实施中功能的所公开结构，被用于描述这种部件的术语(包括对“装置”的引用)，旨在对应于执行描述的部件的指定的功能(例如，功能等效)的任何部件或结构。另外，尽管可能已经仅针对几种实施方式中的一种实施方式公开了本发明的特定特征，但是如任何给定的或特定的应用所期望的和有利的，这种特征可以与其它实现的一个或多个其它特征组合。此外，就在具体实施方式和权利要求中使用术语“包括”、“具有”或其变型的程度而言，这些术语旨在以类似于术语“包括”的方式是包括性的。

Claims (24)

1.一种用于利用图像传感器执行深度测量的方法，所述方法包括，至少针对第一像素：
针对所述第一像素执行一个或多个连续波相位测量；
针对所述第一像素执行编码调制测量；
基于所述编码调制测量，确定针对所述第一像素的掩码值；以及
将所述掩码值应用于从所述一个或多个连续波相位测量计算的距离值，以获取针对所述第一像素的掩蔽的距离值。
2.根据权利要求1所述的方法，其中确定所述掩码值包括将所述编码调制测量值与阈值进行比较，并且响应于所述编码调制测量值超过所述阈值将所述掩码值设置为预定值。
3.根据权利要求1所述的方法，其中针对所述第一像素执行所述一个或多个连续波相位测量包括：
相对于针对所述一个或多个连续波相位测量中的每一个连续波相位测量的用于照射感兴趣的对象的发射的光的连续波调制，使用具有不同相位差的参考信号，针对所述一个或多个连续波相位测量中的每一个连续波相位测量，测量在所述像素处接收的光与参考信号之间的相关性。
4.根据权利要求3所述的方法，其中所述方法包括针对所述第一像素执行四个连续波相位测量，用于所述四个连续波相位测量的所述参考信号具有彼此相差90度的相位差。
5.根据权利要求1所述的方法，其中针对所述像素执行所述编码调制测量包括：
相对于调制用于照射感兴趣的对象的发射的光的波形，使用具有互相关函数的参考信号，测量在所述像素处接收的光与参考信号之间的相关性，所述波形具有实质上大于针对所述一个或多个连续波相位测量的歧义距离的距离范围之上的单个峰值。
6.根据权利要求5所述的方法，其中针对所述至少一个编码调制测量的所述参考信号是m序列。
7.一种用于处理图像数据的方法，所述方法包括：
针对图像传感器的多个像素中的每一个像素执行编码调制测量；
通过将每一个编码调制测量值与预定的阈值进行比较来生成掩码；以及
通过将所述掩码应用于图像数据来生成掩蔽的图像数据。
8.根据权利要求7所述的方法，其中所述图像数据是从利用所述像素执行的连续波飞行时间测量获取的深度图。
9.根据权利要求7所述的方法，其中所述图像数据是从利用所述像素执行的连续波飞行时间测量获取的幅度图像。
10.根据权利要求7所述的方法，其中所述图像数据是三维3D点云数据。
11.根据权利要求7所述的方法，其中生成所述掩蔽的图像数据包括通过计算针对与未掩蔽的像素相对应的像素的距离值并且避免针对与掩蔽的像素相对应的像素执行距离计算来生成深度图。
12.根据权利要求7所述的方法，其中使用光调制波形和对应的参考信号来执行所述编码调制测量，所述对应的参考信号被选择为在所述像素处仅在从所述图像传感器到一个或多个成像对象的预定的距离范围内产生高于所述阈值的相关性。
13.一种图像处理系统包括：
传感器，其包括多个像素，被配置为响应于接收的光生成相应的多个像素信号值，其中每一个像素被配置为通过使用参考信号解调接收的光来获取其相应像素信号值；
参考信号生成器，其被配置为生成参考信号并且被配置为将所述参考信号提供给所述多个像素；以及
控制电路装置，其被配置为：
控制所述参考信号生成器和所述多个像素以针对每一个像素执行一个或多个连续波相位测量；
控制所述参考信号生成器和所述多个像素以针对每一个像素执行编码调制测量；
基于相应的所述编码调制测量确定针对每一个像素的掩码值；以及
将针对每一个像素的所述掩码值应用于从针对所述像素的所述一个或多个连续波相位测量计算的相应距离值，以获取针对每一个像素的掩蔽的距离值。
14.根据权利要求13所述的图像处理系统，其中所述控制电路装置被配置为通过将针对所述像素的所述编码调制测量值与阈值进行比较，并且针对所述编码调制测量值超过所述阈值的每一个像素将所述掩码值设置为第一预定值，以及针对所述编码调制测量值小于所述阈值的每一个像素将所述掩码值设置为第二预定值来生成针对每一个像素的所述掩码值。
15.根据权利要求13所述的图像处理系统，其中所述控制电路装置被配置为相对于针对所述一个或多个连续波相位测量中的每一个连续波相位测量的用于照射感兴趣的对象的发射的光的连续波调制，使用具有不同相位差的连续波参考信号，针对所述一个或多个连续波相位测量中的每一个连续波相位测量，控制所述像素测量在每一个像素处接收的光与所述参考信号之间的相关性。
16.根据权利要求15所述的图像处理系统，所述控制电路装置被配置为控制所述像素以执行针对每一个像素的四个连续波相位测量，用于所述四个连续波相位测量的所述参考信号具有彼此相差90度的相位差。
17.根据权利要求15所述的图像处理系统，其中所述控制电路装置被配置为通过以下步骤来控制所述像素以针对每一个像素执行所述编码调制测量：
相对于调制用于照射感兴趣的对象的发射的光的波形，使用具有互相关函数的参考信号，测量在所述像素处接收的光与参考信号之间的相关性，所述波形具有实质上大于针对所述一个或多个连续波相位测量的歧义距离的距离范围之上的单个峰值。
18.根据权利要求17所述的图像处理系统，其中用于所述至少一个编码调制测量的所述参考信号是m序列。
19.一种图像处理系统包括：
传感器，其包括多个像素，被配置为响应于接收的光生成相应的多个像素信号值，其中每一个像素被配置为通过使用参考信号解调接收的光来获取它们相应的像素信号值；
参考信号生成器，其被配置为生成参考信号并且将所述参考信号提供给所述多个像素，以及
控制电路装置，其被配置为：
控制所述参考信号生成器和所述像素以针对所述多个像素中的每一个像素执行编码调制测量；
通过将每一个编码调制测量值与预定的阈值进行比较来生成掩码；以及
通过将所述掩码应用于图像数据来生成掩蔽的图像数据。
20.根据权利要求19所述的图像处理系统，其中所述图像数据是从利用所述像素执行的连续波飞行时间测量获取的深度图。
21.根据权利要求19所述的图像处理系统，其中所述图像数据是从利用所述像素执行的连续波飞行时间测量获取的幅度图像。
22.根据权利要求19所述的图像处理系统，其中所述图像数据是三维3D点云数据。
23.根据权利要求19所述的图像处理系统，其中所述控制电路装置被配置为通过生成深度图来生成所述掩蔽的图像数据，其中生成所述深度图包括计算针对与未掩蔽的像素相对应的像素的距离值并且避免针对与掩蔽的像素相对应的像素执行距离计算。
24.根据权利要求19所述的图像处理系统，其中使用光调制波形和对应的参考信号来执行所述编码调制测量，所述对应的参考信号被选择为在所述像素处仅在从所述图像传感器到一个或多个成像对象的预定的距离范围内产生高于所述阈值的相关性。
CN201911173570.XA 2018-11-27 2019-11-26 基于编码调制图像的滤波连续波飞行时间测量 Active CN111308482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/201,598 US11393115B2 (en) 2018-11-27 2018-11-27 Filtering continuous-wave time-of-flight measurements, based on coded modulation images
US16/201,598 2018-11-27

Publications (2)

Publication Number Publication Date
CN111308482A true CN111308482A (zh) 2020-06-19
CN111308482B CN111308482B (zh) 2024-05-10

Family

ID=68699311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173570.XA Active CN111308482B (zh) 2018-11-27 2019-11-26 基于编码调制图像的滤波连续波飞行时间测量

Country Status (3)

Country Link
US (1) US11393115B2 (zh)
EP (1) EP3660540A1 (zh)
CN (1) CN111308482B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037295A (zh) * 2020-09-04 2020-12-04 上海数迹智能科技有限公司 一种事件型ToF相机编解码方法、装置、介质及设备
WO2022188885A1 (zh) * 2021-03-10 2022-09-15 奥比中光科技集团股份有限公司 飞行时间测量方法、装置及时间飞行深度相机

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443361B (zh) * 2020-06-18 2022-03-29 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
EP3964857A1 (en) * 2020-09-07 2022-03-09 Infineon Technologies AG Method and apparatus for determining a reflectivity value indicating a reflectivity of an object
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4488172A (en) * 1982-08-18 1984-12-11 Novon, Inc. Method and apparatus for range imaging
US5889490A (en) * 1996-08-05 1999-03-30 Wachter; Eric A. Method and apparatus for improved ranging
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
CN102798866A (zh) * 2012-08-14 2012-11-28 哈尔滨工业大学 激光雷达系统及采用该系统的正弦调幅-脉冲相位编码调制的复合测距和测速方法
WO2013104717A1 (en) * 2012-01-10 2013-07-18 Softkinetic Sensors Nv Improvements in or relating to the processing of time-of-flight signals
US20150120241A1 (en) * 2013-10-24 2015-04-30 Massachusetts Institute Of Technology Methods and Apparatus for Coded Time-of-Flight Camera
CN105026955A (zh) * 2012-12-28 2015-11-04 诺基亚技术有限公司 用于对来自距离感应相机的数据进行降噪的方法和装置
US20160005179A1 (en) * 2012-12-17 2016-01-07 Lsi Corporation Methods and apparatus for merging depth images generated using distinct depth imaging techniques
US20160086318A1 (en) * 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
US20160327638A1 (en) * 2015-05-04 2016-11-10 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
JP2016224062A (ja) * 2016-08-05 2016-12-28 ソフトキネティック センサー エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
US20170026633A1 (en) * 2015-05-28 2017-01-26 University College Cork - National University Of Ireland, Cork Coded access optical sensor
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
CN107148640A (zh) * 2014-10-22 2017-09-08 微软技术许可有限责任公司 飞行时间深度相机
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974159A (en) * 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
GB2324859B (en) * 1997-04-30 2001-02-07 British Aerospace Method and apparatus for inspecting or testing a sample by optical metrology
AU2001277964A1 (en) * 2000-07-21 2002-02-05 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
JP2004157522A (ja) * 2002-10-17 2004-06-03 Sony Corp 画像生成装置、画像表示装置、画像表示方法、及び光変調素子調整装置
US8199388B2 (en) * 2002-11-22 2012-06-12 Inphase Technologies, Inc. Holographic recording system having a relay system
US7397596B2 (en) * 2004-07-28 2008-07-08 Ler Technologies, Inc. Surface and subsurface detection sensor
US7487043B2 (en) * 2004-08-30 2009-02-03 Adams Phillip M Relative positioning system
US7609814B2 (en) * 2008-01-15 2009-10-27 Siemens Medical Solutions Usa, Inc. Adaptive medical image and mask data processing system
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
EP2437026A1 (en) * 2008-10-06 2012-04-04 Mantisvision Ltd. Method and system for providing threedimensional and range inter-planar estimation
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
AU2012268882B2 (en) * 2012-12-24 2015-07-09 Canon Kabushiki Kaisha Estimating phase for phase-stepping algorithms
US9467681B2 (en) * 2013-03-25 2016-10-11 Microsoft Technology Licensing, Llc Representation and compression of depth data
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9952033B2 (en) * 2014-02-14 2018-04-24 Palo Alto Research Center Incorporated Spatial modulation of light to determine object length
US9449234B2 (en) * 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9855894B1 (en) * 2016-09-16 2018-01-02 Volkswagen Aktiengesellschaft Apparatus, system and methods for providing real-time sensor feedback and graphically translating sensor confidence data
EP4053594A3 (en) * 2017-07-06 2022-11-30 Esaote S.p.A. Ultrasound method and system for extracting signal components relating to spatial locations in a target region in the spatial and temporal frequency domain

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4488172A (en) * 1982-08-18 1984-12-11 Novon, Inc. Method and apparatus for range imaging
US5889490A (en) * 1996-08-05 1999-03-30 Wachter; Eric A. Method and apparatus for improved ranging
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
WO2013104717A1 (en) * 2012-01-10 2013-07-18 Softkinetic Sensors Nv Improvements in or relating to the processing of time-of-flight signals
CN103998949A (zh) * 2012-01-10 2014-08-20 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进
CN102798866A (zh) * 2012-08-14 2012-11-28 哈尔滨工业大学 激光雷达系统及采用该系统的正弦调幅-脉冲相位编码调制的复合测距和测速方法
US20160005179A1 (en) * 2012-12-17 2016-01-07 Lsi Corporation Methods and apparatus for merging depth images generated using distinct depth imaging techniques
US20150334318A1 (en) * 2012-12-28 2015-11-19 Nokia Corporation A method and apparatus for de-noising data from a distance sensing camera
CN105026955A (zh) * 2012-12-28 2015-11-04 诺基亚技术有限公司 用于对来自距离感应相机的数据进行降噪的方法和装置
US20160086318A1 (en) * 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US20150120241A1 (en) * 2013-10-24 2015-04-30 Massachusetts Institute Of Technology Methods and Apparatus for Coded Time-of-Flight Camera
CN107148640A (zh) * 2014-10-22 2017-09-08 微软技术许可有限责任公司 飞行时间深度相机
CN105894492A (zh) * 2015-01-06 2016-08-24 三星电子株式会社 渲染对象的深度图像的t-o-f深度成像装置及其方法
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
US20160327638A1 (en) * 2015-05-04 2016-11-10 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
US20170026633A1 (en) * 2015-05-28 2017-01-26 University College Cork - National University Of Ireland, Cork Coded access optical sensor
US20170234985A1 (en) * 2016-02-11 2017-08-17 Massachusetts Institute Of Technology Methods and Apparatus for Time-of-Flight Imaging
JP2016224062A (ja) * 2016-08-05 2016-12-28 ソフトキネティック センサー エヌブイ タイムオブフライト信号の処理における又はこれに関する改良

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037295A (zh) * 2020-09-04 2020-12-04 上海数迹智能科技有限公司 一种事件型ToF相机编解码方法、装置、介质及设备
CN112037295B (zh) * 2020-09-04 2024-03-08 上海数迹智能科技有限公司 一种事件型ToF相机编解码方法、装置、介质及设备
WO2022188885A1 (zh) * 2021-03-10 2022-09-15 奥比中光科技集团股份有限公司 飞行时间测量方法、装置及时间飞行深度相机

Also Published As

Publication number Publication date
US20200167942A1 (en) 2020-05-28
US11393115B2 (en) 2022-07-19
EP3660540A1 (en) 2020-06-03
CN111308482B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN111308482B (zh) 基于编码调制图像的滤波连续波飞行时间测量
EP3712650A1 (en) Resolving distance measurement ambiguities using coded-modulation phase image frames
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
EP2729826B1 (en) Improvements in or relating to the processing of time-of-flight signals
US11536804B2 (en) Glare mitigation in LIDAR applications
CN111123289B (zh) 一种深度测量装置及测量方法
CN111045029B (zh) 一种融合的深度测量装置及测量方法
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
US20210263137A1 (en) Phase noise and methods of correction in multi-frequency mode lidar
US11681025B2 (en) Simultaneous data transmission and depth image recording with time-of-flight cameras
US20240103168A1 (en) Three-dimensional image capturing according to time-of-flight measurement and light spot pattern measurement
JP7149941B2 (ja) 装置および方法
CN111200710A (zh) 用于单次读出深度测量的具有交织保持的图像传感器
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
Ono et al. Real-time 3D imager based on spatio-temporal phase unwrapping
CN118259254A (zh) 数据处理装置、深度检测装置与数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant