CN110402397A - 飞行时间深度测量的实时校准 - Google Patents

飞行时间深度测量的实时校准 Download PDF

Info

Publication number
CN110402397A
CN110402397A CN201780073708.1A CN201780073708A CN110402397A CN 110402397 A CN110402397 A CN 110402397A CN 201780073708 A CN201780073708 A CN 201780073708A CN 110402397 A CN110402397 A CN 110402397A
Authority
CN
China
Prior art keywords
light
feedback
optical
pixel array
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780073708.1A
Other languages
English (en)
Other versions
CN110402397B (zh
Inventor
D·科恩
A·佩尔曼
S·马泽尔
E·塔德莫尔
G·雅哈夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN110402397A publication Critical patent/CN110402397A/zh
Application granted granted Critical
Publication of CN110402397B publication Critical patent/CN110402397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于确定到目标物体的距离的方法包括：发射光脉冲来照射目标物体，以及在光敏像素阵列的第一区域中感测从接收一部分发射的光脉冲的光学反馈设备提供的光。反馈光学设备包括预设参考深度。该方法包括基于在像素阵列的第一区域中感测的光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自所发射的光脉冲的从目标物体反射的光。基于感测的反射光和经校准的TOF测量参考信息来确定目标物体的距离。

Description

飞行时间深度测量的实时校准
相关申请的交叉引用
本申请要求2016年9月30日提交的美国临时专利申请No.62/402,770的优先权，其内容为了所有目的通过引用整体并入本文。
技术领域
本发明的实施例通常涉及飞行时间(TOF)深度测量系统。
背景技术
飞行时间(TOF)相机是一种范围成像相机系统，其基于光速来分辨距离，针对图像的每个点在相机与对象之间的光信号的飞行时间进行测量。利用飞行时间相机，使用每个激光或光脉冲捕获整个场景。随着半导体设备快速支持这些应用，飞行时间相机产品变得流行。直接飞行时间成像系统测量单个激光脉冲离开相机并反射回到焦平面阵列上所需的直接飞行时间。3D图像能够捕获完整的空间和时间数据，使用单个激光脉冲记录完整的3D场景。这允许快速获取和实时处理场景信息，从而导致广泛的应用。这些应用包括汽车应用、人机界面和游戏、测量和机器视觉、工业和监视测量以及机器人等。
最简单的飞行时间相机使用光脉冲或单个光脉冲。照明短时间开启，产生的光脉冲照射场景并被视场中的物体反射。相机镜头收集反射光并将其成像到传感器或焦平面阵列上。出射光和返回光之间的时间延迟是飞行时间，其可以与光速一起用于确定距离。通过使用一系列时间窗口利用光脉冲照射物体或场景并对在传感器处接收的光学信号应用卷积处理，能够进行更复杂的TOF深度测量。
发明内容
常规的飞行时间深度测量系统可能易受处理、操作电压和热条件的变化的影响。例如，如果修改每个部件的热条件(T)或操作电压(V)，则可能潜在地修改系统。此外，TOF测量也会受到相机的帧速率的影响。这些变化可能取决于每个部件的处理(P)。尽管可以研究PVT效应的性质并准备模型来补偿误差，但这个过程非常耗时，并且可能不一定能完全覆盖物理包封。此外，全范围深度测量的校准是不期望的，因为它可能花费许多帧并且增加操作开销。
为了减轻部件处理或操作条件的变化的影响，本发明的实施例提供了一种用于使用光学反馈设备和传感器像素阵列中的小的专用反馈感测区域来进行TOF深度测量的运行时校准的系统和方法。少量反馈像素允许快速感测和信号处理，并且利用例如由光纤提供的强反馈照明，可以大大减少采样脉冲的数量。可以在短时间内执行许多照明和读出步骤以校准宽范围的深度。因此，可以在每帧的运行时在宽范围的深度测量上执行深度校准，而不会影响相机的帧速率。提供像素阵列的反馈区域和有源区域之间的隔离以最小化干扰。此外，功耗或专用反馈像素的开销是有限的。
在本发明的一些实施例中，飞行时间成像系统包括照明器，该照明器发射光脉冲来照射目标物体以确定到目标物体的距离或深度。成像系统具有带有光敏像素阵列的图像传感器，以接收来自光脉冲的光信号。像素阵列包括有源区域和反馈区域。光学反馈设备将来自照明器的一部分光引导到像素阵列的反馈区域。光学反馈设备提供用于校准的预设参考深度。成像系统被配置为发射光脉冲来照射目标物体，并且利用一系列快门窗口在像素阵列的反馈区域中感测来自光学反馈设备的光，该一系列快门窗口包括表示深度范围的延迟时间。成像系统被配置为基于像素阵列的反馈区域中的感测光来校准飞行时间(TOF)深度测量参考信息。对于TOF深度测量，成像系统被配置为在光敏像素阵列的有源区域中感测从目标物体反射的光，并基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
在上述系统的实施例中，TOF测量参考信息包括查找表，该查找表使用具有不同时间延迟的两个快门将对象的距离与两个采样光信号之间的比率相关联。
在本发明的一些实施例中，在以预设帧速率为特征的数码相机中，提供了一种用于在单个帧周期中利用距离校准来确定到目标物体的距离的方法。该方法包括发射光脉冲来照射目标物体，并且在光敏像素阵列的第一区域中感测从光学反馈设备提供的光，该光学反馈设备接收发射的光脉冲的一部分。反馈光学设备包括预设参考深度。使用一系列快门窗口对来自光学反馈设备的光进行采样，该一系列快门窗口包括表示距离范围的延迟时间。该方法包括基于像素阵列的第一区域中的感测光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自发射的光脉冲的从目标物体反射的光。基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
在本发明的一些实施例中，一种用于确定到目标物体的距离的方法包括：发射光脉冲来照射目标物体，以及在光敏像素阵列的第一区域中感测从光学反馈设备提供的光，该光学反馈设备接收发射光脉冲的一部分。反馈光学设备包括预设参考深度。该方法包括基于像素阵列的第一区域中的感测光来校准飞行时间(TOF)深度测量参考信息。该方法还包括在光敏像素阵列的第二区域中感测来自发射的光脉冲的从目标物体反射的光。基于感测到的反射光和经校准的TOF测量参考信息来确定目标物体的距离。
以下描述连同附图将提供对要求保护的发明的本质和优点的进一步理解。
附图说明
图1是示出根据本发明的实施例的用于深度测量的飞行时间(TOF)成像系统的示意图；
图2A和图2B是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统中的图像传感器像素阵列的示例的示意图；
图3是示出根据本发明的实施例的飞行时间(TOF)成像系统中的光学反馈路径的示意图；
图4A和图4B是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统的示意图；
图5是示出根据本发明的实施例的用于飞行时间(TOF)深度测量的方法的时序图；
图6是示出根据本发明的实施例的感测信号与光到快门延迟时间的关系的示意图；
图7A是示出根据本发明的实施例的具有两个快门的两个信号的感测信号与光到快门延迟时间的关系的示意图；
图7B是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与光到快门延迟时间的关系的示意图；
图7C是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与深度的关系的示意图；
图8是示出根据本发明的实施例的用于在飞行时间(TOF)成像系统中的校准和深度测量的方法的时序图；
图9是示出根据本发明的实施例的用于在飞行时间(TOF)成像系统中的校准和深度测量的方法的另一时序图；
图10是示出根据本发明的实施例的用于在飞行时间(TOF)成像系统中的校准和深度测量的方法的流程图；
图11是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统的一部分的透视图；
图12是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统的一部分的截面平面图；
图13是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统1100的一部分的透视图；
图14是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统的一部分的截面平面图；
图15是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统的一部分的截面侧视图；
图16是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统的一部分的另一透视图；
图17是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统的印刷电路板(PCB)的透视图；
图18是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统1100中能够使用的棱镜1138的透视图；以及
图19是示出根据本发明的实施例的用于形成具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统的方法的流程图。
具体实施方式
本发明的实施例提供了一种系统和方法，其能够通过校准实现TOF深度测量，以使用光学反馈和快速图像处理来提供高精度。可以针对每帧来校准深度测量的范围，而对传感器性能和功耗的影响最小。
下面的描述参考上面列举的一系列附图给出。这些图仅仅是示例，不应该不适当地限制本文权利要求的范围。结合所示出和描述的各个方面，本领域普通技术人员将认识到其他变型、修改和替换。
图1是示出根据本发明的实施例的用于深度测量的飞行时间(TOF)成像系统的示意图。如图1所示，飞行时间(TOF)成像系统100，也称为TOF数字相机，包括照明器110，该照明器110发射光脉冲112来照射目标物体120以确定到目标物体的距离。照明器110可以包括用于朝向目标物体发射光脉冲112的脉冲照明单元和光学器件。在该示例中，照明器110被配置为使用例如激光光源向目标物体发射光。然而，应当理解，也可以使用其他电磁辐射源，例如，红外光、射频EM波等。成像系统100还包括具有门控传感器单元的图像传感器130，该门控传感器单元包括光敏像素阵列，用于接收来自传感器透镜的视场(FOV)132中的光脉冲的光信号。像素阵列包括有源区域和反馈区域，如下面结合图2A和图2B所述。成像系统100还具有光学反馈设备140，光学反馈设备140用于将来自照明器110的一部分光引导到像素阵列的反馈区域。光学反馈设备140提供预设参考深度。预设参考深度可以是固定的TOF长度，其可以用于产生将感测光与深度测量相关联的查找表(LUT)。在一些实施例中，光学反馈设备可以将来自照明单元的直射光折叠到传感器单元中的透镜的视场(FOV)中。成像系统100还包括TOF定时发生器150，其用于向照明器和图像传感器提供光同步和快门同步信号。
在图1中，TOF成像系统100被配置为发射光脉冲以照射目标物体120。成像系统100还被配置为使用包括表示深度范围的延迟时间的一系列快门窗口，在像素阵列的反馈区域中感测来自光学反馈设备140的光。深度范围可以包括能够由成像系统确定的整个距离范围。成像系统100基于像素阵列的反馈区域中的感测光来校准飞行时间(TOF)深度测量参考信息。成像系统100还被配置为在光敏像素阵列的有源区域中感测从目标物体反射的光，并基于感测的反射光和校准的TOF测量参考信息确定目标物体的距离。
图2A是示出根据本发明实施例的能够在成像系统100中使用的像素阵列的简化示意图。如图所示，像素阵列200包括多个像素212，并且像素阵列中的每个像素包括光敏元件(例如，光敏二极管)，该光敏元件将入射光转换为电流。快速电子开关用作快门以控制光感测操作的定时。飞行时间(TOF)相机通过确定光从源到物体以及到相机的传感器的行进期间的时间来获取深度图像。这可以通过使用一系列时间窗口利用光脉冲照射物体或场景并对在传感器处接收的光学信号应用卷积过程来完成。下面描述进一步的细节。如图2A所示，像素阵列200包括有源区域210和反馈区域220。有源区域可以用于确定目标物体的距离，并且反馈区域可以用于深度校准。像素阵列还能够包括将反馈区域220与有源区域210分开以减少干扰的隔离区域221。可以选择隔离区域的尺寸以防止来自反馈环路的光污染由物镜收集的成像信号。在一些实施例中，例如，隔离区域能够具有约100μm-200μm的宽度。在一些实施例中，反馈区域220可以位于视场外部的像素阵列的一部分中，例如，在角落中、或在像素阵列的较少使用的区域中。因此，传感器的专用反馈区域不会产生太多开销。小反馈区域可以具有有限数量的像素，例如，从单个像素到10×10的像素阵列，这允许快速感测和信号处理。在一些实施例中，可以使用更大的反馈区域来提供更好的信噪比(SNR)。对小阵列中的像素求平均可以提高精度。在一些实施例中，在校准阶段期间分别暴露反馈区域和有源区域。两者之间的差异能够用于运行时的补偿。
图2B是示出根据本发明另一实施例的能够在成像系统100中使用的像素阵列的简化示意图。如图2B所示，像素阵列250类似于图2A的像素阵列200，但是，可以有多于一个反馈区域。像素阵列250包括有源区域210和两个或更多个反馈区域220。像素阵列还可以包括将每个反馈区域与有源区域分开的隔离区域221。隔离区域可以减少反馈区域和有源区域之间的干扰。像素阵列250可以用在具有两个照明源的TOF成像系统中。在一些实施例中，成像系统能够包括两个以上的照明源和对应的反馈传感器区域。
图3是示出图1的飞行时间(TOF)成像系统100的一部分的简化示意图。图3示出了光学反馈设备，该光学反馈设备被配置为防止光从光学反馈设备140泄漏到阵列中的正常像素。插入FOV边缘的光只能击中像素阵列中的特定像素，而具有不同角度的光不能进入传感器的光学器件。
在一些实施例中，光学反馈设备能够被配置为将来自照明单元的直接光折叠到传感器单元中的透镜的视场(FOV)中。图4A和图4B是示出根据本发明实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统400的简化示意图。图4A是成像系统的俯视图，图4B是成像系统的截面侧视图。成像系统400包括设置在印刷电路板(PCB)401上的照明单元410和传感器单元430。如图4A和图4B所示，照明单元410包括照明壳体418内的二极管激光源412、准直透镜414和漫射器416。传感器单元430包括图像传感器432、透镜434、以及利用粘合剂438安装在图像传感器上的镜筒436。成像系统400还具有光纤420以提供反馈路径。在该实施例中，光纤420从照明壳体的内部(例如，从寄生反射的内部)收集一定量的光并将其引导到图像传感器432的像素阵列440的角落442，但是在镜筒436外部。在一些实施例中，不透明粘合剂438阻挡光进入镜筒。在该示例中，像素阵列的角落区域442用作图像传感器的反馈区域。
图5是示出根据本发明的实施例的用于飞行时间(TOF)深度测量的方法的时序图。在图5中，横轴是时间，纵轴是光信号的强度或大小。波形1表示到达传感器的光脉冲，其可以从目标反射或由反馈光学设备提供。波形2表示快门窗口。可以看出，光脉冲具有宽度W光，快门窗口具有宽度W快门。此外，在光和快门的前沿之间存在时间延迟，DL->SH。可以看出，传感器感测到的光量随着快门相对于光的相对延迟而变化。
图6是示出根据本发明的一些实施例的感测光信号的大小与光到快门延迟时间的关系的示意图。在图6中，横轴是光到快门延迟，DL->SH，纵轴是传感器感测到的光量。该图被分成若干区域601至605，在区域601中，快门窗口远在光脉冲前面(到左侧)，并且在光到达之前快门已经关闭。换句话说，光到快门延迟是负的。因此，快门和光之间没有重叠。延迟增加移动到横轴的右侧。在点611处，快门开始与光重叠。随着延迟通过区域602进一步增加，快门和光之间的重叠继续增加，并且感测到更多的光，导致区域602中的上升曲线。在点612处，光的整个宽度开始与快门窗口重叠。在区域603中，快门在光脉冲的整个持续时间内完全打开，并且区域603的宽度由快门开口的宽度W快门减去光脉冲的宽度W光来确定。在该区域接收的光的大小标记为“快门开启信号”。在点613处，快门窗口的上升沿与光脉冲的上升沿对齐，并且延迟DL->SH为零，如点617所标记。在区域604中，延迟DL->SH继续增加，并且快门窗口和光之间的重叠减小。结果，感测光的大小在该区域中减小，如下降曲线所示。在点615处，延迟等于光宽度，并且当光脉冲结束时快门打开；结果，没有感测到光。在区域605中，在光脉冲已经过去之后快门打开。在区域605中没有感测到光，并且该区域中的感测光量被标记为“快门关闭信号”。注意的是，在区域602和604中，传感器收集的光量根据光到快门延迟DL>SH而变化。这些区域用于TOF深度测量校准，如下所述。
图7A是示出根据本发明的实施例的具有两个快门的两个信号的感测光信号与光到快门延迟时间的关系的示意图。飞行时间(TOF)相机通过确定光从源到物体并反射回相机所需的时间来获取深度图像。这可以通过利用光脉冲照射物体或场景并且通过传感器将具有变化的延迟时间的一系列窗口的卷积应用于由传感器接收的光学信号来完成。在一些实施例中，使用包括表示深度范围的延迟时间的一系列快门窗口来发射多组校准光脉冲。每组光脉冲之后是读出操作。在每次读出中，来自光学反馈设备的光在传感器的像素阵列的反馈区域中被感测。然后使用卷积过程分析读出数据以确定TOF深度数据。如上所述，在图6的区域602和604中，在传感器处收集的光量根据光到快门延迟DL->SH而变化。能够收集到与图6相似的感测光数据。这些区域用于TOF深度测量校准。如图7A所示，可以执行两个校准序列以减少目标物体的未知反射率的影响；两个序列表示为S1和S2。在实施例中，两个序列的光到快门延迟DL->SH的差异等于快门窗口的宽度W快门。在这种情况下，序列S1的区域604和序列S2的区域602可以在图7A的图中对齐，形成切片t-1、t-2、...、t-k。在每个切片中，分别在S1和S2中收集的光量表示反射光脉冲的两个部分，并且S2/S1的比率与到目标物体的相应深度或距离有关。图7A中的点A和点B之间的区域表示能够由该TOF成像器确定的深度范围。能够通过在目标前方的具有A与B之间的延迟的多个点处测量来收集接收光的数据。使用卷积过程，可以构建查找表(LUT)，其将比率S2/S1与到目标的深度或距离相关联。初始查找表能够在工厂校准过程中构建。在随后的TOF深度测量中，利用来自图7A中的相同切片时间的延迟进行两次测量。基于感测到的数据确定感测光S2/S1的比率，并且可以根据查找表确定对应的深度。
图7B是示出根据本发明的实施例的具有两个快门的两个信号的模拟信号与光到快门延迟时间的关系的示意图。在静态测试中使用两个快门进行模拟，其中平坦目标距离相机100cm，扫描光到快门延迟的范围。与图7A类似，对于两个快门S1和S2绘制快门信号(或在传感器处收集的光电子的数量)。在该视图中，深度可以是负的。在图7B的横轴上，通过以下等式将延迟转换为深度：
<深度>＝<光速>/2*(<电子延迟>-<模拟延迟矢量>)
在一些实施例中，光脉冲的宽度为5至10nsec，并且快门窗口宽度为5至15nsec。检查的延迟范围在5至20nsec之间。在一些实施例中，光脉冲宽度可以在3nsec至20sec之间。快门的宽度可以在相同的范围中。
图7C是示出根据本发明的实施例对于具有两个快门的两个信号的模拟信号与深度的关系的示意图。图7C示出了在轨道对墙壁以不同距离测量的数据(1/距离2衰减)。可以看出，S2/S1的比率与深度之间存在相关性。
根据诸如使用图5、图6和图7A至图7C中描述的方法获得的测试数据，在工厂校准过程中构造查找表(LUT)。在TOF深度测量中，基于感测的数据确定S2/S1的比率，并且可以根据查找表确定相应的深度。
如上所述，飞行时间深度测量系统可以容易受到过程和操作条件的变化的影响，例如温度、电压和帧速率等。为了减轻变化的影响，本发明的实施例提供了用于使用如上所述的光学反馈设备进行TOF深度测量的运行时校准的系统和方法。少量的反馈像素允许快速感测和信号处理，并且利用例如由光纤提供的强反馈照明，可以大大减少采样脉冲的数量。照明和读出的过程可以在短时间内完成。结果，可以在运行时执行深度校准而不影响相机的帧速率。可以在每个帧中执行校准。此外，功耗或专用反馈像素的开销很小。提供像素阵列的反馈区域和有源区域之间的隔离以最小化干扰。
图8是示出根据本发明的实施例的用于在飞行时间深度测量的帧之间进行深度分布(profile)校准的方法的时序图。该方法包括稳定时段810、校准时段820和测量时段830。在稳定时段810中，发射热稳定照明脉冲，随后是用于传感器的热稳定的虚读出。在校准时段820中，校准飞行时间查找表(LUT)。这里，使用一系列快门窗口发射多组校准照明脉冲P-1、P-2、......、P-N，该一系列快门窗口包括表示深度范围的延迟时间。每组光脉冲之后分别是读出操作R-1、R-2、....、R-N。在每次读出中，来自光学反馈设备的光在传感器的像素阵列的反馈区域中被感测。如上面结合图5、图6和图7A至图7C所述，然后使用卷积过程分析读出数据，以确定TOF深度数据。然后使用深度数据来校准查找表。
测量时段830具有两个步骤831和832。在第一步骤831中，发送具有第一快门延迟D1的第一组光脉冲S1以照射目标。因为在快门窗口内传感器仅能够收集少量的光，所以通常会发出并聚集大量光脉冲，例如几千个脉冲，以增加信噪比。在“S1读取”时段期间，从目标反射的光在传感器中的像素的有源区域中被感测。在第二步骤832中，发送具有第二快门延迟D2的第二组光脉冲S2以照射目标。在S2读取期间，从目标反射的光在传感器中的像素的有源区域中被感测。接下来，感测数据读出S2/S1的比率用于使用校准查找表来确定目标物体的距离。在一些实施例中，S1和S2具有在工厂校准过程中或在应用领域中选择的预设延迟。
图9是示出根据本发明的实施例的深度分布校准能够适合在飞行时间深度测量的帧之间的时序图。图9类似于图8，并且还包括每个操作在飞行时间深度测量的帧内所花费的时间长度的示例。在该实施例中，热稳定脉冲花费0.15msec，并且用于热稳定的虚读出花费0.1msec。因此，稳定时段的长度约为0.25msec。在查找表(LUT)校准时段820中，使用20步的校准光脉冲和读出，每个步具有不同的光到快门延迟时间。在一个示例中，每个步包括30个脉冲，每个脉冲具有150nsec的脉冲宽度，然后是3μsec的读出操作。因此，校准时段花费约为0.15msec。在测量时段830中，S1步可以包括1.5msec的光脉冲(例如，150nsec脉冲的1000个脉冲)，然后是0.5msec的读出。类似地，S2步可以包括2.0msec的光脉冲，然后是0.5msec的读出。在该示例中，包括稳定、全范围深度校准和TOF深度测量在内的完整操作需要4.9msec。校准阶段约占整个操作的1/300。该光学操作足够快以适合每秒60帧或更高帧(fps)的帧速率。
本发明的实施例提供了优于传统方法的许多优点。例如，反馈光学设备可以提供强光以用于校准。例如，反馈光学设备可以包括光纤。像素阵列中的一个或多个单独的反馈区域用于感测反馈光学信号。反馈区域配置在像素阵列的未使用或较少使用的区域中，并且远小于阵列的有源区域。例如，如果反馈光学设备可以提供强信号，则几个像素足以用于反馈感测。小反馈感应区域能够进行快速感应和感测数据的快速处理，从而允许快速校准感兴趣的深度范围。
图10是示出根据本发明的实施例的用于包括全范围深度校准的TOF深度测量的方法的简化流程图。上述方法可以总结在图10的流程图中。如图所示，方法1000包括在步骤1010发射光脉冲以照射目标物体。接下来，在步骤1020，在光敏像素阵列的第一区域中感测从光学反馈设备提供的光。这里，第一区域用作反馈区域。光学反馈设备接收一部分发射的光脉冲。反馈光学设备包括用于TOF深度测量的预设参考深度。使用一系列快门窗口对来自光学反馈设备的光进行采样，该一系列快门窗口包括表示距离范围的延迟时间。对于TOF深度测量，该方法包括在步骤1030，在光敏像素阵列的第二区域中感测场景数据，该场景数据是来自所发射的光脉冲从目标物体反射的光。第二区域是像素阵列的有源区域。该方法包括，在步骤1040，基于像素阵列的第一区域中的感测光，校准飞行时间(TOF)深度测量参考信息。以上结合图5、图6和图7A至图7C详细描述了该过程。注意的是，根据实施例，步骤1030和1040可以以任何顺序执行。例如，在捕获校准数据(1020)和场景数据(1040)之后，可以首先处理数据校准，然后处理场景数据。或者，TOF数据校准和场景数据处理都可以同时进行。接下来，该方法包括，在步骤1050，基于感测的反射光和校准的TOF测量参考信息来确定目标物体的距离。
在一些实施例中，该方法可以在以预设帧速率为特征的数字相机中执行。校准可以适合相机的单帧时段。在实施例中，使用一系列快门窗口对来自光学反馈设备的光进行采样，该一系列快门窗口包括表示距离范围的延迟时间。然后使用卷积过程将测量的信号与距离相关联。
本发明的实施例提供集成的机械、电子器件和光学设计以及处理过程，以形成用于光学反馈的微型电路，该光学反馈针对从照明部分到图像传感器内的角落像素中的高速飞行时间(TOF)信号。该设计包括高度集成，在反馈环路中有效传输光以节省能耗，以及对生产公差的鲁棒性。实施例还可以避免成像光学器件中的遮挡，不增加对物镜的后焦距上的约束，并且避免光从反馈环路泄漏到成像区域中，反之亦然。下面描述进一步的细节。
图11是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统1100的一部分的透视图。成像系统1100包括设置在印刷电路板(PCB)1101上的照明单元1110和传感器单元1130。如图11所示，照明单元1110包括激光二极管源1112、照明光学器件1114和漫射器1116。照明光学器件1114设置在PCB 1101中的腔体1118中，并且可以包括具有集成透镜的棱镜，以折叠和准直来自激光二极管的光束。传感器单元1130包括具有像素阵列1136的图像传感器1132，以及安装在图像传感器1132上的物镜1134(以虚线示出)。如图11所示，对于TOF成像，来自漫射器1116的发射光1111被引导到设置在图11中的附图之上和外部的目标物体，从目标物体反射的光1131通过物镜1134进入，从而到达图像传感器1132中的像素阵列。成像系统1100还具有光纤1120以提供反馈路径。在该实施例中，光纤1120从照明光学器件壳体的内部(例如，从寄生反射的内部)收集少量光并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列的角落1142。在该示例中，像素阵列的角落区域1142用作图像传感器的反馈区域。
图12是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统1100的一部分的截面平面图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如，从寄生反射的内部)收集少量光并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列的角落1142。在一些实施例中，不需要照明单元壳体中的特定光学元件来将一部分激光引导到光纤1120。光纤1120将光引导到附接到像素阵列的采样(sample)区域1142的棱镜1138。在该实施例中，来自照明壳体的散射光被光纤1120收集，并且来自棱镜1138的散射光可以在像素阵列的反馈感测区域1142中被感测。
在图11和图12中，光纤1120耦合到棱镜1138的斜边。然而，也可以在棱镜的短边(直角边)上进行耦合，如图13和图14所示。
图13是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统1100的一部分的透视图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如，从寄生反射的内部)收集少量光并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列1136的角落1142。在该实施例中，来自照明壳体的散射光被光纤1120收集。光纤1120将散射光引导到棱镜1138，棱镜1138附接到像素阵列1136的采样区域1142。来自棱镜1138的光可以在像素阵列1136的反馈感测区域1142中被感测以用于校准。
图14是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统1100的一部分的截面平视图。激光二极管1112耦合到照明单元的壳体的基部。光纤1120从照明光学器件壳体的内部(例如，从寄生反射的内部)收集少量散射光并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列的角落1142。光纤1120将光引导到附接到像素阵列的采样区域1142的棱镜1138。来自棱镜1138的光可以在像素阵列1136的反馈感测区域1142中被感测。
图15是示出根据本发明的实施例的图11的飞行时间(TOF)成像系统1100的一部分的截面侧视图。图15中的成像系统1100包括设置在印刷电路板(PCB)1101上的照明单元1110和传感器单元1130。如图15所示，照明单元1110包括激光二极管源(未示出)，照明光学器件1114。传感器单元1130包括具有像素阵列1136的图像传感器1132，以及安装在图像传感器1132上的物镜1134。如图15所示，对于TOF成像，来自照明单元1110的发射光1111被引导到设置在图15中的附图之上和外部的目标物体，从目标物体反射的光1131通过物镜1134进入，从而到达图像传感器1132中的像素阵列1136。成像系统1100还具有光纤1120以提供反馈路径。在该实施例中，光纤1120从照明光学器件壳体的内部收集少量散射光，并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列1136的角落1142。在该示例中，像素阵列的角落区域1142用作图像传感器的反馈区域。
图16是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统1100的一部分的另一透视图。如图16所示，照明单元1110包括激光二极管源1112、照明光学器件1114和漫射器1116。照明光学器件1114设置在PCB 1101中的腔体1118中，并且可以包括具有集成透镜的棱镜，以折叠和准直来自激光二极管的光束。传感器单元1130包括具有像素阵列1136的图像传感器，以及安装在图像传感器1132上的物镜1134(以虚线示出)。如图16所示，对于TOF成像，来自漫射器1116的发射光1111被引导到设置在图11中的附图之上和外部的目标物体，从目标物体反射的光1131通过物镜1134进入，从而到达图像传感器中的像素阵列1136。成像系统还具有光纤1120以提供反馈路径。在该实施例中，光纤1120从照明光学器件壳体的内部(例如，从寄生反射内部)收集少量光并将其引导到棱镜1138，棱镜1138附接到图像传感器1132的像素阵列的角落1142。在该示例中，像素阵列的角落区域1142用作图像传感器的反馈区域。
在图16中，光束A从激光器进入照明光学器件1114中的棱镜的折叠表面。光束A1从棱镜入口反射回来作为杂散光进入照明单元中的腔体。光束B从棱镜准直出射并被引导到漫射器1115。光束B1从漫射器反射回作为杂散光到腔体中。来自腔体的杂散光由光纤1120收集。在本发明的实施例中，通过使用连接到光功率计的光纤来测量杂散光的量，以验证可以收集足够的光信号用于反馈校准。
图17是示出根据本发明的实施例的具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统1100的印刷电路板(PCB)1101的透视图。如图17所示，PCB 1101包括用于照明单元的第一腔体1118，用于图像传感器的第二腔体1139，以及用于光纤的第三腔体1121。图17还示出了设置在PCB 1101上的激光二极管1112。
图18是示出根据本发明的实施例的在具有用于校准的光纤光学反馈的飞行时间(TOF)成像系统1100中能够使用的棱镜1138的透视图。在一些实施例中，棱镜可以由玻璃或其他合适的透明光学材料制成。棱镜具有顶表面和底表面，两者都标记为表面“1”，并且三个侧表面均标记为表面“2”。如图11至图16所示，来自光纤的光通过一个侧表面2进入棱镜并通过底表面1离开，以耦合到图像传感器中的像素阵列中。因此，在一些实施例中，棱镜的顶表面和两个侧表面涂覆有反射涂层。底表面和一个侧表面是未涂覆的并且保持透明以允许来自光纤的光通过侧表面进入棱镜并通过底表面离开棱镜。在一些实施例中，棱镜用透明粘合剂胶合到像素阵列，然后涂覆不透明的浆糊以将反馈光学器件与成像光学器件隔离。
在一些实施例中，例如如图11、图12和图16所示，光纤1120耦合到棱镜1138的斜边，并且棱镜的短边设置为与像素阵列重叠。模拟研究表明，在这些实施例中，通过光纤的大约5.8％的光到达像素区域。在其他实施例中，例如如图13和14所示，光纤1120耦合到棱镜1138的短边，并且棱镜的斜边设置成与像素阵列重叠。模拟研究表明，在这些实施例中，通过光纤的大约8.7％的光到达像素区域。
图19是示出根据本发明的实施例的用于形成飞行时间(TOF)成像系统的方法，该飞行时间(TOF)成像系统具有用于校准的光纤光学反馈。在过程1910中，该方法包括形成PCB组件。该方法包括在过程1920中通过板上芯片(CoB)形成图像传感器组件。在过程1930中，激光二极管组件由板上芯片(CoB)形成。该方法包括在过程1940中在光学反馈(OFB)棱镜的图像传感器上分配透明粘合剂。OFB棱镜指的是将来自照明单元的直接光折叠到透镜的视场(FOV)中的光学器件。接下来，在过程1950中，将棱镜附接到PCB，并且使用UV固化过程(1960)固化粘合剂。该方法还包括：在过程1970中，在附接时间期间，附接光纤并分配透明粘合剂，以及在过程1980中执行UV固化。此外，在过程1990中，该方法包括在棱镜上和透明粘合剂上分配吸收性粘合剂材料。
在一些实施例中，光纤可以是250μm的光学级无护套的塑料光纤。其他合适的光纤也可用于替代实施例中。上述粘合材料可以是精密定位光学粘合剂或合适的替代粘合剂材料。
虽然已经说明和描述了本发明的优选实施例，但是清楚的是本发明不仅限于这些实施例。在不脱离权利要求中描述的本发明的精神和范围的情况下，许多修改、改变、变化、替换和等同物对于本领域技术人员来说是显而易见的。

Claims (21)

1.一种飞行时间(TOF)成像系统，包括：
照明器，发射光脉冲以照射目标物体用于确定到所述目标物体的距离；
图像传感器，具有用于接收来自所述光脉冲的光信号的光敏的像素阵列，所述像素阵列包括有源区域和反馈区域；
光学反馈设备，用于将来自所述照明器的一部分光引导到所述像素阵列的所述反馈区域，所述光学反馈设备包括预设参考深度；
其中，所述成像系统被配置为：
发射光脉冲以照射目标物体；
使用一系列快门窗口在所述像素阵列的所述反馈区域中感测来自所述光学反馈设备的光，所述一系列快门窗口包括表示深度范围的延迟时间；
基于在所述像素阵列的所述反馈区域中所感测的光来校准飞行时间(TOF)深度测量参考信息；
在所述光敏的像素阵列的所述有源区域中，感测从所述目标物体反射的光；以及
基于所感测的反射光和经校准的TOF测量参考信息来确定所述目标物体的所述距离。
2.根据权利要求1所述的系统，其中，所述反馈区域位于光敏的像素阵列的边缘区域中。
3.根据权利要求1所述的系统，其中，光敏的像素阵列还包括将所述有源区域和所述反馈感测区域分开的隔离区域。
4.根据权利要求1所述的系统，其中，所述像素阵列的所述反馈区域包括从1个像素到10×10个像素。
5.根据权利要求1所述的系统，其中，所述光学反馈设备包括反射器。
6.根据权利要求1所述的系统，其中，所述光学反馈设备包括光纤。
7.根据权利要求6所述的系统，其中，所述光纤被配置为将来自照明器壳体内部的光耦合到所述像素阵列的角落处的所述反馈区域。
8.根据权利要求1所述的系统，其中，所述TOF测量参考信息包括查找表，所述查找表使用具有不同时间延迟的两个快门将物体的距离与两个采样的光信号之间的比率相关联。
9.根据权利要求1所述的系统，其中，感测从所述目标物体反射的光包括使用具有不同时间延迟的两个快门来感测所述光。
10.根据权利要求1所述的系统，其中，所述校准占用帧时段的约1/300。
11.根据权利要求1所述的系统，还包括多个照明源以及对应的光学反馈区域。
12.根据权利要求1所述的系统，其中，所述成像系统被配置为在所述光敏的像素阵列的所述有源区域中感测从所述目标物体反射的光之后，校准飞行时间(TOF)深度测量参考信息。
13.在以预设帧速率为特征的数字相机中，一种方法包括：在单帧时段中，
发射光脉冲以照射目标物体；
在光敏的像素阵列的第一区域中，感测从光学反馈设备提供的光，所述光学反馈设备接收一部分所发射的光脉冲，所述反馈光学设备包括预设参考深度，其中，使用一系列快门窗口对来自所述光学反馈设备的光进行采样，所述一系列快门窗口包括表示距离范围的延迟时间；
基于在所述像素阵列的所述第一区域中所感测的光来校准飞行时间(TOF)深度测量参考信息；
在所述光敏的像素阵列的第二区域中，感测来自所发射的光脉冲的从所述目标物体反射的光；以及
基于所感测的反射光和经校准的TOF测量参考信息来确定所述目标物体的距离。
14.根据权利要求13所述的方法，其中，所述光学反馈设备包括光纤。
15.根据权利要求13所述的方法，其中，所述光纤被配置为将来自照明器壳体内部的光耦合到所述像素阵列的角落处的所述第一区域。
16.根据权利要求13所述的方法，其中，所述TOF测量参考信息包括查找表，所述查找表使用具有不同时间延迟的两个快门将对象的距离与两个采样的光信号之间的比率相关联。
17.根据权利要求13所述的方法，其中，感测从所述目标物体反射的光包括使用具有不同时间延迟的两个快门来感测光。
18.一种用于校准飞行时间(TOF)相机系统的方法，包括：
发射光脉冲以照射目标物体用于确定到所述目标物体的距离；
在光敏的像素阵列的第一区域中，感测从反馈光学设备提供的光，所述反馈光学设备接收一部分所发射的光脉冲，所述反馈光学设备包括预设参考深度；
在所述光敏的像素阵列的第二区域中，感测来自所发射的光脉冲的从所述目标物体反射的光；
基于从所述反馈光学设备提供的所述光来校准飞行时间深度测量信息；以及
基于从所述目标物体反射的光和经校准的飞行时间深度测量信息来确定所述目标物体的所述距离。
19.根据权利要求18所述的方法，其中，感测来自所述光学反馈设备的光包括使用一系列快门窗口，所述一系列快门窗口包括表示深度范围的延迟时间。
20.根据权利要求18所述的方法，其中，感测从所述目标物体反射的光包括使用具有不同时间延迟的两个快门来感测光。
21.根据权利要求18所述的方法，其中，所述TOF测量参考信息包括查找表，所述查找表使用具有不同时间延迟的两个快门将物体的距离与两个采样的光信号之间的比率相关联。
CN201780073708.1A 2016-09-30 2017-10-02 飞行时间深度测量的实时校准 Active CN110402397B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662402770P 2016-09-30 2016-09-30
US62/402,770 2016-09-30
PCT/US2017/054719 WO2018064658A1 (en) 2016-09-30 2017-10-02 Real time calibration for time-of-flight depth measurement

Publications (2)

Publication Number Publication Date
CN110402397A true CN110402397A (zh) 2019-11-01
CN110402397B CN110402397B (zh) 2023-03-03

Family

ID=61757220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073708.1A Active CN110402397B (zh) 2016-09-30 2017-10-02 飞行时间深度测量的实时校准

Country Status (9)

Country Link
US (2) US10762651B2 (zh)
EP (1) EP3519852B1 (zh)
JP (2) JP6882461B2 (zh)
KR (1) KR102505237B1 (zh)
CN (1) CN110402397B (zh)
AU (1) AU2017337124B2 (zh)
CA (1) CA3037988A1 (zh)
IL (1) IL265659B (zh)
WO (1) WO2018064658A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111024368A (zh) * 2019-12-06 2020-04-17 炬佑智能科技(苏州)有限公司 Tof相机杂散光检测装置及检测方法
CN112924979A (zh) * 2019-11-20 2021-06-08 北京小米移动软件有限公司 Tof模组的多路径光线测试设备、深度误差测量方法及系统
WO2022012503A1 (en) * 2020-07-17 2022-01-20 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762651B2 (en) 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
IL274955B2 (en) 2017-12-13 2024-05-01 Magic Leap Inc A general shutter pixel circuit and method for computer vision applications
CA3083350A1 (en) 2017-12-21 2019-06-27 Magic Leap, Inc. Method for calibrating an augmented reality device
EP3766023A4 (en) 2018-03-13 2021-04-21 Magic Leap, Inc. IMAGE-ENHANCED DEPTH DETECTION USING AUTOMATIC LEARNING
JP7082404B2 (ja) * 2018-06-26 2022-06-08 国立大学法人静岡大学 距離計測装置
JP6717887B2 (ja) * 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置
CN110868507A (zh) * 2018-08-27 2020-03-06 宁波舜宇光电信息有限公司 带有泛光灯的电子设备及其装配方法
US11914078B2 (en) * 2018-09-16 2024-02-27 Apple Inc. Calibration of a depth sensing array using color image data
CN109067951A (zh) * 2018-10-31 2018-12-21 Oppo广东移动通信有限公司 电子装置
EP3657203A1 (de) * 2018-11-22 2020-05-27 Hexagon Technology Center GmbH Elektrooptischer entfernungsmesser und entfernungsmessverfahren
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
CN109451228B (zh) * 2018-12-24 2020-11-10 华为技术有限公司 摄像组件及电子设备
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
WO2020192209A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
EP3816657B1 (en) * 2019-10-29 2024-04-24 Hexagon Technology Center GmbH Multi-beam measuring device for 3d scanning of an environment having seamlessly stacked reception modules
WO2022145261A1 (ja) * 2020-12-28 2022-07-07 株式会社小糸製作所 ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP2023122396A (ja) * 2022-02-22 2023-09-01 ソニーセミコンダクタソリューションズ株式会社 測距装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
US20160061941A1 (en) * 2014-08-29 2016-03-03 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
CN105518480A (zh) * 2013-06-14 2016-04-20 微软技术许可有限责任公司 使用查找表进行深度图纠正
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera
US9330464B1 (en) * 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4488170B2 (ja) 2001-08-06 2010-06-23 シーメンス アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
JP2010061304A (ja) * 2008-09-02 2010-03-18 Calsonic Kansei Corp 車両用距離画像データ生成装置
US8872093B2 (en) 2012-04-18 2014-10-28 Apple Inc. Calibrated image-sensor-based ambient light sensor
JP2014070936A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
JP6304567B2 (ja) * 2014-02-28 2018-04-04 パナソニックＩｐマネジメント株式会社 測距装置及び測距方法
US10062180B2 (en) 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US10762651B2 (en) 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
DE102017126378A1 (de) * 2017-11-10 2019-05-16 Infineon Technologies Ag Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
CN105518480A (zh) * 2013-06-14 2016-04-20 微软技术许可有限责任公司 使用查找表进行深度图纠正
US20160061941A1 (en) * 2014-08-29 2016-03-03 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera
US9330464B1 (en) * 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924979A (zh) * 2019-11-20 2021-06-08 北京小米移动软件有限公司 Tof模组的多路径光线测试设备、深度误差测量方法及系统
CN112924979B (zh) * 2019-11-20 2024-03-01 北京小米移动软件有限公司 Tof模组的多路径光线测试设备、深度误差测量方法及系统
CN111024368A (zh) * 2019-12-06 2020-04-17 炬佑智能科技(苏州)有限公司 Tof相机杂散光检测装置及检测方法
CN111024368B (zh) * 2019-12-06 2022-02-11 炬佑智能科技(苏州)有限公司 Tof相机杂散光检测装置及检测方法
WO2022012503A1 (en) * 2020-07-17 2022-01-20 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation
US11582436B2 (en) 2020-07-17 2023-02-14 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation

Also Published As

Publication number Publication date
EP3519852B1 (en) 2022-03-23
JP2019529931A (ja) 2019-10-17
IL265659A (en) 2019-05-30
EP3519852A1 (en) 2019-08-07
US20210004975A1 (en) 2021-01-07
US20180096489A1 (en) 2018-04-05
JP6882461B2 (ja) 2021-06-02
WO2018064658A1 (en) 2018-04-05
CA3037988A1 (en) 2018-04-05
JP7130813B2 (ja) 2022-09-05
AU2017337124B2 (en) 2022-08-04
IL265659B (en) 2022-04-01
US10762651B2 (en) 2020-09-01
US11587245B2 (en) 2023-02-21
KR102505237B1 (ko) 2023-02-28
KR20190054167A (ko) 2019-05-21
EP3519852A4 (en) 2019-10-16
AU2017337124A1 (en) 2019-04-18
JP2021113828A (ja) 2021-08-05
CN110402397B (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN110402397A (zh) 飞行时间深度测量的实时校准
CN108267749A (zh) 校准飞行时间光学系统的光检测器
US20190361092A1 (en) Integrated LIDAR Illumination Power Control
US9335220B2 (en) Calibration of time-of-flight measurement using stray reflections
US9635351B2 (en) Integrated reference pixel
EP2017651B2 (en) Reference pixel array with varying sensitivities for TOF sensor
US10739444B2 (en) LIDAR signal acquisition
CN115575928A (zh) Lidar数据获取与控制
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
KR20200103832A (ko) 계층형 전력 제어를 이용한 lidar 기반의 거리 측정
CN106405567A (zh) 一种基于tof的测距系统及其校正方法
KR20190117176A (ko) 적외선 카메라 모듈, 이의 이미지 센서 및 전자 기기
CA2716980A1 (en) Light-integrating rangefinding device and method
KR102165091B1 (ko) 3차원 거리측정 카메라
JP2021124332A (ja) 測距装置
TWI727081B (zh) 攝影元件及攝影系統
US20230316554A1 (en) Miniaturized phase calibration apparatus for time-of-flight depth camera
JP6693757B2 (ja) 距離画像生成装置および方法
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法
CN116893405A (zh) 飞行时间深度相机的小型相位校准装置
WO2014203138A1 (en) Calibration of time-of-flight measurement using stray reflections
JPH0369043B2 (zh)
CN117665837A (zh) 基于主动投射点激光的测量装置和方法
JP2001027526A (ja) ３次元画像検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant