CN106662651B - Tof相机系统以及用于测量与该系统的距离的方法 - Google Patents

Tof相机系统以及用于测量与该系统的距离的方法 Download PDF

Info

Publication number
CN106662651B
CN106662651B CN201580036607.8A CN201580036607A CN106662651B CN 106662651 B CN106662651 B CN 106662651B CN 201580036607 A CN201580036607 A CN 201580036607A CN 106662651 B CN106662651 B CN 106662651B
Authority
CN
China
Prior art keywords
scene
light
camera system
incident beam
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580036607.8A
Other languages
English (en)
Other versions
CN106662651A (zh
Inventor
W·范德腾佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sufte kayetti International Co.,Ltd.
Original Assignee
Sony Depthsensing Solutions NV SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Depthsensing Solutions NV SA filed Critical Sony Depthsensing Solutions NV SA
Publication of CN106662651A publication Critical patent/CN106662651A/zh
Application granted granted Critical
Publication of CN106662651B publication Critical patent/CN106662651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data

Abstract

本发明涉及用于测量场景对象和飞行时间相机系统之间的距离以及提供该对象的深度图的方法，该飞行时间相机系统包括照明单元、具有像素矩阵的成像传感器以及图像处理装置，该方法的特征在于以下步骤：以离散方式修改该照明单元的照度从而分别用不同入射强度来照亮该场景的基本区域，以将直接入射光束和间接入射光束区分开来；将由该基本区域反射的光束接收到该传感器的像素矩阵上，以及为该图像处理装置提供对应的数据；处理该对应的数据来消除该间接光束在该对象的深度图中的影响。

Description

TOF相机系统以及用于测量与该系统的距离的方法
发明技术领域
本发明涉及(i)用于测量场景的对象和飞行时间(Time-Of-Flight)相机系统之间的距离的方法，以及(ii)与之相关联的飞行时间相机系统。具体而言，本发明涉及场景内光线的直接和间接反射问题，以及由这些多个反射所引起的深度测量的错误。应当理解，场景意指围绕该对象的光线可以直接或间接反射于其上的所有表面。
发明背景
飞行时间技术(TOF)是用于深度感知的颇具前景的技术。图1中解说了标准TOF相机系统3的公知的基本操作原理。TOF相机系统3通过分析光从专用照明单元18飞行到对象的飞行时间来捕捉场景15的3D图像。TOF相机系统3包括相机(例如，像素矩阵1)和数据处理装置4。场景15使用专用照明单元18来用预定波长的经调制光16来进行有源照明，例如用一些具有至少一个预定频率的光脉冲。经调制的光被从场景内的对象反射回去。镜头2收集反射光17并且将对象的图像形成到相机的成像传感器1上。取决于对象到相机的距离，在经调制光(例如，所谓的光脉冲)的发射与在相机处对那些反射的光脉冲的接收之间经历了延迟。反射对象以及相机之间的距离可以被确定为所观察到的时间延迟以及光速常量值的函数。
该技术的一个缺点由图2来解说并且涉及所谓的多径现象。示出了标准TOF相机系统9，其包括用于在多个方向上照亮场景24的照明单元8、用于检测所发射的光的反射的TOF传感器6，以及用于处理由TOF传感器6所获得的数据的处理装置7。
TOF传感器6的像素(未示出)测量从照明单元8到场景24以及从场景24返回像素的直接路径25。但是，二次反射26或更高阶的反射也可以在相同的像素上被捕捉到并且破坏第一直接反射25所感知到的延迟。传感器6所捕获的光可以源自直接路径25和二次反射26二者，所测得的深度图27(表示与场景的每一点相关联的深度)由此是错误的。
在现有技术中，已经实现了多种方法来恢复入射光的直接分量。例如，通过用不同调制频率来获得一组深度测量实现了多频率办法，但是所获得的分辨率仍然较低。
另一种办法使用了由例如数字光处理(DLP)投影机生成的一组不同空间图案。通过在场景中创建暗斑块和明斑块，直接和间接分量可以被分开，因为从图案的黑暗部分获得的深度仅由源自多路径的间接信号产生。用场景的每一部分在黑暗情形中捕获的方式来选择不同的图案。通过用足够的交叠来定义图案抵消了边际效应。然而，这些不同图案的产生是昂贵的。
仍然要提出一种方案来用最有成本效益的方式来仅检索反射光的直接分量，从而执行对于场景的对象和TOF相机系统之间的距离的更为准确的测量。
发明内容
本发明涉及用于测量场景对象和飞行时间相机系统之间的距离以及提供该对象的深度图的方法，该飞行时间相机系统包括照明单元、具有像素矩阵的成像传感器以及图像处理装置，该方法的特征在于以下步骤：
-以离散方式修改该照明单元的照度从而分别用不同入射亮度来照亮该场景的基本区域，以用于区分直接入射光束和间接入射光束；
-将由该基本区域反射的光束接收到该传感器的矩阵的像素上，以及为该图像处理装置提供对应的数据；
-处理该对应的数据来消除该间接光束在该对象的深度图中的影响。
有利地，当处理数据时，该方法可包括例如在中间深度图上(但并非仅在中间深度图上)标识与仅有间接入射光束能照射于其上的基本区域相关联的尖峰。通过标识此类尖峰，该数据可以被处理以供消除间接光束的影响以及获得场景的最终准确的深度图。
本发明还涉及用于测量场景的对象和TOF相机系统之间的距离以及用于提供该对象的深度图的飞行时间(TOF)相机系统，该TOF相机系统包括：
-用于用经调制光照亮该场景的照明单元；
-具有像素矩阵的成像传感器，其用于将由该场景反射的光束接收到该传感器的矩阵的像素上；
-图像处理装置，其用于从该成像传感器接收对应于所反射的光束的数据以及用于处理该对应的数据；
其特征在于，其进一步包括：
-图案装置，其用于以离散方式修改该照明单元的照度从而分别用不同入射亮度来照亮该场景的基本区域，以用于将直接入射光束和间接入射光束区分开来，以及用于在处理该对应数据的过程中消除该间接光束在该对象的深度图中的影响。
有利地，照明的修改由以离散方式遮蔽该照明单元来执行。该图案装置可以例如是避免直接入射光束照射到该场景的一些基本区域的遮罩。
更为有利地，该图案装置可包括用于使得能够进行该数据更简便处理的一系列相同的图案群。
当结合所附附图来理解以下具体描述时，本发明的其他优点和新颖特征将会变得更为明显。
附图说明
参照以下描述和所附附图，本发明将会被更好地理解。
图1解说了TOF相机系统的基本操作原理；
图2解说了多径现象；
图3解说了根据本发明实施例的TOF相机系统；
图4解说了图案装置的示例；
图5解说了场景的中间深度图以及TOF相机系统的相关联的像素；
图6解说了场景和投影在场景上的光图案，该光图案包括两个不同的空间区域。
当结合所附附图来理解以下具体描述时，本发明的优点和新颖特征将会变得更为明显。
发明详述
图3解说了根据本发明实施例的TOF相机系统10。飞行时间相机系统10包括用于用经调制光来照亮场景24的照明单元20。由该照明单元20发射的光被布置成适用于使用飞行时间技术测量距离。例如，照明单元20可以被布置成用于发射具有恰适脉冲宽度的光脉冲。事实上，当使用脉冲时，每个光脉冲的脉冲宽度决定了相机射程(camera range)。例如，对于50ns的脉冲宽度，该射程被限定于7.5m。结果，场景照明对TOF相机系统的操作变得至关重要，并且照明单元的高速驱动频率要求使得必需使用专业光源(诸如，发光二极管(LED)或激光)来生成此类短光脉冲。照明单元被布置成用于发射多向光，如图3中表示的多个发射光射线25、26和28所表示的。
TOF相机系统进一步包括成像传感器21，该成像传感器21通常包括像素矩阵阵列，该成像传感器用于接收并检测反射光束以及形成场景24的图像。出于清楚及解说的目的，图3中仅表示了两个像素22和23，但是本发明不应当限于两个像素的矩阵。应当理解，像素是指对光电磁辐射敏感的图元及其相关的电子电路系统。像素的输出能够被用于确定光从照明单元20到场景24中对象以及从该对象反射回成像TOF传感器21的飞行时间。
TOF相机系统10进一步包括用于在场景24上产生光图案的图案装置30。光图案可以是直接从激光干扰获得的，或者从可放置在照明单元20前面的图案装置获得的，或者从激光散斑和图案装置30二者的组合获得的本地激光散斑图。当使用图案装置30时，照明单元20所发射的光通过这些图案装置，使得这些光被修改以及在场景上形成光图案，该光图案具有不同亮度的定界基本区域31、32。在照射场景24之前，照明单元20所发射的光可以在图案装置30的给定区域上被阻碍或者在该给定区域上其亮度可以被降低，并且在其他区域上不被阻碍，这导致了在场景上产生了分别具有低光强的区域31和高光强的区域32。出于解说的目的，这些区域已经用粗直线31和32来表示，但是应当理解，在场景上产生的光图案并不是附着于场景24上的实体图案或物理图案，而是源自放置在照明单元20前的图案装置30的光效果的结果。光图案是由照明单元20投影在场景上的。图案装置30可以是滤镜装置、遮罩、网格或实现以离散方式修改照明的任何装置。理想地，图案装置应当在场景上提供在空间上具有周期性的光图案31、32、45、46，以用于简单地检索仅测得二次反射的区域31。图案装置30也可以包括如图4中所表示的一系列相同的图案群50或者可以随后在时间上与多个TOF相机帧速率同步使用的一系列不同图案群。
重要的是要注意到，本发明不要求具有100％对比度的图案，以及不需要将图案装置与成像传感器对齐。
TOF相机系统10进一步包括用于确定照明20发射的光的飞行时间，以及藉此确定场景24的对象和成像传感器21之间的距离的处理装置5。处理装置30被布置用于从成像传感器21的像素接收数据以及用于处理它们以供消除间接光束在对象的深度图中的影响。在以下段落中将描述用于确定该距离的方法以及对象的最终和准确的深度图。可在分开的处理单元中计算飞行时间，该分开的处理单元可耦合到TOF传感器21或可直接集成到TOF传感器本身中。在图3中，处理装置5被表示为耦合到照明单元20，但是本发明不限于此。
现在将参照图3、图4、图5和图6来描述一种用于测量场景的对象和飞行时间相机系统之间的距离以及提供该对象的深度图的方法，所述飞行时间相机系统10包括照明单元20、具有像素22、23矩阵的成像传感器21以及图像处理装置30。
该方法包括，以离散方式修改照明单元20的照明从而分别用不同入射亮度来照亮场景的基本区域31、32以将直接入射光束25和间接入射光束26、28区分开来。该修改可以例如通过在场景上创建光图案来执行，该光图案包括具有高光强和低光强的定界基本区域。该光图案可以通过将图案装置30放置在照明单元20前，以及由此将光图案投影到场景上来创建。
传感器21的像素接收由这些基本区域31、32反射的光束以及为图像处理装置30提供对应的数据。
这些数据随后被处理用于消除间接光束的影响以及获得对象的准确的深度图。
投影在场景上的光图案可以在中间深度图29上检索。这是由图3和图5来解说的。通过比较图2的深度图27和图3的29(分别为不使用图案装置及使用了图案装置的情形)，可以注意到尖峰33的出现。尖峰33对应于场景24的仅测得二次反射的区域31。事实上，在这些区域中，在没有二次反射的情况下，成像传感器21的像素不应当测到光，或者仅测得具有小的亮度的光，因为根据定义，这些区域31与光被阻碍或者光强被降低的图案装置30的区域相关联。像素23上测得的光更主要是二次反射28，而像素22上测得的光对应于直接和间接分量25、26二者。例如在中间深度图29上标识没有直接入射光束可以照射于其上的基本区域31的事实可以被用于消除间接光束的影响以及获得对象的最终的且准确的深度图。可以例如从通过像素22中的直接和间接分量二者获得的复数据中减去以像素23中的间接分量为主的光的飞行时间测量获得的复数据来形成新的复数据NC。若像素22和23中间接分量对于复数据的贡献相等，那么最终的复数据NC仅包括来自直接分量的信息。即使由于图案装置30受限的对比度，像素23仍然接收到了小的直接分量，最终的复数据NC将会具有较小的振幅但是仍将会具有正确的表示直接分量的飞行时间的相位。
图5解说了场景29的对象的中间深度图以及TOF相机系统的相关联的像素。像素40仅测量了间接分量并且与较高的深度和尖峰33相关联，而像素41测量了直接分量和间接分量二者，并且与深度图29的区域34相关联。对应于区域31的像素的标识也可以使用信号强度图来完成，其中由于直接分量的缺失，这些像素将会具有较低的强度。置信度图或噪声图也可以被用来标识与区域31相关联的像素。
通过参照图3，为了仅确定反射光的直接分量25，对于例如像素22，像素23测得的复数值可以减去像素22测得的复数值以形成新的复数值NC。
在实际系统中，将会存在2个以上像素，以及间接分量函数将会由区域31上取得的样本来构建。该间接分量函数可以随后针对具有直接和间接分量二者的所有像素而被内插，并且从这些像素中被减去，仅留下直接分量。
当场景相当简单，并且场景的反射率理想时，与间接分量相关联的值是连续函数，其可以由所有区域31简单地采样，因为间接分量源自场景24的朗伯(Lambertian)反射。
当场景较复杂时，该计算可以被不同地执行。图6的场景40包括例如有门的第一墙壁43和第二墙壁41，在该第二墙壁41上安装有具有给定深度的橱柜42。在该示例中，源自橱柜42的反射或源自墙壁43的间接反射并不导致类似的测量。为了确定所反射的光的直接分量，可以确定场景40上的光图案的不同空间区域45、46。出于解说的目的，图6中使用了不同的形状，但是应当理解光子图案45和46二者源自相同的图案装置30，该图案装置放置在TOF相机系统10的照明单元20的前面。该场景首先被使用可用深度数据或对于将该场景分段有用的任何附加数据来进行分段。对于该场景的每一段，再次，一连续函数可以与间接分量相关联，其可以分别由属于每一段的诸区域31来采样。联系到每个区段的该间接分量函数可以随后被用来补偿具有直接和间接分量二者的像素中呈现的不想要的间接分量。

Claims (8)

1.一种用于测量场景(20、24)的对象和飞行时间相机系统(10)之间的距离以及提供所述对象的深度图的方法，所述飞行时间相机系统(10)包括照明单元(20)、具有像素(22、23)矩阵的成像传感器(21)以及图像处理装置(5)，所述方法的特征在于以下步骤：
-以离散方式修改所述照明单元(20)的照度从而分别用不同入射亮度来照亮所述场景的基本区域(31、32)，以将直接入射光束(25)和间接入射光束(26、28)区分开来；
-将由所述基本区域(31、32)反射的光束接收到所述传感器(21)的所述像素矩阵上，以及为所述图像处理装置(5)提供对应的复数据，所述复数据通过光的飞行时间测量获得；
-在中间深度图(29)上标识没有直接入射光束可照射于其上的基本区域(31)，这些区域(31)与所述光被阻碍或者光强被降低的图案装置(30)的区域相关联；
-处理所述对应的复数据以供通过从由直接和间接入射光束二者获得的复数据中减去在入射光束能够照射于其上的区域中由所述间接入射光束主导的光的飞行时间测量获得的复数据以形成新的复数据来消除所述间接入射光束在所述对象的所述深度图中的影响，所述新的复数据对应于最终且准确的深度图。
2.如权利要求1所述的方法，其特征在于，所述修改所述照明的步骤是以离散方式遮蔽所述照明单元(20)以供在所述场景上创建基本区域(31)的步骤，没有直接入射光束可以照射于所述基本区域(31)上。
3.如权利要求1或2所述的方法，其特征在于，所述处理所述对应的数据的步骤包括标识仅有间接入射光束可以照射于其上的基本区域(31)的步骤。
4.如权利要求1或2所述的方法，其特征在于，进一步包括确定所述场景(24、40)上的基本区域的两个不同空间区域(45、46)的步骤，所述两个不同空间区域(45、46)分别与所述像素(22、23)矩阵的不同像素集合相关联。
5.一种用于测量场景(24、40)的对象和飞行时间(TOF)相机系统(10)之间的距离以及用于提供所述对象的深度图的TOF相机系统(10)，所述TOF相机系统包括：
-用于用经调制光照亮所述场景(24)的照明单元(20)；
-具有像素(22、23)矩阵的成像传感器(21)，其用于将由所述场景(24、40)反射的光束接收到所述传感器(21)的所述像素矩阵上；
-图像处理装置(5)，其用于从所述成像传感器(21)接收对应于所反射的光束以及由光的飞行时间测量获得的复数据以及用于处理所述对应的数据；
其特征在于，
-所述TOF相机系统进一步包括图案装置(30)，所述图案装置(30)用于以离散方式修改所述照明单元(20)的照度从而分别用不同入射亮度来照亮所述场景的基本区域(31、32)，以将直接入射光束(25)和间接入射光束(26、28)区分开来；以及
-其中所述图像处理装置(5)配置成用于通过从由直接和间接入射光束二者获得的复数据中减去由所述间接入射光束主导的光的飞行时间测量获得的复数据以形成新的复数据来在处理该所述对应复数据过程中消除所述间接入射光束在所述对象的所述深度图中的影响。
6.如权利要求5所述的TOF相机系统(10)，其特征在于，所述图案装置(30)放置在所述照明单元(20)的前面以供将光图案(31、32、45、46)投影到所述场景上。
7.如权利要求5或6所述的TOF相机系统(10)，其特征在于，所述图案装置(30)包括一系列相同图案群(50)。
8.如权利要求5到6中任一者所述的TOF相机系统(10)，其特征在于，所述图案装置(30)包括避免直接入射光束照射到场景(24、40)的一些基本区域(31)上的遮罩。
CN201580036607.8A 2014-06-11 2015-06-11 Tof相机系统以及用于测量与该系统的距离的方法 Active CN106662651B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14171985.6A EP2955544B1 (en) 2014-06-11 2014-06-11 A TOF camera system and a method for measuring a distance with the system
EP14171985.6 2014-06-11
PCT/EP2015/063015 WO2015189311A1 (en) 2014-06-11 2015-06-11 A tof camera system and a method for measuring a distance with the system

Publications (2)

Publication Number Publication Date
CN106662651A CN106662651A (zh) 2017-05-10
CN106662651B true CN106662651B (zh) 2019-08-06

Family

ID=50927987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580036607.8A Active CN106662651B (zh) 2014-06-11 2015-06-11 Tof相机系统以及用于测量与该系统的距离的方法

Country Status (7)

Country Link
US (1) US10901090B2 (zh)
EP (1) EP2955544B1 (zh)
JP (2) JP2017517737A (zh)
KR (1) KR102432765B1 (zh)
CN (1) CN106662651B (zh)
BE (1) BE1022486B1 (zh)
WO (1) WO2015189311A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323429A1 (en) 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10598768B2 (en) * 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
EP3460508A1 (en) * 2017-09-22 2019-03-27 ams AG Semiconductor body and method for a time-of-flight measurement
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US11662433B2 (en) * 2017-12-22 2023-05-30 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 ３次元計測システム及び３次元計測方法
WO2019188348A1 (ja) 2018-03-29 2019-10-03 パナソニックＩｐマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
EP3791210A1 (en) * 2018-05-09 2021-03-17 Sony Semiconductor Solutions Corporation Device and method
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
JP2020020681A (ja) 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、イメージセンサ、センシングモジュール
KR102570059B1 (ko) * 2018-08-16 2023-08-23 엘지이노텍 주식회사 센싱 방법 및 장치
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US11029149B2 (en) 2019-01-30 2021-06-08 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
CN113728246A (zh) * 2019-04-22 2021-11-30 株式会社小糸制作所 ToF照相机、车辆用灯具、汽车
CN111965655A (zh) * 2019-05-02 2020-11-20 广州印芯半导体技术有限公司 应用飞时测距的多媒体系统及其操作方法
US11070757B2 (en) 2019-05-02 2021-07-20 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Image sensor with distance sensing function and operating method thereof
US11479849B2 (en) * 2019-06-03 2022-10-25 Taiwan Semiconductor Manufacturing Company, Ltd. Physical vapor deposition chamber with target surface morphology monitor
US11644571B2 (en) 2019-07-01 2023-05-09 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN112213730A (zh) * 2019-07-10 2021-01-12 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN110378946B (zh) 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN112824935B (zh) * 2019-11-20 2023-02-28 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN112824934A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
WO2022201848A1 (ja) * 2021-03-22 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN117043547A (zh) * 2021-03-26 2023-11-10 高通股份有限公司 混合模式深度成像
RU2770153C1 (ru) * 2021-06-15 2022-04-14 Самсунг Электроникс Ко., Лтд. Способ корректировки ошибки измерения глубины tof-камеры
CN113665904B (zh) * 2021-09-07 2023-04-07 钟放鸿 基于tof技术的条盒香烟缺包检测方法
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map
JP2023172742A (ja) * 2022-05-24 2023-12-06 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346250A (zh) * 2010-06-09 2012-02-08 汤姆森特许公司 飞行时间成像器
CN103608695A (zh) * 2011-08-25 2014-02-26 Ifm电子股份有限公司 具有信号路径监控的飞行时间相机

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
JP2008309551A (ja) * 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
EP2380038B1 (en) * 2008-12-22 2019-01-09 Koninklijke Philips N.V. Cmos imager
US8491135B2 (en) * 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
US8982363B2 (en) * 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
US9462255B1 (en) * 2012-04-18 2016-10-04 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
JP6071363B2 (ja) * 2012-09-19 2017-02-01 キヤノン株式会社 距離計測装置及び方法
US9857166B2 (en) * 2012-09-19 2018-01-02 Canon Kabushiki Kaisha Information processing apparatus and method for measuring a target object
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
DE102013109020B4 (de) * 2013-08-21 2016-06-09 Pmdtechnologies Gmbh Streulichtreferenzpixel
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US20170323429A1 (en) * 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346250A (zh) * 2010-06-09 2012-02-08 汤姆森特许公司 飞行时间成像器
CN103608695A (zh) * 2011-08-25 2014-02-26 Ifm电子股份有限公司 具有信号路径监控的飞行时间相机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distance Errors Correction for the Time of Flight(ToF) Cameras;D. Falie et al.;《IEEE International Workshop on Imaging Systems and Techniques-IST 2008》;20080912;第123-126页
Further investigations on ToF cameras distance errors and their corrections;D.Falie et al.;《2008 4th European Conference on Circuits and Systems for Communications》;20080711;第198-200页，图1,3-6

Also Published As

Publication number Publication date
JP2017517737A (ja) 2017-06-29
KR20170041681A (ko) 2017-04-17
BE1022486B1 (fr) 2016-05-03
WO2015189311A1 (en) 2015-12-17
KR102432765B1 (ko) 2022-08-17
US20170123067A1 (en) 2017-05-04
EP2955544B1 (en) 2020-06-17
JP2021039131A (ja) 2021-03-11
EP2955544A1 (en) 2015-12-16
CN106662651A (zh) 2017-05-10
JP7191921B2 (ja) 2022-12-19
US10901090B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
CN106662651B (zh) Tof相机系统以及用于测量与该系统的距离的方法
US10755417B2 (en) Detection system
EP2890125B1 (en) A time-of-flight camera system
CN110709722B (zh) 飞行时间摄像机
US20170278260A1 (en) Image processing apparatus, image processing method, and non-transitory recording medium storing program
JP6890263B2 (ja) 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
US20160330434A1 (en) Control method of a depth camera
CN112739980B (zh) 多阶段有源光深度系统
US11914078B2 (en) Calibration of a depth sensing array using color image data
JP2007529731A (ja) 共焦点顕微鏡法の原理に基づく測定装置および方法
CN114930192B (zh) 红外成像组件
JP2002131016A (ja) 距離測定装置、及び距離測定方法
CN111971525B (zh) 用立体镜测量物体的方法和系统
KR20160090464A (ko) 티오에프 카메라에서 깊이 지도 생성 방법
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
JPH09210653A (ja) 面方向検出装置
CN107392955B (zh) 一种基于亮度的景深估算装置及方法
US20220003875A1 (en) Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
CN106999037A (zh) 眼睛检查装置
CN110346780A (zh) 飞行时间传感相机及其局部检测精度调整方法
KR101827883B1 (ko) 공간분할 영상 기반의 정밀 거리영상 획득 장치
JP2017191083A (ja) 輝点画像取得装置および輝点画像取得方法
WO2023041465A1 (en) Control and control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Brussels

Applicant after: SOFTKINETIC SENSORS N.V.

Address before: Brussels

Applicant before: Sufte kayetti International Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20181031

Address after: Brussels

Applicant after: Sufte kayetti International Co.,Ltd.

Address before: Brussels

Applicant before: SOFTKINETIC SENSORS N.V.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant