CN102567986A - 3d飞行时间相机和方法 - Google Patents

3d飞行时间相机和方法 Download PDF

Info

Publication number
CN102567986A
CN102567986A CN201110328845XA CN201110328845A CN102567986A CN 102567986 A CN102567986 A CN 102567986A CN 201110328845X A CN201110328845X A CN 201110328845XA CN 201110328845 A CN201110328845 A CN 201110328845A CN 102567986 A CN102567986 A CN 102567986A
Authority
CN
China
Prior art keywords
scene
uncontinuity
group
information
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110328845XA
Other languages
English (en)
Inventor
米克·施密特
克劳斯·齐默曼恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102567986A publication Critical patent/CN102567986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了3D飞行时间相机和方法。本发明涉及用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的相移的信息、或者关于场景的环境信息的3D飞行时间相机。具体地，所提出的相机通过对受影响的像素的实时标识来补偿运动失真，优选地，在根据从由场景反射的辐射获取的原始数据值实际计算所期望的与场景有关的信息值之前对其数据进行校正。

Description

3D飞行时间相机和方法
技术领域
本发明涉及用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射(incident radiation)与参考信号之间的相移的信息或者关于该场景的环境信息的3D飞行时间(3D time-of-flight)相机和相应的3D飞行时间方法。另外，本发明涉及用在这种3D飞行时间相机和方法中的处理器和相应的处理方法。此外，本发明涉及用于在计算机上实现这种处理方法的计算机程序以及存储这种计算机程序的计算机可读非临时介质。
背景技术
3D飞行时间(time-of-flight，ToF)相机通过确定辐射(优选的，光)从源到物体然后回到相机所需的时间来获取深度图像。这通常是通过非连续地照射场景并且向背向散射的入射光信号应用时间窗(严格地说，窗口序列)的卷积来完成的。一般地，以下的三个量是未知的并且必须针对每个像素单独被确定：物体的距离、其反射率、和环境光的强度。所以，一个或多个(取决于未知因素的数目)测量结果(例如，在三个未知因素的情况下至少三个测量结果)对于确定这些未知因素是必需的。
为什么当前的ToF相机和方法不能传递运动场景的最佳深度图，存在多个原因。一个原因是影响每个原始图像的运动模糊(motion blur)。由于ToF相机将某个时间窗上的入射信号综合在了一起，所以运动物体的边缘和精细细节被模糊。另一个原因是原始数据获取之间的时间延迟。当前的ToF相机无法即时获取所有的原始图像，但是必须连续地捕捉它们。存在能够并行地获取必需原始值的子集(称为子帧)的ToF相机，但是当前不存在能够同步地测量所有原始值的ToF相机。
如果在该处理期间这些未知因素(深度、背景光、反射率)中的一个或多个改变，则重建(reconstruction)会生成不正确的结果。更确切地说，如果三个未知因素(深度、背景光、反射率)中的至少一个未知因素改变，则计算出的受影响像素的深度不正确。应该注意，由ToF相机生成的其他数据通道(例如，描述了所测得的未经调制辐射的强度或者所检测信号的调制幅度)(尤其对于不连续波的ToF系统)在该情况中将包含损坏数据(corrupt data)。下面的说明将关注计算出的深度，但是该讨论以及所提出的方法和设备对于所有其他被处理的通道来说也是有效且同样适用的。
快速改变场景的特征(例如，移动深度或颜色边缘)会导致这些种类的错误。如果移动平行于某个像素的投射束，则由于物体的速度一般较低所以影响该像素的信号偏差较小。相反，横向移动边缘会引起原始值的快速改变，从而导致严重错误和严重的运动失真(motion artifact)。当考虑一个像素的一个原始通道的时间信号时，不连续性在边缘碰上(hit)像素时的时间步阶(time step)处发生。
一种使用连续波ToF相机来防止运动失真的方法从Lindner，Kolb所著的以下文章中可知：Compensation of Motion Artifacts for Time-of-FlightCameras，Dynamic 3D Imaging，LNCS 5742/2009，p.16-27，DOI 10.1007/978-3-642-03778-8，Berlin/Heidelberg 2009。它们的方法对所有原始图像执行光流估计以测量场景中的多个区部的移动。在进一步的步骤中，所估计出的流场(flow filed)被用来弯曲并记录原始图像。这确保了每个深度值都是从描述场景中的同一点的原始数据构建出来的，从而防止了运动失真。但是，该方法的缺点在于高计算工作量，这使得诸如GPU实现方式之类的装置必须以适当的速度处理数据。进一步的缺点是，不同原始通道的强度必需归一化并且没有密集重建(必需进行图像修描(inpainting))。
连续波ToF传感器(PMD传感器)在Schwarte，R.，Heinol，H.G.，Xu，Z.，Gartmann，K所著的以下文章中被描述：New active 3D vision systembased on rf-modulation interferometry of incoherent light，in Casasent，D.P.(ed.)Society of Photo-Optical Instrumentation Engineers(SPIE)Conference Series，vol.2588，pp.126-134(1995)，并且在Spirig，T.，Seitz，P.，Heitger，F.所著的以下文章中被描述：The lock-in CCD.Two-dimensional synchronousdetection of light，IEEE J.Quantum Electronics 31，1705-1708(1995)。
关于TOF相机的一般技术的更多信息可以在Elkhalili，O.，Schrey，O.，Ulfig，W.，Brockherde，W.，Hosticka，B.J，Mengel，P.，Listl，L.所著的以下文章中找到：A 64x8pixel 3-D CMOS time-of flight image sensor for car safetyapplications(2006)，可以在Gokturk，S.B.，Yalcin，H.，Bamji，C.所著的以下文章中找到：http://www.canesta.com/assets/pdf/technicalpapers/CVPR_Submission_TOF.pd f中的A time-of-flight depth sensor-System description，issues and solutions，可以在Oggier，T.，Lehmann，M.，Kaufmann，R.，Schweizer，M.，Richter，M.，Metzler，P.，Lang，G.，Lustenberger，F.，Blanc，N.所著的以下文章中找到：Anall-solid-state optical range camera for 3D real-time imaging with sub-centimeter depth resolution(2004)，并且可以在Ringbeck，T.，Hagebeuker，B.所著的以下文章中找到：A 3D time-of-flight camera for object detection(2007)。
发明内容
本发明的一个目的在于提供一种3D飞行时间相机和相应的3D飞行时间方法，该相机和方法能够有效地检测并补偿运动失真，而无需高计算工作量或者复杂的额外硬件。本发明的另一目的在于提供一种处理器和相应的处理方法、以及用于实现所述处理方法的相应的计算机程序、和计算机可读非临时介质。
根据本发明的一个方面，提供了一种3D飞行时间相机，用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，所述相机包括：
辐射源，该辐射源生成并发射用于照射所述场景的电磁辐射，
辐射检测器，该辐射检测器检测从所述场景反射的电磁辐射，所述辐射检测器包括一个或多个像素，具体地包括像素阵列，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并且生成像素信号，
评估单元，该评估单元评估所述一个或多个像素信号并且从所述一个或多个像素信号生成与场景有关的信息，其中所述评估单元包括：
信息值计算器，该信息值计算器根据同一像素信号中的至少两个后续样本的组来确定所述与场景相关的信息的信息值，以及
不连续性检测器，该不连续性检测器检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
根据本发明的另一方面，提供了一种用在3D飞行时间相机中的处理器，所述3D飞行时间相机用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，其中所述相机包括生成并发射用于照射所述场景的电磁辐射的辐射源以及检测从所述场景反射的电磁辐射的辐射检测器，所述辐射检测器包括一个或多个像素，具体地包括像素阵列，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并生成像素信号，所述处理器能够操作用来评估所述一个或多个像素信号并根据所述一个或多个像素信号生成与场景有关的信息，其中所述处理器包括：
信息值计算器，该信息值计算器根据同一像素信号中的至少两个后续样本的组来确定所述与场景有关的信息的信息值，以及
不连续性检测器，该不连续性检测器检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
根据本发明的又一方面，提供了用于获取场景的深度图像的3D飞行时间方法和处理方法。根据再一方面，提供了一种计算机程序以及一种存储有指令的计算机可读非临时介质，该计算机程序包括用于当该计算机程序在计算机上被执行使促使计算机执行根据本发明的处理方法的步骤的程序装置，并且所述指令在计算机上被执行时促使计算机执行根据本发明的处理方法的步骤。
在优选实施例中，3D飞行时间相机包括不连续性校正器，该不连续性校正器通过用该同一像素信号中的所述至少两个后续样本的前一组的相应样本的样本值来替代在所述至少两个后续样本的组中检测出不连续性的样本的样本值，来校正所述至少两个后续样本的组中所检测出的所述样本的不连续性，其中，所述信息值计算器能够操作用于使用该同一像素信号中的至少两个后续样本的经校正组来确定所述信息值。
本发明的进一步的优选实施例在从属权利要求中被限定。应该理解，请求保护的方法、请求保护的计算机程序、以及请求保护的计算机可读介质具有与从属权利要求中所限定的请求保护的3D飞行时间相机相类似和/或相同的优选实施例。
本发明基于检测运动失真的想法，并且在优选实施例中，通过利用原始值的在先获取(即，前一样本组)的原始值(即，样本值)来对它们进行补偿。基本假设是，由ToF设备，即由检测器获取的原始值随着时间平滑变化。严重的失真是由场景特征的快速改变或者横向移动的边缘(例如，深度边缘和/或颜色边缘)导致的。这种运动边缘例如包括未经调制的辐射(包括背景光)的运动边缘。当前的相机假设未知因素(相位、幅度、背景光/未经调制的光)平滑变化。运动物体可以导致一个或多个未知因素(例如，未经调制的光、颜色或者深度的边缘)的不连续性。
通过分析单个像素的单个原始通道的时间信号(即，像素信号)，这种运动边缘可以被标识为不连续性。具体地，依赖于被反射的辐射的飞行时间的像素信号被分析，并不是每个像素信号都以相同的方式依赖于飞行时间，即，该像素连续地执行多次测量，这些不同测量形成了至少两个后续样本的组。
该分析优选地针对每个原始通道被执行。如果没有一个通道检测到不连续性或者如果所有通道检测到了不连续性，则不必进行校正。在所有其他情况中，可以使用在先获取的相应值来对经历不连续性的通道的原始值进行覆写，或者指示不连续性已经被检测到的信号可以被发出。在校正的情况中，计算出的信息值不代表场景的当前状态，而是对应于在先的状态。然而，场景状态的这种时间误估算小于两次获取的时间距离，所以在大多数应用中可以被忽略。
具体地，如果用于构建信息值的所有原始值在边缘碰上像素之前(即，在出现不连续性之前)被获取，则计算出的信息值是正确的。在构建信息值的所有原始值在该事件之后被获取的情况下，信息值也是正确的(但是示出了场景的另一种状态)。然而，在通过将该事件之前获取的原始值与该事件之后获取的原始值相组合来构建信息值的情况中，计算出的信息值是不正确的。该意义上的不正确是指，该信息值不代表该事件之前或之后的场景的状态。一般地，该信息值也不在这些信息值之间，意味着与平均测量结果不存在可比性。而是，其位于可用深度范围中的某个位置。所以，这种运动失真极大劣化了所生成的深度图的质量。
这里提出的解决方案关注于对由场景特征的快速改变或横向移动导致的这种运动失真进行检测，并且优选地，进行抵消。该横向移动是导致运动失真的最关键原因，并且其校正将产生信息，在该信息中残留运动失真的影响对于大多数应用来说是可以忽略的。在某些应用中，对不连续性进行检测而不进行校正是有益的。另外，存在校正失败(即，导致比没有校正更差的数据)的情况。在这种情况中，在一个实施例中优选地将检测器信号作为警告，即，用来识别“数据存在某些错误”，但是放弃自动校正。
本发明优选地用来获取场景的深度图像。对于这种应用，所述评估单元能够操作用于生成与场景有关的信息，该信息与场景的一个或多个物体的距离、场景的一个或多个物体的反射率和/或未经调制的辐射(包括周围环境辐射，具体地包括周围环境光)的强度有关，即，所述与场景有关的信息可以是背景辐射的强度信息、反射率信息、和/或距离信息。
但是，本发明也可以被应用于其他应用中，例如用于获取关于场景的相移的信息或者关于场景的环境信息。这些其他应用包括荧光寿命成像(FLIM)(其中，样本的相移是利用显微镜测量出来的)、以及对于估计环境参数(例如，温度、氧浓度等)的应用。另外，使用压敏涂料(PSP)的应用也可以受益于本发明。
尽管一般来说各种各样的电磁辐射一般都可用于本发明，即本发明可以用在使用不同类型辐射的不同类型应用中，但是本发明优选地应用于使用红外光、可见光、或者紫外光。一般地，辐射源和辐射检测器相应地被改编用于所使用的辐射种类。如果必要，适当的转换器(在检测器中或者除检测器外)被用于将检测到的辐射转换到优选波长范围，以用于进一步的处理和评估。
附图说明
参考下文中描述的实施例将更加详细地描述本发明的这些和其他方面，并且可以明了本发明的这些和其他方面。在附图中：
图1示出了根据本发明的3D ToF相机的示意图；
图2示出了用在这种3D ToF相机中的根据本发明的处理器的第一实施例的示意图；
图3至图6示出了图示出第一种情况中的本发明的原理和效果的示图；
图7示出了用在图1中所示的3D ToF相机中的根据本发明的处理器的第二实施例的示意图。
具体实施方式
图1中示出了根据本发明的3D ToF相机10的示意图。该相机10一般用于获取关于场景2的信息。该信息具体可以包括用于生成场景的深度图像的信息、关于场景的相移的信息或者关于该场景的环境信息。参考图1至图6的以下描述将关注例如深度图像的获取，尤其关注关于一个或多个物体(在图1所示的实施例中，场景2的背景物体4a和前景物体4b)离相机10的距离的距离信息的获取。该距离信息是除了场景2的一个或多个物体4的反射率以及未经调制辐射(其包括环境光和由辐射源发射的未经调制的光)6以外将被确定为能够生成场景2的深度图像的三个未知因素之一。
相机10包括辐射源12和辐射检测器14，其中，辐射源12生成并发射用于照射所述场景2的电磁辐射13，辐射检测器14检测从所述场景2反射的电磁辐射15。在此实施例中，辐射源12由源控制器(或者驱动器)11控制，在其他实施例中，该源控制器11可以被包括在源12中。所述辐射检测器14包括一个或多个像素16(具体地包括二维像素阵列)，其中所述一个或多个像素16分别检测从所述场景2(更精确地说，从场景的物体4a、4b)反射的电磁辐射15a、15b，并生成像素信号。
辐射检测器14包括使得所测得像素信号依赖于入射辐射信号与参考信号之间的时间延迟的装置。该能力是ToF系统的重要组件。对于脉冲型ToF系统，这可能是由快门引起的所测得强度的变化(该快门可以是检测器的一部分(例如，电子快门)，或者被实现为位于检测器14和场景2之间的附加元件(例如，物理快门))。在连续波ToF系统中，这种时间延迟被认为是入射辐射信号和电参考信号之间的相移。从该时间延迟，可以测量出辐射从源12到物体4a、然后从该物体到检测器14所需要的时间。从源12到物体4b以及从该物体到检测器14的时间可以类似地被测量出来。在深度成像中，假设对物体4a和4b进行照射与其光学响应之间没有延迟。所以，根据已知的辐射速度(其是周围环境中的光速)以及所测量出的辐射经过从源112经由物体4a和4b到检测器14的距离所需要的时间，物体的距离可以被计算出来。
在FLIM(荧光寿命成像)应用中，物体的距离是已知的(或者是不重要的、或者被另外测量出来)，但是(光分别碰触物体4a和4b与这些物体发射的光被检测器14检测到之间的)响应延迟是未知的并且必须被测量出来。取决于物体的特性(有可能被燃料修改)，该时间延迟提供了关于环境参数的信息(诸如，局部氧浓度、温度等)。在这里应该注意，从物体4a和4b反射的辐射一般不会被混合到单个像素上，而是光学原理确保了物体空间中的不同点由不同的像素成像。如果两个物体由单个像素成像，则该像素会测量出将导致另一失真(flying pixel，飞行像素)的错误值，本发明不对此进行处理。例如，前景中的物体和背景中的物体之间的深度边缘将导致这样的失真：在该边缘测量出的深度值一般既不被估计为前景也不被估计为背景，而是被估计为其他内容。
可以另外设置尤其用于形成用于照射场景2的辐射束13和/或用于将被反射的辐射15聚焦到辐射检测器14上的光学装置，诸如光学镜头、聚焦元件等。例如，如图1中所示，光学透镜17和带通滤波器可以被设置在辐射检测器14之前，用于收集被反射的辐射并且用于仅使与照射辐射13具有相同波长的被反射辐射传递到检测器14上。
优选地，红外光被用于照射和检测，但是根据本发明，可见光、UV光或者其他电磁辐射也可以被使用。一般地，所使用的辐射可以从0.1nm到1cm之间(尤其是10nm到1mm之间)的波长范围中选择。
所发射的辐射可以被连续发射(例如，经过正弦调制)或者可被脉冲化。典型情况是使用突发模式(burst mode)，在突发模式中辐射源连续地被驱动(例如，利用正弦激发函数)，但是只有在样本的获取期间才如此。在其他时间，辐射源被关断，以使得辐射源冷却并且保持最小的平均强度(眼睛安全原因)。所以，在较长时间段中，实际上并不是真正连续的。
在任何情况中，检测器和对所获取像素信号的后续处理随后被适当调整。连续发射的辐射和脉冲型的辐射这两种原理一般地已知被用在例如来自市场上的各种3D ToF相机(例如，作为使用脉冲型辐射的示例的Z-Cam(3DV系统，以色列)，以及作为使用连续辐射的示例的PMDCamCube(PMD技术公司，德国)或者Swissranger SR4000(Mesa成像，瑞士))的3D ToF相机中。非周期性的照射的使用也是可能的，如IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS I-REGULAR PAPERS，IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC，{2007}，{54}，{2109-2119}中的由Buettgen，B.，Mechat，M.-A.E.，Lustenberger，F.& Seitz，P.所著的“Pseudonoise optical modulation for real-time 3-D imaging withminimum interference”中所描述的。当使用脉冲型辐射时，可以从被反射辐射的强度来获取深度信息，而当使用连续辐射时，可以从被反射辐射的相位差来获取深度信息。由于这些原理一般是已知的，所以这里没有提供进一步细节。
相机10进一步包括评估单元18，该评估单元对由辐射检测器14的一个或多个像素16获取的一个或多个像素信号进行评估，并从所述一个或多个像素信号生成与场景有关的信息。如上所述的与场景有关的信息可以是深度信息、相移信息、环境信息等。这里，作为示例将关注深度信息的生成。但是，本发明和下文中参考图1至图6说明的元件可以类似地或者等同地被用于其他信息的生成。
可以被实现为处理器(例如，可编程的微处理器或者计算机、或者专用硬件)的评估单元18的实施例在图2中被示意性地绘出。评估单元18包括信息值计算器20，该信息值计算器接收一个或多个像素信号P1、P2、...、Pn(n为像素的数目)。每个像素信号Px由检测器14的不同像素生成，并且包括多个(在时间上)随后获取的样本。例如，每个像素16连续获取碰触所述像素的被反射辐射(的强度和/或相位)的样本，并且将这些样本输出到信息值计算器20。从一个像素信号的样本，信息值计算器20确定所述与场景有关的信息的信息值，具体地，根据像素信号的至少两个(优选至少三个)后续样本的组，信息值(在这里描述的示例中，距离信息值)被生成。这优选地被连续执行，即，对于像素信号的至少两个样本的每个后续组，新的信息值被生成，并且优选地针对所有或者所选择的像素并行执行该处理。这些信息值(这里是距离信息值)然后允许生成这里的示出了不同物体4离相机10的不同距离的场景2的深度图像中的与场景有关的信息。
下面将参考图3所示的示图描述根据像素信号生成距离信息。在该示图中，所获取的单个像素信号的样本的强度I随着时间t(使用连续波ToF相机)被描绘出。后续四个样本的组在该示例中被用来生成一个距离信息值(这里也称为深度值)，例如，通过计算相移
Figure BSA00000599228500101
为
Figure BSA00000599228500102
Figure BSA00000599228500103
然后计算深度d为
Figure BSA00000599228500104
这里，I0、I1、I2、I3对应于被延迟角度θ＝{0°，90°，180°，270°}的矩形参考信号与正弦光信号的相关函数的样本。c是光速，υ是光源的调制频率(应该注意，该重建仅对每组四个样本有效，并且仅对使用大约正弦调制的连续波ToF系统有效)。例如，如图3中所示，样本1至4被用来生成深度值1，样本5至8被用来生成深度值2，等等。
所生成的深度值产生也如图3中所示的所计算出的深度的深度曲线Dc，所述深度曲线Dc指示场景的被扫描物体离相机的距离。在图3中所示的情形中，所计算出的深度曲线正确地反映出了物体的真实深度。但是，存在会出现问题的情形，这些情形将参考图4进行说明。
在图4中所示的示图中，描绘了这样的情形：其中第三组S3的四个样本s31、s32、s33、s34示出了相比于第二组S2的s21、s22、s23、s24的不连续性。具体地，尽管第三组S3的样本s31、s32具有与前一组S2的相应样本s21、s22基本相同的值，但是第三组S3的s33、s34不具有基本与前一组S2的相应样本s23、s24相同的强度值，而是具有更高的强度值(指示该物体或场景特征在第三组S3的样本s31、s32、s33、s34的获取期间很有可能移动了)。
现在，如果深度值3应该根据第三组S3的样本s31、s32、s33、s34计算，则结果可能是错的，即，深度可能会被错误估计。假设如上所述的相同系统，这可以对应于I0＝s31、I1＝s32、I2＝s33、I3＝s34的情况。所以，如果样本是在不同的条件下获取的，例如，如果s33和s34描述了与s31和s32描述的状态不同的状态，则计算相移
Figure BSA00000599228500111
(使用前述公式)一般会产生不同(并且错误)的结果。
为了应对这些情形并解决这些问题，根据本发明(参见图2)，不连续性检测器22被设置为评估单元18的一部分。所述不连续性检测器22检测在至少两个后续样本的所述组中(在图3和图4所示的实施例中，四个样本的组被使用)，相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。具体地，在优选实施例中，样本的每个样本值被与前一组中的相应(未经校正的)样本的样本值进行比较。例如，如图5中所示，在样本s23和s33之间、s24和s34之间、s31和s41之间、s32和s42之间、s41和s51之间、s42和s52之间、s43和s53之间、以及s44和s54之间检测到了不连续性(在图中用“d”指示)。
所以，一般地，该比较是针对紧邻的在前组进行的。但是，与早前的多个组的比较一般也是可能的，并且应该被理解为由针对在前组进行比较的定义所覆盖。然而，这种针对早前的组的比较(即，比紧邻的在前组更前)将使用较低的时间分辨率并且给出更低的精确度，但是这将是仅允许与早前的多个组比较的实施例。
一般地，如果数据可用(在最不可能是这种情况的“直播系统”中)，针对后续组的比较也是可能的。另一方面，如果存在两个组A和B，则组A与后续组B的比较将产生把组B和前一组A相比较相类似的结果，即，与后续组的比较没有真正的益处。
现在看分别包括四个样本的五个组S1至S5，其示出由不连续性检测器22检测出来的在第三组S3的结尾处存在两个不连续性，在第四组S4的起始处存在两个不连续性，并且在第五组S5中存在四个不连续性。
该信息，即不连续性检测器22的输出现在被提供给不连续性校正器24(参见图2)，该不连续校正器对某些检测出的不连续性进行校正。具体地，在一个实施例中，出现在用于计算一个深度值的至少两个样本的组中的不连续性只有在如下情况中才被校正：所述不连续性没有出现在所述组的起始样本中，并且对于所述组的所有后续样本，至少在最后的样本中检测到不连续性。即，该组包括一个或多个连续值，其后仅跟随一个或多个不连续值。更优选地(并且一般来说，更鲁棒的)，在第一个被检测出的不连续性之后，直到该组的最后一个样本，才存在不连续性，但是在该组中的第一个不连续性之后不再有可用的连续值。这意味着(看图5中所示的情形)在组S4和S5中检测出的不连续性没有被校正，这是因为这些组还在第一样本中包括不连续性(尽管这两组还在相同组的后续样本中包括不连续性)。但是在组S3中检测出的不连续性被校正，这是因为该组在第一样本中不包括不连续性，并且还在直到最后一个样本为止的后续样本中包括一个连续的不连续性序列。
组S4和S5不应被校正，即如果不连续性只存在于一组的起始样本中，或者如果所有样本都是不连续的，则不应该进行校正。问题是，边缘是否出现在当前组中。一般地，只有其出现在当前组内，校正才是必需的。对于组S5，这意味着如果所有样本都是不连续的，则所有样本相比于在前组S4改变。由此可知出现在S4和S5之间的原因(即，运动边缘)。所以，S5的所有样本描述了该场景的同一状态，从而深度的重建是正确的。
对于组S4，时间顺序是已知的：s31、s32、s33、s34、s41、s42、s43、s44。为了获知校正是否是必需的，理解边缘何时出现是非常重要的：如果s41、s42相比于s31、s32是不连续的，则可以得知边缘出现在s41和s31之间、以及s42和s32之间。如果s43、s44相比于s33、s34是连续的，则可以得知s43和s33之间不存在边缘，并且s44和s34之间不存在边缘。在组合的情况中，即如果s42和s32之间存在不连续性并且s43和s33之间不存在边缘，则可以得知边缘一定在s32和s33之间，边缘没有出现在S4中并且组S4是正确的。
为了执行所提出的校正，不连续性校正器24能够操作用于通过用同一像素信号中的所述至少两个后续样本的前一组中的相应样本的样本值来替换所述样本值，来对检测出的样本的不连续性进行校正。具体地，参考图5中所示的组S3，样本s33的强度值被样本s23的样本值替代，并且样本s34的强度值被样本s24的样本值替代。这产生了图6中的情形。
在该校正之后，经校正的组S3’不再包括任何不连续性。经校正的组S3’然后被所述信息值计算器20用来确定用于该组的信息值，在本示例中具体被用来确定深度值3。结果，估计出的深度曲线De被得出，该曲线在图6中相对于真实的深度曲线Dr被示出。除了其中深度值是根据校正后的第三组S3’的样本的样本值被生成的区域以外，这两条曲线是相同的。但是，在此时刻的场景状态的该时间误差可以被接受，并且鉴于所得到的优点，在大多数应用中可以被忽略。
所提出的方法由于以下两个原因而保留了运动物体的几何形状：第一，校正仅影响物体的小部分(物体的边缘)。第二，物体的相对边缘以相对的方式被影响，所以所应用的校正的平均空间效果为零。例如，为了给出描述性的说明，在场景中水平运动的方形元素在其左侧和右侧边缘上生成了运动失真。所提出的发明用在先获取的相应值来对受影响的像素的原始值进行覆写。这使得这些边缘在当前运动的相反方向中位移(朝向物体的原点位置)。由于这两个边缘被移动了相同的距离，所以该物体的区域没有改变。只有其位置被调整，并且对应于第一原始通道的获取期间的物体的位置。
下面的伪码描述了所提出的算法的实施例(把深度值作为信息值的一个示例)：
令It，i为将要测量的原始值，t为获取的时间步阶，i为n个原始通道的索引。
对于每个像素，进行
对于n的每个原始值i，进行
dIt，i＝It0，i-I(t0-1)，I；
如果|dIt0，i|＞阈值，则针对当前帧t0将原始值标记为不连续的；
如果原始值的子集被同时获取：
将每个子集的所有原始数据标记为不连续的，如果子帧的任一原始值已被标记为不连续的话；
如果用于计算深度值的原始值部分地被标记为不连续的(即，不是所有通道都是不连续的并且不是所有通道都是连续的)：
生成警告信号
如果用于计算深度值的原始值由(按时间顺序)其后仅跟随一个或多个不连续值的一个或多个连续值组成，并且原始数据的校正被使能：
则用在先获取的相应值来覆写不连续的原始值：对于被标记为不连续的所有通道i，dIt0，i←dI(t0-1)，i；
将当前像素的深度值和当前的时间步阶t0标记为经校正的；
计算深度值。
对于以上参考图3至图6描述的实施例，在下面的情形中校正被执行(假设一组包括四个样本)：“-ddd”、“--dd”、“---d”，即，该组包括一个或多个连续值，其后仅跟随一个或多个不连续值。在这种校正之后，在当前时间步阶处的当前像素的深度值优选地被标记为经过校正。
ToF相机的上述实施例，具体地图2中所示的处理器18的实施例包括不连续性检测器和不连续性校正器。在所提出的ToF相机的另一实施例中，图7中所示的处理器18’不包括不连续性校正器，只包括信息值计算器20和不连续性检测器22，因为在一些应用中对不连续性进行检测而不进行校正是有益的。还存在这样的情形，其中校正失败从而使得优选采用检测器信号来识别所述不连续性，但放弃自动校正。
可选地，警告信号输出端26可以被设置，该警告信号输出端在检测出不连续性的情况中输出警告信号，如果所述不连续性没有出现在包括至少两个后续样本的组中的第一样本中的话。其输出可以是携带以下信息的一种警告或信息信号：在检测信号中或者在某组样本中已检测出了不连续性(或者边缘)。除了缺少不连续性校正器(在这里除了警告信号输出端26以外，其也可以可选地被设置来用于在警告信号输出端26发出警告信号的某些或所有情形中执行不连续性的校正)以外，图7中所示的处理器和这种ToF相机的元件一般与图2中所示的处理器和图1中所示的ToF相机的元件相同。
参考图3至图6说明的ToF相机的实施例通过分析传感器原始数据的时间信号来检测并校正因横向(或者极快地)移动物体导致的运动失真。尤其是运动边缘(颜色、深度等)(在场景中)引起了严重错误。如果(且仅当)在获取一组原始数据值内的样本期间边缘出现，则像素信息值(例如，深度)是错误的。
所以，多种情况可以被区别开：
a)边缘的出现：该边缘可以出现在两个后续样本的获取之间，或者在一个样本的获取期间(例如，组S1包括样本s11、s12、s13、s14；并且这两种可能性是：s11-s12-(边缘)-s13-s14或者s11-s12-[s1(边缘)3]-s14)；
b)边缘的数目：在获取两个被比较的样本组期间一个边缘碰上像素，或者在获取两个被比较的组期间一个以上边缘碰上该像素。
对于情况a)，可以注意，当前的系统一般具有相比于样本之间的延迟的非常短的积分时间(对于单个样本)。所以，在获取两个样本期间出现边缘的可能性更高。但是，如果在获取一个像素期间边缘出现，则将导致检测出当前样本或者后续样本的不连续性(取决于其精确的出现时间和不连续性检测器的阈值的设置)。这两种情形将由所提出的相机正确处理。
对于情况b)，可以注意，利用以上描述的实施例的算法，在用于比较的样本所来自的两个组中出现的仅一个边缘被正确处理。例如，如果来自连续组的样本被比较，则出现在两个连续组中的仅一个边缘被允许。例如，如果每组存在一个边缘(“E”)以及四个样本，则以下的情况会出现(“0”表示没有不连续性，“d”表示不连续性)：
对于此示例，当前组的校正在下面的情况中是必要的：0ddd、00dd、000d。类似地，对于包括两个样本的组，将要校正的情况是0d。对于三个样本，将要校正的情况是0dd和00d。用于校正的一般规则是(在每组只有单个边缘并且在一组中被检测出的不连续性之后该同一组的所有后续样本也示出了不连续性的假设下)：如果不连续性不在组中的第一样本中并且如果该同一组的随后的样本中的至少一个中存在不连续性，则不连续性应该被校正。如果这些随后样本中的一个样本是不连续的并且每组至多有一个边缘的假设有效，则该组的所有随后的样本也将是不连续的，即，像0d0这样的情况违反了该假设并且不应该发生。
在另一实施例中，不连续性校正器24可操作用于如果所述不连续性没有出现在至少两个后续样本的组S3的第一样本s31中并且如果在第一个被检测出的不连续性之后(在所有的后续样本s32、s33、s34内)所述组S3中的在所述第一个被检测出的不连续性之后的所有样本都被检测为不连续的，则对在所述组S3中检测出的样本的不连续性进行校正。这覆盖了像0ddd和00dd之类的情形，但是不包括像0dd0的情形，并且一般地比以上描述的不连续性检测的实施例更加鲁棒，其进而在计算时间方面一般更快。
现在，假设两个被比较的组中存在一条以上边缘。例如，作为一个示例，每组两个样本，比较来自用于确定不连续性的连续组的数据，并且将考虑下面的情景：
Figure BSA00000599228500171
下面的问题出现了：根据上面规定的规则，序列0d将引起校正，这将提供错误结果(在此情况中，取而代之的是，校正是不必要的)。但是，不连续性的出现可以被用作用于该像素的不可靠深度信息(或者，更一般地，不可靠信息值)的指示符。
所以，考虑每个样本组存在一条以上边缘时，下面的情形可以在高级模式被区别出：
A)常规情况：该组包括零个或多个不连续样本，其后仅跟随零个或多个连续样本(例如，在每组四个样本的情况中：0000，d000，dd00，ddd0，dddd)；
B)警告：不是A)中的情况的所有可能情况，例如，0d00，00dd，00d0，0dd0，0ddd，d0d0，dd0d；
C)(B的子集)校正(可选)：(不是第一样本为不连续的)逻辑与(第一个检测到的不连续性之后的所有随后的样本是不连续的)，例如，0ddd，00dd，000d。
所以，在一个实施例中，以下规则被实现以处理上述情形：如果对于一组来说当前检测出的情况对应于情况A的情形，则将不做任何事，即不进行不连续性的警告或者校正。否则，例如将通过图7中所示的可选警告信号输出端26发出警告(例如，指示一个或多个被检测出的不连续性的警告标志将被设置)，并且在对于一组来说当前检测出的情况对应于情况C的情形，则校正(如果需要)将通过图2中所示的不连续性校正器24被执行。
一般地，不连续性校正器24和警告信号输出端26可操作来使得在相同的被检测情形中，校正被进行并且警告信号被发出。在另一实施例中，只有在(如上所述的)某些情形中，校正被执行，而一般地在检测出不连续性(即，而且如果该不连续性不被校正的话)的情况中警告信号被发出，即，在更多情形中，警告信号被发出。在又一实施例中，警告信号只在不连续性被检测到(假设其不是在第一样本中)但是不被校正的情形下被发出，即，在这些情形中，警告信号被发出或者校正被进行，但不是它们两者被进行。另外，在一个实施例中，根本不进行校正并且只有警告信号被发出，对于该实施例，警告信号输出端26可以对不连续性校正器24应用上述规则中的一个或多个规则。优选地，对于从经校正的原始数据生成的每个信息值，描述该性质的信号应该被设置(例如，指示深度值不是纯粹被测量出来的而是部分地根据经校正的数据被生成的)。
在优选实施例中，不连续性检测器22能够操作用于针对包括至少两个样本的组中的样本，分别确定该组中的样本的样本值与包括至少两个样本的前一组中的相应样本的样本值之间的差值，以判断所述差值是否超过了预定的不连续性阈值并且在相应的差值超过所述预定不连续性阈值的情况下将样本标记为不连续的。所述不连续性阈值优选地由该方法的设计者或者用户设置。最佳设置一般依赖于所使用的硬件、场景参数、以及期望精确度。仅仅给出一个示例，是样本值的5％的阈值可以是合理值，但是该阈值也可以被选择得更大或者更小。另外，所述不连续性阈值的自动调整一般也可能的。
优选地，所述不连续性检测器和所述不连续性校正器分别能够操作用于检测并校正所述辐射检测器的所有像素中的不连续性。但是，在其他实施例中，仅被选择的像素可被用于不连续性检测和校正。例如，在预期没有运动边缘和/或没有运动失真(或者被证实没有运动边缘和运动失真)的区域中，所提出的方法不需要被应用，以节省处理工作量和时间。这些区域可以相应地被标记，并且此外各个算法可被应用来找出这些区域。替代地，关于场景的先前知识可以被用来标识这些区域。该意义上的区域不是仅包括相连接的像素的组，而是代表可用像素的任意子集。
如已经提到的，在一个实施例中，辐射源能够操作用于连续发射电磁辐射，并且信息值计算器能够操作用于基于来自同一像素信号的所述包括至少两个后续样本的组中的所述样本的相位信息来确定信息值。替代地，辐射源能够操作用于发射辐射脉冲，并且信息值计算器能够操作用于基于同一像素信号的所述包括至少两个后续样本的组中的所述样本的强度信息来确定信息值。所以，如何照射场景以及如何评估被反射的辐射的不同原理可以与本发明结合应用。
根据本发明，确定信息值所根据的一组样本包括至少两个样本。但是优选地，至少三个样本被使用，并且因此信息值计算器、不连续性检测器以及不连续性校正器能够操作用于处理同一样本信号的包括至少三个后续样本的组。具体地，如果存在一些关于场景的知识，则使用每个组中的两个样本的检测也是可行的，例如如果未经调制的光的强度已知的话(即，存在两个未知因素，具体地在获取深度图像的情况中的相移和幅度)。即，例如，荧光寿命成像(FLIM)中的情况、深度成像以外的ToF应用，其中，样本的相移使用显微镜被测量，以估计环境参数(温度、氧浓度、...)等。在这种应用中，环境光一般不存在，并且光源的特性(具体地，其未经调制的辐射的强度)是公知的。原则上，本发明也可应用于FLIM应用。
使用三个以上样本对于一些应用可以具有优点。例如，在FLIM应用中，其使得能够分离多个混合的相位。在深度成像中，其使得能够校正辐射源的较高次谐波。但是一般地，对于组中的样本数目没有上限。
本发明优选地使用具有多个像素的检测器，这多个像素优选地被排列为阵列。但是，在一些应用中，仅具有单个像素的检测器可以被使用。在这种情况中，3D ToF相机实际上被理解为仅递送(一维)深度信息而不递送其他两个方向中的信息的相机。
任何种类的电磁辐射都可以被用在根据本发明的设备和方法中。这不仅包括可见光谱，而可以包括例如，X-射线、紫外线、红外线、兆兆赫波、微波和无线电。对于大多数种类的辐射(特别地除了紫外线、红外线和可见光以外)，修改后的检测器应当被使用(特别地，而非例如包括转换器(X射线到可见光)或者微天线(例如，用于兆兆赫辐射)的纯硅)。
优选地，评估单元能够操作用于生成与场景有关的信息，该信息关于场景中的一个或多个物体的距离、场景中的一个或多个物体的反射率和/或(尤其是周围环境光的)环境辐射的强度。但是，其他与场景有关的信息也可以利用本发明被生成。
例如，非常简单的ToF传感器(即，检测器)可以识别出进入一定深度范围的物体，而无需清楚地计算出它们的深度(例如，通过比较传感器原始数据和预定义阈值)。这种系统也可以使用本发明。
另外，本发明可以被用在FLIM应用中。这种FLIM机构一般基于荧光显微镜，该荧光显微镜使用辐射源(例如，LASER或者LED)来利用某个波长的电磁辐射对样本进行照射。该样本包括能够发出荧光的物质(例如，染料)，这意味着这些物质能够吸收某个波长(优选地对应于光源波长)的光，并且在某个时间延迟之后发射另一波长的光。由于这种衰退是一种量子处理，所以所述时间延迟由衰退时间定义，其中该衰退时间是大量荧光粒子的最可能延迟时间。衰退时间可以在数小时到数阿托秒(10-18秒)的范围中。用于FLIM的典型衰退时间在1ms到1ns的范围中。在FLIM机构中，光源是可控的，并且检测器能够执行使能衰退时间的计算的测量。例如，连续波ToF检测器可以被用来测量入射荧光和光源信号之间的相移，从而使能衰退时间的计算。如果包括多个像素的检测器被使用，则衰退时间的这种测量可以空间地被求解。存在其衰退时间依赖于环境参数的特定染料。例如，存在具有依赖于局部氧浓度、温度、压力等的衰退时间的染料。通过在样本中或附近使用这样的染料，这些环境参数的测量变得可行。但是应该注意，可能存在未采用ToF技术的FLIM机构。
本发明的另一应用领域是压力敏感涂料(PSP)。压力敏感涂料例如被用在空气动力学试验中，用于远程测量模型的表面上的空气压力。该原理非常类似于FLIM：利用包含染料的物质对样本上色，其中该染料具有依赖于局部空气压力的衰退时间。通过测量衰退时间，可以估计出局部压力，该局部压力是用于空气动力学试验的重要信息。用于PSP的典型衰退时间在1ms到1ns的范围内。但是应该注意，可能存在未采用ToF技术的PSP机构。
所提出的方案可被应用于由包括基于脉冲的系统和连续波系统在内的所有种类的飞行时间相机获得的数据。本发明能够实现对由场景特征的横向移动或者快速改变导致的运动失真的检测和抵消。所以，所生成的与场景有关的信息(即，深度图)的质量被提高。为了这个目的，所提出的发明优选地仅使用正被校正的像素的原始值和时间关系来执行局部分析，这带来了算法的低复杂性(O(n)，n是像素的数目)，从而使能实时实现。所提出的方法具体地比在前面引用的Lindner/Kolb的文章中提出的基于光流估计的运动补偿算法的快数个量级。
总之，已知的3D ToF相机通过组合多个原始图像来测量距离图。当前的系统无法即时获取所有的原始图像，但是必需连续捕捉它们。如果观察到的场景在该处理期间正在改变，则计算出的深度图不正确。尤其是运动的深度或颜色边缘将导致严重错误，即所谓的运动失真。所提出的方案检测，并且优选地补偿这些失真。这种实时方法识别出受影响的像素，并且使用在先获取的原始值来计算所期望的与场景有关的信息值。
已经在附图和前面的描述中详细示出并描述了本发明，但是这些阐述和描述应该被当作说明性的或者示例性的而不是限制性的。本发明不限于所公开的实施例。根据附图、公开、以及所附权利要求的教导，在实现请求保护的发明的过程中本领域技术人员可以理解并实现所公开的实施例的其他变型。
在权利要求中，词“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中陈述的若干项的功能。某些测量结果在相互不同的权利要求中被陈述的起码事实并不指示这些测量结果的组合不能被用来获得优点。
计算机程序可以被存储/分布在诸如被一起提供或者作为其他硬件的一部分提供的光学存储介质或者固态介质之类的适当的非临时介质上，但是也可以以诸如经由互联网或者其他有线或无线电信系统之类的其他形式被分布。
权利要求中的任何参考标号不应该被理解为对范围的限制。

Claims (22)

1.一种3D飞行时间相机，用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，所述相机包括：
辐射源(12)，该辐射源生成并发射用于照射所述场景(2)的电磁辐射(13)，
辐射检测器(14)，该辐射检测器检测从所述场景(2)反射的电磁辐射(15a、15b)，所述辐射检测器(14)包括一个或多个像素(16)，具体地包括像素阵列，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并且生成像素信号，
评估单元(18)，该评估单元评估所述一个或多个像素信号并且从所述一个或多个像素信号生成与场景有关的信息，其中所述评估单元包括：
信息值计算器(20)，该信息值计算器根据同一像素信号中的至少两个后续样本的组来确定所述与场景相关的信息的信息值，以及
不连续性检测器(22)，该不连续性检测器检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
2.根据权利要求1所述的3D飞行时间相机，
还包括不连续性校正器(24)，该不连续性校正器通过用该同一像素信号中的所述至少两个后续样本的前一组(S2)的相应样本(s23、s24)的样本值来替代在所述至少两个后续样本的组(S3)中检测出不连续性的样本(s33、s34)的样本值，来校正所述至少两个后续样本的组(S3)中所检测出的所述样本(s33、s34)的不连续性，
其中，所述信息值计算器(20)能够操作用于使用该同一像素信号中的至少两个后续样本的经校正组(S3’)来确定所述信息值。
3.根据权利要求2所述的3D飞行时间相机，
其中，如果在所述至少两个后续样本的组(S3)中所检测出的样本(s33、s34)的不连续性未出现在所述组(S3)的第一样本(s31)中并且如果在所述组(S3)的所有后续样本(s32、s33、s34)中至少在最后一个样本(s34)中检测到不连续性，则所述不连续性校正器(24)能够操作用于校正所述组(S3)中所检测出的样本(s33、s34)的不连续性。
4.根据权利要求2所述的3D飞行时间相机，
其中，如果在所述至少两个后续样本的组(S3)中所检测出的样本的不连续性未出现在所述组(S3)的第一样本(s31)中并且如果在所述组(S3)的所有后续样本(s32、s33、s34)中至少一个不连续性被检测到，则所述不连续性校正器(24)能够操作用于校正所述组(S3)中所检测出的样本的不连续性。
5.根据权利要求2所述的3D飞行时间相机，
其中，如果在所述至少两个后续样本的组(S3)中所检测出的样本的不连续性未出现在所述组(S3)的第一样本(s31)中并且如果在第一个所检测出的不连续性之后，在所述组(S3)中位于所述第一个所检测出的不连续性之后的所有后续样本被检测为不连续的，则所述不连续性校正器(24)能够操作用于校正所述组(S3)中所检测出的样本的不连续性。
6.根据权利要求1所述的3D飞行时间相机，
还包括警告信号输出端(26)，在检测出不连续性的情况下，如果所述不连续性没有出现在所述至少两个后续样本的组(S3)的第一样本(s31)中并且如果并未针对所述至少两个样本的组中的所有样本都检测到不连续性，该警告信号输出端输出警告信号。
7.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述不连续性检测器(24)能够操作用于分开地将所述至少两个后续样本的组(S3)的样本(s31、s32、s33、s34)的样本值与该同一像素信号中的至少两个后续的未经校正样本的前一组(S2)的样本(s21、s22、s23、s24)的样本值相比较，以用于检测所述组(S3)中的不连续性。
8.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述不连续性检测器(24)能够操作用来针对所述至少两个样本的组(S3)的所述样本(s31、s32、s33、s34)分别确定所述组(S3)的样本(s33)的样本值与所述至少两个样本的前一组(S2)的相应样本(s23)的样本值之间的差值，以判断所述差值是否超过了预定的不连续性阈值，并且如果相应差值超过所述预定的不连续性阈值，则将样本标记为不连续的。
9.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述不连续性检测器(22)能够操作用来检测所述辐射检测器(14)的所有像素(16)中的不连续性。
10.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述不连续性校正器(24)能够操作用来对所述辐射检测器(14)的所有像素(16)中的不连续性进行校正。
11.根据权利要求1至8中任一项所述的3D飞行时间相机，
其中，所述不连续性检测器(22)能够操作用来仅对所述辐射检测器(14)中的被选择像素(16)中的不连续性进行检测，具体地，用来对用于检测来自所述场景的如下区域的辐射的像素中的不连续性进行检测，所述场景的所述区域实际上或者预期地示出了场景特征的快速改变或者场景物体的横向移动。
12.根据权利要求1至9中任一项所述的3D飞行时间相机，
其中，所述不连续性校正器(24)能够操作用来仅对所述辐射检测器(14)中的被选择像素(16)中的不连续性进行校正，具体地，用来对用于检测来自所述场景的如下区域的辐射的像素中的不连续性进行校正，所述场景的所述区域实际上或者预期地示出了场景特征的快速改变或者场景物体的横向移动。
13.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述辐射源(12)能够操作用来发射从1nm到1cm的波长范围中的电磁辐射(13)，具体地，用来发射红外光、可见光或者紫外光。
14.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述辐射源(12)能够操作用来连续发射电磁辐射(13)，并且其中所述信息值计算器(20)能够操作用来基于从所述场景反射的光的相位信息来确定所述信息值，从而导致对同一像素信号中的所述至少两个后续样本的组中的所述样本的修改。
15.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述辐射源(12)能够操作用来发射辐射脉冲，并且其中所述信息值计算器(20)能够操作用来基于同一像素信号中的所述至少两个后续样本的组中的所述样本的强度信息来确定所述信息值。
16.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述评估单元(18)能够操作用来生成与场景有关的信息，该与场景有关的信息与所述场景(2)中的一个或多个物体(4a、4b)的距离、所述场景中的一个或多个物体(4a、4b)的反射率(29)和/或由所述场景反射的未经调制辐射(6)的强度有关，所述未经调制辐射(6)具体包括周围环境光和所述辐射源的未经调制光。
17.根据前述任一权利要求所述的3D飞行时间相机，
其中，所述信息值计算器(20)、所述不连续性检测器(22)和/或所述不连续性校正器(24)能够操作用来处理同一像素信号中的至少三个后续样本的组。
18.一种3D飞行时间方法，用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，所述方法包括以下步骤：
生成并发射用于照射所述场景(2)的电磁辐射(13)，
通过包括有一个或多个像素(16)，具体地包括有像素阵列的辐射检测器(14)来检测从所述场景(2)反射的电磁辐射(15a、15b)，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并生成像素信号，
评估所述一个或多个像素信号并且从所述一个或多个像素信号生成与场景有关的信息，包括以下子步骤：
根据同一像素信号中的至少两个后续样本的组(S3)来确定所述与场景有关的信息的信息值，以及
检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
19.一种用在3D飞行时间相机中的处理器，所述3D飞行时间相机用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，其中所述相机包括生成并发射用于照射所述场景(2)的电磁辐射(13)的辐射源(12)以及检测从所述场景(2)反射的电磁辐射(15a、15b)的辐射检测器(14)，所述辐射检测器(14)包括一个或多个像素(16)，具体地包括像素阵列，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并生成像素信号，所述处理器能够操作用来评估所述一个或多个像素信号并根据所述一个或多个像素信号生成与场景有关的信息，其中所述处理器(18)包括：
信息值计算器(20)，该信息值计算器根据同一像素信号中的至少两个后续样本的组来确定所述与场景有关的信息的信息值，以及
不连续性检测器(22)，该不连续性检测器检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
20.一种用在3D飞行时间方法中的处理方法，所述3D飞行时间方法用于获取关于场景的信息，具体地用于获取场景的深度图像、关于场景的入射辐射和参考信号之间的相移的信息、或者关于该场景的环境信息，所述3D飞行时间方法包括生成并发射用于照射所述场景(2)的电磁辐射(13)的步骤以及通过包括有一个或多个像素(16)，具体地包括有像素阵列的辐射检测器(14)来检测从所述场景(2)反射的电磁辐射(15a、15b)的步骤，其中所述一个或多个像素分别检测从所述场景反射的电磁辐射并且生成像素信号，所述处理方法能够操作用于评估所述像素信号并从所述像素信号生成距离值，其中所述处理方法包括以下步骤：
根据同一像素信号中的至少两个后续样本的组(S3)来确定所述与场景有关的信息的信息值，以及
检测在所述至少两个后续样本的组中相比于该同一像素信号中的至少两个后续样本的前一组是否出现了不连续性。
21.一种计算机程序，包括程序代码装置，用于当所述计算机程序在计算机上被执行时使得所述计算机执行如权利要求20所述的方法的步骤。
22.一种存储有指令的计算机可读非临时介质，所述指令在计算机上被执行时使得所述计算机执行如权利要求20所述的方法的步骤。
CN201110328845XA 2010-10-21 2011-10-21 3d飞行时间相机和方法 Pending CN102567986A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10188353 2010-10-21
EP10188353.6 2010-10-21

Publications (1)

Publication Number Publication Date
CN102567986A true CN102567986A (zh) 2012-07-11

Family

ID=45972694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110328845XA Pending CN102567986A (zh) 2010-10-21 2011-10-21 3d飞行时间相机和方法

Country Status (2)

Country Link
US (1) US9194953B2 (zh)
CN (1) CN102567986A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105182357A (zh) * 2014-06-06 2015-12-23 英飞凌科技股份有限公司 具有位置传感器系统的飞行时间相机
CN105372667A (zh) * 2014-08-11 2016-03-02 英飞凌科技股份有限公司 飞行时间装置和照明源
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN106233219A (zh) * 2015-03-31 2016-12-14 深圳市大疆创新科技有限公司 移动平台操作系统及方法
CN102694998B (zh) * 2011-03-24 2017-03-01 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN107209254A (zh) * 2015-01-30 2017-09-26 微软技术许可有限责任公司 扩展范围选通飞行时间相机
CN107278272A (zh) * 2015-03-27 2017-10-20 英特尔公司 时空压缩飞行时间成像技术
CN107636488A (zh) * 2015-07-20 2018-01-26 谷歌有限责任公司 用于提高飞行时间像素阵列的分辨率的方法和设备
CN108700660A (zh) * 2016-02-03 2018-10-23 微软技术许可有限责任公司 时间的飞行时间
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置
CN109738881A (zh) * 2019-01-11 2019-05-10 歌尔股份有限公司 飞行时间深度模组的标定方法、装置及可读存储介质
CN110956603A (zh) * 2018-09-25 2020-04-03 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
WO2020106928A1 (en) * 2018-11-21 2020-05-28 Zoox, Inc. Intensity and depth measurements in time-of-flight sensors
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距系统
CN112640447A (zh) * 2018-08-30 2021-04-09 韦奥机器人股份有限公司 深度感测计算机视觉系统
US11054515B2 (en) 2018-06-26 2021-07-06 Zoox, Inc. Radar clustering and velocity disambiguation
CN114174854A (zh) * 2019-08-07 2022-03-11 华为技术有限公司 飞行时间深度增强
CN114739626A (zh) * 2022-06-13 2022-07-12 中国空气动力研究与发展中心高速空气动力研究所 一种基于快速响应压敏漆的旋转叶栅测压试验方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013086543A2 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Ambient light alert for an image sensor
US20130208091A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Ambient light alert for an image sensor
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9270885B2 (en) * 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
AT513589B1 (de) * 2012-11-08 2015-11-15 Bluetechnix Gmbh Aufnahmeverfahren für zumindest zwei ToF-Kameras
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9274202B2 (en) 2013-06-20 2016-03-01 Analog Devices, Inc. Optical time-of-flight system
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
US9785824B2 (en) * 2014-04-15 2017-10-10 Infineon Technologies Ag Apparatus and a method for detecting a motion of an object in a target space
KR20150133086A (ko) 2014-05-19 2015-11-27 삼성전자주식회사 깊이 영상 획득 방법 및 그 영상 획득 장치
KR102194233B1 (ko) * 2014-05-19 2020-12-22 삼성전자주식회사 깊이 영상 생성 장치 및 방법
US9897699B2 (en) * 2014-07-09 2018-02-20 Massachusetts Institute Of Technology Methods and apparatus for virtual sensor array
JP6197771B2 (ja) * 2014-09-25 2017-09-20 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
US9716819B2 (en) * 2014-09-29 2017-07-25 Samsung Electronics Co., Ltd. Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US10110881B2 (en) * 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
WO2019096410A1 (en) * 2017-11-17 2019-05-23 Thyssenkrupp Presta Ag Method for detecting and warning of aquaplaning in a motor vehicle
US10785422B2 (en) 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
US11796679B2 (en) * 2018-05-29 2023-10-24 Sony Semiconductor Solutions Corporation Time of flight sensor and method
EP3859394A4 (en) * 2018-09-28 2022-03-02 Panasonic Intellectual Property Management Co., Ltd. DEPTH ACQUISITION DEVICE, DEPTH ACQUISITION METHOD AND PROGRAM
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
US11272157B2 (en) 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Depth non-linearity compensation in time-of-flight imaging
JP7401211B2 (ja) 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
CN111815524B (zh) * 2019-12-11 2024-04-23 长沙天仪空间科技研究院有限公司 一种辐射定标的校正系统和方法
JP7298536B2 (ja) * 2020-04-30 2023-06-27 株式会社デンソー 物体認識装置
CN111707993B (zh) * 2020-06-11 2022-08-12 北京理工大学 共享可迁移多场景特征的雷达抗干扰快速决策系统和方法
US20220317252A1 (en) * 2021-03-31 2022-10-06 Silc Technologies, Inc. Adjusting lidar data in response to edge effects
US20230320551A1 (en) * 2022-04-11 2023-10-12 Vorwerk & Co. Interholding Gmb Obstacle avoidance using fused depth and intensity from nnt training
CN116320667A (zh) * 2022-09-07 2023-06-23 奥比中光科技集团股份有限公司 一种消除运动伪影的深度相机及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000072004A2 (en) * 1999-05-26 2000-11-30 The Regents Of The University Of California Method of determining the three-dimensional shape of a macromolecule

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000072004A2 (en) * 1999-05-26 2000-11-30 The Regents Of The University Of California Method of determining the three-dimensional shape of a macromolecule

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARVIN LINDNER ET AL.: "Compensation of Motion Artifacts for Time-of-Flight Cameras", 《DYNAMIC 3D IMAGING》 *
MARVIN LINDNER ET AL.: "Spatiotemporal Analysis of Range Imagery", 《DYNAMIC 3D IMAGING》 *
SCHMIDT MARTIN OTMAR: "Spatiotemporal Analysis of Range Imagery", 《THE FACULTY OF PHYSICS AND ASTRONOMY》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694998B (zh) * 2011-03-24 2017-03-01 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理系统
CN105182357B (zh) * 2014-06-06 2018-11-20 英飞凌科技股份有限公司 具有位置传感器系统的飞行时间相机
CN105182357A (zh) * 2014-06-06 2015-12-23 英飞凌科技股份有限公司 具有位置传感器系统的飞行时间相机
CN105372667A (zh) * 2014-08-11 2016-03-02 英飞凌科技股份有限公司 飞行时间装置和照明源
CN105372667B (zh) * 2014-08-11 2019-10-18 英飞凌科技股份有限公司 飞行时间装置和照明源
US10101453B2 (en) 2014-08-11 2018-10-16 Infineon Technologies Ag Time of flight apparatuses and an illumination source
US10677922B2 (en) 2014-10-31 2020-06-09 Rockwell Automotive Safety AG Absolute distance measurement for time-of-flight sensors
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
US11709266B2 (en) 2014-10-31 2023-07-25 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
CN105572681B (zh) * 2014-10-31 2018-06-15 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN107209254B (zh) * 2015-01-30 2020-08-04 微软技术许可有限责任公司 扩展范围选通飞行时间相机
CN107209254A (zh) * 2015-01-30 2017-09-26 微软技术许可有限责任公司 扩展范围选通飞行时间相机
CN107278272A (zh) * 2015-03-27 2017-10-20 英特尔公司 时空压缩飞行时间成像技术
CN106233219B (zh) * 2015-03-31 2020-03-17 深圳市大疆创新科技有限公司 移动平台操作系统及方法
CN111273690A (zh) * 2015-03-31 2020-06-12 深圳市大疆创新科技有限公司 移动平台操作系统及方法
CN106233219A (zh) * 2015-03-31 2016-12-14 深圳市大疆创新科技有限公司 移动平台操作系统及方法
CN107636488A (zh) * 2015-07-20 2018-01-26 谷歌有限责任公司 用于提高飞行时间像素阵列的分辨率的方法和设备
CN108700660B (zh) * 2016-02-03 2022-04-15 微软技术许可有限责任公司 时间的飞行时间
CN108700660A (zh) * 2016-02-03 2018-10-23 微软技术许可有限责任公司 时间的飞行时间
US11054515B2 (en) 2018-06-26 2021-07-06 Zoox, Inc. Radar clustering and velocity disambiguation
CN112640447B (zh) * 2018-08-30 2022-04-29 韦奥机器人股份有限公司 深度感测计算机视觉系统
CN112640447A (zh) * 2018-08-30 2021-04-09 韦奥机器人股份有限公司 深度感测计算机视觉系统
CN109272556B (zh) * 2018-08-31 2021-04-30 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置
CN109272556A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置
CN110956603A (zh) * 2018-09-25 2020-04-03 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
US10830894B2 (en) 2018-11-21 2020-11-10 Zoox, Inc. Intensity and depth measurements in time-of-flight sensors
WO2020106928A1 (en) * 2018-11-21 2020-05-28 Zoox, Inc. Intensity and depth measurements in time-of-flight sensors
CN109738881A (zh) * 2019-01-11 2019-05-10 歌尔股份有限公司 飞行时间深度模组的标定方法、装置及可读存储介质
CN109738881B (zh) * 2019-01-11 2023-08-08 歌尔光学科技有限公司 飞行时间深度模组的标定方法、装置及可读存储介质
CN114174854A (zh) * 2019-08-07 2022-03-11 华为技术有限公司 飞行时间深度增强
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距系统
CN114739626A (zh) * 2022-06-13 2022-07-12 中国空气动力研究与发展中心高速空气动力研究所 一种基于快速响应压敏漆的旋转叶栅测压试验方法

Also Published As

Publication number Publication date
US20120098935A1 (en) 2012-04-26
US9194953B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
CN102567986A (zh) 3d飞行时间相机和方法
US11002856B2 (en) Doppler time-of-flight imaging
US8786678B2 (en) 3D time-of-flight camera and method
US10764487B2 (en) Distance image acquisition apparatus and application thereof
US11536804B2 (en) Glare mitigation in LIDAR applications
CN110709722B (zh) 飞行时间摄像机
Kirmani et al. Looking around the corner using transient imaging
TWI393980B (zh) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
CN110779681B (zh) 检测光学系统异常的测距装置
WO2015148604A1 (en) Space-time modulated active 3d imager
US20180136072A1 (en) Gas detection, imaging and flow rate measurement system
US10488501B2 (en) Device and method for calibrating a light propagation time camera
US9258548B2 (en) Apparatus and method for generating depth image
CN110609299A (zh) 一种基于tof的三维成像系统
Mufti et al. Statistical analysis of signal measurement in time-of-flight cameras
US10989605B2 (en) Streak camera calibration
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
US20200380707A1 (en) Distance image generation device which corrects distance measurement abnormalities
Fang et al. Streak tube imaging lidar with kilohertz laser pulses and few-photons detection capability
US20140367558A1 (en) Methods and Apparatus for High Speed Camera
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
Karel et al. In situ determination of range camera quality parameters by segmentation
WO2015145599A1 (ja) 映像投影装置
Honnungar et al. Focal-sweep for large aperture time-of-flight cameras
Falie et al. Further investigations on ToF cameras distance errors and their corrections.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711