CN109765565A - 用于处理飞行时间相机的原始图像的方法和图像处理设备 - Google Patents

用于处理飞行时间相机的原始图像的方法和图像处理设备 Download PDF

Info

Publication number
CN109765565A
CN109765565A CN201811333900.2A CN201811333900A CN109765565A CN 109765565 A CN109765565 A CN 109765565A CN 201811333900 A CN201811333900 A CN 201811333900A CN 109765565 A CN109765565 A CN 109765565A
Authority
CN
China
Prior art keywords
phase
calibration data
original image
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811333900.2A
Other languages
English (en)
Inventor
H·波兰克
N·德鲁梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN109765565A publication Critical patent/CN109765565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

实施例涉及用于处理飞行时间(ToF)相机(204)的原始图像的方法(100)。该方法包括：确定原始图像的跟踪区域内的相位相关值(106)，并且使用校准数据(108)来确定与相位相关值对应的距离。实施例还涉及根据情况生成(500)校准数据(706)。实施例还涉及如何通过该方法(100)提供对象(210)的位置跟踪，特别是提供了关于对象的距离。实施例还涉及ToF相机(204)的图像处理设备(1200)、ToF相机(204)和计算机程序产品。

Description

用于处理飞行时间相机的原始图像的方法和图像处理设备
技术领域
实施例涉及一种用于操作飞行时间相机(缩写为ToF相机)的方法，尤其涉及一种用于处理ToF相机的原始图像的方法。实施例还涉及用于ToF相机的图像处理设备、ToF相机以及用于ToF相机的计算机程序产品。
背景技术
ToF相机可用于创建深度图像。在该深度图像上，可以显示成像对象或成像对象的部分的相应距离。为此，在基于相位来确定距离的情况下，每个深度图像至少进行四次单独记录。这些单独记录可以被称为单帧或相位图像或ToF原始图像，并且需要重建相应的距离。
对于每个原始图像，光信号或光束可以由ToF相机或ToF相机的发光单元或光源发射，其由对象反射。ToF相机或ToF相机的光接收单元以与该飞行时间相关的相位或时移而接收反射信号。单个图像的相移可以包含与相应对象的距离有关的信息，其中该距离通过组合相应的单帧来确定。
特别地，当在移动设备中使用ToF相机时，其中ToF相机所需的电能会被相应的预定电池容量限定，记录相应的单帧以用于创建深度图像可能对于移动设备的预定操作时间段而言代表过高的能量需求。特别是对于必须连续记录深度图像的对象的位置跟踪，这可能是不利的，因为这导致持续的高能量需求。此外，一个接一个地记录各个单帧的时间段可能产生等待时间，这可能导致ToF相机的图像输出的延迟。
已知用于操作ToF相机和处理ToF相机的原始图像的方法。
需要一种用于操作ToF相机以跟踪对象的方法，通过该方法可以跟踪先前未知的对象，并且减少跟踪时的能量需求和延迟。
发明内容
一个实施例涉及处理飞行时间(ToF)相机的原始图像的方法。该方法包括：确定原始图像的跟踪区域内的相位相关值；并且使用校准数据来确定与相位相关值对应的距离。
根据该方法处理的原始图像也可以被称为由ToF相机以单次曝光记录的相位图像。例如，可以基于以具有单相位或单相移或单相差的调整光进行曝光来记录原始图像。调制光的相位也可以在曝光期间被修改。
这样的原始图像具有至少一个跟踪区域，或者它也可以具有多个跟踪区域或者被细分为这样的跟踪区域。例如，跟踪区域可以是对象内的特定连续区域，其与ToF相机的距离将被确定。至少一个跟踪区域具有至少一个相位相关值。相位相关值也可以被称为原始图像的相位值或者由ToF相机发出的光信号与由ToF相机接收的光信号之间的自相关函数的值。
跟踪区域的相位相关值可以对应于要从ToF相机确定的跟踪区域的距离。校准数据也用于确定该距离。例如，借助于校准数据，可以将相应的距离分别分配给一个相位相关值。由此确定的距离可以是跟踪区域的距离，在该距离内确定相位相关值。
该方法可以仅需要单个原始图像来确定距离。以这种方式，可以减少ToF相机的能量需求，特别是与例如用于确定距离的传统方法相比，能量需求可以减少高达75％。因此，以这种方式操作的ToF相机例如可以用于具有有限能量存储的移动设备中的对象跟踪或对象定位。进一步的效果可以是在根据该方法确定距离时减少等待时间，因为仅需要记录一个而不是几个原始图像来确定与ToF相机的距离。与使用由四个原始图像组成的深度图像来确定距离相比，延迟可降低多达75％。该方法的另外的效果可以是，在确定移动对象的距离时可以完全避免运动伪影，因为总是仅需要单个原始图像来确定距离。
一个实施例涉及用于ToF相机的图像处理设备。图像处理设备包括图像读取装置和距离确定装置。图像读取装置被设计为在原始图像的跟踪区域内提供相位相关值。距离确定装置被设计为使用校准数据确定与相位相关值对应的距离。图像处理设备可以接收至少一个ToF相机的原始图像，或者这样的原始图像可以用于图像处理设备。
图像处理设备可以检测原始图像的跟踪区域或者确定或使用预定的跟踪区域，以便在跟踪区域内确定或输出、提供或存储相位相关值。
图像处理设备还可以借助于距离确定装置确定与相位相关值相对应的距离。可以在图像处理设备或距离确定装置中准备或提供校准数据。距离确定装置可以使用校准数据来为图像处理设备提供的相位相关值分配距离或确定距离。根据一些另外的实施例，图像处理设备还可以被配置为存储或输出如此确定的距离。
其他实施例涉及具有图像处理设备的ToF相机和计算机程序产品。ToF相机可以包括这样的图像处理设备或者与图像处理设备组合。这样的TOF相机可引起，在例如以60赫兹帧频(即，每秒确定60次距离)进行对象定位时，在相同等待时间下用于产生一个原始图像的曝光时间更长，特别是比需要例如四个原始图像来确定距离的ToF相机所需的曝光时间长四倍。较长的曝光时间可确保较高的信噪比。
其他实施例涉及计算机程序产品。该计算机程序产品具有程序代码，该程序代码可以实现处理飞行时间(ToF)相机的原始图像的方法，特别是在可编程硬件组件上执行程序代码时，确定距离。这样的计算机程序产品还可以使得避免在相应的大量计算中从多个相位图像生成深度图像。在一些实施例中，计算机程序产品可以在确定距离时降低CPU利用率，这可以节省成本和能量。
附图说明
现在将仅通过示例的方式参考附图更详细地描述设备和/或方法的一些示例。在图中：
图1是用于处理飞行时间相机的原始图像的方法的示意性框图；
图2是相位相关值与距离之间的关系的示意图；
图3示出了跟踪功能的实施例；
图4示出了实施例中使用的跟踪区域的示例；
图5是用于创建校准数据的方法的示意性框图；
图6是作为相位角的函数的相位相关值和距离之间的关系的示意图；
图7是根据一个实施例的校准数据；
图8示出了根据实施例的校准数据的外插；
图9示出了相位相关值可能模糊地分配给两个距离的示例的示意图；
图10是用于避免模糊分配的方法的一个实施例的方案的图示；
图11示出了用于选择合适的相位的方法的实施例；和
图12是用于飞行时间相机的图像处理设备的实施例。
具体实施方式
现在将参考附图更详细地描述各种示例，其中示出了一些示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被夸大。
因此，尽管其他示例适合于各种修改和替代形式，但是其一些具体示例在附图中示出并且将在下面详细描述。然而，该详细描述并不将进一步的示例限制于所描述的特定形式。其他示例可以涵盖落入本公开范围内的所有修改，等同物和替代物。在整个附图的描述中，相同的附图标记指代相同或相似的元件，这些元件可以相同或相互比较地修改，同时提供相同或相似的功能。
应当理解，当一个元件被称为“连接”或“耦合”到另外的元件时，这些元件可以直接连接或耦合，或者通过一个或多个中间元件连接或耦合。当使用“或”组合两个元素A和B时，应理解公开了所有可能的组合，即，仅有A、仅有B以及A和B。用于相同组合的替代表述是“A和B中的至少一个”。这同样适用于超过2个元素的组合。
用于描述某些示例的术语不旨在限制其他示例。如果是单数形式，例如“一个”和“这个”以及仅使用单个元素没有明确地或隐含地定义为强制性的，其他示例也可以使用多个元素来实现相同的功能。如果以下将功能描述为使用多个元件实现，则进一步的示例可以使用单个元件或单个处理实体来实现相同的功能。进一步理解的是，术语“包括”、“包含”、“具有”和/或“带有”在使用时表示存在所陈述的特征、整数、步骤、操作、过程、元件、部件、和/或其组合，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、过程、元件、部件和/或其组合。
除非另外定义，否则所有术语(包括技术和科学术语)在本文中以其在示例所属领域中的普通含义使用。
图1示出了用于处理所检测的飞行时间相机(ToF相机)的原始图像的方法100的示意性框图。在下面描述的实施方式中，TOF相机是所谓的连续波TOF相机(CW-TOF相机)，其中发射的光的强度以光调制信号来调制，该光调制信号典型地具有在kHz或MHz范围内的频率。从对象反射的光在TOF照相机的解调像素(例如光子混合设备PMD的像素)中使用基准信号进行解调，该基准信号以产生与该光调制信号的相位关系固定的原始图像。这里，基准信号被施加到解调像素，并且产生光的电荷载流子依赖于入射光的信号与基准信号之间的相移而被引导至第一或第二汇聚点。在这两个汇聚点收集的电荷的差Q，获得自相关信号或对于多个像素获得一个原始图像，其可以称为相位图像。为了生成3D图像，ToF相机现在以预定的不同相位角生成自相关信号，即，在调制信号与基准信号之间的不同相位偏移处。然后处理多个自相关信号以计算相位差该相位差由光从光源到对象并返回的传播时间产生。例如，如果从在解调像素4个相位0°、90°、180°和270°产生的电荷Q1、Q2、Q3和Q4来获取，其可以通过公式来确定相位差，从而确定物点的距离。
在下面描述的实施例中，与上述生成和使用多个原始图像以计算距离信息或3D图像的方法相比，在附加的操作模式中，生成距离信息或3D图像，其仅需要记录单个原始图像，即，只需要记录调制信号和基准信号之间的单个相位偏移。为此，可以在原始图像中提供或选择至少一个跟踪区域。方法100包括确定跟踪区域内的相位相关值106。相位相关值可以例如对应于借助于ToF相机的像素测量的自相关信号的值，其可以被称为相位值，并且例如可以具有特定强度。所确定的相位相关值106被用于通过使用校准数据108来确定距离。
可选地，在图像检测步骤102中，可以获取或提供原始图像。在可选的跟踪步骤104中，可以确定原始图像内的跟踪区域。在可选的输出步骤110中，可以将所确定的距离输出到后续系统。
在图2中示出了相位相关值200(相位值)与距离202之间的关系，以说明在何种程度上的相位相关值可以对应于距离。ToF相机204可以包括光源206，其例如利用来自红外光谱208的周期性调制光来照射对象210。ToF相机可以基于从对象210反射的光确定相位相关值200，这可能是尤其取决于ToF相机与反射对象对象的距离202。例如，相位相关值可以对应于预定参考时间的接收光强度。例如，参考时间可以是基准信号具有n·360°(n＝0，1，2......)的相位的时间。例如，基准信号可以与发射光被调制的强度调制信号同步。因此，在预定参考时间处的接收光强度取决于或者例如与发射光的包络与反射光的包络之间的相对相移成比例。相对相移又取决于来自对象210的反射区域距相机的距离的光的调制频率，如图2中示意性所示。
在一个特定实施例中，ToF相机204可以被配置为发射脉冲强度调制的红外光，并且利用PMD(光子混合器装置)图像传感器检测从图像区域中的一个或多个不同对象反射的光。可以在ToF相机204的每个像素上提供PMD图像传感器，并且每个PMD图像传感器生成指示发射光和接收光之间的相移差的值。通过使发射和接收的光自相关，如上所述，每个像素的一个PMD图像传感器可以具有相位相关值，例如，产生自相关信号。如上所述，这种由相位相关值组成的图像也称为相位图像或原始图像。图2中所示的功能218示意性地示出了相位相关值200与距离202之间的关系。
仅考虑该原理图示，可以为每个相位相关值分配两个最大值之间的距离。然而，如由ToF相机确定的相位相关的值不仅在距离，还取决于其它因素，如从该对象的相应的对象像素成像该部分的未知反射率通常取决于在一个单一的原始图像。通过使用校准数据，可以考虑可能的附加依赖性，使得在一些实施例中，使用单个原始图像足以将与校准数据相关联的距离分配给相位相关值。
例如，如果针对也确定了相位相关值的跟踪区域确定了校准数据，则可能是这种情况。参考一些以下附图描述了用于确定合适的跟踪区域以及用于相应的校准数据的适当确定的可能性。
例如，可以相对于对象210上的扩展跟踪区域确定距离，或者针对ToF相机中使用的传感器的每个像素单独确定距离。在一个实施例中，跟踪区域还可以延伸到或包括整个对象210，使得得到的距离可以是ToF相机到整个对象210的距离。在图2中例示的配置中，对象210具有到ToF相机204的第一距离214。对于该距离，ToF相机确定对应于第一距离214的第一相位相关值216。
如结合图1已经提到的，在一些实施例中，用于处理原始图像的方法100还可以包括检测102该原始图像。为此目的，可以由ToF相机204记录和提供原始图像。因此，原始图像可以在方法100的实现中获取，或者可以先前已经记录。例如，ToF相机204可以记录或提供表示环境中的对象210的原始图像。在其他情况下，除了原始图像上的对象210之外，可以以不同的距离或距离对其他对象进行成像。根据该方法，可以确定原始图像上的跟踪区域，使得其完全或部分地包括对象210。例如，可以通过将2D跟踪方法应用于相应的原始图像来确定跟踪区域。原始图像或相位图像可以非常适合于这种跟踪，因为例如不同对象的不同距离可以在原始图像中引起不同的相位值，然后可以将它们彼此区分开，例如，作为相关区域。因此，在其上成像单个对象210的原始图像的图像区域可以被识别为例如跟踪区域。然而，根据另外的实施例，单个对象还可以包括多个跟踪区域，例如，将参考图4进行解释。
为了确定跟踪区域内的相位相关值106，可以选择跟踪区域的像素的相位相关值。例如，位于跟踪区域的几何中心的像素可用于此目的。为了确定跟踪区域的距离并因此确定对象210的距离，相位相关值可以与校准数据一起使用。可能先前已经创建了校准数据，特别是对于具有对象210的相应当前图像场景。因此，校准数据可以各自适应于记录环境。稍后将描述创建校准数据的一种方式。例如，可以以查找表的形式提供校准数据，每个查找表可以将相位相关值200与距离202相关联。
在示例性实施例中，包括对象210的原始图像的跟踪区域可以具有相位相关值216。通过使用校准数据或查找表，可以为该相位相关值216分配距离214。因此，通过简单地将单个相位相关值216插入到例如查找表中，可以确定对象210到ToF相机204的距离214，或者可以进行距离的输出110。通过该方法，距离确定可以是快速的，能量有效的，并且可以用很少的计算量。
在特定实施例中，可以在原始图像上识别对象210，其中可以将跟踪区域分配给对象210。跟踪区域可以具有相位相关值，该相位值可以通过校准数据分配给范围。该距离可以对应于在记录原始图像时对象210与ToF相机的距离。
方法100尤其可以用于重复执行以提供跟踪功能，该跟踪功能尤其可以确定对象的相应当前或更新距离。因此可以跟踪对象210或跟踪对象210的位置。特别地，根据该方法，3D对象跟踪或3D跟踪是可能的，其可以包括移除对象210。
图3示出了可以跟踪或跟踪对象210沿方向300的移动的示例性实施例。ToF相机204可以检测或跟踪或跟踪对象210到ToF相机204的距离202的移动或范围变化。在第一时间t1，例如，可以基于对应于该方法的对应相位相关值216来确定对象210的第一距离214。在时间t2，其可以是例如在t1之后或者可以在晚于时间t1之后发生，可以确定第二相位相关值304。可以从原始图像确定第二相位相关值304，该原始图像也可以在时间t2由ToF相机记录。特别地，在对象210的相同跟踪区域内确定。在时间t1和t2之间，对象210的位置可能已经改变。通过使用校准数据108，可以基于对应的相位相关值304确定或确定第二距离302。通过在稍后的时间t3(未示出)处理相同对象210的另一原始图像，可以连续地跟踪或观察对象210的位置变化。可以以1Hz至100Hz的频率，特别是25Hz或60Hz的频率记录原始图像。使用的较高频率可以导致位置变化的时间分辨率的更准确的3D跟踪。由于检测的原始图像的数量较少，较低的频率可以导致ToF相机的较低功率要求。
根据进一步的实施例中，方法100包括确定一个或多个跟踪区域为相对于类似的并作为一个成像的原始图像对象210。这可能导致，在对象具有单个可识别的子区域的情况下，将这一个子区域用作跟踪区域，而在对象具有多个可识别的子区域的情况下，可以将多个子区域中的例如一个用作跟踪区域。
图4示出了脸作为示例性系列的原始图像408、408'和408“内的对象210的示例。例如，可以识别或提供每个原始图像408、408'和408“上的对象210的三个子区域400、402和404作为跟踪区域。原始图像408、408'和408“分别在时间t1、t2和t3以时间序列406记录。在每个记录时间点之间，对象210的位置可以相对于到ToF相机的距离以及在图像平面或2D位置内改变。例如，ToF相机204可以是静止的并且对象210可以朝向相机的方向移动，因此对象210到ToF相机204的距离可以在t1和t3之间减小。例如，对象210也可以同时向右移动。
图4中所示的示例的跟踪区域400和404是脸颊，并且跟踪区域402是前额。在所示的示例中，这些跟踪区域各自大致均匀或均匀地反射光。例如，通过该特性，可以在连续的原始图像中识别或重新识别每个跟踪区域，从而在每种情况下，在连续的原始图像中使用分配给不同跟踪区域的不同校准数据。例如，通过特定地反射在先前检测到的对象210上的光量或检测到的任何对象，可以容易地检测关于其反射特性可以识别的这种区域。在其他示例性实施例中，可以被识别为跟踪区域的区域也可以是对象210的不均匀区域。
在另一个实施例中，另一部分可以是用户佩戴的眼镜或太阳镜。效果可以是该子区域是可识别的，因为与用户的皮肤相比，其可以包括对象210的残留区域，它在其反射特性方面可以有很大不同。因此，可以用简单的方法识别这样的子区域。其他部分400和404也可以是使用者的耳环，其与一副太阳镜一样，由于其表面或材料而可能具有来自残留区域的可辨别的反射特性。
在一些实施例中，如刚才所述，确定对象210中的至少两个跟踪区域。这可以允许对象210相对于其表面形状或雕塑形状进行浮雕分辨，因为每个跟踪区域可以被分配相对于相位相关值的距离。例如，如果对象210是头部，则鼻子的距离可以小于耳朵的距离。灵活数量的跟踪区域可以使得在对象分辨率和对象类型方面选择应用匹配的最佳数量。另外的效果可以是可以检测到对象210的至少两个跟踪区域旋转或旋转。例如，如果第一跟踪区域400的两个原始图像408，408“之间的距离110是恒定的，所述第二跟踪区域402的距离然而变化，旋转和对象210的旋转方向可以被确定。
另一实施例提供了在另一个对象上确定另一个跟踪区域，该另一个对象显示在原始图像上。例如，可以在原始图像上显示两个不同的对象，例如用户的头部和手部。用户可以例如手动指向ToF相机。根据该方法，可以为手和头部分配单独的跟踪区域。这可以导致手的移除和头部的移除。为此目的，各个对象的各个跟踪区域的各个相位相关值可以用于使用在每种情况下对应于跟踪区域的校准数据来确定相应的距离。例如，可以检测到用户在他的头部位置不变的同时改变他的手的位置。还可以彼此独立地跟踪两个用户。
在另一实施例中，提供了在跟踪区域的单个像素上确定相位相关值。在示例性实施例中，这可以导致处理费用的大幅减少，特别是在跟踪具有大量像素的区域的情况下。例如，可以选择中心像素以确定相位相关值以确定对象210的距离。它也可以首先被选择，其具有原始图像408位中的最小或最大距离的跟踪区域的像素的去除原始图像408被确定的跟踪区域的几个像素的和下面的原始图像408”、408'。
在另一个实施例中，跟踪区域的几个像素的相位相关的值进行平均，并用于为距离确定的跟踪区域使用校准数据108中的平均每相的值。这可以导致确定对象210与ToF相机的平均距离。它可能进一步使可以通过的平均距离值和跟踪区域的最大或最小距离，这可以通过跟踪区域的具有极值的相位相关值来确定，所述对象210的对象不平坦性可以被确定。
在一些实施例中，确定相位相关值考虑了取决于相位相关值对应的相应像素的校正项。可以通过后处理操作将这样的校正项应用于相位相关值，其中可以对原始图像进行后处理。在这种情况下，例如，可以补偿ToF相机的像素或像素的强度波动，或者可以补偿系统的传感器误差。如果将被产生的另一相位相关的值，例如，在以相同的入射比在第二像素的第一像素，所述两相相关的值中的一个可以由校正项进行调整，或这两个值可以被校正。它可以作为标准引入另一个校正因子，其补偿由于ToF相机的不均匀照明单元导致的每像素的不同光入射。这样进一步校正因子可以被确定，并且依赖于所述图像传感器，并且因此在每种情况下在生产或在ToF相机或ToF相机的图像传感器的测试方法特别匹配于ToF相机。校正项也可以在图像传感器的一些像素处具有零值，使得如果在相应像素处不需要相位相关值，则不进行后处理。
在一些实施例中，根据特定记录情况创建跟踪区域的校准数据。对于原始图像的每个跟踪区域，可以为每个跟踪区域创建相应的校准数据，这可以适合于当前情况。如果对象210是在第一距离或所述第一距离范围内的ToF相机的跟踪区域，对于跟踪区第一校准数据可以被近似地确定，以然后可以确定的对象210的距离。如果具有跟踪区域的对象210位于距ToF相机的第二距离或第二距离范围，则可以确定与具有第二距离的记录情况匹配或对应的跟踪区域的第二校准数据。记录情况可以是对象在相应距离周围的预定范围内，特别是距离范围内的位置。例如，还可以为多个跟踪区域创建校准数据，这些跟踪区域可以处于不同的距离。
图5示出了创建可以在方法100中使用的校准数据的实施例。为了产生500或产生500至少一个跟踪区域的校准数据，例如，在初始化504之后，执行校准501。在校准501中，在检测步骤508或生成步骤508中获取，生成或生成来自多个原始图像的至少一个深度图像。在一些实施例中，检测多个深度图像，即，连续多次执行检测步骤508。在相应的深度图像中，首先确定至少一个跟踪区域。例如，可以以常规方式从四个不同相位的连续原始图像获得获取步骤508中的深度图像，使得二维传感器的每个像素的深度图像包含距离值。从如此生成的每个深度图像，因此可以以已知的方式确定到跟踪区域的距离。存储510所确定的距离与相位相关值得到用于校准数据一个支点，其也可以称为校准数据元素，校准数据对于每个跟踪区域基于多个支点。在每种情况下，针对相应的跟踪区域存储所确定的距离，并结合作为基础的一个原始图像的相位相关值。在这种情况下，可以用期望的相位选择原始图像，因为深度图像可以从几个原始图像生成，每个原始图像具有不同的相位。根据一些实施例，在每种情况下，在该步骤中为每个相位创建用于相位特定校准数据的基础。
图6示出了不同相位600、602、604和606的原始图像的相位相关值200的示意性表示，在一个示例性实施例中，过程501从中生成深度图像。在该示例性实施例中，包括一个对象的深度图像的跟踪区域具有一个距离608，换言之对象位于距离608。原始图像根据相位600、602、604或606对于跟踪区域分别具有各自的相位相关值。相位600、602、604和606可以等距分布，以便能够检测508深度图像或彼此具有任何距离。在一个实施例中，相位600、602、604和606各自具有彼此成90°的距离。距离也可小于90°。在特定示例中，相位600、602、604和606可以分别是值0°、90°、180°和270°。在其他施例中，相位可以具有其他值。具有相位600的原始图像具有相位相关值610。具有相位602、604和606的原始图像分别具有相位相关值612、614和616。因此，相位600的校准数据的支点是与距离608组合的相位相关值610。
校准数据可包括多个支点或校准数据元素，例如图7中所示。这可以导致校准数据对于较大距离范围有效，其中可以通过原始图像确定对象的距离。在一个实施例中，可以在检查步骤512由停止标准来选择是否继续514校准501，以便为检测步骤508中的进一步存储510而收集额外的深度图像，或者是否有足够数量由存储过程510，以便由于存在足够的支点，所以可以中断516校准501并且创建500校准数据，如例如图7和8所示。在中断516之后，可以为方法100创建500和准备502校准数据。在另一实施例中，执行校准501的同时进行准备502。
可以以各种方式启动校准501。在一个实施例中，当在新的记录情况下对象在ToF相机204的前面时，进行校准501的初始化504。这种情况可能是对象第一次出现在ToF相机204的图像区域中。例如，创建相位600的校准数据。对象距ToF相机第一距离，并且包括物体的跟踪区域具有第一相位相关值。通过组合存储510创建校准数据的支点，其可以称为相位600的校准数据元素。在该实施例中，在校准501期间，物体在第一和第二距离之间的范围内移动。在校准501中，利用跟踪区域的相应距离和相应的相位相关值来执行校准数据元素的相应存储510。将校准数据元素合并或创建为校准数据。这样产生的这些校准数据然后对于相位600的原始图像的第一和第二距离之间的范围内的跟踪区域有效。以这种方式，可以准备502校准数据，利用该校准数据可以在方法100中处理相位600的原始图像。可选地，校准501可以通过请求506来启动，例如用于重新校准，如稍后所述。
在图7中，示出了校准数据元素700、702、704和其他(为了清楚起见而未示出的)校准数据元素。校准数据元素700、702、704可以组合以形成校准数据706。在实施例中，校准数据706将特定距离202分配给在第一和第二距离之间的预定范围内的相应相位相关值200。校准数据元素700将第一距离708分配给相位相关值710，并且校准数据元素704将第二距离712分配给相位相关值714。
在一个实施例中，校准数据706可以包括校准数据元素700。在方法100中，因此可以利用相位相关值处理第一相位的原始图像，并且可以通过校准数据元素700确定跟踪区域的移除。然而，由于方法100中的原始图像的相位相关值可以呈现不同的值，因此可能需要能够为这些中的每一个使用合适的校准数据。因此，在一些实施例中，确定至少一个第二校准数据元素704。确定与校准数据元素700相同的相位，以便能够创建该相位的校准数据。为此目的，当例如物体相对于ToF相机的距离已经改变时，检测508具有跟踪区域的物体的第二深度图像。如果检测到深度图像上的跟踪区域的距离变化，则所检测的第二深度图像可以仅用于创建校准数据元素704。否则，可以记录和使用另一个深度图像，其具有相应的距离变化。第二深度图像上的对象的跟踪区域的距离可以对应于距离712。具有第一相位的第二深度图像的原始图像可以在跟踪区域内具有相位相关值714。相位相关值714和距离712可以存储在校准数据704中。
以相同的方式，在一个实施例中，如果对象210的跟踪区域的距离改变，则另外创建至少一个附加校准数据项702。校准数据元素702将相应的相位相关值分配给第一和第二距离之间的距离。例如，可以创建如此多的校准数据元素，直到有足够数量的校准数据元素以用于中断516。例如，对于给定的距离范围，这样的数字可以表示预定密度的校准数据元素。例如，对于50cm的距离范围，十个不同的校准数据元素可以表示足够的数量。也可以通过以下方式给出足够的数量：在预定的距离范围内，在例如10cm或2cm的距离中，至少一个校准数据元素可用于校准数据。
在另一个实施方案中，第一和第二校准数据元素700、704存储在一起或组合成校准数据706，其中其他的、例如10个或100个其他的校准数据元件被存储于此。这可以导致校准数据706的分辨率增加。校准数据元素700、704可以存储在表示校准数据706的可内插的查找表中。例如，查找表可以在校准数据元素700、704之间具有五个其他的或十个其他的校准数据元素。在一个实施例中，在方法100中，可以使用具有不存在校准数据项的相位相关值的原始图像。现在，当对跟踪区域被确定的相位相关值将被处理的原始图像，其被约没有存储在查找表中的，对应的范围可以被用于该相相关值尚未确定。为了这个目的，与相位相关的值，在它们之间的跟踪区域的相位相关值被使用，与它们相关联的距离可以被平均或成比例的内插，其结果可以归因于缺少相位相关值作为距离的这两个校准数据元素。从可内插的查找表中可能得到，不必为每个距离建立一个校准数据元素，而是有限数量的校准数据元素700、702、704足以，以便能够在校准数据706的距离范围内分配跟踪区域。
校准数据也可以具有与查找表不同的形式。在另一实施例中，查找函数适用于校准数据元素700、702、704。该查找函数表示校准数据706。查找函数可以是例如数学函数或三阶或更高阶多项式，其连接或连续或连续地互连各个单独校准数据元素。它可以至少在校准数据元素700、704之间的距离区域内，与位于这些校准数据元素之间的其他校准数据元素702进行调整。这可以使得由此创建的校准数据706允许特别准确的距离关联，因为查找函数连续地覆盖相位相关值200的相应范围。特别地，利用低阶查找函数，可以快速且有效地完成在给定相位相关值200处计算相应距离202，从而可以容易地提供跟踪区域的移除。
在另一实施例中，校准数据706的相位对应于原始图像的相位。原始图像的相位可以是例如相位600。这意味着当要分析相位600的原始图像的跟踪区域的距离时，也使用相同相位600的校准数据706。例如，当要处理相位600的原始图像时，这些可以由请求506创建，或者可能在记录具有相位600的原始图像之前已经创建。还可能的是，根据该方法处理的原始图像被记录有校准数据706已经可用的相位。这可能会导致，当仅要处理相位600的原始图像时，不需要为深度图像的每个原始图像的全部相位600、602、604、606创建校准数据706，而仅创建唯一的相位600的校准数据706足以。结果，该方法可以特别高效地进行。
在另一实施例中，提供了将从深度图像获得的跟踪区域的距离分配给另一相位602、604、606的原始图像的相位相关值。以这种方式，可以创建用于不同相位600、602、604、606的校准数据706。因此，校准数据706可用于不同的相位，使得可以立即处理各个不同相位角的原始图像，而不需要请求506来生成相应的校准数据706。在一些实施例中，可以为单个附加或多个其他相位602、604、606创建校准数据706。
在特定实施例中，可能发生对象移出现有校准数据的距离范围。当对与TOF相机的距离例如是在比存储在校准中的距离更近的距离，例如距离708，则跟踪区域的相位相关值在校准数据706的相位相关值714与710之间的有效区域之外。例如，相位相关值于是大于校准数据706的最大相位相关值710。在一个实施例中，仍然可以通过使用108校准数据706来确定对象的移除。
图8示出了在这种情况下校准数据706的可能外插802的实施例。相位相关值800可以大于相位相关值710，因此不再被校准数据706覆盖。通过外插802，即，对校准数据706的扩展或计算确定的扩展，可以确定到相位相关值800的距离804。例如，如果提供查找函数作为校准数据706，则可以容易地确定相位相关值800。特别是在低阶查找函数的情况下，它也可以在其有效区域之外使用，而不会使距离确定的错误变得明显。还可以借助于两个数据校准元素710、714之间的斜率来执行外插802。通过例如线性地连接两个校准数据元素710、714可以创建直线，其距离值804可以在相位相关值800处确定。由于外插，在深度图像508的单个存储510之后也可能已经满足停止标准，因为校准数据可以通过外插单个校准数据元素500来生成。这尤其可以在校准数据的初始创建500期间发生，例如直到通过校准501的并行延续可获得其他校准数据元素。因此，在一些实施例中可以并行地进行外插和校准。
如果对象超出校准数据的有效区域，则在另一实施例中，生成另外的校准数据元素，因此对于新的记录情况，发生重新校准。因此，在现有校准数据706的距离800处，请求506可以针对距离800附近的新距离范围进行校准501。在此，可以将原始校准数据706大致保持在存储器中，并且当对象返回到距离范围中时重新使用它。在一个实施例中，完成校准数据706的外插802，直到至少部分完成重新校准。
由于产生具有调制光的原始图像，相位相关值在对象的距离改变时周期性地改变，使得相同的相位相关值可以被分配给多个距离。在一个示例中，该周期性可以指示相位相关值是不明确的。图9示出了可能模糊地将相位相关值分配给两个距离的情况的示意图。相位相关值200可以周期性地取预定平均值900附近的值。这由函数901示意性地示出，函数901将相位相关值200分别分配给距离202。这使得相位相关值906情况下的对象210被分配给距离902以及距离910。这是尤其可能的，如果相位相关值906靠近一个极值点908或反转点908，在其上在对象的距离变化时，相位相关值的单调变化中断。由于相位相关值在极值点908具有距平均值900的最大距离，当相位相关值906的距离904超过平均值900达到预定值时，因为它靠近区域的边界，在该区域内，在距离变化时，相位相关值单调变化。在一个实施例中，利用相位600的原始图像确定相位相关值906。
图10示出了允许在对象210的相同距离902、910处避免这种模糊关联的实施例。在此规定，避免远离平均值900的相位相关值。示出的相位相关值1002、1006到平均值900的距离1000、1004小于距离904。由此相位相关值1002、1006位于一个范围内，其中相位相关值在距离变化时单调变化，并且足够远离极值点908以避免不明确的距离分配。这是通过使用另一个相位的原始图像(例如相位602)来确定相应的距离来实现的。通过使用其他相位602，对于物理的相同距离得到另一相位相关值，该值可以是比相位600的原始图像更接近平均值900。因此，在物理的距离902保持时，相对于距离904，距离1000更小。在实施例中，在使用第一相位的原始图像时可能导致距离的模糊分配的距离范围中，使用不同相位的原始图像。
在一个实施例中，如果第一相位的原始图像的相位相关值906满足预定标准，则使用不同相位的原始图像。例如，如果相位相关值906太接近极值点908，即，到极值点908具有比预定距离更小的距离，则可以满足预定标准。例如，预定距离可以是极值点908的相位相关值与平均值900之间的中间值。
在另一实施方案中规定，当第一相位的第一原始图像的相位相关值大于另一相位的第二原始图像的相位相关值时，满足预定条件。例如，在使用第一原始图像时，对象210的跟踪区域具有相位相关值906，而具有与第一相位不同的另一相位的第二原始图像的同一对象210的同一跟踪区域具有相位相关值1002。在此，相位相关值1002比相位相关值906更接近平均值900。在这种情况下，在以下方法中，为了确定对象210的距离，使用另一相位的原始图像。
在图11中，示出了用于选择合适的相位的方法的实施例，通过该方法避免了模糊范围分配。在这种情况下，从由检测1100提供或准备的多个原始图像(这些原始图像可以具有至少两个相位中的不同相位600、602)，可以进行选择1102：为一个距离提供距平均值900最近的相位相关值。通过根据方法100确定距第一原始图像的距离来进行该选择1102。通过使用1104至少两个相位和距离的至少两个反校准数据，确定来自不同相位的至少两个原始图像的至少两个相位相关值。因此，当校准数据为相位相关值分配距离时，距离的反校准数据将分配给该相位相关值。选择1102原始图像的这样的相位，其相位相关值更接近平均值900。换言之，所选择的相位的原始图像的相位相关值距区域边界最远，在该区域中在距离变化时相位相关值单调地变化。
在一个示例中，第一相位600的原始图像用于确定与距离902相关联的相位相关值906。距离902可以在第一相位600和第二相位602的反校准数据中被替代，使得可以为每个相位600、602确定一个相位相关值，例如相位相关值906和相位相关值1002。在该示例中，相位相关值1002更接近平均值900，因此在选择1102时，选择第二相位602。在以下方法100中，可以处理相位602的原始图像，从而避免模糊的距离分配。为了选择1102一个最佳相位600、602、604、606，可以在一个实施例中，可以使用不同相位的多个反校正数据，尤其是四个不同的或所有可用的不同相位600、602、604、606，以用于选择这样的相位，通过该相位达到最接近平均值的相位相关值。
图12示出了用于飞行时间相机204的图像处理设备1200。该图像处理设备1200包括图像读取装置1202，被设计为在原始图像1210的跟踪区域内提供相位相关值1208。原始图像1210可以从图像处理设备接收或存储在图像处理设备上。图像处理设备1200还包括距离确定装置1204。距离确定装置被设计为使用校准数据1212确定与相位相关值1208对应的距离1206，从而能够确定对象的距离，该对象成像在原始图像1210中。图像处理设备可以输出距离1206作为信息。
在一个实施例中，图像处理设备1200可以安装到或连接到ToF相机204，特别是电连接以进行信号传输。图像处理设备1200还可以集成在这样的ToF相机204中。
在另一个实施例中，ToF相机204可以包括图像处理设备1200。图像处理设备1200可以与ToF相机集成或连接到ToF相机。这种ToF相机可以适用于移动设备或者构造在移动设备中。
另一个实施例可以包括具有程序代码的计算机程序产品。特别是当安装在ToF相机204或具有ToF相机204的移动设备上时，这可以使得执行方法100或者创建5000校准数据。当程序代码在图像处理设备1200上执行时，可以产生相同效果。
这些示例示出了如何将对象的相位值或相位相关值与距离测量一起记录，并且稍后用作校准数据或查找函数以重建来自各个相位图像的深度或距离。由于ToF相机提供所有必要的输入数据，因此系统可以在正常操作期间适应新的或变化的对象。当对相同对象进行一些深度测量时，系统可以停止进行多个深度测量以创建校准数据，而是简单地使用单相图像。对校准中学习的相位响应函数的简单查找操作产生相关联的深度值或距离。这可以实现在高精度下的简单设计或可执行性。
创建校正数据的另一替代可能性可以完全基于机器学习方法，其中这样的系统不仅学习对象的特定区域的相位响应函数或校准数据，而且相位图像或原始图像本身的整个对象的结构(例如神经网络)生成不同的距离值。
利用一个或多个前面的详细实施例和附图描述的这些方面和特征也可以与一个或多个其它示例组合，以代替其它示例的相同特征或者添加其它示例的特征。
示例还可以是或者涉及具有程序代码的计算机程序，该程序代码用于在计算机或处理器上执行计算机程序时执行上述方法中的一个或多个。上述各种方法的步骤、操作或过程可以由编程的计算机或处理器执行。示例也可以是程序存储器设备，例如，数字数据存储介质，其是机器、处理器或计算机可读的，并且是机器可执行的、处理器可执行或计算机可执行的指令程序。指令执行或导致执行上述方法的一些或所有步骤。程序存储器设备可以包括或者是例如数字存储器、磁存储介质诸如磁盘和磁带、硬盘驱动器或光学可读数字数据存储介质。另外的示例还可以是计算机，处理器或控制单元，其被编程以执行上文所描述的方法的步骤，或(场)可编程逻辑阵列(FPLA)或(场)可编程门阵列(FPGA)，其被编程以执行上述方法的步骤。
说明书和附图仅描绘了本公开的原理。另外，本文提供的所有实施例明确地旨在仅用于帮助读者理解本公开的原理和用于推进由发明人贡献的技术方案。本文公开的关于原理、方面和示例的所有陈述以及其具体示例包括它们的等同物。
被称为“用于执行特定功能的装置”的功能模块可以指代被配置为执行特定功能的电路。因此，“用于某物的装置”可以解释为“为某物设计或适用于某物的装置”，例如，构造为器件或电路以用于或适合于相应任务。
在附图中示出的元件的不同功能，包括“装置”、“用于提供信号的装置”，“用于产生信号的装置”等指定的功能模块可以采取专用硬件的形式，例如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等，以及能够结合相关软件执行软件的硬件。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些或全部可以是共享的。然而，术语“处理器”或“控制器”远不限于仅能够执行软件的硬件，而是也可以是数字信号处理器硬件(DSP硬件，DSP＝数字信号处理器)、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。还可以包括其他传统的和/或定制的硬件。
例如，框图可以表示实现本公开的原理的粗略电路图。以类似的方式，流程图、过程图、状态转变图、伪代码等可以表示不同的过程、操作或步骤，例如，基本上在计算机可读介质中，因此由计算机或处理器执行，无论是否这样计算机或处理器显式显示。说明书或权利要求中公开的方法可以通过具有用于执行这些方法的每个相应步骤的装置的设备来实现。
应当理解，只要没有明示或暗示(例如出于技术原因)，本公开在说明书或权利要求中公开的多个步骤、过程、操作或功能不应被解释为具有特定的顺序。因此，除非由于技术原因这些步骤或功能不可互换，否则它们不限于通过公开若干步骤或功能的特定顺序。此外，在一些示例中，单个步骤、功能、过程或操作可以包括和/或分成多个子步骤、子功能、子过程或子操作。除非明确排除，否则可以包括这些子步骤并且是该单个步骤的公开内容的一部分。
此外，权利要求在此并入详细描述中，其中每个权利要求可以作为单独的示例独立存在。尽管每个权利要求可以作为单独的示例独立存在，但是应当理解，虽然从属权利要求可以指代权利要求中的一个或多个其他权利要求的特定组合，但是其他示例还包括从属权利要求与每个权利要求的主题的组合。除非声明特定组合不是预期的，否则本文明确提出了这种组合。此外，对于每个其他独立权利要求，应包括权利要求的特征，即使该权利要求不是直接依赖于该独立权利要求。

Claims (20)

1.一种处理飞行时间(ToF)相机(204)的原始图像的方法(100)，包括：
确定所述原始图像的跟踪区域内的相位相关值(106)；和
使用校准数据(108)以确定与所述相位相关值对应的距离。
2.根据权利要求1所述的方法(100)，还包括：
将所述原始图像(408)上成像的对象(210)的子区域(400，402，404)确定为跟踪区域，所述子区域能够关于其反射特性而被识别。
3.根据权利要求2所述的方法(100)，还包括：
确定所述原始图像上成像的所述对象(210)中的至少一个另外的跟踪区域(104)。
4.根据前述权利要求中任一项所述的方法(100)，还包括：
确定所述原始图像上成像的至少一个另外的对象中的至少一个另外的对象特定的跟踪区域(104)。
5.根据前述权利要求中任一项所述的方法(100)，其中，在所述跟踪区域中的所述原始图像的单个像点处确定(106)所述相位相关值。
6.根据前述权利要求中任一项所述的方法(100)，还包括：
将所述跟踪区域的多个或所有像点的、分别对应于单个像点的相位相关值平均化，以得到所述相位相关值。
7.根据前述权利要求中任一项所述的方法(100)，其中，在确定所述相位相关值时，考虑取决于相应的像点的校正项。
8.根据前述权利要求中任一项所述的方法(100)，还包括：
根据当前记录情况创建(500)用于所述跟踪区域的所述校准数据。
9.根据权利要求8所述的方法(100)，其中，创建(500)所述校准数据包括：
从所述当前记录情况的分别以不同相位(600，602，604，606)记录的多个辅助原始图像中，生成(508)深度图像；和
关联从所述深度图像中获取的所述跟踪区域的距离和使用辅助原始图像在所述跟踪区域中确定的相位相关值，以获得用于所述辅助原始图像的相位(600)的第一校准数据元素(700)。
10.根据权利要求9所述的方法(100)，还包括：
使用另外的深度图像来确定用于所述相位(600)和所述跟踪区域的第二校准数据元素(704)。
11.根据权利要求10所述的方法(100)，还包括：
至少将所述第一校准数据元素(700)和所述第二校准数据元素(704)存储(510)在可内插的查找表中，所述查找表表示用于所述相位(600)和所述跟踪区域的校准数据(706)。
12.根据权利要求10或11所述的方法(100)，还包括：
确定适于校准数据元素(700，704)的查找函数作为校准数据(706)。
13.根据权利要求9至12中任一项所述的方法(100)，其中，所述相位(600，602，604，606)对应于所述原始图像的相位(600，602，604，606)。
14.根据权利要求9至13中任一项所述的方法(100)，还包括：
关联从所述深度图像中获取的所述跟踪区域(104)的距离和使用至少一个另外的辅助原始图像在所述跟踪区域中确定的至少一个另外的相位相关值，以获得用于相应的辅助原始图像的至少一个另外的相位(602)的至少一个另外的第一校准数据元素(700，702,704)。
15.根据前述权利要求中任一项所述的方法(100)，还包括：
如果使用原始图像所确定的相位相关值(800)超过可用的校准数据(706)的值域(710，714)，则外插(802)所述校准数据(706)。
16.根据权利要求15所述的方法(100)，还包括：
生成对应于经外插(802)的校准数据的距离(804)的另外的校准数据元素。
17.根据前述权利要求中任一项所述的方法(100)，还包括：
如果所述原始图像的相位相关值满足预定标准，则使用具有相关的校准数据(706)的第二原始图像，其中所述第二原始图像具有与所述原始图像(602)不同的相位(602)。
18.根据权利要求17所述的方法，其中，如果所述原始图像的相位相关值比所述第二原始图像的相应的相位相关值距离预定平均值(900)更远，则满足所述预定标准。
19.根据前述权利要求中任一项所述的方法(100)，还包括：
使用(1104)当前距离和关于相位(600，602)不同的、反向的至少两个校准数据生成至少两个相位相关值；和
使用具有以下相位(602)的原始图像：利用所述相位所对应的反向的校准数据，生成所述至少两个相位相关值中的最接近预定平均值(900)的相位相关值。
20.一种飞行时间(ToF)相机(204)，包括以下特征：
照明装置，被配置为响应于调制信号而发射强度调制光；
图像转换器，其中所述图像转换器具有像素，所述像素用于接收从对象反射的强度调制光、使用基准信号进行解调并且产生像素测量信号，其中所述图像转换器具有评估电路，所述评估电路被配置为使用在所述调制信号与所述基准信号之间仅有唯一相位时的像素测量信号，并且随后使用校准数据对像素测量信号进行修改，以确定距离。
CN201811333900.2A 2017-11-10 2018-11-09 用于处理飞行时间相机的原始图像的方法和图像处理设备 Pending CN109765565A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017126378.0A DE102017126378A1 (de) 2017-11-10 2017-11-10 Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm
DE102017126378.0 2017-11-10

Publications (1)

Publication Number Publication Date
CN109765565A true CN109765565A (zh) 2019-05-17

Family

ID=66335211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811333900.2A Pending CN109765565A (zh) 2017-11-10 2018-11-09 用于处理飞行时间相机的原始图像的方法和图像处理设备

Country Status (4)

Country Link
US (1) US20190147624A1 (zh)
KR (1) KR20190053799A (zh)
CN (1) CN109765565A (zh)
DE (1) DE102017126378A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110463183A (zh) * 2019-06-28 2019-11-15 深圳市汇顶科技股份有限公司 识别装置及方法
CN110986816A (zh) * 2019-10-20 2020-04-10 深圳奥比中光科技有限公司 一种深度测量系统及其测量方法
CN111474553A (zh) * 2020-06-22 2020-07-31 深圳市汇顶科技股份有限公司 飞时测距方法与装置
CN112213730A (zh) * 2019-07-10 2021-01-12 睿镞科技(北京)有限责任公司 三维测距方法和装置
US20210383559A1 (en) * 2020-06-03 2021-12-09 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
US10630384B2 (en) 2018-06-13 2020-04-21 Infineon Technologies Ag Dual-mode optical devices for time-of-flight sensing and information transfer, and apparatus, systems, and methods utilizing same
US11790544B1 (en) * 2018-08-06 2023-10-17 Synaptics Incorporated Depth motion determination via time-of-flight camera
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技（深圳）有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
CN113110443B (zh) * 2021-04-12 2022-04-12 大连理工大学 一种基于摄像头的机器人循迹及定位方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
US20080007709A1 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US20120176476A1 (en) * 2011-01-12 2012-07-12 Sony Corporation 3d time-of-flight camera and method
US20140313376A1 (en) * 2012-01-10 2014-10-23 Softkinetic Sensors Nv Processing of time-of-flight signals
US20140368613A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Depth map correction using lookup tables
US20160124089A1 (en) * 2014-10-31 2016-05-05 Cedes Safety & Automation Ag Absolute distance measurement for time-of-flight sensors
DE102015014320A1 (de) * 2014-11-26 2016-06-02 Scania Cv Ab Verfahren und System zur Verbesserung der Qualität von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug
JP2016206009A (ja) * 2015-04-22 2016-12-08 トヨタ自動車株式会社 トルクセンサの零点誤差の補正方法
JP2016224062A (ja) * 2016-08-05 2016-12-28 ソフトキネティック センサー エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
CN107610180A (zh) * 2017-09-12 2018-01-19 上海小蚁科技有限公司 Awb校准方法及装置、计算机可读存储介质、终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Recording of 3D images of a scene
US10055881B2 (en) * 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
US20080007709A1 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
US20120176476A1 (en) * 2011-01-12 2012-07-12 Sony Corporation 3d time-of-flight camera and method
US20140313376A1 (en) * 2012-01-10 2014-10-23 Softkinetic Sensors Nv Processing of time-of-flight signals
US20140368613A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Depth map correction using lookup tables
US20160124089A1 (en) * 2014-10-31 2016-05-05 Cedes Safety & Automation Ag Absolute distance measurement for time-of-flight sensors
DE102015014320A1 (de) * 2014-11-26 2016-06-02 Scania Cv Ab Verfahren und System zur Verbesserung der Qualität von Bildinformationen einer 3D-Erkennungseinheit zur Verwendung bei einem Fahrzeug
JP2016206009A (ja) * 2015-04-22 2016-12-08 トヨタ自動車株式会社 トルクセンサの零点誤差の補正方法
JP2016224062A (ja) * 2016-08-05 2016-12-28 ソフトキネティック センサー エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
CN107610180A (zh) * 2017-09-12 2018-01-19 上海小蚁科技有限公司 Awb校准方法及装置、计算机可读存储介质、终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷达华: "现代传感技术及应用", 重庆大学出版社, pages: 179 - 180 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110463183A (zh) * 2019-06-28 2019-11-15 深圳市汇顶科技股份有限公司 识别装置及方法
CN112213730A (zh) * 2019-07-10 2021-01-12 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN112213730B (zh) * 2019-07-10 2024-05-07 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN110986816A (zh) * 2019-10-20 2020-04-10 深圳奥比中光科技有限公司 一种深度测量系统及其测量方法
CN110986816B (zh) * 2019-10-20 2022-02-11 奥比中光科技集团股份有限公司 一种深度测量系统及其测量方法
US20210383559A1 (en) * 2020-06-03 2021-12-09 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
US11600010B2 (en) * 2020-06-03 2023-03-07 Lucid Vision Labs, Inc. Time-of-flight camera having improved dynamic range and method of generating a depth map
CN111474553A (zh) * 2020-06-22 2020-07-31 深圳市汇顶科技股份有限公司 飞时测距方法与装置
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法

Also Published As

Publication number Publication date
KR20190053799A (ko) 2019-05-20
DE102017126378A1 (de) 2019-05-16
US20190147624A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109765565A (zh) 用于处理飞行时间相机的原始图像的方法和图像处理设备
US10310084B2 (en) Range imaging apparatus and range imaging method
JP5541653B2 (ja) 撮像装置及びその制御方法
US8339582B2 (en) Apparatus and method to correct image
EP4034907A1 (en) Multiple-mode frequency sharing for time-of-flight camera
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
JP2021524908A (ja) 深度イメージングを最適化するための方法およびシステム
KR20110085785A (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR20180032989A (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR20180021509A (ko) 거리 정보를 획득하는 방법 및 디바이스
US20200074608A1 (en) Time of Flight Camera and Method for Calibrating a Time of Flight Camera
JP2017032409A (ja) 三次元形状計測装置、三次元形状計測方法及び薄膜計測装置
JP6869652B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20210405199A1 (en) Adaptive processing in time of flight imaging
TWI462056B (zh) 影像處理方法，裝置及電腦程式產品
JP5452200B2 (ja) 距離画像生成装置および距離画像生成方法
WO2022250894A1 (en) Distributed depth data processing
US20200182984A1 (en) Apparatuses and Methods for Determining Depth Motion Relative to a Time-of-Flight Camera in a Scene Sensed by the Time-of-Flight Camera
JP2008289034A (ja) 画像処理装置及び画像処理プログラム
US11849223B2 (en) Time of flight camera data processing system
Yeo et al. Adaptive bilateral filtering for noise removal in depth upsampling
JP2011175529A (ja) 画像処理装置、撮像装置、及びプログラム
Langmann Wide area 2D/3D imaging: development, analysis and applications
JP5121998B2 (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination