CN111292368A - 用于确定相对于飞行时间相机的深度运动的装置和方法 - Google Patents

用于确定相对于飞行时间相机的深度运动的装置和方法 Download PDF

Info

Publication number
CN111292368A
CN111292368A CN201911250858.2A CN201911250858A CN111292368A CN 111292368 A CN111292368 A CN 111292368A CN 201911250858 A CN201911250858 A CN 201911250858A CN 111292368 A CN111292368 A CN 111292368A
Authority
CN
China
Prior art keywords
phase
depth
image
images
phase images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911250858.2A
Other languages
English (en)
Other versions
CN111292368B (zh
Inventor
H·波兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN111292368A publication Critical patent/CN111292368A/zh
Application granted granted Critical
Publication of CN111292368B publication Critical patent/CN111292368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本公开的各实施例涉及用于确定相对于飞行时间相机的深度运动的装置和方法。所提供的是一种用于在由飞行时间相机感测的场景中确定相对于飞行时间相机的深度运动的方法。该方法包括从场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由飞行时间相机针对单个飞行时间深度的测量所采集。此外，该方法包括从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。附加地，该方法包括基于由在第一辅助深度图像和第二辅助深度图像中发热像素所代表的深度值的比较，确定针对场景的至少部分的、关于相对于飞行时间相机的深度运动的信息。

Description

用于确定相对于飞行时间相机的深度运动的装置和方法
技术领域
本公开涉及针对飞行时间(ToF)感测的相对运动估计。具体来说，示例涉及用于确定在由ToF相机感测的场景中相对于ToF相机的深度运动的装置和方法。
背景技术
在由ToF相机的器件所感测的许多场景中，相对于ToF相机发生了运动。尤其是，相对于ToF的相对深度运动可以发生变化。然而，常规ToF感测仅提供所感测场景的深度图像或点云。没有提供关于相对于ToF相机的相对深度运动信息。
发明内容
因此，在由ToF相机感测的场景中，提供关于相对于ToF相机的深度运动的信息的需求可以存在。
该需求可以由所附权利要求的技术方案而被满足。
示例涉及用于确定在由ToF相机感测的场景中相对于ToF相机的深度运动的方法。该方法包括从场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由ToF相机针对单个ToF深度的测量所采集。此外，该方法包括从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。附加地，该方法包括基于由在第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机深度运动的信息。
另一示例涉及用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的装置。该装置包括处理电路，其被配置为从场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由ToF相机针对单个ToF深度测量所采集。此外，处理电路被配置为从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。此外，该处理电路被配置为基于由在第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机的深度运动的信息。
又一实例涉及用于确定在由ToF相机感测的场景中相对于ToF相机的深度运动的另一方法。该方法包括基于第一相位深度图像映射函数和通过ToF相机针对一个或多个ToF深度测量所采集的场景的相位图像序列中的单个第一相位图像，确定第一辅助深度图像。此外，该方法包括基于第二相位深度映射函数和相位图像序列中的单个第二相位图像来确定第二辅助深度图像。该方法附加地包括基于由在第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机深度运动的信息。
附图说明
以下将仅通过示例的方式并参考附图来描述装置和/或方法的一些示例，其中
图1图示了用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的方法的示例的流程图；
图2图示了在示例性相位-距离函数和示例性相关性函数之间的比较；
图3图示了示例性相位图像序列；
图4图示了另一个示例性相位-距离函数；
图5图示了用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的另一方法的示例的流程图；
图6图示了另一示例性相位图像序列；
图7图示了另一种示例性相位-距离函数；
图8图示了又一示例性相位图像序列；
图9图示了另一示例性相关性函数；以及
图10图示了用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的装置的示例。
具体实施方式
现在将参照示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚可以放大线、层和/或区域的厚度。
因此，虽然另外的示例能够具有各种修改和备选形式，但是其一些特定示例在图中示出并且随后进行详细描述。然而，这种详细描述并不将另外的示例限于所描述的特定形式。另外示例可以覆盖落在本公开范围内的所有修改、等价和备选。相似的附图标记在附图的描述中代表相似或类似的元件，当相互比较时可以以相同的或以修改的形式实施，同时提供相同或类似的功能。
应当理解，当一个元件被称作“连接”或“耦合”至另一个元件时，这些元件可以直接连接或耦合或者经由一个或多个中间元件连接或耦合。如果使用“或者”组合两个元素A和B，则理解为公开了所有可能的组合，即仅A、仅B以及A和B。相同组合的备选措辞是“A和B中的至少一个”。这同样适用于两个以上元素的组合。
本文用于描述特定示例的术语并不旨在限制另外的示例。无论何时使用诸如“一个”和“一”的单数形式，以及仅使用单个元素既不是明示或暗示定义为强制性的，另外的示例也可以使用多个元素来实施相同的功能。类似地，当随后将功能描述为使用多个元素实施时，另外的示例可以使用单个元素或处理实体来实施相同的功能。将进一步理解，术语“包括”和/或“包含”在使用时指定所陈述的特征、整数、步骤、操作、处理、动作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、处理、动作、元素、组件和/或它们的任何组的存在或添加。
除非另有定义，否则所有术语(包括技术和科学术语)在本文中以其在该示例所属领域的普通含义使用。
图1图示了用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的方法的示例的流程图。在本公开内所使用的术语“深度”是指在由ToF相机感测的场景中在ToF相机和物体之间的距离。因此，术语“深度运动”是指在物体和ToF相机之间的距离中的相对改变。方法100使用由ToF相机针对常规单个ToF深度测量所采集的相位图像序列，以用于确定测量深度运动。
图2中图示了ToF深度测量的一些基本原理，并且出于教学原因，将介绍性地以下段落中描述ToF深度测量的一些基本原理。ToF相机200包括照明元件210，以用于利用调制光211(例如红外光)将场景照亮。照明元件210基于(电)调制射频传输信号生成调制光211(例如，通过基于调制的传输信号，控制一个或多个发光二极管LED、或一个或多个激光二极管)。在场景中的物体230由调制光211被照亮，并且将调制光211的至少部分反射回ToF相机200的光捕获元件220(例如，包括光学器件、图像传感器和驱动器电子器件)。换言之，光捕获元件220接收来自物体230的反射光231。
光捕获元件220的图像传感器被像素化，并且每个像素测量反射光231的一小部分。因此，测量信号基于来自场景的反射光231的(电)而被生成。
根据在ToF相机200和物体230之间的距离dobj(即，根据深度)，反射光231展现了相对于调制光211的发射的延迟。因此，测量信号经历了相对于调制的传输信号的距离相关(深度相关)的相移。
图2的中间部分图示了示例性相位-距离函数p(d)的路线(course)，其描述了距离dobj和相位值L之间的关系，相位值L由ToF照相机200的每个像素测量。从相位-距离函数p(d)的路线可以看出，由ToF相机200测量的相位值L根据到物体230的距离d而变化。
相应的像素的传输信号和测量信号根据(自动)相关性函数
Figure BDA0002308992910000041
而被相关，以用于确定针对每个像素的相位值L。示例性的相关性函数的路线在图2的下部分中被图示。从图2中可以看出，相关性函数
Figure BDA0002308992910000051
的路线基本上再现了相位-距离函数p(d)的路线。
相关性函数
Figure BDA0002308992910000052
的输出是针对每个像素的相位值L。然后所确定的相位值L被组合到相位图像。就是说，相位图像包括多个像素，每个像素表示对应的相位值L。
为了对相关性函数
Figure BDA0002308992910000053
采样，多个相位图像被生成。在本公开中，多个相位图像由“相位图像序列”表示。在调制的传输信号和测量信号之间的相位偏移δ被用作在相位图像序列的独立相位图像之间变化的相关性。换言之，不同的相位偏移δ被使用于将传输信号和测量信号相关，以便获取相位图像序列的独立相位图像。
以相同的距离对相同的物体采样，并且展现相同的反射性使得能够对相关性函数
Figure BDA0002308992910000054
采样。在图2的示例中，相位图像序列包括四个相位图像，其中用于相关性的相位偏移δ针对每个相位图像相差90°。例如，0°、90°、180°和270°的相位偏移可以被使用以生成四个相位图像，每个相位图像包括多个像素，该多个像素代表对应的相位值L0°、L90°、L180°和L270°。
针对相位值L0°，相关性函数
Figure BDA0002308992910000055
相对于函数自变量的零值移动了在像素的测量信号和调制的传输信号之间的距离相关的相移
Figure BDA0002308992910000056
使用对相关性函数
Figure BDA0002308992910000057
采样的四个相位值L0°、L90°、L180°和L270°，相移
Figure BDA0002308992910000058
可以如以下被确定：
Figure BDA0002308992910000059
考虑到光速c和发射光211的调制频率fp(即，调制的传输信号的调制频率)，到物体的距离dobj(即，深度)可以如以下被计算：
Figure BDA00023089929100000510
通过确定针对ToF相机200的独立像素的深度，针对所感测的场景的至少部分的深度信息由ToF相机200获取。ToF深度测量的输出例如可以是代表场景的二维深度图像或代表场景的三维点云。要注意的是，上文所述的ToF深度测量是示例性的，并且使用更多或更少相位图像、使用不同的方式以用于确定相位图像、以及针对调制光211使用不同频率等的其他测量原理/方式存在。然而，方式的共同之处在于，相位图像序列被生成(获取)，该图像序列由方法100使用以用于确定相对于ToF相机的深度运动。因此，方法100不依赖于用于获取相位图像的特定的原理/方式。
参考回图1，方法100包括从场景的相位图像序列中的第一组相位图像确定102第一辅助深度图像。如上文所述，相位图像序列由ToF相机针对单个ToF深度测量被采集。
此外，方法100包括从相位图像序列中的第二组相位图像确定104第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。换言之，相位图像序列中的相位图像的差被用于确定第一辅助深度图像和第二辅助深度图像。
在本公开中所使用的术语“辅助”表示第一辅助深度图像和第二辅助深度图像不是常规的单个ToF深度测量的结果。第一辅助深度图像和第二辅助深度图像通过仅使用针对常规的单个ToF深度测量的相位图像序列的子集而被生成。
在用于生成正规深度图像的上述示例中，四个相位图像通过ToF相机200被采集。然而，方法100不限于包括恰好四个相位图像的相位图像序列。通常，至少两个相位图像被使用以在ToF成像中生成深度图像。因此，相位图像序列包括至少四个相位图像，使得两个辅助深度图像可以被确定。例如，因为使用更多的相位图像可以允许补偿影响常规的单个ToF深度测量的质量的各种误差源和/或模糊度，相位图像序列可以包括八个或更多相位图像。
第一组相位图像以及第二组相位图像各自包括相位图像序列中的至少两个相位图像。在第一组相位图像中的相位图像的数目可以与第二组相位图像中的相位图像的数目相等或不同。换言之，相位图像序列中的不同数目的相位图像可以被使用以用于确定第一辅助深度图像和第二辅助深度图像。
第一辅助深度图像和第二辅助深度图像各自包括表示相应的深度值的多个像素。深度值指示在ToF相机和所感测的场景的部分之间的距离，所感测的场景的部分由独立像素被代表。
相位图像序列的独立相位图像由ToF相机在连续的(连贯的)时间瞬间顺序地被捕获(采集)。在捕获相位图像序列的独立相位图像时，相对于ToF相机的深度运动可以在所感测的场景中发生。例如，在所感测的场景中的物体可以接近ToF相机。关于物体相对于ToF相机的改变距离的信息被包含在由ToF相机捕获的相位图像中。特别地，在独立相位图像中的由一个或多个像素所代表的(多个)相位值由于物体的移动而改变。因为第一辅助深度图像和第二辅助深度图像是仅基于整个相位图像序列的子集，所以第一辅助深度图像和第二辅助深度图像在对应的像素位置处代表不同的深度值。通过将第一辅助深度图像和第二辅助深度图像进行逐像素的比较，相对于ToF相机的深度运动可以因此被确定。因此，方法100还包括基于在第一辅助深度图像和第二辅助深度图像中的由像素代表的深度值的比较，来确定106针对场景的至少部分、关于相对于ToF相机的深度运动的信息。
例如，在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素可以被放置在第一辅助深度图像和第二辅助深度图像中的相同像素位置处。换言之，在第一辅助深度图像和第二辅助深度图像中的在相同像素位置处的像素可以被比较以确定关于深度运动的信息。备选地，如果物体还横向地移动至ToF相机(例如，如通过ToF相机见到的，物体进一步向左移动)，则在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素，可以被放置在第一辅助深度图像和第二辅助深度图像中的不同的像素位置处。换言之，在第一辅助深度图像和第二辅助深度图像中的处于不同像素位置处的像素可以被比较以确定关于深度运动的信息。
关于相对于ToF相机的深度运动的信息可以是多样的。例如，关于相对于ToF相机的深度运动的信息可以指示相对于ToF相机的深度运动的深度、距离(例如相对于ToF相机±20cm)或速度(例如，±2m/s；考虑用于确定第一辅助深度图像和第二辅助深度图像的相位图像所使用的捕获时间)中的相对改变。
如果常规ToF深度测量产生代表场景的二维深度图像，则关于相对于ToF相机的深度运动的信息可以例如是包括多个像素的二维图像，该多个像素各自代表针对深度图像的对应像素的深度运动。因此，相应的深度运动可以针对常规深度图像的独立像素被提供。
如果常规ToF深度测量产生代表场景的三维点云，则关于相对于ToF相机的深度运动的信息可以例如是多个三维向量，每个三维向量针对点云的对应点代表深度运动。因此，相应的深度运动可以针对点云的独立点被提供。
如上文指示的，如果不同的相位图像被用作第一组相位图像和第二组相位图像，则存在用于从相位图像相位序列中选择针对第一组相位图像和第二组相位图像的相位图像的各种选项。例如，第一组相位图像可以是相位图像序列中的两个连续的相位图像，然而第一组相位图像可以是相位序列中的两个不同的连续相位图像。在一些示例中，第一组相位图像是相位图像序列中的前两个相位图像，并且第二组相位图像是相位图像序列中的后两个相位图像。相似的，三个、四个或多个相位图像可以针对第一组相位图像和/或第二组相位图像而被选择。
第一组相位图像和第二组相位图像可以由在相位图像序列中的至少一个中间相位图像分离。在第一组相位图像和第二组相位图像之间使用一个或多个中间相位图像可以允许在第一组相位图像和第二组相位图像的相位图像的捕获时间之间引入时间差。换言之，在第一组相位图像和第二组相位图像之间的中间相位图像的数目可以允许调整在场景的捕获状态之间的时间差，该场景的捕获状态之间的时间差由第一辅助深度图像和第二辅助深度图像代表。因此，通过在第一组相位图像和第二组相位图像之间选择合适数目的中间相位图像，由第一辅助深度图像和第二辅助深度图像代表的场景的状态之间的时间差可以足够(充分)大，以解决在场景中的深度运动。
在图3中图示了针对单个常规ToF深度测量的示例性相位图像序列300。相位图像序列300包括八个连贯地捕获的相位图像(如由时间线t指示的)。
如上文所述，ToF相机使用调制的传输信号，以用于将场景照亮并基于来自场景的反射光生成测量信号。相位图像序列300的独立相位图像基于传输信号和的测量信号的、根据相关性函数的相关性。在传输信号和测量信号之间的相位偏移δ被用作在相位图像序列300的独立相位图像之间变化的相关性。
ToF相机使用传输窗口(即预定义长度的时间段)，以用于将场景照亮。在图3中图示的示例中，传输信号展现了在传输窗口的第一部分期间的第一频率f1以及在传输窗口的第二部分期间的第二频率f2，以补偿各种误差源。换言之，首先使用具有第一调制频率f1的调制光将场景照亮，并且依次使用具有第二调制频率f2的调制光将场景照亮。因此，相位图像序列300的第一部分310与第一频率f1相关联，并且相位图像序列300的第二部分320被与第二频率f2相关联。
根据方法100，相位图像序列300的第一部分310包括被用作确定第一辅助深度图像的第一组相位图像，并且其中相位图像序列300的第二部分320包括被用作确定第二辅助深度图像的第二组相位图像。在图3的示例中，第一组相位图像是相位图像序列300中的前两个相位图像，并且第二组相位图像是相位图像序列300中的后两个相位图像。因为在其间存在捕获的四个其他相位图像，该时间差足以用于解决在感测的场景中的深度运动。
相对于ToF相机的运动估计可以基于第一辅助深度图像和第二辅助深度图像之间的差而被确定(例如，计算)。
为了提高第一辅助深度图像和第二辅助深度图像的质量，相位图像序列的其他相位图像(即，不被包含在第一组相位图像和第二组相位图像中的相位图像)可以被使用。以下参考图4示例性地描述。与图2相似，图4图示了在物体230至ToF相机200的距离dobj和相位值L之间的关系，该相位值L由ToF相机200的每个像素测量。
从图4可以看出，相位-距离函数p(d)的值不以函数的输出(相位值L)的零值为中心。特别地，由相位-距离函数p(d)输出的相位值L展现相位值偏移g。针对由ToF相机使用的、用于将测量信号和调制的输出信号(即，用于确定相位值L)相关的相关性信号，这同样是成立的。相位图像序列的其他相位图像可以被使用以估计相位值偏移g。
如上文所述的，深度图像可以仅基于两个相位图像而被确定。特别地，测量信号相对于调制信号的(深度相关)相移δd可以仅基于两个相位图像而被确定。例如，展现了相对的相位偏移δ＝90°的两个相位图像可以被用于确定相移δd。针对下文的单个像素示例性地解释，其中使用利用δ＝0°的相位偏移所确定的相位图像和利用δ＝90°的相位偏移所确定的相位图像(例如，在图3中图示的序列300的前两个相位图像)。
相移δd可以如以下被计算：
Figure BDA0002308992910000101
从数学表达(3)可以看出，用于确定辅助深度图像的一个辅助深度图像的相位图像的相位值基于相位值偏移g而被修改。相位相位值偏移g可以针对所有像素相同或备选地针对每个值是独立的。
根据上文的数学表达(2)，深度值可以顺序地被确定(计算)。
概括地说，从第一组相位图像确定102第一辅助深度图像可以包括：针对第一补偿深度图像的至少一个像素，通过相关性函数的相位值偏移，修改由在第一组相位图像的相位图像中的相同的像素位置处的两个像素所代表的第一相位值和第二相位值，以用于获取经修改的第一相位值和经修改的第二相位值。此外，确定102第一辅助深度图像可以包括基于经修改的第一相位值和经修改的第二相位值的组合，确定由第一辅助深度图像的像素代表的深度值。第一辅助深度图像的像素位于与像素在第一组相位图像的相位图像中的在第一辅助深度图像中的相同的像素位置处。
相位值偏移g取决于诸如制造变化、校准、温度等的多种因素，并且可以在不同的方式被确定(估计)。相位的相位值偏移g可以针对所有像素相同或备选地针对每个像素是独立的。
在一些示例中，恒定值可以针对相位值偏移g被假设，以获取针对相位值偏移g和深度运动的粗略估计。
在其他示例中，相关性函数的相位值偏移g可以基于由ToF相机在没有将场景预先照亮的情况下采集的另一个相位图像而被确定。通过利用曝光来捕获相位图像，针对每个像素的相位值偏移g可以被获取，并且允许某些误差影响的补偿。
进一步备选地，相关性函数的相位值偏移g可以基于第一相位值、第二相位值、以及一个或多个其他相位值的组合而被被确定。一个或多个其他相位值的每个相位值由相位图像序列中的另一相位图像的像素代表，该像素位于与像素在第一组相位图像的相位图像中的相同的像素位置处。换言之，相位值偏移g可以使用相关性函数的附加采样而被确定。例如，在相位图像序列300中，与第一频率相关联的相位图像的相位值可以被组合，以用于确定相位值偏移g：
Figure BDA0002308992910000111
换言之，相关性函数的相位值偏移g可以是第一相位值、第二相位值、以及一个或多个其他相位值的平均值。
作为总结，方法100可以允许提供有价值的附加传感器信息，而不用改变常规ToF深度测量的操作。
图5还图示了用于确定相对于ToF相机的深度运动的、仅使用单个相位图像的另一方法500。如上文所述的，TOF相机针对一个或多个ToF深度测量采集场景的相位图像序列。
方法500包括基于第一相位深度映射函数和相位图像序列中的单个第一相位图像确定502第一辅助深度图像。此外，方法500包括基于第二相位深度映射函数和相位图像序列中的单个第二相位图像确定504第二辅助深度图像。
第一相位深度映射函数和第二相位深度映射函数是接收作为自变量的相位值，且基于输入相位值来输出深度值(距离值)的函数。换言之，第一相位深度映射函数和第二相位深度映射函数将深度值(距离值)分配(分派)给输入相位值。第一相位深度映射函数和第二相位深度映射函数可以是相同的或不同的。在一些示例中，不同的映射函数可以被用作ToF相机的不同像素。映射函数取决于ToF相机的相位-距离函数，其受影响(取决)于诸如温度、发射光(脉冲)的形状等的多种参数。例如，第一相位深度映射函数和第二相位深度映射函数的至少一个相位深度映射函数可以基于ToF相机的校准。
方法500还包括基于由第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定506针对场景的至少部分的、关于相对于飞行时间相机的深度运动的信息。
如前文参考方法100所述的，第一辅助深度图像和第二辅助深度图像各自包括代表相应的深度值的多个像素。深度值指示在ToF相机和由独立像素被代表的所感测的场景的部分之间的距离。
相位图像序列的独立相位图像通过ToF相机在连续的(连贯的)时间瞬间顺序地被捕获(采集)，使得如果在场景中的物体的深度移动发生时，在独立相位图像中的由一个或多个像素代表的(多个)相位值改变。因为第一辅助深度图像和第二辅助深度图像仅基于整个相位图像序列的单个相位图像，所以第一辅助深度图像和第二辅助深度图像在对应的像素位置处代表不同的深度值。因此，第一辅助深度图像和第二辅助深度图像的逐像素比较允许确定相对于ToF相机的深度运动。
例如，在第一辅助深度图像和第二辅助深度图像中的、被比较用于确定关于相对于ToF相机的深度运动的信息的像素可以位于第一辅助深度图像和第二辅助深度图像中的相同像素位置处。换言之，在第一辅助深度图像和第二辅助深度图像中的在相同像素位置处的像素可以被比较以确定关于深度运动的信息。备选地，如果物体还横向地移动至ToF相机(例如，如通过ToF相机见到的，物体进一步向左移动)，则在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素可以位于第一辅助深度图像和第二辅助深度图像中的不同的像素位置处。换言之，在第一辅助深度图像和第二辅助深度图像中的处于不同像素位置处的像素可以被比较以确定关于深度运动的信息。
关于相对于ToF相机的深度运动的信息可以是多样的。例如，关于相对于ToF相机的深度运动的信息可以指示相对于ToF相机的深度运动的深度、距离(例如相对于ToF相机±20cm)或速度(例如，±2m/s；考虑用于确定第一辅助深度图像和第二辅助深度图像的相位图像所使用的捕获时间)中的相对改变。
如果常规ToF深度测量产生代表场景的二维深度图像，则关于相对于ToF相机的深度运动的信息可以例如是包括多个像素的二维图像，该多个像素各自代表针对深度图像的对应像素的深度运动。因此，相应的深度运动可以针对常规深度图像的独立像素被提供。
如果常规ToF深度测量产生代表场景的三维点云，则关于相对于ToF相机的深度运动的信息可以例如是多个三维向量，该多个三维向量各自代表针对点云的对应点的深度运动。因此，相应的深度运动可以针对点云的独立点被提供。
图6图示了针对两个ToF深度测量的示例性相位图像序列600。该相位图像序列600包括五个连贯地捕获的相位图像(如由时间线t指示的)。
如上文所述的，ToF相机使用调制的传输信号，以用于将场景照亮并基于来自场景的反射光生成测量信号。相位图像序列600的独立相位图像是基于传输信号和测量信号的、根据相关性函数的相关性。在传输信号和测量信号之间的相位偏移δ被用作在相位图像序列600的独立相位图像之间变化的相关性。在图6的示例中，调制的传输信号展现了在用作将场景照亮的传输窗口期间的恒定频率。
根据方法500，相位图像序列600的第一相位图像被用于确定第一辅助深度图像，并且相位图像序列600的最后一个相位图相被用于确定第二辅助深度图像。
相对于ToF相机的运动估计可以基于在第一辅助深度图像和第二辅助深度图像之间的差而被确定(例如计算)。用作相关性的、在传输信号和测量信号之间的相位偏移δ针对两个相位图像是相同的。
从在图7中图示的示例性相位-距离函数p(d)的路线可以看出，如果在相位图像被捕获时在场景中的物体230改变其到ToF相机200的距离，则由ToF相机200的像素测量的相位值L改变。在处于物体230和ToF相机200之间的距离d1引起相位值L1时，在物体230和ToF相机200之间的不同的距离d2引起了不同的相位值L2。该关系通过将测量的相位值转换为深度值的第一相位深度映射函数和第二相位深度映射函数而被纳入考虑。
为了补偿接收光的量(其对应于相关性函数的振幅)和相关性函数的相位值偏移g，相位值可以被标准化。
即，确定502第一辅助深度图像可以包括：针对第一辅助深度图像的至少一个像素，将由第一相位图像的像素代表的相位值标准化，以用于获取经标准化的相位值。第一辅助深度图像的像素位于与像素在第一相位图像中的在第一辅助深度图像中的相同的像素位置处。此外，确定502第一辅助深度图像可以包括基于第一相位深度映射函数和经标准化的相位值，确定由第一辅助深度图像的像素代表的深度值。
确定504第二辅助深度图像可以使用第二相位图像和第二相位深度映射函数被同等地完成。
参考在图6中图示的相位图像序列600，接收光的量a可以例如针对独立像素按以下被确定：
Figure BDA0002308992910000141
经标准化的相位值Ln可以针对独立像素顺序按以下被确定：
Figure BDA0002308992910000142
如上文所描述的，在一些示例中，针对相位值偏移g可以被假设为恒定值，然而在其他示例中，相关性函数的相位值偏移g可以基于由ToF相机在没有将场景预先照亮的情况下采集的另一相位图像被确定。
进一步备选地，相关性函数的相位值偏移g可以基于由第一相位图像的像素代表的相位值和一个或多个其他相位值的组合而被确定。一个或多个其他相位值中的每个相位值由相位图像序列中的另一相位图像的像素代表，该像素位于与第一相位图像的像素相同的像素位置处。在一些示例中，相关性函数的相位偏移g可以是由第一相位图像的像素代表的相位值和一个或多个其他相位值的平均值。例如，针对相位图像序列600的相位值偏移g可以根据上文的数学表达(4)被确定。
使用第一相位深度映射函数h1和第二相位深度映射函数h2，针对独立像素关于深度运动的信息可以被确定。例如，深度运动速度v可以针对独立像素如以下被确定：
Figure BDA0002308992910000151
其中Ln1表示在第一相位图像中的经标准化的相位值、Ln2表示在第二相位图像中的经标准化的相位值、并且Δt表示了在第一相位图像和第二相位图像的捕获时间之间的时间差。
在图8中图示了针对单个ToF深度测量的另一示例性相位图像序列800。相位图像序列800包括四个连贯地捕获的相位图像(如由时间线t指示的)。在图8的示例中，调制的传输信号展现了在用作将场景照亮的传输窗口期间的恒定频率。
在传输信号和测量信号之间的相位偏移δ被用作在相位图像序列800的独立相位图像之间的相关性变化。
根据方法500，相位图像序列800的第一个相位图像被用作确定第一辅助深度图像，并且相位图像序列800的最后一个相位图像被用作确定第二辅助深度图像。
相对于ToF相机的运动估计可以基于在第一辅助深度图像和第二辅助深度图像之间的差被确定(例如计算)。在传输信号和测量信号之间的相位偏移δ用作针对两个相位图像的相差180°的相关性。换言之，在相位图像之间用作确定辅助深度图像的相对的相位偏移δ是180°。
在上文所描述的示例中，具有δ＝0°的相对相位偏移两个相位图像被用作确定辅助深度图像。相似地，如果两个相位图像中的一个相位图像的相位值被“旋转”180°，具有δ＝180°的相位偏移的两个相位图像可以被使用。图9图示了示例性相关性函数
Figure BDA0002308992910000161
的路线。旋转第一相位值L0°和第二相位值L180°中的一个相位值有效地对应于将相位值围绕相关性函数的相位值偏移g镜像。
如上文所描述的，在一些示例中，针对相位值偏移g可以被假设为恒定值，而在其他示例中，相关性函数的相位值偏移g可以基于由ToF相机在没有将场景预先照亮的情况下采集的另一相位图像而被确定。
进一步备选地，相关性函数的相位值偏移g可以基于第一相位值、第二相位值、以及一个或多个其他相位值的组合被确定，其中一个或多个其他相位值的每个相位值由相位图像序列中的另一相位图像的像素代表，该像素位于与像素在第一相位图像和第二相位图像中相同的像素位置处。在一些示例中，相关性函数的相位偏移可以是第一相位值、第二相位值、以及一个或多个其他相位值的平均值。例如，针对相位图像序列800的相位值偏移g可以根据上文所述的数学表达(4)被确定。
用于获取经修改的相位值L′而将相位值L围绕相位值偏移g镜像等同于以下数学表达：
L′＝g-(L-g) (8)
在图9中示例性地示出了针对相位图像的相位值L180°的旋转，该旋转使用针对相关性的180°相位偏移。相位值L180°的旋转的结果是经修改的相位值L′0°。
如果在相位图像被捕获时在物体230和ToF相机200之间的距离不改变，则相位值L′0°与相位值L0°(基本上)相等。然而，如果在相位图像被捕获时在物体230和ToF相机200之间的距离改变，则相位值L′0°与相位值L0°不同。
距离值(即，辅助深度图像)可以如上文所描述地(例如根据数学表达(5)和(6))基于相位值L′0°和L0°使用第一相位深度映射函数和第二相位深度映射函数被确定以及标准化。
更笼统地说，确定502第一辅助深度图像可以包括：针对第一辅助深度图像的至少一个像素，使用相关性函数的相位值偏移g，来修改由第一相位图像的像素代表的相位值，以用于获取经修改的相位值。第一辅助深度图像的像素位于与像素在第一相位图像中的在第一辅助深度图像中的相同的像素位置处。例如，修改由第一相位图像的像素代表的相位值可以基于表达式，该表达式在数学上对应于上文所述的数学表达式(8)。此外，确定502第一辅助深度图像可以包括将经修改的相位值标准化，以用于获取经标准化的相位值，以及基于第一相位深度映射函数和经标准化的相位值来确定由第一辅助深度图像的像素代表的深度值。
因此，确定504第二辅助深度图像可以包括：针对第二辅助深度图像的至少一个像素，标准化由第二相位图像的像素代表的相位值，以用于获取另一经标准化的相位值。第二辅助深度图像的像素位于与像素在第二相位图像中和像素在第一相位图像中的在第二辅助深度图像中的相同的像素位置处。此外，确定504第二辅助深度图像可以包括基于第二相位深度映射函数和其他经标准化的相位值来确定由第二辅助深度图像的像素代表的深度值。
方法500还可以允许使用已经针对ToF深度测量收集的信息，以附加地生成用于感测物体相对于ToF相机的运动估计。通过将使用过的单个相位图像之间的相对相位偏移设置为预先定义的值(例如0°或180°)，可以避免将相关性函数的峰值放置在物体处。因此，两个单个相位图像可以足够用于估计相对于ToF相机的距离差。
根据所提出的概念，用于确定相对于ToF相机的深度运动的装置1000的示例被进一步图示在图10中。该装置1000包括处理电路1010。例如，处理电路1010可以是单个专用处理器、单个共享的处理器、或多个独立处理器(其中一些、或全部可以被共享)、数字信号处理器(DPS)硬件、应用专用集成电路(ASIC)、或现场可编程栅极电路(FPGA)。处理器电路1010可以可选地被耦合到例如：用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和/或非易失性存储器。装置1000还可以包括其他硬件(常规的和/或定制的硬件)。
装置1000接收代表相位图像序列的输入数据1001。处理电路1010根据上文所述的概念处理输入数据1001，以用于确定(获取)关于相对于ToF相机的深度运动的信息。因此，装置1000输出输出信号1002，输出信号1002代表关于相对于ToF相机的深度运动的信息。
例如，装置1000的功能性可以在耦合到ToF相机模块的应用处理器中被实现，该ToF相机模块提供相位图像(即图像原始数据)。
本文中所描述的示例可以被总结如以下：
一些示例涉及用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的方法。该方法包括从场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由ToF相机针对单个ToF深度的测量所采集。此外，该方法包括从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。附加地，该方法包括基于由第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定针对场景的至少部分的比较，确定关于相对于ToF相机深度运动的信息。
在一些示例中，如果ToF深度测量产生代表场景的二维深度图像，则关于相对于ToF相机的深度运动的信息可以是包括多个像素的二维图像，该多个像素各自代表针对深度图像的对应像素的深度运动。
如果ToF深度测量产生代表场景的三维点云，则关于相对于ToF相机的深度运动的信息可以是多个三维向量，该多个三维向量各自代表针对深度图像的对应像素的深度运动。
在一些示例中，第一组相位图像是相位图像序列中的两个连续的相位图像。
根据一些示例，第一组相位图像是相位图像序列中的前两个相位图像，并且其中第二组相位图像是相位图像序列中的后两个相位图像。
第一组相位图像和第二组相位图像可以在一些示例中由相位图像序列中的至少一个中间相位图像分离。
根据一些示例，ToF相机使用调制的传输信号，用于将场景照亮并基于来自场景的反射光生成测量信号。相位图像序列的独立相位图像基于传输信号和测量信号根据相关性函数的相关性。在传输信号和测量信号之间的相位偏移被用作在相位图像序列的独立相位图像之间变化的相关性。
在一些示例中，传输信号展现了在用于将场景照亮的传输窗口的第一部分期间的第一频率，以及在传输窗口的第二部分期间的第二频率，使得相位图像序列的第一部分与第一频率相关联，并且相位图像序列的第二部分与第二频率相关联。
相位图像序列的第一部分可以包括第一组相位图像，其中相位图像序列的第二部分可以包括第二组相位图像。
在一些示例中，从第一组相位图像确定第一辅助深度图像可以包括：针对第一辅助深度图像的至少一个像素：通过相关性函数的相位值偏移，来修改由在第一组相位图像的相位图像中的在相同的像素位置处的两个像素代表的第一相位值和第二相位值，以用于获取经修改的第一相位值和经修改的第二相位值；以及基于经修改的第一相位值和经修改的第二相位值的组合，确定由第一辅助深度图像的像素代表的深度值。
根据一些示例，第一辅助深度图像的像素可以位于与像素在第一相位图像中的在第一辅助深度图像中的相同的像素位置处。
在一些示例中，关性函数的相位值偏移可以基于由ToF相机在没有将场景预先照亮的情况下采集的另一相位图像而被确定。
备选地，相关性函数的相位值可以基于第一相位值、第二相位值、以及一个或多个其他相位值的组合，而被确定。一个或多个其他相位值中的每个相位值通过由相位图像序列中的另一相位图像的像素代表，该像素位于与像素在第一组相位图像的相位图像中的相同的像素位置。
在一些示例中，相关性函数的相位值偏移可以是第一相位值、第二相位值、以及一个或多个其他相位值的平均值。
根据一些示例，在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素可以位于在第一辅助深度图像和第二辅助深度图像中的相同的像素位置处。
备选地，在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素可以位于在第一辅助深度图像和第二辅助深度图像中的不同的像素位置处。
其他示例涉及用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的装置。该装置包括处理电路，其被配置为从由场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由ToF相机针对单个ToF深度测量所采集。此外，处理电路被配置未从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的相位图像不同。附加地，该处理电路被配置为基于在第一辅助深度图像和第二辅助深度图像中的由像素代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机的深度运动的信息。
其他示例涉及用于确定在由ToF相机感测的场景中相对于ToF相机的深度运动的另一方法。该方法包括基于第一相位深度图像映射函数和场景的相位图像序列中的单个第一相位图像，来确定第一辅助深度图像，其中场景的相位图像序列通过ToF相机针对一个或多个ToF深度测量而被采集。此外，该方法包括基于第二相位深度映射函数和相位图像序列中的单个第二相位图像确定第二辅助深度图像。该方法附加地包括基于在第一辅助深度图像和第二辅助深度图像中由像素代表的深度值的比较，来确定针对场景的至少部分的、关于相对于ToF相机深度运动的信息。
在一些示例中，第一相位深度映射函数和第二相位深度映射函数中的至少一个相位深度映射函数可以基于仿真。
备选地或附加地，第一相位深度映射函数和第二相位深度映射函数中的至少一个相位深度映射函数可以基于ToF相机的校准。
根据一些示例，ToF相机使用调制的传输信号以用于将场景照亮并基于来自场景的反射光生成测量信号。相位图像序列的独立相位图像基于传输信号和测量信号根据相关性函数的相关性。被用作相关性的、在传输信号和测量信号之间的相位偏移针对第一相位图像和第二相位图像是相同的。
在一些示例中，确定第一辅助深度图像可以包括针对第一辅助深度图像的至少一个像素：将由第一相位图像的像素代表的相位值标准化，以用于获取经标准化的相位值，其中第一辅助深度图像的像素位于与像素在第一相位图像中的在第一辅助深度图像中的相同的像素位置处；以及基于第一相位深度映射函数和经标准化的相位值，确定由第一辅助深度图像的像素代表的深度值。
在其他示例中，ToF相机使用调制的传输信号以用于将场景照亮并基于来自场景的反射光生成测量信号。相位图像序列的独立相位图像基于传输信号和测量信号的根据相关性函数的相关性。被用作相关性的、在传输信号和测量信号之间的相位偏移作针对第一相位图像和第二相位图像相差180°。
在一些示例中，确定第一辅助深度图像可以包括针对第一辅助深度图像的至少一个像素：使用相关性函数的相位值偏移来修改由第一相位图像的像素代表的相位值，以用于获取经标准化的相位值，其中第一辅助深度图像的像素位于与像素在第一相位图像中的在第一辅助深度图像中的相同的像素位置处；将经修改的相位值标准化；以及基于第一相位深度映射函数和经标准化的相位值来确定由第一辅助深度图像的像素代表的深度值。
在一些示例中，修改由第一相位图像的像素代表的相位值可以基于表达式，该表达式在数学上对应于L′＝g-(L-g)，其中L′表示经修改的相位值、L表示由第一相位图像的像素代表的相位值、并且g表示相关性函数的相位值偏移。
根据一些示例，确定第二辅助深度图像可以包括针对第二辅助深度图像的至少一个像素：将由第二相位图像的像素代表的相位值标准化，以用于获取另一经标准化的相位值，其中第二辅助深度图像的像素位于与像素在第二相位图像中的、以及像素在第一相位图像中的像素的、在第二辅助深度图像中的相同像素位置处；以及基于第二相位深度映射函数和其他经标准化的相位值，确定由第二辅助深度图像的像素所代表的深度值。
在一些示例中，相关性函数的相位值偏移可以基于由ToF相机在没有将场景预先照亮的情况下采集的另一相位图像而被确定。
备选地，相关性函数的相位值可以基于第一相位值、第二相位值、以及一个或多个其他相位值的组合而被确定。一个或多个其他相位值中的每个相位值由相位图像序列中的另一相位图像的像素被代表，该像素位于与在像素与第一相位图像和第二相位图像中的相同的像素位置处。
在一些示例中，相关性函数的相位值偏移可以是第一相位值、第二相位值、以及一个或多个其他相位值的平均值。
根据一些示例，传输信号展现了在用于将场景照亮的传输窗口期间的恒定频率。
在一些示例中，如果ToF深度测量产生代表场景的二维深度图像，则关于相对于ToF相机的深度运动的信息可以是包括多个像素的二维图像，该多个像素各自代表针对深度图像的对应像素的深度运动。
如果ToF深度测量产生代表场景的三维点云，则根据一些实施例，关于相对于ToF相机的深度运动的信息可以是多个三维向量，该多个三维向量各自代表针对点云的对应点的深度运动。
在一些示例中，在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素可以位于在第一辅助深度图像和第二辅助深度图像中的相同的像素位置处。
备选地，在第一辅助深度图像和第二辅助深度图像中的、被比较以用于确定关于相对于ToF相机的深度运动的信息的像素，可以位于在第一辅助深度图像和第二辅助深度图像中的不同的像素位置处。
又一其他示例涉及用于在由ToF相机感测的场景中确定相对于ToF相机的深度运动的另一装置。该装置包括处理电路，其被配置为基于第一相位深度图像映射函数和场景的相位图像序列中的单个第一相位图像，来确定第一辅助深度图像，该场景的相位图像序列通过ToF相机针对一个或多个ToF深度测量所采集。此外，该处理电路被配置为基于第二相位深度映射函数和相位图像序列中的单个第二相位图像，来确定第二辅助深度图像。该处理电路被附加地配置为基于由第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，来确定针对场景的至少部分的、关于相对于ToF相机的深度运动的信息。
示例涉及非暂时性机器可读介质，具有在其上存储的程序，该程序具有程序码，当该程序在处理器或可编程硬件上被执行时，用于执行在本文中所描述的用于确定相对于ToF相机的深度运动的方法中的任何方法。
其他示例涉及程序，其具有程序码，当该程序在处理器或可编程硬件上被执行时，用于执行在本文中所描述的用于确定相对于ToF相机的深度运动。
进一步地，示例涉及装置，其用于在由ToF相机所感测的场景中确定相对于ToF相机的深度运动。该装置包括器件，其用于从场景的相位图像序列中的第一组相位图像确定第一辅助深度图像。相位图像序列由ToF相机针对单个ToF深度测量采集。附加地，该装置包括器件，其用于从相位图像序列中的第二组相位图像确定第二辅助深度图像。第二组相位图像的相位图像与第一组相位图像的图像不同。该装置还包括器件，其用于基于由在第一辅助深度图像和第二辅助深度图像中的像素所代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机的深度运动的信息。
更进一步地，示例涉及另一装置，其用于在由ToF相机所感测的场景中确定相对于ToF相机的深度运动。该装置包括器件，其用于基于第一相位深度图像映射函数和场景的相位图像序列中的单个第一相位图像确定第一辅助深度图像，该场景的相位图像序列通过ToF相机针对一个或多个ToF深度测量所采集。该装置还包括器件，其用于基于第二相位深度映射函数和相位图像序列中的单个第二相位图像，确定第二辅助深度图像。附加地，该装置包括器件，其用于基于由在第一辅助深度图像和第二辅助深度图像中的像素代表的深度值的比较，确定针对场景的至少部分的、关于相对于ToF相机深度运动的信息。
根据所提出的概念的示例可以允许针对每个ToF深度测量以提供逐像素的运动估计。
描述和图仅图示了本公开的原理。此外，本文中所列举的所有示例主要专门旨在仅用于教学目的，以帮助读者理解本公开的原理以及由(多个)发明人贡献以推动本领域的概念。本文中列举本公开的原理、方面和示例的所有陈述及其具体示例旨在包含其等同。
例如，框图可以图示实施本公开原理的高级电路图。类似地，流程表、流程图、状态转换图、伪代码等可以代表各种过程、操作或步骤，这例如可以在由计算机或处理器执行的计算机可读介质中基本表示，无论这种计算机或处理器是否被明确示出。在说明书或权利要求中公开的方法可以通过具有用于执行这些方法各自相应动作的装置的设备来实施。
可以理解，说明书和权利要求中公开的多个动作、过程、操作、步骤或功能的公开可以不以特定顺序构建，除非另有明示或暗示，例如出于技术原因。因此，多个动作或功能的公开将不将它们限于特定顺序，除非这些动作或功能由于技术原因而不可互换。另外，在一些示例中，单个动作、功能、过程、操作或步骤可以分别包括或者可以分为多个子动作、子功能、子过程、子操作或子步骤。这些子动作可以被包括在该单个动作的公开中或是其一部分，除非明确排除。
另外，权利要求在此被并入到详细描述中，其中每个权利要求自身可以作为独立示例。虽然每个权利要求自身可以作为独立示例，但应当注意，尽管从属权利要求可以在权利要求中引用与一个或多个其他权利要求的特定组合，但其他示例还可以包括该从属权利要求与每个其他从属权利要求或独立权利要求的主题的组合。本文明确提出这种组合，除非该特定组合是不想要的。另外，还将权利要求的特征包括到任何其他独立权利要求，即使该权利要求不直接从属于该独立权利要求。

Claims (15)

1.一种用于在由飞行时间相机感测的场景中确定相对于所述飞行时间相机的深度运动的方法(100)，所述方法包括：
从所述场景的相位图像序列中的第一组相位图像确定(102)第一辅助深度图像，其中所述相位图像序列由所述飞行时间相机针对单个飞行时间深度测量而被采集；
从所述相位图像序列中的第二组相位图像确定(104)第二辅助深度图像，其中所述第二组相位图像的所述相位图像与所述第一组相位图像的所述相位图像不同；以及
基于在所述第一辅助深度图像和所述第二辅助深度图像中由像素代表的深度值的比较，确定(106)针对所述场景的至少部分的、关于相对于所述飞行时间相机的深度运动的信息。
2.根据权利要求1所述的方法，其中，如果所述飞行时间深度测量产生代表所述场景的二维深度图像，则关于相对于所述飞行时间相机的深度运动的所述信息是包括多个像素的二维图像，所述多个像素各自针对所述深度图像的对应像素代表所述深度运动。
3.根据权利要求1所述的方法，其中，如果所述飞行时间深度测量产生代表所述场景的三维点云，则关于相对于所述飞行时间相机的深度运动的所述信息是多个三维向量，所述多个三维向量各自针对所述点云的对应点代表所述深度运动。
4.根据权利要求1至3中任一项所述的方法，其中所述第一组相位图像是所述相位图像序列中的两个连续的相位图像。
5.根据权利要求1至4的任一项所述的方法，其中所述第一组相位图像是所述相位图像序列中的前两个相位图像，以及其中所述第二组相位图像是所述相位图像序列中的后两个相位图像。
6.根据权利要求1至5的任一项所述的方法，其中所述第一组相位图像和所述第二组相位图像在所述相位图像序列中由至少一个中间相位图像分离。
7.根据权利要求1至6的任一项所述的方法，其中所述飞行时间相机使用调制的传输信号以用于将所述场景照亮，并基于来自所述场景的反射光生成测量信号，其中所述相位图像序列的所述独立相位图像是基于所述传输信号和所述测量信号根据相关性函数的相关性，其中在所述传输信号和所述测量信号之间的相位偏移被用作在所述相位图像序列的所述独立相位图像之间变化的所述相关性。
8.根据权利要求7所述的方法，其中所述传输信号展现了用于将所述场景照亮的在传输窗口的第一部分期间的第一频率，以及在所述传输窗口的第二部分期间的第二频率，以使所述相位图像序列的第一部分与所述第一频率关联，以及所述相位图像序列的第二部分与所述第二频率关联。
9.根据权利要求8所述的方法，其中所述相位图像序列的所述第一部分包括所述第一组相位图像，以及其中所述相位图像序列的所述第二部分包括所述第二组相位图像。
10.一种用于在由飞行时间相机感测的场景中确定相对于所述飞行时间相机的深度运动的装置(1000)，所述装置(1000)包括处理电路(1010)，所述处理电路(1010)配置为：
从所述场景的相位图像序列中的第一组相位图像确定第一辅助深度图像，其中所述相位图像序列由所述飞行时间相机针对单个飞行时间深度测量而被采集；
从所述相位图像序列中的第二组相位图像确定第二辅助深度图像，其中所述第二组相位图像的所述相位图像与所述第一组相位图像的所述相位图像不同；以及
基于在所述第一辅助深度图像和所述第二辅助深度图像中由像素代表的深度值的比较，确定针对所述场景的至少部分的、关于相对于所述飞行时间相机的深度运动的信息。
11.一种用于在由飞行时间相机感测的场景中确定相对于所述飞行时间相机的深度运动的方法(500)，所述方法包括：
基于第一相位深度映射函数和所述场景的相位图像序列中的单个第一相位图像来确定(502)第一辅助深度图像，所述单个第一相位图像通过由所述飞行时间相机针对一个或多个飞行时间深度测量而被采集；
基于第二相位深度映射函数和所述相位图像序列中的单个第二相位图像来确定(504)第二辅助深度图像；
基于在所述第一辅助深度图像和所述第二辅助深度图像中由像素代表的深度值的比较，确定(506)针对所述场景的至少部分的、关于相对于所述飞行时间相机的深度运动的信息。
12.根据权利要求11所述的方法，其中所述第一相位深度映射函数和所述第二相位深度映射函数的至少一个相位深度映射函数基于仿真。
13.根据权利要求11所述的方法，其中所述第一相位深度映射函数和所述第二相位深度映射函数的至少一个基于所述飞行时间相机的校准。
14.根据权利要求11至13中任一项所述的方法，其中所述飞行时间相机使用调制的传输信号以用于将所述场景照亮，并基于来自所述场景的反射光生成测量信号，其中所述相位图像序列的所述独立相位图像是基于所述传输信号和所述测量信号根据相关性函数的相关性，其中被用于所述相关性的、所述传输信号和所述测量信号之间的相位偏移针对所述第一相位图像和所述第二相位图像是相同的。
15.根据权利要求14所述的方法，其中确定(502)所述第一辅助深度图像包括针对所述第一辅助深度图像的至少一个像素：
将由所述第一相位图像的像素代表的相位值标准化，以用于获取经标准化的相位值，其中所述第一辅助深度图像的所述像素位于与所述像素在所述第一相位图像中的在所述第一辅助深度图像中的相同的像素位置；以及
基于所述第一相位深度映射函数和所述经标准化的相位值，确定由所述第一辅助深度图像的所述像素代表的深度值。
CN201911250858.2A 2018-12-07 2019-12-09 用于确定相对于飞行时间相机的深度运动的装置和方法 Active CN111292368B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18211062.7A EP3663799B1 (en) 2018-12-07 2018-12-07 Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
EP18211062.7 2018-12-07

Publications (2)

Publication Number Publication Date
CN111292368A true CN111292368A (zh) 2020-06-16
CN111292368B CN111292368B (zh) 2024-08-02

Family

ID=64661189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911250858.2A Active CN111292368B (zh) 2018-12-07 2019-12-09 用于确定相对于飞行时间相机的深度运动的装置和方法

Country Status (3)

Country Link
US (1) US11675061B2 (zh)
EP (1) EP3663799B1 (zh)
CN (1) CN111292368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021148608A (ja) * 2020-03-19 2021-09-27 株式会社リコー 撮像装置、測距装置及び撮像プログラム
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法
US20240230863A9 (en) * 2022-10-20 2024-07-11 Gm Cruise Holdings Llc Time-of-flight motion misalignment artifact correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
US20160086318A1 (en) * 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US20160116594A1 (en) * 2014-10-27 2016-04-28 Microsoft Corporation Time of flight camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
US20160232684A1 (en) * 2013-10-18 2016-08-11 Alexander Borisovich Kholodenko Motion compensation method and apparatus for depth images
RU2014116610A (ru) * 2014-04-24 2015-10-27 ЭлЭсАй Корпорейшн Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
US10024966B2 (en) * 2015-01-28 2018-07-17 Texas Instruments Incorporated Efficient implementation of distance de-aliasing for ranging systems using phase domain computation
US10645367B2 (en) * 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
US20160086318A1 (en) * 2013-04-29 2016-03-24 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US20160116594A1 (en) * 2014-10-27 2016-04-28 Microsoft Corporation Time of flight camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID JIMENEZ ET AL: "single frame correction of motion artifacts in PMD-based time of flight cameras", IMAGE AND VISION COMPUTING, vol. 32, pages 1127 - 1136 *
李兴东;陈超;李满天;孙立宁;: "飞行时间法三维摄像机标定与误差补偿", 机械与电子, no. 11, 24 November 2013 (2013-11-24) *

Also Published As

Publication number Publication date
US11675061B2 (en) 2023-06-13
EP3663799A1 (en) 2020-06-10
EP3663799B1 (en) 2024-02-07
CN111292368B (zh) 2024-08-02
US20200182984A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US10755417B2 (en) Detection system
CN107204012B (zh) 降低飞行时间深度成像的功耗
US10510149B2 (en) Generating a distance map based on captured images of a scene
CN111292368B (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法
CN107743638B (zh) 用于实时运动伪影处理和去噪的方法和系统
KR20130098042A (ko) 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US20140375821A1 (en) Detection system
US10803625B2 (en) Detection system and picturing filtering method thereof
JP7149941B2 (ja) 装置および方法
CN112655022B (zh) 图像处理装置和图像处理方法
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2021043679A (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
US10705217B2 (en) Controlling multiple imaging sensors
KR102325121B1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
CN112051559A (zh) 用于补偿场景中的物体引起的杂散光的方法和装置
US20200320725A1 (en) Light projection systems
KR101440098B1 (ko) 저복잡도 움직임 추정 방법 및 시스템
US20240134053A1 (en) Time-of-flight data generation circuitry and time-of-flight data generation method
CN112327328A (zh) 确定飞行时间相机与物体之间的相对运动的方法和装置
CN113391322A (zh) 用于飞行时间感测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant