CN112189147A - 飞行时间相机的经降低功率操作 - Google Patents

飞行时间相机的经降低功率操作 Download PDF

Info

Publication number
CN112189147A
CN112189147A CN201980033183.8A CN201980033183A CN112189147A CN 112189147 A CN112189147 A CN 112189147A CN 201980033183 A CN201980033183 A CN 201980033183A CN 112189147 A CN112189147 A CN 112189147A
Authority
CN
China
Prior art keywords
frame
images
tof
keyframe
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980033183.8A
Other languages
English (en)
Other versions
CN112189147B (zh
Inventor
S·奥尔蒂斯埃加
H-M·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN112189147A publication Critical patent/CN112189147A/zh
Application granted granted Critical
Publication of CN112189147B publication Critical patent/CN112189147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

飞行时间(ToF)相机被配置成以降低该ToF相机的功耗的方式操作。对于关键帧，基于多个关键帧IR图像集合来生成关键帧深度图像。每个关键帧IR图像集合是使用有源IR光的不同调制频率来采集的。对于该关键帧之后的P帧，基于使用有源IR光的单个调制频率所采集的P帧IR图像集合来生成P帧深度图像。

Description

飞行时间相机的经降低功率操作
背景技术
飞行时间(ToF)相机可以基于已知的光速和在ToF相机与对象之间测得的光的飞行时间来确定对象相对于ToF相机的深度。例如，光信号可被临时地调制以照明对象。向后反射的光信号可以由ToF相机的传感器阵列采集并被评估以确定可依据其计算深度的相位差。
发明内容
提供本发明内容以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
飞行时间(ToF)相机被配置成以降低ToF相机的功耗的方式操作。对于关键帧，关键帧深度图像是基于多个关键帧IR图像集合来生成的。每个关键帧IR图像集合是使用有源IR光的不同调制频率来采集的。对于关键帧之后的P帧，P帧深度图像是基于使用有源IR光的单个调制频率所采集的P帧IR图像集合来生成的。
附图简述
图1是示出示例飞行时间(ToF)相机的各方面的分解示意图。
图2是示出用于采集针对关键帧的多个不同调制频率中的每一者的关键帧红外(IR)图像集合的ToF照明器的示例操作序列的时序图。
图3是示出用于采集针对P帧的单个调制频率的P帧IR图像集合的ToF照明器的示例操作序列的时序图。
图4示意性地示出了用于生成关键帧深度图像并且随后基于在关键帧和P帧中标识出的各特征的位置转换来生成P帧深度图像的示例办法。
图5示出了对各关键帧之间的多个P帧执行的示例ToF相机操作。
图6示意性地示出了用于生成关键帧深度图像并且随后基于根据来自一个或多个运动传感器的运动数据确定的经改变的视角来生成P帧深度图像的示例办法。
图7A-7B是用于以降低ToF相机的功耗的方式采集多个深度图像的示例方法的流程图。
图8示出了示例近眼显示设备。
图9示出了示例计算系统。
具体实施方式
飞行时间(ToF)相机可以基于由飞行时间照明器临时调制的光信号的相位差来确定对象的深度。然而，如果对象位于使相位差大于2π的距离处，则该对象可能会与位于2π的倍数的距离处的另一对象混淆。加在等同于距离的相位差上的周期数可以称为“相位缠绕(phase wrapping)”。为了解决此问题，在一个示例中，ToF相机使用若干不同的调制频率调制有源红外(IR)光信号以产生稀疏解空间，从中可以确定相位差的相位缠绕并可以生成深度图像。但是，此多频率调制办法需要在每个调制频率处捕捉多个IR图像才能生成深度图像。ToF相机的电子组件(例如IR激光器、传感器阵列、微控制器)因每次IR图像捕捉而被激活并消耗电能。因此，调制频率的数量越多且在每个频率处捕捉的IR图像的数量越多，ToF相机的功耗就越大。
因此，本公开涉及一种用于以降低ToF相机的功耗的方式操作ToF相机的办法。特别地，此办法包括为关键帧生成关键帧深度图像，以及为各关键帧之间的一个或多个连续P帧生成一个或多个P帧深度图像。每个关键帧深度图像是基于针对多个不同调制频率中的每个调制频率的IR图像集合来生成的。每个P帧深度图像是基于针对单个调制频率的IR图像集合生成的。由于使用单个调制频率，故而相对于生成关键帧深度图像所需的IR图像的数量，可以使用较少数量的IR图像来生成P帧深度图像。如此，可使用比关键帧深度图像少的电力来生成P帧深度图像。相对于仅使用多频办法生成深度图像(即，仅生成关键帧深度图像而不生成P帧深度图像)的ToF相机，通过生成各关键帧深度图像之间的一个或多个连续P帧深度图像的ToF相机的功耗可被降低。
图1示出了被配置成以上文描述的方式操作的示例ToF相机100的各方面。术语“相机”在本文中指的是具有被配置成对场景或对象102进行成像的至少一个光学孔径和传感器阵列的任何成像组件。相机100包括可单独寻址的传感器106的传感器阵列104。在一些实现中，传感器可以是互补金属氧化物半导体(CMOS)元件，但也设想了其他合适的架构。每个传感器可对宽波长段上的光作出响应，但这不是必须的。例如，对于基于硅的传感器，波长响应的范围可以从300至1100nm。为了简单起见，示意性地例示了仅具有二十五个传感器106的传感器阵列104，尽管对传感器106的数目没有理论上的限制。
微透镜阵列108可任选地可直接布置在传感器阵列104上方。微透镜阵列108包括多个微透镜元件110。微透镜阵列108的每个微透镜元件110可配准到传感器阵列104的传感器106。在被包括时，微透镜阵列108可在每个传感器处提供较大的有效填充因子，以提高收集效率并减小像素之间的串扰。
ToF照明器112被配置成发射有源IR光以照明对象102。在一个示例中，ToF照明器112包括被配置成发射IR光的IR激光器。在一些实现中，ToF照明器112可任选地可包括覆盖ToF照明器112的照明区域的漫射器114。在此公开中，术语“红外”(IR)光包括约850nm的所谓的近红外(NIR)波长。可以使用包括NIR光的IR光或任何其他合适波长进行深度测量。尽管在图1中未示出，但相机可任选地包括带通滤波器以将到达传感器106的电磁频谱的部分限制为由ToF照明器112发射的电磁频谱的部分。
电子控制器116可包括逻辑机和相关联的存储机。存储机可以保存使逻辑机执行本文公开的任何操作、算法、计算或变换的指令。在一些实现中，逻辑机可以采用专用集成电路(ASIC)或片上系统(SoC)的形式，其中一些或全部指令是硬件编码或固件编码的。电子控制器116包括可以可操作地连接到传感器阵列104和/或ToF照明器112的ToF控制器机器118和输出机器120。机器118和120可以被实现为分开的物理硬件和/或固件组件，或者被并入单个硬件和/或固件组件中。
ToF控制器机器118被配置成重复地激活ToF照明器112并同步地寻址传感器阵列104的传感器106以采集IR图像。从ToF照明器116发射的有源光信号可以在不同调制频率中被临时地调制以用于不同的IR图像捕捉。在所例示的示例中，ToF控制器机器118激活ToF照明器112以用有源IR光122照明对象102并且同步地寻址传感器阵列104的传感器106。IR光122’从对象102反射回相机100。经反射的IR光122’穿过接收光学器件124并入射在传感器阵列104的传感器106上以提供测量。例如，该测量可以是对从对象到传感器向后反射的有源IR光的强度测量。在所例示的示例中，IR光122’由传感器阵列104的传感器106测量，从而提供了可与相机配置的知识一起使用的相位信息，以确定对象102的位点的世界空间位置。
ToF控制器机器118被配置成基于多个捕捉到的IR图像来生成深度图像128。术语“深度图像”指与成像场景的对应区域(Xi,Yi)配准的像素阵列，其中深度值Zi指示针对每个像素的对应区域的深度。“深度”被定义为与相机的光轴平行的坐标，该坐标随着距相机的距离的增加而增加。术语“深度视频”在本文中指的是深度图像的时间分辨的序列。输出机器120被配置成输出由ToF控制器机器118生成的深度图像128。输出机器120可被配置成以任何合适的形式输出深度图像128。在一些示例中，输出机器120可将深度图像128输出为数据结构，其中矩阵的每个元素对应于不同的像素。
ToF相机100被配置成基于针对关键帧采集的关键帧IR图像集合来生成关键帧深度图像。针对从ToF照明器112发射的IR光的多个不同调制频率采集关键帧IR图像集合。注意，关键帧IR图像集合可以包括一个或多个关键帧IR图像。
图2示出了ToF照明器采集关键帧200的多个关键帧IR图像集合的示例操作序列。特别地，在关键帧200的第一收集时段202期间，ToF照明器被激活以发射以第一调制频率(由虚线指示的F1)调制的IR光以采集三个IR图像的第一集合。接下来，在关键帧200的第二收集时段204期间，ToF照明器被激活以发射以第二调制频率(由点划线指示的F2)调制的IR光以采集三个IR图像的第二集合。最终，在关键帧200的第三收集时段206期间，ToF照明器被激活以发射以第三调制频率(由实线指示的F3)调制的IR光以采集三个IR图像的第三集合。关键帧的总收集历时可以在三个收集时段202、204、206之间平分。在一个示例中，ToF相机的帧速率是每秒三十三帧，并且关键帧的三个收集时段中的每个收集时段是十一毫秒。在所例示的示例中，在关键帧200的收集历时期间一共采集了九个关键帧IR图像。在其他示例中，可针对每个关键帧采集不同数量的关键帧IR图像。三个调制频率(F1，F2，F3)可以是任何合适的不同调制频率。在一个示例中，第二调制频率高于第一调制频率，并且第三调制频率高于第二调制频率。在其他示例中，可以以不同数量的调制频率(例如，两个调制频率或四个或更多个调制频率)来调制ToF照明器。
用于关键帧的这种多频调制办法需要相对大量的IR图像捕捉，这会导致ToF相机100消耗相对大量的电功率。为了降低ToF相机100的功耗，ToF相机100被配置成针对各关键帧之间的一个或多个连续P帧生成一个或多个P帧深度图像。可基于针对P帧采集的P帧IR图像集合来生成每个P帧深度图像。注意，P帧IR图像集合可以包括一个或多个P帧IR图像。针对单个调制频率采集P帧IR图像集合。在一示例中，相对于针对关键帧捕捉到的IR图像的数量，针对P帧捕捉到的IR图像的数量可以是其三分之一。
图3示出了ToF照明器采集P帧300的P帧IR图像集合的示例操作序列。特别地，在P帧300的第一时段302期间，ToF照明器保持停用。在一示例中，P帧300的第一时段302可以在时间上等同于关键帧200的第一收集时段202与第二收集时段204之和。在P帧300的第二时段304期间，ToF照明器被激活以发射以单个调制频率调制的IR光以采集三个IR图像的集合。在所例示的示例中，在P帧的总历时期间一共采集了三个P帧IR图像。在其他示例中，可针对每个P帧采集不同数量的P帧IR图像。
针对P帧成像的IR光的单个调制频率可以是任何合适的调制频率。在一个示例中，该单个调制频率等于关键帧的第三调制频率(F3)。通常，用于P帧的调制频率可以是高频。通过对P帧使用高调制频率，可以获得更准确的深度测量。然而，在一些实现中，不同调制频率可以用于不同的P帧。
由于ToF照明器、传感器阵列和ToF相机的其他电子组件可以在P帧的第一时段302期间保持停用，所以ToF相机的功耗可以被降低。这在ToF相机被并入电池供电的设备(诸如智能电话，头戴式、近眼显示设备或其他移动计算设备)中的实现中可能特别有益。此外，因为在P帧的第一时段302期间没有生成IR图像，所以ToF相机的处理资源可被引导到其他处理操作，这可导致ToF相机更高效的操作。
图4示意性地示出了用于生成关键帧深度图像并且随后生成P帧深度图像的示例办法。特别地，对于关键帧(KF1)，ToF控制器机器118被配置成针对多个不同调制频率来采集多个关键帧IR图像集合400。在此示例中，不同调制频率的数量由(K)表示，并且每个关键帧IR图像集合包括一个关键帧IR图像。用虚线描绘了针对第一调制频率(KF1 1)的关键帧IR图像。用点划线描绘了针对第二调制频率(KF1 2)的关键帧IR图像。用实线描绘了针对第K调制频率(KF1 K)的关键帧IR图像。在此示例中，第K调制频率是多个不同调制频率中的最高频率。
在一些实现中，可以在多个关键帧IR图像集合400上执行各种处理操作以提高所确定的深度和强度值的准确性。在一示例中，ToF控制器机器118被配置成对多个关键帧IR图像集合执行强度降噪操作。可以执行任何合适的强度降噪操作。在一示例中，强度降噪操作包括将低通滤波器应用于多个关键帧IR图像集合。在另一示例中，ToF控制器机器118被配置成对多个关键帧IR图像集合执行空间降频操作。可以执行任何合适的空间降频操作。在另一示例中，ToF控制器机器118被配置成对多个关键帧IR图像集合执行动态范围减小操作。在一示例中，动态范围减小操作包括将纳皮尔对数(Napierian logarithm)应用于多个关键帧IR图像集合。对数可以减小有效亮度的动态范围，以减小对关键帧IR图像的非常亮或暗的区域中的值的拉伸效果。
针对关键帧(KF1)采集的多个关键帧IR图像集合400可以用于生成关键帧深度图像402。在所例示的示例中，各集合仅包括单个图像，但各集合可以包括更多图像。ToF控制器机器118被配置成从多个关键帧IR图像集合400中产生稀疏解空间，从中确定IR光的相位差的相位缠绕并生成关键帧深度图像402。因为可以从多个关键帧IR图像集合400确定深度信息，所以可以在不使用来自任何其他帧(例如，其他关键帧或P帧)的信息的情况下生成关键帧深度图像402。附加地，ToF控制器机器118可以被配置成基于多个关键帧IR图像400生成关键帧IR强度图像。对于传感器阵列的每个传感器，关键帧IR强度图像可以包括IR光强度值。
此外，ToF控制器机器118可以基于多个关键帧IR图像集合400来标识成像场景的一个或多个特征。可逐帧标识和/或跟踪任何合适数量的特征。在此示例中，不同特征的数量由(j)表示。在所描绘的示例中，在针对第K调制频率的关键帧IR图像中，第一特征具有位置
Figure BDA0002782901240000061
第二特征具有位置
Figure BDA0002782901240000063
而第j特征具有位置
Figure BDA0002782901240000062
其中m代表IR图像的行且n代表IR图像的列。所标识的特征的位置可以从关键帧跟踪到P帧以确定位置转换，该位置转换可被用于确定应用于针对P帧采集的P帧IR图像以生成P帧深度图像的相位缠绕。
对于关键帧(KF1)之后的P帧(PF2)，ToF控制器机器118被配置成针对单个调制频率(K)来采集P帧IR图像集合404。在此示例中，该集合包括用实线描绘的单个P帧IR图像
Figure BDA0002782901240000064
在此示例中，该单个调制频率(K)对应于关键帧(KF1)的多个调制频率中的最高调制频率(K)。
在一些实现中，可以在P帧IR图像404集合上执行各种处理操作以提高所确定的深度和强度值的准确性。在一示例中，ToF控制器机器118被配置成对该P帧IR图像集合执行强度降噪操作。可以执行任何合适的强度降噪操作。在一示例中，强度降噪操作包括将低通滤波器应用于P帧IR图像集合。在另一示例中，ToF控制器机器118被配置成对该P帧IR图像集合执行空间降频操作。可以执行任何合适的空间降频操作。在一示例中，空间降频操作包括将纳皮尔对数应用于P帧IR图像集合。在另一示例中，ToF控制器机器118被配置成对多个P帧IR图像集合执行动态范围减小操作。在一示例中，动态范围减小操作包括将纳皮尔对数应用于多个关键帧IR图像集合。
ToF控制器机器118被配置成基于P帧IR图像集合404来标识成像场景的各特征。在所描绘的示例中，对于P帧(PF2)而言，第一特征具有经更新的位置
Figure BDA0002782901240000071
第二特征具有经更新的位置
Figure BDA0002782901240000072
而第j特征具有经更新的位置
Figure BDA0002782901240000073
ToF控制器机器118被配置成确定这些特征从针对调制频率(K)的关键帧IR图像集合到P帧IR图像集合的位置转换406。在一示例中，位置转换406包括，基于被跟踪的特征的位置变化而应用于针对其他调制频率的关键帧IR图像集合的水平和垂直移位，使得关键帧IR图像配准到P帧IR图像。在ToF控制器机器118将位置转换应用于关键帧IR图像集合之后，ToF控制器机器118可以被配置成裁剪关键帧IR图像以匹配P帧IR图像。ToF控制器机器118被配置成至少基于针对单个调制频率(K)采集的P帧IR图像集合以及场景的各特征的位置转换来生成P帧深度图像408。更具体而言，ToF控制器机器118可以被配置成还基于针对其他调制频率的经转换和经裁剪的关键帧IR图像来生成P帧深度图像408。
对于在为各关键帧生成关键帧深度图像之间的连续P帧，可以以任何合适的次数重复地执行该用于生成P帧深度图像的办法。图5示出了对各关键帧之间的多个P帧执行的示例操作。对于第一关键帧(KF1)，ToF控制器机器118基于针对多个不同调制频率(1、2、K)中的每一者生成的多个关键帧IR图像集合来生成关键帧深度图像和关键帧IR强度图像。此外，ToF控制器机器118标识多个关键帧IR图像集合中的各特征。对于第一关键帧(KF1)之后的第一P帧(PF2)，ToF控制器机器118针对单个调制频率(K)生成P帧IR图像集合404。ToF控制器机器118标识P帧IR图像集合中的各特征，并且确定所标识的特征从针对最高调制频率(K)的关键帧IR图像集合到P帧IR图像集合的位置转换。换言之，针对相同调制频率的IR图像被比较以确定场景中特征的位置转换。ToF控制器机器118基于所标识的特征的经确定的位置转换来水平地和/或垂直地移位针对其他调制频率的关键帧IR图像。ToF控制器机器118裁剪经移位的针对其他调制频率的关键帧IR图像集合。ToF控制器机器118基于针对第一P帧(PF2)的调制频率K的P帧IR图像集合以及针对第一关键帧(PF2)的其他调制频率(1、2)的多个经移位和经裁剪的关键帧IR图像来生成P帧深度图像。
后续P帧(PF3-PFN)的P帧深度图像以与第一P帧(PF2)相同的方式被生成。特别地，对于每个P帧，将针对P帧标识的各特征的位置与关键帧中的各特征的位置进行比较，以确定应用于针对其他调制频率的多个关键帧IR图像的位置转换。基于针对P帧的P帧IR图像集合以及所标识的各特征从先前关键帧到P帧的位置转换来生成P帧深度图像。在一些实现中，位置转换可逐P帧在其间跟踪。
对于各关键帧之间的连续P帧，任何合适数量的P帧深度图像可被生成。在一些实现中，各关键帧之间的连续P帧的数量可以是预定的或固定的。例如，固定数量的(范围在三到五个之间)P帧深度图像可在各关键帧深度图像之间被生成。
在其他实现中，ToF控制器机器被配置成动态地调整各关键帧之间的连续P帧的数量。可以基于任何合适的操作参数或条件来动态地调整各关键帧之间的连续P帧的数量。在一示例中，ToF控制器机器118被配置成基于在关键帧IR图像和P帧IR图像中标识的一个或多个特征的位置转换量来动态地调整各关键帧之间的连续P帧的数量。例如，如果所标识的(诸)特征在关键帧和当前P帧之间的位置改变小于阈值量，则下一帧被指定为P帧并且生成另一P帧深度图像。例如，如果所标识的(诸)特征在关键帧和当前P帧之间的位置改变大于或等于阈值量，则下一帧被指定为关键帧并且生成关键帧深度图像。根据此办法，场景中快速移动的对象的深度可被精确地测量，同时还可降低ToF相机的功耗。
在上述办法中，基于在关键帧和P帧的IR图像中标识的(诸)特征的位置转换来生成P帧深度图像。此类办法可以在独立的ToF相机中实现。在一些实现中，ToF相机可被并入在ToF相机外部包括一个或多个运动传感器的设备中，诸如移动计算设备(例如，智能电话、增强现实设备、近眼显示设备)。被配置成确定ToF相机位置的运动传感器的非限制性示例包括惯性测量单元(IMU)，该惯性测量单元包括加速度计和/或陀螺仪。在此类实现中，来自运动传感器的信息可被ToF相机利用以确定ToF相机在关键帧和P帧之间的视角变化，其可被用于生成P帧深度图像。在此办法中，不需要逐帧跟踪并标识场景的特征就能生成P帧深度图像。如此，与特征跟踪办法相比，此办法的处理资源密集度可能更低。但在一些实现中，此类特征跟踪也可以被执行。
图6示意性地示出了用于基于根据运动传感器数据确定的从关键帧到P帧ToF相机的经改变的视角来生成关键帧深度图像并且随后生成P帧深度图像的示例办法。特别地，对于关键帧(KF1)，ToF控制器机器118被配置成针对多个不同调制频率中的每一者来采集多个关键帧IR图像集合600。注意，每个关键帧IR图像集合可以包括一个或多个关键帧IR图像。针对关键帧(KF1)采集的多个关键帧IR图像集合600可以用于生成关键帧深度图像602。特别地，ToF控制器机器118被配置成从多个关键帧IR图像集合600中产生稀疏解空间，从中确定IR光的相位差的相位缠绕并生成关键帧深度图像602。
对于关键帧(KF1)之后的P帧(PF2)，ToF控制器机器118被配置成针对单个调制频率(K)来采集P帧IR图像集合604。描绘了包括单个P帧IR图像
Figure BDA0002782901240000091
的集合。在此示例中，该单个调制频率(K)对应于关键帧(KF1)的多个调制频率中的最高调制频率(K)。控制器机器118被配置成从(诸)运动传感器接收运动数据606。ToF控制器机器118被配置成基于从关键帧(KF1)到P帧(PF2)的检测到的运动来确定ToF相机的经改变的视角。ToF控制器机器118被配置成基于所确定的ToF相机的经改变的视角来移位针对其他调制频率的关键帧IR图像集合，使得关键帧IR图像配准到P帧IR图像。ToF控制器机器118被配置成裁剪经移位的关键帧IR图像。ToF控制器机器118被配置成基于针对第一P帧(PF2)的调制频率K的P帧IR图像集合以及针对第一关键帧(KF1)的其他调制频率(1、2)的经移位和经裁剪的关键帧IR图像集合来生成P帧深度图像608。对于在为关键帧生成关键帧深度图像之间的连续P帧，可以以任何合适的次数重复地执行该用于生成P帧深度图像的办法。
图7A-7B描述用于以降低ToF相机的功耗的方式生成深度图像的示例方法700的流程图。例如，方法700可由相机100的电子控制器116执行。
在图7A中，在方法700的702处，对于关键帧，ToF相机的ToF照明器被重复地激活以用有源IR光照明场景。ToF以多个不同调制频率调制有源IR光。在方法700的704处，对于多个不同调制频率中的每一者，ToF相机的传感器阵列被重复寻址以采集表示对从场景反射回传感器阵列的有源IR光的测量的关键帧IR图像集合。在方法700的706处，基于多个关键帧IR图像集合来生成关键帧深度图像。每个关键帧IR图像集合是使用有源IR光的不同调制频率来采集的。关键帧深度图像包括针对传感器阵列的每个传感器的深度值。
在一些实现中，在方法700的708处，可任选地在多个关键帧IR图像集合上执行强度降噪操作。在方法700的710处，可任选地在多个关键帧IR图像集合上执行空间降频操作。在方法700的712处，可任选地基于多个关键帧IR图像集合来标识场景的一个或多个特征。可在所标识的各特征的位置转换被用于生成P帧深度图像的实现中标识(诸)特征。
在方法700的714处，从ToF相机输出关键帧深度图像。在一些实现中，在方法700的716处，可任选地从ToF相机输出关键帧IR强度图像。
在图7B中，在方法700的718处，对于P帧，ToF照明器被激活以用单个调制频率的有源IR光来照明场景。在方法700的720处，传感器阵列被寻址以采集表示对从场景反射回传感器阵列的有源IR光的测量的P帧IR图像集合。
在一些实现中，在方法700的722处，可任选地在P帧IR图像集合上执行强度降噪操作。在方法700的724处，可任选地在P帧IR图像集合上执行空间降频操作。在方法700的726处，可任选地基于P帧IR图像集合来标识场景的一个或多个特征。在方法700的728处，可任选地确定一个或多个经标识的特征从关键帧到P帧的位置转换。在IR图像中标识出特征的实现中，经标识的特征的位置转换可被应用于针对其他调制频率的关键帧IR图像集合，并且这些经转换的关键帧IR图像可被用于生成P帧深度图像。在方法700的730处，可任选地基于一个或多个运动传感器的运动数据来确定P帧相对于关键帧的ToF相机的经改变的视角。在从一个或多个运动传感器接收到运动数据的实现中，从运动数据确定的ToF相机的经改变的视角可被用于转换针对其他调制频率的关键帧IR图像集合，以及这些经转换的关键帧IR图像集合可被用于生成P帧深度图像。在方法700的734处，可任选地基于所标识的特征的位置转换或ToF相机的经改变的视角来裁剪针对其他调制频率的关键帧IR图像集合。
在方法700的734处，基于P帧IR图像集合以及所标识的特征的位置转换或ToF相机的经改变的视角来生成P帧深度图像。P帧深度图像包括针对传感器阵列的每个传感器的深度值。在从关键帧到P帧来跟踪经标识的特征的实现中，基于所标识的特征的位置转换而转换的关键帧IR图像集合与P帧IR图像集合一起使用以生成P帧深度图像。在从关键帧到P帧来跟踪ToF相机的视角的实现中，基于ToF相机的经改变的视角而转换的关键帧IR图像集合与P帧IR图像集合一起使用以生成P帧深度图像。
在方法700的736处，从ToF相机输出P帧深度图像。在一些实现中，在方法700的738处，可任选地从ToF相机输出P帧IR强度图像。方法700的各部分可被重复以生成关键帧的关键帧深度图像和各关键帧之间的一个或多个连续P帧的P帧深度图像。
图8示出了其中ToF相机可被并入的近眼显示设备800的各方面。近眼显示设备800是具有透视显示窗802R和802L以及配置成搁在用户的头上的框架804的双目近眼显示设备。近眼显示设备800包括右微显示器806R和左微显示器806L。右和左微显示器被配置成将计算机化虚拟显示影像分别投影到右和左显示窗802R和802L上。微显示器由板载计算机808驱动。当右和左显示图像被合并并在显示窗802R和802L上以适当的方式呈现时，用户体验到在指定位置处并具有指定3D内容和其他显示属性的一个或多个虚拟对象的幻像。这样的虚拟影像可具有任何所需的复杂性；例如，它可包括具有前景和背景部分两者的完整虚拟场景。
近眼显示设备800包括可操作地耦合到计算系统806的传感器子系统810。传感器子系统808包括面向世界的ToF相机812，其被配置成对用户环境的任何或所有方面(包括一个或多个真实物体)进行成像。例如，来自面向世界的ToF相机812的深度图像可被提供给计算系统808，以用于虚拟地重构环境的目的。传感器子系统810可包括分立的平面成像相机814，其布置成具有与ToF相机812的光轴朝向相同方向的光轴。在一些实现中，来自平面成像相机的图像或视频输出以及来自ToF相机的图像或视频输出可被共同配准并组合成统一(例如，RGB+深度)数据结构或流。在一些示例中，表示深度和亮度(例如，IR+深度)两者的数据流可以通过组合相位不同的输出来获得。
传感器子系统包括配置成感测近眼显示设备800相对于环境中的物体或一些其他参考位点的位置和取向的位置传感器816。位置传感器可包括惯性测量单元(IMU，包括一个或多个加速度计、陀螺仪和磁力计)和/或全球定位系统(GPS)接收机。在一些实现中，位置传感器返回近眼显示设备的三个笛卡尔坐标的六自由度(6DOF)估计，加上绕这三个笛卡尔轴中的每一者的旋转。位置传感器的输出可被用来将(全局地定义的)虚拟显示物体的位置、大小和取向映射到近眼显示设备800的右和左显示窗802。传感器子系统810可以包括任何合适类型的传感器，包括被配置成确定近眼显示设备800的位置和/或方向的一个或多个运动传感器。
传感器子系统810的传感器可被配置成向ToF相机812发送传感器数据以指示ToF相机812的经改变的视角，其可被ToF相机812用来以本文所描述的方式生成P帧深度图像。
在一些实现中，本文中所描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库、和/或其他计算机程序产品。
图9示意性地示出了可执行上述方法和过程中的一个或多个的计算系统900的非限制性实现。以简化形式示出了计算系统900。例如，计算系统900可以采用图1的相机100或电子控制器116的形式。
计算系统900包括逻辑机902和存储机904。计算系统900可任选地包括显示子系统906、输入子系统908、通信子系统910和/或在图900中未示出的其他组件。
逻辑机902包括被配置成执行指令的一个或多个物理设备。例如，逻辑机902可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。此类指令可被实现以执行任务、实现数据类型、变换一个或多个组件的状态、实现技术效果、或以其他方式得到期望的结果。
逻辑机902可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机902可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机902的处理器可以是单核的或多核的，并且其上所执行的指令可以被配置成用于串行、并行和/或分布式处理。逻辑机的各个个体组件可任选地分布在两个或更多个分开的设备之中，这些设备可位于远程和/或被配置成用于协同处理。逻辑机902的各方面可以通过按云计算配置被配置的可远程访问的、联网计算设备来被虚拟化和执行。
存储机904包括被配置成保持可由逻辑机902执行的指令以实现本文中所描述的方法和过程的一个或多个物理设备。当实现这些方法和过程时，可以变换存储机904的状态－例如，以保持不同的数据。
存储机904可包括半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁存储器(例如，硬盘驱动器、软盘驱动器、带驱动器、MRAM等)等等。存储机904可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
将理解，存储机904包括一个或多个物理设备。然而，本文中所描述的指令的各方面可替换地通过不被物理设备保持达有限历时的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机902和存储机904的各方面可被一起集成到一个或多个硬件逻辑组件中。此类硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)，以及复杂可编程逻辑器件(CPLD)。
当显示子系统906时被包括时，显示子系统906可被用来呈现由存储机904保持的数据的视觉表示。此视觉表示可以采取显示图像的形式，将像素矩阵126转换为人类可感知的视觉格式。由于本文中所描述的方法和过程改变了由存储机保持的数据，并因而变换了存储机的状态，因此同样可以变换显示子系统906的状态以视觉地表示底层数据中的改变。显示子系统906可包括利用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机902和/或存储机904组合在共享封装中，或者此类显示设备可以是外围显示设备。
当包括输入子系统908时，输入子系统908可包括诸如键盘、鼠标、触摸屏、或游戏控制器之类的一个或多个用户输入设备或者与上述用户输入设备对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)部件或者与上述自然用户输入(NUI)部件相对接。此类部件可以是集成的或外围的，并且输入动作的换能和/或处理可以在板上或板外被处置。示例NUI部件可包括用于语音和/或话音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体、和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计、和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统910时，通信子系统910可被配置成将计算系统900与一个或多个其他计算设备通信地耦合。通信子系统910可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统910可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统910可允许计算系统900经由诸如互联网之类的网络将消息发送至其他设备以及/或者从其他设备接收消息。
在一示例中，一种飞行时间(ToF)相机包括：ToF照明器，该ToF照明器被配置成发射有源IR光；传感器阵列，该传感器阵列包括多个传感器，每个传感器都被配置成测量有源IR光；以及ToF控制器机器，该ToF控制器机器被配置成：对于关键帧，重复地激活ToF照明器以用有源IR光照明场景，其中ToF照明器以多个不同调制频率调制有源IR光，针对多个不同调制频率中的每个调制频率，重复地寻址传感器阵列以采集各自表示对从场景反射回传感器阵列的有源IR光的测量的关键帧IR图像集合，基于多个关键帧IR图像集合来生成包括针对传感器阵列的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的，以及基于多个关键帧IR图像集合标识场景的一个或多个特征，对于在关键帧之后发生的P帧，激活ToF照明器以用以单个调制频率调制的有源IR光照明场景，寻址传感器阵列以采集表示对从场景反射回传感器阵列的有源IR光的测量的P帧IR图像集合，基于P帧IR图像集合标识场景的一个或多个特征，确定一个或多个特征从关键帧到P帧的位置转换，以及至少基于使用单个调制频率的有源IR光所采集的P帧IR图像集合和场景的一个或多个特征的位置转换来生成包括针对传感器阵列的每个传感器的深度值的P帧深度图像，以及输出机器，该输出机器可操作地连接到传感器阵列并被配置成输出关键帧深度图像和P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成针对各关键帧之间的连续P帧生成多个P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成基于一个或多个特征的位置转换量来动态地调整各关键帧之间的连续P帧的数量。在此示例和/或其他示例中，该单个调制频率可以是多个不同调制频率中的最高调制频率。在此示例和/或其他示例中，ToF控制器机器可被配置成还基于针对除了P帧的单个调制频率之外的调制频率的关键帧IR图像集合来生成P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成基于一个或多个特征的位置转换来裁剪针对除了单个调制频率之外的调制频率的关键帧IR图像，并且ToF控制器机器可被配置成还基于经裁剪的关键帧IR图像来生成P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成对多个关键帧IR图像集合和P帧IR图像集合执行强度降噪操作。在此示例和/或其他示例中，强度降噪操作可包括将低通滤波器应用于多个关键帧IR图像集合和P帧IR图像集合。在此示例和/或其他示例中，ToF控制器机器可被配置成对多个关键帧IR图像集合和P帧IR图像集合执行空间降频操作。在此示例和/或其他示例中，ToF控制器机器可被配置成对多个关键帧IR图像集合和P帧IR图像集合执行动态范围减小操作。
在一示例中，一种ToF相机包括：ToF照明器，该ToF照明器被配置成发射有源IR光；传感器阵列，该传感器阵列包括多个传感器；以及ToF控制器机器，ToF控制器机器被配置成：对于关键帧，基于多个关键帧IR图像集合来生成包括针对传感器阵列的多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的，对于在该关键帧之后发生的P帧，基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对传感器阵列的多个传感器中的每个传感器的深度值的P帧深度图像；以及输出机器，该输出机器可操作地连接到传感器阵列并被配置成输出关键帧深度图像和P帧深度图像。在此示例和/或其他示例中，该ToF控制器机器可被配置成：对于关键帧：重复地激活ToF照明器以用有源IR光照明场景，其中ToF照明器以多个不同调制频率调制有源IR光，针对多个不同调制频率中的每个调制频率，重复地寻址传感器阵列以采集表示对从场景反射回传感器阵列的有源IR光的测量的关键帧IR图像集合，针对传感器阵列的多个传感器中的每个传感器，基于多个IR图像集合来确定深度值，基于多个关键帧IR图像集合标识场景的一个或多个特征，对于P帧：激活ToF照明器以用以单个调制频率调制的有源IR光照明场景，寻址传感器阵列以采集表示对从场景反射回传感器阵列的有源IR光的测量的P帧IR图像集合，基于P帧IR图像集合标识场景的一个或多个特征，确定一个或多个特征从关键帧到P帧的位置转换，以及其中P帧深度图像的每个深度值是基于单个P帧IR图像集合和场景的一个或多个特征的位置转换来确定的。在此示例和/或其他示例中，ToF相机可进一步包括：一个或多个运动传感器，该一个或多个运动传感器被配置成测量ToF相机的位置；以及该ToF控制器机器可被配置成：对于关键帧：重复地激活ToF照明器以用有源IR光照明场景，其中ToF照明器以多个不同调制频率调制有源IR光，针对多个不同调制频率中的每个调制频率，重复地寻址传感器阵列以采集表示对从场景反射回传感器阵列的有源IR光的测量的关键帧IR图像集合，针对传感器阵列的多个传感器中的每个传感器，基于多个IR图像集合来确定深度值；对于P帧：激活ToF照明器以用以单个调制频率调制的有源IR光照明场景，寻址传感器阵列以采集表示对从场景反射回传感器阵列的有源IR光的测量的IR图像集合，基于一个或多个运动传感器的运动数据来确定从关键帧到P帧ToF相机的经改变的视角，以及其中P帧深度图像的每个深度值是基于单个P帧IR图像集合和ToF相机的经改变的视角来确定的。在此示例和/或其他示例中，ToF控制器机器可被配置成针对各关键帧之间的连续P帧生成多个P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成基于从关键帧到P帧ToF相机的视角改变量来动态地调整各关键帧之间的连续P帧的数量。在此示例和/或其他示例中，ToF控制器机器可被配置成基于在多个关键帧IR图像集合和P帧IR图像集合中标识的一个或多个特征从关键帧到P帧的移动量来动态地调整各关键帧之间的连续P帧的数量。在此示例和/或其他示例中，ToF控制器机器可被配置成还基于针对除了P帧的单个调制频率之外的调制频率的关键帧IR图像集合来生成P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成基于ToF相机的经改变的视角的位置转换来裁剪针对除了单个调制频率之外的调制频率的关键帧IR图像，并且ToF控制器机器可被配置成还基于经裁剪的关键帧IR图像来生成P帧深度图像。在此示例和/或其他示例中，ToF控制器机器可被配置成执行以下一者或多者：对多个关键帧IR图像执行强度降噪操作、对多个关键帧IR图像和多个P帧IR图像执行空间降频操作、以及对多个关键帧IR图像集合和P帧IR图像集合执行动态范围减小操作。
在一示例中，一种飞行时间(ToF)方法包括：基于多个关键帧(红外)IR图像集合来生成包括针对传感器阵列的多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的；以及基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对传感器阵列的多个传感器中的每个传感器的深度值的P帧深度图像。
应当理解，本文中所描述的配置和/或办法本质上是示例性的，并且这些具体实施例或示例不应被视为具有限制意义，因为许多变体是可能的。本文中所描述的具体例程或方法可表示任何数目的处理策略中的一个或多个。由此，所例示和/或所描述的各种动作可以以所例示和/或所描述的顺序执行、以其他顺序执行、并行地执行，或者被省略。同样，以上所描述的过程的次序可被改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (11)

1.一种ToF相机，包括：
ToF照明器，所述ToF照明器被配置成发射有源IR光；
传感器阵列，所述传感器阵列包括多个传感器；以及
ToF控制器机器，所述ToF控制器机器被配置成：
对于关键帧，基于多个关键帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的，
对于在所述关键帧之后发生的P帧，基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的P帧深度图像；以及
输出机器，所述输出机器可操作地连接到所述传感器阵列并被配置成输出所述关键帧深度图像和所述P帧深度图像。
2.如权利要求1所述的ToF相机，其特征在于，所述ToF控制器机器被配置成：
对于所述关键帧：
重复地激活所述ToF照明器以用有源IR光照明场景，其中所述ToF照明器以多个不同调制频率调制所述有源IR光，
针对所述多个不同调制频率中的每个调制频率，重复地寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的关键帧IR图像集合，
针对所述传感器阵列的所述多个传感器中的每个传感器，基于所述多个IR图像集合来确定深度值，
基于所述多个关键帧IR图像集合标识所述场景的一个或多个特征，
对于所述P帧：
激活所述ToF照明器以用以所述单个调制频率调制的有源IR光照明所述场景，
寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的所述P帧IR图像集合，
基于所述P帧IR图像集合标识所述场景的所述一个或多个特征，
确定所述一个或多个特征从所述关键帧到所述P帧的位置转换，以及
其中所述P帧深度图像的每个深度值是基于所述单个P帧IR图像集合和所述场景的所述一个或多个特征的所述位置转换来确定的。
3.如权利要求1所述的ToF相机，其特征在于，进一步包括：
一个或多个运动传感器，所述一个或多个运动传感器被配置成测量所述ToF相机的位置；
其中所述ToF控制器机器被配置成：
对于所述关键帧：
重复地激活所述ToF照明器以用有源IR光照明场景，其中所述ToF照明器以多个不同调制频率调制所述有源IR光，
针对所述多个不同调制频率中的每个调制频率，重复地寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的关键帧IR图像集合，
针对所述传感器阵列的所述多个传感器中的每个传感器，基于所述多个IR图像集合来确定深度值，
对于所述P帧：
激活所述ToF照明器以用以所述单个调制频率调制的有源IR光照明所述场景，
寻址所述传感器阵列以采集表示对从所述场景反射回所述传感器阵列的所述有源IR光的测量的IR图像集合，
基于所述一个或多个运动传感器的运动数据来确定从所述关键帧到所述P帧所述ToF相机的经改变的视角，以及
其中所述P帧深度图像的每个深度值是基于所述单个P帧IR图像集合和所述ToF相机的所述经改变的视角来确定的。
4.如权利要求1所述的ToF相机，其特征在于，所述ToF控制器机器被配置成针对各关键帧之间的连续P帧生成多个P帧深度图像。
5.如权利要求4所述的ToF相机，其特征在于，所述ToF控制器机器被配置成基于从所述关键帧到所述P帧所述ToF相机的视角改变量来动态地调整各关键帧之间的连续P帧的数量。
6.如权利要求4所述的ToF相机，其特征在于，所述ToF控制器机器被配置成基于在所述多个关键帧IR图像集合和所述P帧IR图像集合中标识的一个或多个特征从所述关键帧到所述P帧的移动量来动态地调整各关键帧之间的连续P帧的数量。
7.如权利要求1所述的ToF相机，其特征在于，所述ToF控制器机器被配置成还基于针对除了所述P帧的所述单个调制频率之外的调制频率的关键帧IR图像集合来生成所述P帧深度图像。
8.如权利要求7所述的ToF相机，其特征在于，所述ToF控制器机器被配置成基于所述ToF相机的经改变的视角的位置转换来裁剪针对除了所述单个调制频率之外的调制频率的关键帧IR图像，并且其中所述ToF控制器机器被配置成还基于经裁剪的关键帧IR图像来生成所述P帧深度图像。
9.如权利要求1所述的ToF相机，其特征在于，所述ToF控制器机器被配置成执行以下一者或多者：对所述多个关键帧IR图像执行强度降噪操作、对所述多个关键帧IR图像和所述多个P帧IR图像执行空间降频操作、以及对所述多个关键帧IR图像集合和所述P帧IR图像集合执行动态范围减小操作。
10.如权利要求1所述的ToF相机，其特征在于，所述单个调制频率是所述多个不同调制频率中的最高调制频率。
11.一种飞行时间(ToF)方法，包括：
基于多个关键帧(红外)IR图像集合来生成包括针对传感器阵列的多个传感器中的每个传感器的深度值的关键帧深度图像，每个关键帧IR图像集合是使用不同调制频率的有源IR光来采集的；以及
基于使用单个调制频率的有源IR光所采集的单个P帧IR图像集合来生成包括针对所述传感器阵列的所述多个传感器中的每个传感器的深度值的P帧深度图像。
CN201980033183.8A 2018-05-17 2019-05-06 一种飞行时间ToF相机和一种ToF方法 Active CN112189147B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/983,054 2018-05-17
US15/983,054 US10607352B2 (en) 2018-05-17 2018-05-17 Reduced power operation of time-of-flight camera
PCT/US2019/030783 WO2019221944A1 (en) 2018-05-17 2019-05-06 Reduced power operation of time-of-flight camera

Publications (2)

Publication Number Publication Date
CN112189147A true CN112189147A (zh) 2021-01-05
CN112189147B CN112189147B (zh) 2024-03-29

Family

ID=66554522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033183.8A Active CN112189147B (zh) 2018-05-17 2019-05-06 一种飞行时间ToF相机和一种ToF方法

Country Status (6)

Country Link
US (1) US10607352B2 (zh)
EP (1) EP3775995B1 (zh)
JP (1) JP7337091B2 (zh)
KR (1) KR20210009316A (zh)
CN (1) CN112189147B (zh)
WO (1) WO2019221944A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US20200020671A1 (en) * 2018-07-10 2020-01-16 Kuan-Yu Lu Single-piece multi-frequency infrared light-emitting-diode (led) and multi- frequency high-precision object recognition system formed by using the same
EP3855395B1 (en) * 2018-09-18 2024-05-15 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device, depth acquisition method and program
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
US10860032B2 (en) * 2018-10-29 2020-12-08 Dell Products, Lp System and method for adaptive infrared emitter power optimization for simultaneous localization and mapping
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor
US20230072179A1 (en) * 2021-08-24 2023-03-09 Microsoft Technology Licensing, Llc Temporal metrics for denoising depth image data
US20230291886A1 (en) * 2022-03-14 2023-09-14 Microsoft Technology Licensing, Llc Motion correction for time-of-flight depth imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188028A1 (en) * 2007-10-02 2011-08-04 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
US20140168369A1 (en) * 2012-12-19 2014-06-19 Randall T. Crane Single frequency time of flight de-aliasing
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288776B1 (en) 1999-11-24 2001-09-11 Eastman Kodak Company Method for unambiguous range estimation
US6456793B1 (en) 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
AUPR301401A0 (en) 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2008074019A2 (en) 2006-12-13 2008-06-19 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
US7420656B1 (en) 2007-08-20 2008-09-02 Sandia Corporation Scannerless loss modulated flash color range imaging
JP5019117B2 (ja) 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
GB2490872B (en) 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
EP2729826B1 (en) 2012-01-10 2017-04-26 Softkinetic Sensors N.V. Improvements in or relating to the processing of time-of-flight signals
US9213883B2 (en) * 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
DE102013225676B4 (de) 2012-12-17 2018-06-07 pmdtechnologies ag Lichtlaufzeitkamera mit einer Bewegungserkennung
WO2015047225A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
JP6897563B2 (ja) * 2015-05-14 2021-06-30 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム
US20190056498A1 (en) 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
JP6852416B2 (ja) 2016-03-10 2021-03-31 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法
US10841491B2 (en) 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US20180343432A1 (en) * 2017-05-23 2018-11-29 Microsoft Technology Licensing, Llc Reducing Blur in a Depth Camera System
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188028A1 (en) * 2007-10-02 2011-08-04 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
CN102622745A (zh) * 2011-01-12 2012-08-01 索尼公司 3d飞行时间相机和方法
US20140168369A1 (en) * 2012-12-19 2014-06-19 Randall T. Crane Single frequency time of flight de-aliasing
CN105103006A (zh) * 2012-12-19 2015-11-25 微软技术许可有限责任公司 飞行去混叠的单个频率时间
US20160119611A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Time of flight depth camera

Also Published As

Publication number Publication date
CN112189147B (zh) 2024-03-29
KR20210009316A (ko) 2021-01-26
US10607352B2 (en) 2020-03-31
US20190355136A1 (en) 2019-11-21
EP3775995B1 (en) 2023-08-09
JP7337091B2 (ja) 2023-09-01
EP3775995A1 (en) 2021-02-17
JP2021523347A (ja) 2021-09-02
WO2019221944A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN112189147B (zh) 一种飞行时间ToF相机和一种ToF方法
US11972780B2 (en) Cinematic space-time view synthesis for enhanced viewing experiences in computing environments
CA2786439C (en) Depth camera compatibility
JP7535089B2 (ja) 仮想、拡張、および複合現実システムのための深度感知技法
CA2786436C (en) Depth camera compatibility
JP5871862B2 (ja) ３ｄ深度情報に基づいたイメージぼかし
US20170374342A1 (en) Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
US20170059305A1 (en) Active illumination for enhanced depth map generation
US10943335B2 (en) Hybrid tone mapping for consistent tone reproduction of scenes in camera systems
US20130129224A1 (en) Combined depth filtering and super resolution
CN108648225B (zh) 目标图像获取系统与方法
CN108683902B (zh) 目标图像获取系统与方法
WO2017222558A1 (en) Laser-enhanced visual simultaneous localization and mapping (slam) for mobile devices
US20190045169A1 (en) Maximizing efficiency of flight optical depth sensors in computing environments
CN118140244A (zh) 时间滤波权重计算
CN115878008A (zh) 交互方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant