CN107148640B - 飞行时间深度相机 - Google Patents

飞行时间深度相机 Download PDF

Info

Publication number
CN107148640B
CN107148640B CN201580057487.XA CN201580057487A CN107148640B CN 107148640 B CN107148640 B CN 107148640B CN 201580057487 A CN201580057487 A CN 201580057487A CN 107148640 B CN107148640 B CN 107148640B
Authority
CN
China
Prior art keywords
calibration
timing delay
duty cycle
updated
factory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580057487.XA
Other languages
English (en)
Other versions
CN107148640A (zh
Inventor
M·A·霍尔
M·施密特
T·佩里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107148640A publication Critical patent/CN107148640A/zh
Application granted granted Critical
Publication of CN107148640B publication Critical patent/CN107148640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)

Abstract

提供了一种用于操作飞行时间(TOF)深度相机的方法。该方法包括，使用图像处理模块(110)，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器(122)的每一个像素传感器内插经更新的定时延迟校准，该多个像素传感器耦合到定时时钟并接收由光源(116)生成并在3维环境中反射的光，调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准。该方法包括将经更新的定时延迟校准应用于与多个像素传感器(122)的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。

Description

飞行时间深度相机
背景
飞行时间(TOF)技术被用在多个领域以确定光行进通过媒介所花费的时间。例如，TOF方法可被用于相机中以确定3维环境中的深度测量。
概述
提供了一种用于操作飞行时间(TOF)深度相机的方法。该方法包括，使用图像处理模块，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，该多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光，并且调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准，并将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。以此方式，针对像素传感器的定时延迟校准可在相机被运输到消费者之后被更新。结果，TOF深度相机的操作模式可被改变并且TOF深度相机的性能状态可在生产出厂之后被修改，从而允许TOF深度相机的适用性被扩展。具体地，TOF深度相机的性能可被改善以更好地适合新操作环境。深度相机中的各种参数可被改变以改善相机操作，诸如照明频率，占空比(例如，光源和像素检测器占空比)、峰值功率和积分时间等，并且定时延迟可被调节以匹配参数改变。调节这些参数使得准确性、精度、深度噪声、近和远范围、信噪比、混合像素分辨率、运动模糊，和/或其它合适的性能特征在相机中被改变以提供期望的操作特征。因此，当这些参数能够在相机被运输到消费者之后动态更新时，深度相机的使用寿命可被延长并且相机的用户体验可被增强。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了飞行时间(TOF)系统的示意性描绘；
图2示出了TOF系统的操作的方法；
图3和4示出了TOF系统的操作的另一方法；
图5示出了示例TOF系统以及TOF和TOF系统中的定时延迟的图形表示；
图6示出了通过包括在多个像素传感器中的一个像素传感器接收的波形和从光源发出的波形之间的定时延迟的图形表示；
图7示出了TOF深度相机的工厂校准期间获得的数据的线性回归的图形表示；以及
图8示出了示例性计算设备。
详细描述
深度相机可在娱乐和游戏系统中被用作输入设备来标识用户移动并响应于检测到的移动在设备中执行功能。深度相机还可被用于这些系统中以供面部识别、对象扫描等。然而，将理解深度相机可被用于大量其它系统中。
归因于相机内的硬件配置(例如，定时时钟和光源安排)，深度相机可能有定时延迟。具体而言，深度相机通常包括连接到像素传感器和激光器的定时机制。该像素传感器可能比激光器更接近定时机制。因此，在像素传感器接收的定时信号和定时信号触发的激光照明的实际时刻之间存在实质性延迟。该延迟导致深度误差，其在某些情况中可能是数十至数百厘米的量级。
为考虑这些延迟，TOF深度相机可在它们的生产工厂被校准以确定针对相机中的每个像素传感器的设定定时延迟。定时延迟是取决于相机操作模式的量。这一操作模式可基于预期的操作环境来被确定。例如，游戏系统中的操作模式可被选择来供在室内环境(诸如起居室)中使用。工厂校准确定给定操作模式的定时延迟。这些经工厂校准的延迟是静态的且一旦相机被提供给消费者就不能被修改。以此方式固定定时延迟限制了相机的灵活性，因为它不允许对操作模式的改变。具体而言，更改光学参数(诸如照明频率、占空比、峰值功率、积分时间等)影响定时延迟，从而致使经工厂校准的定时延迟无效。结果，这些类型的深度相机的适用性受限，因为它们不能在现场动态更新。已开发了飞行时间(TOF)系统和飞行时间系统的操作方法(如下所述)以改善定时延迟校准。
图1示出了TOF系统100的示意性描绘。TOF系统100包括TOF深度相机102、校准计算设备104，以及更新计算设备106。校准计算设备104被配置来向TOF深度相机102提供工厂校准。更新计算设备106被配置来在相机被销售或以其他方式提供给消费者之后向TOF深度相机102提供生产后校准。换言之，更新计算设备106被配置来提供现场重新校准功能。提供现场重新校准通过允许定时基于相机的参数中的调整来重新计算定时误差而使得TOF深度相机102的适用性能被提高。将理解，当新信息变得可用、软件算法被改善、相机在非预期操作环境中被使用等时，改变相机的参数可能是合乎需要的。结果，相机性能特征可被重新分发来针对未曾预料到的终端用户情形改善相机操作。
执行TOF深度相机的工厂校准以及在TOF深度相机102上更新校准的方法在此被更详细地讨论。进一步，在其它示例中，工厂校准和生产后动态校准可通过单个计算设备被提供。此外，如在图1中描绘的，更新计算设备106通过网络108(诸如因特网)与TOF深度相机102电子通信。然而，已设想了其它合适的网络。校准计算设备104被示为与TOF深度相机102直接电子通信。此外，校准计算设备104可通过合适的网络(包括但不限于网络108)与TOF深度相机102通信。
TOF深度相机102包括配置用于确定定时误差并执行在此更详细描述的附加功能的图像处理模块110。TOF深度相机102还包括定时时钟112。定时时钟112与可被配置来存储占空比和频率组合的图像处理模块110电子通信。定时时钟112被配置来生成调制信号114(例如，调制电压)。将理解，调制信号114可以是类似的。例如，类似的调制信号可从定时时钟被发送到光源和像素快门。将理解，尽管相同信号可被从定时时钟发送到光源以及像素快门，归因于信号经由其传播的各电子连接中的差异，通过光源和像素快门接收的信号可具有轻微差异。因此，在一个示例中，发送到至少一个快门的调制信号和发送到光源的调制信号是同一信号。
调制信号114可被基于存储在图像处理模块110中的调制频率和占空比组合来被生成。如所示出的，调制信号114从定时时钟112被发送到光源116和像素阵列118。将理解，调制信号规定光源生成的波形的形状和定时。
光源116包括一个或多个激光器120和/或其它合适的光生成设备，诸如发光二极管(LED)。激光器120被配置来生成光。在一个示例中，激光器被配置来发射红外频谱中的光(即，波长范围1毫米mm-700纳米nm内的光)。然而，已经构想了生成其它频谱的光的光源。
像素阵列118包括多个像素传感器122。像素阵列118进一步包括与多个像素传感器122的每一个像素传感器相关联的至少一个快门124。在一个示例中，两个快门可与多个像素传感器的每一个像素传感器相关联。此外，在其它示例中，将理解，快门被集成到多个像素传感器122中。再进一步，在一个示例中，像素阵列118可被集成到定时时钟112中。发送到像素阵列的调制信号规定快门操作的定时(例如，开和闭)。因此，调制信号确定由像素阵列接收的波形的定时。
将理解，光源116被配置来将其中生成的光投射到3维环境126，如通过箭头128所指示。光被反射离开3维环境126中的对象并返回多个像素传感器122，如通过箭头130所指示。将理解，快门124调理进入多个像素传感器122的光的定时。如所示，像素阵列118与图像处理模块110电子通信，如通过箭头132所指示。图像处理模块110还与定时时钟112电子通信，如通过箭头133所指示。此外，图像处理模块110被配置以基于从像素阵列118和定时时钟112接收到的信号来生成深度图134。
定时时钟12被配置来生成调制信号114并将调制信号114发送到多个像素传感器122和光源116，调制信号基于由图像处理模块110接收到的调制频率和占空比校准组合的经更新集合来被生成。此外，图像处理模块110被配置来基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合为多个像素传感器122的每一个像素传感器内插经更新的定时延迟校准。图像处理模块110被进一步配置来将定时延迟校准应用于与多个像素传感器122的每一个像素传感器相对应的像素数据，以生成3维环境的深度图，多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光。图像处理模块110还被配置来用定时延迟校准的经更新集合代替工厂预载的定时延迟校准的集合。因此，定时延迟校准的经更新集合可能不同于工厂预载的定时延迟校准的集合。这个动态校准在此更详细地讨论。
图2示出了TOF系统的操作的方法200。方法200可被用于操作以上参考图1描述的TOF系统100。然而，在其它示例中，方法200可被用于操作另一TOF系统。
在202，该方法包括执行TOF深度相机的工厂校准。执行TOF深度相机的工厂校准可包括步骤204-213。在204，该方法包括确定工厂预载调制频率和占空比组合的集合。将理解，这些组合可基于预期的终端使用环境来被决定并输入到校准计算设备。
接着在206，该方法包括将工厂预载的频率和占空比组合上传到TOF深度相机。上传这些组合可包括将组合从校准计算设备电子方式地传输(例如，有线地，无线地，等)到TOF深度相机。进一步在一个示例中，在206，亮度校准可附加地或替换地被上传到TOF相机。将理解，亮度校准可与发送到TOF深度相机中的光源和像素传感器的信号的幅度相对应。
在208，该方法包括在经校准的深度获取定义的目标的深度数据，并为每个情况计算定时延迟的量。以此方式，已知深度值可被用于确定像素相位偏移。将理解，在某些示例中，归因于相机的配置，调制占空比可在各频率间不同。
接着在210，该方法包括归一化定时延迟，使得在调制占空比处于设定值时每个测量代表一情况的期望定时延迟。在一个示例中，设定值可以是50％占空比。然而，已经构想了占空比的其它设定值。在212，该方法包括，将线性拟合应用于定时延迟数据集并为每个像素传感器记录斜率和定时偏移。为每个像素传感器记录斜率和定时偏移可包括将斜率和定时偏移存储在存储器(诸如闪存存储)中的查找表中。数据的线性回归在此参考图6更详细地讨论。
在213，该方法包括基于线性拟合确定更新方程式的常数。在其它示例中，其它类型的拟合可被使用，诸如多项式、正弦，和/或线性+正弦拟合。具体地在一个示例中，斜率的值可定义方程式用于在相机被运输到消费者时的动态校准的更新方程式中的常数。更新方程式在此参考图4更详细地讨论。此外，步骤204和208-213的一个或多个可通过校准计算设备(诸如图1的校准计算设备104)来实现。将理解，步骤202-213中的工厂校准将相机设置为一旦相机在消费者手中就快速并高效地被校准。
在214，方法包括将TOF深度相机运输到消费者。接着在216，方法包括在TOF深度相机处接收频率和占空比校准组合的经更新集合。进一步在一个示例中，在216亮度值可被附加地或替代地由TOF深度相机接收。频率和占空比校准组合的经更新集合可从更新计算设备(例如，图1的更新计算设备106)通过网络(诸如因特网)发送。
在218，该方法包括向更新方程式应用频率和占空比校准组合的经更新集合来为TOF深度相机中的每个像素传感器确定定时延迟。接着在220，该方法包括基于TOF深度相机中的定时延迟(例如，在218确定的定时延迟)来生成深度图。以此方式，相机的动态校准可基于占空比和频率组合的经更新集合来现场实现。因此，相机的适用性增加。
图3和4示出了TOF系统的操作的另一方法300。方法300可被用于操作以上参考图1描述的TOF系统100。然而，在其它示例中，方法300可被用于操作另一合适的TOF系统。
在302，该方法包括确定工厂预载调制频率和占空比组合的集合。将理解，这些组合可基于预期的终端使用环境来被决定并输入到校准计算设备(例如图1的校准计算设备104)。接着在304，该方法包括将调制频率和占空比组合的工厂预载的集合传输到TOF深度相机。
在306，该方法包括在TOF相机处接收工厂预载调制频率和占空比组合的集合。接着在308，该方法包括在经校准的深度获取定义的目标的深度数据，并为每个情况计算定时延迟的量。
接着在310，该方法包括归一化定时延迟。将理解，定时延迟可基于在不同占空比获得的深度数据来被计算。归一化定时延迟可包括基于共同占空比调节定时延迟。换言之，在不同占空比测量的定时延迟被调节以适合于共同占空比。因此，定时延迟经由归一化被合适地缩放以考虑不同占空比。
在312，该方法包括为每个像素传感器确定校准算法中的常数。校准算法中的常数可与是基于以下示出并在此更详细讨论的方程式1确定的线性常数。然而，在其它示例中，替代的合适的方程式可被用作校准算法。以此方式确定常数使得相机能够被配置用于后续动态校准。
在314，该方法包括基于工厂预载调制频率和占空比校准组合来确定工厂预载定时延迟校准，并将工厂预载的定时延迟校准发送到TOF深度相机。在316，该方法包括接收工厂预载的定时延迟校准。将理解，步骤302-316在将相机运输到消费者之前在工厂校准期间被实现。
接着在318，该方法包括将工厂预载的定时延迟校准应用于对应于多个像素传感器的每一个像素传感器的像素数据，以生成3维环境的深度图。
在320，该方法包括生成调制频率和占空比组合的经更新集合。在322，该方法包括将调制频率和占空比组合的经更新集合发送到TOF深度相机。将理解，调制频率和占空比组合的经更新集合可通过诸如因特网等网络被发送。接着在324，该方法包括在TOF深度相机处接收调制频率和占空比组合的经更新集合。
在326，该方法包括将调制信号发送到光源和多个像素传感器，该调制信号基于TOF深度相机接收的调制频率和占空比校准组合的经更新集合而被生成。在一个示例中，光源包括生成红外频谱中的光的激光器。在328，该方法包括临时调制从光源发射到3维环境的光。在一个示例中，光源可被开和关或部分地开和关。步骤302、304、310、312和314通过校准计算设备来实现，而步骤306、308、316、318、324、326和328通过TOF深度相机来实现。将理解，通过TOF相机实现的各步骤可通过TOF深度相机中的图像处理模块来实现。此外，步骤320和322通过更新计算设备来实现。
转到图4，在330，该方法包括基于从定时时钟发送的调制信号打开和关闭每个像素传感器中的至少一个快门，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在332，该方法包括基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准。将理解，定时延迟校准的经更新集合代替相机中工厂预载的定时延迟校准的集合。将理解，在此更详细描述的方程式1可被使用来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准。因此，内插经更新的定时延迟校准可包括将频率和占空比值输入到算法中。进一步在一个示例中，内插经更新的定时延迟校准包括计算多个定时延迟的平均。接着在334，该方法包括将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。在一个示例中，经更新的定时延迟校准被应用于光源生成的光的经调制的波形和每个像素传感器接收的光的波形的相位偏移。进一步在一个示例中，深度图包括深度像素矩阵。如所示，步骤330、332和334通过TOF深度相机实现。
图5示出了与TOF系统中的定时延迟相关的时序图。在图5中示出了定时时钟500。定时时钟500被配置来将调制信号发送到光源502和像素504，通过箭头506指示。将理解前述各组件是图1所示TOF系统100的各组件的示例。
在描绘的示例中，光源502包括3个激光器。然而，已经构想了具有另选数量的激光器或其它光生成设备的光源。例如，光源可包括单个激光器或四个或更多个激光器。此外，在所描绘的示例中，像素504的每一个像素具有两个快门。然而，在其它示例中，具有另选数量的快门的像素可被使用。进一步在一个示例中，像素504可被集成到定时时钟500中。通过光源(且具体地3个激光器)生成的光的波形，在510示出。类似地，基于返回光经由像素生成的信号在512示出。在514还示出了波形相位误差。经由光源发射的光和返回光之间的TOF被示出。此外，TOF系统中的定时延迟也在图5中示出。将理解，系统中的定时误差由于多个因素而发生，诸如系统中电子组件的配置、电子组件中的等待时间等。波形相位误差在514被示出，而且像素快门中的像素歪斜也在图5中示出。将理解，以上描述的方法可被用于为像素确定定时延迟并在相机操作中考虑这些定时延迟。
图6示出了通过图1所示的多个像素传感器122中包括的像素传感器接收的调制信号602之间的定时延迟的示例图形表示600。将理解，像素传感器从定时时钟接收具有频率和占空比的调制信号。图6还示出从图1所示的光源116发送的波形604。将理解，从光源发送的波形可基于发送到光源的调制信号来被生成。y轴代表信号强度，而x轴代表时间。每个像素传感器的定时延迟是在为从光源发射并由像素传感器接收的光确定TOF时应用于像素传感器的一段时间的延迟。每个像素传感器的定时延迟，表达为
Figure BDA0001275952480000081
可根据以下方程式来计算；
Figure BDA0001275952480000082
将理解，每个像素传感器的定时延迟是调制信号从定时器行进通过各电子组件以激励像素传感器(例如，像素传感器中的快门)所花费的时间段。
Figure BDA0001275952480000091
是分数时段[ΔtL]是常数(例如，系统级定时延迟)，f是调制信号的频率，dH是发送到像素传感器的调制信号的占空比，而dL是发送到光源的调制信号的占空比。分数时段基本上是定时延迟校准。将理解，该方程式可被用于基于经更新的调制频率和占空比组合来内插定时延迟校准。飞行时间作为每个单独像素的返回波形叠加和快门调制之间的相位差异而被测量。
为改善校准和时间段预测的质量，附加的技术可被使用来在计算线性拟合之前减少系统误差。具体地，所测量的数据样本距线性拟合的偏差可能由测量过程中的系统误差引起。具体而言，调制频率的多重谐波可存在于光源信号中。多重谐波可导致小的相位误差，其取决于调制频率和目标的距离。减少系统误差的一个技术包括在调制信号和光源信号之间，或在调制信号和像素阵列之间，引入电子延迟。这将导致估计的定时延迟被已知电子延迟增大。从估计的定时延迟减去已知电子延迟将给出定时延迟的附加估计。在没有系统误差的完美的TOF相机系统中，具有不同已知电子延迟的定时延迟的这些不同估计将相等。然而，对于具有系统误差的TOF系统，这些估计可导致估计的计算误差的不同值。对于这样的系统，在应用多个这样的各附加的电子延迟的同时多次执行定时延迟估计将导致定时延迟的许多类似但不相等的估计。这些定时延迟的多个估计可被，例如通过在所有估计的定时延迟上计算算术均值，来组合到定时延迟的单个“最终”估计中。定时延迟的这个最终估计可能一般比最初单个估计更精确。
图7是在TOF深度相机工厂校准期间从单个TOF深度相机获取的示例性数据的图形表示700。如所示，分数时段在y轴上而调制频率在x轴上。分数时段基本上是每个像素的定时延迟。将理解，数据点可被归一化到单个占空比值(例如，50％)以考虑不同数据点之间的不同占空比，如先前讨论的。O值(“测量”)代表在TOF深度相机的工厂校准期间测量的数据点。x值(“经归一化的”)表示经归一化的数据点。将理解而，线性拟合702的斜率可类似于线性常数[ΔtL]，以上结合图6讨论的。
图8示出计算设备800的非限制性实施例，该计算系统可以进行上述方法和过程中的一个或多个。因此，将理解，以上描述的相机(例如，图1的TOF深度相机102)和计算设备(例如，图1的校准计算设备104和/或更新计算设备106)可包括计算设备800中的一个或多个组件。
计算设备800包括逻辑机802和存储机804。计算设备800可任选地包括显示系统806、输入系统808、通信系统810和/或在图8中未示出的其他组件。
逻辑机802包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机804包括被配置成保持可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机804的状态(例如，保存不同的数据)。
存储机804可以包括可移动和/或内置设备。存储机804可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机804包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机802和存储机804的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算设备800的一方面。在某些情况下，可以通过执行由存储机802所保持的指令的逻辑机804来实例化模块、程序或引擎。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在被包括时，显示系统806可用于呈现由存储机804保持的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示系统806的状态以视觉地表示底层数据的改变。显示系统806可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机802和/或存储机804组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入系统808时，输入子系统808可包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入系统可包括所选的自然用户输入(NUI)部件或与其结合。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。NUI组件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
当被包括在内时，通信系统810可以被配置成将计算系统800与一个或多个其他计算设备可通信地耦合。通信系统810可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在某些实施例中，通信系统可允许计算设备800经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。本公开的主题被进一步描述在以下段落中。根据一个方面，提供了一种用于操作飞行时间(TOF)系统的方法。该方法包括，使用图像处理模块，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光，调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准，并将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。
在此方面，该方法可进一步包括，在图像处理模块处内插经更新的定时延迟校准之前，在图像处理模块处从更新计算设备接收调制频率和占空比校准组合的经更新集合。
在此方面，调制频率和占空比校准组合的经更新集合可通过网络发送。
在这个方面，该方法还可包括，在图像处理模块处在内插经更新的定时延迟校准之前，向与多个像素传感器的每一个像素传感器相对应的像素数据应用工厂预载定时延迟，以生成第二3维环境的第二深度图，该工厂预载定时延迟校准对应于工厂预载的调制频率和占空比校准组合的集合，工厂预载的调制频率和占空比校准组合的集合不同于调制频率和占空比校准组合的经更新集合。
在此方面，该方法还包括，在校准计算设备处，在应用工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，并基于工厂预载的调制频率和占空比校准组合来确定工厂预载的定时延迟校准。
在此方面，工厂预载调制频率和占空比校准组合可被归一化以确定该常数。
在此方面，内插经更新的定时延迟校准可包括计算多个定时延迟的平均。
在此方面，光源可包括激光器，该激光器生成的红外频谱中的光。
在此方面，经更新的定时延迟校准可被应用于光源生成的光的经调制的波形和像素传感器中的每一者接收的光的波形的相位偏移。
在此方面，深度图包括深度像素矩阵。
在此方面，由光源生成的光基于从定时时钟发送的调制信号来生成，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在此方面，该方法可进一步包括基于从定时时钟发送的调制信号打开和关闭每个像素传感器中的至少一个快门，该调制信号对应于调制频率和占空比校准组合的经更新集合。
在此方面，发送到至少一个快门的调制信号和发送到光源的调制信号可以是同一信号。
在此方面，在内插经更新的定时延迟校准之前，在光源处，将从光源发射进入3维环境的光脉冲化。
根据另一方面，提供了用于操作飞行时间(TOF)深度相机的方法。该TOF深度相机包括配置用于生成调制信号并将调制信号发送到多个像素传感器和光源的定时时钟，该调制信号至少基于由图像处理模块接收的调制频率和占空比校准组合的经更新集合来生成；并且该图像处理模块被配置成(i)基于图像处理模块接收到的调制频率和占空比校准组合的经更新集合为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，(ii)将定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图，以及(iii)用定时延迟校准的经更新集合替代工厂预载的定时延迟校准，该多个像素传感器耦合到定时时钟并被配置成接收光源生成并在3维环境中反射的光。
在此方面，调制信号可以是发送到多个像素传感器和光源的类似的调制电压。
在此方面，多个像素传感器的每一个像素传感器可包括快门。
在此方面，TOF系统可进一步包括，在配置用于以下的更新计算设备处，在应用工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，基于工厂预载的调制频率和占空比校准组合来确定工厂预载的定时延迟校准，并将校准算法传输到图像处理模块。
根据另一个方面，提供了一种用于操作飞行时间(TOF)系统的方法。该方法包括使用定时时钟，向光源和多个像素传感器发送调制信号，该调制信号基于由TOF深度相机接收的调制频率和占空比校准组合的经更新集合来生成；使用图像处理模块，至少基于调制频率和占空比校准组合的经更新集合为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，调制频率和占空比校准组合的经更新集合替代对应的工厂预载的定时延迟校准；将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。
在此方面，内插经更新的定时延迟校准可包括将调制频率和占空比校准组合的经更新集合输入到校准算法，该校准算法包括工厂校准期间确定的常数。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (20)

1.一种用于操作飞行时间TOF系统的方法：
使用图像处理模块，至少基于由所述图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，所述多个像素传感器耦合到定时时钟并接收由光源生成并在3维环境中反射的光，所述调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准；以及
将经更新的定时延迟校准应用于与所述多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。
2.如权利要求1所述的方法，其特征在于，进一步包括，在所述图像处理模块处内插所述经更新的定时延迟校准之前，在所述图像处理模块处从更新计算设备接收调制频率和占空比校准组合的所述经更新集合。
3.如权利要求2所述的方法，其特征在于，调制频率和占空比校准组合的所述经更新集合通过网络发送。
4.如权利要求1所述的方法，其特征在于，进一步包括，在所述图像处理模块处内插所述经更新的定时延迟校准之前，向与所述多个像素传感器的每一个像素传感器相对应的像素数据应用所述工厂预载定时延迟校准以生成第二3维环境的第二深度图，所述工厂预载定时延迟校准对应于工厂预载的调制频率和占空比校准组合的集合，工厂预载的调制频率和占空比校准组合的集合不同于调制频率和占空比校准组合的所述经更新集合。
5.如权利要求4所述的方法，其特征在于，进一步包括，在校准计算设备处，在应用所述工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，并基于所述工厂预载的调制频率和占空比校准组合来确定所述工厂预载的定时延迟校准。
6.权利要求5所述的方法，其特征在于，所述工厂预载的调制频率和占空比校准组合被归一化以确定所述常数。
7.如权利要求1所述的方法，其特征在于，内插所述经更新的定时延迟校准包括计算多个定时延迟的平均。
8.如权利要求1所述的方法，其特征在于，所述光源包括激光器，所述激光器生成红外频谱的光。
9.如权利要求1所述的方法，其特征在于，所述经更新的定时延迟校准被应用于所述光源生成的光的经调制的波形和所述像素传感器中的每一者接收的光的波形的相位偏移。
10.如权利要求1所述的方法，其特征在于，所述深度图包括深度像素的矩阵。
11.如权利要求1所述的方法，其特征在于，由所述光源生成的光基于从所述定时时钟发送的调制信号来生成，所述调制信号对应于调制频率和占空比校准组合的所述经更新集合。
12.如权利要求11所述的方法，其特征在于，进一步包括基于从所述定时时钟发送的调制信号打开和关闭每个像素传感器中的至少一个快门，所述调制信号对应于调制频率和占空比校准组合的经更新集合。
13.如权利要求12所述的方法，其特征在于，发送到所述至少一个快门的调制信号和发送到所述光源的调制信号是同一信号。
14.如权利要求1所述的方法，其特征在于，进一步包括在内插所述经更新的定时延迟校准之前，在所述光源处，将从所述光源发射进入所述3维环境的光脉冲化。
15.一种飞行时间TOF深度相机，包括：
被配置来生成调制信号并将所述调制信号发送到多个像素传感器和光源的定时时钟，所述调制信号至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来被生成；以及
所述图像处理模块被配置成(i)基于所述图像处理模块接收到的调制频率和占空比校准组合的所述经更新集合为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，(ii)将所述定时延迟校准应用于与所述多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图，以及(iii)用定时延迟校准的经更新集合替代工厂预载的定时延迟校准集合，所述多个像素传感器耦合到所述定时时钟并被配置成接收所述光源生成并在3维环境中反射的光。
16.如权利要求15所述的TOF深度相机，其特征在于，所述调制信号是被发送到所述多个像素传感器和所述光源的调制电压，其中被发送到所述多个像素传感器的调制电压和被发送到所述光源的调制电压类似。
17.如权利要求15所述的TOF深度相机，其特征在于，所述多个像素传感器的每一个像素传感器包括快门。
18.如权利要求15所述的TOF深度相机，其特征在于，进一步包括，在配置用于以下的更新计算设备处，在应用所述工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，基于所述工厂预载的调制频率和占空比校准组合来确定所述工厂预载的定时延迟校准，并将所述校准算法传输到所述图像处理模块。
19.一种用于操作飞行时间TOF系统的方法：
使用定时时钟，将调制信号发送到光源和多个像素传感器，所述调制信号基于TOF深度相机接收的调制频率和占空比校准组合的经更新的集合；
使用图像处理模块，至少基于所述调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，所述调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准；以及
将经更新的定时延迟校准应用于与所述多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。
20.如权利要求19所述的方法，其特征在于，内插经所述更新的定时延迟校准包括将所述调制频率和占空比校准组合的经更新集合输入到校准算法，所述校准算法包括工厂校准期间确定的常数。
CN201580057487.XA 2014-10-22 2015-10-20 飞行时间深度相机 Active CN107148640B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/521,145 US9578311B2 (en) 2014-10-22 2014-10-22 Time of flight depth camera
US14/521,145 2014-10-22
PCT/US2015/056292 WO2016064770A1 (en) 2014-10-22 2015-10-20 Time of flight depth camera

Publications (2)

Publication Number Publication Date
CN107148640A CN107148640A (zh) 2017-09-08
CN107148640B true CN107148640B (zh) 2020-06-30

Family

ID=54396994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580057487.XA Active CN107148640B (zh) 2014-10-22 2015-10-20 飞行时间深度相机

Country Status (4)

Country Link
US (1) US9578311B2 (zh)
EP (1) EP3210037B1 (zh)
CN (1) CN107148640B (zh)
WO (1) WO2016064770A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
US10929994B2 (en) 2016-12-07 2021-02-23 Electronics And Telecommunications Research Institute Image processing device configured to generate depth map and method of operating the same
KR102326493B1 (ko) 2017-03-13 2021-11-17 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US10451741B2 (en) * 2017-04-30 2019-10-22 Microsoft Technology Licensing, Llc Time of flight camera
CN110914702B (zh) 2017-07-28 2022-06-28 欧普赛斯技术有限公司 具有小角发散度的vcsel阵列lidar发送器
CN111356934B (zh) 2017-11-15 2024-03-12 欧普赛斯技术有限公司 噪声自适应固态lidar系统
CN108040208A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种深度美颜方法、装置、设备及计算机可读存储介质
US10410373B1 (en) * 2017-12-21 2019-09-10 Facebook Technologies, Llc Calibration of a phase interferometry depth camera assembly
US11244464B2 (en) * 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN111919137A (zh) 2018-04-01 2020-11-10 欧普赛斯技术有限公司 噪声自适应固态lidar系统
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
CN109238163B (zh) * 2018-08-22 2020-04-21 Oppo广东移动通信有限公司 飞行时间模组及其控制方法、控制器和电子装置
CN108814452A (zh) * 2018-08-22 2018-11-16 上海炬佑智能科技有限公司 扫地机器人及其障碍检测方法
CN108989606B (zh) 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109151438A (zh) * 2018-09-13 2019-01-04 维沃移动通信有限公司 一种拍摄立体影像的方法和装置
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN118033607A (zh) * 2018-12-12 2024-05-14 美国亚德诺半导体公司 飞行时间深度成像系统的内置校准
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
US11272156B2 (en) 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Spatial correlation sampling in time-of-flight imaging
CN110031860B (zh) * 2019-04-03 2021-04-02 维沃移动通信有限公司 激光测距方法、装置和移动终端
EP3953727A4 (en) 2019-04-09 2023-01-04 Opsys Tech Ltd. SOLID STATE LIDAR TRANSMITTER WITH LASER CONTROL
CN111866320A (zh) * 2019-04-30 2020-10-30 宁波舜宇光电信息有限公司 Tof摄像模组及其应用
US10878589B2 (en) 2019-05-02 2020-12-29 Samsung Electronics Co., Ltd. Time-of-flight depth measurement using modulation frequency adjustment
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
CN110312117B (zh) * 2019-06-12 2021-06-18 北京达佳互联信息技术有限公司 数据刷新方法及装置
US11836938B2 (en) * 2019-06-18 2023-12-05 Sony Semiconductor Solutions Corporation Time-of-flight imaging apparatus and time-of-flight imaging method
CN110599547A (zh) * 2019-08-30 2019-12-20 深圳奥比中光科技有限公司 一种tof相机的标定装置及方法
CN110579753A (zh) * 2019-09-21 2019-12-17 北醒（北京）光子科技有限公司 一种深度传感器校准系统及方法
CN110852180B (zh) * 2019-10-17 2022-08-02 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
CN112987020A (zh) * 2019-11-29 2021-06-18 Oppo广东移动通信有限公司 拍摄方法、拍摄装置、电子设备和存储介质
CN111047650B (zh) * 2019-12-02 2023-09-01 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN111810697B (zh) * 2020-01-07 2022-02-08 浙江工业大学 一种基于电压脉宽调制技术的电磁阀高动态控制系统及方法
CN111239712A (zh) * 2020-01-20 2020-06-05 炬佑智能科技(苏州)有限公司 一种深度相机校准与评测环境系统
CN111795198B (zh) * 2020-06-01 2022-01-25 浙江工业大学 一种基于速度控制器实现高速开关阀阀芯运动可控的方法
KR20220049782A (ko) * 2020-10-15 2022-04-22 에스케이하이닉스 주식회사 이미지 센싱 장치
CN114095713A (zh) * 2021-11-23 2022-02-25 京东方科技集团股份有限公司 成像模组及其处理方法、系统、装置、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7433029B1 (en) * 2005-09-22 2008-10-07 Canesta, Inc. Method and system to calibrate a camera system using phase demodulation sensing
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
CN102739936A (zh) * 2011-03-29 2012-10-17 微软公司 从高质量的深度测量中学习
CN103998949A (zh) * 2012-01-10 2014-08-20 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6958474B2 (en) * 2000-03-16 2005-10-25 Burle Technologies, Inc. Detector for a bipolar time-of-flight mass spectrometer
US6856407B2 (en) 2000-09-13 2005-02-15 Nextengine, Inc. Method for depth detection in 3D imaging providing a depth measurement for each unitary group of pixels
US7088388B2 (en) * 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
EP2038815B1 (en) 2006-07-06 2012-05-16 Microsoft Corporation Method and system for fast calibration of three-dimensional (3d) sensors
EP2055095A4 (en) * 2006-08-25 2012-06-27 Eliezer Jacob IMPROVED DIGITAL CAMERA WITH INCORRECT IMAGE RESOLUTION
EP2264481A1 (en) 2009-06-04 2010-12-22 IEE International Electronics & Engineering S.A. Method and device for acquiring a range image
PL2510679T3 (pl) * 2009-12-07 2017-01-31 Nokia Technologies Oy Urządzenie, sposób i produkt programu komputerowego do automatycznego ustawiania ostrości
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
AU2011224051B2 (en) 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US9445079B2 (en) * 2013-02-21 2016-09-13 Infineon Technologies Ag Calibration of a 3D camera
KR20140123302A (ko) * 2013-04-12 2014-10-22 삼성전자주식회사 영상 처리 장치 및 그 제어방법
TW201443827A (zh) * 2013-05-03 2014-11-16 Altek Autotronics Corp 鏡頭影像校正系統及鏡頭影像校正方法
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7433029B1 (en) * 2005-09-22 2008-10-07 Canesta, Inc. Method and system to calibrate a camera system using phase demodulation sensing
CN102741651A (zh) * 2010-02-01 2012-10-17 微软公司 用于飞行时间测距系统的多个同步光源
CN102739936A (zh) * 2011-03-29 2012-10-17 微软公司 从高质量的深度测量中学习
CN103998949A (zh) * 2012-01-10 2014-08-20 索弗特凯耐提克传感器股份有限公司 对飞行时间信号处理的改进或与之相关的改进

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D Head Tracking Based on Recognition and Interpolation Using a Time-Of-Flight Depth Sensor;Gokturk SB. 等;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR04)》;20041231;第1-7页 *
Design and Calibration of a Multi-view TOF Sensor Fusion System;Young Min Kim 等;《CVPRW08 IEEE Computer Society Conference on》;20081231;第1-7页 *
基于TOF成像技术的柑橘实时识别与定位;孙力 等;《江苏大学学报（自然科学版）》;20130531;第34卷(第3期);第293-297页 *
用飞行时间相机优化可视外壳的实时三维重建算法;王聪 等;《计算机辅助设计与图形学学报》;20130430;第25卷(第4期);第494-501页 *

Also Published As

Publication number Publication date
US20160119611A1 (en) 2016-04-28
US9578311B2 (en) 2017-02-21
EP3210037A1 (en) 2017-08-30
CN107148640A (zh) 2017-09-08
WO2016064770A1 (en) 2016-04-28
EP3210037B1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN107148640B (zh) 飞行时间深度相机
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
US9729860B2 (en) Indirect reflection suppression in depth imaging
US9945936B2 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
CN107765260B (zh) 用于获取距离信息的方法、设备及计算机可读记录介质
US9330464B1 (en) Depth camera feedback
US9681123B2 (en) Time-of-flight phase-offset calibration
US10178381B2 (en) Depth-spatial frequency-response assessment
US10264240B2 (en) Method and apparatus for generating depth image
CN113678024A (zh) 使用线性反函数的飞行时间测量
JP7377188B2 (ja) スパース転送セットを使用する較正モデルの転送
US11734801B2 (en) Distributed depth data processing
WO2023075885A1 (en) Denoising depth image data using neural networks
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
KR102523972B1 (ko) 광 셔터를 포함하는 3차원 깊이 센서를 이용한 거리측정방법
WO2021136284A1 (zh) 三维测距方法和装置
CN108760648B (zh) 用于样本表征的改进的光谱设备和方法
US20210390719A1 (en) Determining depth in a depth image
US11885880B2 (en) Unwrapped phases for time-of-flight modulation light
US11500095B2 (en) Method for determining the distance separating an object and an optical detection system, and corresponding system
US11748900B2 (en) Graphical ToF phase unwrapping
US20220252729A1 (en) DETERMINING PHASE ORDERS IN ToF IMAGING
EP4150369A1 (en) Phase unwrapping with multiple wavelengths on a flat torus
WO2023027807A1 (en) Temporal metrics for denoising depth image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant