CN106066987B - Tof成像中的参数在线校准和补偿 - Google Patents

Tof成像中的参数在线校准和补偿 Download PDF

Info

Publication number
CN106066987B
CN106066987B CN201610249674.4A CN201610249674A CN106066987B CN 106066987 B CN106066987 B CN 106066987B CN 201610249674 A CN201610249674 A CN 201610249674A CN 106066987 B CN106066987 B CN 106066987B
Authority
CN
China
Prior art keywords
stagger
light radiation
imaging
captured
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610249674.4A
Other languages
English (en)
Other versions
CN106066987A (zh
Inventor
J.格伦瓦尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN106066987A publication Critical patent/CN106066987A/zh
Application granted granted Critical
Publication of CN106066987B publication Critical patent/CN106066987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

TOF成像中的参数在线校准和补偿。设备和技术的典型实施方式提供用于成像设备和系统的摆动误差的自适应校准和补偿。在各种实施方式中，使用所识别参数对摆动误差进行建模。例如，使用模型来估计摆动误差的参数（或系数）。在实施方式中，成像系统在运行时间期间使用导出的模型来自适应地补偿摆动误差。

Description

TOF成像中的参数在线校准和补偿
技术领域
本发明涉及成像系统和成像设备，更具体而言，涉及TOF成像中的参数在线校准和补偿的领域。
背景技术
基于光波的成像系统正在变得被更广泛地用于对象检测，因为半导体工艺已经变得更快以支持此类系统。某些成像系统能够每秒提供许多图像，使得此类系统对对象检测和/或跟踪也有用。由于其潜在的小外形因数和潜在的高信号保真度，某些成像系统很适合于在许多类型的运载工具（汽车、公交车、火车等）中的应用。另外，某些成像系统很适合于许多类型的消费设备（例如，电视、计算机、平板电脑、智能电话等）中的手势控制等。虽然此类成像系统的分辨率可改变，但是使用这些系统的应用能够利用其操作的速度。
例如，诸如汽车之类的移动运载工具可使用成像系统来检测运载工具路径中的对象（例如，行人），以避免撞到对象。例如，可在运载工具的前面、后面和/或（多个）侧面采用成像系统以检测在运载工具的正前或反向路径中、在运载工具侧面或在运载工具盲点中的对象。
例如，飞行时间（ToF）照相机可使用成像设备来测量对象与照相机的距离。还可使用使用多个像素的成像设备，其中，与单个像素相关联的光信号可提供用于对象上的离散点的距离测量，形成三维“距离图像”。这可以用例如从离散点反射的光信号而成为可能。
无论是部署在运载工具应用、消费设备应用还是其它类型的应用中，都期望在保持或改善性能并使误差最小化的同时增加成像系统的准确度。例如，当距离测量的准确度或清晰度易于出错或者另外不可靠时，应用于运载工具、移动设备等的成像系统的有用性可以被降低。
发明内容
按照本发明的第一方面的一种成像装置，包括：成像传感器，被布置成在一个或多个帧事件期间捕捉从区域中的一个或多个对象反射的光辐射；以及处理部件，被布置成基于确定在一个或多个帧事件期间所捕捉的光辐射的摆动误差的模型的一个或多个参数中的每一个的值并补偿该摆动误差来计算从一个或多个对象到成像传感器的距离，其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
按照本发明的第二方面的一种成像系统，包括：照明模块，被布置成发射光辐射以照亮区域；传感器模块，包括被布置成在一个或多个帧事件期间捕捉从该区域中的一个或多个对象反射的光辐射的多个像素；以及控制模块，被布置成：确定在所述一个或多个帧事件期间所捕捉的光辐射的摆动误差的模型的一个或多个参数中的每一个的值，在运行时间期间补偿摆动误差，并且基于由所述多个像素中的各个像素捕捉的并针对摆动误差进行补偿的光辐射来计算从一个或多个对象到所述各个像素的距离，其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
按照本发明的第三方面的一种成像方法，包括：用成像传感器在至少一个帧事件期间捕捉从区域中的一个或多个对象反射的光辐射；基于在所述至少一个帧事件期间从所述区域中的所述一个或多个对象捕捉的光辐射的摆动误差的模型来确定一个或多个参数的值；补偿摆动误差以阐明光辐射中的距离信息；以及基于在所述至少一个帧事件期间捕捉的光辐射的所阐明距离信息来计算从一个或多个对象到成像传感器的距离，其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
按照本发明的第四方面的一种三维成像设备，包括：成像传感器，被布置成基于飞行时间原理来捕捉区域的三维图像，该成像传感器包括被布置成在一个或多个帧事件期间捕捉从所述区域中的一个或多个对象反射的光辐射的多个像素，该光辐射包括距离信息和高阶谐波，所述高阶谐波在距离估计时导致摆动误差；以及处理部件，被布置成基于阐明在一个或多个帧事件期间捕捉的光辐射的距离信息来计算从一个或多个对象到图像传感器的各个像素的距离，该处理部件被布置成估计摆动误差的基于相量的模型的两个参数中的每一个的值并且在运行时间期间补偿摆动误差，所述两个参数中的第一个包括所捕捉的光辐射的高阶谐波和基波之间的相位偏移，并且两个参数中的第二个包括表示高阶谐波的振幅与基波的振幅之比的因数。
附图说明
参考附图来阐述本详细描述。在图中，参考数字的（多个）最左数位识别该参考数字首先出现在其中的图。相同参考数字在不同图中的使用指示类似或相同项目。
为了本讨论，图中所示的设备和系统被示为具有许多部件。如本文所述的设备和/或系统的各种实施方式可包括较少的部件且仍然在本公开的范围内。替换地，设备和/或系统的其它实施方式可包括附加部件或所述部件的各种组合，并且仍然在本公开的范围内。
图1是根据实施方式的其中可采用所述设备和技术的示例应用环境的图示。
图2是根据实施方式的示例性成像系统部件的框图。
图3是示出了根据实施方式的示例性成像系统的部件（包括包含多个像素的传感器模块）的某些细节的框图。
图4示出了根据各种实施方式的示例性传感器响应函数波形的图示以及图示出“摆动误差（wiggling error）”的示例的相量图（phasor diagram）和波形。
图5和6是示出了根据各种实施方式的摆动误差的参数在线校准和补偿的示例性结果的图形说明。
图7是图示出根据实施方式的由成像系统进行摆动误差的参数在线校准和补偿的示例性过程的流程图。
具体实施方式
概述
本公开针对成像系统（例如，使用发射电磁（EM）辐射的成像系统），其被布置成在相对于成像系统的预定区域中对对象和/或手势进行检测、成像、识别和/或跟踪。例如，可使用与运载工具相关联的成像系统来检测在运载工具路径中或在运载工具附近的区域中的对象。另外，成像系统可跟踪对象或提供对象的图像（诸如三维图像）。在其它示例中，可使用成像系统来检测和识别例如在计算设备附近的区域中的对象或人手的手势。成像系统可识别对象或手何时作出手势，并跟踪手势组合作为鼠标或计算设备的其它输入的替换。
在各种实施方式中，成像系统使用飞行时间原理，诸如反射EM发射（即，电磁辐射）的距离计算，来例如对对象进行检测、成像、识别和/或跟踪。飞行时间距离计算可基于接收发射EM（“光”）辐射的反射，因为光辐射被反射离开预定区域中的对象。例如，在一个情况下，距离计算可基于光速和反射光辐射的行进时间。
在大多数情况下，EM辐射并不是完美的正弦曲线，而是包括高频分量。距离测量误差（“摆动误差”）可以由这些高频分量引起，因为成像系统尝试根据EM辐射的相位信息来确定距离信息。
设备和技术的典型实施方式提供用于成像设备和系统的摆动误差的自适应校准和补偿。在此类实施方式中，确立摆动误差的模型。此模型可以数学公式和/或计算算法来表达摆动误差。此外，在某些实施方式中，模型并不是静态的，而是包括定义模型的基本传递特性的一组参数（或系数）。可在运行时间期间估计并更新这些参数。在成功地估计和/或更新参数时，可利用摆动误差的模型以便自适应地补偿错误的距离信息。与可基于离线、基于查找表校准的现有技术方法相比，这个方法在灵活性、效率、记忆以及时间消耗方面是优越的。
在某些实施方式中，成像系统包括多相位采样。例如，成像系统在等距离采样点处用多个样本对成像系统的传感器的输出进行采样。在一个实施方式中，成像系统包括交替或移位采样相位偏移。在实施方式中，使用复平面中的相量对摆动误差进行建模。
在实施方式中，成像系统可以使用来自多个图像帧的信息来估计摆动误差的参数。在一个示例中，在移位的（例如，相移的）采样点的情况下，成像系统使用来自至少两个连续图像帧的信息。在另一实施方式中，一旦成像系统已估计了摆动误差的参数，则成像系统可以补偿单个捕捉帧中的摆动误差。
在本公开中讨论用于成像系统、设备以及技术的各种实施方式和布置。参考图中所示的示例性基于光的成像系统和设备来讨论技术和设备。然而，这并不意图是限制性的，并且是为了便于讨论和说明方便。所讨论的技术和设备可被应用到各种成像设备设计、结构等中的任何一个（例如，基于辐射、基于声速发射、基于粒子发射等），并且仍然在本公开的范围内。
下面使用多个示例来更详细地解释实施方式。尽管在这里和下面讨论了各种实施方式和示例，但是可以通过将各个实施方式和示例的特征和元件组合来使更多实施方式和示例是可能的。
示例性成像系统环境
图1是根据实施方式的其中可采用所述设备和技术的示例性应用环境100的图示。如图中所示，可以与例如运载工具104（例如，汽车、公交车、火车、飞行器等）来应用成像系统102。在各种其它实施方式中，可将成像系统102与其它系统、设备等（例如，机器人技术、自动化、监控系统、可访问性设备、安全系统等）来应用。
在另外的实施方式中，可将成像系统102与移动设备或其它计算设备（诸如膝上型电脑或笔记本计算机、手持式计算设备、平板计算设备、上网本计算设备、个人数字助理（PDA）设备、阅读器设备、智能电话、移动电话、媒体播放器、可穿戴计算设备、固定计算机、个人或桌上型计算机、电视、机顶盒、游戏控制器、音频/视频系统、器械等）来应用。
本公开的范围并不意图被限制到所列的示例。为了方便起见，在本公开内对运载工具104的提及指代采用如上所述的成像系统102等的所有应用。
在各种实施方式中，成像系统102可与运载工具104集成，或者可具有与运载工具104分离或远离的某些部件。例如，用于成像系统102的某些处理可被远程地定位（例如，云、网络等）。在另一示例中，可在远程设备上或在远程位置处发射、显示或呈现来自成像系统102的某些输出。
成像系统102可被用来检测预选区域108中的对象106，例如诸如行人。在各种实施方式中，成像系统102可被布置成检测、识别和/或跟踪对象106的移动。在一个实施方式中，成像设备被布置成输出对象106的图像（例如，二维或三维图像）。在示例性实施方式中，可例如在显示设备（例如，移动计算设备、智能电话、运载工具信息系统等）上呈现或显示成像系统102的输出。
示例性对象106可包括成像系统102可被布置成检测、识别、跟踪等的任何项目。此类项目可包括例如人或动物。对象106的其它示例可包括障碍物、目标部件、另一运载工具等。在各种实施方式中，还可将成像系统102布置成检测、识别和/或跟踪对象106的手势或配置。手势或配置可包括对象106的用于表达思想的任何移动或位置。例如，手势或配置可包括将对象106定位于一定的取向和/或对象106以一定图案的移动（例如，在椭圆形运动中、在基本上线性运动中等）。在一个示例中，可使用成像系统 102来检测人手的移动（例如，手势），例如作为针对鼠标或用于计算设备、移动设备等的其它输入设备的替换。
可将成像系统102布置成检测、识别和/或跟踪相对于成像系统102在预选区域108内的对象106。可将预选区域108选择成例如涵盖对象106可以在其之内的区域。在一个情况下，预选区域108可涵盖表示运载工具104的紧接或远离的正向或反向路径的区域。此区域108还可以在例如成像系统102的前面、侧面或周围。
图1的图示将预选区域108示为在运载工具104前面的类似多边形区域。这是出于说明和讨论的目的，并且并不意图是限制性的。预选区域108可以是任何形状或尺寸，可位于运载工具104的前面、背面、（多个）侧面、顶部和/或底部，并且可被选择成使得其将一般地涵盖期望对象（当其存在时），但是可不涵盖非期望对象（例如，并不意图被检测、识别、跟踪等的其它项目）。在各种实施方式中，预选区域108可包括各种形状和尺寸。在某些实施方式中，预选区域108的形状和尺寸取决于成像设备102的当前应用。
如上文所讨论的，在本文中相对于成像系统102的技术、部件以及设备不限于图1中的图示，并且在不脱离本公开的范围的情况下可将其应用于其它成像系统和设备设计和/或应用。在某些情况下，可使用附加或替换部件来实现本文所述的技术。应理解的是可将成像系统102实现为独立系统或设备，或者作为另一系统的一部分（例如，与其它部件、系统等集成）。
示例性成像系统
图2是示出了根据实施方式的成像系统102的示例性部件的框图。如图2中所示，成像系统102可包括照明模块202、调制部件204、传感器模块206以及控制模块208。在各种实施方式中，成像系统102可包括较少的、附加或替换部件，并且仍然在本公开的范围内。可将成像系统102的一个或多个部件与成像系统102的另一部件并置、组合或者另外集成。例如，在一个实施方式中，成像系统102可包括成像设备或装置。此外，成像系统102的一个或多个部件可与部件中的（多个）其它的远程地定位。
在实施方式中，照明模块202被布置成发射电磁（EM）辐射（例如，光辐射）以照亮预选区域108。例如，照明模块202可被布置成照亮可存在于区域108中的一个或多个对象106，以检测对象或者检测对象106的移动。在各种实施方式中，照明模块202包括例如诸如光发射体之类的照明源。在一个实施方式中，照明源包括发光二极管（LED）。在另一实施方式中，照明源包括激光发射体。在一个实施方式中，照明模块202用发射的每个光脉冲照亮整个环境（例如，预选区域108）。在替换实施方式中，照明模块202分阶段或扫描来照亮环境。
在各种实施方式中，可从照明模块202发射不同形式的EM辐射。在某些实施方式中，发射红外光等。例如，光辐射可包括一个或多个已调制光脉冲。可在短间隔内将照明模块202接通，允许发射的（多个）光脉冲照亮区域108，包括区域108内的任何对象106。例如，红外光向区域108提供对人眼不可见的照明，并且因此不使人分心。在其它实施方式中，可发射提供视觉反馈等的其它类型或频率的EM辐射。如上所述，在替换实施方式中，可由照明模块202发射其它能量形式（例如，基于辐射、基于声速发射、基于粒子发射等）。
如果被包括在实施方式中，调制部件204可被布置成调制从照明模块202发射的EM辐射和/或调制传感器模块206的一个或多个部件（例如，光敏像素302）。在各种实施方式中，可将调制部件204布置成在飞行时间操作期间使EM辐射的调制与传感器模块206的部件的调制相关（例如诸如，以计算对象106与成像系统102的距离和/或形成对象106的二维或三维图像）。
在各种实施方式中，如图2和3中所示，在成像系统102中包括传感器模块206。在实施方式中，传感器模块206包括被布置成在帧事件期间（即，在一时间点处的图像捕捉期间）接收（例如，捕捉）从区域108中的一个或多个对象106反射的光辐射的成像传感器。在一个示例中，可将传感器模块206布置成基于接收到光辐射的反射而捕捉区域108或区域108内的对象106的图像（例如，二维图像或三维图像）。传感器模块206可被布置成例如使用飞行时间原理来捕捉图像。
在另一示例中，传感器模块206被布置成提供入射光辐射与反射光辐射之间的相移信息以用于距离测量计算。例如，在实施方式中，传感器模块206被布置成捕捉在区域108中的一个或多个对象106反射的光辐射在帧事件期间的一个或多个相位延迟值。该相位延迟值表示了反射光辐射基于所行进的距离的从入射光辐射的相位偏移。
在实施方式中，如图3中所示，传感器模块206由多个光敏像素器件（“像素”）302构成。在一个示例中，多个像素302中的每一个可充当单个图像传感器。在此类示例中，从传感器模块206所得到的多维图像（例如诸如三维“距离图像”）是在多个单个像素302处接收到的光辐射的组合。
在实施方式中，多个光敏像素302中的每一个被布置成捕捉从区域108中的一个或多个对象106反射的光辐射。在各种实施方式中，由各个像素302在帧事件期间捕捉到的光辐射可在控制模块208内被处理，例如以确定从区域108中的（多个）对象106到各个像素302的各个距离。可将与各个像素302相关联的距离组合以形成（多个）对象106和/或区域108的三维距离图像。
当被包括在实施方式中时，控制模块208可被布置成向成像系统102提供控制和/或处理。例如，控制模块208可控制成像系统102的操作，控制其它模块（202、204、206）中的一个或多个的操作和/或处理由其它模块（202、204、206）中的一个或多个输出的信号和信息。在各种实施方式中，控制模块208被布置成与照明模块202、调制部件204以及传感器模块206中的一个或多个通信。在某些实施方式中，可将控制模块208集成到其它模块（202、204、206）中的一个或多个中，或者远离模块（202、204、206）。
在一个实施方式中，控制模块208被布置成基于从传感器模块206接收到的信息检测、识别和/或跟踪区域108内的对象106。在各种实施方式中，可将控制模块208编程为识别某些对象106和/或手势并且排除其它的。
在各种实施方式中，控制模块208被布置成在一个或多个帧事件期间基于由传感器模块206（例如，像素302）捕捉的光辐射的一个或多个相位延迟值来计算从一个或多个对象106到传感器模块206的距离。在一个示例中，相位延迟值是相关函数的采样值，该相关函数是像素302的模拟输出。
例如，在实施方式中，可基于入射光相对于反射光的相位变化来估计从对象106到传感器模块206的距离。所捕捉的相位延迟值指示光在帧事件期间被从照明模块202发射、从对象106反射以及被传感器模块206捕捉时其行进的距离。
在一个实施方式中，如图3中所示，在传感器模块206由多个像素302构成的情况下，控制模块208被布置成计算从区域108内的一个或多个对象106到多个像素302的各个像素302的距离。在实施方式中，距离计算是基于由各个像素302捕捉的一个或多个相位延迟值。所捕捉的每组相位延迟值可被控制模块208用来估计从（多个）对象106到捕捉该组的单个像素302的距离。
在某些实施方式中，可将两个、三个、四个或另一数量的相位延迟值用于每个像素的距离估计，以改善估计的准确度。因此，针对帧事件执行的距离计算的数目（每个像素302）可基于包括传感器模块208的像素302的数量（即，传感器模块208的分辨率）和每个像素302捕捉的相位延迟值的数量。
在实施方式中，相位延迟值可对应于处于参考相位的采样点。例如，一组参考相位包括一个或多个相角，该相角用作与光辐射相关的索引值（例如，采样点），以示出反射光的相移。在一个示例中，每组参考相位包括三个或更多等间距相角（例如，0°、90°、180°以及270°），并且相位延迟值包括相对于每个参考相角的相移的相应数量。相对于其关联参考相位的相应相移指示了光辐射在从光发射体202横行（traverse）、被对象106反射以及被图像传感器206捕捉时所行进的距离。
在实施方式中，控制模块208可包括至少一个或多个处理部件（“处理器”）和一个或多个存储器存储设备。在各种实施方式中，处理器可包括计算设备、控制器、逻辑部件等。在实施方式中，处理器被布置成基于在帧事件期间捕捉到的光辐射的一个或多个相位延迟值来计算从一个或多个对象106到成像传感器206（例如，传感器模块）的距离。
在实施方式中，相位延迟值以及其它信息可被存储在存储器中并被处理器访问。在实施方式中，存储器包括能够存储被诸如处理器之类的处理部件可访问的数字信息（电、光、磁等）的任何存储器存储设备（集成或与处理器分离的硬件）。
在一个实施方式中，控制模块208被布置成输出计算的距离和/或对象106的三维图像。例如，成像系统102可被布置成将距离、所检测的对象106的三维图像、对象106的跟踪坐标等输出到显示设备、被布置成处理信息的另一系统等。
在各种实施方式中，成像系统102基于发射（和反射）光束的传播延迟测量来使用飞行时间（ToF）3D成像技术，如上所述。例如，发射光可以被调制模块204以一个特定的频率（例如20 MHz）调制（来自照明模块202）。在光辐射返回到传感器模块206时，控制模块208可以根据相移经由光速来重构所覆盖距离。在实施方式中，可以通过对入射光线和芯片上的未经延迟的配对信号（pendant）进行相关来估算相移。在某些实施方式中，每个单个成像像素302的输出是图4中所示的相关函数波形的（例如，3、4、6、8等）个等距离样本，称为传感器响应函数（SRF）。
SRF的形状可以取决于调制频率在三角形与正弦曲线之间改变。在某些成像系统102中，距离估计算法计算SRF的基波的相位并且可以根据此值来重构距离信息。图4图示出SRF波形的典型形状并指代表示成像系统102的距离测量的距离B。SRF波形上的四个等距离点指示传感器206的输出处的示例离散样本（例如，在等距离采样点处获取）。
如上面提到的，成像系统102的发射EM信号可以不是完美的正弦曲线，而是可以包含高频分量。在各种应用中，高频分量的存在可以在尝试基于SRF的基波的相位的距离重构时导致系统的距离误差（例如，摆动误差）。摆动误差的振幅取决于高频分量的相对振幅，并且是确定性的。高频分量可以引起高达几度/厘米的测量方面的偏差。在系统的距离误差的上下文中，摆动误差可以对距离估计的准确度具有最高影响中的一个。
示例性实施方式
在实施方式中，成像系统102如下面本文所述地生成摆动误差的参数模型。在另一实施方式中，成像系统102基于生成的模型来执行在线（例如，自适应、动态、在运行时间期间）参数估计并基于建模摆动误差来执行误差补偿。
为了讨论的目的，考虑下面的示例性实施方式（在替换示例中，具有其它特性的实施方式在本公开的范围内）：在实施方式中，成像系统102是基于四倍采样，即在每个成像帧处，用成像系统102（例如，用控制模块208，基于来自传感器模块206的信息）对SRF波形的四个等距离获取值进行采样。在每隔一个帧处，采样点被移位采样距离的一半，即
· 帧n采样点： 0°(0) 90°(π/2) 180°(π) 270°(3π/2)
· 帧n＋1采样点： 45°(π/4) 135°(3π/4) 225°(5π/4) 315°(7π/4)。
在实施方式中，发射的EM信号（例如，由照明模块202发射）和因此的SRF波形包含基波和一个主导的三阶谐波。
在实施方式中，由于基波的相位是用于ToF距离估计的基础，所以例如由控制模块208来评估4点离散傅立叶变换（DFT）的第一仓（bin）。换言之，将SRF波形的前四个等距离样本转换到频域。由于这些值一般地是复数值，所以可以将其视为复平面中的相量，如图4的下曲线图中所示。在帧n处，可以将某个像素302处观察到的相量表示为
其中，A1和A3分别地指代基波和三次谐波的振幅。 d表示基波的相位，其对应于（直至任意偏移）实际距离。∆ 3是三次谐波与基波之间的相位偏移。如果底层信号形状未改变，则此相位偏移独立于距离且并未随时间推移而改变。三次谐波的复共轭和相应相位项的表达是ToF成像系统的上下文中的傅立叶分析和频谱混叠理论的结果。
在实施方式中，成像系统102已被进行偏移校准，即基波的相位 d直接地指代实际距离。在替换实施方式中，预先不需要此偏移校准，但是其简化下面的推导。
参考图4，在实施方式中，如果，则可以示出下面的关系式：
在实施方式中，如果（当）两个系数和∆ 3是已知的，则摆动误差模型完成，并且补偿是可能的。在一个示例中，通过将两个连续图像帧与移位采样点组合来估计这些参数（系数和∆ 3）。请注意，使采样点移位指代相同量的虚拟距离移位，在帧n+1处获得的观察相量评估成
应用的补偿项得到
。
根据等式1—4，可以如下估计摆动误差模型的系数：
。
在实施方式中，基于等式（2）的重新公式化来执行误差补偿，即，
。
请注意：在实施方式中，等式（7）将把实际距离视作自变量（argument）。然而，只有当观察到的（且因此错误的）距离可用时，其也可被使用，因为可以表明附加误差是非常小的。无论如何，在某些替换实施方式中，可以使用迭代评估来增强性能并使附加误差最小化。
在各种实施方式中，基于上文导出的模型，如果捕捉到包含可忽略移动（例如，小于移动的预定义阈值量）的两个图像帧，则可以基于等式（5、6）来估计摆动误差模型的系数。在实施方式中，对用偏移采样点采样的图像帧（例如，每隔一个帧，在前面的推导中用n＋1来表示）施加补偿移位。
本文所述技术是基于像素的。在替换实施方式中，由于已知在整个像素阵列（例如，传感器模块206）上摆动误差是相等/类似的，所以可在估计阶段中将多个像素302组合以便减小估计误差。
本文所述的技术还假定摆动误差是恒定的。然而，在替换实施方式中，摆动误差并不是恒定的，并且两个参数k和可以在像素302位置上和/或相比于场景（106，108）变化而示出潜在的变化。在替换实施方式中，可动态地（例如，周期性地、规则地或恒定地）更新模型参数k和以允许像素302位置上的系数变化。在任一种情况下，一旦确定了两个系数k和，就可以根据等式（7）来执行摆动误差补偿。
在实施方式中，一旦确定（例如，估计）了包括两个系数k和的参数集，则独立于先前的帧而使用一个获取图像帧的摆动误差的补偿是可能的。因此，在帧之间不存在可以导致对例如运动伪像（motion artifact）的更高敏感度的相关性。
在各种实施方式中，可使用附加或替换部件来实现公开的技术和布置。
图5和6是示出了根据各种实施方式的摆动误差的参数在线校准和补偿的示例性结果的图形说明。该图形说明是如下所述的各种模拟的结果。模拟是用下面的条件执行的：
• 帧1： … 校准帧1
• 帧2： … 校准帧2
• 帧3： …测试帧
请注意：
• 在貌似合理的范围内相对于来将该模拟随机化
• 执行一百万次试验
• 项和计及帧上的摆动误差的不一致性。
• 是由于而引起的预期振幅变化。
• 向添加附加噪声项以便近似现实环境。
模拟下面的情形：
• 图5，上曲线图集：无噪声、摆动误差一致（）[概念验证]
• 图5，下曲线图集：无噪声，摆动误差不一致（10%的参数变化）
• 图6，上曲线图集：SNR＝66 dB（11位准确度，即13位ADC＋2位噪声），摆动误差一致（）
• 图6，下曲线图集：SNR＝66 dB（11位准确度，即，13位ADC＋2位噪声），摆动误差不一致（10%的参数变化）[最坏情况情形]。
如图5和6中所示，在全部的四个概述情形中，提出的算法很好地执行以补偿摆动误差。请注意，在图6中所示的情形中，可以实现基于求平均/像素聚类等的附加性能增加（例如，通过将来自多个图像帧和/或来自多个像素302的信息组合）。
典型过程
图7图示出用于自适应地校准和补偿成像系统（诸如成像系统102）处的摆动误差并因此确定对象（例如，诸如对象106）与成像系统的正确距离测量的典型过程700。过程700描述使用参数模型来自适应地补偿摆动误差。参考图1—6来描述过程700。
描述过程所采用的顺序并不意图被解释为限制，并且可按照任何顺序将任何数目的所述过程块组合以实现过程或替换过程。另外，在不脱离本文所述的主题的精神和范围的情况下，可将单个块从过程删除。此外，在不脱离本文所述主题的范围的情况下，可以用任何适当材料或其组合来实现过程。
在一个示例中，可由包括例如LED或激光发射体的发射体（诸如照明模块202等）发射光辐射。在某些实施方式中，光辐射可以是已调制光。例如，可使用调制部件（诸如调制部件204）来调制光，并且可与成像设备的一个或多个光敏像素（例如，诸如像素302）的调制相关地调制光。
在块702处，该过程包括用成像传感器（例如，诸如传感器模块206和/或像素302）在至少一个帧事件（即，一时间点处的图像捕捉）期间捕捉从区域（例如，诸如区域108）内的一个或多个对象（例如，诸如对象106）反射的光辐射。成像传感器可例如由一个或多个光敏像素（诸如像素302）构成。该光反射可被成像传感器经由例如光学件、接收机、天线等接收到。
在实施方式中，用于进一步处理的数据输出可包括用于每个帧事件的一组数值，指代基于所捕捉光的波形的信号的多个等距离样本（即，先前定义的传感器响应函数（SRF）的样本）。
在实施方式中，该过程包括在两个或更多帧事件期间对SRF进行采样，其中，在一个帧中，一组的多个等距离样本的采样位置可以具有从另一帧中捕捉的另一组的多个等距离样本的采样位置的一定的偏移。在另一示例中，其它多个等距离采样点的采样位置从第一多个等距离采样点的采样位置移位采样距离的一半。在又一示例中，该过程包括随着每个连续的帧事件在第一多个等距离采样点的采样位置处并且在其它多个等距离采样点的采样位置处交替地对SRF进行采样。
在块704处，该过程包括可选地确定用于摆动误差的模型的一个或多个参数中的每一个的值。在实施方式中，一个或多个参数中的一个包括被捕获的光辐射的三次谐波和基波波形之间的相位偏移，并且一个或多个参数中的另一个包括表示三次谐波的振幅与基波的振幅的比的因数。
在实施方式中，该过程包括通过将来自两个或更多连续帧事件的数据组合来估计用于一个或多个参数中的每一个的值。在另一实施方式中，该过程包括将来自两个或更多连续图像帧的数据组合，其中，等距离采样点的两个或更多集合的相应采样位置相互偏移。在另一实施方式中，该过程包括通过将来自成像系统的两个或更多像素的数据组合来估计用于所述一个或多个参数中的每一个的值。
在块706处，该过程包括补偿摆动误差以阐明光辐射内的距离信息。在实施方式中，该过程包括一旦确定了用于所述一个或多个参数中的每一个的值就补偿在单个帧事件期间捕捉到的光辐射的摆动误差。在各种实施方式中，该过程包括在成像系统的运行时间期间补偿摆动误差。
在块708处，该过程包括基于在所述至少一个帧事件期间捕捉到的光辐射的阐明距离信息来计算从一个或多个对象到成像传感器的距离。例如，在实施方式中，该过程包括计算从一个或多个对象到成像传感器的每个像素的距离。
在实施方式中，该过程还包括飞行时间技术，诸如测量从发射光辐射到接收到光辐射的反射的时间并基于该测量时间来计算对象的距离。在各种实施方式中，该过程包括将图像或手势信息输出到计算设备以用于输入控制等。另外，该过程可包括向显示设备、向被布置成处理信息的另一系统等输出成像信息，诸如距离、检测到的对象的三维图像、对象的跟踪坐标等。
在替换实施方式中，可以以各种组合在过程中包括其它技术，并且其仍然在本公开的范围内。
结论
尽管已经用对结构特征和/或方法动作特定的语言描述了本公开的实施方式，但是应理解的是实施方式不一定被限制到所述的特定特征或动作。更确切地说，该特定特征和动作是作为实现示例性设备和技术的典型形式而公开的。

Claims (26)

1.一种成像装置，包括：
成像传感器，被布置成在一个或多个帧事件期间捕捉从区域中的一个或多个对象反射的光辐射；以及
处理部件，被布置成基于确定在一个或多个帧事件期间所捕捉的光辐射的摆动误差的模型的一个或多个参数中的每一个的值并补偿该摆动误差来计算从一个或多个对象到成像传感器的距离，
其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
2.权利要求1的成像装置，
其中，所述处理部件被布置成基于复平面中的相量来生成摆动误差的模型。
3.权利要求1的成像装置，
其中，所述处理部件被布置成基于所捕捉的光辐射的所述基波和所述高阶谐波来估计一个或多个参数中的每一个的值。
4.权利要求3的成像装置，
其中，所述处理部件被布置成估计所捕捉的光辐射的所述高阶谐波和所述基波之间的所述相位偏移以及估计表示所述高阶谐波的所述振幅与所述基波的所述振幅之比的所述因数。
5.权利要求1的成像装置，
其中，所述处理部件被布置成自适应地补偿在单个帧事件期间或在多个帧事件期间所捕捉的光辐射的摆动误差，包括动态地确定一个或多个参数中的每一个的更新值。
6.权利要求1的成像装置，
其中，所述处理部件被布置成在多个等距离采样点处基于所捕捉的光辐射的波形对信号进行采样，每个采样点位于所述波形上的预定相位处。
7.权利要求1的成像装置，
其中，所述处理部件被布置成在第一多个等距离采样点处基于所捕捉的光辐射的波形对信号进行采样，并且随着连续的帧事件，在从第一多个等距离采样点移位了预定角偏移的其它多个等距离采样点处基于所捕捉的光辐射的所述波形对所述信号进行采样。
8.权利要求1的成像装置，
其中，所述成像传感器由多个像素器件构成，并且其中，所述处理部件被布置成基于通过将来自由成像传感器的两个或更多像素捕捉的光辐射的信息组合来估计所述一个或多个参数中的每一个的值而计算从一个或多个对象到成像传感器的每个像素器件的距离。
9.权利要求1的成像装置，
其中，所述成像传感器被布置成在一个或多个帧事件期间使用飞行时间原理来捕捉区域的三维图像，并在运行时间期间补偿所捕捉的光辐射的摆动误差。
10.一种成像系统，包括：
照明模块，被布置成发射光辐射以照亮区域；
传感器模块，包括被布置成在一个或多个帧事件期间捕捉从该区域中的一个或多个对象反射的光辐射的多个像素；以及
控制模块，被布置成：确定在所述一个或多个帧事件期间所捕捉的光辐射的摆动误差的模型的一个或多个参数中的每一个的值，在运行时间期间补偿摆动误差，并且基于由所述多个像素中的各个像素捕捉的并针对摆动误差进行补偿的光辐射来计算从一个或多个对象到所述各个像素的距离，
其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
11.权利要求10的成像系统，
所述控制模块进一步被布置成：当所述摆动误差的特性随时间变化，或随所述多个像素中的单个像素而变化，或当所述区域的场景变化而随该区域而变化时，动态地估计和/或更新所述模型的一个或多个参数中的每一个的值。
12.权利要求10的成像系统，
所述控制模块进一步被布置成：基于使用一个所获取的帧事件，补偿摆动误差和计算从所述一个或多个对象到各个像素的距离，其中该帧事件独立于先前帧并且在帧事件之间没有相互依赖性。
13.权利要求10的成像系统，
其中，所述多个像素中的各个像素的输出包括具有叠加在其上面的高频分量的所述基波，所述控制模块进一步被布置成自适应地补偿高频分量并阐明由传感器模块捕捉的距离信息。
14.一种成像方法，包括：
用成像传感器在至少一个帧事件期间捕捉从区域中的一个或多个对象反射的光辐射；
基于在所述至少一个帧事件期间从所述区域中的所述一个或多个对象捕捉的光辐射的摆动误差的模型来确定一个或多个参数的值；
补偿摆动误差以阐明光辐射中的距离信息；以及
基于在所述至少一个帧事件期间捕捉的光辐射的所阐明距离信息来计算从一个或多个对象到成像传感器的距离，
其中所述摆动误差的模型的一个或多个参数包括如下项中的至少一个：所捕捉的光辐射的高阶谐波和基波之间的相位偏移，或者表示高阶谐波的振幅与基波的振幅之比的因数。
15.权利要求14的成像方法，
还包括参考所捕捉的光辐射的所述基波和所述高阶谐波来使用复平面中的相量对摆动误差进行建模。
16.权利要求14的成像方法，
其中，所述一个或多个参数中的一个参数包括所捕捉的光辐射的所述高阶谐波和所述基波之间的所述相位偏移，并且所述一个或多个参数中的另一个参数包括表示所述高阶谐波的所述振幅与所述基波的所述振幅之比的所述因数。
17.权利要求14的成像方法，
还包括生成数据，该数据包括对应于每个帧事件的一组数值，该组数值表示信号的多个等距离样本，该信号基于所捕捉的光辐射的波形。
18.权利要求17的成像方法，
还包括在两个或更多帧事件期间对信号进行采样，其中，在第一帧事件期间捕捉的第一组的多个等距离样本的采样位置具有从在另一帧事件期间捕捉的另一组的多个等距离样本的采样位置的偏移。
19.权利要求18的成像方法，
其中，所述另一组的多个等距离样本的采样位置从所述第一组的多个等距离样本的采样位置移位了采样距离的一半。
20.权利要求18的成像方法，
还包括：在每个连续帧事件中，交替地在第一组的多个等距离样本的采样位置和在另一组的多个等距离样本的采样位置处对信号进行采样。
21.权利要求14的成像方法，
还包括将来自两个或更多连续帧事件的数据组合，其中，在两个或更多连续帧事件期间捕捉的两组或多组等距离采样的各自的采样位置之间彼此偏移。
22.权利要求14的成像方法，
还包括通过将来自两个或更多连续帧事件的数据组合来估计所述一个或多个参数中的每一个的值。
23.权利要求14的成像方法，
还包括通过将来自成像传感器的两个或更多像素的数据组合来估计所述一个或多个参数中的每一个的值。
24.权利要求14的成像方法，
还包括一旦确定了所述一个或多个参数中的每一个的值就补偿所述摆动误差。
25.权利要求14的成像方法，
还包括在成像传感器的运行时间期间补偿摆动误差。
26.一种三维成像设备，包括：
成像传感器，被布置成基于飞行时间原理来捕捉区域的三维图像，该成像传感器包括被布置成在一个或多个帧事件期间捕捉从所述区域中的一个或多个对象反射的光辐射的多个像素，该光辐射包括距离信息和高阶谐波，所述高阶谐波在距离估计时导致摆动误差；以及
处理部件，被布置成基于阐明在一个或多个帧事件期间捕捉的光辐射的距离信息来计算从一个或多个对象到图像传感器的各个像素的距离，该处理部件被布置成估计摆动误差的基于相量的模型的两个参数中的每一个的值并且在运行时间期间补偿摆动误差，所述两个参数中的第一个包括所捕捉的光辐射的高阶谐波和基波之间的相位偏移，并且两个参数中的第二个包括表示高阶谐波的振幅与基波的振幅之比的因数。
CN201610249674.4A 2015-04-21 2016-04-21 Tof成像中的参数在线校准和补偿 Active CN106066987B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/692626 2015-04-21
US14/692,626 US9900581B2 (en) 2015-04-21 2015-04-21 Parametric online calibration and compensation in ToF imaging

Publications (2)

Publication Number Publication Date
CN106066987A CN106066987A (zh) 2016-11-02
CN106066987B true CN106066987B (zh) 2019-07-30

Family

ID=57110641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610249674.4A Active CN106066987B (zh) 2015-04-21 2016-04-21 Tof成像中的参数在线校准和补偿

Country Status (3)

Country Link
US (1) US9900581B2 (zh)
CN (1) CN106066987B (zh)
DE (1) DE102016106511A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155102A1 (en) * 2011-12-20 2013-06-20 Honeywell International Inc. Systems and methods of accuracy mapping in a location tracking system
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
DE102017105142B4 (de) * 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
WO2018185083A2 (de) * 2017-04-04 2018-10-11 pmdtechnologies ag Lichtlaufzeitkamera
CN109901137B (zh) * 2017-12-08 2021-06-04 浙江舜宇智能光学技术有限公司 广角tof模组的标定方法及其标定设备
JP2019203741A (ja) * 2018-05-22 2019-11-28 スタンレー電気株式会社 Ｔｏｆ方式測距装置
CN109100027B (zh) * 2018-07-05 2020-06-26 北京航空航天大学 一种基于动态散斑场的计算关联成像去噪方法及系统
CN118033607A (zh) * 2018-12-12 2024-05-14 美国亚德诺半导体公司 飞行时间深度成像系统的内置校准
CN109903241B (zh) * 2019-01-31 2021-06-15 武汉市聚芯微电子有限责任公司 一种tof相机系统的深度图像校准方法及系统
EP3924751A1 (en) * 2019-02-15 2021-12-22 Sony Semiconductor Solutions Corporation Time of flight device and method
US11555899B2 (en) * 2019-02-19 2023-01-17 Infineon Technologies Ag Random hardware fault and degradation protection apparatus for time-of-flight receiver
US11630190B2 (en) * 2019-03-29 2023-04-18 Sony Semiconductor Solutions Corporation Electronic device, method and computer program
EP3835819A1 (en) * 2019-12-10 2021-06-16 Melexis Technologies NV Optical range calculation apparatus and method of range calculation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0711706B1 (pt) * 2006-05-19 2020-05-05 Koninklijke Philips Nv método e aparelho para gerar imagens, e, suporte de gravação legível por computador.
WO2011085079A1 (en) * 2010-01-06 2011-07-14 Mesa Imaging Ag Demodulation sensor with separate pixel and storage arrays
US8570599B2 (en) * 2011-06-21 2013-10-29 Eastman Kodak Company Method of characterizing an imaging system
JP5868042B2 (ja) * 2011-07-01 2016-02-24 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御装置の制御方法
US8928880B2 (en) * 2011-07-28 2015-01-06 Honeywell International Inc. Tuned dynamic eigen spectroscopy systems
DE102012002922A1 (de) * 2012-02-14 2013-08-14 Audi Ag Time-Of-Flight-Kamera für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betrieb einer Time-Of-Flight-Kamera
US20130335576A1 (en) * 2012-06-19 2013-12-19 Martin GOTSCHLICH Dynamic adaptation of imaging parameters

Also Published As

Publication number Publication date
CN106066987A (zh) 2016-11-02
US20160316193A1 (en) 2016-10-27
US9900581B2 (en) 2018-02-20
DE102016106511A1 (de) 2016-10-27

Similar Documents

Publication Publication Date Title
CN106066987B (zh) Tof成像中的参数在线校准和补偿
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
Giancola et al. A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies
He et al. Recent advances in 3D data acquisition and processing by time-of-flight camera
US11709255B2 (en) System, device and methods for localization and orientation of a radio frequency antenna array
Guo et al. Tackling 3d tof artifacts through learning and the flat dataset
AU2016370103B2 (en) Methods and systems for near-field microwave imaging
Breuer et al. Low-cost commodity depth sensor comparison and accuracy analysis
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
US9709673B2 (en) Method and system for rendering a synthetic aperture radar image
CN109084746A (zh) 用于具有辅助传感器的自主平台引导系统的单目模式
US20140253679A1 (en) Depth measurement quality enhancement
CA3032812A1 (en) Methods for simultaneous localization and mapping (slam) and related apparatus and systems
WO2015168700A1 (en) Method and apparatus for tracing motion using radio frequency signals
CN110688763B (zh) 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法
JP6319030B2 (ja) 目標検出装置
JP5950835B2 (ja) シーン内の反射物を再構成するシステム
JP2021522607A (ja) ポイントクラウドの着色において使用される方法及びシステム
JP2016085602A (ja) センサ情報統合方法、及びその装置
Vigliensoni et al. A Quantitative Comparison of Position Trackers for the Development of a Touch-less Musical Interface.
CA2954355A1 (en) Video-assisted landing guidance system and method
CN104459681B (zh) 自适应距离估计
JP7197003B2 (ja) 深度推定装置、深度推定方法、及び深度推定プログラム
CN115248446A (zh) 一种基于激光雷达的三维超声成像方法和系统
US20220224881A1 (en) Method, apparatus, and device for camera calibration, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant