CN104459681B - 自适应距离估计 - Google Patents

自适应距离估计 Download PDF

Info

Publication number
CN104459681B
CN104459681B CN201410476605.8A CN201410476605A CN104459681B CN 104459681 B CN104459681 B CN 104459681B CN 201410476605 A CN201410476605 A CN 201410476605A CN 104459681 B CN104459681 B CN 104459681B
Authority
CN
China
Prior art keywords
phase
frame
distance
pixel
light radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410476605.8A
Other languages
English (en)
Other versions
CN104459681A (zh
Inventor
J.格伦瓦尔德
M.马克
C.斯泰纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN104459681A publication Critical patent/CN104459681A/zh
Application granted granted Critical
Publication of CN104459681B publication Critical patent/CN104459681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种自适应距离估计。设备和技术的代表性实施方式提供用于成像设备和系统的自适应距离估计。距离估计可以基于反射光中的相位延迟。对于后续帧事件而言用于确定相位延迟值的参考相位可能被改变。可以基于在预定区域之内是否检测到对象移动来为一些距离计算选择多个帧事件。

Description

自适应距离估计
技术领域
本发明涉及一种自适应距离估计。
背景技术
基于光波的成像系统变得更广泛地用于目标检测，这是因为半导体工艺已变得更快地支持这样的系统。一些成像系统能够提供每秒几十幅图像，使得这样的系统也有益于对象检测和/或跟踪。由于它们潜在小的形状因数以及潜在高的信号保真度，一些成像系统非常适合于许多类型的车辆（汽车、公共汽车、火车等）中的应用。此外，一些成像系统非常适合于许多类型的消费者设备（例如电视、计算机、平板电脑、智能电话等等）中的姿势控制等。尽管此类成像系统的分辨率可能变化，但是使用这些系统的应用能够利用它们操作的速度。
诸如汽车之类的移动车辆例如可以使用成像系统来检测车辆路径中的对象（例如步行者），以避免碰撞该对象。例如，可以在车辆的前面、后面和/或（多个）侧面上采用成像系统以便检测车辆的前向或倒退路径中的、去往车辆侧面的或在车辆的盲点中的对象。
渡越时间摄像机例如可以使用成像设备来测量离摄像机的对象的距离。使用多个像素的成像设备也可以被使用，其中与各个像素相关联的光信号可以提供对对象上离散点的距离测量，从而形成三维“距离图像”。例如利用离散点反射掉的光信号，这可以成为可能。
无论是否被部署在车辆应用、消费者设备应用或其它类型的应用中，都期望在维持或改进性能的同时增加成像系统的效率。例如，随着成像系统被应用于车辆、移动设备等等，该成像系统的有用性在系统的准确性或清楚性为低时减小，但是功率需求却是大的。
发明内容
根据本发明的第一方面，提供了一种装置，包括：成像传感器，其被布置成捕获在帧事件期间区域中的一个或多个对象反射掉的光辐射；以及处理部件，其被布置成基于在帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离，所述相位延迟值与多个参考相位的集合中的一个集合相对应。
根据本发明的第二方面，提供了一种系统，包括：照明模块，其被布置成发射光辐射以照明区域；包括多个像素的传感器模块，其被布置成捕获在帧事件期间区域中的一个或多个对象反射掉的光辐射的一个或多个相位延迟值，所述相位延迟值与多个交替参考相位的集合中的一个集合相对应；以及控制模块，其被布置成基于由各个像素捕获的一个或多个相位延迟值来计算从一个或多个对象到多个像素的各个像素的距离。
根据本发明的第三方面，提供了一种方法，包括：用成像传感器捕获在帧事件期间区域之内的一个或多个对象反射掉的光辐射；从多个参考相位值的集合中选择参考相位值的集合；
确定在帧事件期间捕获的光辐射的与所选参考相位值的集合相对应的一个或多个相位延迟值；以及基于在帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。
根据本发明的第四方面，提供了一种三维成像设备，包括：成像传感器，其被布置成基于渡越时间原理来捕获区域的三维图像，该成像传感器包括被布置成在多个帧事件期间捕获区域中的一个或多个对象反射掉的光辐射的一个或多个相位延迟值的多个像素，该相位延迟值与一系列参考相位的集合相对应，该系列参考相位的集合中的每个集合被布置成根据算法来应用于多个帧事件中的帧事件；以及处理部件，其被布置成基于在多个帧事件中的一个或多个帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的各个像素的距离，该处理部件被布置成处理一定数量的多个帧事件以基于在区域之内检测到的对象移动的速度来计算距离。
附图说明
参考附图阐述了详细的描述。在图中，参考数字的最左边的（多个）数标识其中该参考数字首先出现的图。不同图中相同参考数字的使用指示相似或相同的项。
为了该讨论，图中图示的设备和系统被示为具有多个部件。如本文所述的那样，设备和/或系统的各种实施方式可以包括较少的部件并且仍在本公开的范围之内。可替换地，设备和/或系统的其它实施方式可以包括附加部件或者所述部件的各种组合，并且仍在本公开的范围之内。
图1是根据一个实施方式可以在其中采用所述设备和技术的示例应用环境的图示。
图2是根据一个实施方式的示例成像系统部件的框图。
图3是根据一个实施方式示出示例成像系统的部件的一些细节的框图，其包括包含多个像素的传感器模块。
图4是根据一个实施方式的成像系统的示例控制模块的框图。
图5图示出根据一个实施方式的示例自适应算法概念。
图6是根据一个实施例方式的图示出通过成像系统来自适应地估计距离的示例过程的流程图。
具体实施方式
概述
本公开与被布置成检测、成像、识别和/或跟踪在与成像系统有关的预定区域中的对象和/或姿势的成像系统（例如使用发射的电磁（EM）辐射的成像系统）相关。例如，与车辆相关联的成像系统可以被用来检测车辆路径中的或车辆附近区域中的对象。另外，成像系统可以跟踪对象或提供对象的图像（例如诸如三维图像）。在其它示例中，成像系统可以被用来检测和识别例如在计算设备附近区域中的对象或人手的姿势。成像系统可以识别对象或手何时做出姿势，并且跟踪手势组合作为对计算设备的鼠标或其它输入的替代。
在各种实施方式中，成像系统使用渡越时间原理（诸如反射的EM发射（即电磁辐射）的距离计算）来例如检测、成像、识别和/或跟踪对象。渡越时间距离计算可以基于接收到的发射的EM（“光”）辐射的反射，因为光辐射被预定区域中的对象反射掉。例如，在一种情况下，距离计算可以基于光的速度和反射的光辐射的行进时间。
设备和技术的代表性实施方式提供用于成像设备和系统的自适应距离估计。在各种实施方式中，距离估计计算可以基于反射的光辐射中的相位延迟。在一个非限制性示例中，相位延迟值可以被限定为像素的采样输出，其中像素的输出是（由场景反射的）入射光和（芯片上生成的）参考信号之间的相关，该参考信号具有相对于发射的光信号的固定的参考相移。例如，在帧事件期间反射光中捕获的相位延迟值（即在某一时间点处的图像捕获）可以被用来确定对象与成像设备的距离，其中从入射光到捕获的反射光的相移指示光行进的距离。
在一些实施方式中，一个或多个参考相位可以被用来对反射光中对应的一个或多个相移编索引。对于随后的帧事件，用于确定相位延迟值的参考相位可以被改变（例如替换、轮换（rotate）等等）。例如，连续的帧事件（即图像捕获）可以使用一个或多个参考相位的不同的集合来确定反射光中的相位延迟。
在一个实施方式中，来自多个帧事件的相位信息可以被选择用于某些距离计算，而不是使用单个图像捕获。例如，当前的帧事件可以与一个或多个过去的帧事件结合处理以计算对象离成像系统的距离。在一个附加实施方式中，可以基于在预定区域（例如成像区域）内是否检测到对象移动来选择一定数量的过去的帧事件。在一个实施方式中，基于对象移动的相对速度来选择帧事件的数量。
在本公开中讨论用于成像系统、设备和技术的各种实施方式和布置。参考图中图示的示例性基于光的成像系统和设备来讨论技术和设备。然而，这不是意图进行限制，并且这是为了便于讨论和说明方便。所讨论的技术和设备可以被应用于各种（例如基于辐射的、基于声发射的、基于粒子发射的等）成像设备设计、结构等等中的任何一个并且仍在本公开的范围之内。
下面使用多个示例来更详细地解释实施方式。尽管这里以及下面讨论了各种实施方式和示例，但是通过组合各个实施方式和示例的特征和元件的更多的实施方式和示例可以是可能的。
示例成像系统环境
图1是根据一个实施方式可以在其中采用所述设备和技术的示例应用环境100的图示。如图示中示出的那样，成像系统102可以与例如车辆104（诸如汽车、公共汽车、火车、飞机等）一起应用。在各种其它实施方式中，成像系统102可以与其它系统、设备等等（例如机器人技术、自动化、监视系统、可访问性设备、安全系统等等）一起应用。
在更多实施方式中，成像系统102可以与移动设备或其它计算设备（诸如膝上型或笔记本计算机、手持计算设备、平板计算设备、上网本计算设备、个人数字助理（PDA）设备、阅读器设备、智能电话、移动电话、媒体播放器、可佩带计算设备、固定计算器、个人或桌上型计算机、电视、机顶盒、游戏机、音频/视频系统、电气用具等等）一起应用。
不意图将本公开的范围局限于所列的示例。为了方便，在本公开之内对车辆104的参考也指代如上文提到的采用成像系统102的所有应用等等。
在各种实施方式中，成像系统102可以与车辆104集成，或者可以具有与车辆104分开或远离车辆104的一些部件。例如，可以远程地（例如云、网络等等）定位用于成像系统102的一些处理。在另一示例中，来自成像系统的一些输出可以被传输、显示或呈现在远程设备上或远程位置处。
成像系统102可以被用来检测例如预先选择区域108中的对象106，诸如步行者。在各种实施方式中，成像系统102可以被布置成检测、识别和/或跟踪对象106的移动。在一个实施方式中，成像设备被布置成输出对象106的图像（例如二维或三维图像）。在一个示例性实施方式中，例如成像系统102的输出可以被呈现或显示在显示设备（例如移动计算设备、智能电话、车辆信息系统等等）上。
示例性对象106可以包括可以将成像系统102布置成检测、识别、跟踪等等的任何项目（item）。这样的项目可以包括例如人或动物。对象106的其它示例可以包括障碍物、目标部件、另一车辆等等。在各种实施方式中，成像系统102还可以被布置成检测、识别和/或跟踪对象106的姿势或配置。姿势或配置可以包括表达想法的对象106的任何移动或位置。例如，姿势或配置可以包括以某一模式（例如以椭圆运动、以基本上线性运动等等）在对象106的定向和/或移动中安置对象106。在一个示例中，成像系统102可以被用来检测例如人手的移动（例如姿势），作为对计算设备、移动设备等等的鼠标或其它输入设备的替代。
成像系统102可以被布置成检测、识别、和/或跟踪在关于成像系统102的预先选择区域108内的对象106。预先选择区域108可以被选择成包括例如对象106可以在其内的区域。在一种情况中，预先选择区域108可以包括表示车辆104的近的或远的前向或反向路径的区域。该区域108还可以例如在成像系统102的前面、侧面或周围。
图1的图示将预先选择区域108示为车辆104前面的类多边形的区域。这是为了说明和讨论目的，并且不意图进行限制。预先选择区域108可以是任何形状或尺寸，可以位于车辆104的前面、后面、（多个）侧面、顶部和/或底部，并且可以被选择成使得它将通常包括期望的对象（当它们存在时），但是可能不包括不期望的对象（例如意图不被检测、识别、跟踪等等的其它项目）。在各种实施方式中，预先选择区域108可以包括各种形状和尺寸。在一些实施方式中，预先选择区域108的形状和尺寸取决于成像设备102的当前应用。
如上文所讨论的那样，本文关于成像系统102描述的技术、部件和设备不限于图1中的图示，并且在不偏离本公开范围的情况下可以被应用于其它成像系统和设备设计和/或应用。在一些情况下，附加或替换部件可以被用来实施本文描述的技术。应理解，成像系统102可以被实施为独立系统或设备，或者作为另一系统的一部分（例如与其它部件、系统等等等集成）。
示例成像系统
图2是示出根据一个实施方式的成像系统102的示例部件的框图。如图2中示出的那样，成像系统102可以包括照明模块202、调制部件204、传感器模块206、和控制模块208。在各种实施方式中，成像系统102可以包括较少、附加、或替换的部件，并且仍在本公开的范围之内。成像系统102的一个或多个部件可以与成像系统102的另一部件并置、组合或以其它方式集成。例如，在一个实施方式中，成像系统102可以包括成像设备或装置。此外，成像系统102的一个或多个部件可以远离部件中的（多个）其它的定位。
在一个实施方式中，照明模块202被布置成发射电磁（EM）辐射（例如光辐射）以照明预先选择区域108。例如，照明模块202可以被布置成照明区域108中可能存在的一个或多个对象106，以检测该对象，或者检测对象106的移动。在各种实施方式中，例如照明模块202包括诸如光发射器之类的照明源。在一个实施方式中，照明源包括发光二极管（LED）。在另一实施方式中，照明源包括激光发射器。在一个实施方式中，照明模块202用所发射的每个光脉冲照明整个环境（例如预先选择区域108）。在替换实施方式中，照明模块202以阶段或扫描照明环境。
在各种实施方式中，可以从照明模块202发射不同形式的EM辐射。在一些实施方式中，发射红外光等等。例如，光辐射可以包括一个或多个被调制的光脉冲。照明模块202可以被开启达短的间隔，从而允许发射的（多个）光脉冲照明区域108，包括区域108之内的任何对象106。红外光例如向人眼看不见的区域108提供照明，并且所以不会分散注意力。在其它实施方式中，可以发射提供视觉反馈等等的其它类型或频率的EM辐射。如上文所提到的，在替换实施方式中，可以由照明模块202发射其它能量形式（例如基于辐射的、基于声发射的、基于粒子发射的等等）。
如果被包括在实施方式中，则调制部件204可以被布置成调制从照明模块202发射的EM辐射和/或调制传感器模块206的一个或多个部件（例如光敏像素302）。在各种实施方式中，调制部件204可以被布置成将在渡越时间操作期间传感器模块206的部件的调制与EM辐射的调制相关联（例如以计算对象106与成像系统102的距离和/或形成例如对象106的二维或三维图像）。
在各种实施方式中，如图2和3中所示，传感器模块206被包括在成像系统102中。在一个实施方式中，传感器模块206包括成像传感器，其被布置成在帧事件期间（即在某一时间点下的图像捕获期间）从区域108中的一个或多个对象106接收（例如捕获）反射的光辐射。在一个示例中，传感器模块206可以被布置成基于接收到光辐射的反射来捕获区域108的或区域108内对象106的图像（例如二维图像或三维图像）。传感器模块206可以被布置成例如使用渡越时间原理来捕获图像。
在另一示例中，传感器模块206被布置成提供入射光辐射和反射的光辐射之间的相移信息以用于距离测量计算。例如，在一个实施方式中，传感器模块206被布置成在帧事件410期间捕获区域108中的一个或多个对象106反射掉的光辐射的一个或多个相位延迟值410（图4中示出）。该相位延迟值410表示基于行进的距离从入射光辐射反射的光辐射中的相移，并且可以关于一个或多个参考相位值408来确定（或测量）该相位延迟值410，如下文进一步描述的那样。
在一个实施方式中，如图3中所示，传感器模块206包括多个光敏像素设备（“像素”）302。在一个示例中，多个像素302中的每一个可以充当单个图像传感器。在这样的一个示例中，从传感器模块206所得到的多维图像（例如，诸如三维“距离图像”）是在多个各个像素302处接收到的光辐射的组合。
在一个实施方式中，多个光敏像素302中的每一个被布置成捕获区域108中的一个或多个对象106反射掉的光辐射的一个或多个相位延迟值410。在各种实施方式中，由各个像素302在帧事件406期间捕获的相位信息410可以被（例如控制模块208之内的）一个或多个处理部件402处理，以便确定从区域108中的（多个）对象106到各个像素302的各个距离。与各个像素302相关联的距离可以被组合以形成（多个）对象106和/或区域108的三维距离图像。
当被包括在一个实施方式中时，控制模块208可以被布置成向成像系统102提供控制和/或处理。例如，控制模块208可以控制成像系统102的操作，控制其它模块（202、204、206）中的一个或多个的操作，和/或处理由其它模块（202、204、206）中的一个或多个输出的信号和信息。在各种实施方式中，控制模块208被布置成与照明模块202、调制部件204和传感器模块206中的一个或多个进行通信。在一些实施方式中，控制模块208可以被集成到其它模块（202、204、206）中的一个或多个中或者与模块（202、204、206）远离。
在一个实施方式中，控制模块208被布置成基于从传感器模块206接收到的信息来检测、识别和/或跟踪区域108内的对象106。在各种实施方式中，控制模块208可以被编程为识别一些对象106和/或姿势并且排除其它。
在各种实施方式中，控制模块208被布置成基于在帧事件期间由传感器模块206捕获的光辐射的一个或多个相位延迟值410（例如I 0 , I 1 , I 2 , I 3 ）来计算从一个或多个对象106到传感器模块206的距离。在关于所传输的EM波形的一个或多个参考相移处捕获相位延迟值410。在一个示例中，相位延迟值410是作为像素302的模拟输出的相关函数的采样。
例如，在一个实施方式中，可以基于入射光关于反射光的相位变化来估计从对象106到传感器模块206的距离。所捕获的相位延迟值410指示在光从照明模块202发射时、被对象106反射掉时、以及在帧事件期间被传感器模块206捕获时光行进的距离。
在一个实施方式中，在传感器模块206包括多个像素302的情况下，控制模块208被布置成计算从区域108内的一个或多个对象106到多个像素302中的各个像素302的距离。在该实施方式中，距离计算是基于由各个像素302捕获的一个或多个相位延迟值410。所捕获的相位延迟值410的每一个集合可以被控制模块208用来估计从（多个）对象106到捕获该集合的各个像素302的距离。
在一些实施方式中，三个、四个、或另一数量的相位延迟值410可以被用于每个像素的距离估计，以便改进估计的准确性。因此，针对一个帧事件而执行的（每个像素302的）距离计算的数目可以基于传感器模块208包括的像素302的数量（即传感器模块208的分辨率）和每个像素302捕获的相位延迟值410的数量。
在一个实施方式中，如图4中所图示的那样，相位延迟值410可以与多个参考相位的集合408中的一个集合相对应。例如，参考相位的集合408可以包括用作关于光辐射的索引值的一个或多个相角，以示出反射光中的相移。在一个示例中，每个参考相位的集合408包括三个或更多等间隔的相角（例如0°、90°、180°和270°），并且相位延迟值410包括相对于每个参考相角408的对应数量的相移。关于其相关联的参考相位408的对应相移指示在从光发射器202穿过时、被对象106反射掉时以及被图像传感器206捕获时由光辐射所行进的距离。
示例实施方式。
参考图4，根据一个实施方式示出示例控制模块208。如图4中所示，控制模块可以包括至少一个或多个处理部件（“处理器”）402和一个或多个存储器存储设备404。在各种实施方式中，处理器402可以包括计算设备、控制器、逻辑部件等等。在该实施方式中，处理器402被布置成基于在帧事件期间捕获的光辐射的一个或多个相位延迟值410来计算从一个或多个对象106到成像传感器206（例如传感器模块）的距离。
在一个实施方式中，相位延迟值410以及其它信息可以被存储在存储器404中并且被处理器402访问。在该实施方式中，存储器404包括能够存储由处理部件（诸如处理器402）可访问的数字信息（电学上的、光学上的、磁性的等等）的任何存储器存储设备（集成的或与处理器402分开的硬件）。
例如，在一个实施方式中，处理部件402被布置成根据算法从针对每个帧事件406的多个参考相位的集合408中选择参考相位的集合408。如图4中所示，每个帧事件406（从帧k（当前的帧）到帧k-M，其中M表示存储器404的尺寸或者帧406场的数目）具有对应的参考相位的集合408和相位延迟值的集合410。在该实施方式中，处理器402被布置成根据算法来选择用于当前帧事件406的参考相位的集合408，并且根据该算法来针对每个后续帧事件从参考相位的集合408中选择另一参考相位的集合408。在一个实施方式中，如图4中所示，当前和过去的帧事件406的历史、针对每个帧事件406选择参考相位的集合408，并且相关联的相位延迟值410被存储在存储器404中。在替换的实施方式中，存储器404可以包括附加或替换的信息。
参考图4描述第一示例方案。如图4的示例中示出的那样，在先前的帧k-2处，由处理器402根据算法来选择三个参考相位的集合408A、B和C。例如，参考相位408A、B和C可以包括0°、120°和240°。由传感器模块206（或传感器模块206的个体像素302）捕获的要被用在距离估计中的所得到的相位延迟值410包括、和。
此外，在先前的帧k-1处，由处理器402根据算法来选择三个参考相位的集合408E、F和G。例如，参考相位408E、F和G可以包括180°、300°和60°）。由传感器模块206（或传感器模块206的个体像素302）捕获的要被用在距离估计中的所得到的相位延迟值410包括、和。
然后，在当前帧k处，由处理器402根据算法来再次选择三个参考相位的集合408A、B和C。由传感器模块206（或传感器模块206的个体像素302）捕获的要被用在当前帧的距离估计中的所得到的相位延迟值410包括、和。
在该示例中，算法包括交替模式，其中处理器402交替地在两个参考相位的集合408（A、B、C和E、F、G）之间进行选择。因此，对于后续帧事件k+1，将由处理器402根据算法来再次选择三个参考相位的集合408E、F和G。由传感器模块206（或传感器模块206的个体像素302）捕获的并且要被用在后续帧的距离估计中的所得到的相位延迟值410包括、和。在其它示例中，交替的参考相位的集合408可以包括更少或更多的相角（例如四个相角，诸如45°、135°、225°和315°等等）。
在刚刚描述的示例中，可以通过具有值0°、120°和240°的第一参考相位的集合408（A、B和C）的信号反转来获得具有值180°、300°和60°的第二参考相位的集合408（E、F和G）。在其它示例中，参考相位408的相角可以具有其它关系，或不具有关系。此外，在替换的示例中，参考相位的集合408的相角可以不是等间隔的，并且可以基于期望的设计准则来选择。
参考图4，使用在帧（k-M）处开始并且继续至帧（k-M+3）的帧事件406来说明第二示例方案。在该示例中，处理器402被布置成使用不同算法为帧事件406选择参考相位的集合408，也就是说由通过三个参考相位的集合408（A、B、C）、（D、E、F）和（G、H、I）进行轮换。基于针对每个帧事件406选择的参考相位的集合408来示出针对每个帧事件的相关联相位延迟值410。
在其它示例中，轮换参考相位的集合408可以包括更少或更多相角，并且/或者根据所使用的算法可以通过更多数量的参考相位的集合408进行轮换。在更多示例中，处理器402可以采用具有其它模式和/或选择准则的其它算法用于（多个）参考相位的集合408的选择。例如，在一个实施方式中，处理器402被布置成随机地或准随机地从多个参考相位的集合408中选择参考相位的集合408用于距离估计。在一个实施方式中，处理器402被布置成根据每个像素302所选择的算法来选择每个像素302的参考相位的集合408。换言之，在一个实施方式中，针对给定帧事件406，传感器模块206的邻近像素302可以根据算法使用不同参考相位。
在一个实施方式中，处理部件402被布置成使用针对单个帧事件406存储的相位延迟值410来为帧事件406计算距离估计。使用上面的示例，在帧k-1处像素302（例如，诸如光子混合设备（PMD）像素302）的相移可以被表示为：
并且对于帧k，相移可以被表示为：
。
在另一实施方式中，处理部件402被布置成使用针对该帧事件406以及一个或多个过去的帧事件406存储的相位延迟值410的联合处理来为帧事件406计算距离估计，以便改进距离估计的准确性。换言之，处理部件402被布置成基于在当前帧事件406期间捕获的光辐射的一个或多个相位延迟值410连同在一个或多个过去的帧事件406期间捕获的光辐射的一个或多个相位延迟值410来计算从一个或多个对象106到成像传感器206（或到成像传感器206的像素302）的距离。
再次地，使用上面的示例，通过使用来自帧事件406k和k-1的相位延迟值410，当前帧事件k处的像素302（例如，诸如PMD像素302）的相移可以被表示为：
。
在替换实施方式中，处理部件402可以被布置成使用针对几个个帧事件406存储的相位延迟值410来为帧事件406计算距离估计，同时在存储器404内相位延迟410信息是可访问的。例如，处理部件402可以在具有或不具有当前帧事件406的相位延迟值410的情况下使用一个或多个时间上连续（sequential）或非连续（non-sequential）帧事件406的相位延迟值410来计算距离估计。
在各种实施方式中，距离计算中一个或多个先前帧406相位延迟值410和当前帧406相位延迟值410的联合处理改进距离估计的准确性。多个帧事件406的使用可以具有噪声平均效应。此外，可以因为所使用的更多参考相位值408而实现更好的建模准确性。
在一个实施方式中，处理部件402被布置成基于是否在预置的持续时间之内在区域108内检测到对象106的移动来自适应地选择一定数量的一个或多个过去的帧事件406（并且使用相关联的相位延迟值410来计算距离）。例如，在一个实施方式中，基于在预置的持续时间之内在区域108内检测到的对象106移动的速度来自适应地选择过去的帧事件406的数量。在各种实施方式中，对象106移动的速度是相对的，并且可以包括对象106自身的速度、成像系统102相对于对象106的速度、或者两个的组合。
在一个实施方式中，处理部件402被布置成当在预置的持续时间之内在区域108内检测到较快的对象106移动时选择较少的过去的帧事件406，并且当在预置的持续时间之内在区域108内检测到较慢的对象106移动时选择更多的过去的帧事件。例如，处理部件402可以被布置成在运行时间期间为相继的帧事件406（例如为每个新“当前”帧）动态地作出新的数量选择。在一个替换实施方式中，当检测到较快的对象106移动时可以选择更多过去的帧事件406，并且当检测到较慢的对象106移动时可以选择较少的帧事件406。
在一个实施方式中，一个或多个相对速度阈值可以被预先选择以用于确定当相对速度达到阈值时要被选择的帧事件406的数量。例如，在其中对象106关于成像系统102的相对速度达到最大阈值的一个示例中，单个帧事件406可以被选择，并且相关联的相位延迟值410可以被用于距离计算。在其中对象106关于成像系统102的相对速度达到最小阈值（即，例如，很少或没有相对移动）的另一示例中，预定义的最大数量的帧事件406可以被选择，并且相关联的相位延迟值410被用于距离计算。附加数量的阈值可以被预先选择以便触发两个极限值之间的其它累进数量的帧事件406。可替换地，预先选择的阈值可以触发要以相反方式选择的帧事件406的数量，如上文所提到的那样。
在各种实施方式中，以逐个像素302为基础来执行基于对象106移动的速度和检测所选择的帧事件406的数量。例如，对象106可以在与一个或多个像素302相对应的区域108的一个部分中移动，并且区域108的剩余部分可能没有对象106移动。在这种情况下，可以每个像素302地执行要被用于计算距离的帧事件406的选择以用于改进效率。
另外，当在预定时间帧上在区域108的一部分中没有检测到对象106移动时，成像系统102可以避免作出关于与区域108的该部分相关联的像素302的新的距离计算，并且可以替代地重新使用像素302处来自较早帧事件406的先前距离计算。以这种方式，成像系统102可以通过减少多余的计算来改进处理器402和像素302发信号效率。
在一个实施方式中，控制模块206被布置成基于使运动伪像的出现最小化来自适应地选择在运行时间期间的一定数量的一个或多个过去的帧事件406。例如，在一些情况下，运动伪像可以在对于多个帧的联合处理时出现，特别地在场景迅速改变时（例如当区域108内的对象106相对于成像系统102迅速移动时）出现。在该实施方式中，由处理部件402对过去的帧事件406的自适应选择可以减轻运动伪像的出现。如上文提到的那样，可以基于“速度变化”准则（例如相对于成像系统102的对象106移动的速度）来执行自适应选择。
在一个实施方式中，处理部件402被布置成基于在当前帧事件406期间以及在一个或多个过去的帧事件406期间捕获的光辐射的一个或多个相位延迟值410的时间演变（例如从帧406到帧406）的分析来检测在区域108内对象106移动。例如，处理部件402可以针对一个或多个像素302分析在一系列帧事件上（例如在一段持续时间上）相位延迟值410的相移序列以便检测在区域108内对象106移动。相位延迟值410（或其函数）的相移序列可以例如通过示出相对于像素302的变化的相移来指示对象106移动。
在各种实施方式中，一个或多个检测算法可以被用来检测在区域108内对象106移动。对象106移动阈值的确定可以基于针对特定应用而言被视为距离的显著改变的内容。例如，在一个实施方式中，显著距离变化可以被限定为大约几厘米。在其它示例中，显著距离变化可以是更大得多或更小得多。
返回参考使用来自帧事件406 k和k-1的相位延迟值410的对于像素302的相移的示例表达式：
，
atan2函数的输入值可以被用来检测成像系统102和区域108中的对象106之间变化的距离。在一个示例中，在上面的表达式的主要处理函数之前执行分析。
在第一示例检测算法中，使用较少的计算努力。如果或的绝对值大于一个或多个预定义的移动阈值，则对象106和像素302之间的距离已经改变。用于第一示例检测算法的示例计算包括：
在一个示例中，如果 或，则可以使用第一检测算法，否则使用第二示例检测算法（下面示出）。在一个实施方式中，阈值和取决于x和y中的预期噪声水平。
在第二示例检测算法中，可以使用比在第一示例检测算法情况下更多的计算努力，但是可以实现更好的准确性。第二示例检测算法基于在帧事件406（例如时间索引）k-1（即x（k-1）和y（k-1））处输入值附近的根据下式的atan2（）函数的第一阶泰勒级数近似：
在该示例中，帧事件406k处的当前相移被表示为帧事件406 k-1处的先前相移加上更新项。换言之，更新项是从时间k-1到时间k的相位变化（以及距离变化）的度量。在一个实施方式中，对于非常小的相位变化，第二示例检测算法可以是准确的。
在一个示例中，如果，则可以使用第二示例检测算法，否则使用第一示例检测算法（上文示出）。在一个实施方式中，可以省略第二示例检测算法的除以，以便增加处理效率（如果需要的话）。
在一个替换实施方式中，可以联合应用第一示例检测算法和第二示例检测算法。
图5图示出根据一个实施方式的示例自适应算法概念，其示出上文讨论的技术和设备的示例实施方式。如图5中所示，三个参考相位（在0°、120°和240°处）的集合408可以被用来确定针对每隔一个帧事件406（例如偶数帧406）的相位延迟值410。通过使参考相位的集合408反转（如上文所讨论的移位180°，例如180°、300°、60°）来对其它交替帧事件406（例如奇数帧406）编索引。
基于参考相位值408，从反射的光信号捕获的相位延迟值410（通过像素302）被存储在存储器404中以用于每个帧事件406。处理部件402针对当前帧事件406k取回相位延迟值410，并且对它们进行处理以便根据下面的表达式来计算相移索引：
可以联合处理来自当前帧事件406的相移和来自一个或多个先前帧事件406的相位延迟值410/相移，以便根据上文讨论的atan2表达式来确定距离估计。在一个示例中，如图5中所示，当时，帧事件406历史被禁用，并且当前帧事件406被单独用于距离计算。可替换地，当时，帧事件406历史被启用，并且联合处理当前帧事件406和一个或多个先前帧事件406以计算距离估计。
在各种实施方式中，控制模块208还可以被布置成基于测量的反射EM辐射的时间来计算对象106离成像系统102的距离。因此，控制模块208可以被布置成将从传感器模块206（或者从传感器模块206的像素）输出的当前信号转换成对象106离成像系统102的距离。此外，在一个实施方式中，控制模块208可以被布置成将当前信号转换成对象106的三维图像。
在一个实施方式中，控制模块208被布置成输出对象106的三维图像和/或计算的距离。例如，成像系统102可以被布置成将检测到的对象106的三维图像、距离、对象106的跟踪坐标等等输出给显示设备、被布置成处理该信息的另一系统等等。
在各种实施方式中，可以使用附加的或替换的部件来实现所公开的技术和布置。
代表性过程
图6图示用于自适应地估计对象（例如，诸如对象106）离成像系统（诸如成像系统102）的距离的代表性过程600。该过程600描述从反射的光辐射捕获一个或多个相位延迟值（例如，诸如相位延迟值410）。可以用后续帧事件交替或轮换一个或多个参考相位的集合以便确定相位延迟值。参考图1-5来描述过程600。
不意图将其中描述过程的顺序解释为限制，并且可以以任何顺序来组合任何数目的所述过程块以便实施过程或替换过程。另外，在不偏离这里描述的主题的精神和范围的情况下可以从该过程中删除各个块。此外，在不偏离这里描述的主题的范围的情况下可以以任何适当材料或其组合来实施该过程。
在一个示例中，可以由包括例如LED或激光发射器的发射器（诸如照明模块202等等）来发射EM辐射。在一些实施方式中，EM辐射可以是被调制的光。例如，可以使用调制部件（诸如调制部件204）来调制光，并且可以与成像设备的一个或多个光敏像素的调制相关联地调制光。
在块602处，该过程包括利用成像传感器（例如诸如传感器模块206和/或像素302）来捕获在帧事件期间区域（例如诸如区域108）中的一个或多个对象（例如诸如对象106）反射掉的光辐射（即在某一时间点下的图像捕获）。成像传感器可以包括例如一个或多个光敏像素（诸如像素302）。例如，成像传感器可以经由光学器件、接收器、天线等等接收EM反射。
在块604处，该过程包括根据算法从多个参考相位值的集合选择参考相位值的集合（例如诸如参考相位值408）。该过程还包括根据该算法针对每个后续帧事件从多个参考相位值的集合中选择后续的参考相位值的集合。在一个示例中，参考相位值针对每个后续帧事件而根据先前的帧事件来改变。在一些实施方式中，参考相位值在一定数量的参考相位的集合之中交替、轮换等等。
在块606处，该过程包括确定与所选的参考相位值的集合相对应的在当前帧事件期间捕获的光辐射的一个或多个相位延迟值（例如诸如相位延迟值410）。
在块608处，该过程包括基于在当前帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。在一个实施方式中，该过程包括基于在当前帧事件期间捕获的光辐射的一个或多个相位延迟值连同在一个或多个过去的帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。
在一个实施方式中，该过程包括计算从一个或多个对象到成像传感器的像素的距离。该过程还包括自适应地选择一定数量的帧事件来用于在运行时间期间相对于像素的距离计算（例如每个像素选择）。例如，选择可以基于检测区域的与像素相对应的一部分之内的阈值对象移动。
在一个实施方式中，该过程包括基于检测到的对象移动的速度来自适应地选择用于距离计算的帧事件的数量。例如，该过程包括当对象移动的速度减小时增加所选帧事件的数量，以及当对象移动的速度增加时减少所选帧事件的数量。在一个替换实施方式中，该过程可以包括基于成像设备的应用当对象移动的速度减小时减少所选帧事件的数量，以及当对象移动的速度增加时增加所选帧事件的数量。
在一个实施方式中，针对距离计算而选择的过去的帧事件是帧事件的时序集合（sequential set）（例如时间的序列）。在各种实施方式中，相对于像素针对距离计算而选择的帧事件是时间上非连序的。例如，所选择的帧事件可能符合非连续的另一模式，或者它们可以是随机的或准随机的。
在一个实施方式中，该过程包括当在预先选择的持续时间之内没有检测到相对于像素的阈值对象移动时重新使用从一个或多个对象到像素的距离计算。例如，不是当不存在对象的相对移动时重新计算从像素到对象的距离，而是可以针对该对象重新使用先前的距离计算。当场景的仅一部分改变（例如在区域的与一个或多个像素相对应的一个部分处的对象正在移动，但是区域的剩余部分是静止）时，这可以增加处理器效率。
在一个实施方式中，该过程包括基于在区域之内检测到的对象移动的速度，通过针对距离计算自适应地选择一定数量的过去的帧事件来减轻运动伪像和/或平均成像噪声的出现。
在另一实施方式中，该过程包括分析在一系列帧事件上相位延迟值的相移的时间序列以检测区域之内的对象移动。在该实施方式中，相位延迟值的阈值变化或相对于成像传感器的像素的相移指示在区域的与该像素相对应的一部分之内对象的距离的变化。
在一个实施方式中，该过程包括将当前帧事件下的相位延迟值的相移限定为先前帧事件的前一相移加上更新项。例如，为了计算从一个或多个对象到成像传感器的距离，该更新项指示从先前帧事件的时间到当前帧事件的时间的一个或多个对象的距离的变化。
在一个实施方式中，该过程还包括渡越时间技术，诸如测量从发射EM辐射到接收EM辐射的反射的时间以及基于所测量的时间来计算对象的距离。在各种实施方式中，该过程包括将图像或姿势信息输出给计算设备以用于输入控制等等。另外，该过程可以包括将成像信息（诸如检测到的对象的三维图像、距离、对象的跟踪坐标等等）输出给显示设备、被布置成处理该信息的另一系统等等。
在替换实施方式中，其它技术可以以各种组合被包括在该过程中，并且仍在本公开的范围之内。
结论
尽管已经以特定于结构特征和/或方法动作的语言描述了本公开的实施方式，但是要理解该实施方式不一定受限于所述的特定特征或动作。更确切地说，特定特征和动作被公开为实施示例设备和技术的代表性形式。

Claims (21)

1.一种用于自适应距离估计的装置，包括：
成像传感器，其被布置成在第一帧事件期间捕获区域中的一个或多个对象反射掉的光辐射；以及
处理部件，其被布置成：
为第一帧选择多个参考相位的集合中的参考相位的第一集合；
参考相位的第一集合包括多个参考相位；
基于参考相位的第一集合和光辐射来确定与第一帧相关联的相位延迟值的集合，
相位延迟值的集合中的每个相位延迟值确定了在第一帧期间捕获的光辐射相对于参考相位的第一集合中的对应参考相位的相移，
基于是否在预置持续时间之内在区域之内检测到对象移动来自适应地选择一定数量的一个或多个过去的帧事件，并且
基于与第一帧相关联的相位延迟值的集合连同在一个或多个过去的帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。
2.根据权利要求1所述的装置，其中所述处理部件被布置成根据算法为第一帧从多个参考相位的集合中选择参考相位的第一集合。
3.根据权利要求1所述的装置，其中所述处理部件被布置成使用在后续帧事件期间多个参考相位的集合中的参考相位的第二集合来计算从一个或多个对象到成像传感器的距离。
4.根据权利要求1所述的装置，其中所述处理部件被布置成基于在过去的帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。
5.根据权利要求1所述的装置，其中基于在预置持续时间之内在区域之内检测到的对象移动的速度来自适应地选择一个或多个过去的帧事件的数量，其中当在预置持续时间之内在区域之内检测到较快的对象移动时选择较少过去的帧事件，并且当在预置持续时间之内在区域之内检测到较慢的对象移动时选择更多过去的帧事件，对象移动检测取决于从至少一个像素获得的相位信息。
6.根据权利要求1所述的装置，其中所述处理部件被布置成基于在当前帧事件期间以及在一个或多个过去的帧事件期间捕获的光辐射的一个或多个相位延迟值的时间演变的分析来检测区域之内的对象移动。
7.根据权利要求1所述的装置，其中所述成像传感器包括多个像素设备，并且其中处理部件被布置成基于由像素设备捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的每个像素设备的距离。
8.根据权利要求1所述的装置，其中所述多个参考相位的集合中的参考相位的第一集合包括0度、120度和240度，并且所述多个参考相位的集合中的参考相位的第二集合包括180度、300度和60度。
9.根据权利要求1所述的装置，其中所述成像传感器被布置成在第一帧事件期间使用渡越时间原理来捕获区域的三维图像。
10.一种用于自适应距离估计的系统，包括：
照明模块，其被布置成发射光辐射以照明区域；
包括多个像素的传感器模块，其被布置成在第一帧事件期间捕获区域中的一个或多个对象反射掉之后的光辐射；以及
控制模块，其被布置成：
为第一帧选择多个参考相位的集合中的参考相位的第一集合；
参考相位的第一集合包括多个参考相位；
基于光辐射和参考相位的第一集合来确定与第一帧相关联的相位延迟值的集合，
相位延迟值的集合中的每个相位延迟值确定了在第一帧期间捕获的光辐射相对于参考相位的第一集合中的对应参考相位的相移，
基于关于所述像素指示的对象移动的速度和/或基于使运动伪像的出现最小化来在运行时间期间自适应地选择一定数量的一个或多个过去的帧事件，并且
基于与第一帧相关联的相位延迟值的集合连同在一个或多个过去的帧事件期间由像素捕获的光辐射的一个或多个相位延迟值来计算一个或多个对象与多个像素中的像素之间的距离。
11.根据权利要求10所述的系统，所述控制模块还被布置成根据算法从针对第一帧事件的多个交替的参考相位的集合中选择参考相位的第一集合，以及根据该算法从针对后续帧事件的多个交替参考相位的集合中选择参考相位的第二集合。
12.根据权利要求10所述的系统，其中每个参考相位的集合包括三个或更多等间隔的相角并且相位延迟值包括相对于每个参考相角的对应数量的相移。
13.一种用于自适应距离估计的方法，包括：
由成像传感器在第一帧事件期间捕获区域之内的一个或多个对象反射掉的光辐射；
为第一帧从多个参考相位的集合中选择参考相位的第一集合；
参考相位的第一集合包括多个参考相位；
基于参考相位的第一集合和光辐射来确定与第一帧相关联的相位延迟值的集合；
相位延迟值的集合中的每个相位延迟值确定了在第一帧期间捕获的光辐射相对于参考相位的第一集合中的对应参考相位的相移；
基于是否在预置持续时间之内在区域之内检测到对象移动来自适应地选择一定数量的一个或多个过去的帧事件，以及
基于与第一帧相关联的相位延迟值的集合连同在一个或多个过去的帧事件期间捕获的光辐射的一个或多个相位延迟值来计算从一个或多个对象到成像传感器的距离。
14.根据权利要求13所述的方法，还包括根据算法从针对每个后续帧事件的多个参考相位值的集合中选择后续的参考相位值的集合，确定在后续帧事件期间捕获的光辐射的与所选参考相位值的集合相对应的一个或多个相位延迟值，以及基于在后续帧事件期间捕获的光辐射的一个或多个对应相位延迟值来计算从一个或多个对象到成像传感器的距离。
15.根据权利要求13所述的方法，还包括计算从一个或多个对象到成像传感器的像素的距离，以及基于在运行时间期间在区域的与像素相对应的一部分之内检测到阈值对象移动来自适应地选择用于计算相对于像素的距离的一定数量的帧事件；以及当相对于像素没有检测到阈值对象移动时重新使用从一个或多个对象到像素的所述距离。
16.根据权利要求15所述的方法，还包括基于检测到的对象移动的速度来自适应地选择用于计算距离的帧事件的数量，包括当对象移动的速度减小时增加所选帧事件的数量，以及当对象移动的速度增加时减少所选帧事件的数量。
17.根据权利要求15所述的方法，其中针对计算相对于像素的距离而选择的帧事件是时间上非连续的。
18.根据权利要求13所述的方法，还包括基于在区域之内检测到的对象移动的速度，通过自适应地选择用于计算距离的一定数量的过去的帧事件来减轻运动伪像和/或平均成像噪声的出现。
19.根据权利要求13所述的方法，还包括分析在一系列帧事件上相位延迟值的相移的时间序列以检测区域之内的对象移动，相位延迟值相对于成像传感器的像素的阈值变化指示在区域的与该像素相对应的一部分之内对象距离的变化。
20.根据权利要求13所述的方法，还包括将第一帧事件处的相位延迟值的相移限定为先前帧事件的前一相移加上更新项，以便计算从一个或多个对象到成像传感器的距离，该更新项指示从先前帧事件的时间到第一帧事件的时间的一个或多个对象的距离的变化。
21.一种三维成像设备，包括：
成像传感器，其被布置成基于渡越时间原理来捕获区域的三维图像，该成像传感器包括被布置成在第一帧事件期间捕获区域中的对象反射掉的光辐射的多个像素；以及
处理部件，其被布置成：
为第一帧选择多个参考相位的集合中的参考相位的第一集合；
参考相位的第一集合包括多个参考相位；
基于参考相位的第一集合和光辐射来确定与第一帧相关联的相位延迟值的集合，
相位延迟值的集合中的每个相位延迟值确定了在第一帧期间捕获的光辐射相对于参考相位的第一集合中的对应参考相位的相移，
基于关于所述像素指示的对象移动的速度和/或基于使运动伪像的出现最小化来在运行时间期间自适应地选择一定数量的一个或多个过去的帧事件，并且
基于与第一帧相关联的相位延迟值的集合连同在一个或多个过去的帧事件期间由像素捕获的光辐射的一个或多个相位延迟值来计算从对象到多个像素中的各个像素的距离。
CN201410476605.8A 2013-09-18 2014-09-18 自适应距离估计 Active CN104459681B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/030,893 2013-09-18
US14/030,893 US10132626B2 (en) 2013-09-18 2013-09-18 Adaptive distance estimation
US14/030893 2013-09-18

Publications (2)

Publication Number Publication Date
CN104459681A CN104459681A (zh) 2015-03-25
CN104459681B true CN104459681B (zh) 2018-06-12

Family

ID=52580129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410476605.8A Active CN104459681B (zh) 2013-09-18 2014-09-18 自适应距离估计

Country Status (3)

Country Link
US (1) US10132626B2 (zh)
CN (1) CN104459681B (zh)
DE (1) DE102014113431A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709722B (zh) * 2017-04-04 2023-11-24 Pmd技术股份公司 飞行时间摄像机
US10353058B2 (en) * 2017-10-06 2019-07-16 Osram Opto Semiconductors Gmbh Signal processing unit and method for time of flight measurement
EP3796047A1 (en) * 2019-09-20 2021-03-24 Melexis Technologies NV Indirect time of flight range calculation apparatus and method of calculating a phase angle in accordance with an indirect time of flight range calculation technique

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
DE10349919A1 (de) * 2003-10-25 2005-05-25 Volkswagen Ag Messgerät für ein Kraftfahrzeug
JP3882083B2 (ja) * 2003-11-26 2007-02-14 国立大学法人岐阜大学 測距装置
US7476841B2 (en) * 2005-01-05 2009-01-13 Matsushita Electric Works, Ltd. Photodetector, spatial information detecting device using the photodetector, and photo detection method
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
EP1993436B1 (en) * 2006-03-14 2014-06-11 CardioMems, Inc. Communicating with an implanted wireless sensor
JP5295511B2 (ja) * 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
US8026843B2 (en) * 2008-01-31 2011-09-27 Infineon Technologies Ag Radar methods and systems using ramp sequences
CN101592477B (zh) * 2009-06-30 2011-07-20 长春理工大学 直角反射式三维激光扫描仪及用其实现立体成像的方法
WO2011154987A1 (ja) * 2010-06-07 2011-12-15 三菱電機株式会社 カメラ距離測定装置
KR20120007734A (ko) * 2010-07-15 2012-01-25 삼성전기주식회사 거리 측정 모듈 및 이를 포함하는 디스플레이 장치, 디스플레이 장치의 거리 측정 방법
DE102011078338A1 (de) 2011-06-29 2013-01-03 Ifm Electronic Gmbh Beleuchtung für eine Lichtlaufzeitkamera
US9094606B2 (en) * 2011-07-04 2015-07-28 Waikatolink Limited Motion compensation in range imaging
US9596398B2 (en) * 2011-09-02 2017-03-14 Microsoft Technology Licensing, Llc Automatic image capture
DE102012002922A1 (de) * 2012-02-14 2013-08-14 Audi Ag Time-Of-Flight-Kamera für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betrieb einer Time-Of-Flight-Kamera
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9110169B2 (en) * 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor

Also Published As

Publication number Publication date
US10132626B2 (en) 2018-11-20
DE102014113431A1 (de) 2015-03-19
US20150077542A1 (en) 2015-03-19
CN104459681A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN107204012B (zh) 降低飞行时间深度成像的功耗
US10810456B2 (en) Apparatus and methods for saliency detection based on color occurrence analysis
CN107466411B (zh) 二维红外深度感测
CN105190426B (zh) 飞行时间传感器装仓
CN106066987B (zh) Tof成像中的参数在线校准和补偿
US11308639B2 (en) Tool and method for annotating a human pose in 3D point cloud data
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
US10732726B2 (en) Gesture recognition using 3D MM-wave radar
KR101650799B1 (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US20180253856A1 (en) Multi-Spectrum Illumination-and-Sensor Module for Head Tracking, Gesture Recognition and Spatial Mapping
WO2017160516A1 (en) Depth from time-of-flight using machine learning
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
JP7337091B2 (ja) 飛行時間カメラの低減された出力動作
KR101362631B1 (ko) 머리 인식 방법
CN104459681B (zh) 自适应距离估计
WO2013120041A1 (en) Method and apparatus for 3d spatial localization and tracking of objects using active optical illumination and sensing
CN108572730B (zh) 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的系统和方法
KR20120026956A (ko) 동작 인식 장치 및 그 방법
CN110557193A (zh) 最大化飞行时间光学深度传感器在计算环境中的效率
Saroja et al. Human pose estimation approaches for human activity recognition
WO2021098666A1 (zh) 手部姿态检测方法和装置、及计算机存储介质
KR20240057297A (ko) 신경망 모델을 학습시키는 방법 및 전자 장치
Ahn et al. TOF Camera based 3D Fingertip Location Estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant