CN115210607A - 操作飞行时间相机的方法 - Google Patents

操作飞行时间相机的方法 Download PDF

Info

Publication number
CN115210607A
CN115210607A CN202180018395.6A CN202180018395A CN115210607A CN 115210607 A CN115210607 A CN 115210607A CN 202180018395 A CN202180018395 A CN 202180018395A CN 115210607 A CN115210607 A CN 115210607A
Authority
CN
China
Prior art keywords
camera
frequency
data
time
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018395.6A
Other languages
English (en)
Inventor
卡尔·亚历山大·利克福
李·文森特·斯特里特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WaikatoLink Ltd
Original Assignee
WaikatoLink Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WaikatoLink Ltd filed Critical WaikatoLink Ltd
Publication of CN115210607A publication Critical patent/CN115210607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Geometry (AREA)

Abstract

在一个方面，本发明提供了一种操作飞行时间相机的方法，该方法包括以下步骤：使用步进频率调制信号集捕获一系列飞行时间相机数据帧，以提供飞行时间相机数据集；然后完成该数据集的频谱分析，该频谱分析识别指示数据帧中表示的相机到对象的距离的频率值和相位值对。接下来，使用频率值确定到数据帧中表示的对象的估计的相机距离值，然后使用所估计的相机距离值和相位值确定经校正的相机距离值。然后提供相机输出，该相机输出识别数据集的数据帧中表示的至少一个对象的经校正的距离值。

Description

操作飞行时间相机的方法
技术领域
本发明涉及飞行时间相机以及操作该飞行时间相机的方法。在优选实施例中，本发明可以用于提供和操作步进频率连续波飞行时间相机，该相机可以在不需要使用计算密集型数据处理算法的情况下提供准确的距离测量。
背景技术
飞行时间相机系统能够根据从场景中的对象调制和反射的光中解析距离或深度信息。这些相机系统基于从所接收的反射光中提取的信息，计算场景中的对象的距离测量。
飞行时间相机实现方式的一种形式采用调幅连续波光传输-AMCW。在这些系统中，通过对已经用多个不同相位偏移调制的所接收的反射光进行测量来捕获单个图像的数据。这些不同的相位偏移值提供了可以被处理以解析特定目标对象与接收相机之间的距离的数据。这些系统相对容易实现，其中，所使用的信号在计算上易于处理。在PCT公布No.WO2004/090568公布的专利说明书中公开了这种类型的AMCW飞行时间距离成像技术的示例。
飞行时间相机的替代形式采用步进频率连续波光传输-SFCW。在该实现方式中，通过对已经用多个不同频率调制的所接收的反射光进行测量来捕获单个图像的数据。再次，以规则量改变频率的周期性调制信号的使用提供可以被处理以解析特定目标对象与接收相机传感器之间的距离的数据。该传感器数据的频谱分析提供了指示从传感器到被调查场景中的反射对象的距离的频率信息。
SFCW技术可以用作AMCW系统的替代方案，在具体应用中，可以通过在‘模糊距离’处或‘模糊距离’后的相位缠绕(phase wrapping)来缓解AMCW系统中遇到的问题。这个问题由使用相位信息来确定距离信息的AMCW技术，以及无法区分由所使用的调制频率的波长的倍数分隔的对象的距离造成。
相反地，SFCW系统的可解析距离由应用于所使用的调制信号的频率步进的数量和大小决定，最终由在相机中使用的传感器的带宽确定。因此，这些相机系统不会混淆相机视场中的对象距离，并且可以在特定距离内提供准确的距离信息。
然而，可以从SFCW相机系统所利用的基于频率的结果中得出的距离信息的准确性存在局限性。由于所使用的高频信号和涉及捕获测量的短采集时间，这些SFCW相机通常需要采用附加的数据处理技术。例如，常见的是，将零填充频谱插值技术与这些类型的相机组合地实现，以将附加的零信号结果添加至测量数据，以便在经受稍后的频谱分析时延长数据跨越的有效时间段。该插值过程在频谱分析期间导致较大数量的可解析频率，代价是显著增加需要处理的数据集的大小。因此增加了所获得的结果的准确性，但代价是处理大得多的数据集来识别对象距离信息。
在步进频率连续波飞行时间相机系统的领域内进行改进将是有利的，其对现有技术进行了改进或者提供了对现有技术的替代选择。特别地，具有可以在不使用计算密集型数据处理算法(诸如，零填充频谱插值技术)的情况下提供准确的距离信息的步进频率连续波飞行时间相机将是有利的。
发明内容
根据本发明的一个方面，提供了一种飞行时间相机，所述飞行时间相机包括：
信号生成器，该信号生成器被配置为生成源调制信号并通过偏移频率的至少一个倍数修改该源调制信号的频率；
相机光源，该相机光源被配置为发射通过由信号生成器生成的调制信号调制的光；
相机传感器，该相机传感器被配置为根据接收的反射光捕获飞行时间相机数据帧；
处理器，该处理器被配置为根据所捕获的飞行时间数据帧来编译数据集以及：
·完成对所接收的数据集的频谱分析，频谱分析识别指示数据帧中表示的相机到对象的距离的频率值和相位值对，
·使用频率值确定到数据帧中表示的对象的估计的相机距离值，
·使用所估计的相机距离值和相位值，确定经校正的相机距离值，以及
·提供相机输出，该相机输出识别数据集的数据帧中表示的对象的经校正的距离值。
根据本发明的其他方面，提供了一种基本上如上所述的飞行时间相机，其中，该处理器包括用于执行以下附加初步步骤的指令：向所捕获的数据集的帧应用校准或在该数据集的捕获期间应用校准，使得频谱分析的结果在插值到零频率值时产生零相位值。
根据本发明的另一方面，提供了一种基本上如上所述的飞行时间相机，其中，所应用的校准指定要应用于与用于捕获数据帧的每个调制频率相关联的相位值的旋转。
根据本发明的其他方面，提供了一种基本上如上所述的飞行时间相机，其中，处理器包括用于执行以下附加初步步骤的指令：对相机数据集的数据帧进行排序，以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为所捕获的数据集的第一数据帧。
根据本发明的另一方面，提供了一种基本上如上所述的飞行时间相机，其中，信号生成器通过减去偏移频率的至少一个倍数来修改源调制信号的频率，以提供更新的步进调制信号。
一种用于飞行时间相机的处理器的计算机可执行指令集，所述指令执行以下步骤：
·使用步进频率调制信号集捕获一系列飞行时间相机数据帧，以提供飞行时间相机数据集；
·完成数据集的频谱分析，频谱分析识别指示数据帧中表示的相机到对象的距离的频率值和相位值对；
·使用频率值确定到数据帧中表示的对象的估计的相机距离值；
·使用所估计的相机距离值和相位值，确定经校正的相机距离值；以及
·提供相机输出，该相机输出识别数据集的数据帧中表示的至少一个对象的经校正的距离值。
一种操作飞行时间相机的方法，包括以下步骤：
·使用步进频率调制信号集捕获一系列飞行时间相机数据帧，以提供飞行时间相机数据集；
·完成数据集的频谱分析，频谱分析识别指示数据帧中表示的相机到对象的距离的频率值和相位值对；
·使用频率值确定到数据帧中表示的对象的估计的相机距离值；
·使用所估计的相机距离值和相位值，确定经校正的相机距离值；以及
·提供相机输出，该相机输出识别数据集的数据帧中表示的至少一个对象的经校正的距离值。
根据本发明的一个方面，提供了一种操作飞行时间相机的方法，其特征在于，如下步骤：
i.使用步进频率调制信号集捕获一系列飞行时间相机数据帧以提供飞行时间相机数据集，所述捕获的数据帧在相机数据集中被排序以将使用以最高频率调制信号调制的光捕获的相机数据帧呈现为相机数据集的第一数据帧；以及
ii.处理数据集以确定将光反射到相机传感器的对象的距离信息。
根据本发明的其他方面，提供了一种操作飞行时间相机的方法，其特征在于，如下步骤：
1.生成源调制信号；
2.从相机光源发射由源调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由源调制信号调制的反射光照亮；
3.通过偏移频率值修改源调制信号的频率；
4.从相机光源发射由步进调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由步进调制信号调制的反射光照亮；
5.通过偏移频率值修改步进调制信号的频率，以生成更新的步进调制信号；
6.从相机光源发射由所更新的步进调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由所更新的步进调制信号调制的反射光照亮；
7.重复步骤e和f以生成进一步更新的步进调制信号，以及使用所述更新的调制信号捕获飞行时间相机数据帧以提供飞行时间相机数据集；
8.将相机数据集的相机数据帧排序，以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧；以及
9.处理数据集以确定将光反射到相机传感器的对象的距离信息。
根据本发明的另一方面，提供了一种操作飞行时间相机的方法，其特征在于，如下步骤：
a)生成源调制信号；
b)从相机光源发射由源调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由源调制信号调制的反射光照亮；
c)通过偏移频率值将源调制信号的频率减小，以提供步进调制信号；
d)从相机光源发射由步进调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由步进调制信号调制的反射光照亮；
e)通过偏移频率值将步进调制信号的频率减小，以生成更新的步进调制信号；
f)从相机光源发射由所更新的步进调制信号调制的光，以及捕获来自相机传感器的飞行时间相机数据帧，该相机传感器用由所更新的步进调制信号调制的反射光照亮；
g)重复步骤e和f以生成进一步较低频率步进调制信号，以及使用所述更新的调制信号捕获飞行时间相机数据帧以提供飞行时间相机数据集；
h)处理数据集以确定使用将光反射到相机传感器的对象的信息的距离。
根据本发明的其他方面，提供了一种基本上如上所述的操作飞行时间相机的方法，其中，当调制信号的频率被偏移频率值修改时，调制信号的相位被偏移相位值修改，通过执行频谱分析以识别指示将光反射至相机传感器的对象的距离信息的频率值来处理数据集，忽略落在噪声偏移频带内的频率值。
根据本发明的另一方面，提供了一种飞行时间相机，包括：
信号生成器，该信号生成器被配置为生成源调制信号并通过偏移频率的至少一个倍数来修改源调制信号的频率；
相机光源，该相机光源被配置为发射通过由信号生成器生成的调制信号调制的光；
相机传感器，该相机传感器被配置为根据接收的反射光捕获飞行时间相机数据；
处理器，该处理器被配置为根据所捕获的飞行时间数据帧来编译数据集，并处理所述数据集以确定将光反射到相机传感器的对象的距离信息，其中，所编译的数据集被排序以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧。
根据本发明的又另一方面，提供了一种计算机可读介质，其包含被布置为操作飞行时间相机的计算机可执行指令的程序，该指令的程序包括：
生成源调制信号的至少一个指令；
从相机光源发射由源调制信号调制的光、以及捕获来自相机传感器的飞行时间相机数据帧的至少一个指令，该相机传感器用由源调制信号调制的反射光照亮；
通过偏移频率值修改源调制信号的频率以生成步进调制信号的至少一个指令；
从相机光源发射由步进调制信号调制的光、以及捕获来自相机传感器的飞行时间相机数据帧的至少一个指令，该相机传感器用由步进调制信号调制的反射光照亮；
通过偏移频率值修改步进调制信号的频率以生成更新的步进调制信号的至少一个指令；
从相机光源发射由所更新的步进调制信号调制的光、以及捕获来自相机传感器的飞行时间相机数据帧的至少一个指令，该相机传感器用由所更新的步进调制信号调制的反射光照亮；
生成一个或更多个进一步更新的步进调制信号、以及使用所述更新的调制信号捕获一个或更多个进一步飞行时间相机数据帧以编译飞行时间相机数据集的至少一个指令，飞行时间相机数据集被排序以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧；以及
处理数据集以确定将光反射到相机传感器的对象的距离信息的至少一个指令。
本发明的各个方面能够提供一种飞行时间相机、一种操作这种相机的方法、和/或被配置为操作飞行时间相机的计算机可执行指令的程序。贯穿本说明书，通常主要参考提供一种操作飞行时间相机的方法的本发明，而本领域的技术人员应当理解，这决不应被视为限制性的。在各个方面，本发明可以通过结合信号生成器、相机光源、相机传感器和处理器的飞行时间相机来实现-该处理器优选地编程有实现下面讨论的操作方法的可执行指令。
本领域的技术人员还应理解，用于形成该飞行时间相机的部件或硬件可以从现有的现有技术飞行时间相机中抽取或由现有的现有技术飞行时间相机提供。此类现有相机可以容易地被修改或被配置为生成并修改调制信号以发射调制光，并且还使用现有相机信号生成器、光源、传感器和处理器的形式来捕获和处理相机数据帧。
此外，对包括单个处理器的本发明的任何引用都应当被理解为涵盖使用分布式处理器网络、或替代地被配置为提供识别经校正的距离值的相机输出的边缘设备。
本发明被布置为提供一种相机输出，该相机输出识别数据集的数据帧中表示的至少一个对象的经校正的距离值。本领域技术人员将理解，该相机输出可以根据相机所使用的应用以多种不同的方式格式化。在一些实施例中，图像可以呈现为相机输出，其中，此图像的各个像素的颜色指示相机的视场中的对象的位置和经校正的距离值。在其他实施例中，相机输出可以采用布尔变量的形式，布尔变量可以指示在距相机的一个或更多个距离值处存在或不存在对象。在其他实施例中，相机输出可以被提供给机器视觉系统，其中所递送的格式和内容将由接收系统的要求来确定。
本发明提供了对多个飞行时间相机数据帧的捕获和处理，这些飞行时间相机数据帧被编译在一起以定义飞行时间相机数据集。
使用由相机光源采用的调制信号捕获每个相机数据帧。该光源使用该调制信号来调制朝向对象发射的光，这使对象到相机的距离被测量。然后，调制的光从这些对象朝向飞行时间相机传感器反射并反射到飞行时间相机传感器上。
本发明针对被编译成整个相机数据集的每个捕获的数据帧利用不同的调制信号。这些调制信号提供了步进频率调制信号集，这些步进频率调制信号均通过加上或减去偏移频率值的倍数而彼此不同。因此，该偏移频率值限定了所使用的调制信号集的成员之间的频率的步进变化。
例如，可以使用可以设置基线或初始信号的源调制信号来捕获一个数据帧。对于每个后续捕获的数据帧，所使用的调制信号可以由用于生成先前捕获的数据帧的调制信号和/或源调制信号的修改版本形成。在一些实施例中，可以使用由源调制信号调制的光来捕获第一数据帧。然后，可以使用步进调制信号来捕获第二数据帧，该步进调制信号是源调制信号的修改版本。然后，可以使用又一调制信号来捕获第三数据帧，该调制信号优选地是步进调制信号的更新形式，该调制信号本身是原始源调制信号的修改版本。本领域技术人员应当理解，可以针对用于形成由飞行时间相机处理的数据集的所需帧数来生成更新的步进调制信号。
如以上所指示的，可以通过使用偏移频率值修改信号的频率来修改先前使用的调制信号以捕获新的数据帧。在许多实施例中，在每次修改调制信号时，偏移频率值可以保持恒定，因此当针对单个相机数据集捕获相机数据帧时线性地增加或减小调制信号频率。
在一些实施例中，如以下进一步讨论的，可以在调制信号的生成期间应用先前导出的校准，其中这种校准可以帮助本发明提供经校正的距离值。
优选地，可以通过执行频谱分析以识别指示将光反射到相机传感器上的对象的距离信息的频率值，来处理所捕获和编译的相机数据集。例如，在一些实施例中，可以将傅里叶变换应用于数据集的相机数据帧，其中经变换的数据提供频域中的信息。来自经变换的数据集的该信息可以识别除了相位值之外的频率值，该信息表示距相机系统的特定距离。该频率值可以与距相机的对应距离或距离值直接相关，而相关联的相位值可以提供对由频率值指示的距离的进一步更精确的距离偏移或校正。因此，该频谱分析过程可以用于首先识别将光反射到相机的对象的距离的特定频率值，然后使用与所识别的频率值相关联的相位信息更精确地细化这些距离值。
优选地，可以通过根据与特定频率值相关联的频谱强度峰值初始地识别在该相机的视场中存在对象，来从该频谱分析的结果中提取所估计的距离值。该特定频率值可用以确定估计距离值。
在各种实施例中，频率值可以由本发明完成的频谱分析结果内的索引值表示或识别。索引值可以识别特定频率在频谱中所处的位置，其中最低频率被视为具有索引值1，最高频率被视为具有所使用的最高索引值。
然后，可以使用相机的距离分辨率根据所识别的频率和/或索引值计算估计的距离值—这是各个相邻频率跨越的距离。距离分辨率可以由下式表示：
Figure BDA0003828041220000081
其中，c是光速，B是相机用作调制信号的频率的带宽。
在特定频率识别索引值(i)的实施例中，根据以下表达式，可以通过将此索引值乘以相机距离分辨率来确定估计的相机距离值：
Figure BDA0003828041220000082
在其他实施例中，等效计算可以使用从使用以下表达式的频谱分析结果中提取的感兴趣的频率峰值ωest来确定估计的距离值：
Figure BDA0003828041220000083
在各种实施例中，使用作用于所计算的估计的距离值的函数并且加上或减去由以下表达式给出的校正变量来计算经校正的距离值：
Figure BDA0003828041220000084
在该表达式中，c是光速，B是相机用作调制信号的频率的带宽，以及Δf是偏移频率值。变量K是取决于相机如何被配置为捕获数据帧而设置的比例因子。当数据集的数据帧从最小调制频率到最大调制频率被排序并且包括零频率测量时，导出的频谱相位和距离相位覆盖相同的带宽，这导致K＝0。可替代地，数据集帧可以从该最大值调制频率到该最小调制频率被排序，其中不包括零频率测量，导出的频谱相位和距离相位不再覆盖相同的带宽，当该最小调制频率是Δf时，我们具有K＝2。所属领域的技术人员还将理解，还可使用其他相机操作配置，但增加K的值减小可以应用于所估计的距离的最大校正。
在相机首先处理以最低调制频率捕获的帧排序的数据集的实施例中，该表达式被加到所估计的距离值以提供经校正的距离值。相反，如果首先以最高调制频率捕获的帧对数据集排序，则应当减去该校正变量。
在一些实施例中，还可以通过在每次修改调制频率时加上偏移相位值来修改源调制频率的相位。在另一些变型中，可以通过在每次修改调制频率时减去该偏移相位值来修改源调制频率的相位。在这样的实施例中，落入噪声偏移频带内的频率值可以被忽略和无效，以防止它们相关的经校正的距离值被呈现为相机输出。所应用的相移导致从将光反射到相机的对象的返回的信号与源自噪声偏移频带内存在的噪声的信号发生频移。这样，可以保留有效的对象返回信息，同时可以忽略非对象噪声返回。
在捕获数据集之前，可以用相机完成校准程序。这样的校准程序可以例如利用在已知距离处放置在相机的视场中的标准对象阵列。由该相机在这个过程期间记录的数据帧然后可以用于准备校准。可以利用这种校准，使得一旦已经使用校准的帧完成频谱分析，与0Hz的频率值相关联的频率、相位对就将具有0度的相位值。在其他实施例中，每对的相位值还可以随频率线性变化。
优选地，准备与本发明一起使用的校准可以限定要应用于与用作调制信号的特定频率相关联的相位值的旋转。在各种实施例中，该校准可以例如实施为将相位旋转值与特定调制频率值相关的查找表。
优选地，准备与本发明一起使用的校准可以通过使用单个调制频率捕获数据帧的若干集合来生成，但是其中该调制频率对于每个帧具有不同的相位值。对于所使用的所选调制频率，可以编译帧集合以生成具有角度的复相量，该角度指示相机在所选调制频率处的相位响应。可以在这种校准的准备中捕获多个数据帧集合，每个集合是用于要用于捕获相机数据集的调制频率。此外，在各种实施例中，每个调制频率用于捕获数据帧集合的排序可以与这些调制频率用于捕获数据集的排序相同，或者在经历频谱分析之前对数据集的帧进行排序。
因此，该校准过程将为要使用的每个调制频率产生复相量角，并且可以完成曲线拟合过程以导出要应用于与特定频率相关联的每个相位值的旋转。该曲线拟合过程可以比较所测量的复相量角与满足校准所需结果的理想相位响应所预期的角之间的差异。因此，该比较将产生需要在特定调制频率处应用的相位旋转值，这将产生与0Hz的频率值相关联的频率、相位对，在根据所获得的频谱分析结果插值时与0Hz的频率值相关联的频率、相位对具有0度的相位值。在其他实施例中，每对的相位值也可以被旋转，使得它们随频率线性变化。
在不同实施例中还可以若干方式部署或使用校准。例如，在一些实施例中，校准可以用于修改将用于捕获数据帧的特定频率的调制信号的相位。以此方式，本发明在捕获数据集期间应用校准。
在其他实施例中，校准可以在软件程序中实现，其中预处理算法应用于捕获的数据集。在这样的实施例中，所捕获的帧的数据集可以包括：以相同调制频率但应用不同相位值捕获的多个帧。然后，可以组合以相同频率捕获的帧的集合，以提供复杂的配对的幅度和相位信息。然后，被提供用于与本发明一起使用的校准可以将所识别的旋转应用于所使用的调制频率的相位信息，并且所得到的数据帧然后可以用于由本发明使用的频谱分析中。
在其他优选的实施例中，以上提及的校准程序还可以集成关于所捕获的数据集的窗函数。窗函数可以被定制以便为紧密干扰的返回或者为稀疏干扰的返回提供更好的性能。当存在被相机的距离分辨率充分分隔的多个干扰时，汉宁(Hanning)窗的应用提供了优异的性能。
在一些实施例中，本发明被布置以对该相机数据集中所捕获的数据帧进行排序，以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为该相机数据集的第一数据帧。因此，根据该实施例编译的相机数据集将总是以该最大调制频率帧开始，其中集的剩余帧用较低调制频率捕获。在其他优选的实施例中，集成到该数据集中的每个连续帧可以由使用下一个最高频率调制信号捕获的帧提供，其中，数据集的最后一帧是用最低频率调制信号捕获的帧。
在不同的实施例中，可以以不同的方式进行基于调制频率的数据集的帧的这种排序或定序。
例如，在一个实施例中，数据帧采集过程可以确保所使用的调制信号的频率对于正被捕获的每个连续帧都减小。在这样的实施例中，初始或源调制频率可以用于开始数据帧采集过程，该源调制频率是所使用的最高调制频率。然后，可以从源调制频率中减去步进频率值，以提供用于捕获数据帧的下一个调制信号的频率，其中当捕获每个帧时，通过该步进频率值再次减小调制信号的频率。因此，通过这种方法，所捕获的数据帧可以按它们被生成的顺序被编译为数据集，从而消除了对数据集进行重新排序过程的任何需要。
在这类实施例的其他优选形式中，还可以通过在每次减小调制频率时加上偏移相位值来修改源调制频率的相位。在另一些变型中，可以通过在每次减小调制频率时减去该偏移相位值来修改源调制频率的相位。
可替代地，在其他实施例中，用于捕获每个数据帧的调制信号的频率不需要随着每个捕获的帧而连续地减小。在这种实施例中，(例如)可以使用随着捕获每个连续帧而增加步进频率值的调制信号、或者使用以任何期望的顺序或序列利用步进频率调制信号集来捕获数据帧。在其他优选的实施例中，使用步进频率值的调制信号的频率的每次变化还可以伴随有使用偏移相位值的调制信号的相位的变化。在这类实施例中捕获的数据帧然后可以通过使用排序过程被编译为数据集，所述排序过程基于用于捕获每个帧的调制信号的频率将帧分类到数据集中。因此该排序过程可以用于将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧。
在本发明的其他实施例中，可以在已经处理相机数据帧之后对所捕获的相机数据集进行附加处理以确定距离信息。
例如，在一个实施例中，可以在已经确定经校正的距离信息之后并且在已经提供相机输出之前由该处理器完成附加谐波错误(error)无效步骤。在这种实施例中，可以通过与已知谐波错误伪影进行比较来验证经校正的相机距离值，该已知谐波错误伪影作为在距相机的已知距离内的对象存在。可以使这些距离值处的经校正的距离值无效，并从要提供的相机输出中移除。
在其他实施例中，此附加处理可能涉及对数据集内的数据帧进行重新排序，以将使用以最低频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧。
本领域的技术人员将认识到，可以使用任何期望的调制频率的排列、顺序或布置来捕获数据帧，然后后续在所得数据集中重新排序以便以定期增大或减小的调制频率对捕获的帧进行排序。
在又其他实施例中，可以选择存在于原始数据集内的数据帧的一系列子集或所选子集用于附加处理。
可以优选地通过执行频谱分析以识别指示将光反射到相机传感器上的对象的距离信息的频率值，来完成对重新排序的数据集或原始数据集的所选子集的这种附加处理。该附加频谱分析可潜在地允许在相机捕获数据帧时识别对象中的移动、错误检查原始生成的距离信息的一致性、和/或提高所捕获数据帧的信噪比。
本发明可以提供优于现有技术的潜在优点。特别地，本发明可以提供关于现有技术的步进频率连续波飞行时间相机系统的改进，提供需要使用零填充频谱插值过程的现有技术的替代方案。在各种实施例中，本发明可以被配置为提供相对准确的结果，而无需生成和处理由零填充过程生成的显著放大的相机数据集。这进而导致计算效率，允许本发明实现具有廉价处理部件的相对低成本的SFCW飞行时间相机或能以高速操作的等效相机。
在各个附加的实施例中，本发明还可以利用调制信号的频率变化伴随相同调制信号的相位变化。此方法可以允许减少所得的捕获的数据帧中的错误或噪声。
还可以对根据本发明提供的经适当排序或重新排序的数据集进行附加的处理步骤。在已经采取初始处理步骤来确定距离信息之后，可以对数据集进行重新排序或者可以选择原始数据集的子集用于进一步的频谱分析处理。该附加处理可以用于识别运动对象、一致性检查正在生成的距离信息和/或提供信噪比改进。
本领域技术人员还将认识到，以上关于本发明描述的方法、装置和指令集也可以与现有的现有技术飞行时间相机技术组合。例如，在一些情况下，可以使用本发明结合移频连续波和调幅连续波数据采集过程来实现混合相机系统。
附图说明
参照附图，根据以下仅以示例的方式给出的实施例的描述，本发明的附加和其他方面对于读者而言将是显而易见的，在附图中：
·图1示出了根据本发明的一个实施例提供的飞行时间相机的部件的示意性框图；
·图2示出了根据一个实施例提供的被布置为操作图1的飞行时间相机的计算机可执行指令的程序的流程图；
·图3示出了根据关于图2所描述的替代实施例提供的被布置为操作图1的飞行时间相机的计算机可执行指令的程序的流程图；
·图4示出了在由使用关于图3所示的可执行指令编程的飞行时间相机捕获一系列相机数据帧期间所记录的单个像素原始幅值的曲线图；
·图5a、图5b示出了在应用校准之前本发明所使用的调制信号的相位与频率的比较曲线图、以及在应用校准之后本发明所使用的调制信号的相位与频率的比较曲线图；
·图6a、图6b示出了在应用也实现汉宁窗函数以减小频谱泄漏噪声的校准之前帧数据的幅度与调制频率的比较曲线图、以及在应用也实现汉宁窗函数以减小频谱泄漏噪声的校准之后帧数据的幅度与调制频率的比较曲线图；
·图7a、图7b示出了用现有技术获得的频谱分析和对象距离结果的比较曲线图、以及在一个实施例中用本发明获得的频谱分析和对象距离结果的比较曲线图；以及
·图8a、图8b示出了用现有技术获得的频谱分析和对象距离结果的比较曲线图、以及在用关于图6b所示的汉宁窗函数的其他实施例中使用本发明获得的频谱分析和对象距离结果的比较曲线图。
本发明的其他方面将根据以下仅通过具体实施例的示例给出的本发明的说明变得显而易见。
具体实施方式
图1示出了根据本发明的一个实施例提供的飞行时间相机1的部件的示意性框图。相机1包含与现有技术步进频连续波飞行时间相机所使用的部件相同的部件，包括：信号生成振荡器2、光源3、光传感器4和处理器5。如关于图2进一步描述的，处理器5被编程有可执行指令集，可执行指令集控制剩余部件中的每个的操作。
图2示出了该操作方法的第一步骤A，其中信号振荡器生成源调制信号。然后执行步骤B，其中光源发射由源调制信号调制的光，光传感器捕获相机数据帧。
在步骤C处，执行指令以通过减去频率偏移值来修改源调制信号，从而提供步进调制信号。
然后执行步骤D，其中，光源发射由在步骤C生成的调制信号调制的光，其中，光传感器捕获另一相机数据帧。
在步骤E处，当与完整的飞行时间相机数据集所需要的数据帧数进行比较时，对迄今为止所捕获的数据帧数进行评估。如果数据集不完整，则过程返回到步骤C，在该步骤C中通过减去频率偏移值来修改最后使用的调制信号的频率。
一旦已经捕获了完整的数据集，则完成步骤F以对所捕获的数据帧执行频谱变换。在所示的实施例中，使用傅立叶变换执行频谱变换。
最后，在步骤G处，分析数据集中存在的值以识别与将光反射至相机传感器的对象相关联的特定频率值和相位值。识别与对象到相机的距离相关的频率值，以及与对象相关联的相位值用于校正或细化由相机为对象提供的距离值。
在该实施例中，通过识别与特定频率、相位配对值相关联的频谱分析结果中的强度峰值来计算对象的估计距离。对于特定的强度峰值ωest，根据以下表达式计算估计的距离：
Figure BDA0003828041220000141
一旦已经计算出这个估计的距离，就在步骤G使用以下表达式计算经校正的距离：
Figure BDA0003828041220000142
然后，可以提供该经校正的距离值作为相机输出以完成步骤G并且终止本实施例的操作方法。在该实施例中，图像被呈现为相机输出，其中，该图像的各个像素的颜色指示相机的视场中的对象的位置和经校正的距离值。
图3示出了计算机可执行指令的替代程序的流程图，该计算机可执行指令还可以被布置为操作图1的飞行时间相机。
再次，执行该操作方法的第一步骤A，以操作信号振荡器来生成源调制信号。使用校准来生成该调制信号，该校准对信号的相位进行调整，使得频谱分析的结果在插值到零频率值时产生零相位值。在该实施例中，应用的校准指定要应用于与用于捕获数据帧的每个调制频率相关联的相位值的旋转。
在各个附加的实施例中，这种校准还可以用于确保该调制信号的相位相对于该调制信号的频率线性地变化。附加实施例除了如上所述对调制信号的相位进行调整之外，还可以利用该校准来实现窗函数。
然后，执行步骤B，其中光源发射由源调制信号调制的光，以及光传感器捕获相机数据帧。在该实施例中，所捕获的相机数据帧作为输入提供给由相机处理器实现的‘先进后出’或FILO缓冲器存储器结构。
在步骤C处，执行指令以通过加上频率偏移值来修改源调制信号，从而提供步进调制信号。再次使用关于步骤A的相同校准用来调整所得步进调制信号的相位。
然后执行步骤D，其中，光源发射由在步骤C生成的调制信号调制的光，其中，光传感器捕获另一个相机数据帧。再次，所捕获的数据帧作为下一个输入被提供给上述FILO缓冲器。
在步骤E处，当与完整的飞行时间相机数据集所需要的数据帧数进行比较时，对迄今为止所捕获的数据帧数进行评估。如果数据集不完整，则过程返回步骤C，在该步骤C中通过加上频率偏移值来修改最后使用的调制信号的频率。
在步骤F处，完成排序过程以将所捕获的全部数据帧集编译成简单数据集。在该实施例中，FILO缓冲器的内容被读出，由此在根据本发明提供的序列中对所存储的数据帧进行重新排序。
一旦已经编译了完整的正确排序的数据集，就完成步骤G以执行频谱变换。在所示的实施例中，使用傅立叶变换执行频谱变换。
最后，在步骤H处，分析数据集中存在的值以识别与将光反射至相机传感器的对象相关联的特定频率值和相位值。再次，识别与对象到相机的距离相关的频率值，与其相关联的相位值用于校正或细化由相机为对象提供的距离值。在这种实施例中，步骤H执行与关于图2的步骤G所讨论的过程类似的过程。具体地，通过识别与特定频率、相位配对值相关联的频谱分析结果中的强度峰值来计算对象的估计距离。对于在频率处的特定强度峰值ωest，根据以下表达式计算估计的距离：
Figure BDA0003828041220000151
一旦已经计算出这个估计的距离，就在步骤H使用以下表达式计算经校正的距离：
Figure BDA0003828041220000152
然后，可以提供该经校正的距离值作为相机输出以完成步骤H并且终止本实施例的操作方法。在该实施例中，相机输出被提供给机器视觉系统，其中所递送的格式和内容由接收系统的要求确定。
图4示出了在由使用关于图3所示的可执行指令编程的飞行时间相机捕获一系列相机数据帧期间所记录的单个像素原始幅值的曲线图。该曲线图示出了如何使用5MHz的步进频率值捕获29个相机数据帧。所使用的调制频率开始于10MHz，最后一数据帧以150MHz的调制频率被捕获。
当调制频率增加时，随着时间推移捕获原始幅值，图4示出了具有限定频率的清晰振荡信号。该数据的频谱分析将识别在该振荡信号的频率处的功率峰值，其中该频率与将光反射到相机传感器上的对象的距离相关。
使用关于图3描述的操作方法，将相机数据集从原始帧动作的曲线图编译成所示的值，其中，数据集的第一元素是用150Mhz的调制频率捕获的测量结果。集成到数据集中的下一帧是在145MHz处捕获的测量结果，集成到数据集中的最后一帧是在10MHz处捕获的测量结果。
图5a、图5b示出了在应用校准之前本发明所使用的调制信号的相位对频率的比较曲线图、以及在应用校准之后本发明所使用的调制信号的相位对频率的比较曲线图。
从图5a可以看出，由虚线数据点指示的实际相位值在实线上方和下方循环，从而识别对调制频率的线性响应。具有频率的相位响应也被偏移，使得在0Hz调制频率处存在非零相位。
图5b示出了根据本发明的各种实施例所应用的校准的结果。在该实施例中，调制信号的相位被调整为随频率线性变化。关于图5a所示的偏移也已经被移除，从而使得在0Hz调制频率处产生零相位值。
图6a、图6b示出了在应用也实现汉宁窗函数以减小频谱泄漏噪声的校准之前帧数据的幅度与调制频率的比较曲线图、以及在应用也实现汉宁窗函数以减小频谱泄漏噪声的校准之后帧数据的幅度与调制频率的比较曲线图。在所示实施例中，已经捕获了足够的数据帧，以允许该数据被格式化为实数(X数据点)和虚数(虚线数据点)的组合。
从图6a可以看出，没有对从这些帧获得的幅度结果施加限制。图6b示出了在与关于图5b讨论的校准等效的校准中，汉宁窗函数的应用。从图6b可以看出，幅值被缩放成位于该曲线图的最上部区域处所示的实曲线下方。为了减少频谱泄漏噪声，当接近所使用的最小和最大调制频率时，通过窗函数衰减幅值。
图7a、图7b示出了用现有技术获得的频谱分析和对象距离结果的比较曲线图、以及在一个实施例中用本发明获得的频谱分析和对象距离结果的比较曲线图。为了方便起见，根据所示的两个曲线图的频率值推导出以米为单位的目标的距离。每个曲线图还识别相机的视场中的对象在2.5m的距离处的校正实际距离。
图7a示出了用现有技术获得的结果，其中估计的距离值仅是单独地使用频率信息来获得和确定的。从这个图中可以看出，从第3和第4数据点峰值获得了模糊的距离结果。因此，该现有技术实现了分别识别2m和3m处都存在的两个可能的对象。
图7b示出了由本发明在一个实施例中获得的结果，其中，图7a所示的估计的距离值与相位信息结合使用，以产生示出为第3数据点的经校正的距离值。在所示的实施例中，应用于估计的距离值的该基于相位的校正将图7a的两个相邻的模糊峰值组合成单个准确的2.5m经校正的距离值。
图8a、图8b示出了用现有技术获得的频谱分析和对象距离结果的比较曲线图、以及在用关于图6b所示的汉宁窗函数的其他实施例中使用本发明获得的频谱分析和对象距离结果的比较曲线图。图8a和图8b还示出了与图7a、图7b的曲线图相同的情况，其中，相机的视场中的对象在2.5m处。
类似于图7a和图7b，在所示的实施例中，与图8a在2m和3m处的两个模糊的峰值相比，本发明的使用导致图8b在2.5m处提供单个明确的峰值。这些图还示出了使用关于图6b讨论的汉宁窗函数的结果。从图7a、图7b的比较可以看出，在较大距离处示出的现有噪声峰值由于窗函数减小频谱泄漏效应而被衰减。
在前述说明书和以下权利要求中，词语“包括”或其等效变型是以包容性意义来使用的以指出所陈述的一个或更多个特征的存在。该术语不排除各种实施例中的其他特征的存在或添加。
应当理解的是，本发明并不限于本文描述的实施例，根据参考附图所示的示例，在本发明的精神和范围之内的另外的和附加的实施例对于普通技术人员而言将是显而易见的。具体地，本发明可以存在于本文描述的特征的任何组合，或者可以存在于具有给定特征的已知等效物的替代实施例或这些特征的组合。以上讨论的本发明的示例实施例的修改和变型对于本领域技术人员而言将是显而易见的，并且可以在不脱离如在所附权利要求中限定的本发明的范围的情况下进行。

Claims (19)

1.一种飞行时间相机，包括：
信号生成器，所述信号生成器被配置为生成源调制信号，以及通过偏移频率的至少一个倍数修改所述源调制信号的频率；
相机光源，所述相机光源被配置为发射通过由所述信号生成器生成的调制信号调制的光；
相机传感器，所述相机传感器被配置为根据接收的反射光捕获飞行时间相机数据帧；
处理器，所述处理器被配置为根据所捕获的飞行时间数据帧来编译数据集以及：
完成对所接收的数据集的频谱分析，所述频谱分析识别指示所述数据帧中表示的相机到对象的距离的频率值和相位值对，
使用所述频率值确定到所述数据帧中表示的对象的估计的相机距离值，
使用所估计的相机距离值和所述相位值，确定经校正的相机距离值，以及
提供相机输出，所述相机输出识别所述数据集的数据帧中表示的对象的所述经校正的距离值。
2.根据权利要求1所述的飞行时间相机，其中，所述处理器被配置为向所捕获的数据集的帧应用校准或者在所述数据集的捕获期间应用校准，使得所述频谱分析的结果在插值到零频率值时产生零相位值。
3.根据权利要求2所述的飞行时间相机，其中，所应用的校准指定要应用于与用于捕获数据帧的每个调制频率相关联的相位值的旋转。
4.根据权利要求2所述的飞行时间相机，其中，所应用的校准实施窗函数。
5.根据权利要求1所述的飞行时间相机，其中，所估计的相机距离值由以下表达式确定：
Figure FDA0003828041210000011
其中，c是光速，ωest是在所述频谱分析中表现出峰值的频率，以及B是相机用作调制信号的频率的带宽。
6.根据权利要求1所述的飞行时间相机，其中，通过将与所述频率相关联的索引值乘以所述相机的距离分辨率来确定所估计的相机距离值。
7.根据权利要求1所述的飞行时间相机，其中，通过从所估计的距离值加上或减去由以下表达式定义的校正变量来确定所述经校正的相机距离值：
Figure FDA0003828041210000021
其中，c是光速，B是所述相机用作调制信号的频率的带宽，Δf是偏移频率值，以及K是比例因子。
8.根据权利要求7所述的飞行时间相机，其中，当所述数据集以最先捕获的帧的最低调制频率排序时加上所述校正变量，当所述数据集以最先捕获的帧的最高调制频率排序时减去所述校正变量。
9.根据权利要求1所述的飞行时间相机，其中，所述数据集的所捕获的数据帧在频谱分析完成之前被排序，以将使用以最高频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧，其中使用下一个最高频率调制信号来捕获每个后续帧。
10.根据权利要求1所述的飞行时间相机，其中，使用以最高频率调制信号调制的光捕获所述数据集的数据帧，以作为相机数据集的第一数据帧，其中，使用下一个最高频率调制信号来捕获每个后续帧。
11.根据权利要求1所述的飞行时间相机，其中，所述数据集的所捕获的数据帧在频谱分析完成之前被排序，以将使用以最低频率调制信号调制的光所捕获的相机数据帧呈现为相机数据集的第一数据帧，其中使用下一个最低频率调制信号来捕获每个后续帧。
12.根据权利要求1所述的飞行时间相机，其中，使用以最低频率调制信号调制的光捕获所述数据集的数据帧，以作为相机数据集的第一数据帧，其中，使用下一个最低频率调制信号来捕获每个后续帧。
13.根据权利要求1所述的飞行时间相机，包括以下附加步骤：与已知的谐波伪影相比，验证经校正的相机距离值，以及从所述相机输出中移除无效的经校正的距离值。
14.一种用于飞行时间相机的处理器的计算机可执行指令集，所述指令执行以下步骤：
使用步进频率调制信号集捕获一系列飞行时间相机数据帧，以提供飞行时间相机数据集；
完成所述数据集的频谱分析，所述频谱分析识别指示所述数据帧中表示的相机到对象的距离的频率值和相位值对；
使用所述频率值确定到所述数据帧中表示的对象的估计的相机距离值；
使用所估计的相机距离值和所述相位值，确定经校正的相机距离值；以及
提供相机输出，所述相机输出识别所述数据集的数据帧中表示的至少一个对象的所述经校正的距离值。
15.根据权利要求14所述的计算机可执行指令集，包括以下附加指令步骤：向所捕获的数据集的帧应用校准，使得所述频谱分析的结果在插值到零频率值时产生零相位值。
16.根据权利要求15所述的计算机可执行指令集，其中，所应用的校准指定要应用于与用于捕获数据帧的每个调制频率相关联的相位值的旋转。
17.一种操作飞行时间相机的方法，包括以下步骤：
使用步进频率调制信号集捕获一系列飞行时间相机数据帧，以提供飞行时间相机数据集；
完成所述数据集的频谱分析，所述频谱分析识别指示所述数据帧中表示的相机到对象的距离的频率值和相位值对；
使用所述频率值确定到所述数据帧中表示的对象的估计的相机距离值；
使用所估计的相机距离值和所述相位值，确定经校正的相机距离值；以及
提供相机输出，所述相机输出识别所述数据集的数据帧中表示的至少一个对象的所述经校正的距离值。
18.根据权利要求17所述的方法，所述方法包括以下附加步骤：向所捕获的数据集的帧应用校准，使得所述频谱分析的结果在插值到零频率值时产生零相位值。
19.根据权利要求18所述的方法，其中，所应用的校准指定要应用于与用于捕获数据帧的每个调制频率相关联的相位值的旋转。
CN202180018395.6A 2020-03-05 2021-03-05 操作飞行时间相机的方法 Pending CN115210607A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NZ76233220 2020-03-05
NZ762332 2020-03-05
PCT/NZ2021/050035 WO2021177842A1 (en) 2020-03-05 2021-03-05 A method of operating a time of flight camera

Publications (1)

Publication Number Publication Date
CN115210607A true CN115210607A (zh) 2022-10-18

Family

ID=77613612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018395.6A Pending CN115210607A (zh) 2020-03-05 2021-03-05 操作飞行时间相机的方法

Country Status (4)

Country Link
US (1) US20230095342A1 (zh)
EP (1) EP4115205A4 (zh)
CN (1) CN115210607A (zh)
WO (1) WO2021177842A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521436A (zh) * 2018-10-16 2019-03-26 天津大学 一种基于双光路调频连续波的运动物体动态距离测量方法

Also Published As

Publication number Publication date
WO2021177842A1 (en) 2021-09-10
EP4115205A1 (en) 2023-01-11
US20230095342A1 (en) 2023-03-30
EP4115205A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN106133551B (zh) 信号谐波误差取消方法和装置
US10024966B2 (en) Efficient implementation of distance de-aliasing for ranging systems using phase domain computation
WO2012107574A1 (en) Method of enhanced depth image acquisition
EP2966475B1 (en) A method for binning time-of-flight data
JP7297164B2 (ja) 画像取得設定にとらわれない人工知能（ａｉ）モジュールを用いた画像再構成
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
US11675061B2 (en) Apparatuses and methods for determining depth motion relative to a time-of-flight camera in a scene sensed by the time-of-flight camera
CN114200466A (zh) 畸变确定装置和确定畸变的方法
JP2015532848A (ja) 画像組織（ｔｉｓｓｕｅ）動作推定
JP7149941B2 (ja) 装置および方法
CN115210607A (zh) 操作飞行时间相机的方法
CN115131215A (zh) 一种图像的校正方法及及屏下系统
US11849223B2 (en) Time of flight camera data processing system
US20220284543A1 (en) Signal processing apparatus and signal processing method
US20220128692A1 (en) Method for depth measurement with a time-of-flight camera using amplitude-modulated continuous light
CN113837969B (zh) 非视距图像重建方法、装置、系统和计算机可读存储介质
US20230393278A1 (en) Electronic device, method and computer program
CN110400272B (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
CN110390656B (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
US20210400217A1 (en) Time-of-flight down-up sampling using a compressed guide
US11915393B2 (en) Image acquisition method for time of flight camera
Damyanov et al. Super-resolution restoration of low-resolution THz camera images
WO2021080444A1 (en) A time of flight camera and a method of operating same
CN114114308A (zh) 一种点云数据的获取方法、装置、终端和存储介质
CN112630790A (zh) 根据间接飞行时间距离计算技术计算相位角的间接飞行时间距离计算装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40082527

Country of ref document: HK