CN110879398A - 飞行时间相机和用于校准飞行时间相机的方法 - Google Patents

飞行时间相机和用于校准飞行时间相机的方法 Download PDF

Info

Publication number
CN110879398A
CN110879398A CN201910832841.1A CN201910832841A CN110879398A CN 110879398 A CN110879398 A CN 110879398A CN 201910832841 A CN201910832841 A CN 201910832841A CN 110879398 A CN110879398 A CN 110879398A
Authority
CN
China
Prior art keywords
tof
image
tof image
filtered
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910832841.1A
Other languages
English (en)
Inventor
K·伯申斯基
M·戴拉彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN110879398A publication Critical patent/CN110879398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开的实施例涉及飞行时间相机和用于校准飞行时间相机的方法。本公开的实施例涉及用于校准飞行时间ToF相机(20)的构思。拍摄(12)位于距ToF相机一个或多个预先确定的距离处的目标(24)的至少一个ToF图像。对至少一个ToF图像进行低通滤波(14)以生成经滤波的ToF图像。从ToF图像中减去(16)经滤波的ToF图像，以生成固定模式相位噪声FPPN图像。

Description

飞行时间相机和用于校准飞行时间相机的方法
技术领域
本公开的实施例一般涉及飞行时间相机(ToF相机)，并且更具体地，涉及用于校准ToF相机的方法和装置。
背景技术
ToF相机是一种范围成像相机系统，其可以基于已知的光速来分辨距离。该相机可以为图像的每个点测量相机和对象之间的光信号的飞行时间。飞行时间相机通常包括照明单元以照亮对象。对于诸如LED或激光二极管的RF调制光源，可以以高达100MHz以上的高速调制光。对于直接ToF成像器，可以使用每帧单个脉冲(例如30Hz)。照明通常使用红外光以使照明不引人注目。镜头可以聚集反射光并将环境成像到图像传感器上。光学带通滤波器可以使具有与照明单元相同波长的光通过。这有助于抑制不相关的光并降低噪声。图像传感器的每个像素可以测量光从照明单元行进到对象并返回焦平面阵列所花费的时间。照明单元和图像传感器都必须由高速信号控制并同步。这些信号必须非常准确才能获得高分辨率。距离可以直接在相机中计算。
为了获得最佳精度，ToF测量需要校准和补偿系统固有的各种系统误差。两个主要的系统误差是固定模式相位噪声(FPPN)和摆动。FPPN是与每个像素频率相关的距离偏移。由于到每个像素的信号路径不同，FPPN可能不仅基于像素本身，还基于其在芯片上的位置。摆动是与频率和距离相关的距离误差，其根据表面的真实距离，通过使距离信息显著地朝向或远离相机移动来改变测量的距离。由于不完美地生成被发送到场景中的调制光而发生摆动。通常，在计算距离图像时采用正弦形状的发射光。与理想正弦形状的偏差导致周期性振荡距离误差。由于误差是系统性的，因此可以对它们进行校准和补偿，并且在校准过程中必须将它们彼此分开。常规的校准方法具有以下限制：摆动和FPPN误差被组合并且它们必须被分离。
因此，存在改进ToF相机的校准的需求。
发明内容
通过根据独立权利要求的方法和装置满足了这种需求。其他潜在有利的实施例是从属权利要求和/或以下描述的主题。
根据本公开的第一方面，提供了一种用于校准ToF相机的方法。方法包括拍摄在距ToF相机一个或多个预先确定的距离处的目标的至少一个ToF图像。对至少一个ToF图像进行低通滤波以生成经滤波的ToF图像。从ToF图像中减去经滤波的ToF图像以生成FPPN图像。该构思允许通过(数字)滤波来分离FPPN和摆动，(数字)滤波可以例如在软件中实施。
在本公开的上下文中，ToF图像是指所捕获的场景或目标的深度地图，其可以例如以已知的方式由至少两个(通常四个)单独的相位图像生成。
在一些实施例中，方法还包括使用FPPN图像来校正利用ToF相机拍摄的ToF图像。该校正可以减少系统性FPPN误差，并且可以进一步改善ToF图像的质量。
在一些实施例中，方法包括拍摄在预先确定或已知距离处的目标的第一ToF图像，拍摄在预先确定的距离处的目标的至少一个第二ToF图像，确定第一和至少一个第二ToF图像的平均以生成平均ToF图像，并对平均ToF图像进行低通滤波以生成经滤波的ToF图像。使用多个ToF图像的平均的该可选实施方式可以进一步减少不期望的热噪声影响。
在一些实施例中，利用数字低通滤波器对至少一个(平均)ToF图像进行滤波，该数字低通滤波器的内核大小等于或基本上等于该至少一个ToF图像的大小。这种针对内核大小的可选实施方式可以改善热噪声和FPPN的分离。
在一些实施例中，利用数字高斯低通滤波器对至少一个ToF图像进行低通滤波。这种数字低通滤波器提供良好的结果、易于访问并且免费提供。
在一些实施例中，方法包括为ToF相机的光源选择第一调制频率。通过使用第一调制频率，拍摄在预先确定的距离处的目标的至少一个第一ToF图像。对至少一个第一ToF图像进行低通滤波以生成第一经滤波的ToF图像。从第一ToF图像中减去经滤波的第一ToF图像以生成第一FPPN图像。然后选择第二调制频率。通过使用第二调制频率，拍摄在预先确定的距离处的目标的至少一个第二ToF图像。对至少一个第二ToF图像进行低通滤波以生成第二经滤波的ToF图像。从第二ToF图像中减去第二经滤波的ToF图像以生成第二FPPN图像。因此，可以针对ToF相机的每个可用调制频率获得相应的经校准的FPPN图像。
在一些实施例中，方法还包括使用第一FPPN图像来校正以第一调制频率拍摄的ToF图像，以及使用第二FPPN图像来校正以第二调制频率拍摄的ToF图像。该校正可以进一步改善以相应的调制频率拍摄的ToF图像的质量。
在一些实施例中，方法还包括利用ToF相机的光学轴(机械地)固定ToF相机，该光学轴垂直于目标的表面。通过固定ToF相机，可以获得更好的校准结果。
根据本公开的第二方面，提供了一种计算机程序，当计算机程序在可编程硬件设备上执行时，执行前述实施例中任一个的方法。如上所述，所提出的解决方案可以通过软件中的数字滤波来实施，以将两个误差源分离。
根据本公开的又一方面，提供了一种ToF相机，其包括：低通滤波器，被配置成对距ToF相机预先确定的距离处的目标的ToF图像进行滤波，以生成经滤波的ToF图像；以及处理器，被配置成从ToF图像中减去经滤波的ToF图像以生成FPPN图像，并且使用FPPN图像来校正利用ToF相机拍摄的ToF图像。
在一些实施例中，处理器被配置成确定目标的第一和第二ToF图像的平均以生成平均ToF图像，并且其中低通滤波器被配置成对平均ToF图像进行滤波以生成经滤波的ToF图像。
在一些实施例中，低通滤波器是数字低通滤波器，其具有与ToF图像的像素分辨率相对应的内核尺寸。
附图说明
以下将仅通过示例的方式并参考附图来描述装置和/或方法的一些示例，其中
图1示出了根据本发明实施例的ToF相机的校准过程的流程图；
图2示出了根据本公开实施例的ToF相机的示意性框图；以及
图3示出了ToF校准期间和之后的测量结果。
具体实施方式
现在将参照示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚可以放大线、层和/或区域的厚度。
因此，虽然另外的示例能够具有各种修改和替换形式，但是其一些特定示例在图中示出并且随后进行详细描述。然而，这种详细描述并不将另外的示例限于所描述的特定形式。另外示例可以覆盖落在本公开范围内的所有修改、等价和备选。相似的附图标记在附图的描述中表示相似或类似的元件，当相互比较时可以以相同的或以修改的形式实施，同时提供相同或类似的功能。
应当理解，当一个元件被称作“连接”或“耦合”至另一个元件时，这些元件可以直接连接或耦合或者经由一个或多个中间元件连接或耦合。如果使用“或者”组合两个元素A和B，则理解为公开了所有可能的组合，即仅A、仅B以及A和B。相同组合的备选措辞是“A和B中的至少一个”。这同样适用于两个以上元素的组合。
本文用于描述特定示例的术语并不旨在限制另外的示例。无论何时使用诸如“一个”和“一”的单数形式，以及仅使用单个元素既不是明示或暗示定义为强制性的，另外的示例也可以使用多个元素来实施相同的功能。类似地，当随后将功能描述为使用多个元素实施时，另外的示例可以使用单个元素或处理实体来实施相同的功能。将进一步理解，术语“包括”和/或“包含”在使用时指定所陈述的特征、整数、步骤、操作、处理、动作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、处理、动作、元素、组件和/或它们的任何组的存在或添加。
除非另有定义，否则所有术语(包括技术和科学术语)在本文中以其在该示例所属领域的普通含义使用。
图1示出了根据一个实施例的ToF校准过程10的流程图。虚线框可以被视为ToF校准过程10的可选变型或补充。
在12处，校准过程10包括拍摄位于距ToF相机一个或多个预先确定的距离处的目标的至少一个ToF图像。在14处，对至少一个ToF图像进行低通滤波以生成经滤波的ToF图像。在16处，从ToF图像中减去经滤波的ToF图像以生成FPPN图像。
不一定但优选地，所捕获的目标是平坦目标，例如，诸如平坦的墙壁或平坦的纸张。当观察平坦目标而不是球体时，ToF相机的图像传感器的每个像素“看到”不同的距离，但是这种距离的变化是低频分量，该低频分量可以通过适当的数字低通滤波器保留。在一些实施例中，目标可以具有反射率均匀的表面。例如，目标可以是白色的。
由于我们想要对作为与每个像素频率相关的距离偏移的FPPN进行校准，所以目标优选地位于距ToF相机已知距离处。已知的距离允许得出关于与像素相关的距离偏移(即FPPN)的结论。虽然在一些实施例中仅使用ToF相机和目标之间的一个预先确定的距离就足够了，但是使用多个不同的已知的距离对于其他实施方式可能是有益的。知道精确距离对于仅提取FPPN不是必需的，因为可以通过减去滤波和未滤波的图像来导出FPPN。
在12处针对校准目拍摄的至少一个ToF图像可以在14处使用数字低通滤波器进行低通滤波，以便从ToF图像中去除高频分量。受益于本公开的本领域技术人员将理解，存在数字低通滤波器的各种可行的实施方式。一个示例是数字高斯滤波器。例如，可以从开源计算机视觉库标准库获得标准高斯滤波器。在一些实施例中，数字低通滤波器的内核大小可以选择为较大并且等于ToF图像的大小(像素分辨率)。
然后在16处从ToF图像中减去经低通滤波的ToF图像，以生成指示与像素相关的距离偏移(FPPN)的FPPN图像。然后可以存储该FPPN图像或信息，并且将其用作校准摆动误差和/或用于校正在ToF相机的正常操作下拍摄的ToF图像的基线。
如果需要更高的校准精确度，则可以在校准步骤中拍摄同一个目标的多个ToF图像。这在图1中由在12处的另外的虚线框表示。也就是说，拍摄至少一个ToF图像的动作12可以包括拍摄在预先确定的距离处的目标的第一ToF图像，以及拍摄在相同预先确定的距离处的同一目标的至少一个后续第二ToF图像。受益于本公开的本领域技术人员将理解，可以在校准期间拍摄目标的两个以上的ToF图像。在多个图像的情况下，可以计算第一和至少第二ToF图像的平均ToF图像，以便减少暂态噪声。通过平均，在平均ToF图像中减少了暂态噪声。在14处，然后对平均ToF图像进行低通滤波(例如，使用高斯滤波器)以在16处生成经滤波的ToF图像。
由于FPPN与频率有关，因此可以根据ToF相机光源的所使用的调制频率进行校准。也就是说，校准过程10可以可选地包括选择11第一RF调制频率。在12处，使用第一调制频率，拍摄在预先确定的距离处的目标的一个或多个第一ToF图像。在多个第一ToF图像的情况下，可以计算第一平均ToF图像以便减少暂态噪声。在14处，对第一(平均)ToF图像进行低通滤波以生成第一经滤波的ToF图像。在16处，从第一ToF图像中减去经滤波的第一ToF图像以生成第一FPPN图像(针对第一调制频率)。在17处，选择至少一个第二调制频率。然后，对于至少第二调制频率重复动作12、14和16。相应的FPPN图像可以被存储在ToF相机的计算机存储器中，然后用作校准在相应调制频率下的摆动误差和/或用于校正利用相应的调制频率拍摄的ToF图像的基线。
当ToF相机利用其光学轴被固定时，可以实现改进的结果，该光学轴与目标的(平坦)表面正交，因此在校准期间，ToF相机和目标之间基本上不发生移动。然而，例如，只需在手中握住ToF相机并将其瞄准白色纸张就可以实现足够的补偿。为了最小化运动引起的伪像，可以使用低积分时间和高帧速率。
图2示意性地图示了根据一个实施例的ToF相机20。
ToF相机20包括照明单元22，照明单元被配置成朝向在距ToF相机已知距离d处的平坦目标24发射调制光。图像传感器26被配置成生成目标24的一个或多个ToF图像并将其输出到处理器28。在存在目标24的多个后续的ToF图像的情况下，处理器28可以被配置成计算多个ToF图像的平均图像，该平均图像然后被馈送到数字低通滤波器(例如，高斯滤波器)以生成经滤波的ToF图像。处理器28还被配置成从(平均)ToF图像中减去经滤波的ToF图像以生成FPPN图像。后者可以被存储在ToF相机的存储器29中，并且用于在正常操作期间校正利用ToF相机20拍摄的ToF图像。
在图3中示出了测量结果的一些示例。
图3a示出了使用80.32MHz的调制频率获得的经低通滤波的ToF图像。图3b示出了使用60.24MHz的调制频率获得的经低通滤波的ToF图像。可以看出，经低通滤波的ToF图像对于不同的RF调制频率略有不同。
图3c和图3d示出了利用80.32MHz和60.24MHz的调制频率获得的相应的FPPN图像。这些FPPN图像是利用在校准期间被机械固定的ToF相机获得的。图3e和图3f示出了利用80.32MHz和60.24MHz的调制频率获得的FPPN图像的其他示例。这里，FPPN图像是利用在校准期间握在手中的ToF相机获得的。
总之，所提出的解决方案可以使用软件中的数字滤波技术来将两个误差源FPPN和摆动分离。本构思与距离无关，并且不需要特殊的测量设备。所提出的构思基于这样的假定：FPPN本质上是高频分量，并且摆动是频率低得多的频率现象。这允许使用数字低通滤波器将它们从单次测量中分离。了解FPPN允许通过采用不同的技术(例如线性平移台上的距离扫描或使用利用光纤盒的仿真距离)来补偿摆动。
与一个或多个之前详细描述的示例和附图一起提到和描述的方面和特征可以与一个或多个其他示例组合，以便代替其他示例的类似特征或者向其他示例附加地引入特征。
尽管本文已经说明和描述了特定实施例，但本领域的技术人员将了解，可以在不脱离本发明的范围的情况下，用各种备选和/或等效实施方式代替所示出和描述的特定实施例。本申请旨在涵盖本文所讨论的具体实施例的任何改编或变化。因此，本发明旨在仅由权利要求及其等同物限制。
表示为执行特定功能的“用于…的装置”的功能块可以表示被配置成执行特定功能的电路。因此，“用于某事的装置”可以被实施为“被配置成或者适合于某事的装置”，诸如被配置成或适合于相应的任务的设备或电路。
在附图中示出的各种元件的功能，包括标记为“装置”、“用于提供传感器信号的装置”、“用于生成发射信号的装置”等的任何功能块可以以专用硬件的形式(诸如“信号提供器”、“信号处理单位”、“处理器”、“控制器”等)以及能够与适当软件相关联地执行软件的硬件的形式来实施。当由处理器提供时，可以通过单个专用处理器、单个共享处理器或者多个独立的处理器(其中一些或所有都被共享)来提供功能。然而，术语“处理器”或“控制器”远不限于只能够执行软件的硬件，而是可以包括数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。也可以包括传统和/或定制的其他硬件。
例如，框图可以图示实施本公开原理的高级电路图。类似地，流程图、状态转换图、伪代码等可以表示各种过程、操作或步骤，这例如可以在由计算机或处理器执行的计算机可读介质中基本表示，无论这种计算机或处理器是否被明确示出。在说明书或权利要求中公开的方法可以通过具有用于执行这些方法的每个相应动作的装置的设备来实施。
可以理解，说明书和权利要求中公开的多个动作、过程、操作、步骤或功能的公开可以不以特定顺序构建，除非另有明示或暗示，例如出于技术原因。因此，多个动作或功能的公开将不将它们限于特定顺序，除非这些动作或功能由于技术原因而不可互换。另外，在一些示例中，单个动作、功能、过程、操作或步骤可以分别包括或者可以分为多个子动作、子功能、子过程、子操作或子步骤。这些子动作可以被包括在该单个动作的公开中或是其一部分，除非明确排除。
另外，权利要求在此被并入到详细描述中，其中每个权利要求自身可以作为独立示例。虽然每个权利要求自身可以作为独立示例，但应当注意，尽管从属权利要求可以在权利要求中引用与一个或多个其他权利要求的特定组合，但其他示例还可以包括该从属权利要求与每个其他从属权利要求或独立权利要求的主题的组合。本文明确提出这种组合，除非该特定组合是不想要的。另外，还将权利要求的特征包括到任何其他独立权利要求，即使该权利要求不直接从属于该独立权利要求。

Claims (12)

1.一种用于校准飞行时间ToF相机(20)的方法(10)，所述方法包括：
拍摄(12)在距所述ToF相机一个或多个预先确定的距离处的目标(24)的至少一个ToF图像；
对所述至少一个ToF图像进行低通滤波(14)以生成经滤波的ToF图像；以及
从所述ToF图像中减去(16)所述经滤波的ToF图像以生成固定模式相位噪声FPPN图像。
2.根据权利要求1所述的方法(10)，还包括
使用所述FPPN图像校正(18)所述ToF相机的ToF图像。
3.根据前述权利要求中任一项所述的方法(10)，包括：
拍摄在所述预先确定的距离处的所述目标的第一ToF图像；
拍摄在所述预先确定的距离处的所述目标的至少一个第二ToF图像；
确定所述第一ToF图像和所述第二ToF图像的平均值以生成平均ToF图像；以及
对所述平均ToF图像进行低通滤波(14)以生成所述经滤波的ToF图像。
4.根据前述权利要求中任一项所述的方法(10)，其中利用数字低通滤波器对所述至少一个ToF图像进行滤波，所述数字低通滤波器的内核大小等于所述至少一个ToF图像的大小。
5.根据前述权利要求中任一项所述的方法(10)，其中利用数字高斯滤波器对所述至少一个ToF图像进行滤波。
6.根据前述权利要求中任一项所述的方法(10)，包括：
选择(11)第一调制频率；
使用所述第一调制频率，拍摄(12)在所述预先确定的距离处的所述目标的至少一个第一ToF图像；
对所述至少一个第一ToF图像进行低通滤波(14)以生成第一经滤波的ToF图像；
从所述第一ToF图像中减去(16)所述经滤波的第一ToF图像以生成第一FPPN图像；
选择(17)第二调制频率；
使用所述第二调制频率，拍摄(11)在所述预先确定的距离处的所述目标的至少一个第二ToF图像；
对所述至少一个第二ToF图像进行低通滤波(14)以生成第二经滤波的ToF图像；
从所述第二ToF图像中减去(16)所述第二经滤波的ToF图像以生成第二FPPN图像。
7.根据权利要求6所述的方法(10)，还包括
使用所述第一FPPN图像来校正(18)以所述第一调制频率拍摄的ToF图像；以及
使用所述第二FPPN图像来校正(18)以所述第二调制频率拍摄的ToF图像。
8.根据前述权利要求中任一项所述的方法(10)，还包括
利用所述ToF相机的光学轴固定所述ToF相机(20)，所述光学轴垂直于所述目标(24)的表面。
9.一种计算机程序，当在可编程硬件设备上执行所述计算机程序时，执行前述权利要求中任一项所述的方法。
10.一种ToF相机(20)，包括：
低通滤波器，被配置成对距所述ToF相机预先确定的距离处的目标(24)的ToF图像进行滤波，以生成经滤波的ToF图像；
处理器(28)，被配置成：
从所述ToF图像中减去经所述滤波的ToF图像以生成FPPN图像；以及
使用所述FPPN图像来校正利用所述ToF相机(20)拍摄的ToF图像。
11.根据权利要求10所述的ToF相机(20)，其中所述处理器(28)被配置成确定所述目标的第一ToF图像和第二ToF图像的平均值以生成平均ToF图像，并且其中所述低通滤波器被配置成对所述平均ToF图像进行滤波以生成经滤波的ToF图像。
12.根据权利要求10或11所述的ToF相机，其中所述低通滤波器是数字低通滤波器，所述数字低通滤波器具有对应于所述ToF图像的像素分辨率的内核大小。
CN201910832841.1A 2018-09-05 2019-09-04 飞行时间相机和用于校准飞行时间相机的方法 Pending CN110879398A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18192757.5 2018-09-05
EP18192757.5A EP3620821A1 (en) 2018-09-05 2018-09-05 Time of flight camera and method for calibrating a time of flight camera

Publications (1)

Publication Number Publication Date
CN110879398A true CN110879398A (zh) 2020-03-13

Family

ID=63517779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910832841.1A Pending CN110879398A (zh) 2018-09-05 2019-09-04 飞行时间相机和用于校准飞行时间相机的方法

Country Status (3)

Country Link
US (1) US20200074608A1 (zh)
EP (1) EP3620821A1 (zh)
CN (1) CN110879398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097427A (zh) * 2022-08-24 2022-09-23 北原科技(深圳)有限公司 基于飞行时间法的自动标定系统及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590900B1 (ko) * 2018-08-27 2023-10-19 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
CN111624580B (zh) * 2020-05-07 2023-08-18 Oppo广东移动通信有限公司 飞行时间模组的校正方法、校正装置和校正系统
CN113702950B (zh) * 2020-05-22 2024-06-25 昆山丘钛微电子科技有限公司 一种飞行时间测距模组的标定方法、装置、设备及系统
WO2021234932A1 (ja) * 2020-05-22 2021-11-25 株式会社ブルックマンテクノロジ 距離画像撮像装置及び距離画像撮像方法
CN111862232B (zh) * 2020-06-18 2023-12-19 奥比中光科技集团股份有限公司 一种标定方法及装置
WO2024014393A1 (ja) * 2022-07-15 2024-01-18 ヌヴォトンテクノロジージャパン株式会社 測距装置、補正量生成装置、測距方法および補正量生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104620282A (zh) * 2012-07-16 2015-05-13 菲力尔系统公司 用于抑制图像中的噪声的方法和系统
CN104838284A (zh) * 2012-11-08 2015-08-12 蓝泰科尼克有限公司 用于至少两个ToF相机的拍摄方法
CN105184784A (zh) * 2015-08-28 2015-12-23 西交利物浦大学 基于运动信息的单目相机获取深度信息的方法
CN106911888A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 一种装置
US20180089847A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. Time-of-flight (tof) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
US20180106891A1 (en) * 2016-10-19 2018-04-19 Infineon Technologies Ag 3di sensor depth calibration concept using difference frequency approach

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4317179A (en) * 1978-12-26 1982-02-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing a radiographic image
US4394737A (en) * 1979-07-11 1983-07-19 Fuji Photo Film Co., Ltd. Method of processing radiographic image
US7430302B2 (en) * 2005-07-19 2008-09-30 Verimatrix, Inc. Covert and robust mark for media identification
US7471376B2 (en) * 2006-07-06 2008-12-30 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
US9811884B2 (en) * 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US20140347442A1 (en) * 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
US9681123B2 (en) * 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
CN105447532A (zh) * 2015-03-24 2016-03-30 北京天诚盛业科技有限公司 身份认证方法和装置
WO2017025885A1 (en) * 2015-08-07 2017-02-16 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
CN107925750B (zh) * 2015-08-28 2019-06-14 富士胶片株式会社 带距离图像获取装置的投影装置以及投影映射方法
JP7244013B2 (ja) * 2017-01-20 2023-03-22 カーネギー メロン ユニバーシティ エピポーラ飛行時間撮像のための方法
US10783346B2 (en) * 2017-12-11 2020-09-22 Invensense, Inc. Enhancing quality of a fingerprint image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104620282A (zh) * 2012-07-16 2015-05-13 菲力尔系统公司 用于抑制图像中的噪声的方法和系统
CN104838284A (zh) * 2012-11-08 2015-08-12 蓝泰科尼克有限公司 用于至少两个ToF相机的拍摄方法
CN105184784A (zh) * 2015-08-28 2015-12-23 西交利物浦大学 基于运动信息的单目相机获取深度信息的方法
CN106911888A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 一种装置
US20180089847A1 (en) * 2016-09-23 2018-03-29 Samsung Electronics Co., Ltd. Time-of-flight (tof) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
US20180106891A1 (en) * 2016-10-19 2018-04-19 Infineon Technologies Ag 3di sensor depth calibration concept using difference frequency approach

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STEFAN MAY, THREE-DIMENSIONAL MAPPING WITH TIME-OF-FLIGHT CAMERAS, 1 November 2009 (2009-11-01), pages 934 - 965 *
THOMAS LUFT∗, IMAGE ENHANCEMENT BY UNSHARP MASKING THE DEPTH BUFFER, 30 July 2006 (2006-07-30), pages 39 - 42 *
李兴东: "飞行时间法三维摄像机标定与误差补偿", 机械与电子, no. 11, pages 39 - 42 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115097427A (zh) * 2022-08-24 2022-09-23 北原科技(深圳)有限公司 基于飞行时间法的自动标定系统及方法
CN115097427B (zh) * 2022-08-24 2023-02-10 北原科技(深圳)有限公司 基于飞行时间法的自动标定方法

Also Published As

Publication number Publication date
EP3620821A1 (en) 2020-03-11
US20200074608A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110879398A (zh) 飞行时间相机和用于校准飞行时间相机的方法
JP6480441B2 (ja) 飛行時間型カメラシステム
US9188663B2 (en) Time-of-flight imager
Lindner et al. Time-of-flight sensor calibration for accurate range sensing
US10416296B2 (en) 3DI sensor depth calibration concept using difference frequency approach
US10901090B2 (en) TOF camera system and a method for measuring a distance with the system
US20130148102A1 (en) Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
CN109816735B (zh) 一种快速标定及校正方法及其tof相机
CN111045029B (zh) 一种融合的深度测量装置及测量方法
WO2012137434A1 (ja) 立体撮像装置
JP2010071976A (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
WO2017138210A1 (ja) 撮像装置、撮像方法及び撮像システム
JP6114289B2 (ja) 電気光学センサ用のぼけキャリブレーションシステム及び移動マルチ焦点マルチターゲットコンステレーションを用いる方法
JP4197339B2 (ja) 三次元形状測定装置
WO2018222515A1 (en) System and method of photogrammetry
US7821651B2 (en) Apparatus and method for measuring distances
JP2014238299A (ja) 被検物の計測装置、算出装置、計測方法および物品の製造方法
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
WO2022096925A1 (en) Three-dimensional scanner having sensors with overlapping fields of view
CN112213730B (zh) 三维测距方法和装置
JP6693757B2 (ja) 距離画像生成装置および方法
JP2003004425A (ja) 光学的形状測定装置
JP2017138787A (ja) 撮像システム、撮像装置、撮像方法
JP2004347520A (ja) 形状計測装置
JP2016072968A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination