CN116209921A - 用于飞行时间相机系统的动态扩展的方法和设备 - Google Patents

用于飞行时间相机系统的动态扩展的方法和设备 Download PDF

Info

Publication number
CN116209921A
CN116209921A CN202180062435.7A CN202180062435A CN116209921A CN 116209921 A CN116209921 A CN 116209921A CN 202180062435 A CN202180062435 A CN 202180062435A CN 116209921 A CN116209921 A CN 116209921A
Authority
CN
China
Prior art keywords
phase image
time
hdr
phase
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180062435.7A
Other languages
English (en)
Inventor
托马斯·克尔斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IFM Electronic GmbH
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH, PMDtechnologies AG filed Critical IFM Electronic GmbH
Publication of CN116209921A publication Critical patent/CN116209921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种用于飞行时间相机或飞行时间相机系统的原始相位图像的动态扩展的方法，在该方法中，使用不同的曝光时间拍摄至少两个深度图像。

Description

用于飞行时间相机系统的动态扩展的方法和设备
技术领域
本发明涉及方法，其中，将具有不同曝光时间的多个原始数据测量结果彼此组合，以便因此综合地扩展图像传感器的动态范围，并且以这种方式尽可能地防止饱和效应。
背景技术
术语飞行时间相机或飞行时间相机系统在此旨在具体地覆盖从发射和接收的辐射的相移获得距离的系统。具体地，包括光混频检测器(Photomixing Detector，PMD)(例如DE 197 04496A1中描述的PMD)的PMD相机适合作为飞行时间或TOF相机。
而且，从DE 197 04 496A1中已知从对象反射的光的距离或对应相移的确定。具体地，公开了将发射器调制选择性地移位90°、180°或270°，以便经由反正切函数从这四个相位测量结果或四个相位图像确定相移并因此确定距离。
发明内容
本发明的目的是改进飞行时间相机的动态范围。
有利地，提供了一种用于飞行时间相机系统的原始相位图像(M)的动态范围扩展的方法，其中，飞行时间相机系统从发射和接收的辐射的相移
Figure BDA0004120025200000011
来确定距离(d)，其中，为了距离确定，在照明设备与接收器之间的不同相位位置/>
Figure BDA0004120025200000012
处获取多个原始相位图像(M)并且以不同的曝光时间(texp1、texp2)来拍摄这些原始相位图像，该方法包括以下步骤：
a)识别原始相位图像(M)中的无效的(即饱和的)像素和有效的(即非饱和的)像素，
b)通过以下方式来计算归一化的原始相位图像
Figure BDA0004120025200000013
根据下式从各个原始相位图像(M)减去固定像素偏移(固定模式噪声(FPN))，并且以相应的曝光时间(texp1、texp2)将减小了固定像素偏移(FPN)的图像归一化
Figure BDA0004120025200000014
c)通过根据下式将归一化的原始相位图像
Figure BDA0004120025200000015
乘以相应的加权矩阵(G)来计算加权归一化的原始相位图像/>
Figure BDA0004120025200000016
Figure BDA0004120025200000021
d)通过以下方式来计算相应相位位置的加权的归一化的HDR图像：根据下式将相应相位位置的加权的归一化的原始相位图像
Figure BDA0004120025200000022
相加并且归一化为加权矩阵的和
Figure BDA0004120025200000023
其中，运算符
Figure BDA0004120025200000024
表示元素级乘法，例如所谓的阿达玛运算符，
e)通过以下方式来计算HDR原始相位图像(MHDR)：根据下式将加权的归一化的HDR原始相位图像
Figure BDA0004120025200000025
乘以曝光时间(texp1、texp2)中的一者并加上固定像素偏移
Figure BDA0004120025200000026
f)提供HDR原始相位图像(MHDR)以用于后续处理。
这种方法的优点在于，HDR原始相位图像(MHDR)可用于与常规处理并无不同的进一步处理。因此，HDR处理可以被认为是完全独立的预处理步骤并作为完全独立的预处理步骤来执行。
此外，如果在步骤e)中将加权归一化的HDR原始相位图像
Figure BDA0004120025200000027
乘以最长曝光时间(texp1、texp2)，则是有利的。
优选的是，步骤c)中的各个未饱和的像素的加权矩阵(G)的值对应于相应的基础曝光时间(texp1、texp2)，并且对于饱和像素，这些像素在加权矩阵G中被设置为零值。
附图说明
下面参考附图借助于示例性实施例更详细地解释本发明。
附图示意性地示出：
图1示出了飞行时间相机系统；以及
图2示出了HDR加权方案。
具体实施方式
图1示出了通过使用飞行时间相机进行光学距离测量的测量情况，如例如从DE197 04496A1中已知的。
飞行时间相机系统1包括：发射器单元或照明模块10，其包括照明设备12和相关联的束形成光学器件15；以及接收单元或飞行时间相机20，其包括接收光学器件25和飞行时间传感器22。
飞行时间传感器22包括至少一个飞行时间像素，优选地也包括像素阵列，并且具体地被设计为PMD传感器。接收光学器件25通常由多个光学元件构成，以便改善成像特性。发射器单元10的束形成光学器件15例如可以被设计为反射器或透镜光学器件。在非常简单的构造中，还可以省去在接收侧与发射侧两者上的光学元件。
这种布置的测量原理基本上基于以下事实：从发射光和接收光的相移开始，可以确定接收光的传播时间，因此确定接收光行进的距离。为此，光源12和飞行时间传感器22经由调制器30共同地被提供具有基相位位置
Figure BDA0004120025200000031
的特定调制信号M0。在所示的示例中，在调制器30与光源12之间还设置移相器35，借助于该移相器，光源12的调制信号M0的基相位/>
Figure BDA0004120025200000032
可以按限定的相位位置移位。对于典型的相位测量，优选使用/>
Figure BDA0004120025200000033
和270°的相位位置。
根据设定的调制信号，光源12发射具有第一相位位置p1或
Figure BDA0004120025200000034
的强度调制信号Sp1。在所示的情况下，该信号Sp1或电磁辐射被对象40反射，并且由于行进的距离而以对应的相移/>
Figure BDA0004120025200000035
撞击对象40，其中第二相位位置/>
Figure BDA0004120025200000036
作为飞行时间传感器22上的接收信号Sp2。在飞行时间传感器22中，调制信号M0与接收信号Sp2混频，并且从所得信号确定相移或对象距离d。/>
此外，系统包括调制控制器27，其根据实际测量任务改变调制信号M0的相位位置
Figure BDA0004120025200000037
和/或经由频率振荡器38调节调制频率。
优选地，红外发光二极管适合作为照明源或光源12。当然，可以想到在其它频率范围内的其它辐射源，特别是可以考虑在可见频率范围内的光源。
高动态范围成像已经在2D域中很好地建立。然而，在3D-ToF测量的情况下，这种模式更为重要，因为这是一种主动测量方法，借助于该方法可出现大的强度差。因此，饱和效应经常发生在近距离范围内，而由于反射光的低信号强度，在远距离范围内优先遇到远距离噪声。
在这里描述的方法中，将利用至少两个不同的曝光时间获得的多个原始数据测量结果彼此组合，根据它们的曝光时间加权，使得除了饱和像素之外，还利用所有像素的全部信息内容。
本发明的另一关键点在于，HDR计算可以作为完全独立的预处理步骤来进行，并且测量数据的后续处理可以不改变地并且完全独立于该HDR计算来进行。
为了根据相位测量原理确定距离，首先在发射器与接收器之间的不同相位位置
Figure BDA0004120025200000041
处检测发射的调制信号与接收的调制信号之间的相位差/相移/>
Figure BDA0004120025200000042
对于飞行时间光传感器的各个像素ij，检测这些相移mij，并且这些相移形成原始相位图像M。为了计算实际相移/>
Figure BDA0004120025200000043
在不同的相位位置/>
Figure BDA0004120025200000044
处获取至少两个、优选地三个或四个、可能更多的原始相位图像M。
基于原始相位图像M，然后可以考虑已知的调制频率和反正切关系来计算距离d或深度图像D。
根据本发明，现在旨在利用至少两个不同的曝光时间texp1和texp2来拍摄原始相位图像M。例如，对于四个不同的相位位置
Figure BDA0004120025200000045
和两个曝光时间，然后可获得八个原始相位图像M。
为了进一步处理，例如通过使用饱和阈值来识别所有原始相位图像M中的饱和像素。
为了能够组合两个曝光时间的测量结果，然后必须在减去所谓的固定模式噪声(FPN)之后将这些测量结果归一化到相应的曝光时间：
Figure BDA0004120025200000046
对于这些归一化的原始相位图像
Figure BDA0004120025200000047
中的每一者，现在创建对应尺寸的额外加权矩阵G。该加权矩阵G的值对应于各个未饱和像素的相应基础曝光时间texp1或texp2。
另一方面，对于饱和像素，加权矩阵G中的相应条目总是采用零值。在这种情况下，各个独立原始相位图像M的饱和像素可被独立地考虑并因此被存储为对应的加权矩阵G中的零权重。然而，替代性地，可对曝光时间的所有四个原始相位图像的饱和像素执行或运算，使得曝光时间的所有四个原始相位图像M的加权矩阵G分别相同。
为了简单起见，在以下示例中假设已经通过使用具有2×2个像素的分辨率的传感器利用两个不同的曝光时间texp1和texp2来拍摄场景，其中：texp1＝2texp2。当然，原则上，曝光时间可以具有任何其它关系。
此外，在该示例中，假设对于两个曝光时间中较长的曝光时间，顶部的两个像素被分类为饱和的。对于各个曝光时间，创建相应的加权矩阵G。然后，将所有像素乘以该矩阵，其中，饱和像素由于零权重而被忽略，并且只有非饱和像素对测量值有贡献。
本示例将基于以下归一化原始相位图像：
Figure BDA0004120025200000051
现在已经识别出饱和像素，并在对应的加权矩阵中利用权重零对其进行分类。通过将归一化的原始相位图像乘以加权矩阵
Figure BDA0004120025200000052
和/>
Figure BDA0004120025200000053
然后将矩阵/>
Figure BDA0004120025200000054
计算为如下的中间结果：
Figure BDA0004120025200000055
Figure BDA0004120025200000056
对于第二曝光时间，计算是类似的：
Figure BDA0004120025200000057
Figure BDA0004120025200000058
现在，对于各个原始相位图像以相同的方式单独地进行加权矩阵的计算以及随后的乘法。
然后，将根据对应的加权矩阵G加权的归一化原始相位图像
Figure BDA0004120025200000059
相加并再次归一化为加权矩阵的和。这里的运算符/>
Figure BDA00041200252000000510
表示元素级乘法的运算符，例如被称为阿达玛(Hadamard)运算符。
Figure BDA00041200252000000511
Figure BDA00041200252000000512
在假设texp1＝2texp2的情况下，这可以简化为：
Figure BDA00041200252000000513
通过乘以最长的曝光时间，保持了原始分辨率。另一方面，如果用较短的曝光时间进行乘法，这将导致分辨率的降低，但是如果需要的话，原则上也是可能的。具体地，在多于两个曝光时间的情况下，可以选择特别有利的曝光时间来进行进一步处理。然而，通常将优选最长的曝光时间。
因此，以最佳方式利用来自所有拍摄的原始相位图像M的全部像素信息。最后，将组合的HDR原始相位图像乘以最长曝光时间texp1，并且加上FPN以将它们转换成输出版本。
Figure BDA0004120025200000061
因此，然后可以以未修改的方式将常规处理应用于组合的、合成生成的原始相位图像MHDR。HDR处理扩展了值的原始范围，使得负像素值可以在组合之后出现。
图2示意性地示出了针对四个拍摄的原始相位图像的HDR加权方案，各个原始相位图像具有两个示例性曝光时间texp1＝1500μs和texp2＝500μs。
该过程基本上用于生成由合成的原始相位图像构成的数据集，合成原始相位图像具有与最初原始相位图像相同的结构，因此借助于该过程可以以与最初原始相位图像相同的方式进行计算。
因此，无论是关于真实原始相位图像还是合成生成的HDR原始相位图像，数据处理都没有区别，并且处理可以被认为是完全自主和独立的预处理步骤。

Claims (4)

1.一种用于飞行时间相机系统的原始相位图像(M)的动态扩展的方法，其中，所述飞行时间相机系统从发射和接收的辐射的相移
Figure FDA0004120025190000011
来确定距离(d)，
其中，为了距离确定，在照明设备与接收器之间的不同相位位置
Figure FDA0004120025190000012
处获取多个原始相位图像(M)并且以不同的曝光时间(texp1、texp2)来拍摄所述多个原始相位图像，所述方法包括以下步骤：
a)识别所述原始相位图像(M)中的无效的，即饱和的，像素，和有效的，即非饱和的，像素，
b)通过以下方式来计算归一化的原始相位图像
Figure FDA0004120025190000013
根据下式从各个原始相位图像(M)减去固定像素偏移(固定模式噪声(FPN))，并且以相应的曝光时间(texp1、texp2)将减小了所述固定像素偏移(FPN)的所述图像归一化
Figure FDA0004120025190000014
c)通过根据下式将所述归一化的原始相位图像
Figure FDA0004120025190000015
乘以相应的加权矩阵(G)来计算加权的归一化的原始相位图像/>
Figure FDA0004120025190000016
Figure FDA00041200251900000112
d)通过以下方式来计算相应相位位置的加权的归一化的HDR原始相位图像
Figure FDA0004120025190000017
'根据下式将所述相应相位位置的所述加权的归一化的原始相位图像/>
Figure FDA00041200251900000113
相加并且归一化为所述加权矩阵的和
Figure FDA0004120025190000018
e)通过以下方式来计算HDR原始相位图像(MHDR)：根据下式将所述加权的归一化的HDR原始相位图像
Figure FDA0004120025190000019
乘以所述曝光时间(texp1、texp2)中的一者并加上所述固定像素偏移
Figure FDA00041200251900000110
以及
f)提供所述HDR原始相位图像(MHDR)以用于后续处理。
2.根据权利要求1所述的方法，其中，在步骤e)中，所述加权的归一化的HDR原始相位图像
Figure FDA00041200251900000111
乘以最长的曝光时间(texp1、texp2)。
3.根据前述权利要求中任一项所述的方法，其中，在步骤c)中的各个未饱和像素的所述加权矩阵(G)的值对应于相应的基础曝光时间(texp1、texp2)，并且对于饱和的像素，这些像素在所述加权矩阵G中采用零值。
4.一种飞行时间相机或飞行时间相机系统，用于执行根据权利要求1至3中任一项所述的方法。
CN202180062435.7A 2020-09-10 2021-08-25 用于飞行时间相机系统的动态扩展的方法和设备 Pending CN116209921A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020123671.9 2020-09-10
DE102020123671.9A DE102020123671B4 (de) 2020-09-10 2020-09-10 Verfahren und Vorrichtung zur Dynamikerweiterung eines Lichtlaufzeitkamerasystems
PCT/EP2021/073456 WO2022053313A1 (de) 2020-09-10 2021-08-25 Verfahren und vorrichtung zur dynamikerweiterung eines lichtlaufzeitkamerasystems

Publications (1)

Publication Number Publication Date
CN116209921A true CN116209921A (zh) 2023-06-02

Family

ID=77627139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180062435.7A Pending CN116209921A (zh) 2020-09-10 2021-08-25 用于飞行时间相机系统的动态扩展的方法和设备

Country Status (4)

Country Link
US (1) US11921217B2 (zh)
CN (1) CN116209921A (zh)
DE (1) DE102020123671B4 (zh)
WO (1) WO2022053313A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021108054A1 (de) 2021-03-30 2022-10-06 Ifm Electronic Gmbh Lichtlaufzeitkamera

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
US8994843B2 (en) 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
US10269104B2 (en) * 2013-04-29 2019-04-23 Nokia Technologies Oy Method and apparatus for fusing distance data from a distance sensing camera with an image
CN110709722B (zh) * 2017-04-04 2023-11-24 Pmd技术股份公司 飞行时间摄像机
WO2020047248A1 (en) * 2018-08-29 2020-03-05 Sense Photonics, Inc. Glare mitigation in lidar applications
US11792381B2 (en) * 2019-03-01 2023-10-17 California Institute Of Technology Phase-sensitive compressed ultrafast photography systems and methods

Also Published As

Publication number Publication date
WO2022053313A1 (de) 2022-03-17
US11921217B2 (en) 2024-03-05
US20230243974A1 (en) 2023-08-03
DE102020123671B4 (de) 2022-12-22
DE102020123671A1 (de) 2022-03-10

Similar Documents

Publication Publication Date Title
JP7191921B2 (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
CN110709722B (zh) 飞行时间摄像机
US6707054B2 (en) Scannerless range imaging system having high dynamic range
EP3268771B1 (en) Coherent ladar using intra-pixel quadrature detection
EP3715907B1 (en) Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US8159598B2 (en) Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera
EP2594959B1 (en) System and method for multi TOF camera operation using phase hopping
US7834985B2 (en) Surface profile measurement
JP2015175644A (ja) 測距システム、情報処理装置、情報処理方法及びプログラム
KR101145132B1 (ko) 3차원 영상화 펄스 레이저 레이더 시스템 및 이 시스템에서의 자동 촛점 방법
US10140722B2 (en) Distance measurement apparatus, distance measurement method, and non-transitory computer-readable storage medium
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
EP1164386A2 (en) Method and apparatus for a color scannerless range imaging system
CN116209921A (zh) 用于飞行时间相机系统的动态扩展的方法和设备
JP6776692B2 (ja) 視差演算システム、移動体及びプログラム
CN108510480B (zh) 基于辐射对比度的卫星探测性能评估方法、装置及存储器
JP2009276248A (ja) レーザレーダ装置
WO2021014799A1 (ja) 信号処理装置、信号処理方法
JP2023001122A (ja) 撮像装置
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서
JP6912449B2 (ja) 測距装置を有する物体監視システム
KR20200023927A (ko) 영상 처리 장치 및 영상 처리 방법
JP2000258154A (ja) 撮像装置
JP2002206919A (ja) ３次元形状計測装置および３次元形状計測方法
JP2020176956A (ja) 距離計測装置および距離計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination