CN112051559A - 用于补偿场景中的物体引起的杂散光的方法和装置 - Google Patents

用于补偿场景中的物体引起的杂散光的方法和装置 Download PDF

Info

Publication number
CN112051559A
CN112051559A CN202010505612.1A CN202010505612A CN112051559A CN 112051559 A CN112051559 A CN 112051559A CN 202010505612 A CN202010505612 A CN 202010505612A CN 112051559 A CN112051559 A CN 112051559A
Authority
CN
China
Prior art keywords
image
scene
time
flight camera
stray light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010505612.1A
Other languages
English (en)
Inventor
A·施恩莱博
D·卢基特施
H·波兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN112051559A publication Critical patent/CN112051559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及用于补偿场景中的物体引起的杂散光的方法和装置。提供了一种用于补偿由飞行时间相机感测的场景中的物体引起的杂散光的方法。该方法包括从飞行时间相机接收场景的图像。此外，该方法包括控制飞行时间相机使用码调制信号进行照射来捕获场景的参考图像，使得飞行时间相机的测量范围限于物体周围的距离范围。该方法附加地包括使用参考图像修改场景的图像或从其中导出的图像以获取场景的已补偿图像。该方法包括输出已补偿图像。

Description

用于补偿场景中的物体引起的杂散光的方法和装置
技术领域
本公开涉及用于飞行时间(ToF)感测的纠错。特别地，示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法和装置。
背景技术
高反射性物体(例如，路牌)会引起ToF相机进行错误的深度测量。来自高反射性物体的反射会引起错误的测量结果，这是由于来自高反射性物体的杂散光与由ToF相机感测的场景中其他物体反射的光发生了不期望的混合。
发明内容
因此，可能需要补偿场景中的来自物体的杂散光。
该需求可以通过所附权利要求的主题来满足。
一个示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法。该方法包括从ToF相机接收场景的图像。此外，该方法包括控制ToF相机使用码调制信号进行照射来捕获场景的参考图像，使得ToF相机的测量范围限于物体周围的距离范围。该方法还包括使用参考图像修改场景的图像或从其中导出的图像以获取场景的已补偿图像。该方法包括输出已补偿图像。
另一示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的装置。该装置包括被配置为从ToF相机接收场景的图像的输入电路。此外，该装置包括处理电路，该处理电路被配置为控制ToF相机使用码调制信号进行照射来捕获场景的参考图像，使得ToF相机的测量范围限于物体周围的范围。处理电路还被配置为使用参考图像修改场景的图像或从其中导出的图像以获取场景的已补偿图像。该装置包括被配置为输出已补偿图像的输出电路。
附图说明
装置和/或方法的一些示例将在下面仅通过示例的方式并且参考附图进行描述，在附图中
图1示出了用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法的示例的流程图；
图2示出了包括高反射性物体的场景的强度图像的示例；
图3示出了包括高反射性物体的场景的深度图像的示例；
图4示出了由场景中的高反射性物体的杂散光引起的相量的示例；
图5示出了由场景中的目标物体反射的光引起的相量的示例；
图6示出了由高反射性物体的杂散光和目标物体反射的光的叠加引起的相量的示例；
图7示出了用于码调制照射信号的自动相关函数的示例；以及
图8示出了用于补偿由ToF相机感测的场景中的物体引起的杂散光的装置的示例。
具体实施方式
现在将参考示出了一些示例的附图更全面地描述各种示例。在附图中，为了清楚起见，线、层和/或区域的厚度可能被放大。
因此，尽管其他示例能够具有各种修改和替代形式，但是其一些特定示例在附图中示出并且随后将详细描述。然而，该详细描述不将其他示例限于所描述的特定形式。其他示例可以涵盖落入本公开的范围内的所有修改、等同形式和替代形式。在整个附图的描述中，相同或相似的附图标记指代相似或相似的元素，这些元素可以彼此相同地或以修改的形式实现同时提供彼此相同或相似的功能。
将理解的是，当一个元件被称为“连接”或“耦合”到另一元件时，这些元件可以直接连接或耦合或者经由一个或多个中间元件。如果两个元素A和B使用“或”进行组合，则应当理解为公开所有可能的组合，即仅A、仅B以及A和B(如果没有另外明确或隐式定义)。相同组合的替代措词是“A和B中的至少一个”或“A和/或B”。必要的修改同样适用于两个以上元素的组合。
本文中出于描述特定示例的目的而使用的术语并不旨在限制其他示例。每当使用诸如“一个(a)”、“一个(an)”和“该(the)”等单数形式并且仅使用单个元素既未明确也未隐式定义为强制性的时，其他示例也可以使用多个元素来实现相同的功能。同样，当随后将功能描述为使用多个元素来实现时，其他示例可以使用单个元素或处理实体来实现相同的功能。还应当理解，术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”和/或“包括(including)”在使用时指定所述特征、整体、步骤、操作、过程、动作、元素和/或组件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、过程、动作、元素、组件和/或其任何组的存在或增加。
除非另有定义，否则本文中的所有术语(包括技术和科学术语)均以其在示例所属领域的普通含义来使用。
图1示出了用于补偿诸如来自由ToF相机感测的场景中的物体的杂散光等光反射的方法100的流程图。方法100包括从ToF相机接收102场景的图像。场景的图像可以是可以由ToF相机提供的任何类型的图像，诸如原始图像或从原始图像中导出的图像。在一些示例中，场景的图像可以是基于以上列出的图像之一并且针对ToF相机的一个或多个错误进行了纠错的图像。场景的图像可以是基于以上列出的图像之一与另一图像的组合(例如，使用不同频率的调制信号捕获的两个原始或深度图像的组合)的图像。
图2和3中示出了由ToF相机感测的场景的两个示例性图像200和300。图2示出了场景的强度图像200，并且图3示出了场景的对应的深度图像300。在详细描述其余方法100之前，出于教示原因，以下段落将介绍性地描述ToF深度测量的一些基础知识。
ToF相机包括用于用调制光(例如，红外光)照射场景的照射元件。照射元件基于诸如连续波调制信号等(电)调制射频信号来生成调制光(例如，通过基于调制信号来控制一个或多个发光二极管LED或一个或多个激光二极管)。被调制光照射的场景中的物体将调制光的至少一部分反射回ToF相机的光捕获元件(例如，包括光学器件、图像传感器和驱动器电子器件)。换言之，光捕获元件从物体接收反射光。
光捕获元件的图像传感器被像素化，并且每个像素测量反射光的一部分。因此，基于来自场景的反射光生成(电)测量信号。例如，每个像素可以包括用于测量反射光的光子混合器设备(PMD)。
取决于ToF相机与物体之间的距离dobj，即取决于深度，反射光相对于调制光的发射表现出延迟。因此，测量信号相对于调制的射频信号经历距离相关(深度相关)相移。
相应像素的调制信号和测量信号根据(自)相关函数
Figure BDA0002526422080000041
而相关，以便获取针对每个像素的相关值L。相关函数
Figure BDA0002526422080000042
模仿相位距离函数，该相位距离函数描述ToF相机的每个像素测量的距离dobj与相位值之间的关系。
相关函数
Figure BDA0002526422080000043
的输出是针对每个像素的相关值L。然后，将所确定的相关值L组合到原始图像(有时也称为“相位图像”)。也就是说，原始图像包括多个像素，每个像素表示对应的相关值L。
为了对相关函数
Figure BDA0002526422080000044
进行采样，生成多个原始图像。用于相关的调制信号与测量信号之间的相位偏移δ在个体原始图像之间变化。换言之，将不同的相位偏移δ用于使调制信号和测量信号相关，以便获取个体原始图像。
以相同的距离对相同的物体进行采样并且表现出相同的反射率使得能够对相关函数
Figure BDA0002526422080000051
进行采样。例如，可以使用0°、90°、180°和270°的相位偏移来生成四个原始图像，每个原始图像包括表示对应的相关值L0°、L90°、L180°和L270°的多个像素。
对于相位相关值L0°，相关函数
Figure BDA0002526422080000052
相对于该函数的自变量的零值移动了像素的测量信号与调制信号之间的距离相关相移
Figure BDA0002526422080000053
使用对相关函数
Figure BDA0002526422080000054
进行采样的四个相关值L0°、L90°、L180°和L270°，可以如下确定相移(相角)
Figure BDA0002526422080000055
Figure BDA0002526422080000056
考虑到光速c和发射光的调制频率fp(即，调制信号的调制频率)，到物体的距离dobj(即，深度)可以如下计算：
Figure BDA0002526422080000057
在图2和3中捕获的场景中，以非限制性方式采用路牌210的形式的高反射性物体被布置在白墙的前面。从图2所示的强度图像200可以看出，ToF相机从路牌210接收的光反射的强度非常高，这是由于路牌210的反射率很高。另外，可以看出，与强度图像200的其余部分相比，路牌被一种具有增强光强度的冠冕(corona)包围。冠冕是由高反射性路牌210的(强烈)杂散光引起的。在图3所示的深度图像300中，高反射性路牌210的杂散光在路牌210周围产生错误的深度测量值的冠冕。特别地，高反射性路牌210的杂散光导致对路牌210附近的背景中的白墙的错误的深度测量。虽然杂散光对图3所示的白墙的右上角的影响不是很大，但是杂散光对图3所示的白墙的左下角的影响很大。由于来自高反射性路牌210的杂散光与被白墙反射的光的不期望的光混合，来自高反射性路牌210的反射引起错误的测量。
这一点从图4至6所示的示例性相量中将变得更加明显。相量(也称为相位矢量)是表示ToF测量的复数。相量包括角度，该角度描述由ToF相机的光捕获元件基于来自场景的反射光而测量的测量信号相对于ToF相机的照射元件用于照射场景的调制射频信号的(深度/距离相关)相移。此外，相量包括描述测量信号的强度(即，来自场景的反射光的强度)的长度。由于相位的角度取决于深度/距离，因此感测相对于ToF相机处于不同距离的物体会使相量旋转。
可以从ToF相机的一个或多个原始图像中导出包括表示ToF相机的光捕获元件的个体像素的相量的像素的相量图像。因此，相量图像可以是从ToF相机的原始图像中导出的图像的示例。
图4示出了由图2和3所示的高反射性路牌210的杂散光引起的相量400。相量400表现出强度I1和角度α1。相量400表示用于高反射性路牌210周围的区域的ToF测量的误差分量，因为它表示高反射性路牌210的杂散光。
图5示出了仅由高反射性路牌210的背景中的白墙引起的相量500。相量500表现出强度I2和角度α2。相量500表示用于ToF测量的期望分量，因为它表示来自白墙的反射光，而不受高反射性路牌210的杂散光的影响。
图6示出了由ToF相机使用连续波信号进行照射而测量的相量600。相量600表现出强度I3和角度α3。从图6可以看出，相量600是相量400和相量500的叠加。换言之，相量600是由杂散光引起的相量400和用于白墙的正确相量500的矢量相加。
与上面针对路牌210的描述类似，诸如挡风玻璃、交通镜或汽车牌照等其他物体可能会引起强烈的杂散光，并且因此可以被理解为高反射性物体。
但是，杂散光不仅是由ToF相机感测的场景中的高反射性物体引起的。通常，反射“太多”光的任何物体都可能引起上述杂散光伪影(artefacts)。例如，(非常)靠近ToF相机的物体(诸如手或脸)可能将很多光反射回ToF相机，尽管它的反射性不强。也就是说，任何物体(无论其是否具有高反射性)都可能引起杂散光，从而导致错误的ToF测量。例如，如果ToF相机用于面部识别或手势识别应用(例如，感测车辆驾驶员的手以确定用户输入)，则被感测面部或用户的任何其他被感测身体部位可以靠近ToF相机，使得用户的脸部或其他身体部位引起由ToF相机捕获的杂散光。
再次参考图1，方法100可以允许补偿由ToF相机感测的场景中的物体(例如，高反射性物体或靠近ToF相机的物体)引起的杂散光。方法100包括控制104ToF相机使用码调制信号(而不是用于捕获场景的图像的连续波信号)进行照射来捕获场景的参考图像，使得ToF相机的测量范围限于引起杂散光的物体周围的距离范围。
编码调制用于将ToF相机的测量范围固定到物体周围的区域以便表征物体。对于编码调制，使用码调制信号而不是连续波调制信号进行照射。在码调制信号中，脉冲序列被改变。换言之，尽管连续波调制信号表现出一系列交替的相等长度(持续时间)的高脉冲和低脉冲，但是码调制信号表现出长度变化的脉冲。例如，Kasami码序列或m序列可以用于码调制信号。
用于照射的码调制信号的结果是，相关函数仅与相对于ToF相机从某个距离范围发出的反射光的常数值不同。换言之，仅在一定距离范围内从物体反射的光导致相关函数的值不同于常数值。就数学表达式而言，这可以表示如下：
Figure BDA0002526422080000071
其中c(d)表示相关函数，d表示反射光的物体到ToF相机的距离，a表示常数值，f(d)表示距离相关函数，dmin表示相关函数对反射光敏感的反射光的物体到ToF相机的最小距离，并且dmax表示相关函数对反射光敏感的反射光的物体到ToF相机的最大距离。
换言之，与连续波调制信号相比，对于码调制信号，相关函数的相关范围受到限制。相关函数对来自由ToF相机感测的物体反射的光敏感的相关范围定义了ToF相机的测量范围。也就是说，ToF相机的测量范围对应于相关函数输出距离相关输出值的相关函数的相关范围。
通过使用码调制信号进行照射来捕获场景使得ToF相机的测量范围限于引起杂散光的物体周围的距离范围内，可以表征场景中从物体发出的杂散光。例如，使用码调制信号进行照射而生成的场景的参考图像可以允许导出由路牌210的杂散光引起的不希望的相量400。
参考图像的像素指示(表示)基本与来自物体的光反射(杂散光)排他性地相关的参考值。换言之，参考图像的像素指示的值是仅(基本上)由来自物体的光反射(杂散光)引起的，而不是由诸如物体的周围环境中的物体等任何其他物体的光反射引起的。参考图像可以是例如参考原始图像或从其中导出的图像。例如，参考相量图像的像素仅指示与来自诸如图4所示的示例性相量400等物体的光反射(杂散光)相关的相量/由其引起的相量。因此，参考图像允许补偿场景的图像中的来自物体的杂散光的影响。
当修改106场景的图像或从其中导出的图像时，由场景的图像或从其中导出的图像的像素指示的值通过由参考图像的像素指示的参考值进行修改。例如，可以使用参考图像逐像素地修改场景的图像或从其中导出的图像。换言之，由场景的图像或从其中导出的图像的像素指示的值通过由位于参考图像中的相同或对应像素位置的像素指示的参考值进行修改。例如，可以从由场景的图像或从其中导出的图像的像素指示的值中减去由参考图像的像素指示的参考值。例如，参考值可以指示用于照射的码调制信号与由ToF相机基于来自场景的反射光而生成的测量信号之间的相移。参考值可以例如指示相量。换言之，可以通过从测量相量中减去杂散光相量来校正由物体的杂散光引起的错误相位。这可以通过从初始连续波图像的值中减去编码调制图像的相位值(例如，原始像素输出值)来进行。结果是已校正目标物体，该已校正目标物体不受物体的强烈反射的影响。然而，所提出的概念不限于从由场景的图像或从其中导出的图像的像素指示的值中减去参考值。通常，可以基于参考图像的像素以任何合适的方式来修改/调节/改变场景的图像或从其中导出的图像的像素。
方法100附加地包括输出108场景的已补偿图像。类似于以上针对场景的接收图像所描述的，场景的已补偿图像可以例如是原始图像或从原始图像中导出的图像，例如相角图像(包括表示从光捕获元件的相应像素的一个或多个相关值中导出的相移/相角的像素)、从相角图像中导出的图像、相量图像、从相量图像中导出的图像、强度图像、从强度图像中导出的图像、深度图像或从深度图像中导出的图像。
针对来自物体的光反射(杂散光)的影响对场景的已补偿图像进行校正。因此，在场景的已补偿图像中，至少可以减轻由场景的图像的像素表示的由ToF相机进行的错误测量。在一些示例中，场景的已补偿图像可以不受来自物体的光反射(杂散光)的影响。
在一些示例中，方法100还包括基于场景的图像确定物体引起(强烈的、太多的)杂散光。如上所述，为了捕获场景的图像，ToF相机使用连续波调制信号来照射场景，并且基于来自场景的反射光生成测量信号。场景的图像基于连续波调制信号与测量信号之间的根据相关函数的相关。确定物体引起杂散光可以例如包括基于场景的图像确定物体到ToF相机的距离。此外，确定物体引起杂散光可以包括将相关中的至少一个相关的相关值与阈值进行比较。相关值表示从物体接收的光的强度，并且与深度/距离相关。因此，阈值取决于物体到ToF相机的所确定的距离。如果相关值高于阈值，则确定物体引起(强烈的、太多的)杂散光。例如，可以捕获场景的常规四相ToF深度图像，并且可以通过其信号强度(即，相关的自相关函数的幅度)来检测场景中的高反射性表面。
此外，方法100可以包括调节调制码，使得码调制信号在反射表面的范围内像连续波函数一样相关。因此，方法100可以包括基于场景的图像确定物体到ToF相机的距离。此外，方法100可以包括基于物体到ToF相机的所确定的距离来调节码调制信号。
调节码调制信号可以例如包括基于物体到ToF相机的距离来选择多个预定义码调制信号之一。例如，多个预定义码调制信号中的每个可以被设计为覆盖相关函数的特定相关范围，即，ToF相机的特定测量范围。通过选择预定义码调制信号之一，可以将ToF相机的测量范围(基本上)限于物体，使得可以借助于所捕获的参考图像来表征物体的杂散光的影响。在备选示例中，可以基于物体到ToF相机的所确定的距离来动态地创建(生成)用于码调制信号的调制码，即码调制信号。受限的测量范围可以是例如前景、与使用场景的图像的应用无关的范围，或者是到物体的所确定的距离加上/减去预定义范围(例如，几厘米或几十厘米)。
例如，可以使用相移调制码来捕获四个不同的参考图像。这在图7中示例性地示出，图7描绘了相关的(相关联的)相关函数710、720、730和740。相关函数710、720、730和740的值仅与从相应距离范围内(即，用于第一码调制信号的第一距离范围、用于第二码调制信号的第二距离范围等)的物体反射的光的常数值不同。四个参考图像之间调制码的相移允许模仿在引起杂散光的表面(物体)的范围内的连续波自相关函数。
在一些示例中，可以获取四相ToF深度图像作为场景的图像，并且可以使用相移码调制信号获取四个原始图像以补偿物体的杂散光。在其他示例中，可以将编码调制测量缩小为两个图像(例如，相位偏移为0°和90°)。可以通过从0°和90°的相位偏移的编码调制图像中减去来自连续波测量(用于捕获场景图像)的相位值之和来计算180°和270°相位偏移的相位值，因为来自像素中的连续波测量的相位值之和定义原点。换言之，场景的图像可以是由ToF相机捕获的第一系列原始图像中的原始图像，或者是从第一系列原始图像中导出的。此外，参考图像可以是由ToF相机捕获的第二系列原始图像中的原始图像，或者是从第二系列原始图像中导出的。第一系列原始图像与第二系列原始图像相比包括更多的原始图像。
在一些示例中，调节码调制信号还可以基于关于在捕获场景的图像之后ToF相机的移动的信息。这可以允许补偿在捕获场景的图像与捕获场景的参考图像之间的ToF相机的位置和/或取向变化。关于ToF相机的移动的信息可以例如指示包括/保持ToF相机的元件的移动速度、包括/保持ToF相机的元件的转向(方向改变)等。例如，关于ToF相机的移动的信息可以由诸如全球定位系统(GPS)、伽利略、北斗或GLONASS)或惯性测量单元(IMU)等全球导航卫星系统(GNSS)提供。
使用参考图像来修改场景的图像或从其中导出的图像还可以包括通过缩放函数来缩放由参考图像的像素指示的参考值，以获取已缩放参考图像。此外，修改场景的图像或从其中导出的图像可以包括使用已缩放参考图像修改场景的图像或从其中导出的图像以获取已补偿图像。缩放由参考图像的像素指示的参考值可以用于补偿连续波测量与编码调制测量之间的差异。例如，可以将不同的曝光时间用于连续波测量和编码调制测量。此外，与编码调制测量相比，对于连续波测量，从场景接收的光的功率更高。通过缩放由参考图像的像素指示的参考值，可以补偿诸如以上示例性效果等效果。缩放函数可以例如是常数函数(即，是缩放因子)、取决于一个或多个参数的可变函数、映射函数或查找表。
方法100的第一结果是不受物体的强反射的影响的已校正目标物体。方法100的第二结果是不受背景影响的强反射器的深度和影响。这可以允许创建包括两个深度值(针对物体和物体的周围区域)以及针对每个像素的其相应信号(相关)强度的置信度图像。换言之，已补偿图像的至少一个像素可以基于使用参考图像对场景的图像或从其中导出的图像的修改来指示到ToF相机的距离，并且可以附加地指示引起杂散光的物体到ToF相机的距离。
在一些示例中，可以捕获并且组合处于不同照射频率(例如，60MHz和80MHz)的场景的图像以便实现远距离ToF测量。相同的码调制信号可以用于校正场景的两个图像。因此，方法100还可以包括从ToF相机接收场景的另一图像。场景的另一图像由ToF相机使用与用于捕获场景的(初始)图像的连续波调制信号相比表现出不同频率的连续波调制信号而对场景进行照射来捕获(例如，分别以60MHz和80MHz的调制频率获取两个图像)。此外，方法100可以包括使用参考图像修改场景的另一图像或从场景的另一图像中导出的图像以获取场景的另一已补偿图像(例如，如以上针对场景的图像所描述的)。场景的深度图像可以通过组合场景的已补偿图像和场景的另一已补偿图像来获取。
图8中进一步示出了根据所提出的概念的用于补偿由场景中的物体引起的杂散光的装置800的示例。装置800包括处理电路820。例如，处理电路820可以是单个专用处理器、单个共享处理器或多个个体处理器(其中一些或全部个体处理器可以共享)、数字信号处理器(DSP)硬件、专用集成电路(ASIC)或现场可编程门阵列(FPGA)。处理电路820可以可选地耦合到例如用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和/或非易失性存储器。装置800还可以包括其他硬件(常规的和/或定制的)。
装置800包括被配置为接收表示场景的图像和场景的参考图像的输入数据801的输入电路810。处理电路820根据上述概念处理输入数据801以补偿由场景中的物体引起的杂散光。因此，装置的输出电路830输出表示场景的已补偿图像的输出数据802。
例如，装置800的功能可以在耦合到提供图像的ToF相机模块的应用处理器中或在ToF相机模块本身中实现。
本文中描述的示例可以总结如下：
一些示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法。该方法包括从ToF相机接收场景的图像。此外，该方法包括控制ToF相机使用码调制信号进行照射来捕获场景的参考图像使得ToF相机的测量范围限于物体周围的距离范围。该方法还包括使用参考图像修改场景的图像或从其中导出的图像以获取场景的已补偿图像。该方法包括输出已补偿图像。
根据一些示例，场景的图像是原始图像或从原始图像中导出的图像之一。
在一些示例中，该方法还包括基于场景的图像确定物体引起杂散光。
根据一些示例，为了捕获场景的图像，ToF相机使用连续波调制信号照射场景并且基于来自场景的反射光生成测量信号。场景的图像基于连续波调制信号与测量信号之间的根据相关函数的相关。确定物体引起杂散光包括：基于场景的图像确定物体到ToF相机的距离；将相关中的至少一个相关的相关值与阈值进行比较，其中阈值取决于物体到ToF相机的所确定的距离；以及如果相关值高于阈值，则确定物体引起杂散光。
在一些示例中，该方法还包括基于场景的图像确定物体到ToF相机的距离；以及基于物体到ToF相机的所确定的距离调节码调制信号。
根据一些示例，调节码调制信号包括基于物体到ToF相机的距离选择多个预定义码调制信号之一。
在一些示例中，调节码调制信号还基于关于在捕获场景的图像之后ToF相机的移动的信息。
根据一些示例，使用参考图像来修改场景的图像或从其中导出的图像包括从由场景的图像或从其中导出的图像的像素指示的值中减去由参考图像的像素指示的参考值。
在一些示例中，参考值指示码调制信号与由ToF相机基于来自场景的反射光而生成的测量信号之间的相移。
根据一些示例，参考值指示相量。
在一些示例中，使用参考图像修改场景的图像或从其中导出的图像包括：通过缩放函数缩放由参考图像的像素指示的参考值以获取已缩放参考图像；以及使用已缩放参考图像修改场景的图像或从其中导出的图像以获取已补偿图像。
根据一些示例，场景的图像是由ToF相机捕获的第一系列原始图像中的原始图像，或者是从第一系列原始图像中导出的。参考图像是由ToF相机捕获的第二系列原始图像中的原始图像，或者是从第二系列原始图像中导出的。第一系列原始图像与第二系列原始图像相比包括更多的原始图像。
在一些示例中，已补偿图像的至少一个像素基于使用参考图像对场景的图像或从其中导出的图像的修改来指示到ToF相机的距离，并且附加地指示物体到ToF相机的距离。
根据一些示例，该方法还包括：从ToF相机接收场景的另一图像，其中场景的另一图像是由ToF相机使用与用于捕获场景的图像的连续波调制信号相比表现出不同频率的连续波调制信号照射场景来捕获的；使用参考图像修改场景的另一图像或从其中导出的图像以获取场景的另一已补偿图像；以及将场景的已补偿图像与场景的另一已补偿图像组合获取场景的深度图像。
其他示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的装置。该装置包括被配置为从ToF相机接收场景的图像的输入电路。此外，该装置包括处理电路，该处理电路被配置为控制ToF相机使用码调制信号进行照射来捕获场景的参考图像，使得ToF相机的测量范围限于物体周围的范围。处理电路还被配置为使用参考图像修改场景的图像或从场景的图像中导出的图像以获取场景的已补偿图像。该装置包括被配置为输出已补偿图像的输出电路。
其他示例涉及一种用于补偿由ToF相机感测的场景中的物体引起的杂散光的另一装置。该装置包括用于从ToF相机接收场景的图像的装置。此外，该装置包括用于控制ToF相机使用码调制信号进行照射来捕获场景的参考图像使得ToF相机的测量范围限于物体周围的范围的装置。另外，该装置包括用于使用参考图像修改场景的图像或从其中导出的图像以获取场景的已补偿图像的装置。该装置包括用于输出已补偿图像的装置。
示例涉及一种其上存储有具有程序代码的程序的非暂态机器可读介质，当该程序在处理器或可编程硬件上执行时，该程序代码用于执行如本文所述的用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法。
其他示例涉及一种具有程序代码的程序，当该程序在处理器或可编程硬件上执行时，该程序代码用于执行如本文所述的用于补偿由ToF相机感测的场景中的物体引起的杂散光的方法。
根据所提出的概念的示例可以允许对ToF相机进行连续波和编码调制测量的表面误差校正。
说明书和附图仅示出了本公开的原理。此外，本文中列举的所有示例原则上明确地仅旨在用于说明目的，以帮助读者理解本公开的原理以及发明人为进一步发展本领域而贡献的概念。本文中引用本公开的原理、方面和示例的所有陈述以及其特定示例旨在涵盖其等同形式。
框图例如可以示出实现本公开原理的高级电路图。类似地，流程图表、流程图、状态转换图、伪代码等可以表示各种过程、操作或步骤，其例如可以基本上在计算机可读介质中表示并且因此由计算机或处理器执行，而无论这样的计算机或处理器是否明确示出。说明书或书中公开的方法可以由具有用于执行这些方法的相应动作中的每个动作的模块的设备来实现。
应当理解，说明书或权利要求书中公开的多个动作、过程、操作、步骤或功能的公开可以不被解释为在特定顺序内，除非例如出于技术原因而明确或隐含地另外声明。因此，多个动作或功能的公开将不会将它们限于特定的顺序，除非这些动作或功能出于技术原因而不可互换。此外，在一些示例中，单个动作、功能、过程、操作或步骤可以分别包括或可以分别分为多个子动作、子功能、子过程、子操作或子步骤。除非明确排除，否则这样的子动作可以被包括在该单个动作的公开内，并且是该单个动作的公开的一部分。
此外，以下权利要求据此被并入详细描述中，其中每个权利要求可以独立地作为单独的示例。尽管每个权利要求可以独立地作为单独的示例，但是应当注意，尽管从属权利要求在权利要求中可以引用与一个或多个其他权利要求的特定组合，但是其他示例也可以包括从属权利与每个其他从属或独立权利要求的主题的组合。这样的组合在本文中明确提出，除非指出并非意图特定的组合。此外，意图在于，将权利要求的特征也包括到任何其他独立权利要求中，即使该权利要求没有直接依赖于该独立权利要求。

Claims (15)

1.一种用于补偿由飞行时间相机感测的场景中的物体引起的杂散光的方法(100)，所述方法包括：
从所述飞行时间相机接收(102)所述场景的图像；
控制(104)所述飞行时间相机使用码调制信号进行照射来捕获所述场景的参考图像，使得所述飞行时间相机的测量范围限于所述物体周围的距离范围；
使用所述参考图像修改(106)所述场景的所述图像或从所述场景的所述图像中导出的图像，以获取所述场景的已补偿图像；以及
输出(108)所述已补偿图像。
2.根据权利要求1所述的方法，其中所述场景的所述图像是原始图像或从所述原始图像中导出的图像之一。
3.根据权利要求1或2所述的方法，还包括：
基于所述场景的所述图像确定所述物体引起杂散光。
4.根据权利要求3所述的方法，其中为了捕获所述场景的所述图像，所述飞行时间相机使用连续波调制信号照射所述场景并且基于来自所述场景的反射光生成测量信号，其中所述场景的所述图像基于所述连续波调制信号与所述测量信号之间的根据相关函数的相关，并且其中确定所述物体引起杂散光包括：
基于所述场景的所述图像确定所述物体到所述飞行时间相机的距离；
将所述相关中的至少一个相关的相关值与阈值进行比较，其中所述阈值取决于所述物体到所述飞行时间相机的所确定的距离；以及
如果所述相关值高于所述阈值，则确定所述物体引起杂散光。
5.根据权利要求1至4中任一项所述的方法，还包括：
基于所述场景的所述图像确定所述物体到所述飞行时间相机的距离；以及
基于所述物体到所述飞行时间相机的所确定的距离调节所述码调制信号。
6.根据权利要求5所述的方法，其中调节所述码调制信号包括：基于所述物体到所述飞行时间相机的所述距离选择多个预定义码调制信号中的一个预定义码调制信号。
7.根据权利要求5或6所述的方法，其中调节所述码调制信号还基于关于在捕获所述场景的所述图像之后所述飞行时间相机的移动的信息。
8.根据权利要求1至7中任一项所述的方法，其中使用所述参考图像修改(106)所述场景的所述图像或从所述场景的所述图像中导出的图像包括：
从由所述场景的所述图像或从所述场景的所述图像中导出的图像的像素指示的值中减去由所述参考图像的像素指示的参考值。
9.根据权利要求8所述的方法，其中所述参考值指示所述码调制信号与由所述飞行时间相机基于来自所述场景的反射光而生成的测量信号之间的相移。
10.根据权利要求8所述的方法，其中所述参考值指示相量。
11.根据权利要求1至10中任一项所述的方法，其中使用所述参考图像修改(106)所述场景的所述图像或从所述场景的所述图像中导出的图像包括：
通过缩放函数缩放由所述参考图像的像素指示的参考值以获取已缩放参考图像；以及
使用所述已缩放参考图像修改所述场景的所述图像或从所述场景的所述图像中导出的图像以获取所述已补偿图像。
12.根据权利要求1至11中任一项所述的方法，其中所述场景的所述图像是由所述飞行时间相机捕获的第一系列原始图像中的原始图像或者是从所述第一系列原始图像中导出的，其中所述参考图像是由所述飞行时间相机捕获的第二系列原始图像中的原始图像或者是从所述第二系列原始图像中导出的，其中所述第一系列原始图像与所述第二系列原始图像相比包括更多的原始图像。
13.根据权利要求1至12中任一项所述的方法，其中所述已补偿图像的至少一个像素基于使用所述参考图像对所述场景的所述图像或从所述场景的所述图像中导出的图像的所述修改来指示到所述飞行时间相机的距离，并且附加地指示所述物体到所述飞行时间相机的距离。
14.根据权利要求1至13中任一项所述的方法，还包括：
从所述飞行时间相机接收所述场景的另一图像，其中所述场景的所述另一图像是由所述飞行时间相机使用与用于捕获所述场景的所述图像的连续波调制信号相比表现出不同频率的连续波调制信号照射所述场景来捕获的；
使用所述参考图像修改所述场景的所述另一图像或从所述场景的所述另一图像中导出的图像以获取所述场景的另一已补偿图像；以及
将所述场景的所述已补偿图像与所述场景的所述另一已补偿图像组合以获取所述场景的深度图像。
15.一种用于补偿由飞行时间相机感测的场景中的物体引起的杂散光的装置(800)，所述装置包括：
输入电路(810)，被配置为从所述飞行时间相机接收所述场景的图像；
处理电路(820)，被配置为：
控制所述飞行时间相机使用码调制信号进行照射来捕获所述场景的参考图像，使得所述飞行时间相机的测量范围限于所述物体周围的范围；以及
使用所述参考图像修改所述场景的所述图像或从所述场景的所述图像中导出的图像以获取所述场景的已补偿图像；以及
输出电路(830)，被配置为输出所述已补偿图像。
CN202010505612.1A 2019-06-06 2020-06-05 用于补偿场景中的物体引起的杂散光的方法和装置 Pending CN112051559A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19178782.9A EP3748395B1 (en) 2019-06-06 2019-06-06 Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
EP19178782.9 2019-06-06

Publications (1)

Publication Number Publication Date
CN112051559A true CN112051559A (zh) 2020-12-08

Family

ID=66776228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010505612.1A Pending CN112051559A (zh) 2019-06-06 2020-06-05 用于补偿场景中的物体引起的杂散光的方法和装置

Country Status (3)

Country Link
US (1) US11686828B2 (zh)
EP (1) EP3748395B1 (zh)
CN (1) CN112051559A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714286B1 (en) * 2002-12-06 2004-03-30 Itt Manufacturing Enterprises, Inc. Agile pseudo-noise coded ranging ladar
US8964028B2 (en) * 2009-12-21 2015-02-24 Mesa Imaging Ag Stray light compensation method and system for time of flight camera systems
GB201320369D0 (en) * 2013-11-19 2014-01-01 Secr Defence A method of assessing sensor performance
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors

Also Published As

Publication number Publication date
EP3748395A1 (en) 2020-12-09
EP3748395B1 (en) 2023-01-04
US20200386874A1 (en) 2020-12-10
US11686828B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
EP3715907B1 (en) Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US20210383560A1 (en) Depth measurement assembly with a structured light source and a time of flight camera
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US10510149B2 (en) Generating a distance map based on captured images of a scene
US9389069B2 (en) Compact 3D depth capture systems
US20180089847A1 (en) Time-of-flight (tof) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
Hussmann et al. Real-time motion artifact suppression in tof camera systems
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
JP2018522235A (ja) 撮影デバイス及び奥行き情報を取得するための方法
WO2017030507A1 (en) Generating a disparity map having reduced over-smoothing
KR101300350B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP7149941B2 (ja) 装置および方法
US7821651B2 (en) Apparatus and method for measuring distances
CN112051559A (zh) 用于补偿场景中的物体引起的杂散光的方法和装置
Oggier et al. Miniature 3d tof camera for real-time imaging
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
CN112655022B (zh) 图像处理装置和图像处理方法
EP3543741A1 (en) Light modulating lidar system
US20210018627A1 (en) Method and Apparatus for Determining Relative Motion between a Time-of-Flight Camera and an Object in a Scene Sensed by the Time-of-Flight Camera
CN113126105A (zh) 三维测距方法和装置
EP3879303A1 (en) Method and apparatus for time-of-flight sensing
JP2021517256A (ja) マルチカメラ環境向けに最適化された飛行時間測定ビジョンカメラ
US20210270946A1 (en) Time-of-flight measurement with background light correction
TWI444597B (zh) 距離測量裝置與方法
CN116601458A (zh) 信息处理装置、信息处理方法及信息处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination