CN110494763B - 飞行时间相机 - Google Patents

飞行时间相机 Download PDF

Info

Publication number
CN110494763B
CN110494763B CN201880023794.XA CN201880023794A CN110494763B CN 110494763 B CN110494763 B CN 110494763B CN 201880023794 A CN201880023794 A CN 201880023794A CN 110494763 B CN110494763 B CN 110494763B
Authority
CN
China
Prior art keywords
illumination
light
tof camera
scene
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880023794.XA
Other languages
English (en)
Other versions
CN110494763A (zh
Inventor
Z·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110494763A publication Critical patent/CN110494763A/zh
Application granted granted Critical
Publication of CN110494763B publication Critical patent/CN110494763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种连续波飞行时间(CW‑TOF)相机，其在曝光时间段期间以相机发射光来照明其成像的场景的结构化光的调制频率调制其光电传感器的灵敏度，但是相对于所述经发射的光的相位相移达由N个扰动相位偏移λn＝2π(n‑1)/N(1≤n≤N)序列修改的采样相位偏移，并与扰动相移序列同步修改结构光以在确定距场景中的各特征的距离时减少由于多径干扰而产生的误差。

Description

飞行时间相机
背景
“连续波”飞行时间(TOF)相机(CW-TOF)发射电磁辐射的“连续波”(可选地为红外(IR)光)，具有周期性地调制以照明相机图像的场景的强度。由场景中的给定特征反射自发射光而后到达相机的光是具有与发射光相同的调制的反射光波，但在相位方面迟滞了传播相位延迟 是光从相机传播到给定特征并传播返回相机的往返时间tR的函数，并因此是距该特征的距离“d”的函数。相机针对多个曝光时间段中的每个曝光时间段将被给定特征反射的光成像在光电传感器的像素上以累积电荷，即成像光在曝光时间段期间在像素中生成的“光电荷”。针对每个曝光时间段，以相对于相机发射的光的调制相位不同的采样相位偏移来调制光电传感器对光的灵敏度。针对给定采样相位偏移累积的光电荷的量与同采样相位偏移相关联的曝光时间段和反射光的卷积成正比，并且是传播相位延迟/>的函数。CW-TOF相机处理针对不同采样相位偏移的累积光电荷以确定/>并由此确定距特征的距离“d”。
概述
本公开的实施例的一个方面涉及提供一种CW-TOF相机，其在相机确定距该相机成像的场景中的给定特征的相位延迟和距离d方面对由多径干扰(MPI)生成的误差具有降低的敏感性。
在一个实施例中，针对CW-TOF相机用于确定传播相位延迟并由此确定距该相机成像的场景中的各特征的距离的每个采样相位偏移，相机在曝光时间段期间累积光电荷，针对该曝光时间段采样相位偏移被“扰动相位偏移”序列修改。相机将扰动相位偏移序列与相机发射以照明场景的结构化光的调制进行同步，使得MP光对为场景中各特征累积的光电荷和采样相位偏移的贡献基本上独立于采样相位偏移。结果，CW-TOF相机的特征在于增强了针对由MPI对于场景中的特征的传播相位延迟/>和距离d方面生成的误差的抵抗力。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
附图说明
下面将参考在此所附的在此段落之后列出的附图来描述本公开的实施例的非限制性示例。在多于一幅附图中出现的相同特征通常在其出现的所有附图中都以相同的标签来标记。标记表示附图中的本公开的实施例的给定特征的图标的标签可被用于引用该给定的特征。附图中所示的特征的尺寸是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A示意性地示出了在不存在多径干扰(MPI)的情况下确定距场景中的各特征的距离的CW-TOF相机；
图1B示意性地示出了图1A中所示的CW-TOF相机，该相机在存在MPI的情况下确定距场景中的各特征的距离；以及
图2示出了根据本公开的实施例的CW-TOF相机，其被配置成表现出对于确定距图1A和1B所示的场景中的各特征的距离的MPI误差的增强的抵抗力。
详细描述
来自CW-TOF相机成像在光电传感器像素上的场景中的给定特征的反射光不限于直接从相机光源传播到给定特征并传播回相机的“直射光”。来自给定特征的反射光在被给定特征反射到CW-TOF相机之前，可能已从场景中的另一特征被“反弹”到给定特征。来自其他特征的反弹光比直射光行进到相机的路径更长，称为“多径”，并因此与直射光相比具有不同的且更大的传播相位延迟。由入射在像素上的多径(MP)光生成的光电荷因此污染由入射在像素上的直射光生成的光电荷并归因于MPI而在相位延迟和距相机确定的给定特征的距离d方面生成误差。
在下文的讨论中，将参考图1A讨论CW-TOF相机的操作，图1A例示了CW-TOF相机对场景进行成像以在不存在MPI的情况下获取提供距场景的各特征的距离的场景的范围图像。参考图1B讨论了MPI及其对确定传播相位延迟和距场景中的各特征的距离的影响，其示意性地显示了图1A中所示的CW-TOF相机对同一场景进行成像，但在存在MPI的情况下。参考图2讨论根据本发明的实施例配置CW-TOF相机的结构和操作以减少传播相位延迟/>和基于/>的距离方面的MPI误差。
在讨论中，除非另有说明，否则修改本公开的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成是指该条件或特性被限定在对该实施例所意图的应用而言可接受的该实施例的操作的容差以内。除非另外指示，本说明书和权利要求书中的单词“或”被认为是包含性“或”而不是排他性或，并且指示其结合的各项目中的至少一项或不止一项的组合。
图1A示意性地示出了CW-TOF相机20操作以确定距场景30中各特征的距离，该场景30可选地具有对象31和32。非常示意性地表示的CW-TOF相机20包括由镜头21表示的光学系统和具有像素23的行和列的阵列的光电传感器22，光学系统21在该阵列上对场景30的各特征进行成像。光电传感器22中的给定像素23可被指定为p(i,j)，其中“i”和“j”是分别指示该像素在光电传感器22中的位置的行和列的索引。CW-TOF相机20成像在像素p(i,j)上的场景30中的特征可被称为特征f(i,j)，和/或由参考标记来指代。CW-TOF相机20可包括光源24、振荡器26、移相器27和控制被包括在CW-TOF相机中的各组件的控制器25。
为了获取场景30的范围图像，控制器25控制CW-TOF相机20获取场景30的多个K图像，每个K图像位于多个K采样相位偏移(1≤k≤K)的不同采样相位偏移ψk处，其中ψk等于2π(k-1)/K，其中k和K是整数。对于K图像中的第k个图像，控制器25控制振荡器26以提供具有角频率ωk的频率信号，并控制光源24以由振荡器提供的角频率发射经连续调制的光。由光源24发射的光由波浪线40示意性地表示，该波浪线40具有指示发射光的传播的方向的箭头。在用光40照明场景30的同时，控制器25打开光电传感器22达曝光时间段“Exk”以记录场景30中各特征从发射光40反射回相机20并由光学系统21成像在光电传感器22的像素23上的光。在曝光时间段期间，控制器25以由振荡器26提供的角频率ωk调制光电传感器22的灵敏度，但是控制移相器27以相对于发射光40的调制相位将光电传感器的调制相位相移采样相位偏移ψk。可选地，角频率ωk对于所有的k值都是相同的，并且在下文中为了便于表示而被假定为等于角频率“ω”。
光电传感器22中的像素23通过以下来记录曝光时间段“Exk”期间反射自由光学系统21成像在像素上的场景30中的特征的光：累积该光在曝光时间段期间在像素中生成的光电荷。作为示例，图1A分别示意性地示出了对象31和32的特征131和132，其将来自光40的光反射回CW-TOF相机20。来自特征131的反射光示意性地由波浪线41表示，该波浪线41具有指示光的传播方向的箭头，该光由光学系统21成像在像素23(p(i,j))上，该像素在光电传感器22中被指定为像素231。像素231累积的光电荷的量与反射光41和灵敏度曝光时间段Exk的卷积成正比。卷积是采样相位偏移ψk和传播延迟的函数，传播延迟/>是光从光源24行进到特征131并返回到CW-TOF相机20的往返时间tR所导致的。在符号中，其中tR(131)是光从光源24行进到特征131并返回相机的往返时间。由于tR(131)等于2d(131)/c，其中d(131)是从CW-TOF相机20到特征131的距离，而c是光速，因此传播相位延迟/>也等于2ωd(131)/c。类似地，来自特征132的反射光由波浪线42和方向箭头示意性地表示，其由光学系统21成像在像素232上，并且像素232在曝光时间段Exk期间为特征132累积的光电荷的量与反射光42和曝光时间段的卷积成正比。卷积是采样相位偏移ψk和传播相位延迟/> 的函数，相位延迟/>因特征132更靠近CW-TOF相机20而小于/>
在每个曝光时间段Exk的结尾，控制器25读取光电传感器22以获取针对采样相位偏移ψk的光电传感器的帧。该帧包括表示针对分别被成像在各像素上的场景30的各特征在曝光时间段Exk期间由光电传感器22中的像素23记录的累积的光电荷和相应的反射光的量的电压。控制器25可处理各帧为所有K采样相位偏移ψk(1≤k≤K)提供的电压，以提取像素23的各像素p(i,j)的传播相位延迟和成像在像素p(i,j)上的各特征f(i,j)的相关距离，如下所述。
在曝光时间段Exk期间的发射光40，反射光(诸如，由特征131和132反射自发射光40的光41和42)以及光电传感器22中各像素的调制灵敏度都是周期函数，并且每个都可有利地被表示为傅立叶余弦级数。在曝光时间段Exk期间作为时间的函数的发射光40的强度可因此被表示为
而在曝光时间段Exk期间由CW-TOF相机20成像在像素23的给定像素p(i,j)上的场景30中的特征f(i,j)反射自光40的光的强度可被表示为
如果在曝光时间段Exk期间光电传感器22中的像素23的灵敏度由表示，则像素p(i,j)的Rk(i,j,t)和Sk(t)的卷积CVk(i,j)≡Sk(t)*Rk(i,j,t)可被表示为，
然后，如果Vk(i,j)是光电传感器22的一帧中的电压，其表示在曝光时间段Exk之后获取的在曝光时间段Exk期间由像素p(i,j)累积的光电荷的量，则Vk(i,j,ψk)可被写为
其中α是比例系数。
由于发射光40的强度以单个主导调制频率为特征和/或可有利地忽略主导频率的谐波，故发射光40可用以下表达式来近似，
而来自成像在像素p(i,j)上的场景30中的特征f(i,j)的光用以下表达式来有利地近似，
假设在曝光时间段Exk期间光电传感器22的灵敏度调制可被表达为，
则曝光时间段Exk与由场景30中的并被成像在像素23p(i,j)上的特征f(i,j)反射的光Rk(i,j,t)的卷积就变为，
电压表示在曝光时间段期间由p(i,j)累积的光电荷，
其可被写为以下形式，
控制器25可根据以下表达式来确定被成像在像素p(i,j)上的特征f(i,j)的传播相位延迟
并根据下式来确定距特征f(i,j)的距离d(i,j)，
借助于特定示例，控制器25可为CW-TOF相机20成像在像素231上的对象31的特征131确定传播相位延迟
以及距该特征的距离，
上面参考图1A中的各特征进行的讨论假定不存在MPI，并因此，像素232在曝光时间段Exk期间所累积的光电荷的量仅由场景30中的各特征反射自直射光(即从光源24直接到达各特征的光)的光来生成。但是，通常，由CW-TOF相机中各像素累积的光电荷通常会被MP光生成的光电荷所污染。
图1B作为示例示意性地示出了在存在MPI的情况下CW-TOF相机20对场景30进行成像。该图例示了MPI可如何影响在光电传感器22的曝光时间段Exk期间，CW-TOF相机20将来自特征131的反射光成像在其上的像素231所累积的光电荷。
图1B示意性地示出了由光源24发射并入射到对象32的特征132、以及例如特征132(1)和132(2)上的光40中的一些没有被直接反射回CW-TOF相机20以对各特征进行成像，而是被反射到照明特征131。从特征132、132(1)和132(2)反射到照明特征131的光是MP光，其从光源24到特征131行进了多个不同的路径段，并分别由虚线波浪线42*、132(1)*和132(2)*表示。入射到特征131上的一些MP光42*、132(1)*和132(2)*被特征131反射到CW-TOF相机20并与由特征反射自光源24的直射光一起被成像在像素231上。
由特征131反射自发射光40的直接照明CW-TOF相机成像在像素231上的特征131的光在图1B中并在图1A中由光41表示。而MP光42*、132(1)*和132(2)*以多径方式从光源24行进到特征31，并且来自被特征131反射到CW-TOF相机20的每个多径的光通常以不同的传播相位延迟到达像素231，为了便于演示，被特征131反射的MP光在图1B中用相同的虚线波形线41*共同表示。在图1B中，光41*被显示为移到光41的后方，以指示反射的MP光41*被传播相位延迟所迟滞，该传播相位延迟大于表征直射光41的传播相位延迟。
假定CW-TOF相机20成像在像素p(i,j)上的场景30中的给定特征f(i,j)接收到场景中的特征f(i′,j′)(其中i′≠i或j′≠j)反射自发射光40的MP光。当特征f(i,j)在曝光时间段Exk期间将其接收到的MP光反射到CW-TOF相机20时，反射的MP光对在曝光时间段期间由像素p(i,j)累积的光电荷有贡献，并从而对表示所累积的光电荷的电压Vk(i,j,ψk)有贡献。因为由入射在像素上的光在光电传感器像素p(i,j)中生成的光电荷通常是入射光的线性函数，故而在曝光时间段Exk期间由像素p(i,j)累积的光电荷的量是由入射到该像素上的经反射的直射光和经反射的MP光生成的光电荷的总和。作为示例，对于图1B所示的特征131，在曝光时间段Exk期间入射光在像素231中生成的光电荷可以是由经反射的直射光41和经反射的MP光41*生成的光电荷的总和。如上所述，反射光41*包括反射自分别从特征132(1)、132(2)和132到达特征131的MP光132(1)*、132(2)*和41*的光。
因此，对于由CW-TOF相机20成像在像素p(i,j)上的特征f(i,j)，表示在曝光时间段Exk期间由像素累积的光电荷的Vk(i,j,ψk)是电压Vk(i,j,ψk)D和电压Vk(i,j,ψk)mp的总和，电压Vk(i,j,ψk)D表示响应于由f(i,j)反射并由CW-TOF相机20成像在像素p(i,j)上的直射光而累积的光电荷，而电压Vk(i,j,ψk)mp表示响应于由f(i,j)反射并由相机成像在像素p(i,j)上的MP光而累积的光电荷，“MP光电荷”。电压Vk(i,j,ψk)可因此由以下表达式给出
Vk(i,j,ψk)＝Vk(i,j,ψk)D+Vk(i,j,ψk)mp (15)
在表达式(15)中，Vk(i,j,ψk)D由上面的表达式(10)给出并可被写为：
电压Vk(i,j,ψk)mp可类似地由以下表达式给出
其中表达式(17)中的总和是在曝光时间段Exk期间用MP光照明特征f(i,j)的特征f(i′,j′)的索引上作出的。表达式(17)中的相位是来自特征f(i′,j′)的MP光在从CW-TOF相机20到f(i′,j′)、从f(i′,j′)到f(i,j)、并从f(i,j)回到CW-TOF相机20的传播中经历的传播相位延迟。
从表达式(17)容易看出，经反射的MP光将MP光电荷添加到由来自特征f(i,j)的经反射的直射光生成的光电荷中，并在传播相位延迟方面生成误差，从而在CW-TOF相机20可基于传播相位延迟来确定的距特征f(i,j)的距离方面生成误差。
图2示意性地示出了根据本公开的实施例的CW-TOF相机200，其被配置成减少由于MP光电荷引起的误差。CW-TOF 200可选地包括与CW-TOF相机20中包括的组件类似的组件，但可具有代替CW-TOF 20中包括的控制器25的控制器225，以及此外还可具有光学图案生成器28。CW-TOF相机200被示为对图1A和1B中所示的场景30进行成像。
为了提供场景30的范围图像，控制器225操作CW-ToF相机200以在光电传感器22的K个曝光时间段Exk(1≤k≤K)中的每个曝光时间段Exk期间获取场景的图像，其中控制器控制振荡器26和光源24发射以频率ω调制的光40来照明场景。对于第K个曝光时间段Exk，控制器225控制光电传感器22和移相器27以频率ω调制像素p(i,j)的灵敏度，但是相位偏移达由N个“扰动相位偏移”λn(1≤n≤N)序列修改的采样相位偏移ψk，其中ψk＝2π(k-1)/K)，其中λn＝2π(n-1)/N，并且n和N为整数。对于采样相位偏移ψk，控制器225可在曝光时间段Exk期间针对N个相等的扰动时间段τn(1≤n≤N)序列调制光电传感器22的灵敏度，其中光电传感器22针对时间段τn的灵敏度等于下式，
Sk,n(t)＝[So+S1cos(ωt+ψk+λn)]。 (18)
在曝光时间段Exk期间，控制器225还控制光学图案生成器28以调制发射光40以便生成照明场景30的结构化光400并在产生该场景中的特征f(i,j)的相应结构化照明图案。结构化照明图案包括场景30的多个区域，以下也称为照明区块。照明区块可以具有相同或不同的类型。在曝光时间段Exk期间，结构化光400对不同类型的照明区块中的场景30的特征f(i,j)进行不同的照明。在曝光时间段期间，相同照明区块中的特征f(i,j)和相同类型的不同照明区块中的特征f(i,j)被相似地照明。照明区块可以是离散照明区块，离散照明区块在由CW-TOF相机200成像的场景中由相对清晰的边界界定和分隔，并且照明在跨边界处表现出相对突然的变化。照明区块可以是连续照明区块，连续照明区块不表现出相对清晰的边界，并且照明在跨边界处表现出相对突然的变化。例如，场景30中的连续照明区块可表现出照明的变化，该变化是以照明强度或波长的连续空间梯度来表征的相对渐进的位置函数。例如，可通过场景30的不同区域的照明的时间依赖性变化来生成梯度，该梯度是区域位置的连续函数的而不是区域位置的离散函数。
不同的连续照明区块可通过不同的参数来表征，诸如时间发展的相位，其定义表征它们分别从结构化光400接收的照明的函数。
结构化照明图案同时包括至少两种不同类型的照明区块。例如，光学图案生成器28提供的结构化光400可生成结构化的照明图案，该结构化的照明图案同时包括两种不同类型的照明区块——亮照明区块和暗照明区块，与暗照明区块相比，亮照明区块具有的特征f(i,j)从图案生成器28接收到更多的光。亮和暗照明区块可包括照明特征f(i,j)的亮条和非照明特征f(i,j)的暗条，该亮条与暗条相互交错。亮和暗照明区块可包括特征f(i,j)的更亮和更暗的“岛”的斑点图案或更亮和更暗区域的瓦块。结构化照明图案可包括两个以上的照明区块，并且可例如具有三个照明区块，每个照明区块从图案生成器28接收不同强度或波长的发射光。在图2中，作为示例，示出了光学图案生成器28生成结构化光400，该结构化光400产生结构化照明图案29，该结构化照明图案29包括分别为亮带29-1和暗带29-2的离散照明区块。
图案生成器28可以是用于生成结构化光的各种设备中的任何一种，并且可例如包括微镜阵列、液晶单元阵列和/或光学扫描器，所述光学扫描器被配置成接收光40并引导接收到的光的部分以生成用所需的结构化照明图案照明场景30的结构化光。替换地和/或附加地，光源40可包括独立可控的激光器和/或发光二极管(LED)的阵列，其可被控制器225控制以在场景30上生成期望的结构化照明图案。注意，根据本公开的一个实施例，虽然图2中所示的光源24和图案生成器28被讨论为单独的实体，但是术语光源可被用于一般地指可操作以提供结构化光来用结构化照明图案照明场景的任何光学装置。
根据一个实施例，在曝光时间段Exk期间，控制器225控制图案生成器28根据与扰动相位偏移λn序列同步的乘法光学图案修改器序列来修改结构化光400以修改给定照明区块中的光照明特征。不同类型的照明区块中的特征可用具有不同的光图案修改器序列的扰动相位偏移λn被同步地被照明。根据一个实施例，光学图案修改器的序列可以是不同的，因为它们是相同光学修改器的不同序列或不同光学修改器的序列。可以说光学图案修改器修改结构化光400或修改接收由光学图案修改器修改的结构化光的场景30中的各特征的相应照明。
令光学图案修改器的数量与不同扰动相位偏移的数量相同，并且该数量用Pz(1≤z≤Z)表示，其中Z＝N。具有不同的下标z的光学图案修改器可以具有相同的功能形式，但是它们由于在不同的扰动时间段τn期间被使用而被区分。由于光学图案修改器Pz的序列对于不同的照明区块是不同的，因此在曝光时间段Exk期间，哪个光学图案修改器Pz与给定的扰动相位偏移λn同步取决于照明区块以及扰动相位偏移两者。场景30中的给定特征f(i,j)在曝光时间段期间接收到的照明取决于其所位于的照明区块的类型，这是其索引(i,j)的函数。因此，如果I(i,j,n,t)400表示特征f(i,j)在曝光时间段Exk的扰动时间段τn期间接收到的光的强度，其中光电传感器22的灵敏度调制被相移了相位(ψk+λn)，则强度可被写为，
I(i,j,n,t)400＝Pz(i,j,n)(Io+I1cosωt), (18)
其中下标z的依赖性表示光学图案修改器Pz对索引n和照明区块的依赖性。
由特征f(i,j)反射自直接从光学图案生成器28到达该特征的光400并在曝光时间段Exk的时间段τn期间由CW-TOF相机20成像在像素p(i,j)上的直射光的强度可被写为，
来自照明特征f(i′,j′)的非直射MP光且由CW-TOF相机20成像在像素p(i,j)上的特征f(i′,j′)反射的光可被写为，
表示响应于来自CW-TOF相机200成像在像素p(i,j)上的特征f(i,j)的直射光和MP光的卷积由像素p(i,j)累积的光电荷的电压Vk(i,j,ψk)是，如由表达式(15)给出的，Vk(i,j,ψk)＝Vk(i,j,ψk)D+Vk(i,j,ψk)mp，但其中Vk(i,j,ψk)D和Vk(i,j,ψk)mp通过对Pz(i,j,n)和扰动相位λn的依赖性被修改。特别地，表示直射光电荷的直射电压Vk(i,j,ψk)D的表达式(16)被修改并且变为，
并且，表示MP光电荷的MP电压Vk(i,j,ψk)mp的表达式(17)被修改成以下表达式，
在一个实施例中，选择光学图案生成器28产生的用于结构化光的空间图案，使得表达式(23)中的索引i′,j′的总和基本上满足以下约束，
在一个实施例中，为了满足约束(24)，控制器225控制光学图案生成器28以配置结构化光图案400，以使索引i′,j′上的总和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]是“经均化的”，并对于给定的p(i,j)基本上等于常数，并且在用MP光照明特征f(i,j)的场景30中各特征f(i′,j′)之间的距离独立于n，并且其中基本相同。
在一个实施例中，为了提供均化光图案，控制器225可控制光学图案生成器28，使得结构化光400照明场景30，以产生图2中示意性地示出的照明图案29，其在场景中包括被照明的“亮”特征f(i,j)的条带和非被照明的“暗”特征f(i,j)的条带，这些条带相互交错，并且其中相邻的条带随着下标n的变化在亮和暗之间交替。暗条和亮条的间距被确定以“均化”来自特征f(i′,j′)的MP光(特征f(i′,j′)将MP光反射到特征f(i,j))，以使得总和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]不变，并且基本上独立于索引n。例如，场景30中的亮带和暗带可被成像在光电传感器22中的像素23的对应条带上，该对应条带有利地为几个像素宽。可选地，像素23的条带可以例如小于10个像素宽。在一个实施例中，条带的宽度可以在2至5个像素之间。可选地，条带为4像素宽。
对于电压Vk(i,j,ψk)，表达式(15)、(22)和(23)是有效的，Vk(i,j,ψk)可被写作，
注意，如上文参考约束(24)所讨论的，对于给定的像素，Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]独立于n，因此对于给定的像素p(i,j)，Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]也是常数且基本上独立于n，并且可被写为，
Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]＝Cmp(i,j)。 (26)
使用表达式(26)并设置
ΣnPz(i,j,n)A(i,j)＝CD(i,j), (27)
针对Vk(i,j,ψk)的表达式(25)可被写为，
其中，如上所述(1≤n≤N)。
在一个实施例中，Pz(i,j,n)被确定使得，
并作为结果，电压Vk(i,j,ψk)的表达式(28)变为
在表达式(29)和(30)中，术语ξ(i,j)表示由结构化照明图案的结构以及在曝光时间段Exk期间与扰动相位偏移λn序列同步的结构的变化生成的相位(其也可被称为“图案相位”或“空间相位”)。图案相位ξ(i,j)是由与像素p(i,j)所在的照明区块相关联的光学图案修改器序列和扰动相位偏移λn序列之间的相位位移生成的。对于不同的照明区块，图案相位可能会有所不同，并且可能导致不同类型的照明区块中的像素为场景30中距CW-OF相机200相同距离的特征累积不同量的光电荷。不同量的光电荷和相应的不同对应电压Vk(i,j,ψk)可能会由于与不同照明区块相关联的图案修改器Pz(i,j,n)的序列而与同一扰动相位偏移序列不同地同步。注意，表达式(30)是表达式(28)的泛化，并且针对电压Vk(i,j,ψk)的表达式(13)的求值给出了(而非/>可在CW-TOF相机20的校准过程中确定ξ(i,j)的值，并将其存储在控制器225的存储器中。CW-TOF相机20的校准过程可以例如包括对距相机已知距离处的特征进行成像。
表达式(30)示出，MP光对CW-TOF相机200为像素p(i,j)和成像在该像素上的特征f(i,j)提供的电压Vk(i,j,ψk)仅贡献了常数项NCmp(i,j)，其独立于采样相位偏移ψk。独立于采样相位偏移ψk的项对由表达式(11)确定的传播相位延迟没有贡献。根据本公开的一个实施例，被配置成与光学图案修改器Pz(i,j,n))同步地使用扰动相位偏移λn来对场景进行成像的CW-TOF相机200从而提供由减少的MPI误差为特征的场景的范围图像。
控制器225可被配置成控制移相器27和光学图案生成器以提供不同组(以下也称为反MPI(AMPI)组))的扰动相位偏移λn和相应的光学图案修改器Pz(i,j,n)，使得电压Vk(i,j,ψk)具有由表达式(30)给出的形式。对于给定的AMPI组，光学图案修改器Pz(i,j,n)修改来自光源24的光，以生成空间上结构化的光，该空间上结构化的光可将场景30划分为多个照明区块，这些照明区块可选地包括多个N种不同类型的照明区块。并且如上所述，对于相同的扰动相位偏移λn序列，结构化光400可以用由不同的光学图案修改器Pz(i,j,n)序列修改的光来照明场景30中的不同照明区块。在一个实施例中，不同的光学图案修改器Pz(i,j,n)序列可以是相同光学图案修改器的循环排列。
例如，如果对于对在第一类型的照明区块中的特征f(i,j)进行成像的像素p(i,j)，CW-TOF相机200将扰动相位偏移序列λ1、λ2、λ3、λ4中的扰动相位偏移与序列P1、P2、P3、P4中的各个光学图案修改器配对，对于在第二不同类型的照明区块中的像素p(i,j)，可将相同的扰动相位偏移序列与序列P1、P2、P3、P4中的图案修改器配对。与第二照明区块相关联的图案修改器的序列是与第一照明区块相关联的图案修改器的序列的循环排列。在下文中，光学图案修改器P1(i,j)的自变量(i,j)可被省略，应当理解，光学图案修改器与关联该图案修改器的照明区块中的像素相关联。
作为示例，在一个实施例中，AMPI组可包括N＝2个扰动相位偏移λn，其中λ1＝2π(n-1)/N＝(n-1)360°/N＝0°且λ2＝180°，和两个光学图案修改器P1和P2，其可以是具有值P1＝1和P2＝0的二进制常数。场景30可包括两种类型的照明区块，分别对应于图2中所示的亮区域29-1和暗区域29-2，并且具有分别等于0°和180°的图案相位ξ(i,j)。令两种类型的照明区块被标记为Z1和Z2。在曝光时间段Exk期间，照明区块在亮和暗之间交替：当Z1为亮时，Z2为暗；而当Z1为暗时，Z2为亮。这些区块通过与扰动相位偏移序列(λ1,λ2)同步的光学图案修改器序列(P1,P2)来区分。对于具有图案相位0°的Z1，序列(λ1,λ2)可以与序列(P1,P2)同步。匹配的序列的组合可方便地用形式[Z1:(λ1,λ2)；(P1,P2)]表示。插入扰动相位偏移和光学图案调制器的值，匹配的序列变为[Z1:(0°,180°)；(1,0)]。对于具有图案相位180°的Z2，序列(λ1,λ2)可以与光学图案修改器的反向序列(P2,P1)同步，从而[Z2:(λ1,λ2)；(P2,P1)]且[Z2:(0°,180°)；(0,1)]。
针对对位于照明区块类型Z1中的特征f(i,j)进行成像的像素p(i,j)，可针对匹配的序列[Z1:(0°,180°)；(1,0)]来对表达式(28)求值以提供CW-TOF相机200为f(i,j)和采样相位偏移提供的电压
在该表达式中，Z1被添加到电压Vk(i,j,ψk,Z1)的自变量中以明确地指示该电压针对区块Z1中的特征f(i,j)。类似地，对于对位于照明区块类型Z2中的特征f(i,j)进行成像的像素p(i,j)，匹配序列[Z2:(0°,180°)；(0,1)]导致，
注意，在表达式(31)和(32)中的上述求值中，图案相位0°和180°没有明确出现，因为它们分别由与用于照明区块Z1和Z2的相同的扰动相位偏移(0°,180°)序列同步的光学图案修改器的相反顺序(P1,P2)和(P2,P1)来解释，并且表达式中最后一项之前的符号相反。
从表达式(31)和(32)可以看出，使用Z1和Z2的匹配的扰动相位偏移和光学图案修改器序列的CW-TOF相机200针对特征f(i,j)和采样相位偏移ψk提供了电压Vk(i,j,ψk)，其具有与采样相位偏移和传播相位延迟相同的依赖形式，如表达式(10)所示。此外，MPI仅对表达式(31)和(32)中的常数项NCmp(i,j)有贡献。如上所述，由于表达式(10)中的常数对根据表达式(11)确定的传播相位延迟/>没有贡献，由CW-TOF相机200提供的电压Vk(i,j,ψk)提供传播相位延迟/>并由此提供距场景30中的特征f(i,j)的相应距离d(i,j)，这基本上没有由MPI生成的误差。
在一个实施例中，AMPI组可包括具有各自的值0°，120°和240°的N＝3个扰动相位偏移λn、三个二进制光学图案修改器P1＝1，P2＝0，P3＝0以及具有各自的图案相位0°，120°和240°的三种类型的照明区块Z1，Z2和Z3。照明区块可由[Z1:(0°,120°,240°)；(1,0,0)]、[Z2:(0°,120°,240°)；(0,1,0)]、[Z3:(0°,120°,240°)；(0,0,1)]来定义。与上文针对区块Z1和Z2的对表达式(28)求值类似，针对由CW-TOF相机200为三个区块中的各特征f(i,j)提供的电压来对表达式(28)进行求值(其中C(i,j)＝CD(i,j)+NCmp(i,j))提供了：
根据一个实施例，针对具有四个二进制图案修改器、和四个照明区块Z1,…Z4其中[Z1:(0°,90°,180°,270°)；(1,0,0,1)],[Z2:(0°,90°,180°,270°)；(1,1,0,0)],[Z2:(0°,90°,180°,270°)；(0,1,1,0)],[Z2:(0°,90°,180°,270°)；(0,0,1,1)]、并具有正或负45°的图案相位的N＝4个扰动相位AMPI组对表达式(28)进行求值提供了，
和
根据一个实施例，AMPI组可以具有N＝2个扰动相位和两个照明区块，两个照明区块具有各自的图案相位0°、180°，并由[Z1:(0°,180°)；(1,0.5-E)]和[Z2:(0°,180°)；(0,0.5+E)]定义，其中0.5是直流电平且E<0.5。AMPI组提供
根据一个实施例，AMPI组可以具有N>2个扰动相位λn＝(n-1)360°/N(0≤n≤N)和两个照明区块，其具有各自的图案相位0°、180°，并由下式定义
[Z1:(λ1,λ2,…λN)；(1+cosλ1,1+cosλ2,…,1+cosλN)]和
[Z2:(λ1,λ2,…λN)；(1-cosλ1,1-cosλ2,…,1-cosλN)]。AMPI组提供，
和
根据一个实施例，AMPI组可以具有N＝2个扰动相位，0o、180o正弦光学图案修改器Pn，和在图案相位ξ(i,j)中具有差异的两个照明区块，并由下式定义
[Z1:(0°,180°)；(1+kcos(0°+ξ(i,j))),(1+kcos(180°+ξ(i,j)))],和
[Z2:(0°,180°)；(1+kcos(180°+ξ(i,j))),(1+kcos(0°+ξ(i,j)))]
AMPI组提供
和
根据一个实施例，AMPI组可以具有N>2个扰动相位λn＝(n-1)360°/N(0≤n≤N)，N个正弦光学图案修改器Pn，场景30中位置的连续函数的图案相位ξ(i,j)，其定义其中对场景中各特征f(i,j)的照明随着特征的位置而连续变化的一种结构化照明图案。例如，ξ(i,j)可以是索引i和索引j中的一者的连续函数，在任何给定的时间，成像在光电传感器22中同一行或列中的像素p(i,j)上的特征f(i,j)具有相同的照明强度，而在相邻行或列中的特征具有不同的照明强度，使得场景30的照明看起来具有一维梯度。可选地，梯度是由图案相位ξ(i,j)生成的二维梯度，其对索引i和j两者而言都是连续函数。可考虑图案相位ξ(i,j)的每个值来定义照明区块。作为示例，光学图案修改器可以是谐波函数，可选地定义为AMPI组的形式
[(λ1,λ2,…λN))；(1+kcos(λ1+ξ(i,j))),(1+kcos(λ2+ξ(i,j))),…,(1+kcos(λN+ξ(i,j)))],
针对在像素23p(i,j)上成像的每个特征f(i,j)，AMPI组提供的相对不受MPI影响的电压Vk(i,j,ψk)由下式提供，
类似地，根据一个实施例，AMPI组可以具有N>2个扰动相位λn＝(n-1)360°/N(0≤n≤N)，N个正弦光学图案修改器Pn，和由下式定义的连续照明区块
[(λ1,λ2,…λN))；(1+cosλ1cosξL),(1+cosλ2cosξL),…,(1+cosλNcosξL)]并且
其为特征f(i,j)提供
在本申请的描述和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素或部分的完整列表。
在本申请中作为示例提供了对本公开的各实施例的描述，而不旨在限制本公开的范围。所描述的实施例包括不同的特征，对于所有实施例来说并不是所有的特征都是必需的。一些实施例只利用一些特征或特征的可能组合。所描述的本公开的实施例的变体以及包括在所描述的实施例中提到的特征的不同组合的实施例将被本领域的人员想到。本发明的范围仅由权利要求限定。

Claims (22)

1.一种连续波飞行时间(CW-TOF)相机，所述CW-TOF相机可操作以确定距场景中特征的距离，所述CW-TOF相机包括：
光源，所述光源可操作以发射光来照明所述场景；
具有像素的光电传感器，所述像素被配置成记录由所述场景中的特征反射自直射光的光的量；以及
控制器，所述控制器被配置成：
控制所述光源发射以调制频率被调制的结构化光以便用结构化照明图案来照明所述场景，所述结构化照明图案具有三个照明区块，每个照明区块接收不同强度或波长的发射光；
打开所述光电传感器达曝光时间段以记录由所述特征反射自经发射的结构化光的光；
在所述曝光时间段期间以所述经发射的光的调制频率调制所述光电传感器的灵敏度，但是相对于所述经发射的光的相位相移达由N个扰动相位偏移λn＝2π(n-1)/N(1≤n≤N)序列修改的采样相位偏移，其中n和N为整数并且N大于2；
控制所述光源以用与扰动相位偏移序列同步的光学图案修改器序列来修改经调制的结构化光；以及
基于由所述像素记录的所述光确定距所述特征的距离。
2.如权利要求1所述的CW-TOF相机，其特征在于，由所述结构化光生成的所述结构化照明图案包括多个照明区块，所述多个照明区块包括至少两个不同类型的照明区块，并且其中，在所述曝光时间段期间，位于同一照明区块中的所述场景的特征和位于同一类型的不同照明区块中的所述场景的特征根据同一光学图案修改器序列被照明，而位于不同类型的照明区块中的所述场景的特征根据不同光学图案修改器序列被照明。
3.如权利要求2所述的CW-TOF相机，其特征在于，不同类型的照明区块的光图案修改器序列被选择，使得所述场景中的给定特征从所述场景中的其他特征接收到的多径(MP)光对修改所述特征从所述光源接收到的结构化光的扰动序列中的每个扰动相位偏移而言基本上是相同的。
4.如权利要求3所述的CW-TOF相机，其特征在于，不同类型的照明区块之间的间距被确定，使得所述场景中的给定特征从所述场景中的其他特征接收到的MP光对修改所述特征从所述光源接收到的结构化光的扰动序列中的每个扰动相位偏移而言基本上是相同的。
5.如权利要求4所述的CW-TOF相机，其特征在于，所述不同类型的照明区块是沿着清晰的边界连续的离散照明区块。
6.如权利要求5所述的CW-TOF相机，其特征在于，所述光学图案修改器是乘法常数。
7.如权利要求6所述的CW-TOF相机，其特征在于，所述常数是二进制常数。
8.如权利要求7所述的CW-TOF相机，其特征在于，与不同的照明区块相关联的所述光学图案修改器序列是彼此的循环排列。
9.如权利要求8所述的CW-TOF相机，其特征在于，扰动相位偏移的数量N等于2，并且扰动相位偏移的序列为(0o,180o)。
10.如权利要求9所述的CW-TOF相机，其特征在于，所述照明区块包括两个不同类型的照明区块，Z1和Z2，针对所述两个不同类型的照明区块，在曝光时间段期间扰动相位偏移和光学图案修改器的经同步的序列分别为[Z1:(0o,180o)；(1,0)]和[Z2:(0o,180o)；(0,1)]，其中在一组括号中，后面跟着冒号的第一条目标识照明区块，并且所述冒号后面的条目分别给出了所标识的区块的扰动相位偏移序列和光学图案修改器的经同步的序列。
11.如权利要求8所述的CW-TOF相机，其特征在于，扰动相位的数量N等于3，并且扰动相位偏移的序列为(0o,120o,240o)。
12.如权利要求11所述的CW-TOF相机，其特征在于，所述照明区块包括三个不同类型的照明区块Z1、Z2和Z3，针对所述三个不同类型的照明区块，在曝光时间段期间扰动相位偏移和光学图案修改器的经同步的序列分别为[Z1:(0o,120o,240o)；(1,0,0)]、[Z2:(0o,120o,240o)；(0,1,0)]和[Z3:(0o,120o,240o)；(0,0,1)]。
13.如权利要求8所述的CW-TOF相机，其特征在于，在曝光时间段期间扰动相位偏移的数量N等于4，并且扰动相位偏移的序列为(0o,90o,180o,270o)。
14.如权利要求13所述的CW-TOF相机，其特征在于，所述照明区块包括四个不同类型的照明区块Z1、Z2、Z3和Z4，针对所述四个不同类型的照明区块，在曝光时间段期间扰动相位偏移和光学图案修改器的经同步的序列分别为[Z1:(0o,90o,180o,270o)(1,0,0,1)]、[Z2:(0o,90o,180o,270o)；(1,1,0,0)]、[Z3:(0o,90o,180o,270o)；(0,1,1,0)]和[Z4:(0o,90o,180o,270o)；(0,0,1,1)]。
15.如权利要求6所述的CW-TOF相机，其特征在于，所述照明区块包括两个不同类型的照明区块Z1和Z2。
16.如权利要求15所述的CW-TOF相机，其特征在于，在曝光时间段期间扰动相位偏移的数量N等于2，并且扰动相位偏移的序列为(0o,180o)。
17.如权利要求16所述的CW-TOF相机，其特征在于，在曝光时间段期间所述照明区块的扰动相位偏移和光学图案修改器的经同步的序列分别为[Z1:(0o,180o)；(1,0.5-E)]和[Z2:(0o,180o)；(0,0.5+E)]，其中E<0.5。
18.如权利要求16所述的CW-TOF相机，其特征在于，在曝光时间段期间所述照明区块的扰动相位偏移和光学图案修改器的经同步的序列分别为[Z1:(0o,180o)；(1+kcos(0o+ξ),(1+kcos(180o+ξ)],和
[Z2:(0o,180o)；(1+kcos(180o+ξ),(1+kcos(0o+ξ)]。
19.如权利要求15所述的CW-TOF相机，其特征在于，在曝光时间段期间扰动相位偏移的数量N大于2，并且用于所述照明区块的扰动相位偏移和光学图案修改器的序列分别为，
[Z1:(λ1,λ2,…λN)；(1+cosλ1,1+cosλ2,…,1+cosλN)]和
[Z2:(λ1,λ2,…λN)；(1-cosλ1,1-cosλ2,…,1-cosλN)]。
20.如权利要求1所述的CW-TOF相机，其特征在于，所述不同类型的照明区块是连续照明区块，对于所述连续照明区块而言，所述场景中的特征的照明是所述区块的位置的连续函数。
21.如权利要求20所述的CW-TOF相机，其特征在于，扰动相位偏移的数量N大于2，并且所述照明区块由作为所述场景中位置的连续函数的相位ξL限定，以及在曝光时间段期间具有相位ξL的照明区块的扰动相位偏移和光学图案修改器的序列为[(λ1,λ2,…λN))；(1+kcos(λ1+ξL)),(1+kcos(λ2+ξL)),…,(1+kcos(λN+ξL))]。
22.如权利要求20所述的CW-TOF相机，其特征在于，扰动相位偏移的数量N大于2，并且所述照明区块由作为所述场景中位置的连续函数的相位ξL限定，以及在曝光时间段期间具有相位ξL的照明区块的扰动相位偏移和光学图案修改器的序列为[(λ1,λ2,…λN))；(1+cosλ1cosξL),(1+cosλ2cosξL),…,(1+cosλNcosξL)]。
CN201880023794.XA 2017-04-06 2018-03-28 飞行时间相机 Active CN110494763B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/480,823 US10928489B2 (en) 2017-04-06 2017-04-06 Time of flight camera
US15/480,823 2017-04-06
PCT/US2018/024700 WO2018187106A1 (en) 2017-04-06 2018-03-28 Time of flight camera

Publications (2)

Publication Number Publication Date
CN110494763A CN110494763A (zh) 2019-11-22
CN110494763B true CN110494763B (zh) 2023-09-19

Family

ID=62025966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023794.XA Active CN110494763B (zh) 2017-04-06 2018-03-28 飞行时间相机

Country Status (4)

Country Link
US (1) US10928489B2 (zh)
EP (1) EP3607343A1 (zh)
CN (1) CN110494763B (zh)
WO (1) WO2018187106A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018107801A1 (de) * 2017-04-04 2018-10-04 pmdtechnologies ag Lichtlaufzeitkamera
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
WO2020115068A1 (en) * 2018-12-04 2020-06-11 Iee International Electronics & Engineering S.A. Method for corrected depth measurement with a time-of-flight camera using amplitude-modulated continuous light
CN110501691B (zh) * 2019-08-13 2022-03-08 Oppo广东移动通信有限公司 Tof模组的噪声滤除方法、tof模组及装置
CN110940294B (zh) * 2019-11-22 2020-12-29 华中科技大学 一种面结构光测量系统中图像的编码与解码方法
WO2021119903A1 (zh) * 2019-12-16 2021-06-24 南昌欧菲生物识别技术有限公司 Tof模组的防干扰调制方法、装置、计算机设备和介质
CN113325437A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 图像生成方法及装置
CN115079187A (zh) * 2021-03-10 2022-09-20 奥比中光科技集团股份有限公司 飞行时间测量方法、装置及时间飞行深度相机
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
JP2023023989A (ja) * 2021-08-06 2023-02-16 株式会社日立エルジーデータストレージ 距離計測システム、距離計測装置、および、距離計測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
EP2955544A1 (en) * 2014-06-11 2015-12-16 Softkinetic Sensors N.V. A TOF camera system and a method for measuring a distance with the system
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3704465A (en) 1970-08-28 1972-11-28 Hazeltine Corp Angular position determining system compensated for doppler
JPH0690032B2 (ja) 1987-08-06 1994-11-14 日本電気株式会社 距離画像取得装置
US5581345A (en) 1990-12-03 1996-12-03 Nikon Corporation Confocal laser scanning mode interference contrast microscope, and method of measuring minute step height and apparatus with said microscope
US5579107A (en) 1995-05-25 1996-11-26 Horiba Instruments, Inc. Method and apparatus for dry particle analysis
JP3748616B2 (ja) 1996-04-02 2006-02-22 浜松ホトニクス株式会社 光波距離計
EP1009984B1 (de) 1996-09-05 2003-11-19 SCHWARTE, Rudolf Verfahren und vorrichtung zur bestimmung der phasen- und/oder amplitudeninformation einer elektromagnetischen welle
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6580496B2 (en) * 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6906793B2 (en) 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US6707054B2 (en) * 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6697010B1 (en) 2002-04-23 2004-02-24 Lockheed Martin Corporation System and method for moving target detection
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP4715216B2 (ja) 2005-02-07 2011-07-06 パナソニック電工株式会社 測距装置
EP1703741A1 (en) 2005-03-17 2006-09-20 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. 3-d imaging system
US20070127009A1 (en) 2005-12-07 2007-06-07 Su-Ling Chen Multi-modulation frequency laser range finder and method for the same
WO2008005516A2 (en) * 2006-07-06 2008-01-10 Canesta, Inc. Method and system for fast calibration of three-dimensional (3d) sensors
JP2008076064A (ja) 2006-09-19 2008-04-03 Olympus Corp 光学式エンコーダの信号処理回路
JP5098331B2 (ja) 2006-12-28 2012-12-12 株式会社豊田中央研究所 計測装置
US7589316B2 (en) * 2007-01-18 2009-09-15 Ethicon Endo-Surgery, Inc. Scanning beam imaging with adjustable detector sensitivity or gain
JP5190866B2 (ja) 2007-09-04 2013-04-24 富士フイルム株式会社 測距方法および装置
EP2211715A1 (de) * 2007-11-19 2010-08-04 Corpus.E AG Hochauflösende optische erfassung der raumform von körpern
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Recording of 3D images of a scene
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
EP2157401A1 (en) 2008-08-18 2010-02-24 Holding Prodim Systems B.V. Apparatus and method for measuring spatial co-ordinates
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
GB2528401A (en) * 2011-05-06 2016-01-20 Nvip Pty Ltd Anti-nerve growth factor antibodies and methods of preparing and using the same
US8982363B2 (en) * 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US9325920B2 (en) * 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
EP2815251B1 (en) * 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US20140049767A1 (en) 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9442186B2 (en) * 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9405008B2 (en) 2013-05-17 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for multi-frequency camera
SG11201509788QA (en) * 2013-06-06 2015-12-30 Heptagon Micro Optics Pte Ltd Sensor system with active illumination
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
WO2016149438A1 (en) 2015-03-17 2016-09-22 Cornell University Depth field imaging apparatus, methods, and applications
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9989630B2 (en) 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
US10917626B2 (en) 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10430958B2 (en) 2017-07-11 2019-10-01 Microsoft Technology Licensing, Llc Active illumination 3D zonal imaging system
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104884972A (zh) * 2012-11-27 2015-09-02 E2V半导体公司 利用深度信息和图像传感器来产生图像的方法
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
EP2955544A1 (en) * 2014-06-11 2015-12-16 Softkinetic Sensors N.V. A TOF camera system and a method for measuring a distance with the system

Also Published As

Publication number Publication date
WO2018187106A1 (en) 2018-10-11
CN110494763A (zh) 2019-11-22
US20180292516A1 (en) 2018-10-11
US10928489B2 (en) 2021-02-23
EP3607343A1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
CN110494763B (zh) 飞行时间相机
CN111615645B (zh) 飞行时间相机
JP7191921B2 (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
JP6887129B2 (ja) 撮像装置、撮像システムおよび光検出方法
EP3715907B1 (en) Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US10430958B2 (en) Active illumination 3D zonal imaging system
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US7462808B2 (en) Method and device for redundant distance measurement and mismatch cancellation in phase-measurement systems
US9857469B2 (en) System and method for multi TOF camera operation using phase hopping
US8723924B2 (en) Recording of 3D images of a scene with phase de-convolution
US20200072946A1 (en) Glare mitigation in lidar applications
US10924692B2 (en) Depth and multi-spectral camera
US20020179826A1 (en) Absolute position moire type encoder for use in a control system
WO2012115083A1 (ja) 空間情報検出装置
JP6104662B2 (ja) 計測装置、方法及びプログラム
US9799122B2 (en) Motion information acquiring apparatus and motion information acquiring method
JP2008241258A (ja) 測距装置及び測距方法
US20220222788A1 (en) Method and system for correcting phase of image reconstruction signal
Ti et al. Single-shot time-of-flight phase unwrapping using two modulation frequencies
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
KR102368105B1 (ko) 거리 정보 추출 장치 및 광학 기기
WO2014115155A1 (en) Wide field imaging using physically small detectors
US20220075063A1 (en) Method and Apparatus for Time-of-Flight Sensing
US20150170344A1 (en) Image brightness adjusting method, object tracking method and object tracking apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant