CN111615645B - 飞行时间相机 - Google Patents

飞行时间相机 Download PDF

Info

Publication number
CN111615645B
CN111615645B CN201880086646.2A CN201880086646A CN111615645B CN 111615645 B CN111615645 B CN 111615645B CN 201880086646 A CN201880086646 A CN 201880086646A CN 111615645 B CN111615645 B CN 111615645B
Authority
CN
China
Prior art keywords
light
different
scene
feature
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880086646.2A
Other languages
English (en)
Other versions
CN111615645A (zh
Inventor
Z·徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN111615645A publication Critical patent/CN111615645A/zh
Application granted granted Critical
Publication of CN111615645B publication Critical patent/CN111615645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

一种确定到场景中的特征的距离的方法，该方法包括：发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及对于采样相移ψk和扰动相移λn的每个组合，以发射光的调制频率调制光电传感器的灵敏度，但是相对于发射光的相位相移了一相位θk,n＝(ψk+λn)；以及对于θk,n以360°求模得到的每个值，在不同曝光期间记录由场景中的特征反射的光，并使用所记录的光来提供场景的范围图像。

Description

飞行时间相机
技术领域
本申请涉及相机，尤其涉及飞行时间相机。
背景技术
“连续波”飞行时间(TOF)相机(CW-TOF)发射电磁辐射的“连续波”(可选地为红外(IR)光)，其具有被周期性地调制以照明该相机成像的场景的强度。所发射的光经场景中给定特征反射的光作为反射光的波到达相机，该反射光具有与所发射的光相同的调制，但在相位上延迟了传播相位延迟其为光从相机传播至该给定特征并传播回相机的往返时间tR的函数，且由此是距该特征的距离“d”的函数。相机在多个曝光时段中的每个曝光时段内将由给定特征反射的光成像在光电传感器的像素上以累积电荷，即成像光在该曝光时段期间在像素中生成的“光电荷”。对于每一个曝光时段，光电传感器对光的灵敏度以相对于相机发射的光的调制相位不同的采样相移来被调制。对于给定的采样相移，所累积的光电荷量与同采样相移相关联的曝光时段和反射光的卷积成比例，并且是传播相位延迟/>的函数。CW-TOF相机处理针对不同采样相移的累积光电荷，以确定/>并由此确定距特征的距离“d”。
发明内容
本公开的实施例的一方面涉及提供一种CW-TOF相机，该CW-TOF相机对由多路径干扰(MPI)生成的在该相机确定的距该相机成像的场景中的给定特征的相位延迟和距离d方面的误差具有降低的敏感性。
在一实施例中，CW-TOF相机用结构光照明相机成像的场景，该结构光在场景中产生不同照明区域，这些不同照明区域通过入射在该场景在不同区域中的特征上的结构光的特性差异来区分。对于CW-TOF相机用来确定传播相位延迟并由此确定至场景中的特征的距离的每个采样相移，相机在不同曝光时段期间对不同照明区域中的场景和特征成像，对于该不同曝光时段，采样相移通过多个“扰动相移”中的一不同扰动相移来被修改。在每个曝光时段期间，相机响应于特征从照明场景的结构光反射的光而累积光电荷。相机提供并处理表示针对不同扰动相移和可任选地不同照明区域的累积光电荷的电压，以使得MP光对为场景中的特征所累积的光电荷和采样相移的贡献基本上与采样相移无关。作为结果，CW-TOF相机由以下来表征：对由MPI生成的在针对场景中特征的传播相位延迟/>和距离d方面的误差的增强的抵抗。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。
附图说明
下面将参考在此所附的在此段落之后列出的附图来描述本公开的实施例的非限制性示例。在多于一幅附图中出现的相同特征通常在其出现的所有附图中都以相同的标号来标记。在附图中标记表示本公开的实施例的给定特征的图标的标号可被用来引用该给定特征。附图中所示的特征的尺寸是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A示意性地示出了CW-TOF相机在没有多路径干扰(MPI)的情况下确定至场景中的特征的距离；
图1B示意性地示出了图1A中所示的CW-TOF相机在存在MPI的情况下确定至场景中的特征的距离；以及
图2示出了根据本公开的一实施例的CW-TOF相机，其被配置成表现出对确定至图1A和1B所示的场景中的特征的距离方面的MPI误差的增强的抵抗。
具体实施方式
CW-TOF相机在光电传感器像素上成像的来自场景中的给定特征的反射光不限于直接从相机光源传播至该给定特征并传播回相机的“直接光”。来自给定特征的反射光在被该给定特征反射至CW-TOF相机之前可能已经从场景中的另一特征“反弹”至该给定特征。来自该另一特征的反弹光相比直射光行进了至相机的更长路径，即“多路径”，并因此具有与直射光不同的且更大的传播相位延迟。因此，由入射在像素上的多路径(MP)光生成的光电荷会污染由入射在像素上的直接光生成的光电荷，并且归因于MPI而在相机确定的距给定特征的相位延迟和距离d方面产生误差。
在下面的讨论中，参考图1A讨论CW-TOF相机的操作，图1A解说了CW-TOF相机对场景进行成像以获取场景的范围图像(range image)，该范围图像在没有MPI的情况下提供至场景的特征的距离。参考图1B讨论MPI及其对确定距场景中的特征的传播相位延迟和距离的影响，图1B示意性地示出了图1A中所示的CW-TOF相机对同一场景进行成像但是存在MPI。参考图2讨论根据本公开的一实施例被配置成减小传播相位延迟/>和基于/>的距离方面的MPI误差的CW-TOF相机的结构和操作。
在讨论中，除非另有说明，否则修改本公开的实施例的一个或多个特征的条件或关系特性的诸如“基本上”和“大约”之类的形容词应被理解成意指该条件或特性被限定在对该实施例所意图的应用而言可接受的该实施例的操作的容差内。除非另外指示，否则本说明书和权利要求书中的词语“或”被认为是包含性“或”而不是排他性或，并且指示其连结的各项中的至少一项或不止一项的任何组合。
图1A示意性地示出了用于确定至场景30中的特征的距离的CW-TOF相机20，该场景30可任选地具有对象31和32。CW-TOF相机20(其被非常示意性地表示)包括由透镜21表示的光学系统和光电传感器22，该光电传感器22具有像素23的行和列的阵列，光学系统21在像素23上成像场景30的特征。光电传感器22中的给定像素23可被指定为p(i,j)，其中“i”和“j”是分别指示光电传感器22的其中像素所位于的行和列的索引。CW-TOF相机20在像素p(i,j)上成像的场景30中的特征可被称为特征f(i,j)、和/或通过参考标号来引用。CW-TOF相机20可包括光源24、振荡器26、移相器27、以及控制被包括在CW-TOF相机中的组件的控制器25。
为了获取场景30的范围图像，控制器25控制CW-TOF相机20每次以多个K个采样相移(1≤k≤K)中的一不同采样相移ψk来获取场景30的多个K个图像，其中ψk等于2π(k-1)/K，其中k和K是整数。对于该K个图像的第k个图像，控制器25控制振荡器26提供具有角频率ωk的频率信号，并控制光源24发射在振荡器所提供的角频率处被连续地调制的光。由光源24发射的光由波浪线40示意性地表示，该波浪线40具有指示发射光的传播方向的箭头。在用光40照明场景30时，控制器25开启光电传感器22达曝光时段“Exk”，以记录场景30中的特征从发射光40反射回相机20的以及光学系统21在光电传感器22的像素23上成像的光。在曝光时段期间，控制器25在振荡器26所提供的角频率ωk处调制光电传感器22的灵敏度，但是控制移相器27将光电传感器的调制相位移位相对于发射光40的调制相位的采样相移ψk。可任选地，角频率ωk对于k的所有值都是相同的，并且在下文中为了方便呈现起见而被假定等于角频率“ω”。
光电传感器22中的像素23记录从场景30中的特征反射的的光，该光是由光学系统21在曝光时段Exk期间通过在该曝光时段期间累积该光在像素中生成的光电荷成像在该像素上的。作为示例，图1A示意性地示出了分别将来自光40的光反射回CW-TOF相机20的对象31和32的特征131和132。来自特征131的反射光由波浪线41示意性地表示，该波浪线41具有指示光的传播方向的箭头，光学系统21在一像素23p(i,j)上成像该反射光，该像素被指定为光电传感器22中的像素231。像素231累积的光电荷量同反射光41与灵敏度曝光时段Exk的卷积成比例。该卷积是采样相移ψk和由光从光源24行进至特征131并返回CW-TOF相机20的往返时间tR所导致的传播延迟的函数。用符号表示，/>其中tR(131)是光从光源24行进至特征131并返回相机的往返时间。由于tR(131)等于2d(131)/c，其中d(131)是从CW-TOF相机20到特征131的距离且c是光速，因此传播相位延迟/>也等于2ωd(131)/c。类似地，来自特征132的反射光由波浪线42和方向箭头示意性地表示，该反射光由光学系统21成像在像素232上，并且像素232在曝光时段Exk期间针对特征132累积的光电荷量同反射光42与曝光时段的卷积成比例。该卷积是采样相移ψk和传播相位延迟的函数，/>由于特征132更靠近CW-TOF相机20而小于/>
在每个曝光时段Exk结束时，控制器25读取光电传感器22以获取光电传感器的用于采样相移ψk的帧。该帧包括表示由光电传感器22中的像素23在曝光时段Exk期间针对场景30中分别被成像在像素上的特征所记录的累积光电荷和对应的反射光量的电压。控制器25可针对所有K个采样相移ψk(1≤k≤K)来处理由该帧提供的电压，以提取像素23的相应像素p(i,j)的传播相位延迟和成像在像素p(i,j)上的特征f(i,j)的关联距离d(i,j)，如下面所讨论的。
发射光40、反射光(诸如由特征131和132从发射光40反射的光41和42)、以及在曝光时段Exk期间光电传感器22中的像素的经调制灵敏度是周期函数，并且可各自被有利地表示为傅立叶余弦级数。在曝光时段Exk期间作为时间的函数的发射光40的强度可因此被表示为
并且，由CW-TOF相机20在曝光时段Exk期间在像素23的给定像素p(i,j)上所成像的场景30中的特征f(i,j)从光40反射的光的强度可被表示为
如果在曝光时段Exk期间光电传感器22中的像素23的灵敏度由 表示，则像素p(i,j)的Rk(i,j,t)和Sk(t)的卷积CVk(i,j)≡Sk(t)*Rk(i,j,t)可被表示为，
于是，如果是光电传感器22的帧中的表示在曝光时段Exk之后获取的在该曝光时段期间由像素p(i,j)累积的光电荷量的电压，则/>可被写成：
其中α是比例系数。
对于由单个主导调制频率表征和/或其主导频率的谐波可被有利地忽略的发射光的强度，发射光40可由以下表达式来近似，
并且，来自场景30中被成像在像素p(i,j)上的特征f(i,j)的光有利地由以下表达式来近似，
假定曝光时段Exk期间光电传感器22的灵敏度的调制可被表示为，
由曝光时段Exk和由场景30中的特征f(i,j)反射并成像在像素23p(i,j)上的光Rk(i,j,t)的卷积变成，
表示曝光时段期间由p(i,j)累积的光电荷的电压，
其可被写成以下形式，
控制器25可根据表达式确定针对成像在像素p(i,j)上的特征f(i,j)的传播相位延迟
并根据下式确定距特征f(i,j)的距离d(i,j)，
作为特定示例，对于CW-TOF相机20在像素231上成像的对象31的特征131，控制器25可确定传播相位延迟
以及至该特征的距离，
上面参考图1A中的特征的讨论假定没有MPI，并因此，由像素23在曝光时段Exk期间累积的光电荷量仅通过由场景30中的特征从直接光(即，到达特征的直接来自光源24的光)反射的光生成。然而，一般而言，由CW-TOF相机中的像素对光电荷的累积通常被MP光所生成的光电荷污染。
作为示例，图1B示意性地示出了在存在MPI的情况下CW-TOF相机20对场景30进行成像。该图解说了MPI可如何影响像素231所累积的光电荷，CW-TOF相机20在光电传感器22的曝光时段Exk期间在该像素231上对来自特征131的反射光进行成像。
图1B示意性地示出了由光源24发射并入射在特征132上的光40中的一些，并且作为示例，示意性地示出了对象32的特征132(1)和132(2)没有被直接反射回CW-TOF相机20以对特征进行成像，而是改为被反射以照明特征131。从特征132、132(1)和132(2)反射以照明特征131的光是MP光，其已从光源24至特征131行进了多个相异路径段，并且分别由虚线波浪线42*、132(1)*和132(2)*来表示。入射在特征131上的一些MP光42*、132(1)*和132(2)*被特征131反射至CW-TOF相机20，并与来自光源24的由该特征反射的直接光一起被成像在像素231上。
由特征131从直接照明特征131的发射光40反射(CW-TOF相机20在像素231上成像)的光在图1B中(如在图1A中一样)由光41来表示。而MP光42*、132(1)*和132(2)*从光源24至特征131行进不同的多路径，并且来自由特征131反射到CW-TOF相机20的每个多路径的光通常随不同传播相位延迟到达像素231，为方便呈现起见，由特征131反射的MP光在图1B中由同一虚线波浪线41*共同地表示。在图1B中，光41*被示为向光41的后方位移，以指示经反射的MP光41*被传播相位延迟所延迟，该传播相位延迟大于表征直接光41的传播相位延迟。
假定场景30中CW-TOF相机20在像素p(i,j)上成像的给定特征f(i,j)接收由该场景中的特征f(i′,j′)(对于该特征，i′≠i,or j′≠j)从发射光40反射的MP光。当特征f(i,j)在曝光时段Exk期间将其接收的MP光反射至CW-TOF相机20时，所反射的MP光对在该曝光时段期间由像素p(i,j)累积的光电荷有贡献，并由此对表示所累积的光电荷的电压有贡献。由于入射在光电传感器像素p(i,j)上的光在该像素中生成的光电荷通常是入射光的线性函数，因此在曝光时段Exk期间由像素p(i,j)累积的光电荷量是由入射在该像素上的经反射的直接光和经反射的MP光所生成的光电荷的总和。作为示例，对于图1B中所示的特征131，在曝光时段Exk期间由入射光在像素231中生成的光电荷可以是由经反射的直接光41和经反射的MP光41*所生成的光电荷的总和。如上所述，反射光41*包括反射自分别从特征132(1)、132(2)和132到达特征131的MP光132(1)*、132(2)*和41*的光。
因此，对于由CW-TOF相机20在像素p(i,j)上成像的特征f(i,j)，表示像素在曝光时段Exk期间累积的光电荷的电压是表示响应于f(i,j)反射且CW-TOF相机20在p(i,j)上成像的直射光而累积的光电荷的电压/>以及表示响应于f(i,j)反射且该相机在p(i,j)上成像的MP光而累积的光电荷(即“MP光电荷”)的电压Vk(i,j,ψk)mp的总和。电压/>可因此由以下表达式给出
在表达式(15)中，由上述表达式(10)给出且可被写成：
电压Vk(i,j,ψk)mp可类似地由以下表达式给出
其中，表达式(17)中针对在曝光时段Exk期间用MP光照明特征f(i,j)的特征f(i′,j′)的索引进行求和。(17)中的相位是来自特征f(i′,j′)的MP光在从CW-TOF相机20传播至f(i′,j′)、从f(i′,j′)传播至f(i,j)、再从f(i,j)传播回CW-TOF相机20时经历的传播相位延迟。
从表达式(17)可容易地看出，经反射的MP光将MP光电荷添加至由来自特征f(i,j)的经反射的直接光生成的光电荷，并且生成在传播相位延迟方面的误差，并由此生成在CW-TOF相机20可基于该传播相位延迟确定的距特征f(i,j)的距离d(i,j)方面的误差。
图2示意性地示出了根据本公开的一实施例的CW-TOF相机200，其被配置成减少归因于MP光电荷的误差。CW-TOF 200可任选地包括与CW-TOF相机20中所包括的组件类似的组件，但可具有代替CW-TOF 20中所包括的控制器25的控制器225，此外还可具有光学图案生成器28。CW-TOF相机200被示为对图1A和1B中所示的场景30进行成像。
为了提供场景30的范围图像，控制器225操作CW-TOF相机200以在光电传感器22的K个曝光时段Exk(1≤k≤K)中的每个曝光时段期间获取场景的图像，对于每个曝光时段，控制器控制振荡器26和光源24发射以频率ω调制的光40来照明该场景。对于第k个曝光时段Exk，控制器225控制光电传感器22和移相器27以频率ω对像素p(i,j)的灵敏度进行调制但相移了采样相移ψk(其中ψk＝2π(k-1)/K)，该采样相移ψk由N个“扰动相移”的序列λn(1≤n≤N)来修改，其中λn＝2π(n-1)/N，并且n和N为整数。对于采样相移ψk，控制器225可在曝光时段Exk期间针对N个相等的扰动时间段的序列τn(1≤n≤N)来调制光电传感器22的灵敏度，对于该扰动时间段序列，光电传感器22在时段τn内的灵敏度等于，
Sk,n(t) ＝ [So+ S1cos(ωt+ψk+λn)]。 (18)
在曝光时段Exk期间，控制器225还控制光学图案生成器28调制发射光40以生成照明场景30并产生该场景中的特征f(i,j)的对应结构化照明图案的结构光400。结构化照明图案包括场景30的多个区域(在下文中也被称为照明区域)。照明区域可以是相同或不同类型。场景30在不同类型的照明区域中的特征f(i,j)在曝光时段Exk期间由结构光400不同地照明。相同照明区域中的特征f(i,j)和相同类型的不同照明区域中的特征f(i,j)在曝光时段期间被类似地照明。照明区域可以是离散照明区域，这些离散照明区域通过在由CW-TOF相机200成像的场景中的相对明确定义的边界来界定和分隔并且跨这些相对明确定义的边界的照明表现出相对突变。照明区域可以是连续照明区域，这些连续照明区域不表现出相对明确定义的边界，跨这些相对明确定义的边界的照明表现出相对突变。场景30中的连续照明区域可例如表现出照明的变化，该变化是由照明的强度或波长中的连续空间梯度来表征的位置的相对渐进函数。梯度可例如通过场景30的不同区域的照明的取决于时间的变化来生成，其是连续的而不是区域位置的离散函数。
不同连续照明区域可由不同参数来表征，诸如时间演变的阶段，其定义表征它们分别从结构光400接收的照明的函数。
结构化照明图案同时包括至少两种不同类型的照明区域。例如，光学图案生成器28提供的结构光400可生成结构化照明图案，该结构化照明图案同时包括两种不同类型的照明区域－明亮照明区域和昏暗照明区域，这些明亮照明区域具有相比昏暗照明区域从图案生成器28接收更多光的特征f(i,j)。明亮和昏暗照明区域可包括彼此交织的照明特征f(i,j)的亮条带与非照明特征f(i,j)的暗条带。明亮和昏暗照明区域可包括特征f(i,j)的更亮和更暗“岛”的斑点图案或更亮和更暗区域的瓦块(tiling)。结构化照明图案可包括不止两个照明区域，并且可例如具有三个照明区域，每个照明区域接收来自图案生成器28的发射光的不同强度或波长。作为示例，在图2中，光学图案生成器28被示为生成产生结构化照明图案29的结构光400，该结构化照明图案29包括离散照明区域，这些离散照明区域分别是亮条带29-1和暗条带29-2。
图案生成器28可以是用于生成结构光的各种设备中的任一种，并且可例如包括微镜阵列、液晶单元阵列、和/或被配置成接收光40并引导所接收的光的各部分以生成用期望的结构化照明图案照明场景30的结构光的光学扫描仪。替代地和/或附加地，光源40可包括独立可控的激光器和/或发光二极管(LED)的阵列，控制器225可对其进行控制以在场景30上生成期望的结构化照明图案。需要注意，尽管将图2中示出的光源24和图案生成器28作为分开的实体来讨论，但是术语光源可被用来一般地指代根据本公开的实施例可操作用于提供结构光以用结构化照明图案照明场景的任何光学装置。
根据一实施例，在曝光时段Exk期间，控制器225控制图案生成器28根据与扰动相移序列λn同步的乘性光学图案修改器(modifier)序列来修改结构光400，以修改给定照明区域中的光照明特征。不同类型的照明区域中的特征可与扰动相移λn同步地以不同的光学图案修改器序列来照明。根据一实施例，光学图案修改器序列可以是不同的，因为它们是相同光学修改器的不同序列或不同光学修改器的序列。光学图案修改器可被视为修改结构光400或修改场景30中接收由光学图案修改器修改的结构光的特征的对应照明。
令光学图案修改器的数目与不同扰动相移的数目相同，并且由Pz(1≤z≤Z)表示，其中Z＝N。具有不同的下标z的光学图案修改器可具有相同函数形式，但是由于它们在不同扰动时段τn期间被使用而被区分。由于光学图案修改器序列Pz对于不同照明区域是不同的，因此哪个光学图案修改器Pz在曝光时段Exk期间与给定扰动相移λn同步取决于照明区域以及扰动相移。场景30中的给定特征f(i,j)在曝光时段期间接收的照明取决于其所位于的照明区域的类型，这是其索引(i,j)的函数。因此，如果I(i,j,n,t)400表示特征f(i,j)在曝光时段Exk的扰动时间段τn期间接收的光强度(对此，光电传感器22的灵敏度调制相移了相位(ψk+λn))，则该强度可被写成：
I(i,j,n,t)400＝Pz(i,j,n)(Io+I1cosωt), (18)
其中下标z的依赖性表示光学图案修改器Pz对索引n和照明区域的依赖性。
由特征f(i,j)从光400反射的直射光(其从光学图案生成器28直接到达该特征并由CW-TOF相机200在曝光时段Exk的时段τn期间在像素p(i,j)上成像)的强度可被写成：
来自特征f(i′,j′)的照明特征f(i,j)(CW-TOF相机200在像素p(i,j)上成像该特征f(i,j))且由特征f(i,j)反射的非直接MP光的光可被写成：
表示响应于来自CW-TOF相机200在像素p(i,j)上成像的特征f(i,j)的直接和MP光的卷积而由像素p(i,j)累积的光电荷的电压(如由表达式(15)给出)是但是其中/>和Vk(i,j,ψk)mp通过对Pz(i,j,n)和扰动相移λn的依赖性来被修改。具体而言，用于表示直接光电荷的直接电压/>的表达式(16)被修改且变成，
并且，用于表示MP光电荷的MP电压Vk(i,j,ψk)mp的表达式(17)被修改为以下表达式，
在一实施例中，光学图案生成器28产生的结构光的空间图案被选择成使得对表达式(23)中的索引i′,j′的求和基本上满足以下约束，
在一实施例中，为了满足约束(24)，控制器225控制光学图案生成器28将结构化光图案400配置成使得对索引i′,j′的求和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]被“均质化”，并且对于给定p(i,j)基本上等于常数，并且对于场景中用MP光照明特征f(i,j)的特征f(i′,j′)之间的距离而言，与n无关，并且对其而言基本上相同。
在一实施例中，为了提供均质化的光图案，控制器225可控制光学图案生成器28，使得结构光400照明场景30以产生图2中示意性地示出的照明图案29，其包括彼此交织的场景中被照明的“明亮”特征f(i,j)的条带与非照明的“昏暗”特征f(i,j)的条带，并且对其而言，毗邻条带随下标n的变化而在亮与暗之间交替。暗条带和亮条带的间距被确定为使来自将MP光反射至特征f(i,j)的特征f(i′,j′)的MP光“均质化”，使得求和Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]不改变，并且基本上与索引n无关。例如，场景30中的亮条带和暗条带可被成像在光电传感器22中的像素23的对应条带上，这些对应条带有利地是几个像素的宽度。可任选地，作为示例，像素23的条带可小于10个像素的宽度。在一实施例中，条带可以在2个和5个像素宽度之间。可任选地，条带是4个像素的宽度。
对于电压(表达式(15)、(22)和(23)对该电压有效)，/>可被写成：
需要注意，如上面关于约束条件(24)所讨论的，即Σi′,j′[Pz(i′,j′,n)B(i,j,i′,j′)mp]对于给定像素p(i,j)而言与n无关，Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]因此也是常数且对于给定像素而言基本上与n无关且可被写成：
Σi′,j′Pz(i′,j′,n)[Amp(i,j,i′,j′)]＝Cmp(i,j). (26)
使用表达式(26)且设
ΣnPz(i,j,n)A(i,j)＝CD(i,j), (27)
用于的表达式(25)可被写成：
其中，如上所述(1≤n≤N)。
令像素p(i,j)的相移ξ(i,j)被定义成使得
ξ(i,j)＝atan(ΣnPz(i,j,n)sin(λn)/ΣnPz(i,j,n)cos(λn)), (29)
于是，表达式(28)可被写成：
为了方便起见，其可被重写为以下形式
其中
C(i,j)＝CD(i,j)+NCmp(i,j), (32)
以及
B(i,j)*＝B(i,j)[(ΣnPz(i,j,n)sinλn)2+(ΣnPz(i,j,n)cosλn)2]1/2. (33)
相移ξ(i,j)(其还可被称为“图案相位”或“空间相位”)可由对位于给定照明区域中的特征进行成像的像素p(i,j)来生成，对其而言，求和ΣnPz(i,j,n)sin(λn)不等于零。根据一实施例，表达式(29)中所定义的图案相移ξ(i,j)通过与像素p(i,j)相关联的照明区域的由结构化照明图案400生成并在曝光时段Exk期间与全局扰动相移序列λn同步的照明的时间依赖性来产生。如果成像在像素p(i,j)上的特征f(i,j)位于照明区域中，则该照明区域可被视为与该像素相关联，并且像素p(i,j)可被视为“处于”被成像在该像素上的特征f(i,j)的照明区域中。图案相位ξ(i,j)对于不同照明区域可能有所不同，并且可导致不同类型的照明区域中的像素针对场景30中距CW-OF相机200相同距离处的特征累积不同数量的光电荷。不同的光电荷量以及随之发生的不同对应电压可归因于与同相同的扰动相移序列不同地同步的不同照明区域相关联的图案修改器序列Pz(i,j,n)。此外，取决于CW-TOF相机(诸如CW-TOF相机200)的配置，由给定像素p(i,j)成像的特征f(i,j)所位于的照明区域可取决于该特征距相机的距离。作为结果，ξ(i,j)的值可以是由给定像素成像的特征的距离的函数。对于给定照明图案区域，ξ(i,j)的值可在CW-TOF相机20的校准规程中被确定并被存储在控制器225的存储器中。作为示例，用于CW-TOF相机20的校准规程可包括在距相机已知距离处对特征进行成像。
表达式(28)-(31)表明，MP光仅对电压(CW-TOF相机200针对像素p(i,j)和来自场景30的成像在该像素上的特征f(i,j)提供该电压)贡献与采样相移ψk无关的常数项NCmp(i,j)。与采样相移ψk无关的项不会对通过如表达式(11)中的求和所确定的传播相位延迟/>有所贡献。因此，根据本公开的一实施例被配置成使用与光学图案修改器Pz(i,j,n)同步的扰动相移λn来对场景成像的CW-TOF相机200提供了场景的由减小的MPI误差表征的范围图像。
给定图案相位ξ(i,j)和表达式(31)，传播相位延迟可根据类似于表达式(11)的表达式来被确定：
或者，为了减轻相位卷绕效应，有利地
并且，表达式(33)中的B(i,j)*可根据以下表达式来确定：
控制器225可被配置成控制移相器27和光学图案生成器提供不同的扰动相移集λn(在下文中也被称为抗MPI(AMPI)集)和对应的光学图案修改器Pz(i,j,n)，使得电压具有由表达式(28)或(31)给出的形式。AMPI集可基于用于根据本公开的实施例利用在由CW-TOF范围相机成像的场景中空间地变化的照明图案来照明该场景的各种类型的结构化光图案中的任一种。结构化光图案可例如是离散、连续、规则、不规则、或随机图案中的任一种、或者是示例图案中的任何两个或更多个的组合的图案。对于给定AMPI集，光学图案修改器Pz(i,j,n)修改来自光源24的光，以产生空间上结构化的光，该空间上结构化的光可将场景30划分成诸照明区域，这些照明区域可任选地包括N种不同类型的多个照明区域。并且如上所述，对于相同的扰动相移序列λn，结构光400可利用由不同光学图案修改器序列Pz(i,j,n)修改的光来照明场景30中的不同照明区域。在一实施例中，该不同光学图案修改器序列Pz(i,j,n)可以是相同光学图案修改器的循环排列。
例如，如果对于对第一类型的照明区域中的特征f(i,j)进行成像的像素p(i,j)，CW-TOF相机200将扰动相移序列中的扰动相移λ1、λ2、λ3、λ4与依序为P1、P2、P3、P4的相应光学图案修改器配对，则对于不同的第二类型的照明区域中的像素p(i,j)，相同的扰动相移序列可分别与依序为P4、P1、P2、P3的图案修改器配对。与第二照明区域相关联的图案修改器序列是与第一照明区域相关联的图案修改器序列的循环排列。在下文中，用于光学图案修改器P1(i,j)的自变量(i,j)可被省略，应当理解，光学图案修改器与该图案修改器所关联的照明区域中的像素相关联。
作为示例，在一实施例中，AMPI集可包括N＝2个扰动相移λn(其中λ1＝2π(n-1)/N＝(n-1)360°/N＝0°且λ2＝180°)以及两个光学图案修改器P1和P2(其可以是具有值P1＝1和P2＝0的二元常数)。场景30可包括两种类型的照明区域，对应于图2中所示的明区域29-1和暗区域29-2，并且具有分别等于0°和180°的图案相位ξ(i,j)。令这两种类型的照明区域记为Z1和Z2。在曝光时段Exk期间，照明区域在明和暗之间交替：当Z1为明时，Z2为暗；而当Z1为暗时，Z2为明。这些区域通过与扰动相移序列(λ1,λ2)同步的光学图案修改器序列(P1,P2)来区分。对于具有图案相位0°的Z1，序列(λ1,λ2)可以与序列(P1,P2)同步。匹配序列的组合可方便地由形式[Z1:(λ1,λ2)；(P1,P2)]来表示。插入扰动相移和光学图案调制器的值，匹配序列变为[Z1:(0°,180°)；(1,0)]。对于具有图案相位180°的Z2，序列(λ1,λ2)可与光学图案修改器的反转序列(P2,P1)同步，使得[Z2:(λ1,λ2)；(P2,P1)]且[Z2:(0°,180°)；(0,1)]。
对于对位于照明区域类型Z1中的特征f(i,j)进行成像的像素p(i,j)，表达式(28)可针对匹配序列[Z1:(0°,180°)；(1,0)]来评估，以提供CW-TOF相机200针对f(i,j)和采样相移ψk提供的电压
在该表达式中，Z1被添加至电压的自变量，以显式地指示该电压用于区域Z1中的特征f(i,j)。类似地，对于对位于照明区域类型Z2中的特征f(i,j)进行成像的像素p(i,j)，匹配序列[Z2:(0°,180°)；(0,1)]导致，
需要注意，在表达式(31)和(32)中以上评估中，图案相位0°和180°没有显式地出现，因为它们是通过以下来被计及的：光学图案修改器的反转排序(P1,P2)和(P2,P1)分别与照明区域Z1和Z2的相同扰动相移序列(0°,180°)同步以及表达式中最后一项之前的符号反转。在对扰动相移进行求和之后，由不同照明区域中的像素提供的电压可一般地由来述及。
从表达式(31)和(32)可以看出，使用扰动相移以及Z1和Z2的光学图案修改器的匹配序列的CW-TOF相机200针对特征f(i,j)和采样相移ψk提供具有对采样相移和传播相位延迟的相同形式的依赖性的电压/>如表达式(10)中所示。此外，MPI仅对表达式(31)和(32)中的常数项NCmp(i,j)有贡献。由于如上所述，表达式(10)中的常数对根据表达式(11)所确定的传播相位延迟/>没有贡献，因此由CW-TOF相机200提供的电压提供基本上没有MPI所生成的误差的传播相位延迟/>以及由此得到的距场景30中的特征f(i,j)的对应距离d(i,j)。
在一实施例中，AMPI集可包括N＝3个扰动相移λn(具有相应值0°、120°和240°)、三个二元光学图案修改器P1＝1、P2＝0、P3＝0、以及三种类型的照明区域Z1、Z2和Z3(具有相应图案相位0°、120°和240°)。照明区域可由以下来定义：[Z1:(0°,120°,240°)；(1,0,0)],[Z2:(0°,120°,240°)；(0,1,0)],[Z3:(0°,120°,240°)；(0,0,1)]。与以上针对区域Z1和Z2评估表达式(28)类似，针对由CW-TOF相机200为三个区域中的特征f(i,j)提供的电压评估表达式(28)伴随C(i,j)＝CD(i,j)+NCmp(i,j)提供了：
/>
根据一实施例，AMPI集可具有N＝2个扰动相移和两个照明区域，这两个照明区域具有相应图案相位0°、180°，并且由[Z1:(0°,180°)；(1,0.5-E)]和[Z2:(0°,180°)；(0,0.5+E)]来定义，其中0.5是DC电平且E<0.5。AMPI集提供以及
根据一实施例，AMPI集可具有N>2个扰动相移λn＝(n-1)360°/N,(0≤n≤N)以及两个照明区域，这两个照明区域具有相应图案相位0°、180°且由以下来定义
[Z1:(λ1,λ2,…λN)；(1+cosλ1,1+cosλ2,…,1+cosλN)]以及
[Z2:(λ1,λ2,…λN)；(1-cosλ1,1-cosλ2,…,1-cosλN)]。
AMPI集提供：
以及
根据一实施例，AMPI集可具有N＝2个扰动相移0°、180°，正弦光学图案修改器Pn、以及两个照明区域，这两个照明区域具有图案相位ξ(i,j)中的差异并且由以下来定义：
[Z1:(0°,180°)；(1+kcos(0°+ξ(i,j))),(1+kcos(180°+ξ(i,j)))]，以及
[Z2:(0°,180°)；(1+kcos(180°+ξ(i,j))),(1+kcos(0°+ξ(i,j)))]
AMPI集提供：
以及
根据一实施例，AMPI集可具有N>2个扰动相移λn＝(n-1)360°/N,(0≤n≤N)、N个正弦光学图案修改器Pn、以及图案相位ξ(i,j)，该图案相位ξ(i,j)是定义结构化照明图案的场景30中的位置的连续函数(其中场景中的特征f(i,j)的照明因变于该特征的位置而连续地改变)。例如，ξ(i,j)可以是索引i和索引j之一的连续函数，其中，在任何给定时间，被成像在光电传感器22中的同一行或列中的像素p(i,j)上的特征f(i,j)具有相同照明强度，并且毗邻行或列中的特征具有不同照明强度，使得场景30的照明看起来具有一维梯度。可任选地，该梯度是由图案相位ξ(i,j)生成的二维梯度，该图案相位是索引i和j两者的连续函数。图案相位ξ(i,j)的每个值可被考虑来定义照明区域。作为示例，光学图案修改器可以是谐波函数，其可任选地定义以下形式的AMPI集
[(λ1,λ2,…λN))；(1+kcos(λ1+ξ(i,j))),(1+kcos(λ2+ξ(i,j))),…,(1+kcos(λN+ξ(i,j)))],
对于在像素23p(i,j)上成像的每个特征f(i,j)，AMPI集提供由以下表达式给出的相对不含MPI的电压
类似地，根据一实施例，AMPI集可具有N>2个扰动相移λn＝(n-1)360°/N,(0≤n≤N)、N个正弦光学图案修改器Pn、以及由以下定义的连续照明区域
[(λ1,λ2,…λN))；(1+cosλ1cosξL),(1+cosλ2cosξL),…,(1+cosλNcosξL)]以及
这为特征f(i,j)提供了
需要注意，在以上讨论和示例中，结构光400和该结构光生成的场景30的结构化照明图案在以下意义上被假定为动态的：它们与扰动相移λn中取决于时间的变化同步地根据时间而改变。并且，各实施例的示例指示，针对给定采样相移ψk的电压以及相关联的扰动相移序列λn被假定为在光电传感器22的单个曝光时段Exk和单个帧中被获取。然而，本公开的各实施例的实践不限于单个曝光时段和/或单个帧采集和/或动态空间照明图案。根据本公开的一实施例，要对扰动相移求和以提供电压/>的电压可在光电传感器22的多个帧中被获取，并且结构光和对应的结构化照明图案可以是静止的，并且基本与扰动相移λn无关。如果在光电传感器22的曝光时段期间照明场景的给定区域以获取由CW-TOF相机200成像的场景的图像的光强度调制的幅度和频率对于相机为场景的相同范围图像所获取的图像基本上恒定且相同，则结构光可被认为是静止的。以不同采样相移照明场景的相同区域的光的调制幅度在它们可被归一化为相同幅度的情况下可被认为是相同的。在下文中，为方便呈现起见，假定相同振幅是相等的。
例如，为了提供从中将确定距场景30中的特征f(i,j)的距离的电压对于具有扰动相移λn的采样相移ψk和与该扰动相移相关联的光学图案修改器Pz(i,j,n)的每个配对，控制器225可控制CW-TOF相机200为光电传感器22中的像素p(i,j)获取不同的电压帧。
令针对由Exk,n表示的曝光时段(对其而言，采样相移ψk和扰动相移λn在该曝光时段期间是恒定的)期间获取的光电传感器22的电压帧中的由像素p(i,j)提供的电压由来表示。于是，类似于表达式(28)且C(i,j,n)＝CD(i,j,n)+Cmp(i,j)，
并且供在计算传播相位延迟中使用的电压/>可根据以下表达式来确定，
此外，如上所述，虽然对各实施例的讨论假定对于给定像素p(i,j)，对在该像素上成像的特征f(i,j)的照明是动态的并且与扰动相移λn,的变化同步地改变，但本公开的各实施例的实践不限于动态结构化照明图案。对于动态结构化照明图案，照明中的随λn的变化的变化由对光学图案修改器Pz(i,j,n)的索引n的依赖性来表示，该光学图案修改器Pz(i,j,n)表征场景30中的特征f(i,j)所位于的照明区域的照明。在一实施例中，照明场景的结构光和包括其在场景(诸如场景30)中生成的照明区域的结构化照明图案可以是静止的，不随λn的变化而改变，并且基本上与索引n无关。
假定控制器225操作CW-TOF相机200利用静止照明图案来照明场景30，以获取场景的范围图像。静止照明图案包括Z个不同类型的静止照明区域，分别由不随扰动相移λn的变化而改变的不同光学图案修改器ZPz(1≤z≤Z)来表征和表示。进一步假定控制器225根据K个采样相移ψk(1≤k≤K|K≥3)和N个扰动相移λn(1≤n≤N|N≥2)来控制相机。在一实施例中，控制器225可任选地控制CW-TOF相机200获取光电传感器22的多个帧，该多个帧在数量上足以对场景30进行成像以提供对可被处理以确定距特征f(i,j)的距离的像素p(i,j)的电压的近似。
如表达式(49)所指示，在K个采样相移ψk和N个扰动相移λn的假设下，所获取的数据必须足以提供像素p(i,j)的KxN个电压以确定距该像素成像的特征f(i,j)的距离。然而，CW-TOF相机200可被操作以获取光电传感器22的KxN个帧以提供KxN个电压，因为如果(ψk+λn)＝(ψk′+λn′)，则针对(ψk+λn)所获取的帧提供与针对(ψk′+λn′)所获取的帧相同的电压，少于KxN的帧数可足以提供电压。例如，对于N＝mK(其中m是整数)的K和N的选择，多个N个帧而不是mK2个帧足以提供电压。作为数值示例，对于m＝1、N＝K＝3，多个N＝3个帧而不是9个帧足以提供电压。另一方面，如果N≠mK，则通常KxN个帧对于提供电压是有利的。
在下面的讨论中，特征f(i,j)所位于的静止照明区域ZPz由ZPz(i,j)来表示。像素p(i,j)针对给定ψk和给定λn提供的照明区域ZPz(i,j)中特征f(i,j)的电压被表示为并且可被表达为：
电压可由在KxN个相应曝光时段Exk,n、或多个少于KxN个的帧和曝光时段期间所获取的多个KxN个帧来提供，如上面所讨论。
若控制器225要确定特征f(i,j)的电压(从中要通过简单地实现表达式(49)并对由像素p(i,j)针对特征f(i,j)所提供的n个电压/>进行求和来确定/>)，则对于每个ψk，所确定的电压将等于同一常数，因为对于静止照明图案ZPz(i,j)，B(i,j)与n无关。用符号表示，
作为结果，所确定的电压通常将无法用来确定
在一实施例中，为了计算对λn的求和(其提供取决于ψk且能用于确定特征f(i,j)的距离的的值)，控制器225使用由对特征f(i′,j′)进行成像的像素p(i′,j′)所提供的至少一个电压，该特征f(i′,j′)位于与由像素p(i,j)成像的特征f(i,j)所位于的静止照明区域ZPz(i,j)的类型不同的一类型的静止照明区域ZPz(i′,j′)中。特征f(i,j)所位于的静止照明区域ZPz(i,j)可被认为是“源(home)”照明区域，而其他至少一个照明区域ZPz(i′,j′)可被认为是“代理(surrogate)”照明区域。控制器将该至少一个代理静止照明区域ZPz(i′,j′)与不同于像素p(i,j)针对其提供电压的扰动相移的扰动相移λn配对。因此，像素p(i′,j′)对不同于像素p(i,j)针对其提供电压以供求和的光学图案修改器和扰动相移λn的求和贡献电压。
若像素p(i,j)位于合适的动态照明区域(对于该动态照明区域，照明随着扰动相移的变化而改变)中，则由像素p(i′,j′)提供的电压是对像素p(i,j)将针对扰动相移和光学图案修改器(针对其，像素p(i′,j′)提供电压)提供的电压的近似。有利地，该至少一个代理照明区域中的每一者是源照明区域的最近邻，其类型不同于该源照明区域的类型。并且，对于给定代理照明区域，有利的是，该代理照明区域中的像素p(i′,j′)是像素p(i,j)在给定代理照明区域中的最近邻像素。
根据本公开的一实施例，与扰动相移配对的代理照明区域的使用提供了在对λn的求和中的光学图案修改器与扰动相移的变化，这是源照明区域由于其是静止的而无法提供的。对代理照明区域的使用因此导致的有利值，该有利值能用于确定像素p(i,j)的传播相位延迟/>并因此确定距特征f(i,j)的距离。
令由与静止照明区域ZPz(i,j)(控制器225将该静止照明区域ZPz(i,j)与扰动相移λn配对)相关联的像素p(i,j)提供的电压由来表示，其中ZPz(i,j,n)中的索引z中的“n”指示静止照明区域ZPz(i,j)与扰动相移λn的配对。根据本公开的一实施例，使用代理照明区域来确定像素p(i,j)的电压/>的求和可被表示为：
在表达式(52)中，第一项是像素p(i,j)响应于来自其源照明区域ZPz(i,j,n)中的特征f(i,j)的光而提供的电压，该像素针对ψk和N个扰动相移中的特定扰动相移λn(控制器225将该特定扰动相移λn与源照明区域ZPz(i,j,n)配对)来记录该光。表达式(52)中的第二项是电压对扰动索引n′(n′≠)的总和，其中n是与第一项中的源照明区域配对的扰动相移λn的索引，并且(i′,j′)是像素p(i′,j′)的坐标，如下面所讨论的。电压/>由像素p(i′,j′)响应于来自位于静止照明区域ZPz′(i′,j′,n′)中特征f(i′,j′)的光而提供。如上所述，p(i′,j′)可有利地是像素p(i,j)的合适最近邻，并且作为结果，传播相位延迟/>被预计近似等于/>并且在对CW-TOF相机200针对成像在像素p(i,j)上的特征f(i,j)而确定的距离贡献误差方面受限。
需要注意，通常，由索引n′指示的静止照明区域ZPz(i′,j′,n′)是代理照明区域。然而，根据本公开的一实施例，控制器225可通过双射或满射映射将扰动相移配对至静止照明区域，以在表达式(52)中提供对于满射映射，控制器可将不止一个扰动相移配对至同一静止照明区域。作为结果，表达式(52)的第二项中的照明区域ZPz(i′,j′,n′)可以是源照明区域，在这种情形中，索引(i′,j′)将分别有利地等于(i,j)。
作为示例，假定CW-TOF相机200利用具有Z不同静止照明区域ZPz的静止照明图案来照明场景(诸如场景30)，以针对K个采样相位ψk和N个扰动相移λn来对该场景进行成像。假定Z＝N，控制器225可利用双射映射将扰动相移与静止照明区域配对，以提供供在表达式(52)中使用的以下配对集
(λ1,ZP1,ψk),(λ2,ZP2,ψk),(λ3,ZP3,ψk),(λ4,ZP4,ψk),…(λN,ZPN,ψk)。 (53)对于可任选地位于静止照明区域ZP1中的像素p(i,j)，的表达式(52)中的第一项变为
并且表达式(52)中的总和变为
其中，如上所述，(i′,j′)是像素p(i′,j′)的坐标，其可任选地是像素p(i,j)的合适的最近邻。
作为特定数值示例，假定K＝Z＝N＝3以使得采样相移ψ1、ψ2和ψ3分别取值为0°、120°、240°，扰动相移λ1、λ2和λ3也取值为0°、120°、240°，并且静止照明区域可由光学图案修改器ZP1＝1.5、ZP2＝1.0和ZP3＝0.5来表示，并且可任选地具有这些光学图案修改器。控制器225可使用λn到ZPz的以下双射映射来针对采样相移ψk获取场景30的距离图像：
(λ1＝0°→ZP1＝1.5,ψk),(λ2＝120°→ZP2＝1.0,ψk),(λ3＝240°→ZP3＝0.5,ψk).(56)
并且对于分别具有上述值0°、120°、240°的ψ1、ψ2和ψ3，表达式(56)分别变成：
作为满射映射的数值示例，假定K＝N＝3，并且静止照明图案类似于图2所示的具有Z＝2的交织的暗和亮静止照明区域的图案。可任选地，暗和亮照明区域由光学图案修改器ZP1＝0.5和ZP2＝1.0来表征。控制器225可使用λn到ZPz的以下满射映射来获取场景30的范围图像：
(0°,ZP1＝0.5,ψk),(120°,ZP2＝1.0,ψk),(240°,ZP2＝1.0,ψk).作为另一个数值示例，对于N＝3、
K＝2并且ZP1＝1.5且ZP2＝1.0，则有：
(0°,ZP1＝1.5,ψ1＝0°),(180°,ZP2＝1.0,ψ1＝0°),
(0°,ZP1＝1.5,ψ2＝120°),(180°,ZP2＝1.0,ψ2＝120°),
(0°,ZP1＝1.5,ψ3＝240°),(180°,ZP2＝1.0,ψ3＝240°),
其中0°/180°对应于+/-符号运算或微分运算。在一实施例中，可以在类似于以上所示的操作中使用两组或更多组的光学图案修改器以减少误差。例如，使用两组光学图案修改器(ZP1＝1.5、ZP2＝1.0)和(ZP1’＝0.5、ZP2’＝0.1)，则有：
(0°,ZP1＝1.5,0°),(180°,ZP2＝0.5,0°),(0°,ZP1’＝1,0°),(180°,ZP2’＝0.1,0°),
(0°,ZP1＝1.5,120°),(180°,ZP2＝0.5,120°),(0°,ZP1’＝1,120°),(180°,ZP2’＝0.1,120°),
(0°,ZP1＝1.5,240°),(180°,ZP2＝0.5,240°),(0°,ZP1’＝1,240°),(180°,ZP2’＝0.1,240°)。
需要注意，在上面的映射中，ψk和λn的各种组合的每一者的总和以360°求模得到到三个总和0°、120°、240°的仅一者。因此，CW-TOF相机200可从以0°、120°和240°的相应相移获取的场景30的三个图像中获取，而不是从该场景的九个图像中获取上述映射示例的表达式(52)中的所有电压。
还应注意，尽管CW-TOF相机200包括控制器225，该控制器225可操作用于控制光学图案生成器28(图2)使光学图案修改器与扰动相移的变化同步，但是根据本发明实施例的利用静止照明图案来获取范围图像的CW-TOF相机不需要对图案生成器的这种控制。除了用于在相机成像的场景上生成至少一个静止照明图案的装置之外，在其最简单的配置中，使用静止照明图案来对场景成像的CW-TOF静止照明图案相机可能不存在用于控制光源的任何装置。
根据本公开的一实施例，提供了一种连续波飞行时间(CW-TOF)相机，该CW-TOF相机可操作用于确定距场景中的特征的距离，该CW-TOF相机包括：可操作用于发射光来照明场景的光源；具有多个像素的光电传感器，该多个像素被配置成记录由场景中的特征从发射光反射的光量；以及控制器，该控制器被配置成：控制光源发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及对于多个K≥3个不同采样相移的采样相移ψk＝2π(k-1)/K(1≤k≤K)和多个N≥2个不同扰动相移的扰动相移λn＝2π(n-1)/N(1≤n≤N)的每个组合：以发射光的调制频率调制光电传感器的灵敏度，但是相对于发射光的相位相移了一相位θk,n＝(ψk+λn)；对于θk,n以360°求模得到的每个值，开启光电传感器达不同曝光时段以记录由特征反射的光；以及基于由像素记录的光来确定距特征的距离。
可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。可任选地，控制器被配置成控制光源利用与扰动相移序列同步的光学图案修改器序列来修改结构光。
在一实施例中，确定距成像在光电传感器的由索引(i,j)表示的像素p(i,j)上的特征f(i,j)的距离包括：对表示像素在每个曝光时段Exk,n期间记录的光的电压进行求和，以提供电压其中/>表示光从相机行进至特征并回到相机的传播相位延迟。可任选地，确定距特征的距离包括使用电压/>来确定/>并由此确定该距离。
在一实施例中，确定结构化照明图案是包括多个Z个不同类型的静止照明区域ZPz,(1≤z≤Z)的静止照明图案。可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段可包括：开启光电传感器达小于KxN的曝光时段数。可任选地，小于KxN的曝光时段数等于θk,n以360°求模得到的不同值的数目。
在一实施例中，确定距位于静止照明区域ZPz(i,j)中的成像在像素p(i,j)上的特征f(i,j)的距离包括：对于每个ψk，确定多个电压的求和，每个电压表示由光电传感器中的像素针对不同扰动相移λn所记录的光。可任选地，该多个电压包括表示由像素p(i,j)针对第一扰动阶段λn所记录的光的电压和表示由像素p(i′,j′)所记录的来自位于与静止照明区域的类型ZPz(i,j)不同的一类型的静止照明区域ZPz(i′,j′)中的特征f(i′,j′)的光的电压，其中f(i,j)被定位以供不同于第一扰动阶段的第二扰动阶段λn。可任选地，电压求和包括由对位于静止照明区域ZPz中的特征进行成像的像素提供的与该静止照明区域配对的每个λn的电压。不同静止照明区域ZPz的数目Z可等于扰动阶段λn的数目N，并且控制器使用扰动阶段到静止照明区域的双射映射来将扰动阶段与静止照明区域配对。可任选地，不同静止照明区域ZPz的数目Z小于扰动阶段λn的数目N，并且控制器使用扰动阶段到静止照明区域的满射映射来将扰动阶段与静止照明区域配对。
根据本公开的一实施例，进一步提供一种确定到场景中的特征的距离的方法，该方法包括：发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及对于多个K≥3个不同采样相移的采样相移ψk＝2π(k-1)/K(1≤k≤K)和多个N≥2个不同扰动相移的扰动相移λn＝2π(n-1)/N(1≤n≤N)的每个组合：以发射光的调制频率调制具有被配置成记录光的像素的光电传感器的灵敏度，但是相对于发射光的相位相移了一相位θk,n＝(ψk+λn)；对于θk,n以360°求模得到的每个值，开启光电传感器达不同曝光时段以记录由场景中的特征反射的光；以及基于由像素记录的光来确定距特征的距离。
可任选地，对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段包括：对于每个采样相移ψk，针对N个不同扰动相移的每个λn来开启光电传感器达不同曝光时段Exk,n。对于θk,n以360°求模得到的每个值来开启光电传感器达不同曝光时段可包括：开启光电传感器达小于KxN的曝光时段数。可任选地，小于KxN的曝光时段数等于θk,n以360°求模得到的不同值的数目。
在一实施例中，利用结构化照明图案照明场景包括：利用包括多个Z个不同类型的静止照明区域ZPz,(1≤z≤Z)的静止照明图案来照明场景。
在一实施例中，利用结构化照明图案照明场景包括：利用动态照明图案照明场景，该动态照明图案包括多个Z个不同类型的动态照明区域，对于这些动态照明区域中的每一者，照明可控制地随时间变化而与其他区域的照明无关。
在本申请的描述和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素或部分的完整列表。
在本申请中作为示例提供了对本公开的各实施例的描述，而不旨在限制本公开的范围。所描述的实施例包括不同的特征，对于所有实施例来说并不是所有的特征都是必需的。一些实施例只利用一些特征或特征的可能组合。所描述的本公开的实施例的变体以及包括在所描述的实施例中提到的特征的不同组合的实施例将被本领域的人员想到。本发明的范围仅由权利要求来限定。

Claims (22)

1.一种连续波飞行时间CW-TOF相机，所述CW-TOF相机用于确定距场景中特征的距离，所述CW-TOF相机包括：
光源，所述光源用于发射光来照明所述场景；
具有多个像素的光电传感器，所述多个像素被配置成记录所发射的光由所述场景中的特征反射的光量；以及
控制器，所述控制器被配置成：
控制所述光源发射以调制频率调制的结构光，以利用结构化照明图案照明所述场景；以及
对于多个不同采样相移中的采样相移和多个不同扰动相移中的扰动相移的每个组合：
以所发射的光的调制频率调制所述光电传感器的灵敏度，但是相对于所发射的光的相位相移了等于所述采样相移和所述扰动相移的求和的相位；
对于所述求和以360°求模得到的每个值，开启所述光电传感器达不同曝光时段以记录由所述特征反射的光；以及
基于由所述像素记录的光来确定距所述特征的距离。
2.根据权利要求1所述的CW-TOF相机，其特征在于，开启所述光电传感器达不同曝光时段包括：对于每个采样相移，针对所述多个不同扰动相移中的每一个开启所述光电传感器达不同曝光时段。
3.根据权利要求2所述的CW-TOF相机，其特征在于，所述控制器被配置成控制所述光源利用与扰动相移序列同步的光学图案修改器序列来修改所述结构光。
4.根据权利要求3所述的CW-TOF相机，其特征在于，确定距成像在所述光电传感器的像素上的特征的距离包括：对表示所述像素在每一个所述曝光时段期间记录的光的电压进行求和，以提供经求和的电压，所述经求和的电压是光从所述相机行进至所述特征并回到所述相机的传播相位延迟的函数。
5.根据权利要求4所述的CW-TOF相机，其特征在于，确定距所述特征的距离包括：使用所述经求和的电压来确定所述传播相位延迟并由此确定所述距离。
6.根据权利要求1所述的CW-TOF相机，其特征在于，所述结构化照明图案是包括多个不同类型的静止照明区域的静止照明图案。
7.根据权利要求6所述的CW-TOF相机，其特征在于，对于所述求和以360°求模得到的每个值来开启所述光电传感器达不同曝光时段包括：对于每个采样相移，针对所述多个不同扰动相移中的每个扰动相移来开启所述光电传感器达不同曝光时段。
8.根据权利要求6所述的CW-TOF相机，其特征在于，对于所述求和以360°求模得到的每个值来开启所述光电传感器达不同曝光时段包括：开启所述光电传感器达小于所述多个采样相位的数目乘以所述多个扰动相移的数目的曝光时段数。
9.根据权利要求8所述的CW-TOF相机，其特征在于，所述曝光时段数等于所述求和以360°求模得到的不同值的数目。
10.根据权利要求6所述的CW-TOF相机，其特征在于，确定距位于静止照明区域中的成像在给定像素上的特征的距离包括：对于每个采样相移，确定多个电压的求和，每个电压表示由所述光电传感器中的像素针对不同扰动相移所记录的光。
11.根据权利要求10所述的CW-TOF相机，其特征在于，所述多个电压包括表示由所述给定像素针对所述多个扰动相移中的第一扰动相移所记录的光的电压、以及表示像素记录的来自位于与所述静止照明区域类型不同的类型的静止照明区域中的特征的光的电压，其中由所述给定像素成像的所述特征是针对不同于所述第一扰动相移的第二扰动相移λn定位的。
12.根据权利要求11所述的CW-TOF相机，其特征在于，所述电压求和包括由对位于静止照明区域中的特征进行成像的像素提供的与所述静止照明区域配对的每个扰动相移的电压。
13.根据权利要求12所述的CW-TOF相机，其特征在于，不同静止照明区域的数目等于所述多个扰动相移的数目，并且所述控制器使用所述扰动相移至静止照明区域的双射映射来将所述扰动相移与所述静止照明区域配对。
14.根据权利要求12所述的CW-TOF相机，其特征在于，所述多个不同静止照明区域的数目小于所述多个扰动相移的数目，并且所述控制器使用所述扰动相移至静止照明区域的满射映射来将所述扰动相移与所述静止照明区域配对。
15.一种确定距场景中的特征的距离的方法，所述方法包括：
发射以调制频率调制的结构光，以利用结构化照明图案照明场景；以及
对于多个不同采样相移中的采样相移和多个不同扰动相移中的扰动相移的每个组合：
以所发射的光的调制频率调制具有被配置成记录光的像素的光电传感器的灵敏度，但是相对于所发射的光的相位相移了等于采样相移和扰动相移的求和的相位；
对于所述求和以360°求模得到的每个值，开启所述光电传感器达不同曝光时段以记录由所述场景中的特征反射的光；以及
基于由所述像素记录的光来确定距所述特征的距离。
16.根据权利要求15所述的方法，其特征在于，对于所述求和以360°求模得到的每个值来开启所述光电传感器达不同曝光时段包括：对于每个采样相移，针对所述多个不同扰动相移中的每个扰动相移来开启所述光电传感器达不同曝光时段。
17.根据权利要求15所述的方法，其特征在于，对于所述求和以360°求模得到的每个值来开启所述光电传感器达不同曝光时段包括：开启所述光电传感器达小于所述多个采样相位的数目乘以所述多个扰动相移的数目的曝光时段数。
18.根据权利要求17所述的方法，其特征在于，所述曝光时段数小于所述求和以360°求模得到的不同值的数目。
19.根据权利要求15所述的方法，其特征在于，利用结构化照明图案照明所述场景包括：利用包括多个不同类型的静止照明区域的静止照明图案来照明所述场景。
20.根据权利要求15所述的方法，其特征在于，利用结构化照明图案照明所述场景包括：利用动态照明图案照明所述场景，所述动态照明图案包括多个不同类型的动态照明区域，对于所述动态照明区域中的每一者，照明可控制地随时间变化而与其他区域的照明无关。
21.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求15-20中任一权利要求所述的方法。
22.一种计算机系统，包括用于执行如权利要求15-20中任一权利要求所述的方法的装置。
CN201880086646.2A 2018-01-15 2018-12-28 飞行时间相机 Active CN111615645B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/871,291 2018-01-15
US15/871,291 US10901087B2 (en) 2018-01-15 2018-01-15 Time of flight camera
PCT/US2018/067773 WO2019139787A1 (en) 2018-01-15 2018-12-28 Time of flight camera

Publications (2)

Publication Number Publication Date
CN111615645A CN111615645A (zh) 2020-09-01
CN111615645B true CN111615645B (zh) 2023-09-29

Family

ID=65139246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086646.2A Active CN111615645B (zh) 2018-01-15 2018-12-28 飞行时间相机

Country Status (4)

Country Link
US (1) US10901087B2 (zh)
EP (1) EP3740788B1 (zh)
CN (1) CN111615645B (zh)
WO (1) WO2019139787A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11525918B2 (en) * 2017-04-04 2022-12-13 pmdtechnologies ag Time-of-flight camera
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US20200184662A1 (en) * 2018-12-07 2020-06-11 Texas Instruments Incorporated Structured light projector
US11467258B2 (en) * 2019-02-19 2022-10-11 Lite-On Electronics (Guangzhou) Limited Computation device, sensing device and processing method based on time of flight
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
US11906628B2 (en) * 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
US20230107567A1 (en) * 2020-03-16 2023-04-06 Ningbo ABAX Sensing y Co., Ltd. Device and method for measuring distance by time of flight
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
US11359915B1 (en) * 2020-05-15 2022-06-14 Lockheed Martin Corporation Active optical compressive sensing
WO2021252153A1 (en) 2020-06-11 2021-12-16 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
US20230095000A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Adaptive-Flash Photography, Videography, and/or Flashlight Using Camera, Scene, or User Input Parameters
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116326A (zh) * 2005-02-03 2008-01-30 索尼爱立信移动通讯股份有限公司 Led闪光控制
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN105102926A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法
CN105556337A (zh) * 2013-05-24 2016-05-04 微软技术许可有限责任公司 深度成像中的间接反射抑制
CN106662651A (zh) * 2014-06-11 2017-05-10 软动力学传感器公司 Tof相机系统以及用于测量与该系统的距离的方法
CN107076854A (zh) * 2014-10-27 2017-08-18 微软技术许可有限责任公司 飞行相机的时间
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3704465A (en) 1970-08-28 1972-11-28 Hazeltine Corp Angular position determining system compensated for doppler
JPH0690032B2 (ja) 1987-08-06 1994-11-14 日本電気株式会社 距離画像取得装置
US5581345A (en) 1990-12-03 1996-12-03 Nikon Corporation Confocal laser scanning mode interference contrast microscope, and method of measuring minute step height and apparatus with said microscope
US5579107A (en) 1995-05-25 1996-11-26 Horiba Instruments, Inc. Method and apparatus for dry particle analysis
JP3748616B2 (ja) 1996-04-02 2006-02-22 浜松ホトニクス株式会社 光波距離計
HU227654B1 (en) 1996-09-05 2011-10-28 Rudolf Schwarte Method and device for determining the phase- and/or amplitude data of an electromagnetic wave
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6906793B2 (en) 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6515740B2 (en) 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6707054B2 (en) 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6697010B1 (en) 2002-04-23 2004-02-24 Lockheed Martin Corporation System and method for moving target detection
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
JP4715216B2 (ja) 2005-02-07 2011-07-06 パナソニック電工株式会社 測距装置
EP1703741A1 (en) 2005-03-17 2006-09-20 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. 3-d imaging system
US20070127009A1 (en) 2005-12-07 2007-06-07 Su-Ling Chen Multi-modulation frequency laser range finder and method for the same
EP2038815B1 (en) 2006-07-06 2012-05-16 Microsoft Corporation Method and system for fast calibration of three-dimensional (3d) sensors
JP2008076064A (ja) 2006-09-19 2008-04-03 Olympus Corp 光学式エンコーダの信号処理回路
JP5098331B2 (ja) 2006-12-28 2012-12-12 株式会社豊田中央研究所 計測装置
US7589316B2 (en) 2007-01-18 2009-09-15 Ethicon Endo-Surgery, Inc. Scanning beam imaging with adjustable detector sensitivity or gain
JP5190866B2 (ja) 2007-09-04 2013-04-24 富士フイルム株式会社 測距方法および装置
WO2009065418A1 (de) 2007-11-19 2009-05-28 Corpus.E Ag Hochauflösende optische erfassung der raumform von körpern
EP2073035A1 (en) 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Recording of 3D images of a scene
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
EP2157401A1 (en) 2008-08-18 2010-02-24 Holding Prodim Systems B.V. Apparatus and method for measuring spatial co-ordinates
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
GB2528401A (en) 2011-05-06 2016-01-20 Nvip Pty Ltd Anti-nerve growth factor antibodies and methods of preparing and using the same
WO2013052781A1 (en) 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US9325920B2 (en) 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US20140049767A1 (en) 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9405008B2 (en) 2013-05-17 2016-08-02 Massachusetts Institute Of Technology Methods and apparatus for multi-frequency camera
KR102203318B1 (ko) 2013-06-06 2021-01-15 헵타곤 마이크로 옵틱스 피티이. 리미티드 능동형 조명을 구비한 센서 시스템
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US10061029B2 (en) 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
CA2979836C (en) 2015-03-17 2023-08-29 Cornell University Depth field imaging apparatus, methods, and applications
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9989630B2 (en) * 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
US20170323429A1 (en) 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
US10917626B2 (en) 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10430958B2 (en) 2017-07-11 2019-10-01 Microsoft Technology Licensing, Llc Active illumination 3D zonal imaging system
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116326A (zh) * 2005-02-03 2008-01-30 索尼爱立信移动通讯股份有限公司 Led闪光控制
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN105102926A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法
CN105556337A (zh) * 2013-05-24 2016-05-04 微软技术许可有限责任公司 深度成像中的间接反射抑制
CN106662651A (zh) * 2014-06-11 2017-05-10 软动力学传感器公司 Tof相机系统以及用于测量与该系统的距离的方法
CN107076854A (zh) * 2014-10-27 2017-08-18 微软技术许可有限责任公司 飞行相机的时间
CN107111746A (zh) * 2014-10-30 2017-08-29 微软技术许可有限责任公司 根据原始飞行时间图像的模型拟合

Also Published As

Publication number Publication date
US20190219696A1 (en) 2019-07-18
EP3740788B1 (en) 2022-10-12
CN111615645A (zh) 2020-09-01
WO2019139787A1 (en) 2019-07-18
US10901087B2 (en) 2021-01-26
EP3740788A1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
CN111615645B (zh) 飞行时间相机
CN110494763B (zh) 飞行时间相机
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
US9857469B2 (en) System and method for multi TOF camera operation using phase hopping
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
EP2487504A1 (en) Method of enhanced depth image acquisition
US20110299059A1 (en) Multi-Level Digital Modulation for Time of Flight Method and System
US9746547B2 (en) Method and apparatus for generating depth image
US20180313955A1 (en) Time of flight camera
CN106133551B (zh) 信号谐波误差取消方法和装置
US20120127305A1 (en) Method and apparatus of profiling a surface
JP2017201760A (ja) 撮像装置および測距装置
JP6104662B2 (ja) 計測装置、方法及びプログラム
JPH0670798B2 (ja) 光学的パターン認識方法
US10415954B2 (en) Method for analyzing an object
EP3552044B1 (en) Time-of-flight imaging apparatus and method
RU2616070C2 (ru) Способ определения положения по меньшей мере одной кромки объекта путем оценки профилей границ дифракции френеля
JP2019092088A (ja) 撮像装置
Ti et al. Single-shot time-of-flight phase unwrapping using two modulation frequencies
JP2018036144A (ja) 距離計測システム、および距離計測方法
CN112946602A (zh) 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置
Kushida et al. Phase disambiguation using spatio-temporally modulated illumination in depth sensing
US9941661B1 (en) System for maintaining the locking range of an injection locked laser array within range of the frequency of a master laser
Nayar et al. Micro phase shifting
JP2019039685A (ja) 検査システムおよび検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant