CN102393515A - 用于对飞行时间(tof)系统进行分层去混叠的方法和系统 - Google Patents
用于对飞行时间(tof)系统进行分层去混叠的方法和系统 Download PDFInfo
- Publication number
- CN102393515A CN102393515A CN2011102170164A CN201110217016A CN102393515A CN 102393515 A CN102393515 A CN 102393515A CN 2011102170164 A CN2011102170164 A CN 2011102170164A CN 201110217016 A CN201110217016 A CN 201110217016A CN 102393515 A CN102393515 A CN 102393515A
- Authority
- CN
- China
- Prior art keywords
- phase
- aliasing
- frequencies
- modulation frequency
- hierarchical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000010363 phase shift Effects 0.000 description 23
- 239000008186 active pharmaceutical agent Substances 0.000 description 17
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Radar Systems Or Details Thereof (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
TOF系统分开地使用与分开的混叠间隔范围Z1,Z2,...,Zm相关联的n≥3个调制频率f1,f2,...,fm来获得深度数据。接着,生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn,并且从分开地使用f1,f2,...,fm来获得的数据中计算对应的相位。对由此获得的数据的分层去混叠使用所生成的中间频率来实现。如果需要,分层去混叠可一次一步地实现。由此操作,该TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同该TOF系统以非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同该TOF系统以高调制频率fE来操作。优选地,高调制频率fE是所有调制频率f1,f2,...,fm的函数,该函数是f1,f2,...,fm的算术平均或加权平均。
Description
与共同待审申请的关系
要求来自2010年7月21日提交的共同待审美国临时发明申请系列号61/400,061、标题为“Methods and Systems for Hierarchical Dealiasing Time-of-Flight(TOF)Systems(用于对飞行时间(TOF)系统进行分层去混叠的方法和系统)”的优先权。还要求来自2009年6月26日提交的共同待审美国发明申请系列号12/459,033、标题为“Method and System for Lossless Dealiasing in Time-of-Flight(TOF)Systems(用于飞行时间(TOF)系统中无损去混叠的方法和系统)”的部分延续优先权。所述‘033申请是2007年10月2日提交的美国专利申请系列号11/906,609、标题为“Method and System for Lossless Dealiasing in Time-of-Flight(TOF)Systems(用于飞行时间(TOF)系统中无损去混叠的方法和系统)”的继续,现在的美国专利号为7,791,715。该新申请是所述共同待审申请系列号12/459,033的部分延续。
技术领域
本发明一般地涉及深度成像系统,尤其涉及通过比较所发射的光能与所反射的检测出的光能之间的相移(θ)来获得距离(Z)处的深度图像的飞行时间(TOF)成像系统。Z中的改变产生相移θ中的改变,但最终相移开始重复,例如θ=θ+2·π,等。由此,距离Z为已知模2·π·C/2·ω=C/2·f,其中f为调制频率。本发明针对消除检测出的相移θ的值与距离Z之间的固有模糊性(或去混叠),尤其在存在噪声的情况下。
背景技术
现代飞行时间(TOF)系统可通过发射已知相位 的经调制的光能来查明到目标对象的距离(Z),并且检查从该目标对象所反射回该TOF系统的光信号中的相移。这样的示例性相位型的TOF系统在由Canesta公司获得现在转让给微软公司的几个美国专利中描述。这些专利包括美国专利号6,515,740 “Methods for CMOS-Compatible Three-Dimensional Imaging Sensing Using Quantum Efficiency Modulation(使用量子效率调制的CMOS兼容的三维图像感测的方法)”、6,906,793标题为“Methods and Devices for Charge Management for Three Dimensional Sensing(用于三维感测的电荷管理的方法和设备)”、6,678,039“Method and System to Enhance Dynamic Range Conversion Useable With CMOS Three-Dimensional Imaging(用于CMOS三维成像可使用的增强动态范围转换的方法和系统)”、6,587,186“CMOS-Compatible Three-Dimensional Image Sensing Using Reduced Peak Energy(使用减小的峰值能量的CMOS兼容的三维图像感测)”、6,580,496“Systems for CMOS-Compatible Three-Dimensional Image Sensing Using Quantum Efficiency Modulaion(使用量子效率调制的CMOS兼容的三维图像感测的系统)”。
由于本发明与这些现有技术的相位型TOF系统一起使用,此时回顾其操作是有用的。图1A是基于以上援引的专利(例如‘186专利),并描绘示例性相位型TOF系统。
在图1A中,示例性相移TOF深度成像系统100可被制造在包括像素检测器140的二维阵列130的IC 110上,这些像素检测器在操作上可以是单端的或差分的。优选地,像素检测器140中的每一个具有用于处理由相关联的检测器输出的检测电荷的专用电路150。优选地,IC 110还包括微处理器或微控制器单元160、存储器170(优选地包括随机存取存储器或RAM以及只读存储器或ROM)、高速的可分发时钟180、以及各种计算和输入/输出(I/O)电路190。控制器单元160可执行对与对象的距离以及对象速度的计算,以及其他功能。
在微处理器160的控制下,光能的源120通过激励器115来周期性地通电,并朝对象目标20发射经调制的光能。优选地,发射器120是至少一个LED或一个或多个激光二极管,发射低功率(例如可能1W)的周期性波形、产生被称为快门时间(可能10ms)的时间段的已知频率(可能几十个MHz)的光能发射。通常,发射器120以带有可能800nm波长的近红外(IR)操作。透镜125通常被用于聚焦所发射的光能。
所发射的光能(被表示为S出)的某一些将从目标对象20的表面上反射(被表示为S入)。这一被反射的光能S入将通过光圈视场光阑以及透镜(统称为 135),并将落在像素或光检测器140的二维阵列130上。当所反射的光能S入撞击阵列130中的光检测器140时,光检测器内的光子将被释放,并被转换成微量的检测电流。为方便解释,传入光能可被模型化为S入=A·cos(ω·t+θ),其中A为亮度或强度系数,ω·t表示周期性调制频率,以及θ表示相移。相移θ随着距离Z的改变而改变,并且图1B和1C描绘了所发射的信号与所检测的信号之间的相移θ。相移θ数据可被处理,以产生期望的Z深度信息。在阵列130内,像素检测器电流可被集成,以累积成用于形成深度图像的有意义的检测信号。以此方式,TOF系统100可在传感器阵列130中每一像素检测器140处为每一帧所获得的数据捕捉并提供Z深度信息。
诸如系统100等相位型TOF系统内的信号检测在本文稍后参考图2B更完整地描述,但简言之,像素检测信息在至少两个离散相位(优选地0°和90°)处被捕捉并被处理以产生Z数据。
系统100由于飞行时间而在距离Z处产生相移θ,由下式给出:
θ=2·ω·Z/C=2·(2·π·f)·Z/C (1)
其中c是光在空气中的速度,300,000千米/秒。从以上等式(1),于是距离Z由下式给出:
Z=θ·C/2·ω=θ·C/(2·2·f·π) (2)
并且,当θ=2·π时,与调制频率f相关联的混叠间隔范围由下式给出:
ZAIR=C/(2·f) (3)
实际上,Z中的改变产生相移θ中的改变,但最终相移开始重复,例如θ=θ+2·π,等。由此,距离Z为已知模2·π·C/2·ω)=C/2·f,其中f为调制频率。由此,存在所检测的相移θ的值与距离Z之间的固有模糊性,并且采用多频方法来对相移数据进行消除模糊性或去混叠。由此,如果系统100报告距离Z1,现实中实际距离可以是ZN=Z1+N·C/2f中的任一个,其中N为整数。这一模糊性的本质可参考图1D和1E来更好的理解。
图1D是针对系统100的所检测的相位θ对比距离Z的映射。假设系统100确定目标对象20的相位角θ’,其中这一相位信息使用比方说50MHz的调制频率f1来获得。如图1D所示,存在可由这一特定相位角表示的若干距离,例如z1、z2、z4、z5等,但哪一个是正确的距离?在图1D中,ZAIR1表示与以 频率f1所获得的z数据相关联的混叠间隔范围的Z距离,并且是从z1到z2、或z2到z4、或z4到z5等的距离。这些不同的z1、z2、z4、z5距离是模糊的且需要消除模糊性或去混叠,以标识正确的距离值。术语消除模糊性(disambiguate)和去混叠(dealias)、或名词消除模糊性和去混叠在本文中可被互换地使用。
期望通过增加混叠间隔范围ZAIR1的量级来对z数据去混叠。一种现有技术的方法通过增加C/2f比率来进行,即通过减小调制频率f,见等式(3)。图1D还以加粗线示出为较低调制频率f2所获得的相位数据。在图1D中,f2可能是20MHz,因为f2波形的斜率dθ/dz小于f1波形的斜率大约一半,其中斜率dθ/dz与调制频率fm成比例。图1E是其中被描绘成逆时针旋转的线的向量以速度ω=dθ/dt=2πf旋转的极坐标表示。在现有技术的系统100中,数据从位于至少两个离散相位(例如0°和180°)处的像素检测器中被捕捉。
由此,在图1D,当较低调制频率f2被采用时,由相位θ’所表示的候选距离值为z3、z6等。如在图1D中可见,混叠间隔范围ZAIR2已经被有利地从短范围ZAIR1(与较快的调制频率f1相关联)增加到较大范围ZAIR2。混叠间隔范围增加的比率将为比率f2/f1。但是,与以较高调正频率f1来获得相位数据相比,以较低调制频率f2来获得相位数据产生带有较小精确性或分辨率的Z值。这一不精确性由于频率的f2曲线斜率是调制频率f1的斜率的约一半而发生。由此,与以f1所获得的相位中的误差相比,在测量以f2所获得的相位中的误差被转换成Z中更大的误差。对于某一信噪比,以f1和以f2所获得的相位中的误差将是相同的,但Z中使用以较低的f2调制频率所获得的相位的对应不确定误差将是图1D的表示的两倍大。由此,在所有东西都相等的情况下,降低调制频率不期望地导致在准确地确定Z中的较低的分辨率(较大的不确定性)。
由此,尽管增加混叠范围间隔是期望的,但通过减小调制频率来这样做是不期望的。这一用于去混叠的调制频率减小方法是浪费的,因为较低调制频率意味着来自发射器120(见图1A)的每瓦特照明功率的像素传感器140的准确性较低。例如,以因子2.5降低的调制频率,比如说从f=50MHz到f=20MHz,将有利地以相同因子来增加混叠间隔,比如说从3m到7.5m,但是惩罚是为了实现相似的不确定性性能,操作功率显著增加了(2.5)·(2.5)=6.25倍,假定环 境日光的影响可被忽视。作为进一步示例,如果使用调制频率50MHz和10MHz,则去混叠范围会从3m增加到30m,但对于相同等级的不确定性,操作功率的增加为25倍。由此,实际上,通过降低调制频率来对TOF系统去混叠伴随有非常显著的性能惩罚。
理想上,对TOF系统去混叠会实现对低调制频率的明确范围,同时提供对高调制频率的距离分辨率。但是存在噪声的去混叠可能是有挑战的,尤其对于高调制频率、或对于大的明确范围。
对于相位型TOF系统所需的是一种对Z数据结果去混叠或消除模糊性的方法,尤其在存在噪声的情况下。优选地,去混叠应在存在噪声的情况下工作良好,即使带有高调制频率或对于大的明确范围。
本发明提供用于在相位型TOF系统中去混叠的方法和系统。
发明内容
本发明的各实施例对相位型飞行时间(TOF)系统所获得的深度距离Z进行分层地去混叠。深度数据通过优选地分别使用至少三个调制频率f1,f2,....,fm的TOF系统来获得,其中,如果所述TOF系统仅仅以所述调制频率中的一个来操作,则混叠范围Z1,Z2,...,Zm将产生。接着,n个中间频率fDE1,fDE2,...,fDEn被生成且按fDE1<fDE2<...<fDEn的次序排序,并且其对应的相位从使用三个或更多调制频率f1,f2,...,fm分别获得的数据中计算。最后,发生了使用所生成的中间频率来对该三个或更多调制频率所获得的数据分别进行的分层去混叠。如果需要,分层去混叠可一次一步地实现。
结果是TOF系统提供有效的去混叠间隔范围ZD>Zk(k=1...n),如同所述TOF系统以非常低的调制频率fD来操作一样,而同时提供深度分辨率确定性,如同所述TOF系统以高调制频率fE来操作一样。优选地,高调制频率fE是所有调制频率f1,f2,...,fm的函数,并且该函数可以是(并非作为限制)f1,f2,...,fm的算术平均、或f1,f2,...,fm的加权平均。
在另一实施例中,分层去混叠可按步进式顺序来实现,该步进式顺序包括 使用fD的相位的fDE1的第一去混叠相位数据、以及随后使用fDE1的相位的fDE2的去混叠相位。如果需要,在每一步骤,fDE(k+1)的相位使用fDEk的相位来去混叠,直到最后一步,在那里fE的相位使用fDEn的相位来去混叠,以产生fE的解开的相位。在一个实施例中,fE的解开的相位通过以下方式来计算:在最后一步使用分层去混叠,使用fDEn来对每一调制频率f1,f2,...,fm的相位去混叠以得到每一调制频率的解开的相位,并随后使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。
在一个实施例中,在使用fDEk的相位来对fDE(k+1)的相位去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内的纠正的fDEk相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期。最后,这使得在总体明确的范围ZD内的fDE(k+1)的正确周期、或fD的周期被找出。
本发明认识到,成功地对数据去混叠的难度随着fE/fD比率的增加而增加,因为当θE被用于计算θDS时,θE中的噪声被该比率放大。因此,对于与大有效频率fE对应的高调制频率,或对于与小差别频率fD对应的非常大的明确范围,这样经放大的噪声会在估计去混叠间隔K中产生误差结果。该结果将导致混叠了明确范围的中部。
本发明的各实施例可在硬件和/或软件中实现,硬件和/或软件可以是用其实施本发明的TOF系统的一部分。根据本发明的各实施例的分层去混叠优选地是相对低损耗的。
本发明的其他特征和优点将在以下描述中出现,其中已经结合其附图阐述了优选实施例。
附图说明
图1A是描绘根据现有技术的相位型飞行时间三维成像系统的框图;
图1B和2C描绘根据现有技术的与图1A的成像系统相关联的所发射和所反射的光能波形;
图1D描绘根据现有技术的、针对两个调制频率所获得的相位对比距离Z并且展示混叠间隔和距离模糊性;
图1E是根据现有技术的作为调制频率的函数的所获得的相位数据的极坐 标表示;
图2A描绘根据12/459,033申请的各实施例的带有去混叠的相位型飞行时间三维成像系统;
图2B描绘根据本发明的各实施例的在0°与180°、90°与270°处示例性相位捕捉的细节;
图3根据12/459,033申请的各实施例获得了对于两个接近调制频率、以及对于虚拟频率fD、fE和fDS的相位对比距离Z,以及所得的大混叠间隔ZAIR;
图4A描绘根据12/459,033申请的一个实施例的来自一个像素检测器的八个不同的捕捉的顺序、以及所得的相移和帧构造;
图4B描绘根据12/459,033申请的一个实施例的、其中四个相邻像素检测器在单个捕捉中获得四个相位的顺序、以及所得的相移和帧构造;
图4C描绘根据12/459,033申请的一个实施例的、其中每一相位的各捕捉使用来自相同像素检测器的数据来进行偏移量抵消的顺序、以及所得的相移和帧构造;
图4D描绘根据12/459,033申请的一个实施例的、用于对θE进行直接计算的顺序,并且描绘所得的相移和帧构造;
图5A和5B描绘根据12/459,033申请的最小公倍数去混叠实施例的、使用两个调制频率所确定的真实和幻影的目标对象位置;
图6描绘根据本发明的各实施例的带有分层去混叠的相位型飞行时间三维成像系统;以及
图7A-7D描绘根据本发明的各实施例的用于分层去混叠中各步骤的相位对比距离Z。
具体实施方式
本发明的各实施例实现使用至少三个频率来对飞行时间(TOF)相位进行分层去混叠的各方法和系统,并将参考图6-7D来描述。传统去混叠依赖两个频率的使用。然而,使用三个或更多频率可有利地显著增加TOF系统的明确距离,而不较大地放大噪声。本发明的各方面可解决分层去混叠,包括相位概率分布以及椭圆形纠正的各方面。
然而,通过首先回顾根据12/459,033申请的两个频率的去混叠来获得对三个频率的去混叠更好的理解。根据12/459,033申请的去混叠是无损的,并可有利地提供与低调制频率相称的相对大的混叠间隔范围。这被实现,并且同时提供对于给定Z值、与最高调制频率fm接近的调制频率相称的高精度的确定性。首先将参考图2A-5B进行对12/459,033申请的描述。
图2A描绘与参考图1A-1C所描述的类似的相位型TOF系统200,不同之处在于包括附加组件210和软件220以实现12/459,033申请的各实施例。由此,软件220和210可被认为是TOF系统200的去混叠子系统。输出DATA’(数据’)可包括由图1A中的TOF系统100作为DATA(数据)来提供的信息。诸如系统100(图1A)或200(图2A)等TOF系统通常可在某一最大调制频率fm(可能100MHz)操作。这并不是说该系统不能以超过fm的调制频率来操作,但可以认识到以这样的较高调制频率,系统性能最终会降级。由此,可以理解,fm表示系统通常可操作的最高调制频率,而不是系统能够被操作的最高调制频率。
在描述系统200的去混叠操作之前,参考图2B简要地描述多相位检测是有用的,图2B示出阵列130中的许多光检测器(PD)中的两个(即光检测器140-1和140-N)、及其相关联的电子元件中的某一些(即150-1、150-N)。这一具体实施例采用量子效率(QE)调制的差分光检测器或像素140,其像素检测信息以至少两个离散相位0°和90°来捕捉,更优选地是四个离散相位0°和180°以及90°和270°。这些像素检测器的离散相位操作不要与想要检测的相移数据θ混淆。这些离散相位表示调制器115与光能发射器120之间的移位,而想要检测的相移数据θ是从发射器120所发射的光能S出与阵列130中的像素检测器140之间移位(见图2A)。
在离散相位捕捉的检测相位数据此处被表示为捕捉C0和C180、C90和C270,并被处理以实现根据12/459,033申请的去混叠。为移除所谓的固定图案偏置,使用四相位的获取是优选的。C0获取产生数据,但可包括相对于零的误差偏置,例如,在不存在要检测的信号时,值C0可以不为零。以相同的权标,C180获取应具有相同但倒置的数据,并将具有相同的固定图案偏置。有利地,通过减去(C0-C180),并且优选地再减去(C90-C270),保留了相位和Z数据信息,而抵消了 固定的图案偏移量。然而,12/459,033申请的各实施例可被用于对从单端相位检测器所获得的、以及从不采用QE调制检测的检测系统所获得的多相位TOF数据进行去混叠。
相位角θ可以从捕捉C0、C90、C180、C270中计算,如下式:
θ=atan2(C90-C270,C0-C180) (4)
其中,atan2(X,Y)是对应于atan(Y/X)的三角函数。
图2B中所述的配置和操作与参考先前援引的美国专利号6,580,496和7,906,793中的固定相位延迟的实施例(图10)所描述的相似。在图2B中,来自每一经QE调制的差分像素检测器(例如140-1)的检测所生成的光电流被差分地检测(DIF.DETECT)并且被差分地放大(AMP),以产生信号B·cos(θ),B·sin(θ),其中B是亮度系数。固定的离散0°或90°相移延迟(DELAY),更优选地是固定的0°或180或90°或270°相移是响应于可通过时钟单元180’来命令的相位选择控制信号(PHASE SELECT)而可切换地插入的。以这些离散相位从相位检测器获得或捕捉相位数据,例如C0和C180、C90和C270。这样的相位检测的更详细描述可在以上援引的专利中找到,但并未作为限制,固定的离散相移可通过时钟单元180’来插入,该时钟单元180’的信号被用于驱动检测器阵列130,或可通过调制器115来引入;见图2B。
根据12/459,033申请,优选地接近在一起的调制频率f1和f2,被组合,其中f1和f2通常各自都小于系统最大调制频率(fm)。从各自获得的所得相位数据(被表示为θ1和θ2)被用于提供两个目标:(1)从系统200获取等效于产生低级别的Z分辨率不确定性的高调制频率测量的效果,以及(2)从系统200获取等效于提供长混叠间隔Z范围的低调制频率测量的效果。以此方式,近似Z范围从长混叠间隔中被确定,而对Z值更精确的确定从高调制频率测量中被确定。
返回参考图2A,软件220当由处理器160执行时可通过组件210来更改时钟电路180’的正常操作。由此使得系统200使用至少第一和第二频率f1、f2来操作,其中,f1>f2,f1与fm相距优选地在fm的40%以内或更小,并且f2在f1的35%以内且优选地更接近。由此,比如说f1位于频率fm的60%至100%的范围内,使得如果比如说fm为100MHz,则f1会具有约60MHz至高达100 MHz的频率。类似地,f2的范围是该频率的约65%至约99%,使得如果比如说f1为90MHz,则f2会具有约58.5MHz至约89.1MHz的频率。
根据12/459,033申请,使用调制频率f1和f2使得系统200对于去混叠间隔来运作,像是相位数据是在系统200以优选地与(f1-f2)成比例的非常低的调制频率fD来操作时收集的。例如,假定系统200以调制频率f1的操作提供了混叠间隔范围ZAIR1,并且系统200以调制频率f2的操作提供了混叠间隔范围ZAIR2。12/459,033申请的各实施例处理以调制频率f1和以调制频率f2所获得的数据,以提供有效的混叠间隔范围ZAIRD>ZAIR2 ZAIR1。
此外,这样的使用优选地接近在一起的调制频率f1和f2有利地产生Z测量的良好分辨率精度,像是系统200曾以接近于fm(可能是(f1+f2)/2或f1和f2的其他组合)的高有效调制频率来收集相位数据。注意,频率(f1-f2),(f1+f2)/2以及这些调制频率的其他组合确实是数学构造或虚拟频率,并且系统200在物理上不以这些虚拟频率来操作。当然,可以理解,可使用超过两个调制频率f1、f2,不同的调制频率优选地在频率上彼此接近并且接近于fm。与如果TOF系统仅处理在以调制频率f1操作时获得的数据并不顾以调制频率f2所单独获得的数据、或以调制频率f2操作并不顾以调制频率f1获得的数据相比较,使用多个调制频率还产生更好的Z分辨率确定性或精确性。
如将从图3所示的内容中可理解的,与其中fm被减小而有损系统效率的现有技术的去混叠相比,12/459,033申请的各实施例以高频率(优选地接近于fm)来操作系统200,这维护了高的操作系统效率。此外,由于调制频率f1和f2优选地彼此接近并且接近于fm,由像素检测器140以一个调制频率来捕捉的相位信息可与以另一个调制频率(或如果超过两个调制频率被采用则为多个调制频率)来捕捉的数据帧共享。
图3是根据12/459,033申请的相位对比距离Z的极坐标图。示出了对于使用第一调制频率f1来获得的相位数据的波形,该数据被表示为θ1。出于解释目的,假设f1约为50MHz。图3还示出使用稍低的第二调制频率f2来获得的相位数据的极坐标图,该数据被表示为θ2。出于解释目的,假设f2约为31MHz,且相应地,其斜率为小于f1波形的斜率,并且其周期(混叠间隔范围)较长。对于f1和f2的这些示例性值,系统200的fm的典型值可能是70MHz。f2波形 用比f1波形更深色的线来绘制,以促进该图中的清楚性。如同图1D中所描述的极坐标图的情况一样,在2π倍数的相位处,数据将折叠或回绕(wrap-around)。该回绕某种程度上使对θE和θDS的计算复杂化,如本文稍后所述。
如上所述,12/459,033申请的一方面或目标是通过看起来像是系统200使用相对低调制频率来获得定相的相位数据,来提供大的混叠间隔范围ZAIR。以下描述将证明定义优选地是f1和f2的函数的差频并且定义相位差θD=(θ1-θ2)将实现提供适合于大的混叠间隔范围的低调制频率的目的。并非限制,fD的示例性函数可以是差分函数(a·f1-b·f2),其中a和b可以是加权因子。
算术上,相位延迟θ可按照绝对目标距离Z被表达成下式:
对公式(5)求微分得到:
因此,绝对(去混叠)距离ZABS由下式给出:
在该实例中,公式(7)中的微分可以用小的差分来代替而不损失精度,以便得到:
公式(8)示出Z可以从Δθ和Δf中确定,Δθ是θD或(或θ1-θ2)。注意,这是与可用于从调制频率Δf=fD=f1-f2以及相位Δθ=θD=θ1-θ2中确定Z相同的公式。由此,知道了f1、f2、θ1、θ2,可计算对距离Z的测量,这与其中实际调制频率为物理的(f1-f2)的对Z的计算类似。这表示调制频率f1和f2的组合将产生大的混叠间隔范围,像是系统200在以非常低的调制频率操作时获得相位数据。当然,f1和f2的许多其他组合可被用于实现这一目标,并且可以采用超过两个调制频率,例如f1、f2、f3...。优选地,这 些调制频率中的最高频率f1将接近于系统最高的最大调制频率fm并至少在fm的40%内。优选地,至少各调制频率的最接近在一起会是在彼此±35%之内,并优选地比±35%更接近地在一起。
优选地,最大调制频率fm接近于TOF系统200的最优操作点。这意味着fm是接近最大操作效率,并且因此,系统操作效率的曲线在fm附近是相对平坦的。一般地,这一最大值是相当平坦的,并且因此操作频率f1和f2也将接近于系统200的最佳操作条件。
现在将呈现根据12/459,033申请的、在实现与期望的低级别Z分辨率的不确定性相称的高的有效(例如虚拟)调制频率中的设计考虑。从以调制频率f1和f2操作的系统200(见图2A)获取的相位数据被组合,以便产生以频率fE的有效(虚拟)频率测量。12/459,033申请的各实施例有利地结合以两个调制频率所获得的数据以进一步降低Z数据中的不确定性,而不是使用从单独以调制频率f1操作的、或从单独以调制频率f2操作的系统200所获取的数据。(可以理解,如果附加的调制频率被使用,例如f3、f4,则在以这些调制频率来操作系统200时所获得的相位数据也将优选地被使用)。
组合来自所使用的全部调制频率(例如,在手边的实施例中f1和f2)的相位数据对相位数据测量中的噪声进行均分,并且与使用仅仅从单独的f1或f2所获得的数据而获取的噪声相比,有利地导致比较低的噪声。此外,由于调制频率f1和f2优选地相对接近于最大调制频率fm,因此所获得的每一测量带有相对高的精度和降低的噪声。一般而言,对于接近在一起的频率f1和f2,系统200的性能将有些相似。有利地,在组合来自频率f1和f2的数据之后所获取的不确定性将是当单独地使用调制频率f1或调制频率f2来获得的相位数据时的不确定性的约0.7倍。
由此,12/459,033申请的该第二方面涉及组合以不同(但优选地彼此接近)的调制频率操作的系统200所获得的相位数据,以便模拟以产生低的Z分辨率不确定性的高调制频率的系统操作。尽管现在将描述组合数据的某些具体方法,但可以理解,还可使用许多其他组合。
针对该第二方面或目标,一种方法是组合来自阵列130中的像素检测器140(见图2A和2B)的来自以调制频率f1获取的捕捉(C1 0、C1 90、C1 180、C1 270) 的原始数据读数,并将该原始数据加到以频率f2所获取的数据读数(C2 0、C2 0、C2 180、C2 180)中以产生(C1 0+C2 0,C1 90+C2 0,C1 180+C2 180,C1 270+C2 180)。这一示例性组合等效于将以极坐标表示的相应的相位向量加在一起,并获得和向量的相位角。
现在考虑以调制频率f1或以调制频率f2来操作的系统200所获得的、在给定距离Z的目标对象20的相位向量的极坐标表示。(图1E可被认为是单个向量的极坐标表示。)对于以调制频率f1、f2的捕捉,相位向量可分别以极坐标形式被表示为V1=(ρ,θ1)和V2=(ρ,θ2)。为了便于解释,将假设调制频率中的小变化不影响调制对比度,并且因此V1和V2具有相同量级ρ。(术语“调制对比度”表示对在像素检测器140中的收集效率的测量,例如,来自信号Sin的传入光子能量被捕捉且被转换成检测信号得有多好。高调制对比度是期望的。)
将相位向量V1=(ρ,θ1)和V2=(ρ,θ2)相加得到:
V1+V2=(2ρ.sin((θ1-θ2)/2),(θ1+θ2)/2) (9)
由此,如果(θ1-θ2))不是π的倍数,则会使得该向量为空的V1+V2的相位将是与以调制频率(f1+f2)/2所测量的目标对象20的相位向量相同的相位(θ1+θ2)/2。然而,实际上,调制对比度随频率而变化,使得这一附加方法的实现复杂化。进一步的复杂是调制对比度比率随温度的变化,这使得算术在某种程度上难以处理。在替换实施例中,来自以调制频率f1和f2的两个测量θ1和θ2的实际相位角自己相组合,以产生有效相位角θE。通常,使用相位角的平均(θ1+θ2)/2,尽管实际相位角的其他组合是可能的。
如上所述,θE和θD的值可按各种方式来确定。不管被用于获取这些值的具体方法,优选地使用θE和θD两者来确定距离Z,如图3所示。图3描绘分别与频率f1、f2、fD=(f1-f2)和fE=(f1+f2)/2相关联的相位角θ1、θ2、θD=θ1-θ2和θE=(θ1+θ2)/2。注意,θ1和θ2被归一化使得对于Z=0,θ1和θ2为0。图3还描绘θDS,它可从θD中导出,如θDS=θD·fE/fD。角θDS对应于与θE相同的频率,并由此如图3中所示的,角θDS与θE具有相同斜率。然而,由于角θDS在算数上从θD导出,因此它有利地具有与θD相同的混叠间隔,被表示为ZAIR。
注意,θD和θE两者都被调整,以考虑θ1和θ2的折叠或回绕重复。例如,在θE的第一混叠间隔结束之前,θ1回绕。仅仅计算θE=(θ1+θ2)/2会不够,因为当θ1回绕时θE会减小π。然而,当θ1<θ2时,已知θ1肯定已经回绕,因此π必须被加入θE。这样的三角纠正是本领域已知的,并被假定已经对该数据执行过。
由此适当地经三角纠正的θE和θD之后,由于θE和θD具有相同斜率并且仅仅其混叠间隔有所不同,于是在不存在噪声的情况下,θDS=θE+K2π。K是表示θE的混叠间隔的索引的整数。在存在噪声的情况下, 找出正确的混叠间隔涉及选择K以便最小化(θDS-θE+K2π)的绝对值。θE+K2π则表示对Z的准确测量,但混叠间隔未知。表达式θE+K2π表示经去混叠的θE值。当然假定目标对象位于比fD的混叠间隔更近的距离。可以理解,还可采用用于为K确定合适的值的其他等效算术方法。
选择适当的差频fD是重要的。如果fD太大,则fD的对应去混叠间隔可能太小。相反,如果fD太小,则以fD进行的Z测量中分辨率不确定性可变得太大。由此,受制于影响分辨率不确定性的噪声约束,差频fD应尽可能小。混叠间隔索引K应以高的确定性来确定,以确保适当的去混叠间隔被选择。
如果假定fD<<fE,则误差(θDS)>>误差(θE),则通常可忽略来自θE的误差。令Ks=((θDS-θE)/2π。则K是最接近于Ks的整数。为找出正确的K,Ks上的误差必需<<0.5,这意味着θDS/2π=θD*fE/fD/2π上的误差还必需远小于0.5。
下面部分现在将描述根据12/459,033申请、用于标识调制频率f1和f2的良好捕捉顺序的示例性方法。可使用许多不同的捕捉顺序来生成去混叠的帧。帧表示由传感器阵列130获得的完整的Z图像,即,该阵列中的每一像素检测器140与来自目标对象20的对应Z值相关联。首先假定系统200中的像素检测器140一次仅可取得一个捕捉。在该假定下,某些示例性顺序如下。
第一种情况在图4A中描述,其中假定某一像素检测器通过八个不同的捕捉来定序,以获得期望的相移数据θ1、θ2。由此,如图4A所示,系统200以调制频率f1来操作,随时间获得了捕捉序列C1 0、C1 90、C1 180、C1 270。接着,系统200以调制频率f2来操作,捕捉序列C2 0、C2 90、C2 180、C2 270被获得,在此之后,系统被返回以便以调制频率f1来操作,并且捕捉序列C1 0、C1 90、C1 180、C1 270被产生,等等。由此,在图4A中(以及在图4B-4D中),显示在捕捉的 相关序列之下的相位信息是由以相关联的调制频率来操作的系统200所获得的相位数据。由此,可以理解,下标1表示与调制频率f1相关联的捕捉,而下标2表示与调制频率f2相关联的捕捉。显示在相位信息之下的帧信息示出如何优选地根据所示序列来构造各帧。一旦确定了θ1和θ2,则可从(θ1+θ2)/2计算θE。
图4B描绘另一定序示例,其中,像素阵列中被示作为一个块的四个相邻像素检测器被用于在单个捕捉中获得所有的四个相位。鉴于图4A的八个捕捉序列易受由于获得全部八个捕捉的时间长度而引起的运动模糊的影响,图4B中所示的序列应固有地显示出较低的运动模糊。但在图4B中,C0-C180偏移量抵消是使用来自不同像素的数据来完成的,因而性能可能由于偏移量没有被完全抵消而受到损失。如上所述,θE从(θ1+θ2)/2中计算。
图4C描绘又一定序示例,其中,对每一相位的各捕捉都采用被示作一个块的相同像素检测器对C0-C180偏移量进行了抵消。在该配置中,性能是相当好的,并且运动模糊是可接受的。如上所述,θE从(θ1+θ2)/2中计算。
图4D描绘替换实施例,其中,相位θ1和相位θ2未经C0-C180偏移量纠正。结果,数据质量有些差,但θE有利地直接从捕捉C1 0-C2 180和C1 90-C2 270中计算。该方法如以上所描述的,其中C2 180代替C2 0,以及其中C2 270代替C2 90。有利地,θE的数据质量良好,但θD=θ1-θ2的质量较差,结果,去混叠间隔决策质量受到损失。
未明确地描绘的替换实施例与图4D的类似,但其中θE是从(θ1+θ2)/2中计算的。如前所述,所获得的相位角优选地被归一化,以便对于Z=0从零开始。在手边的该替换实施例中,如果θ1与θ2之间的预先归一化差异是小的,则偏移量所引起的θ1和θ2中的误差将彼此相反,并且将有利地在θE=(θ1+θ2)/2中部分抵消。如果O为假定的小偏移量,则根据等式(4),θ1=atan2(C1 0+O,C1 90+O),以及θ2=atan2(-C2 180+O,-C2 270+O)。如果调制对比度对于调制频率f1和f2两者是相似的,并且θ1≈θ2,则C1 0≈C2 180,且C1 90≈-C2 270。由此,θ1≈atan2(C1 0+O,C1 90+O),并且θ2≈atan2(C1 0-O,C1 90-O)+π。如此,相位θ1和θ2相对于偏移量O以相反方向移动大致相等的量。由此,偏移量O的影响将有利地在总和θE=(θ1+θ2)/2中被部分抵消。在某些高级TOF系统中,飞行时间像素可在每一捕捉处获取超过一个相位或调制频率。例如,这样的多相位捕捉 像素有效地运作,像它们同时捕捉C1 0和C1 90。这样的有效功能可例如通过不同调制频率和/或相位之间进行快速时间片(time-slicing)或时间复用、或通过使用以不同调制频率和/或相位来操作的多个检测器,来移植。使用这些像素,组装去混叠的帧的序列的时间被显著地缩短了。本文先前描述的基本方法保持相同。
至此,所描述各种去混叠实施例是无损的,例如,去混叠被实现,而带有非常小的TOF系统性能惩罚。现在将参考图5A和5B来描述有损的所谓最小公倍数(LCM)去混叠实施例。在图5A和5B中,使用两个调制频率f1和f2来作出两个距离测量,其中,频率ZAIR1和ZAIR2表示相关联的最大明确混叠间隔范围。在图5A中,f1为25MHz,并且ZAIR1为3M,而在图5B中,f2为较低的18.75MHz,并且ZAIR2为较长的4M。假定目标对象被呈现在距TOF传感器阵列7m。如果单个调制频率f1=25MHz被用于获得数据,则可推断目标的Z距离是1m、4m、7m或10m,如图5A中用阴影线的矩形区域所示。另一方面,如果单个调制频率f2=18.75MHz被使用,则可推断目标对象位于3m、7m或11m,如图5B中用阴影线的矩形区域所示。
根据该LCM实施例,以上两个结果被组合,得出该目标对象必定位于7m距离处的结论。该目标对象在图5A和5B中用加粗线绘制,以便与用虚线绘制的幻影位置相区别。目标对象的真实位置可能仍然与位于19M处的另一位置混淆,但与一个调制频率的情况相比,使用两个调制频率显著地扩展了明确间隔范围。根据12/459,033申请,如果使用两个调制频率,则有效明确间隔范围根据ZAIR1和ZAIR2的LCM最小公倍数而增加。在选择调制频率中的一种策略是通过选择彼此接近的两个频率来最大化对应的明确间隔范围的LCM。
12/459,033申请的另一实施例提供用于去混叠的有损的所谓分支界限分层方法。根据这一实施例,相对非常低的调制频率可被用于确定目标对象是否在第一或第二Z范围或柱中,例如,可能在0m至50m范围之间、或可能在50m至100m范围之间。如果TOF系统200确定该目标对象在比如说0m至50m内,则软件200可使得时钟180’对调制频率加倍,以确定目标对象是否位于0m至25m的子范围(或较窄的柱)内、或位于25m至50m的子范围(或窄的柱)内。如果该对象最初被发现位于50m至100m范围中,则执行 类似的分析和调制频率改变。估计目标对象的距离范围并且随后改变调制频率以便更好地查明该距离范围的这一方法可被重复,优选地直到该范围被确定带有期望的范围间隔尺寸。再次,该方法优选地在软件220的命令下被自动地实现。当然,尽管这一示例假定了各种替换范围或柱为相隔2倍,但可使用其他比率。
在分支界限分层去混叠过程期间,不必以每一调制频率来获取完整确定性(例如,最佳间隔尺寸)。对于较低调制频率,它足以获取较低分辨率。例如,为在0m至50m、以及50m至100m范围或柱之间决定,相当粗的分辨率等级就足够了。例如,如果由系统200获得的最高质量的深度图像使用比如说十比特,则相当粗的分辨率等级可能仅需要三个至四个比特的分辨率。因此有利地,以低调制频率的捕捉可具有短的快门时间,以便反映这些放宽的要求。一般而言,对于调制频率的分层扫掠,例如1MHz、10MHz、100MHz,快门对于所有调制频率将是短的,但最高的扫掠频率,这里为100MHz。这样做有利地减小了传感器阵列以低调制频率来操作的集成时间(integration time)量,这进一步提升有效性能。
可以理解,使用分支界限分层去混叠,可能期望最小化每一相对低的调制频率的柱的数量。进而,分层调制频率扫掠过程往往通过保持以尽可行地小的较低调制频率的分辨率要求,来最大化有效系统TOF调制频率。如果需要,则分支界限实施例可与无损去混叠实施例在分层过程中的一个或多个步骤处结合。
以上描述针对有损分层类型的去混叠实施例。现在将描述12/459,033申请的无损分层去混叠实施例。本文先前示出了θD*fE/fD/2π应远小于0.5。在期望非常长的混叠间隔的实施例中,使用相对高的调制频率f1和f2产生变得非常大的fE/fD比率,从而使得难以保持θD*fE/fD/2π<<0.5。对于这些应用,无损去混叠方案法也可被分层地应用。以此方式,在分层过程中的每一步骤,由于受噪声考虑的影响且受软件220的控制,比率fE/fD被保持得相对小。
考虑以下示例,其中调制频率fa=100MHz、fb=110MHz、fc=111MHz被使用,并且其中存在定义的差频D1=fb-fa=10MHz、D2=fc-fa=11MHz,并且分层地应用的差频E1=D2-D1=1MHz。
在所谓上下扫掠中,最初频率E1被用于对所获得的D1和D2的相位数据进行去混叠。在这一最初步骤,f1=D1、f2=D2并且fD=E1。有利地,比率fE/fD不太大,这里大致为10。由此,在该示例中,可找出对于有效频率θE=(θ1+θ2)/2的去混叠的Z值。
在分层过程中向下一步,以上找出的且去混叠的θE值现在将被用于当前步骤,作为有效频率0.33(fa+fb+fc)以及有效相位θE=0.33(θa+θb+θc)的去混叠相位θD。有利地,注意到比率fE/fD保持相对小,这里大致为10。以此方式,作为分层的底部的θE为0.33(100MHz+110+111MHz),即接近于100MHz,它尚未被去混叠,好像其频率为E1=1MHz,ZAIR为约150M。
另外,注意TOF系统200不必物理地以调制频率fc=111MHz来获得相位数据。频率fc可在算术上被计算,例如,如fc=(110MHz+100MHz/100),例如,fb+(fa)/100。由此,仅仅频率fa和fb需要由TOF系统来进行物理测量。
总之,根据12/459,033申请的各实施例的去混叠是无损的,并提供与低调制频率相称的相对大的混叠间隔范围。这些实施例还提供对于给定Z值、与最高调制频率fm接近的调制频率相称的高精度的确定性。去混叠可相对无损地或有损地实现,取决于实施例。
现在转向图6,基于相位的TOF系统300实现本发明。TOF系统300包括时钟单元180”,该时钟单元180”可在图1A的时钟单元180上修改,或另选地包括硬件310和/或软件320。软件320可以(但不必)由处理器160执行。这一硬件和/或软件实现本发明的各实施例,现在将描述。
从本文先前呈现等式(2)和等式(8)回想示出确定范围Z与调制频率f成反比的以下关系:
其中,Δf=fD=f1-f2,相位Δθ=θD=θ1-θ2。在图3中看出对两个频率去混叠的噪声不期望的敏感性,其中,θDS与θD之间的关系由下式给出:
不幸的是,在存在噪声的情况下,去混叠的难度随着比率 的增加而增加。这是因为θE中存在的噪声在θE被用于计算θDS时被这一比率放大。因此,对于高调制频率(对应于大的有效频率fE)或非常大的明确范围(对应于小的差频fD),这样经放大的噪声会在估计去混叠间隔K中产生误差结果,并会导致在的明确范围的中部进行混叠。这从图3来看是明显的,如果想象θDS的角(或斜率)随着比率 的增加或减小而增加或减小,如
由此,增加的比率 表示θD中放大的噪声,并且由于它对错误的去混叠决定作出贡献因而是不期望的。期望的是同时维持小比率 同时实现与小的fD相关联的去混叠范围以及与大的fE相关联的深度的精度。这可使用优选地至少三个调制频率来实现,如现在将示出的。本发明的各实施例优选地采用n步骤分层去混叠方法,来避免对θE中噪声的非常大的放大而造成的混叠问题。
假定存在m个调制频率f1,f2,...,fm(f1>f2>...,>fm),则期望TOF系统300实现明确范围ZD,该ZD与频率fD对应,如 一个实施例使用fD来去混叠并实现有效频率fE的距离分辨率,其中fE=g0(f1,f2,...,fm)为调制频率f1,f2,...,fm的函数,优选地为算术平均或加权平均。
本发明的实施例优选地生成一组N-1个中间频率fDE1,fDE2,...,fDE(N-1),其中fD<fDE1<fDE2<...<fDE(N-1)<fE,而不是在一步去混叠中使用fD来对有效频率fE的相位进行去混叠。
中间频率中的每一个都是调制频率f1,f2,...,fm的函数,如fDEk=gk(f1,f2,...,fm),其中k=1,2,3...,N-1
fDEk=gk(f1,f2,...,fm),并且令fDEO=fD以及fDEN=fE.
fE的最终解开的相位将由下式给出:
现在将参考图6和图7A-7D来描述实现两步(三个频率)分层去混叠的各实施例。对于两步分层去混叠,需要至少N=3个调制频率。系统的总体明确范围通过fD来确定,fD为三个调制频率的函数。
如图3中所示,对于fD的第一相位θD被用于对某一中间频率fDE的相位θDE进行去混叠,并且用于对于θDE的正确去混叠间隔m,使得
现在考虑图7A-7D。组合两个去混叠步骤使得能够作出对于θE的最终去混叠值,如
注意,各去混叠步骤的放大比率分别为 和 有利地,这一方法实现期望的大比率 而没有将θE中的噪声放大这一大比率。由于去混叠间隔m和n被分开地确定,并且噪声在每一方法步骤以小得多的比率来放大,因此发生有利的结果。
现在将参考图7A-7D来描述对于两步分层去混叠的示例性算法细节。可以理解,这些步骤优选地使用TOF系统300例如通过时钟单元180”和/或模块310、320来实现。本发明的各实施例优选地使用至少三个调制频率。给定三个调制频率f1、f2和f3,期望实现尽可能与TOF系统最大调制频率fm接近的有效频率fE。令fD=f1-f2被指定为与总体去混叠范围相关联的最慢频率,并且令fDE=f1-f3被指定为中间频率。最终有效频率可以是 或f1、f2和f3的其他加权线性组合。
如图7A所示,可首先使用频率fD的相位θE以便对某一中间频率fDE的相位θDE进行去混叠,并且使用对于相位θDE的正确去混叠间隔m,使得 如图7B所示,现在可使用θDE的每一去混叠间隔,以便通过找出正确的去混叠间隔n来对有效频率fE的有效相位θE进行去混叠,使得 图7C和7D描绘如何使用相位θDES来对各个频率fi(对于三个频率,i=1、2或3)的相位θi进行去混叠。例如,图7C示出θDE和θi有可能在不同 的距离处回绕。由此,不能对超过第一周期的θDE的相位进行去混叠。(为图7A中所示的θDS进行去混叠,会需要对该图中所示的所有四个周期的θDE进行去混叠。)图7D示出可计算偏移量经纠正的相位θi 偏移量,在θDES每一周期开头总是以零相位开始。随后可使用这一偏移量经补偿的相位来对θDES的多个周期上的相位θi进行去混叠。
由此,第一方法步骤是使用fD=f1-f2来对fDE=f1-f3进行去混叠。令θ1为f1的相位,令θ2为f2的相位,并且令θ3为f3的相位。首先必需使用θ2来解开θ1,以得到θI 解开-2,θI 解开-2=θ1+2π*(θI<θ1),并且使用使用θ3来解开θ1,以得到θI 解开-3。随后可获取fD=f1-f2的相位,如θD=θ1 解开-2-θ2,并且可获得的fDE=f1-f3的相位,如θDE=θ1 解开-3-θ3。
现在可将θD重新缩放到与θDE相同的斜率,并且生成θDS,其中
完成该第一步骤,接着可通过最小化|θDS-(θDE+m2π)|来找出正确的去混叠间隔m,其中m=0,1,2,...。
现在考虑该方法的第二步,该第二步涉及从fDE=f1-f3中对 进行去混叠。尽管期望对fE进行去混叠,但这不能直接完成,因为使用正确的回绕方法不能得到对应于 的相位。相反,本发明的各实施例分开地对f1、f2和f3进行去混叠,并且得到解开的相位φ1=θ1+n12π,φ2=θ2+n22π以及φ3=θ3+n32π。
对于 的解开的相位可被计算为
现在将参考图7C和图7D来描述对fi(i=1,2,3)进行去混叠以得到解开的相位φi。如图7C所示,由于频差,θDE和θi有可能在不同的距离Z处回绕。这将在去混叠的第二步中导致问题,除非对频率施加附加约束,例如θi为θDE的倍数。否则,如果直接应用如使用θDE来对θi进行去混叠的第一步的去混叠方法,则可能仅仅对θDE的第一周期进行去混叠,因为在剩余各周期中,θi和θDE将不以相同位置开始,并且不能满足 的关系。
现在参考图7D,优选地“偏移量补偿”方法被用于避免添加限制对频率的选择的附加约束。首先可移除由θDES和θDES的回绕导致的偏移量θi,并且计 算偏移量经纠正的相位θi 偏移量。偏移量经纠正的相位θi 偏移量将在θDES的每一周期开头总是以零相位开始。随后可通过最小化下式来找出正确的去混叠间隔:
对于 其中i=1,2,3每一频率fi的解开的相位被计算,如下式:
对于 的解开的相位则为
从各优选实施例的描述中将理解,本发明提供了用于TOF系统的分层去混叠,其即使在存在噪声的情况下也有效。优选地,彼此接近的N个频率(N≥3)被用于创建慢的去混叠频率,并且至少一个中间频率可被用于对长距离进行分层去混叠。有利地,本发明的各实施例在每一去混叠步骤处仅仅以小比率来放大噪声,而不是通过如在两个频率的去混叠中以非常大的比率来放大噪声。
可对所公开的各实施例作出修改和改变,而不背离所附权利要求书所定义的本发明的主题和精神。
Claims (20)
1.一种用于对相位型飞行时间(TOF)系统的距离Z的范围进行分层去混叠的方法,所述方法包括以下步骤:
(a)分开地使用调制频率f1,f2,...,fm从所述TOF系统获得数据,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm;
(b)生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn,并且从在步骤(a)获得的数据中计算它们对应的相位;以及
(c)使用在步骤(b)生成的所述中间频率来对在步骤(a)获得的数据进行分层去混叠;
其中,所述TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同所述TOF系统以非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以高调制频率fE来操作。
3.如权利要求1所述的方法,其特征在于,在步骤(c),分层去混叠一次一步地完成。
4.如权利要求3所述的方法,其特征在于,在步骤(c),包括首先使用fD的相位来对fDE1的相位数据进行去混叠,并且随后使用fDE1的相位来对fDE2的相位进行去混叠。
5.如权利要求4所述的方法,其特征在于,在每一步,使用fDEk的相位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位。
6.如权利要求1所述的方法,其特征在于,fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均。
7.如权利要求1所述的方法,其特征在于,fE的解开的相位能如下地计算:
(i)在分层去混叠的最后一步,使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠,以便得到每一调制频率的解开的相位;以及
(ii)使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。
8.如权利要求1所述的方法,其特征在于,在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期;
其中,在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。
9.如权利要求1所述的方法,其特征在于,所述方法通过所述TOF系统来实现。
10.一种能与基于相位的TOF系统一起使用的分层去混叠单元,所述分层去混叠单元包括:
用于使得所述TOF系统分开地使用调制频率f1,f2,...,fm来获得数据的装置,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm;
用于生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn、并且从步骤(a)所获得的数据中计算它们对应的相位的装置;以及
用于对使用所述调制频率f1,f2,...,fm来获得的数据分开地使用所述n个中间频率fDE1,fDE2,...,fDEn来分层去混叠的装置;
其中,所述TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同所述TOF系统以非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以高调制频率fE来操作。
12.如权利要求10所述的分层去混叠单元,其特征在于,分层去混叠一次一步地完成。
13.如权利要求10所述的分层去混叠单元,其特征在于,首先发生使用fD的相位来对fDE1的相位数据进行去混叠,之后使用fDE1的相位来对fDE2的相位进行去混叠。
14.如权利要求12所述的分层去混叠单元,其特征在于,在每一步,使用fDEk的相位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位。
15.如权利要求10所述的分层去混叠单元,其特征在于,fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均。
16.如权利要求10所述的分层去混叠单元,其特征在于:
fE的解开的相位能通过以下来计算:在分层去混叠的最后一步、使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠以便得到每一调制频率的解开的相位;以及使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位。
17.如权利要求10所述的分层去混叠单元,其特征在于,在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期;
其中,在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。
18.一种包括分层去混叠单元的基于相位的飞行时间(TOF)系统,所述分层去混叠单元包括:
用于使得所述TOF系统分开地使用调制频率f1,f2,...,fm来获得数据的装置,其中如果所述TOF系统仅以所述调制频率中的一个来操作,则会产生混叠间隔范围Z1,Z2,...,Zm;
用于生成按fDE1<fDE2<...<fDEn次序排序的n个中间频率fDE1,fDE2,...,fDEn、并且从步骤(a)所获得的数据中计算它们对应的相位的装置;以及
用于对使用所述调制频率f1,f2,...,fm来获得的数据分开地使用所述n个中间频率fDE1,fDE2,...,fDEn来分层去混叠的装置;
其中,所述TOF系统提供有效混叠间隔范围ZD>Zk,其中k=1...n,如同所述TOF系统以非常低的调制频率fD来操作,而同时提供深度分辨率确定性,如同所述TOF系统以高调制频率fE来操作。
20.如权利要求18所述的TOF系统,其特征在于,所述分层去混叠单元具有从包括以下各项的组中选出的至少一个特征:(i)分层去混叠一次一步地完成;(ii)首先发生使用fD的相位来对fDE1的相位数据进行去混叠,之后使用fDE1的相位来对fDE2的相位进行去混叠;(iii)在每一步,使用fDEk的相位来对fDE(k+1)的相位进行去混叠直到最后一步,在最后一步,使用fDEn的相位来对相位fE进行去混叠,以便产生fE的解开的相位;(iv)fE为所有调制频率f1,f2,...,fm的函数,所述函数选自至少以下各项之一:(i)f1,f2,...,fm的算术平均;以及(ii)f1,f2,...,fm的加权平均;(v)fE的解开的相位能通过以下来计算:在分层去混叠的最后一步、使用fDEn来对每一所述调制频率f1,f2,...,fm的相位进行去混叠以便得到每一调制频率的解开的相位;以及使用fE与f1,f2,...,fm之间的函数来计算fE的解开的相位;以及(vi)在使用fDEk的相位来对fDE(k+1)的相位进行去混叠的每一步,来自先前去混叠步骤的fDE(k-1)的[0,2π]周期内fDEk的纠正的相位周期被用于在fDEk的周期内找出fDE(k+1)的正确相位周期,使得在总的明确范围ZD内或在fD的周期内能找出fDE(k+1)的正确周期。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US40006110P | 2010-07-21 | 2010-07-21 | |
US61/400,061 | 2010-07-21 | ||
US13/021,484 US8629976B2 (en) | 2007-10-02 | 2011-02-04 | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
US13/021,484 | 2011-02-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102393515A true CN102393515A (zh) | 2012-03-28 |
CN102393515B CN102393515B (zh) | 2013-11-06 |
Family
ID=44341396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102170164A Active CN102393515B (zh) | 2010-07-21 | 2011-07-21 | 用于对飞行时间(tof)系统进行分层去混叠的方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8629976B2 (zh) |
EP (1) | EP2596321B1 (zh) |
JP (1) | JP5918763B2 (zh) |
KR (1) | KR101824753B1 (zh) |
CN (1) | CN102393515B (zh) |
IL (1) | IL224134A (zh) |
WO (1) | WO2012012607A2 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103852067A (zh) * | 2012-12-04 | 2014-06-11 | 德州仪器公司 | 调整飞行时间(tof)测量系统的操作参数的方法 |
CN104104941A (zh) * | 2013-04-08 | 2014-10-15 | 三星电子株式会社 | 三维图像获取装置以及生成深度图像的方法 |
CN105378505A (zh) * | 2013-06-03 | 2016-03-02 | 微软技术许可有限责任公司 | 边缘保持深度滤波 |
CN105572681A (zh) * | 2014-10-31 | 2016-05-11 | 洛克威尔自动控制安全公司 | 飞行时间传感器的绝对距离测量 |
CN106574966A (zh) * | 2014-07-09 | 2017-04-19 | 软动力学传感器公司 | 用于分箱飞行时间数据的方法 |
CN109031333A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 距离测量方法和装置、存储介质、电子设备 |
CN111149013A (zh) * | 2017-08-01 | 2020-05-12 | 伟摩有限责任公司 | 在光检测和测距(lidar)系统中使用延长的检测周期进行范围混叠检测和减轻 |
CN111798506A (zh) * | 2020-06-30 | 2020-10-20 | 上海数迹智能科技有限公司 | 一种图像处理方法、控制方法、终端及计算机可读存储介质 |
CN114095713A (zh) * | 2021-11-23 | 2022-02-25 | 京东方科技集团股份有限公司 | 成像模组及其处理方法、系统、装置、介质 |
CN114556048A (zh) * | 2019-10-24 | 2022-05-27 | 华为技术有限公司 | 测距方法、测距装置及计算机可读存储介质 |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8629976B2 (en) * | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
KR101483462B1 (ko) * | 2008-08-27 | 2015-01-16 | 삼성전자주식회사 | 깊이 영상 획득 장치 및 방법 |
US9753128B2 (en) * | 2010-07-23 | 2017-09-05 | Heptagon Micro Optics Pte. Ltd. | Multi-path compensation using multiple modulation frequencies in time of flight sensor |
US9857469B2 (en) * | 2010-10-22 | 2018-01-02 | Heptagon Micro Optics Pte. Ltd. | System and method for multi TOF camera operation using phase hopping |
US20120120285A1 (en) * | 2010-11-16 | 2012-05-17 | Texas Instruments Incorporated | Method and apparatus for reconfiguring time of flight shot mode |
JP6246131B2 (ja) * | 2012-01-10 | 2017-12-13 | ソフトキネティック センサーズ エヌブイ | タイムオブフライト信号の処理における又はこれに関する改良 |
US20140049767A1 (en) * | 2012-08-15 | 2014-02-20 | Microsoft Corporation | Methods and systems for geometric phase unwrapping in time of flight systems |
WO2014109504A1 (ko) * | 2013-01-09 | 2014-07-17 | 엘지전자 주식회사 | 거리 검출 장치, 및 이를 구비하는 영상처리장치 |
DE102013003186B3 (de) | 2013-02-26 | 2014-05-08 | Audi Ag | Verfahren zur Ermittlung eines Abstands eines Objekts zu einem Kraftfahrzeug und PMD-Sensor |
US9019480B2 (en) | 2013-02-26 | 2015-04-28 | Jds Uniphase Corporation | Time-of-flight (TOF) system, sensor pixel, and method |
LU92173B1 (en) * | 2013-03-20 | 2014-09-22 | Iee Sarl | Distance determination method |
US9329272B2 (en) * | 2013-05-02 | 2016-05-03 | Infineon Technologies Ag | 3D camera and method of image processing 3D images |
CN105849620B (zh) * | 2013-11-01 | 2019-08-13 | 艾罗伯特公司 | 扫描测距仪 |
US10291329B2 (en) * | 2013-12-20 | 2019-05-14 | Infineon Technologies Ag | Exchanging information between time-of-flight ranging devices |
EP4016981A3 (en) | 2013-12-24 | 2022-09-21 | Sony Depthsensing Solutions | A time-of-flight camera system |
KR102159994B1 (ko) | 2014-01-22 | 2020-09-25 | 삼성전자주식회사 | 티오에프 카메라 장치 및 이의 구동 방법 |
US9702976B2 (en) * | 2014-10-27 | 2017-07-11 | Microsoft Technology Licensing, Llc | Time of flight camera |
WO2016149438A1 (en) | 2015-03-17 | 2016-09-22 | Cornell University | Depth field imaging apparatus, methods, and applications |
JP2017009339A (ja) | 2015-06-18 | 2017-01-12 | 株式会社リコー | センサ、センシング装置及び距離計測方法 |
US9921298B2 (en) * | 2015-07-20 | 2018-03-20 | Google Llc | Method and apparatus for increasing the resolution of a time of flight pixel array |
JP6558122B2 (ja) * | 2015-07-30 | 2019-08-14 | 株式会社デンソー | 光飛行型測距装置 |
WO2017022152A1 (ja) * | 2015-07-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | 測距撮像装置、及び、固体撮像装置 |
CN106527761A (zh) | 2015-09-10 | 2017-03-22 | 义明科技股份有限公司 | 非接触式光学感测装置及三维空间物件深度位置感测方法 |
TWI625538B (zh) * | 2015-09-10 | 2018-06-01 | 義明科技股份有限公司 | 非接觸式光學感測裝置及感測三維空間之物件深度位置的方法 |
EP3379291A4 (en) | 2015-11-16 | 2018-12-05 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device and solid-state imaging element used in same |
EP3414599B1 (en) * | 2016-02-08 | 2019-12-18 | Denso Corporation | Time-of-flight distance measuring device and method for detecting multipath error |
US10481263B2 (en) | 2016-03-10 | 2019-11-19 | Ricoh Company, Ltd. | Range finding apparatus, moveable apparatus, robot, three dimensional measurement apparatus, method of measuring three dimensional information, and storage medium |
EP3223034B1 (en) | 2016-03-16 | 2022-07-20 | Ricoh Company, Ltd. | Object detection apparatus and moveable apparatus |
US10598783B2 (en) | 2016-07-07 | 2020-03-24 | Microsoft Technology Licensing, Llc | Multi-frequency unwrapping |
JP6261681B2 (ja) * | 2016-08-05 | 2018-01-17 | ソフトキネティック センサーズ エヌブイ | タイムオブフライト信号の処理における又はこれに関する改良 |
KR20180021509A (ko) | 2016-08-22 | 2018-03-05 | 삼성전자주식회사 | 거리 정보를 획득하는 방법 및 디바이스 |
CN106772414B (zh) * | 2016-10-14 | 2019-08-16 | 北醒(北京)光子科技有限公司 | 一种提高tof相位法测距雷达测距精度的方法 |
JP6848364B2 (ja) | 2016-11-10 | 2021-03-24 | 株式会社リコー | 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法 |
US10425628B2 (en) | 2017-02-01 | 2019-09-24 | Microsoft Technology Licensing, Llc | Alternating frequency captures for time of flight depth sensing |
US10810753B2 (en) | 2017-02-27 | 2020-10-20 | Microsoft Technology Licensing, Llc | Single-frequency time-of-flight depth computation using stereoscopic disambiguation |
US10754033B2 (en) | 2017-06-30 | 2020-08-25 | Waymo Llc | Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses |
US10382736B1 (en) * | 2018-02-09 | 2019-08-13 | Infineon Technologies Ag | Two frequency time-of-flight three-dimensional image sensor and method of measuring object depth |
KR102473650B1 (ko) | 2018-04-13 | 2022-12-02 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 깊이 정보 추출 방법 |
US10607352B2 (en) * | 2018-05-17 | 2020-03-31 | Microsoft Technology Licensing, Llc | Reduced power operation of time-of-flight camera |
WO2020037167A1 (en) * | 2018-08-17 | 2020-02-20 | Sense Photonics, Inc. | Methods and systems for increasing the range of time-of-flight systems by unambiguous range toggling |
US10916023B2 (en) * | 2018-09-14 | 2021-02-09 | Facebook Technologies, Llc | Depth measurement assembly with a structured light source and a time of flight camera |
US10861165B2 (en) * | 2019-01-11 | 2020-12-08 | Microsoft Technology Licensing, Llc | Subject tracking with aliased time-of-flight data |
US11500091B2 (en) * | 2019-03-13 | 2022-11-15 | Wisconsin Alumni Research Foundation | Non-line-of-sight imaging system for distant measurement |
US11287517B2 (en) * | 2019-04-19 | 2022-03-29 | Sense Photonics, Inc. | Single frame distance disambiguation |
US10878589B2 (en) | 2019-05-02 | 2020-12-29 | Samsung Electronics Co., Ltd. | Time-of-flight depth measurement using modulation frequency adjustment |
US11619723B2 (en) * | 2019-09-23 | 2023-04-04 | Microsoft Technology Licensing, Llc | Multiple-mode frequency sharing for time-of-flight camera |
WO2021124918A1 (ja) * | 2019-12-18 | 2021-06-24 | ソニーグループ株式会社 | 信号処理装置、信号処理方法、および、測距装置 |
JP2021148608A (ja) * | 2020-03-19 | 2021-09-27 | 株式会社リコー | 撮像装置、測距装置及び撮像プログラム |
US11675067B2 (en) * | 2020-05-15 | 2023-06-13 | Microsoft Technology Licensing, Llc | Phase unwrapping with multiple wavelengths on a flat torus |
US11520052B2 (en) * | 2020-06-26 | 2022-12-06 | Microsoft Technology Licensing, Llc | Adaptive processing in time of flight imaging |
JPWO2022113637A1 (zh) * | 2020-11-26 | 2022-06-02 | ||
CN116635748A (zh) * | 2020-12-15 | 2023-08-22 | 索尼半导体解决方案公司 | 飞行时间图像传感器电路和飞行时间图像传感器电路控制方法 |
US20230291886A1 (en) * | 2022-03-14 | 2023-09-14 | Microsoft Technology Licensing, Llc | Motion correction for time-of-flight depth imaging |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010048519A1 (en) * | 2000-06-06 | 2001-12-06 | Canesta, Inc, | CMOS-Compatible three-dimensional image sensing using reduced peak energy |
US20050156121A1 (en) * | 2000-11-09 | 2005-07-21 | Canesta, Inc. | Methods and devices for charge management for three-dimensional and color sensing |
US20080100822A1 (en) * | 2002-11-26 | 2008-05-01 | Munro James F | Apparatus for high accuracy distance and velocity measurement and methods thereof |
CN101326448A (zh) * | 2005-12-05 | 2008-12-17 | 莱卡地球系统公开股份有限公司 | 可实现多目标的相位模糊度解算方法 |
Family Cites Families (168)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) * | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
JPS56132580A (en) * | 1980-03-10 | 1981-10-16 | Tokyo Optical Co Ltd | Light wave rangemeter |
US4695953A (en) * | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) * | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) * | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) * | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) * | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) * | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) * | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) * | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) * | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) * | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) * | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
JPH0224590A (ja) * | 1988-07-13 | 1990-01-26 | Fujitsu Ltd | 振幅変調形測距装置 |
US5239464A (en) * | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US5239463A (en) * | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US4901362A (en) * | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) * | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) * | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) * | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) * | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) * | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) * | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) * | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) * | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) * | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) * | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) * | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
CA2101633A1 (en) | 1991-12-03 | 1993-06-04 | Barry J. French | Interactive video testing and training system |
US5875108A (en) * | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) * | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) * | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) * | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) * | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) * | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) * | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) * | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) * | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) * | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) * | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) * | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) * | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) * | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) * | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US5589928A (en) * | 1994-09-01 | 1996-12-31 | The Boeing Company | Method and apparatus for measuring distance to a target |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) * | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) * | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) * | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) * | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
WO1996041304A1 (en) * | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
US5682196A (en) * | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) * | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6430997B1 (en) * | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6308565B1 (en) * | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) * | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6176782B1 (en) * | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) * | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) * | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
AU3283497A (en) * | 1996-05-08 | 1997-11-26 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) * | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) * | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
AU3954997A (en) * | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
JP3064928B2 (ja) * | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europe Ltd., Maidenhead | Verfahren und System zur Erkennung von Handgesten |
US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) * | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) * | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) * | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) * | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) * | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6101289A (en) * | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6130677A (en) * | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6384819B1 (en) * | 1997-10-15 | 2002-05-07 | Electric Planet, Inc. | System and method for generating an animatable character |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6181343B1 (en) * | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6159100A (en) * | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) * | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
IL126284A (en) * | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
EP0991011B1 (en) * | 1998-09-28 | 2007-07-25 | Matsushita Electric Industrial Co., Ltd. | Method and device for segmenting hand gestures |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP1147370B1 (en) | 1998-12-16 | 2009-02-25 | 3DV Systems Ltd. | Self gating photosurface |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) * | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) * | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) * | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) * | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
KR100320520B1 (ko) * | 1999-12-28 | 2002-01-16 | 이계안 | 자동변속기 셀렉터 레버 쉬프트 록 장치 |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
EP1356664A4 (en) | 2000-12-11 | 2009-07-22 | Canesta Inc | CMOS-COMPATIBLE THREE-DIMENSIONAL IMAGE SENSING USING MODULATION OF QUANTUM OUTPUT |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
EP1497160B2 (de) | 2002-04-19 | 2010-07-21 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Sicherheitsvorrichtung für ein fahrzeug |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
JP4355341B2 (ja) | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
EP1631937B1 (en) | 2003-06-12 | 2018-03-28 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
US7536032B2 (en) | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
EP1743277A4 (en) | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
US7853041B2 (en) | 2005-01-07 | 2010-12-14 | Gesturetek, Inc. | Detecting and tracking objects in images |
BRPI0606477A2 (pt) | 2005-01-07 | 2009-06-30 | Gesturetek Inc | sensor de inclinação baseado em fluxo ótico |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
EP1851750A4 (en) | 2005-02-08 | 2010-08-25 | Oblong Ind Inc | SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES |
WO2006099597A2 (en) | 2005-03-17 | 2006-09-21 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
KR101403172B1 (ko) | 2005-05-17 | 2014-06-03 | 퀄컴 인코포레이티드 | 방위-감응 신호 출력 |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
JP4828245B2 (ja) * | 2006-02-02 | 2011-11-30 | 株式会社 ソキア・トプコン | 光波距離計 |
WO2008005516A2 (en) * | 2006-07-06 | 2008-01-10 | Canesta, Inc. | Method and system for fast calibration of three-dimensional (3d) sensors |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
EP1901093B1 (de) | 2006-09-15 | 2018-11-14 | Triple-IN Holding AG | Aufnahme von Entfernungsbildern |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US7791715B1 (en) * | 2006-10-02 | 2010-09-07 | Canesta, Inc. | Method and system for lossless dealiasing in time-of-flight (TOF) systems |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
US8629976B2 (en) * | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
-
2011
- 2011-02-04 US US13/021,484 patent/US8629976B2/en active Active
- 2011-07-21 WO PCT/US2011/044800 patent/WO2012012607A2/en active Application Filing
- 2011-07-21 CN CN2011102170164A patent/CN102393515B/zh active Active
- 2011-07-21 JP JP2013520860A patent/JP5918763B2/ja active Active
- 2011-07-21 KR KR1020137001577A patent/KR101824753B1/ko active IP Right Grant
- 2011-07-21 EP EP11810389.4A patent/EP2596321B1/en active Active
-
2013
- 2013-01-08 IL IL224134A patent/IL224134A/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010048519A1 (en) * | 2000-06-06 | 2001-12-06 | Canesta, Inc, | CMOS-Compatible three-dimensional image sensing using reduced peak energy |
US20050156121A1 (en) * | 2000-11-09 | 2005-07-21 | Canesta, Inc. | Methods and devices for charge management for three-dimensional and color sensing |
US20080100822A1 (en) * | 2002-11-26 | 2008-05-01 | Munro James F | Apparatus for high accuracy distance and velocity measurement and methods thereof |
CN101326448A (zh) * | 2005-12-05 | 2008-12-17 | 莱卡地球系统公开股份有限公司 | 可实现多目标的相位模糊度解算方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103852067B (zh) * | 2012-12-04 | 2017-06-30 | 德州仪器公司 | 调整飞行时间(tof)测量系统的操作参数的方法 |
CN103852067A (zh) * | 2012-12-04 | 2014-06-11 | 德州仪器公司 | 调整飞行时间(tof)测量系统的操作参数的方法 |
CN104104941A (zh) * | 2013-04-08 | 2014-10-15 | 三星电子株式会社 | 三维图像获取装置以及生成深度图像的方法 |
CN104104941B (zh) * | 2013-04-08 | 2018-12-21 | 三星电子株式会社 | 三维图像获取装置以及生成深度图像的方法 |
CN105378505A (zh) * | 2013-06-03 | 2016-03-02 | 微软技术许可有限责任公司 | 边缘保持深度滤波 |
US9584790B2 (en) | 2013-06-03 | 2017-02-28 | Microsoft Technology Licensing, Llc | Edge preserving depth filtering |
CN106574966A (zh) * | 2014-07-09 | 2017-04-19 | 软动力学传感器公司 | 用于分箱飞行时间数据的方法 |
CN106574966B (zh) * | 2014-07-09 | 2019-07-12 | 索尼深度传感解决方案股份有限公司 | 用于分箱飞行时间数据的方法 |
US11047962B2 (en) | 2014-07-09 | 2021-06-29 | Sony Depthsensing Solutions Sa/Nv | Method for binning time-of-flight data |
US9823352B2 (en) | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
CN105572681B (zh) * | 2014-10-31 | 2018-06-15 | 洛克威尔自动控制安全公司 | 飞行时间传感器的绝对距离测量 |
CN105572681A (zh) * | 2014-10-31 | 2016-05-11 | 洛克威尔自动控制安全公司 | 飞行时间传感器的绝对距离测量 |
US10677922B2 (en) | 2014-10-31 | 2020-06-09 | Rockwell Automotive Safety AG | Absolute distance measurement for time-of-flight sensors |
US11709266B2 (en) | 2014-10-31 | 2023-07-25 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
CN111149013A (zh) * | 2017-08-01 | 2020-05-12 | 伟摩有限责任公司 | 在光检测和测距(lidar)系统中使用延长的检测周期进行范围混叠检测和减轻 |
CN111149013B (zh) * | 2017-08-01 | 2021-07-20 | 伟摩有限责任公司 | 在光检测和测距(lidar)系统中使用延长的检测周期进行范围混叠检测和减轻 |
CN109031333A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 距离测量方法和装置、存储介质、电子设备 |
CN109031333B (zh) * | 2018-08-22 | 2020-08-21 | Oppo广东移动通信有限公司 | 距离测量方法和装置、存储介质、电子设备 |
CN114556048A (zh) * | 2019-10-24 | 2022-05-27 | 华为技术有限公司 | 测距方法、测距装置及计算机可读存储介质 |
CN114556048B (zh) * | 2019-10-24 | 2023-09-26 | 华为技术有限公司 | 测距方法、测距装置及计算机可读存储介质 |
CN111798506A (zh) * | 2020-06-30 | 2020-10-20 | 上海数迹智能科技有限公司 | 一种图像处理方法、控制方法、终端及计算机可读存储介质 |
CN111798506B (zh) * | 2020-06-30 | 2024-07-23 | 上海数迹智能科技有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN114095713A (zh) * | 2021-11-23 | 2022-02-25 | 京东方科技集团股份有限公司 | 成像模组及其处理方法、系统、装置、介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2013538342A (ja) | 2013-10-10 |
IL224134A (en) | 2016-09-29 |
KR20150007192A (ko) | 2015-01-20 |
CN102393515B (zh) | 2013-11-06 |
WO2012012607A3 (en) | 2012-05-10 |
EP2596321B1 (en) | 2017-10-11 |
EP2596321A4 (en) | 2015-11-25 |
WO2012012607A2 (en) | 2012-01-26 |
KR101824753B1 (ko) | 2018-02-01 |
JP5918763B2 (ja) | 2016-05-18 |
US20110188028A1 (en) | 2011-08-04 |
US8629976B2 (en) | 2014-01-14 |
EP2596321A2 (en) | 2013-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102393515A (zh) | 用于对飞行时间(tof)系统进行分层去混叠的方法和系统 | |
US9602807B2 (en) | Single frequency time of flight de-aliasing | |
US11272157B2 (en) | Depth non-linearity compensation in time-of-flight imaging | |
US9971023B2 (en) | Systems and methods for time of flight measurement using a single exposure | |
KR20200127849A (ko) | ToF(time-of-flight) 깊이 측정 방법 및 이를 수행하는 ToF 카메라 | |
CN103998949A (zh) | 对飞行时间信号处理的改进或与之相关的改进 | |
CN111308482B (zh) | 基于编码调制图像的滤波连续波飞行时间测量 | |
Payne et al. | Multiple frequency range imaging to remove measurement ambiguity | |
CN111798503A (zh) | 利用飞行时间相机同时进行数据传输和深度图像记录 | |
CN112945221A (zh) | 相位角校正值计算装置和计算相位角校正值的方法 | |
CN102243537A (zh) | 运动图像位移检测方法及装置、光电鼠标 | |
WO2011000815A1 (en) | Range camera and range image acquisition method | |
JP7149941B2 (ja) | 装置および方法 | |
CN113267786A (zh) | 光学距离计算装置和扩展可测量范围的方法 | |
CN111200710A (zh) | 用于单次读出深度测量的具有交织保持的图像传感器 | |
CN116320667A (zh) | 一种消除运动伪影的深度相机及方法 | |
CN112946602A (zh) | 多路径误差补偿的方法和多路径误差补偿的间接飞行时间距离计算装置 | |
WO2021005102A1 (en) | Electronic device and method for time-of-flight measurement | |
US11927669B2 (en) | Indirect time of flight range calculation apparatus and method of calculating a phase angle in accordance with an indirect time of flight range calculation technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150429 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150429 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |