CN102346248B

CN102346248B - 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法

Info

Publication number: CN102346248B
Application number: CN201110206379.8A
Authority: CN
Inventors: Z·徐; T·佩里; G·希尔斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-07-16
Filing date: 2011-07-15
Publication date: 2014-03-19
Anticipated expiration: 2031-07-15
Also published as: US8587771B2; EP2593810A1; KR101834025B1; EP2593810B1; KR20130042552A; US20120013887A1; JP5834079B2; CN102346248A; HK1183709A1; WO2012009170A1; EP2593810A4; IL224105A; JP2013534639A

Abstract

本发明公开了在飞行时间系统中用于三维(3D)传感器的多相位动态校准的系统和方法。基于相位的TOF系统优选地生成快速上升和下降时间的光学波形，以便增强调制对比度，尽管将存在许多高阶谐波。该系统优选地按奇数个相位来操作，以便减小由于较高阶谐波引起的系统偏置误差，同时保持良好的调制对比度，而不会过度增加系统存储器的要求。优选地，该系统可随时间和温度自动地校准(以及补偿)在TOF所生成的光能波形中较高阶谐波。在光能传输通道内或在光能检测通道内，可修改检测放大器增益，和/或可变化检测信号集成时间，和/或可采用数字值以实现校准以及误差减少。可以操作带有改进的相位对比距离特征、减小的校准要求的结果TOF系统。

Description

在飞行时间系统中用于三维(3D)传感器的多相位动态校准的系统和方法

与共同待审申请的关系

要求的优先权来自2010年7月16日申请的、第61/365,284号、标题为“Method and System for Multi-Phase Dynamic Calibration of Three-Dimensional(3D)Sensors in a Time-of-Flight System(在飞行时间系统中用于三维(3D)传感器的多相位动态校准的方法和系统)”的共同待审美国临时专利申请，该申请最初被转让给加利福尼亚州桑尼维市的Canesta公司，而现在被转让给华盛顿州雷蒙德市的微软公司。

技术领域

本发明涉及通信技术，尤其涉及飞行时间系统中的数据校准技术。

背景技术

基于飞行时间(TOF)原理的三维(3D)相机从被成像的场景中的对象获得距离信息。距离信息在相机的传感器阵列的每一像素处被独立地产生。这样的示例性系统在美国专利号6,323,942“CMOS-Compatible Three-DimensionalImage Sensor IC(CMOS兼容的三维图像传感器IC)”(2001)以及美国专利号6,515,740“Methods for CMOS-Compatible Three-Dimensional Image SensingUsing Quantum Efficiency Modulation(用于使用量子效率调整的CMOS兼容的三维图像感测)”2003中描述，这两个专利最初被转让给Canesta公司，而现在被转让给微软公司。

如在美国专利号6,323,942中描述的，TOF系统发射光能(主动光能)，并确定由目标对象所反射的该能量的至少某一些回到该系统以由传感器阵列进行检测要花费多久。在被反射回TOF系统之前被发射通向目标对象的更远表面区域的光能将比如果目标对象更接近于该系统具有更长的TOF。如果往返TOF时间被表示为t₁，则目标对象与TOF系统之间的距离为Z₁，其中Z₁＝t₁·C/2，其中C为光速。这样的系统可获得亮度数据(信号幅度)以及TOF距离两者，并可实时实现目标对象的三维图像。有利地，这样的系统可在带有或不带有环境光(被动光能)的情况下操作，并可不带有例如快门、电动机等移动部分而操作。

更复杂的TOF系统在US专利6,515,740中描述，其中TOF通过检测已调制的所发送的光信号与从目标对象所反射的光信号之间的相对相移来确定。图1描绘了根据‘740专利的示例性相移检测系统100。对系统像素阵列中多个位置上所反射的光信号的检测导致被称为深度图像的测量信号。深度图像表示目标对象表面的三维图像。

参考图1，TOF系统100包括像素检测器140的二维阵列130，每一个都具有用于处理由相关联的检测器输出的电荷的专用电路150。在典型的应用中，阵列130可包括100×100个像素230，并由此可包括100×100个处理电路150。IC 110还可包括微处理器或微控制器单元160、存储器170(较佳地包括随机存取存储器或RAM以及只读存储器或ROM)、高速的可分发时钟180、以及各种计算和输入/输出(I/O)电路190。控制器单元160可执行对到对象的距离以及对象速度的计算，以及其他功能。

在微处理器160的控制下，光能的源120经由激励器115来周期性地通电，并经由透镜125朝对象目标20发射光能。通常该光能是例如由激光二极管、VCSEL(垂直腔表面发射激光器)或LED设备120所发射的光。从设备120所发射的光能的某一些将从目标对象20的表面被反射，并将通过光圈视场光阑以及透镜(统称135)，并将落在形成图像的像素检测器140的二维阵列130上。在某些实现中，每一成像像素检测器140捕捉发射器120所发送的光能到达目标对象20并被反射以供二维传感器阵列130检测所需的飞行时间(TOF)。使用这一TOF信息，距离Z可被确定。有利地，系统100可实现在带有相对较少片外(off-chip)组件的单个IC 110上。

通常，光能的源20较佳地发射低功率(例如，可能1W峰值)的周期性波形，从而产生被称为快门时间的时间段(可能10ms)的已知频率(可能30MHz到数百MHz)的光能发射。来自发射器120的光能以及像素检测器140内检测到的光能信号彼此同步，使得对于每一像素检测器的可测量相位差并由此可测量距离Z。所使用的该测量方法在‘740和‘496专利中被称为零差检测。基于相位的零差检测TOF系统还在美国专利6,906,793“Methods and Devicesfor Charge Management for Three-Dimensional Sensing(用于三维感测的电荷管理的方法和设备)”中描述，该专利最初被转让给Canesta公司，而现在被转让给此处的受让方微软公司。申请人通过引用将所述‘793专利结合于此。

由二维成像传感器阵列130所检测的光能将包括光源幅度或强度信息(被表示为“A”)以及相移信息(被表示为Φ)。如图1B和1C中描绘的示例性波形，所接收的相移信息(图1C)随着TOF变化，并可被处理以产生DATA(数据)，包括Z数据。对于由发射器120发送的每一光能脉冲系列，获得目标对象20的可见部分的三维图像，从中获得强度和Z数据(DATA)。如美国专利6,515,740和6,580,496中描述的，获取深度信息Z需要获得目标对象(或场景)20的至少两个样本，所发射的光能与所检测的信号的像素之间相移90°。尽管两个样本是最小数字，但较佳地是获得相位分开90°的四个样本，以准许由于像素检测器性能中的失配、相关联的电子实现中的失配以及其他误差引起的检测误差的减小。在逐像素检测器(per pixel detector)的基础上，所测量的四个样本数据被组合以产生实际的Z深度信息数据。关于各种相移系统的实施例的实现的进一步细节可在美国专利6,515,740和6,580,496中找到。

图1D与标题为“Systems for CMOS-Compatible Three-Dimensional ImageSensing Using Quantum Efficiency Modulation(用于使用量子效率调制的CMOS兼容的三维图像的系统)”的美国专利6,580,496中或标题为“Methods andDevices for Charge Management for Three-Dimensional Sensing(用于三维感测的电荷管理的方法和设备)”的美国专利7,906,793中的图10类似，这两个专利最初被转让给Canesta公司，而现在被转让给此处的受让方微软公司。(申请人通过引用将‘496和‘793专利结合于此。)在图1D中，从每一量子效率调制的差分像素检测器(例如140-1)所生成的光电流被差分地检测(DIF.DETECT)且差分地放大(AMP)，以产生信号B·cos(Φ)、B·sin(Φ)，其中B是亮度系数。

在TOF系统的正常运行时操作期间，固定的0°或90°相移延迟(DELAY)是响应于相位选择控制信号(PHASE SELECT)可切换地插入的。使用量子效率调制来发生零差混合，以导出所发送的信号与所接收的信号(见图1B、1C)之间的相位差并导出TOF以及其他数据。对基于相位的TOF系统中的零差检测的更详细的描述在‘496专利中找到。虽然图1D中指示正弦型的周期性波形，但可改为使用非正弦波形。与图1D类似的检测配置可与本发明的各实施例一起使用。

由此，如图1例示的TOF系统可获得已调制的发送光与目标对象所反射的光之间的相位延迟(Φ)。尽管相位Φ与将TOF传感器阵列与目标对象分开的(Z)距离成比例，但相位延迟是相对量并不是本质上等于Z距离。例如，随着Z增加，相位Φ增加，但在增加360°之后，相位折叠，并且在Z中的进一步增加将产生Φ中的进一步增加，再次从0°开始。实际上，一般向TOF系统提供对相位数据消除歧义或去混叠的能力，以获取对Z的真实测量。

如美国专利7,719,662例示的(该专利最初被转让给Canesta公司，而现在被转让给此处的受让方微软公司)，向TOF系统进一步提供启用使用笛卡尔(或真实世界X、Y、Z)坐标而非径向信息的校准方法是有利的。(TOF像素或传感器测量沿着对于阵列130中的每一像素140都不同的某个径向角的相位延迟。)根据‘662专利，校准的一个功能可被定义为响应于几何坐标来创建来自传感器140的映射，该几何坐标是对于已知参考的X、Y和Z信息。(X和Y坐标是相对TOF系统的光轴的水平和垂直偏移，并且Z是传感器与目标对象或所成像的场景内的对象之间的垂直距离。)这样的映射可包括深度校准以及XY校准。‘662专利公开了不需要聚集不同Z值处的深度数据的映射方法，因为目标对象被物理地重新定位到XY平面中的不同Z深度(所谓的“作为示例”的方法)。如此聚集的数据可被收集并存储在在运行时操作期间对TOF系统可用的查找表(LUT)中，以在所获得的深度数据中作出纠正。

除几何校准以外，必需执行其他类型的校准以解决某些环境因素，包括没有限制的温度和环境光照条件。例如，传感器阵列130中的温度改变可增加像素140中所谓的暗电流，暗电流进而可改变所测量的相位Φ。环境光可干扰来自源120的系统发射的光，并可导致相位误差。完整的校准过程较佳地将包括对这样的环境改变的影响进行建模的步骤。当环境条件可能改变时，这样做可允许这些效果在运行时操作期间被动态地移除。

由此，来自传感器阵列的给定相位响应通过对存储在校准表中的值进行内插而被转换成距离。然而，相位与距离的传递函数曲线包含谐波，并且足够的数据点必须存储在校准表中来对这些谐波进行建模，以避免由于不足的采样引起的准确度损失。还存在内插误差，该内插误差可通过增加表的大小来减小。

虽然“作为示例”的方法对于用相对快的运行时处理来实现是直接的，但该方法具有若干缺点。采用操作范围子集以及随后的内插导致量级为若干厘米(cm)的误差。此外，随着传感器操作范围的增加，更多数据必须被存储在校准表中以维持准确度。这生成更大的校准表，从而需要更多存储以及更长内插时间。存储可以是例如几个MB之类，这对于用于嵌入式系统来说是非常大的。来自实际观点的另一问题是捕捉来自大视野(FOV)传感器的数据所需的大的物理空间以及目标对象被重新定位的操作范围。例如，带有100°FOV和5m的操作范围的传感器需要大约12m×12m的目标对象，该目标对象在校准期间必需在0与5m之间移动。给定校准期间目标对象重新定位的足够物理空间，并给定校准过程的足够时间，这样的现有技术“作为示例”的校准可被实现。但是，这样的现有技术的校准过程具有高成本，并不是非常适合校准大容量产品。

静态地存储查找表(LUT)中的校准纠正项已经是用于校准的传统方法。然而，随着TOF系统老化、或个别组件随例如温度而改变，在TOF系统是新的时候被创建的LUT系数可能不再提供良好的校准纠正。进一步存储LUT值可增加系统存储器存储开销。

美国专利7,719,662涉及用于将所检测的相位实现于三维相机系统的距离校准的若干有效的方法和系统。‘662专利描述了需要较少时间以及较小物理空间来实现的方法和系统。然而，一般还是希望进一步改进。

在任何TOF系统设计中存在折衷。一方面，作为方波的发射光能波形有利地提高调制对比度，但表征方波的快速上升和下降时间导致不期望的较高阶的谐波。

需要的是用于减小由于在TOF系统所获得的基于相位的数据中的谐波内容引起的误差(有时称为偏置误差)的方法和系统。较佳地，这样的方法和系统会有利地允许与所发射的方波光能波形的高调制对比度，同时补偿与伴随这样的波形的较高阶谐波附带的偏置误差。偏置误差中的改变可源自由于时间和温度引起的所发射的光能的波形的变化。随后，通过改变TOF系统的校准需求来补偿偏置误差中的改变变得必要或至少是所希望的。较佳地，这样的方法和系统应可动态地操作，而不增加(较佳地减小)存储器需求，同时保留高调制对比度。这样的方法和系统的实现在即使是变化的系统和/或环境条件中也将动态地提供带有增强的线性度的良好的TOF系统校准。

本发明提供这样的方法和系统。

发明内容

现代TOF系统通常使用多相移来获得Z深度数据，例如使用所发射的光能的调制频率的四个相移0°、90°、180°、270°来获得深度数据。根据某些系统的快速校准提供对TOF系统的校准建模，纠正参数被存储在查找表中，并且也提供相位偏移纠正。然而，随着TOF系统老化或系统改变，例如热变化，所存储的纠正建模数据的有效性可能会受损。作为对比，本发明的各实施例可动态地校准TOF系统，而无需使用通常对现有技术TOF系统的静态建模。

本发明认识到操作较佳地带有奇数相移(例如N＝3、N＝5、N＝7等)而不是偶数相移(例如N＝4、N＝6等)的基于相位的TOF系统有利地减小来自显著地导致TOF系统的非线性的高阶谐波的偏置误差。在现有技术的TOF系统中，这样的偏移误差纠正或补偿未被明确提供。另外，使用奇数个相移可有利地最大化调制对比度(对传感器检测器效率的检测)。本发明允许TOF系统发射方波形状的光能，其波形合需地促进增强的高调制对比度，但含有丰富的高阶谐波中是不想要的。然而，根据本发明的各实施例，来自这些高阶谐波的偏置误差被减小。此外，纠正数据的存储需求被有利地减小，例如，即使在相位数量显著地大于三个时，两排存储器也足以存储纠正数据。总而言之，更好的校准纠正被动态地实现，同时即使不增强也保留调制对比度，而不增加存储开销。这样的校准纠正包括偏置误差组件的动态补偿，包括TOF系统所发射的光波形随时间以及随温度的相位距离测量变化。本发明的各实施例可将对奇数个相移的使用与查找表(LUT)组合以进一步增强TOF系统性能。如果可任选地使用，LUT较佳地存储纠正数据以作出可进一步减小来自高阶谐波的残余偏移误差的精细纠正。本发明的各方面可以通过硬件和/或软件实现。

本发明的其他特征和优点将在以下描述中出现，其中已经结合其附图阐述了优选实施例。

附图说明

图1是描绘根据现有技术如美国专利6,515,740所例示的基于相位的三维飞行时间成像系统的框图；

图1B和1C描绘根据现有技术的图1的框图的示例性波形关系；

图1D是描绘根据现有技术的在固定相位延迟(FPD)量子效率调制的检测器中的示例性差分光检测器以及相关联的电子设备的框图；

图1E描绘根据现有技术的被叠加到理想化线性组件以供TOF系统的深度与相位映射特征的非线性谐波组件；

图2描绘根据本发明各实施例的提供有动态可选择的多个相移校准的TOF系统，该系统启用采用增益调制、集成时间调制和/或包括可任选的查找表(LUT)实现的数字操作的多个相移校准中的任何或全部，以供对由于高阶谐波引起的残余误差进行甚至更精细的纠正；

图3A、3B、3C描绘根据本发明各实施例的光输入、像素或检测器A输出、以及像素或检测器B输出对比以四相位操作的TOF系统的调制时间段/距离；

图3D和3E描绘根据本发明各实施例的检测器B和差分检测器(A-B)的输出对比以四相位操作的TOF系统的调制时间段/距离；

图3F描绘根据本发明各实施例的相位对比以四相位操作的TOF系统的调制时间段/距离；

图3G是根据本发明的各实施例的示出四相位谐波的极坐标图；

图3H描绘根据本发明各实施例的相位对比四相位谐波的调制时间段/距离；

图3I描绘根据本发明各实施例的主动亮度对比四相位谐波的调制时间段/距离；

图4A、4B和4C描绘根据本发明各实施例的光输入、像素或检测器A输出、以及像素或检测器B输出对比以五相位操作的TOF系统的调制时间段/距离；

图4D和4E描绘根据本发明各实施例的检测器B和差分检测器(A-B)的输出对比以五相位操作的TOF系统的调制时间段/距离；

图4F描绘根据本发明各实施例的相位对比以五相位操作的TOF系统的调制时间段/距离；

图4G是根据本发明的各实施例的示出五相位谐波的极标绘；

图4H描绘根据本发明各实施例的相位对比五相位谐波的调制时间段/距离；

图4I描绘根据本发明各实施例的主动亮度对比五相位谐波的调制时间段/距离；

图5A、5B和5C描绘根据本发明各实施例的光输入、像素或检测器A输出、以及像素或检测器B输出对比以七相位操作的TOF系统的调制时间段/距离；

图5D和5E描绘根据本发明各实施例的检测器B和差分检测器(A-B)的输出对比以七相位操作的TOF系统的调制时间段/距离；

图5F描绘根据本发明各实施例的相位对比以七相位操作的TOF系统的调制时间段/距离；

图5G是根据本发明的各实施例的示出七相位谐波的极标绘；

图5H描绘根据本发明各实施例的相位对比七相位谐波的调制时间段/距离；

图5I描绘根据本发明各实施例的主动亮度对比七相位谐波的调制时间段/距离。

具体实施方式

如图所示，从TOF系统获取可靠准确的深度Z数据需要在该系统的运行时操作期间已知该TOF系统的校准特征。某些TOF特征可使用所谓的“作为示例”的校准技术的先验来获取。美国专利号7,719,662描述改进的校准方法，期间目标对象保持静止而相位被注入到所发射的光能的调制频率中以模拟距离导致的相位。这样的校准曾是快的且无需用于获取数据的大空间。包括电(相位对比距离特征，该距离特征取决于感测系统的电而非几何特征)和椭圆形(相位对比距离特征，该距离特征取决于感测系统的几何而非电特征)的校准模型被构造且被存储。

但是，随时间以及随环境改变，例如温度改变，TOF特征往往是动态的而非静态的，由此，在TOF系统新的(并且被新近校准的)时候可能非常准确的所存储的校准模型数据可由于包括对TOF系统的温度改变等系统改变而变得较不准确。

本发明提供用于在TOF系统的运行时操作期间获得并且保持良好的线性校准数据的多相位动态校准方法和系统。

图2描绘TOF系统200，其存储器170存储例程以及其他数据，该例程在例如由片上处理器(诸如160)或片外处理器执行时实现本发明的各实施例。

(除非相反表示，图2中带有与图1中相似的参考原始标号的各组件和系统可被认为是相同或实质相同的。)此外，存储器170区域215可被用于存储本发明的各实施例所创建的数据，或者这样的数据可被存储在IC外的芯片210中，例如片外存储器270中注意，图2中系统200’可使用多个光源120。存储器区域170还可存储本发明所使用的至少一个查找表(LUT)。可任选地，该LUT可存储纠正数据，包括动态聚集的纠正数据，以便启用对于由于高阶谐波引起的系统中小的残余误差的更精细纠正。本发明的各实施例可包括存储，例如170、215等，用于存储包含基于每一像素的纠正系数的至少一个LUT，以进一步纠正谐波相关误差。

快速Z校准较佳地按时间效率和空间效率的方式、使用尽可能少的数据点来创建相位到距离的映射。为捕捉系统200的基本电子检测特征，相位对距离的映射理想地应为线性，但实际上将包括谐波，如图1E所示。这些线性度的非期望偏差被相信是由于存在较高阶奇数谐波而引起的，如将描述的。本发明的各实施例设法随时间和温度动态地提供更线性的相位与距离传递函数。结果是深度测量较不依赖于精确校准的TOF系统。

在本发明中，申请人已发现操作使用奇数个相位(例如N＝3(0，120，240)，N＝5(0，72，144，216，288)，N＝7等)的基于相位的TOF系统是有利的，而不是依赖于基本上静态的纠正数据。使用奇数个相位来获得TOF数据有利地减小图1E所表现的由于谐波的波纹状不良反应而引起的偏置误差。

有利地，使用本发明的各实施例获得了良好的调制对比，并且少至两排存储器就足以存储校准数据，而独立于量级N。如果需要，谐波偏置误差的进一步减小可通过采用查找表(LUT)来实现，虽然这在许多应用中将不被要求。在一个实施例中，这一LUT较佳地在动态基础上为TOF系统存储最近获取的纠正数据。LUT的使用是可任选的，但可以更优地纠正TOF系统中相位与深度距离关系中的残余非线性，以产生更精细的纠正。

再次转向图2，TOF系统200’在许多方面与已经参考图1、1B、1C、1D所描述的相似，其中所示相似的参考标号可表示基本上相似的组件或功能。由基于相位的TOF系统200’获得的数据被表示为DATA’，并且可被导出到其他应用和/或设备。如图2所示，系统200’较佳地包括的至少一个操作模式或模块，表示为230、240、250，其中系统200’可按这些模式中的至少一个模式来操作，较佳地是动态可切换的。电子开关260用符号示出，与最适合当前TOF系统的运行时操作条件一样，使得系统200能够动态地或静态地切换到三个模式230、240、250中所需的一个模式。系统200还包括相移器控制单元220，该相移器控制单元220可导致来自一个或多个发射器120的光能的调制频率具有所需相位值。

如本文先前所示，许多现有技术的TOF系统(例如，图1中的系统100)使用四个相位来操作，所发射的光能具有正弦型的波形。如果该波形是理想正弦，则TOF系统100不会展示非线性失真，但实际上，这样的失真将存在。例如，四相位系统通常将产生在特定Z距离处误差约为±4的深度Z值，该误差主要由于较高阶谐波，即与准三角波形相关联的相关函数(CF)。例如，对于理想三角形CF的谐波的相对幅度可在如频域f₁ 1、f₂ 0、f₃ 1/9、f₄ 0、f₅ 1/25、f₆ 0、f₇ 1/49等中扩展，其中f₁是应用于TOF系统的基本频率。当然，在真实系统中，较高阶的项的谐波由于将存在的非线性失真而不会完全下降至零。

尽管可采用通常使用静态LTU的校准或补偿方法来寻找更高的深度Z测量精度，但不能容易地动态更改LUT的内容以满足当前TOF系统的操作条件。如果一旦可以例如更改LUT内容，则这对于解决可能由于调制不稳定性、波形失真等引起的相关函数(CF)中的三阶或较高阶的谐波不良影响将会是有用的。依靠静态存储的LUT纠正校准值的TOF系统尤其易受主导三阶谐波或较高阶谐波所导致的由幅度系数改变和/或相移改变的影响。

例如，可将三阶谐波表示为k＝m₃·cos(3ωt_d+f_i0)，其中m₃为额定系数，ω为来自发射器120的光能上的调制信号的基本角频率，t_d为由于飞行时间引起的时间延迟，以及f_i0为TOF系统相位偏置，即指示系统噪声、热效应等的参数。k值为系统相位偏置的主导项，该主导项在基于四相位的TOF系统中产生系统误差。系数m₃和系统相位偏置f_i0可由于波的变形和/或其他变量而变化。可以理解，对于在k的量级变化时进行充分补偿的纯LUT校准或纠正方法可能是有挑战的。常规的四相位TOF系统还可遭受传感器或像素饱和的影响，尤其当如果目标对象具有强反射率时。如果目标对象在快速运动中，所获得的深度数据的单个帧可包含模糊的图像，该单个帧在后处理中难以被修复好。可以理解，如果可在较短时间段获得深度数据，则模糊以及阵列130内像素饱和的可能性相对较小。

包括经济的实际设计考虑可规定一个或多个光源120为LED或激光二极管，以及来自激励器115的调制信号和应用于阵列130中的各像素检测器140的解调信号具有矩形或方形波形。这样的快速上升或下降时间波形信号可增强TOF系统的相关敏感性，例如通过增强的调制对比度来表现。

理论上，理想检测器系统会展示对方波波形的100％调制对比度、以及对正弦波形的50％的调制对比度。但是，尽管从调制对比度观点是有利的，但方波的使用可导致严重的TOF系统非线性失真，这将减少系统所测量的Z深度值的绝对精确度。如现在将描述的，本发明的各实施例有利地提供减小的谐波偏置误差、增强的调制对比度、并带有减小的图像模糊以及较小概率的像素饱和、以及减小的存储器存储需求。

本发明的各实施例较佳地将奇数N个相移阶跃应用于TOF系统200’，较佳地应用于在系统光能转换通道或路径，或在三维接收通道或路径中。为便于说明，图2描绘其中在接收通道或路径中示出相移的各实施例。假设开关260位于水平位置，例如，被耦合到模块240，即增益调制系数G_N分配单元。以此模式，TOF系统振荡器单元(例如，时钟180、处理器160、输入/输出190)经由具有调制频率f0的发射器115生成RF调制信号。这一驱动信号被耦合到光能发射器120，该光能发射器120发射至少部分地照明一部分感兴趣的目标对象20的光能。这一主动能量(主动光)中的某一些由目标对象反射回TOF系统200’，在那里通过光学系统135，并落在阵列130中的像素检测器或传感器140上。光能离开系统200’、被目标对象20反射、并且部分地返回TOF系统200’所需的持续时间为飞行时间(TOF)t_d。诸如150等电子设备较佳地包括诸如模拟/数字转换、至少一个可变增益放大器以及读出能力(例如输入/输出190)等功能。RF调制信号驱动激励器115和发射器120也同时被耦合到相移器220，并被用于解调由TOF系统通过每一像素检测器所获得的光学深度图像。

解调的示例性类型包括量子效率调制和零差检测；例如见第6,515,740号美国专利，当开关260位于中心位置时，经解调信号的增益较佳地是通过系数分配单元240调整而可变的，该系数分配单元240分配不同的放大器增益因子，例如增益G₁、增益G₂、...G_N。由此增益被修改的信号随后在IC芯片210上或是在片外被数字化，并且可被存储在片上(例如在存储器215中)或片外(例如在存储器270中)。存储在片上或片外的可被认为是一排排的数据，较佳地是一排或两排数据，可能在存储器170、215的一部分中，或在片外的存储器270中。最后，经处理或经预处理的信号信息可被导出为DATA’(数据’)，以供其他设备和/或应用来使用。在优选实施例中，分配单元240中的各种增益在幅度上可变，并且可在运行时操作期间动态地变化，以便最佳地适应此时的TOF系统环境。

仍然参考图2，现在假设开关260移至最上面的位置，耦合到集成时间修改器单元230。各种t₁，t₂，...t_N条目表示不同的像素信号集成时间。(通常通过传入光子能量在像素中生成的检测电流被集成在电容中以形成可检测信号。)以此操作模式，经解调的检测信号的集成时间通过集成时间修改器单元230可变地调整，与来自相移单元220的每一相移同步。再次，对可变集成时间被修改的检测信号的数字化可发生在IC芯片210上或IC芯片210外。

现在假设开关位于最下面的位置，被耦合到数字数值单元250，该数字数值单元250包含被表示为D₁、D₂、...D_N的数字数值，这些数字数值与来自相位单元220的相位改变一起同步操作。所生成的数据可被存储在片上或片外，例如，在存储器170、215、和/或存储器270中。

可以理解，“开关”230是抽象表示，并不是可旋转的机械物理开关。在优选实施例中，开关230可动态地且在进行中(on-the-fly)在增益调整模式、集成时间修改模式和数字值修改模式之间切换各模式，作为最适合当前工作环境中当前运行时的TOF系统200’的操作。在操作的各种模式中，假设N相移相等，或至少以不相等的距离分布在相关联的相关因素CF的一时间段内或时间段上。例如，相等分布的N个相移导致相移集合：

{0，1·2π/N，2·2π/N，...(k-1)·2π/N)}

初始移位可以是任何相位值f_i0加上以上括号中的任何值。TOF像素阵列130中的每一像素140(见图12)将提供对应于相位的输出Z深度信息如下：

其中，V_k为相移阶跃k＝1，2，3，...N处的像素输出信号，并且正弦项确定修改系数。这一通式包括3、4、5至任何整数N个相移。增加相移数量将取消或选择性地取消由较高阶谐波导致的不想要的系统误差。以上atan函数的扩展将产生实域(real domain)中的分量以及虚域(imaginary domain)中的分量。独立于量级N，这两个分量集合(实域和虚域)可被存储在少至两个存储器排，例如，片上存储器215或片外存储器270，以供在运行时校准纠正中使用。

以下表I概括了在频域中产生系统误差的谐波的项。注意，表1中存在零，这表示取消(或至少实质减小)从高阶谐波产生的偏置。

表1

参考表1，对于N＝4的相移，注意，第三阶谐波通过本发明本质上被减小至零，并将本质上减小TOF系统误差。当N＝8的相移时，项的高阶谐波[2，3，4，5，6，7，8，10，11，12，113，114，...]将不产生系统误差，即使这些项是大的或在不同环境或其他条件下在幅度上变化。

以下表2描绘按上述可变增益模式、可变集成时间模式以及数字操作对TOF系统200’的操作。

表2

注意，N，即相移数量可以是任何整数，并且该初始或第一相移可以是任何相位值。当N是奇数时，对于用方波信号操作的TOF系统中非常高阶的谐波，存在高的抗性，例如减小。另一方面，使用偶数个N相移对于用方波信号操作的TOF系统中较高阶的奇数谐波将有较少的减小。如上所述，在使用方波形TOF系统的光学所发射的波形和高调制对比度与使用可能的三角形波形之间存在设计折衷，使用可能的三角形波形产生较低的调制对比度、但其上升和下降时间不会具有如此丰富的非期望高阶谐波。本发明有利地提供两个领域的最佳方面。TOF系统发射带有快速上升和下降转换时间的波形，对于更高调制对比度是期望的，但对于附带高阶谐波是不期望的。然而，根据本发明的各实施例，由于高阶谐波引起的偏置误差被减小。

相同地分布的带有2π的N相移可被应用于(CF)相关函数的单个时间段，或可被应用于超过单个时间段，例如N+k、k+1、2...。实现这一方法的各实施例允许带有最小谐波的最大调制对比度，这是使用现有技术的方法无法容易地实现或者根本不能实现的因素。

有利地，根据本发明，通过高阶奇数谐波的显著减小，TOF系统的热效应被显著减小。由于该方法是动态自校准的，校准是稳健的，而不管环境温度改变以及在系统的生存期该TOF系统内的系统组件变化。现有技术对一个或多个静态LUT与被确定为先验的校准数据的使用完全不能提供一致良好的校准数据，尤其当运行时操作期间光能和像素检测器波形改变的时候。在固定的距离和帧速率内，本发明的各实施例通过增加N相移有利地增强了动态范围。

如上所述，依靠与奇数个相位的使用相关联的不对称增强了统一性。有利地，这一不对称具有减小像素的饱和度或其相关联的模拟/数字转换器的饱和度的期望效果。实际上，误差增加与饱和度的比率要小于如果TOF系统用常规的四相位方法来操作的情况。由此，已经长期困扰现有技术校准方法的由于谐波引起的误差现在被减少了。在许多TOF系统中，主动强度信息(响应于TOF系统主动的或所发射的光能的像素)通常被用于过滤。然而，典型的TOF系统在其主动强度数据中也具有谐波误差。有利地，本发明减小了主动强度谐波中的误差，这在将过滤应用于TOF系统时产生更少的误差。描述了本发明的优点之后，现在将描述使用各相移的某些实际数据。

图3A-3I描绘按四相位模式(N＝4)操作的TOF系统200’。图3A描绘理想化的传入光能，以及图3B和3C描绘像素排A中的检测器的输出以及像素排B中的检测器的输出。像素检测的细节可在本文援引的Canesta公司的而现在是微软公司的专利中找到，这里将不再重复。图3D是对于检测器B的四相位数据与调制时间段/距离的标绘，而图3E描绘差分(A-B)检测器数据对比调制时间段/距离。带圈的标记表示四个相位。图3F描绘相位对比制时间段/距离，并示出传递函数上某些不期望的波纹和非线性。

图3G是四相位操作的谐波的极坐标图，而图3H描绘四相位谐波对比调制时间段/距离。图3I描绘主动亮度(例如，响应于由120所发射的光能，而不是响应于例如其他环境、光能)对比调制时间段/距离。

图4A-4I描绘对于五相位操作的相似标绘。注意，图4F中增强的五相位对比调制时间段/距离传递函数，尤其与图3F的谐波失真的四相位传递函数相比。类似地，图4H和4I中标绘的数据上存在相对较小的扰动。

图5A-5I描绘对于七相位操作的相似标绘图。图5F中所示的相位对比调制时间段/距离的传递函数是非常线性的。类似地，图5H和5I中所示的对于七相位操作的数据上存在较小的扰动。相对于图4F的谐波失真的传递函数，这些传递函数的高线性度被有利地提高。很清楚，奇数个相位优选地使用七个相位。

尽管各实施例已经参考接收TOF系统的通道或功能来描述，但可以理解，实现可改为在光学发射通道上。在任一实现中，本发明提供在基于相位的TOF系统中实质地减小由较高阶谐波导致的系统误差的自校准方法。有利地，良好的调制对比度性能被保留，而同时减小系统误差。

可使用任何整数N个相移，并且初始相移可以是任何值。然而，即使当用方波来操作TOF系统时，由于较高阶的谐波扰动被减小，使用奇数个相移可能是有利的。奇数个相位给TOF系统带来较高的负载，但减小了较高阶谐波的影响。作为对比，用偶数个相位来操作带来较轻的系统负载，但对较高阶谐波的消除较不有效。独立于量级N，两个存储器排将足以存储校准数据。N相移阶跃可在TOF系统传输通道或接收通道中实现。在任一实现中，包括热效应等系统误差被显著地减小。

本发明的各实施例使得系统200’能够比现有技术的基于相位的TOF系统实现更高等级的调制对比度，例如70％，同时实现自校准以减小较高阶谐波，而不增加噪声有利地，本发明是稳健的并且动态的。此外，给定数据获取的固定Z距离帧速率，本发明提供增加的动态范围，而由于移动目标对象引起的模糊的可能性较小，因为增加N意味着在更多的但更短的时间递增中获得数据。奇数个相位的使用进一步使得包括模拟/数字转换单元的各设备和系统较不可能饱和。有利地，通过TOF系统获得的主动强度信息也从本发明中受益，像使用主动强度信息的纠正方法一样。

可对所公开的各实施例作出修改和改变，而不背离所附权利要求书所定义的本发明的主题和精神。

Claims

1.一种对飞行时间（TOF）系统自校准以减小误差的方法，所述飞行时间系统发射已知调制频率相位的光能、使用像素阵列来检测从相距为距离Z的目标对象所反射的所述光能的一部分、并且通过在检测到的所反射的光能中检查相对于所发射的光能的相位的相移来确定深度，所述方法包括以下步骤：

（a）使用数量N个获得物来从所述像素阵列获得检测数据，其中，N从包括（i）偶数以及（ii）奇数的组中选出；

（b）使得所述飞行时间系统在运行时操作期间按从包括以下模式的组中选择的模式来操作：（i）检测增益修改模式、（ii）检测集成时间修改模式、以及（iii）数字值修改模式，其中，选出的所述模式为所述飞行时间系统提供自校准数据；

（c）将在一个所述模式期间所获取的自校准数据存储在第一和第二存储器位置中；以及

（d）在所述飞行时间系统的运行时操作期间使用所存储的自校准数据以减小校准误差；

其中，所述方法减小以下各项中的至少一个：（i）由于较高阶谐波引起的偏置误差、（ii）由于所述飞行时间系统所发射的光能的波形中的变化引起的偏置误差、以及（iii）由所述阵列中所述像素接收的波形中的变化引起的偏置误差。

2.如权利要求1所述的方法，其特征在于，步骤（b）在所述飞行时间系统的运行时操作期间被动态地实现。

3.如权利要求1所述的方法，其特征在于，在步骤（b），所述飞行时间系统在运行时按检测增益修改模式来操作，其中，（i）量子效率调制以及（ii）零差检测中的至少一个在所述飞行时间系统内被实现。

4.如权利要求3所述的方法，其特征在于，所述飞行时间系统所解调的信号的增益在按相位改变的基础上被修改，并且增益经修改的所述解调的信号被数字化并被存储在至少第一和第二排存储器中。

5.如权利要求1所述的方法，其特征在于，在步骤（b），所述飞行时间系统在运行时按检测集成时间修改模式来操作，其中，（i）量子效率调制以及（ii）零差检测中的至少一个在所述飞行时间系统内被实现。

6.如权利要求5所述的方法，其特征在于，在所述步骤（b），所述飞行时间系统所解调的像素检测信号的集成时间在按相位改变的基础上被同步地修改，并且经解调的像素检测信号随后被数字化并被存储在至少第一和第二排存储器中。

7.如权利要求1所述的方法，其特征在于，在步骤（b），所述飞行时间系统在运行时按数字值修改模式来操作，其中，（i）量子效率调制以及（ii）零差检测中的至少一个在所述飞行时间系统内被实现。

8.如权利要求7所述的方法，其特征在于，在步骤（b），飞行时间系统所解调的像素检测信号在按相位改变的基础上与预先存储的数字值相关联。

9.如权利要求1所述的方法，其特征在于，相移具有从包括以下两项的组中选出的至少一个特征：（i）相移大致上彼此相等、以及（ii）相移在相关联的相关因素的时间段上以相对于彼此至少不相等的距离分布。

10.一种飞行时间（TOF）系统，所述飞行时间系统是这样的类型：发射已知调制频率相位的光能、使用像素阵列来检测从相距为距离Z的目标对象所反射的所述光能的一部分、并且通过在检测到的所反射的光能中检查相对于所发射的光能的相位的相移来确定深度，所述飞行时间系统包括：

用于使用数量N个获得物来从所述像素阵列获得检测数据的装置，其中，N从包括（i）偶数以及（ii）奇数的组中选出；

用于使得所述飞行时间系统在运行时操作期间按从包括以下模式的组中选择的模式来操作的装置：（i）检测增益修改模式、（ii）检测集成时间修改模式、以及（iii）数字值修改模式，其中，选出的所述模式为所述飞行时间系统提供自校准数据；

用于将在一个所述模式期间所获取的自校准数据存储在第一和第二存储器位置中的存储器；以及

用于在所述飞行时间系统的运行时操作期间使用所存储的自校准数据以减小校准误差的装置；

其中，所述飞行时间系统展示从包括以下各项的组中选出的至少一种类型的减小的偏置误差：（i）由于较高阶谐波引起的偏置误差、（ii）由于所述飞行时间系统所发射的光能的波形中的变化引起的偏置误差、以及（iii）由所述阵列中所述像素接收的波形中的变化引起的偏置误差。