CN103261912A - 用于测量对象的距离和/或强度特性的设备和方法 - Google Patents

Abstract

一种用于测量一个或多个对象的强度和/或距离特性的设备，包括：信号源，其以一个或多个频率发射调制信号；照明器，其通过第一调制信号照亮一个或多个对象；传感器，其包括一个或多个像素，其中，该传感器通过对反向散射信号与像素内的第二调制信号的相关性进行采样而形成采样相关信号；和处理器，其用来通过使用一个或多个测量比较采样相关信号来确定在一个或多个像素内的分量返回的距离/强度特性，其中，一个或多个测量包括具有选自以下一个或多个特性的第一和第二调制信号：(a)两个或更多个不同的调制频率，(b)一个或多个不同的调制频率和相关波形的偏移，和(c)一个或多个另一个不同的调制频率以及选自信号返回的零空间频率与距离的关系和信号返回的零空间频率的逼近与距离的关系中的一个。

Description

用于测量对象的距离和/或强度特性的设备和方法

相关申请的交叉引用

本申请要求2010年7月29日提交的美国临时申请No.61/400,616的优先权，该申请的公开内容全文纳入本文。

技术领域

本公开大体上涉及强度和深度/距离检测，并且，更具体地讲，涉及用于通过在两个或更多个非零频率下进行距离和/或主动强度测量，或者通过在非零频率下进行一个或多个测量加上测量零频率或等价量并使用相位和/或强度归一化和去归一化将测量应用到数学模型来确定在采样区域、积分区域或像素内的一个或多个对象的强度和/或距离特性。

背景技术

基于间接飞行时间测量技术的距离成像系统为图像中的每个像素同时确定距离和强度两者。通常，用强度调制光源照亮场景，并且使用增益调制的（或带快门的）成像器对反射信号进行采样。用于驱动增益调制（还称作高速快门）和光源的频率常常在10MHz和100MHz之间。这些系统能够有效地在场景中测量对象的尺寸、形状和位置，从而使在诸如汽车安全与控制、多媒体用户界面、图像分割和表面轮廓描绘的领域中的许多应用成为可能。距离捕获的平行本质允许以视频帧率获取深度图像，然而系统可具有灵活性以在较慢的模式下运行从而实现亚毫米深度分辨率。

典型的调幅连续波(“AMCW”)距离成像系统采用信号源、照明系统、传感器和处理器等元件。信号源发射两个信号，其中一个信号调节由一个或多个对象反射的场景照明。传感器使用第二信号检测反射光，并且处理器然后通过分析检测到的信号来计算对象的距离和/或强度。

用于分析信号测量的方法公开在例如授予Billmers等人的美国专利No.7,561,255、授予Phillips等人的美国专利No.5,835,199、授予Ball等人的美国专利No.5,534,993中，所有这些专利均全文以参见的方式纳入本文。另外，参见授予Dorrington的国际公布No.2004/090568、授予Carnegie等人的国际公布No.2006/031130和授予Payne等人的国际公布No.2009/051499，所有这些专利均全文以参见的方式纳入本文。用于检测和减轻信号干扰的方法和设备公开在例如授予Ikeno等人的美国专利No.7,697,119中，该专利全文以参见的方式纳入本文。三维成像的方法公开在例如授予Meyers等人的美国专利申请No.12/819,602(美国专利公布No.2010/0258708)中，该专利全文以参见的方式纳入本文。

典型的AMCW激光雷达系统遭受被称为混合像素、多路径或串扰的问题。当单个距离/强度测量由在距相机不止一个距离处的多个对象构成时，出现混合像素。多个对象导致多个反射信号，在测量的反向散射信号中造成相移和强度变化以及因此错误的距离和强度值。

发明内容

本发明提供了用于确定在每个采样区域、积分区域或像素内的一个或多个对象的强度和/或距离特性的改进的方法和设备。在本发明的一个实施例中，提供了通过显著减小混合像素、多路径、和/或串扰的影响来准确地确定距离/相位和强度特性的方法和设备。在本发明的一个实施例中，用于测量至少一个对象的强度和距离特性中的至少一个的设备包括信号源、照明器、传感器和处理器。在该实施例中，信号源可操作地以一个或多个频率发射至少第一和第二调制信号，照明器可操作地通过第一调制信号照亮至少一个对象，其中，该第一调制信号从该至少一个对象反向散射以形成第一反向散射信号，传感器包括至少一个像素并可操作地通过对第一反向散射信号与在该至少一个像素内的第二调制信号的相关性进行采样而形成采样相关信号，并且处理器可操作地通过使用一个或多个测量比较采样的相关信号来确定在该至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个，其中，一个或多个测量包括具有选自以下的一个或多个特性的第一和第二调制信号：(a)两个或更多个不同的调制频率，(b)第一一个或多个不同的调制频率和相关波形的偏移，和(c)第二一个或多个不同的调制频率以及选自信号返回的零空间频率与距离的关系和信号返回的零空间频率的逼近与距离的关系构成的组群中的一个。

附图说明

本公开包含至少一张彩色格式的附图。一旦请求并支付了必要的费用，官方将提供带有一张或多张彩色附图的本专利或专利申请公开的副本。

图1示出根据本发明的实施例的示例性距离成像器。

图2示出根据本发明的实施例的两个对象的示例性恢复。

图3示出根据本发明的实施例的2:1的频率比的示例性查找表，假设用较低频率测量对较高频率测量进行相位和强度归一化，并且使用缩放的笛卡尔映射。

图4示出根据本发明的实施例的2:1的频率比的示例性查找表，假设用较低频率测量对较高频率测量进行相位和强度归一化，并且使用转换的极坐标映射。

具体实施方式

在示例性实施例的以下描述中，参照构成本文一部分的附图，并且在附图中通过举例说明的方式示出了其中可实践本发明的特定示例性实施例。应当理解，可使用其它实施例，并且可进行结构变化而不脱离本发明的精神和范围。

虽然可以就光探测和测距（“激光雷达”）系统（例如，基于激光或基于LED的探测和测距系统）而言在本文描述和示出本发明的实施例，但应当理解，本发明的实施例不局限于此，而是还可适用于无线电探测和成像系统或它们的等同形式。此外，虽然可以就AMCW而言在本文描述和示出本发明的实施例，但应当理解，本发明的实施例还可适用于其它调制方法。本发明的一些实施例可包括用于测量信号的两个或更多个频率或傅立叶变换的频率面元(frequencybins)的其它非激光雷达系统，其中，解析了一个或多个尖峰、峰或脉冲的位置（空间的、时间的或其它维度的）和/或强度。这不但可包括一维情况，而且还包括n维测量、位置和/或傅立叶变换面元。

AMCW激光雷达系统使用目标场景的主动照明－信号返回是有助于AMCW测量的目标对象对该主动照明的反射。在特定频率下的理想的AMCW激光雷达测量由在对应的空间频率下在距离范围内对信号返回的空间傅立叶变换的采样组成，其中信号照射特定积分/采样区域或像素。测量可表示为复数或该复数的相位/角度和大小（也称为幅度、模量或“主动强度”)。在理想的单个返回情况中，相位与距离成正比（或在一些情况中成反比）。通常，使用采样的AMCW相关波形的离散傅立叶变换的特定频率面元来计算测量，但其它实施例也是可能的。

如本文所用，测量可理解为包括在任何频率下的校准测量和非校准测量。校准测量可针对但不限于系统相移、谐波混叠、非线性误差、暗电流、像素增益特性/偏差/变化和任何其它系统误差或其它伪像进行修正。在一些实施例中，通过利用诸如谐波消除的技术来产生测量。术语测量可包括使用产生等同或类似结果的任何其它技术。谐波混叠导致非线性测量响应，这导致错误的相位和/或强度值。

如本文所用，幅度、强度、主动强度、主动亮度、模量、复数模量和大小被认为是同义的并且可被理解成是指在被对象反射后返回到传感器装置的主动照明信号并且是指复数域距离测量的模量。主动强度图像类似于场景的单色图像。除了别的用途以外，它允许应用传统的图像处理技术对图像进行测距。

对于在包含不具有相关波形谐波的混叠的单个分量返回的未知距离内的理想测量来说，相位/相位角可被看作为距离的线性函数。因此，对本文的距离测定的引用有时可被看作意指分量返回的相位的测定，反之亦然。

如本文所用，“总积分强度”可被理解为是指在相位周期内的AMCW相关波形的所有样本的总和。总积分强度等同于对主动信号返回的零空间频率加上由环境光的贡献产生的偏移进行采样。在诸如Mesa Imaging SwissrangerSR4000的一些商用系统中，差分测量系统可用来移除来自环境光的偏移。这使零空间频率的测量极其困难，因为除了直接测量相关波形，要同时捕获具有180度相位偏移的两个测量。返回的原值是一个测量减去另一个，从而移除有关总积分强度的信息。

如本文所用，对在零频率下测量的引用可被理解为包括仅测量总积分强度，或测量总积分强度减去来自环境光的贡献，或测量总积分强度减去来自环境光的贡献的估计，或任何类似的测量。在一些实施例中，在零频率下的测量可以通过在很低的频率（例如，10kHz）下进行正常测量而进行。在该情况下，通过保持模量并将相位设定为零来调整测量，从而逼近分量信号返回的零空间频率的测量。在一些实施例中，可通过在禁止照明的情况下进行测量或通过任何其它可行方法来记录来自环境光的相关波形的偏移的贡献。在来自环境光的贡献低的一些情况下，可不必减去环境光。在一些实施例中，在零频率下的测量可与在非零空间频率下的测量同时进行，特别是当存在很少或不存在环境光时。在其它情况下，可立即进行或通过未指明的替代的等同方法进行任何或所有测量。

本发明的数学背景及其实施例在Godbaz等人的“A New Method for MixedPixel Component Recovery(混合像素分量恢复的新方法)”中进一步详细描述，该文献在临时申请No.61/400,616中公开为附录A且全文以参见的方式纳入本文。

在本发明的一个实施例中，用于测量与对象相关联的距离的设备包括：第一信号源，其可操作地以一个或多个频率发射电磁信号，其中每个电磁信号包括至少一个限定该电磁信号的特性的相量；第二信号源，其可操作地以一个或多个频率发射电磁信号；传感器，其被构造成测量从对象发射的电磁信号的相量；和处理器，其可操作地以基于对与第一信号源的高频率和低频率相对应的第一组相量和与第二信号源的高频率和低频率相对应的第二组相量的比较而计算对象的距离。

在一些实施例中，从一个装置发射第一和第二信号源。在其它实施例中，从单独的装置发射第一和第二信号源。

在一个实施例中，可通过AMCW激光雷达系统（或等同装置）在不同的已知调制频率下进行两个或更多个测量，最常见地利用整数比（即，整数的比率）调制频率比，但根据具体应用也可使用任何比率。在一些情况下，使用2:1的比率。这些测量通常包括大小和相位/距离分量两者，但在一些实施例中可能不对所有调制频率或调制频率中的一些进行大小或相位测量。

可以对所有测量或测量的子集在相位和/或大小方面相对于测量中的一个或多个进行归一化。归一化在第[0078]至[0113]段进行描述并且通常不指复数除法运算（除非两个测量均在相同的测量频率下）。多路径问题中的其它对称性可以被利用，以便进一步减少维数或样本个数。归一化测量中的全部或子集可以组合（并且可选地由数学函数投影变换/缩放）以形成索引值。作为在两个测量频率情况下的惯例，通常假设用最低频率测量对最高频率测量进行归一化，因为这导致较不复杂的查找表/数学模型（在下一段中描述）。然而，可能存在用最高频率测量进行归一化是最佳的情况。

在某些实施例中，可将索引值输入数学模型中以用于确定一个或多个目标对象的强度和/或距离特性。特定模型可包括将索引值应用于查找表(“LUT”)或插值查找表、将索引值传递到多项式模型或分段多项式模型、或者将索引值用作数学模型或其它数学函数的输入。如本文所用，术语“模型”应不但被理解为包括确定强度和/或距离的上述方法中的任一种，而且被理解为包括等同形式。LUT可被实现为其中每个维度对应于输入值的维度并且每个元素对应于一组输出值的矩阵或阵列。在相位和大小两者归一化的非零频率下的两个测量的情况中，LUT为2D的；在没有归一化的情况下，LUT将为4D的。在非零频率下的一个测量和零频率下的另一个测量的情况中，LUT为1D的，只要使用归一化的大小来计算索引值。为了找到特定值的结果，可以在最接近地逼近实际连续值测量的元素之间使用插值。插值可包括任何类型的插值，包括线性法、双线性法、三次法、样条法、n阶法等。

在一些实施例中，可以不使用归一化，并且使用较高维度的LUT或数学模型来代替与归一化/去归一化结合的较低维度的LUT或数学模型。

在一个实施例中，模型返回一个或多个候选解元组和可选地其它附加数据。每个候选解元组由距离和/或大小或以包括例如相对距离和/或相对大小的任何形式表示的一个或多个分量信号返回（即，对象）的任何其它特性组成。在一些实施例中，候选返回可以相对于用来执行归一化的相同测量或相对于同时或在此前的时间捕获的其它测量来去归一化。在一些实施例中，候选返回可通过例如综合测量去归一化或者说是通过复系数任意缩放。然后，可以将候选解元组中的全部或子集输出或传递到附加的处理硬件或软件。

在一些实施例中，分量返回可以被阈值化，以便限制分量返回的数目，从而应对不存在分量返回或没有显著的分量返回的场景。

任何LUT或数学模型可以利用旋转对称来减少维数。在一个实施例中，每个候选解元组可对应于表中的不同位置，其中每个位置经由附加的数学变换从初始“种子”索引值计算出。

在一个实施例中，以具有整数比频率比的非零频率进行两个测量A和B。在该实施例中，测量A可以用测量B在相位和强度两方面进行归一化，并且该归一化的测量通过下面在第[0102]至[0113]段中描述的LUT索引投影中的一种或通过任何其它替代的变换变换为索引值。索引值被用来访问LUT或数学模型并且返回一组复数域候选解元组。这些候选解元组用测量B在强度和相位两方面进行去归一化，以产生直至两个分量返回的相位和/或强度的估计，该估计被输出到硬件或软件。在一些实施例中，可通过对LUT中的每个单元数值求解最优化问题而产生LUT或数学模型，但可以使用求解LUT或数学模型的任何方法。在一些实施中，最优化问题可以被结构化成为在不同频率下的每组测量查找两个分量返回。每个LUT单元的解元组可使用牛顿－拉夫逊数值优化算法生成以找到将相对于与每个LUT单元相对应的归一化测量（由索引值给定）的误差平方和最小化的分量返回的相位和大小。通常，假设较低频率复数域测量等于1（因为在相位和强度方面用自身对测量归一化，将其化简为数值1），并且从对应于该特定LUT单元索引值的相位和强度归一化的较高频率测量来计算较高频率复数域测量。可以使用任何LUT进行映射，某些特定的映射在第[0098]至[0113]段中给出。在其它实施方式中，可以考虑噪声效应或干扰，以便最小化LUT中用于每个单元的误差的统计期望，这可能需要以不同方式提出问题。可能存在多个解或局部最小值，并且这可能需要反复的优化尝试，以便产生高质量的输出。对于笛卡尔LUT布局来说，可能需要为插值目的而指定相邻的像素的连接表——产生该连接表的一种方式是使用在2×2或3×3像素区域上的暴力搜索来最小化复数域中的平滑约束。对于2:1的优选频率比的优选LUT布局被转换为极坐标，因为缺少对连接表的要求。产生连续平滑的表可能被应将分量返回置于其两者间何处的模糊性复杂化。对于极坐标转换后的表来说，可通过以相位对每个分量返回的顺序进行分类然后手动交换数值块来产生连续平滑的表——例如，在这种情况下，在归一化相位中相隔2π但具有相同归一化模量的值可以自由交换。图4中给出了示例性LUT。

在另一个实施例中，使用2的频率比来进行两个测量。索引值χ通过在相位和幅度方面用较低频率测量归一化的较高频率测量来计算。关于在两个返回情况中最亮分量返回的最大可能相位扰动的边界可由|arg(χ-1)/2|或等同的LUT或数学模型进行计算。该相对相位边界可通过用较低频率测量的相位对arg(χ-1)/2去归一化而转化为绝对相位边界。因此，已知的是，主分量返回的相位在原始未修正测量的相位和绝对相位边界的相位之间。关于在两个返回情况中分量返回的模量的最大可能总和的边界可通过用最低频率测量的强度或等同LUT或数学模型对|χ-1|+1去归一化来计算。关于分量返回的模量的最小可能总和的类似边界可使用将χ作为输入的数学模型来估计。例如，适用于当|χ-1|≤4时的值的经验导出近似下界可通过用最低频率测量的强度或这种形式的任何其它类似模型对0.3894|χ-1|^1.351+1去归一化来计算。对其它频率比的扩展是可能的。可以估计其它边界，如下文在第[0033]-[0039]段中描述的。

关于次分量对主分量的相位扰动的大小的最大边界可由

计算。

可以计算关于在较低调制频率下两个分量之间的相位差的绝对值的最小边界。该值可以使用已知的调制频率转化为等效距离。

如果|χ|>1，则关于次分量对主分量的相位扰动的绝对值的最大边界可由|arg(χ)|/2计算。如果|χ|≤1，则关于次分量对主分量的相位扰动的绝对值的最大边界可由

计算。

关于作为最亮分量的亮度分数的次最亮分量的强度的最小边界可由

或由

计算。

关于最亮分量的相位扰动的绝对值的最大边界可由sec^-1(1+|χ-1|)计算。

如果|χ-1|>1，则关于最亮分量的相位扰动的绝对值的最大边界可由

计算。如果|χ-1|≤1，则关于最亮分量的相位扰动的绝对值的最大边界可由

计算。

如果|χ-1|>1，则关于相对于最亮的次最亮分量的相位的绝对值的最小边界可由计算。如果|χ-1|≤1，则关于相对于最亮的次最亮分量的相位的绝对值的最小边界可由

计算。

或者，可将arg(χ-1)、|χ-1|、|χ|或arg(χ)中的一个或多个直接用作对像素混合程度的指标。

在另一个实施例中，在不同频率下进行多个测量。第一复数域测量p₀在相对频率r₀下进行。其它测量可以(p_i,i=1,2,3,…)在对应的相对频率(r_i,i=1,2,3,…)下进行。为了确定相位、幅度和距离散布(range spread)参数，求解下列联立方程组：

其中，n为测量次数（对于p₁来说对应于1，等等），M为分量返回的总数，m为当前返回，r_n为测量次数n的相对频率，a_m编码分量返回m的强度，arg(v_m)编码分量返回m的相位（和因此距离），|v_m|编码关于分量返回如何在距离内分布的信息（例如，如果分量返回由雾造成，则其可以在一米内散布，而不是离散的点源）。这些联立方程可通过数值方式或者通过找到闭型反演来求解。一个这样的闭型反演的示例在下一段中给出。

在其中r₀=0;r₁=1;r₂=2;r₃=3的一个这样的闭型实施例中，我们通过代入二次方程对v₀求 $(p_0{p}_2-{p_1}^2)v_0^2+(p_1{p}_2-p_0{p}_3)v_0+(p_1{p}_3-p_2^2)=0|$ 的值来求解a₀、a₁、v₀和v₁（但任何其它有效或近似方法就已足够）。然后将其中一个解代入

以确定v₁。然后将这些值代入

最后，以类似方式使用a₁=p₀-a₀确定a₁。这样，我们使用在相邻频率下的四个测量确定了两个分量返回的相位、幅度和距离散布参数。

在另一个实施例中，在非零调制频率下进行一个测量，并且在零频率下进行另一个测量。在该实施例中，通过用第二（零频率调制的）测量的大小对第一（非频率调制的）大小归一化来生成索引值。然后通过反余弦函数或等同LUT对索引值进行变换。这导致界定单个像素测量内的最亮分量返回的最大相位扰动的输出值。可以给出以下关系：最亮返回的最大相位扰动=acos(归一化的大小)。类似地，关于相对于最亮分量的次最亮分量的相位的最小边界可以通过下式估计：最小相对相位=acos(2*(归一化的大小)^2–1)。或者，关于作为最亮分量的亮度分数的次最亮分量的相对强度的最小边界可通过下式计算：最小强度边界=(1–(归一化的大小))/(1+(归一化的大小))。

在另一个实施例中，在非零调制频率下进行两个测量，并且在零调制频率下进行第三个测量（可能与非零测量中的一个或多个同时）。索引值包括在强度方面用在零频率下的测量归一化的两个非零测量的模量。索引值被传递到LUT或数学模型并且返回一组复数域（极坐标或笛卡尔）候选解元组。候选解元组通过第一非零测量在相位和强度两方面进行初始去归一化，然后被输出。在该实施例的一个变型中，可使用下列方程系统直接计算解元组，该方程系统在Godbaz等人的“A New Method for Mixed Pixel Component Recovery(混合像素分量恢复的新方法)”中进一步详细描述，该文献在临时申请No.61/400,616中公开为附录A且全文以参见的方式纳入本文。

符号：r_a=测量A相对频率。

r_b=测量B相对频率。

t_a=用零频率测量的模量归一化的测量A模量（衰减率A）。

t_b=用零频率测量的模量归一化的测量B模量（衰减率B）。

θ=第二分量返回相对于第一分量返回的相位偏移。

b=第二分量返回的相对强度（受限定，使得第一为1）

T_n(x)=第一类切比雪夫多项式，n阶。

已从相对频率r_a和r_b约去所有公因子。

从基本原理来看，在特定频率（对于本例为r_a）下的衰减率在两个分量返回情况中可由下式建模：

$t_a=\frac{|1+{\mathrm{be}}^{{\mathrm{j\θr}}_a}|}{1+b}$

由此，利用余弦定理可以确定

$1+b^2+2b\cos \left(r_a\mathrm{\θ}\right)=t_a^2{(1+b)}^2$

通过结合用于在不同频率（r_a和r_b）下的两个测量的方程[0056]并利用切比雪夫多项式改写θ的余弦，可以发现：

(1-t_b).T_ra(cos(θ))-(1-t_a).T_rb(cos(θ))+(t_a+t_b).(t_b-t_a)=0

在其中r_a=1且r_b=2（即，2:1的相对频率比）的实施例中并且利用合适的闭型反演公式（对于2:1的比率，该公式为二次公式），通过下式计算θ：

$\mathrm{\θ}=\±\arccos (-\frac{(1+t_b^2-2t_a^2)}{2(1-2t_a^2)})$

其中：±代表加或减。由于反余弦函数的性质，在正负号中存在固有的模糊性。

在一些实施中，当t_a逼近1，θ可以假定为0。其它实施方式可通过将t_a和t_b明确地约束为小于1而限制噪声的影响。

在该实施例中，通过求解方程[0056]的重组来计算b。

$b^2-\frac{b.(2\left(\cos \left(r_a\mathrm{\θ}\right)\right)-2{t_a}^2)}{t_a^2-1}+1=0$

因此，b为：

$b=\frac{t_a^2-\cos \mathrm{\θ}\±\sqrt{(1-\cos \mathrm{\θ}).(2t_a^2-\cos \mathrm{\θ}-1)}}{(1-t_a^2)}$

给定θ和b，在r_a的相对频率下的归一化候选解元组可通过下式计算：

$(\frac{1}{1+b.e^{j.\mathrm{\θ}.r_a}},\frac{b.e^{j.\mathrm{\θ}.r_a}}{1+b.e^{j.\mathrm{\θ}.r_a}})$

其中： $j=\sqrt{-1}.$

由于θ的正负号的模糊性，可存在多个可能的候选解元组。根据该实施例，或者可以输出候选解元组两者，或者可以确定一个为正确的——这样的判断的方法的一个实施例在Godbaz等人公开为临时专利No.61/400,616的附录A的第1.8节中给出，该文献全文以参见的方式纳入本文。在另一个实施例中，可接着用测量A在模量和相位两方面对每个候选解元组进去去归一化，以得到最终输出元组。每个最终输出元组提供了两个分量返回的距离和强度。在其它实施例中，解元组可以在1的相对频率下产生，用测量A去归一化，然后被2.π.m/r_a相移，其中m为整数。在一些实施例中，m可由该解元组与测量B的关系来确定。在一些实施例中，测量A和测量B可以在以上所述算法中互换。

图1示出了根据一个实施例的可用于本发明的采用单个光源的距离成像器的框图。图1仅以举例方式提供，各种实施例可以包括或可以不包括图中所示元件中的一些或全部。图1的距离成像器在下文中和在Conroy等人在临时申请No.61/400,616的附录B中公开的“Range Imager Performance Comparisonin Homodyne and Heterodyne Operating Modes(零差和外差操作模式中的距离成像器性能比较)”中更详细地描述，该文献全文以参见的方式纳入本文。此外，本发明不限于图1的距离成像器并且可以在本领域已知的任何其它距离成像器中使用。

图1所示距离成像器包括光子混合装置(“PMD”)传感器以用于对场景内的每个采样/积分区域内的信号返回的空间傅立叶变换进行采样，并且PMD传感器可通过现场可编程门阵列(“FPGA”)进行控制。PC接口可用于系统控制和数据传送。传感器控制和读出信号可直接接合到FPGA，并且可以使用附加的外部电路来驱动像素调制时钟并将模拟像素输出转换为数字域。如本文所用，“采样区域”、“积分区域”和“像素”可互换使用，并且就本申请的目的而言可被视为同义的。

FPGA可执行两个主要功能。首先，它生成所有必要的信号以驱动PMD传感器和从模数转换器(“ADC”)读回数据，其次，它在系统和PC之间提供控制和数据路径接口。FPGA固件的其它功能可以是在系统和PC之间提供通信接口。可以使用简单的命令协议，以便发出基本指令并对来自PC的各种寄存器或设置进行编程。在一些实施例中，每个命令由单个字母字符构成以识别指令，其后为任何所需的自变量。关键命令可包括设置运行模式（外差或零差）、积分时间、要捕获的帧数和所关注的区域以及用于启动捕获或读取测量的数据的指令。在PC侧，基本的Matlab软件界面可以被写入以发出这些命令和适当地管理数据收集。Matlab也可用于所有数据处理和分析。然而，可以使用任何合适的软件或编程语言。

在一些实施例中，信号发生器以已知的可调整频率输出两个信号，在这两个信号之间具有指定的相位关系。一个信号可用来调制一排LED，但可以使用能在高频率下被调制的任何照明源，包括例如激光器。第二信号用来调制PMD传感器。PMD传感器对在场景中的对象反射/反向散射的激光调制信号与传感器调制信号在不同相位关系下的相关性进行采样——也被称为相关波形。在实践中，该波形可被环境光偏移。在零差模式下，每个积分周期在两个调制信号之间具有固定的相位关系；在外差模式下，相位关系在积分周期期间变化。

在每个积分周期之后，PMD传感器被读出，并且帧数据被传递到PC。在一些实施例中，可存在来自每个帧的数据的附加中间缓冲、中间处理或任何其它等同实施方式。

在一个实施例中，在特定调制频率下由信号发生器进行测量，从而输出在相同的制定调制频率下的两个信号。进行一系列帧捕获，其中用于每次捕获的两个信号之间具有不同的相位关系，通常在0至2π的范围内等间距。根据对应于每个像素的离散傅立叶变换的相关波形（但在一些实施例中可以使用相关波形的谐波）的基频的面元与帧捕获数的关系，为传感器中的每个像素计算标准的非零调制频率距离测量。总积分强度的测量可通过对帧捕获数范围内的一系列帧捕获求和来捕获。在相关波形中环境偏移的测量可通过在主动照明关闭的情况下捕获帧或一系列帧而估计。

在一些实施例中，可由距离成像器在不同的已知非零调制频率下进行两个测量。存在多种方式可用来捕获这些相关的距离图像，例如，在不同调制频率下的前后紧随的两个单独的捕获，或者两个测量均立即使用AMCW相关波形中的谐波进行（例如，通过将激光器和增强器调制的占空比减小至25%），或者在积分周期期间的每个调制频率之间交替并在五个或更多个帧内对其进行编码。在其它实施例中，这些方法可以扩展至三个或更多个测量的情况。

在特定调制频率下的测量可用在另一个频率下的另一个测量在相位或大小或两者的方面归一化。相对调制频率是缩放的调制频率，以便从所有非零调制频率中消去所有整数公因子。例如，我们可以假设存在相对调制频率r₁下的测量p₁∈C，我们希望在相对调制频率r₀下通过测量p₀∈C将前一测量归一化。虽然在给出的示例中，大小和相位归一化均相对于相同的测量，但可以相对于一个测量进行大小归一化，而相对于另一个测量进行相位归一化。归一化的值可以记为x₁∈C。对于对应的去归一化来说，输入值为y∈C，并且输出为z∈C，同样要求用于归一化的相同值(p₁∈C)。从查找表或模型(y)输出的值和来自算法(z)的最终输出均在相对频率r_LUT下。归一化、去归一化和LUT映射操作在第[0080]至[0113]段中以数学方式表示。

下列方程可以以笛卡尔形式或任何其它数学上等价的表示法来表示或求值，但为了清楚起见，我们以极坐标形式的约束形式来表示归一化/去归一化。如果采用了复数的相位，则其也可以被归一化/去归一化，而不需要明确地转换回复数。对于模量也同样如此。

仅大小归一化（极坐标形式）：

$\left|x_1\right|=\frac{\left|p_1\right|}{\left|p_0\right|}$

Arg(x₁)=Arg(p₁)

仅大小去归一化（极坐标形式）：

|z|=|y|p₀|

Arg(z)=Arg(y)

仅相位归一化（极坐标形式）：

|x₁|=|p₁|

$\mathrm{Arg}\left(x_1\right)=\mathrm{Arg}\left(p_1\right)-\frac{r_1}{r_0}\mathrm{Arg}\left(p_0\right)$

仅相位去归一化（极坐标形式）：

|z|=|y|

$\mathrm{Arg}\left(z\right)=\mathrm{Arg}\left(y\right)+\frac{r_{\mathrm{LUT}}}{r_0}\mathrm{Arg}\left(p_0\right)$

对相位和大小两者归一化（极坐标形式）：

$\left|x_1\right|=\frac{\left|p_1\right|}{\left|p_0\right|}$

$\mathrm{Arg}\left(x_1\right)=\mathrm{Arg}\left(p_1\right)-\frac{r_1}{r_0}\mathrm{Arg}\left(p_0\right)$

对相位和大小两者去归一化（极坐标形式）：

|z|=|y||p₀|

$\mathrm{Arg}\left(z\right)=\mathrm{Arg}\left(y\right)+\frac{r_{\mathrm{LUT}}}{r_0}\mathrm{Arg}\left(p_0\right)$

可使用归一化的测量的全部或子集来生成索引值。索引值可以是由输入归一化测量或归一化的输入测量的完整副本的任何数学变换产生的（可能为复数的）标量或矢量。索引值可以被直接传递到函数或模型，或者被用于使用附加的数学变换来指定LUT中的位置或LUT中的多个位置。

例如，如果存在在不同调制频率下的两个测量p₁和p₀，则p₁已在相位和大小方面用p₀归一化以产生x₁，并且υ被定义为索引值。用其自身对p₀归一化得到x₀=1，该式没有信息内容，因此提供了维数减少。可以使用尺度函数H(w)，从而归一化的大小的无限域化简为适合在查找表中使用的有限范围。或者，也可以将极值去掉。以下范例尺度函数将复数的大小从[0,∞]映射到[0,2]：

$H\left(w\right)=\frac{2w}{\mathrm{\π}\left|w\right|}(\mathrm{\π}-{\tan }^{-1}\left(2\right|w|,{\left|w\right|}^2-1))$

存在许多不同的方式可用来计算在该特定情况下的查找表的索引——包括但不限于以下变换：

变换1（缩放的笛卡尔，参见图3）：

变换2（缩放的极坐标）：

υ=(H(|x₁|),Arg(x₁))

变换3（复对数－极值被去掉）：

以下两个LUT变换/映射可以表示在单个平滑流形上的两个分量返回而没有连接表，从而允许更简单的插值方案。对于一些实施方式来说，通过从对应于计算的索引值的LUT单元取出计算的分量返回和从对应于计算的索引值加偏移的LUT单元取出计算的第二测量来形成解元组。举例来说，参见图4和在第[0115]段中对图4的说明。映射最适合2:1和3:1的比率，其中在相位和强度方面用最低频率测量对最高频率测量归一化，从而仅给出单个候选解和单个分支点（参见图3和第[0115]段）。在相位和强度方面用1以上的相对频率（假设在相对频率之间没有公因子）进行归一化在LUT中产生不止一个分支点，使得难以围绕分支点展开。

变换4（缩放的极坐标，偏移/转换的极坐标映射，参见图4）：

υ=(H(|x₁-1|),Arg(x₁-1))

变换5（复对数，偏移的－极值被去掉）：

图2展示了使用第[0031]段的实施例的示例性恢复和缩放的笛卡尔LUT映射。在本发明的该实施例中，在具有2:1的比率的两个频率下进行测量，并且在每个像素内恢复直至两个分量返回/对象的距离和强度。图2.1和2.2给出了初始场景的主动强度和距离测量，其具有来自散射光的微不足道的混合像素。强度用从黑（零）到白（最亮）的等级表示，并且相位使用变化的色调表示。添加非常亮的框（参见图2.3和2.4）导致来自亮框的光在整个场景上被散射。由于该框比原始场景亮若干倍，原始场景在强度图像中不可见。在距离图像中，即使大部分原始场景未被框模糊化，距离测量也由于通过AMCW测距仪的光学器件而从前方的对象散射的光所造成的混合像素/多路径而改变。来自前方对象的光因此构成第二分量返回。通过在两倍调制频率下进行另一个测量并且应用本文所述算法，得到图2.5-2.8。相位图像中的青色表示微不足道地小或不可检测的第二返回，通常是由于原始场景中具有低反射率的点所导致。该算法成功地恢复了由亮框（紫色相位）散射到原始场景的光和原始场景（绿至黄）。应当注意，在一些区域中，根椐原始场景的反射率，来自框的散射光事实上比来自原始场景的光更亮。

图3示出了缩放的笛卡尔布局在2:1的相对频率下的相位和强度。两个分量返回形成单个连续流形的一部分，并且为了能够在每个点处进行正确的插值，有必要具有指定将哪个分量返回用于表中的每个位置的连接表。在相位和大小方面用在1的相对频率下的测量归一化的在2的相对频率下的测量由χ表示，图4使用相同的约定。在图3中，对于特定索引值来说，存在用于每个分量返回的表，以允许使用插值法计算解元组。图4示出了在2:1的相对频率下转换的极坐标映射的相位和强度。这是一种表示包含在来自图3的LUT中的相同信息的不同方式。通过围绕在χ=1处的分支点展开，在相同的连续流形上表示两个分量返回，而没有需要使用连接表的切割。这意味着对于特定索引值来说，第一返回对应于LUT中在索引值处的值，而第二分量返回对应于LUT中在索引值处在展开的相位维度（图4中的x轴线，但在第[0111]段中为第二维度）中具有2π偏移的值。换言之，转换的极坐标映射的角度/展开的相位分量扩展到一个分量返回，然后扩展到另一个，从而构成在尺寸上的表4π的展开的相位维度。从连通性角度来看，展开的相位形成环路。在图4中，y轴线使用任意尺度函数来标定，但为清楚起见使用非投影值来标记。

本发明的优选实施例包括在第[0031]段中描述的在2:1的频率比下使用用于LUT的极坐标转换的映射的方法，如在第[0099]至[0113]段、第[0115]段中说明和图4中示出的。距离成像器进行两个复数域测量，每个频率一个，该测量通过算法处理并输出两个复数域值。为了生成索引值，在相位和强度方面用最低频率测量对最高频率测量归一化。对于由两个分量返回组成的每个混合像素来说，输出值各自对应于像素/积分区域内的分量返回的距离和主动强度。

详细描述已结合在全场系统中单个像素的处理描述了各种实施例，但也可应用于其它应用中，例如来自点扫描系统的单个点样本。此外，本文所述算法可通过硬件（例如FPGA）或软件来实现。另外，本文所述处理器可以是通用计算机/PC、微控制器、ASIC或任何相同等同工具。

虽然已结合附图充分描述了本发明的实施例，但应当指出，各种变化和修改对于本领域的技术人员将变得显而易见。这样的变化和修改将被理解为包括在如所附权利要求限定的本发明的实施例的范围内。

Claims (20)

1.一种用于测量至少一个对象的强度和距离特性中的至少一个的设备，包括：

信号源，所述信号源可操作地以一个或多个频率发射至少第一和第二调制信号；

照明器，所述照明器可操作地通过所述第一调制信号照亮所述至少一个对象，其中，所述第一调制信号从所述至少一个对象反向散射以形成第一反向散射信号；

传感器，所述传感器包括至少一个像素，其中所述传感器可操作地通过对所述第一反向散射信号与在所述至少一个像素内的所述第二调制信号的相关性进行采样来形成采样的相关信号；以及

处理器，所述处理器可操作地通过使用一个或多个测量比较采样的相关信号来确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个，其中所述一个或多个测量包括具有选自以下组群构成的一个或多个特性的第一和第二调制信号：

(a)两个或更多个调制频率，

(b)第一一个或多个不同的调制频率和相关波形的偏移，和

(c)第二一个或多个不同的调制频率以及选自信号返回的零空间频率与距离的关系和所述信号返回的零空间频率的逼近与距离的关系构成的组群中的一个。

2.根据权利要求1所述的设备，其特征在于，所述处理器进一步可操作地以具有整数比频率比的调制频率使用两个或更多个测量来确定在所述至少一个像素内的两个或更多个分量返回的距离和强度特性中的至少一个。

3.根据权利要求1所述的设备，其特征在于，所述处理器进一步可操作地以非零调制频率使用所述一个或多个第一测量来确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个以及选自零频率的测量、所述零频率的测量的逼近和所述零频率的测量的当量构成的组群中的一个。

4.根据权利要求1所述的设备，其特征在于，所述处理器进一步可操作地在相位和大小中的至少一个方面用一个或多个第二测量对所述一个或多个第一测量进行归一化。

5.根据权利要求4所述的设备，其特征在于，所述处理器进一步可操作地通过将所述一个或多个归一化测量应用到选自参考数据矩阵、数学模型和函数构成的组群中的一个来计算参考值。

6.根据权利要求5所述的设备，其特征在于，所述处理器进一步可操作地通过用在相位和大小中的至少一个方面的所述一个或多个第二测量对所述参考值去归一化而生成解元组。

7.根据权利要求6所述的设备，其特征在于，所述处理器进一步可操作地基于所述去归一化的测量、所述解元组和所述参考值中的至少一个来提供在所述至少一个像素内的一个或多个分量返回的距离和强度中的至少一个的逼近。

8.根据权利要求4所述的设备，

其特征在于，所述一个或多个第一测量包括在第一非零调制频率下的调制信号，并且所述第二一个或多个测量包括在第二非零调制频率下的调制信号，其中，所述第一和第二调制频率具有整数比频率比，

其中，所述处理器进一步可操作地通过用在所述第二非零调制频率下的所述调制信号的所述第二测量对在所述第一非零调制频率下的所述调制信号的所述第一测量在相位和幅度方面进行归一化来计算索引值，

其中，所述处理器进一步可操作地通过将所述索引值应用到参考数据矩阵来计算参考值，并且

其中，所述处理器进一步可操作地通过用在所述第二非零调制频率下的所述调制信号的所述第二测量对所述参考值在相位和大小方面进行去归一化来计算所述一个或多个分量返回的距离和强度中的至少一个。

9.根据权利要求1所述的设备，

其特征在于，所述传感器可操作地在具有不同整数比频率比的不同调制频率下进行多次测量，并且

其中，所述传感器用来解一组形式为

的联立多项式方程，其中，p_n为在不同相对频率r_n下进行的复数域测量n，M为分量返回的总数，m为当前返回，a_m编码分量返回m的强度，arg(v_m)编码分量返回m的相位，并且|v_m|编码关于分量返回在距离内的分布的信息。

10.根据权利要求1所述的设备，

其特征在于，所述一个或多个第一测量包括在第一非零调制频率下的调制信号，并且所述一个或多个第二测量包括选自下列构成的组群中的一个：(1)总积分强度，(2)所述总积分强度减去来自环境光的贡献，(3)所述信号返回的零空间频率，(4)在很低调制频率下的调制信号，和(5)所述总积分强度的当量，

其中，所述处理器进一步可操作地通过用一个或多个第二测量的模量对所述一个或多个第一测量的模量进行归一化来计算索引值，

其中，所述处理器进一步可操作地通过将所述索引值应用到选自参考数据矩阵、数学函数和算子构成的组群中的一个来计算参考值，并且

其中，所述处理器进一步可操作地使用所述参考值计算选自下列构成的组群中的至少一个：关于在所述至少一个像素内的最亮分量返回的相位扰动的边界、在所述至少一个像素内的一个或多个分量返回的相位、在所述至少一个像素内的一个或多个分量返回之间的相位关系、在所述至少一个像素内的一个或多个分量返回之间的强度关系、在所述至少一个像素内的一个或多个分量返回的强度、以及在所述至少一个像素内的分量返回的混合程度的指示。

11.根据权利要求1所述的设备，

其特征在于，所述一个或多个第一测量包括在相对频率2下的调制信号，并且所述一个或多个第二测量包括在相对频率1下的调制信号，

其中，所述处理器进一步可操作地计算下列中的至少一个：(1)通过用所述一个或多个第二测量在相位和强度方面对所述一个或多个第一测量进行去归一化来计算值χ，(2)通过用所述一个或多个第二测量在相位和强度方面对χ-1进行归一化来计算值χ_B，并且

其中，所述处理器进一步可操作地使用|χ_B|、arg(χ_B)、|χ-1|、arg(χ-1)、|χ|和arg(χ)中的一个或多个的函数来计算下列中的至少一个：(1)关于在所述至少一个像素内的一个或多个分量返回的绝对相位的至少一个的边界、在所述至少一个像素内的一个或多个分量返回的相对相位、在所述至少一个像素内的一个或多个分量返回的强度、和在所述至少一个像素内的一个或多个分量返回的相对强度并且(2)计算在所述至少一个像素内的混合程度的指示。

12.根据权利要求1所述的设备，其特征在于，所述设备还包括调幅连续波距离成像系统。

13.一种用于测量至少一个对象的强度和距离特性中的至少一个的方法，包括：

以一个或多个频率发射至少第一和第二调制信号；

通过所述第一调制信号照亮所述至少一个对象，其中，所述第一调制信号从所述至少一个对象反向散射以形成第一反向散射信号；

通过对所述第一反向散射信号与至少一个像素内的所述第二调制信号的相关性进行采样来形成采样的相关信号；以及

通过使用一个或多个测量比较采样的相关信号来确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个，其中所述一个或多个测量包括具有选自以下构成的组群中的一个或多个特性的第一和第二调制信号：

(a)两个或更多个不同的调制频率，

(b)第一一个或多个不同的调制频率和相关波形的偏移，和

(c)第二一个或多个不同的调制频率以及选自信号返回的零空间频率与距离的关系和所述信号返回的零空间频率的逼近与距离的关系构成的组群中的一个。

14.根据权利要求13所述的方法，其特征在于，确定在所述至少一个像素内的两个或更多个分量返回的距离和强度特性中的至少一个还包括以具有整数比频率比的调制频率进行两个或更多个测量。

15.根据权利要求13所述的方法，其特征在于，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括以非零调制频率进行所述一个或多个第一测量以及选自零频率的测量、所述零频率的测量的逼近和所述零频率的测量的当量构成的组群中的一个。

16.根据权利要求13所述的方法，其特征在于，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括用一个或多个第二测量在相位和大小中的至少一个方面对所述一个或多个第一测量进行归一化。

17.根据权利要求16所述的方法，其特征在于，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括通过将所述一个或多个归一化测量应用到选自参考数据矩阵、数学模型和函数构成的组群中的一个来计算参考值。

18.根据权利要求17所述的方法，其特征在于，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括通过用所述一个或多个第二测量在相位和大小中的至少一个方面对所述参考值进行去归一化来生成解元组。

19.根据权利要求18所述的设备，其特征在于，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括基于所述去归一化的测量、所述解元组和所述参考值中的至少一个提供在所述至少一个像素内的一个或多个分量返回的距离和强度中的至少一个的逼近。

20.根据权利要求16所述的设备，

其特征在于，所述一个或多个第一测量包括在第一非零调制频率下的调制信号，并且所述第二一个或多个测量包括在第二非零调制频率下的调制信号，其中，所述第一和第二调制频率具有整数比频率比，

其中，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括通过用在所述第二非零调制频率下的所述调制信号的所述第二测量在相位和幅度方面对在所述第一非零调制频率下的所述调制信号的所述第一测量进行归一化来计算索引值，

其中，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括通过将所述索引值应用到参考数据矩阵来计算参考值，并且

其中，确定在所述至少一个像素内的一个或多个分量返回的距离和强度特性中的至少一个还包括用在所述第二非零调制频率下的所述调制信号的所述第二测量在相位和大小方面对所述参考值进行去归一化。

Images