CN104137150A - 测距成像中的运动补偿 - Google Patents

Abstract

在不增加获取速度或降低距离测定的总体质量的情况下，通过识别场景中的运动物体并确定物体的速度和方向来校正测距照相机中的运动模糊的方法和设备。

Description

测距成像中的运动补偿

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求2011年8月29日提交的、题目为“Motion Compensation in Range Imaging”的美国临时专利申请No.61/528,655以及2011年7月4日提交的、题目为“Motion Compensation inRange Imaging”的美国临时专利申请No.61/504,244的权益，出于所有目的，其内容通过引用全部并入本文。

技术领域

本发明总体涉及补偿测距成像期间的运动的方法和装置。

背景技术

测距照相机，也称为测距成像照相机、测距成像系统及测距设备，测定要成像场景中物体的距离和强度。测距照相机用在各种应用中来测定物体与照相机之间的距离。尽管典型的测距照相机能够精确测定到静止物体的距离，但是也不能精确测定到运动物体的距离，原因是测距照相机是基于以下假设操作的，即在场景相关反射光的几次抽样的每一次中，从场景中的特定位置接收的信号数据从位于与照相机相同距离的相同物体反射到照相机。当物体在成像期间移动时，该假设无效且会出现错误。

测定到运动物体的距离存在的困难是典型的测距照相机的基本操作的结果。测距照相机通常使用调幅连续波（“AMCW”）技术来测定照相机与物体之间的距离。使用AMCW技术的照相机使用光源来发射强度调制照明信号以照亮要成像的场景。然后通过场景内的物体将该信号反射回测距照相机。因为反射信号在信号传播离开以及返回照相机时滑出与发射的信号不同相，所以反射光的多个图像由专门的传感器芯片捕获以记录所设定的时间段的相位差。处理器然后用于将多个图像进行相互比较并与发射的强度调制照明信号进行比较以测定光强度调制时的相位变化。然后对相位变化进行分析以测定对象与测距照相机之间的距离，并测定物体的尺寸、形状和位置。

图1示出了典型测距照相机的简化版本。如图1所示，典型AMCW测距照相机100可以包括朝要成像的场景发射强度调制照明信号的信号传送设备101以及使用发射信号的从场景内的物体反射回系统100的部分捕获图像的图像传感器102。处理器103然后将发射信号与捕获图像进行比较以测定捕获图像中每个像素的强度和相移。通过这样做，处理器能够测定场景中的物体距系统100的距离。系统100任选可以包含控制系统100的输入设备104、显示器105及存储器106；或这些设备104，105及106可以呈由接口电缆连接的独立计算机系统的形式。这些设备可以选自用于执行这些功能的任意已知设备。

存在许多已知的调制信号传送设备101和图像传感器102的方式。例如，信号传送设备101可以简单地是非常快速循环启动和停止的光源，同时图像传感器102可以使用高速快门或通过控制图像传感器102的增益或灵敏度来调制。处理器103还可以包括信号生成器，或类似设备，以帮助调制信号传送设备101和图像传感器102。然而，还可以单独提供信号生成器。

图2是上文中参照图1描述的标准测距照相机的功能图。如图2所示，从信号传送设备101发射的照明信号的强度调制包络线以正弦波的形状示出（虽然也可以通过方波调制）。然后从成像的场景内的各个物体21，22及23反射信号。如图2所示，反射回图像传感器102的光将基于反射光的物体21，22及23的相对距离来传播不同距离。这将会导致基于所传播的距离对具有不同相位的接收光进行调制。虽然图2中未示出，但波形的振幅也可以基于所传播的距离和物体的表面散射特性来改变。

发明内容

描述了在不增加获取速度的情况下且在不降低距离测定的总体质量的情况下，校正测距照相机中的运动模糊的方法和设备。方法和设备设计来识别场景中的运动物体，并测定物体的速度和方向。在某些实施例中，跟踪和/或预测物体在场景中的运动。该信息在某些应用中（比如手势识别应用中）比在距离测定本身中更有用。

示例性实施例包括一种测定测距成像设备与至少一个运动物体之间的距离的方法，所述方法包括：在图像传感器处获取与包含使用编码曝光的至少一个运动物体的场景有关的相位阶跃（step，步长）测距图像数据，所述相位阶跃测距图像数据包括第一相位阶跃图像和至少第二相位阶跃图像；使用处理器计算图像传感器与至少一个运动物体之间的距离的初始估计值，以及至少一个运动物体的亮度的初始估计值，其中估计值基于所获取的相位阶跃测距图像数据；基于以下各项计算运动物体的光流：i）图像传感器与至少一个运动物体之间的距离的初始估计值；ii）至少一个运动物体的亮度的初始估计值；iii）第一相位阶跃图像；以及iv）第二相位阶跃图像；通过向相位阶跃测距图像数据施加反演的（inverted，反转的，逆）编码曝光校正所计算的光流来生成运动校正的图像数据；以及基于校正图像数据来计算图像传感器与至少一个运动物体之间的距离。

根据方法的应用，编码曝光优选可以包括正弦函数或方波；图像传感器与至少一个运动物体之间的距离的初始估计值可以是双相估计值，并且可以使用线性逼近来计算光流。该方法还可以包括使用调幅连续波信号来照亮场景。

替代实施例可以包括一种测定测距成像照相机与多个运动物体之间的距离的方法，所述方法包括：在图像传感器处使用编码曝光来捕获原始序列数据，原始序列图像数据包括具有运动物体的场景的多个连续相位阶跃图像；在处理器处接收原始序列图像数据；估计测距成像照相机与每个运动物体之间的距离的双相估计值；使用连续相位阶跃图像来生成运动掩模以识别包括与运动物体有关的图像数据的原始序列图像数据中的区域；使用运动掩模来分割原始图像数据以隔离与每个运动物体对应的原始图像数据的区域；基于双相估计值和物体分割来测定每个运动物体的光流；计算每个运动物体的光流的大小和方向；基于所计算的每个运动物体的光流的大小和方向来旋转并缩放连续相位阶跃图像；使旋转和缩放的连续相位阶跃图像运动反演以补偿运动物体的运动；对连续相位阶跃图像的旋转和缩放反操作（reverse，反转）以生成运动校正的连续相位阶跃图像；使用编码曝光来解码运动校正的连续相位阶跃图像以生成运动校正的相位阶跃序列；以及基于运动校正的相位阶跃序列来计算测距成像照相机与每个运动物体之间的距离。

该方法可以进一步包括使用图像传感器（比如CMOS传感器）来捕获原始序列图像数据。另外，双相估计值可以包括多个像素的每一个的估计距离和/或亮度数据。光流可以用多个矢量表示，多个矢量的每一个都与多个像素之一相关联。光流可以使用线性逼近来测定。

根据方法的应用，编码曝光优选可以包括正弦函数或方波。同样，场景可以使用信号生成器调制的照明信号来照亮。另外，计算测距成像照相机与每个运动物体之间的距离可以包括针对运动校正的相位阶跃序列中的每个像素解码距离。

替代实施例可以包括一种测距成像照相机，包括：使用调制照明信号来照亮场景的照明源；使用编码曝光来从照明的场景捕获原始序列图像数据的图像传感器，其中图像传感器配置为捕获从照亮的场景中的至少一个运动物体反射的调制照明信号的至少一部分；以及处理原始序列图像数据以校正所捕获的原始序列图像数据中的运动的处理器，其中处理器配置为执行以下操作：基于原始序列图像数据来计算测距成像照相机与运动物体之间的距离的双相估计值；基于原始序列图像数据来生成运动掩模以识别包括与运动物体有关的图像数据的原始序列图像数据中的区域；基于运动掩模来分割原始序列图像数据以隔离与运动物体对应的原始序列图像数据的区域；基于双相估计值和分割的原始序列图像数据来测定运动物体的光流；计算运动物体的光流的大小和方向；基于所计算的运动物体的光流的大小和方向来旋转并缩放原始序列图像数据；使旋转和缩放的原始序列图像数据运动反演以补偿运动物体的运动；对原始序列图像数据的旋转和缩放反操作以生成运动校正序列图像数据；使用编码曝光来解码运动校正的序列图像数据以生成解码的运动校正的序列图像数据；以及基于解码的运动校正的序列图像数据来计算测距成像照相机与运动物体之间的距离。

根据各种实施例，照明信号可以用调幅连续波进行调制；图像传感器可以是CMOS传感器；编码曝光可以包括方波或正弦波；图像传感器可以将原始序列图像数据传输至处理器；图像传感器可以包括像素阵列；双相估计值可以包括多个像素的每一个的估计距离数据；双相估计值可以包括多个像素的每一个的估计亮度数据；光流可以用多个矢量表示，多个矢量的每一个都与多个像素之一相关联；测定光流可以包括线性逼近；并且计算测距成像照相机与运动物体之间的距离可以包括解码所解码的运动校正的序列图像数据中的每个像素的距离。

附图说明

图1描述了标准成像设备的示意图。

图2描述了上文中参照图1描述的标准测距照相机的简化功能图。

图3描述了根据各种实施例的运动补偿方法的框图。

图4描述了像素中运动对相位阶跃测量的影响的模拟实例。

图5a-5c描述了测距相位、有源振幅以及使用典型方法和编码曝光（CE）的示例性测量的模拟。

图6描述了来自交织CE AMCW测量的双相估计值的实例。

图7描述了运动掩模图像的实例。

图8描述了物体和对应矢量的假定线性运动的实例。

图9描述了光流和直线拟合的实例。

图10描述了相位序列上的光流的最终估计值。

图11描述了比较输入相位阶跃序列和运动校正方程的结果的实例。

图12描述了具有与运动区中的静态区域对应的间隙的重建的相位和振幅。

图13描述了在运动校正之前和之后的测距相位和振幅的示例性图像。

图14描述了双相阶跃振幅图像的三个实例。

图15描述了根据各个实施例的比较运动校正之前和之后的图像之间的相位百分比误差和振幅百分比误差的模拟结果。

图16描述了比较使用先前已知的运动校正方法进行的运动校正之前和之后的图像之间的相位百分比误差和振幅百分比误差的模拟结果。

图17描述了在所公开的运动校正方法的不同阶段在场景下运动的列车的各个图像。

图18描述了在所公开的运动校正方法的不同阶段在场景下并朝向场景运动的瓶子的各个图像。

图19描述了在所公开的运动校正方法的不同阶段沿不同方向在场景下运动的两只手的各个图像。

具体实施方式

描述了校正成像场景中的运动以便对测距照相机与一个或多个运动物体之间的距离进行精确测定的方法和设备。典型测距照相机基于物体在每次相位阶跃测量中处于相同位置的假设进行操作。当该假设由于物体在连续的相位阶跃中在不同位置成像而是错误的时，照相机不能精确测定到物体的距离。相反，下面描述的方法和设备隔离与运动物体有关的数据，以便估计每个物体运动的速度和方向，通过以数学的方式将每个物体“移回”其开始位置来校正几个连续图像，并确定到开始位置的每个物体的距离。

校正运动模糊并计算到运动物体的距离的处理的实例如图3所示。该处理包括（1）接收原始序列；（2）估计双相估计值（Two Phase Estimate）；（3）生成初始运动掩模（Initial Motion Mask）；（4）分割原始图像数据；（5）测定光流（Optical Flow）；（6）计算光流的大小和方向；（7）旋转并缩放相位阶跃图像（Phase Step Image）；（8）使旋转和缩放的相位阶跃图像运动反演（Motion Inverting）；（9）对旋转和缩放反操作（Reversing）；（10）解码运动校正图像；以及（11）计算测距。下面将详细描述这些区块。

在校正运动模糊之前，可能必须生成要校正的原始序列数据。该数据通常使用发射通过调制信号传送设备生成的调制照明信号的AMCW测距照相机来生成。该调制信号在已知的时间离开测距照相机。调制信号在被照相机前方的物体部分反射回测距照相机之前，按已知的速度远离照相机传播。（测距照相机的观察区域，以及其中的物体，在本文中被称为场景。）反射光然后聚集在通常包括像素阵列的图像传感器上，该反射光在此处被捕获。图像传感器通常使用用于调制信号传送设备的相同信号来调制。该处理被称为零差AMCW（homodyne AMCW）。可选地，可以按照不同频率来调制驱动图像传感器和光源的信号。这被称为外差AMCW（heterodyneAMCW）。测距照相机然后可以比较调制照明信号的相位与所捕获的图像的相位以测定信号在被发射与被捕获之间传播的距离。

在实践中，人们发现一个以上的捕获图像对获得准确结果来说可能是必须的。因此，在典型测距照相机中，图像传感器捕获场景的四个或四个以上图像以便更准确地测定照相机与成像场景中的各物体之间的距离。无论图像以什么样的格式捕获，这些图像都可以被称为指示未对图像进行处理的“原始”图像。测距照相机使用连续的原始图像数据来比较图像传感器的像素阵列中的每个像素处的相移以测定到物体的在像素上成像的部分的距离。处理后的图像数据通常被称为测距图像帧，或简称帧。

通过假设光源按频率f来进行调幅（在理想情况下根据正弦调幅轮廓（profile）或方波调制简表（profile）），并且传感器按相同频率但相位偏移θ来调制，可以对该处理建模。在传感器处测量的光强度然后可以被建模为：

其中：c是光速；x是像素坐标；A是有效亮度（且正比于返回光的强度、物体反射率及积分时间）；B是由背景光造成的附加偏移。术语B还可以接收由传感器和源信号振幅造成的一些贡献值。由光传播导致的相位值在本文中被称为测距相位，而用于θ的相位偏移值被称为相位阶跃值。I(x,θ)的值被称为由其对θ的依赖造成的相位阶跃图像。

反射信号数据由图像传感器反复收集，并且对于每次重复进行收集来说，θ在集合中变为N个不同值中的一个，甚至在步骤中从0到2π之间重复，以便编码从测距照相机至以可逆的方式反射照明信号的物体的距离。测距编码数据然后通过针对θ来计算I(x,θ)上的N点离散傅里叶变换的一阶bin来进行分析。从所计算的一阶傅里叶bin的相位中恢复相位φ（并因此恢复距离d）。有效亮度A是对应的振幅。

运动的数学建模

成像物体的运动的效应可以通过引入对d（作为t)）、A和B的时间依赖，以及通过卷积*和模糊核函数h产生的模糊效应来建模：

其中v是通过场景的运动速度矢量的光流矢量。卷积核h(v(x,t))是开始于每个像素和时间点(x,t)的空间变异线性元素（spatially variant linearelement），具有方向∠v(x,t)和长度为||kv(x,t)||个像素。除非有必要，省略对x和t的明确依赖是有用的（在省略时，空间和时间依赖是隐含的）。

图4描述了像素中运动对相位阶跃测量的影响的模拟实例。更具体地地，图4绘制了随着时间的推移在像素上成像的静态物体和运动物体的强度和相位阶跃指数的图表。静态物体的数据假设物体定位在离照相机合适距离处，以便诱导相位π（例如，在f=25MHz时d=3(m)）。运动物体的数据假设该物体在前四个相位阶跃上是静止的并因此诱导这些阶跃上的相位π。然后假设物体每次在第四相位阶跃与第五相位阶跃之间的时间开始移动，使得相位针对最后四个相位阶跃变为（π+1）。当物体使用标准技术进行解码时，测定静态物体具有测距相位π，而测定在这种特定情况下的运动物体具有测距相位(π+1)/2。由除上述运动之外的运动诱导的相位，或除第四和第五之外的相位阶跃之间的距离变化，会产生不同的（也是错误的）计算测距相位。

另外，运动模糊预期出现在空间维度中的每个相位阶跃图像中，如图5a-5c的模拟所示，其描述了测距相位、有源振幅的模拟，以及使用典型方法和编码曝光（Coded Exposure，下面将详细描述）的示例性测量。图5a描述了具有前景物体（在相位图像中为较暗的方形）的场景的初始相位和振幅，该前景物体沿对角线方向从场景的左上方运动至右下方。传统上，运动模糊是由于在每个相位阶跃打开了快门，图像数据的积分，以及关闭了快门而发生的，如图5b所示。然而，尽管该实例描述了该效应是由打开并关闭快门造成的，但为了简单起见，要注意的是现在的AMCW测距照相机使用图像传感器比如CCD或CMOS设备来代替快门。这些设备产生的结果也可以类似于图5b中所示的结果。

因为普通运动模糊h是由恒定不变的正值组成的有限支撑的线性元素，因此提出了编码曝光（“CE”）的使用。CE是设计为至少部分校正运动模糊的处理。在本发明中，CE适用于将物体移回在连续相位阶跃时拍摄的图像的起始位置。因为运动物体在连续相位阶跃期间在不同像素上成像，如上所述，所以比较第一相位阶跃时的第一像素与第二相位阶跃时的第一像素会产生误差，原因是像素使两个不同的事物，即物体和背景有效成像。因此，将运动物体基本上移回在第一相位阶跃期间所处的位置是有用的，使得测距照相机能够比较在后继相位阶跃中与相同物体有关的数据。为了做到这一点，可以使用CE。CE将另一调制加入图像传感器。所添加的代码将ON和OFF（1和0）的代码应用于图像数据。

CE是用于规范运动模糊的技术，在获取图像数据时可能会发生该运动模糊。方程（2）可以用简化的形式改写为：

I=I0*h （3）

因此，可以使用傅里叶变换FT(·)和里叶逆变换IFT(·)来确定：

$I_0=\mathrm{IFT}\left(\frac{\mathrm{FT}\left(I\right)}{\mathrm{FT}\left(h\right)}\right)---\left(4\right)$

其中在傅里叶空间中按元素执行除法。当卷积核h的傅里叶变换没有0时，即当下列方程（6）中的H具有良好的条件时，方程（4）因此是有效的。

因此通过自定义实现具有目标函数的遗传算法来选择代码，该目标函数优选具有最大最小傅里叶系数绝对值、傅里叶系数绝对值的最小方差以及数量与0相同的1的代码。当使运动物体在图像捕获期间离开场景不可取时，优选选择足够长的获取时间使得代码被解析为每个代码阶跃大约为一个像素或更多。因此，对于n点代码来说，运动物体在捕获期间不应移动比n个像素少很多，但是略少是允许的。因此短代码是优选的。此代码的实例为：

h=[1,0,0,1,1,0] （5）

CE对运动模糊的影响是核呈现的形式与代码相同，选择合适代码会导致可逆模糊。当通过曝光代码来调制快门时，改变模糊图型，如图5c所示，使得编码图像中的不同区域的对比度低于不使用CE的模糊图像中的相同对比度。减小的对比度是由于快门打开比普通图像捕获更短的时间造成的。这种情况对使运动模糊可逆来说是不可取的折衷。

模糊函数h是一维元素，开始于位置x，以角度∠v定向，长度为||v||，在其他地方为0。假设运动矢量从顶部指向底部并具有1的长度（或等效地，已知∠v和||v||），并已经适当旋转并缩放图像，卷积可以用矩阵形式改写为：

I=H^TI₀ （6）

其中I₀是真正的底层图像（underlying image）数据，H是由经填充使得方程（6）在尺寸方面一致的曝光代码0构建的带状循环托普利兹矩阵（banded circulant Toeplitz matrix）。

对运动进行编码对每个相位阶跃来说不是完全相同，至少是因为除了编码曝光之外其还要使用物体平移。因此，矩阵H_k可以用于表示每个相位阶跃图像，其中：

I_k=H^T _k I_0,k,k=1...N （7）

对于第k相位阶跃，H_k是由1×N序列构建的带状循环托普利兹矩阵：

[0_(k-1)n,h,0_N-kn] （8）

其中0_m是长度为m的0的矢量，n是h的长度。序列表示H_k的第一行，h在第一行中的定位与从初始位置按照相位阶跃序列的物体运动的平移对应。因此，矩阵求逆使曝光编码反演并将图像中的物体向上平移(k-1)n个像素，条件是准确了解帧之间的运动。运动解码步骤然后将运动物体移回初始位置。

一旦生成原始序列数据，就可以使其进行校正运动模糊的处理。现在，在下文中将更详细地阐述该处理的每个步骤，及其示例性变化。

（1）接收原始序列

如上所述，输入序列可以由测距照相机在每个相位阶跃时利用曝光代码来获取。在下面讨论的实例中，假设使用八个相位阶跃，均匀间隔在0-2π之间。这些相位阶跃可以被建模为：

${\mathrm{\θ}}_k=2\mathrm{\π}\frac{k-1}{8},k=\mathrm{1,2},...,8---\left(9\right)$

曝光代码h(t)可以通过1和0的序列来限定，其中0通常对应于关闭快门，或由设备（比如CMOS传感器）执行的类似功能。不同于简单关闭快门，h(t)数据可以在处于0时使用π/2（弧度）的额外相移来获取以便根据正弦和余弦调制来几乎同时获取相位阶跃数据。

根据各种实施例，编码曝光代码可以使用以伪随机模式交替的1和0的六点序列。在1期间，根据正弦波来执行获取，而在0期间根据余弦波来执行获取。该获取产生原始正弦（Is）和余弦（Ic）数据。另外，在某些设备中，具有0或90度相位偏移的周期方波形（或类似波形）可以用来代替正弦波形和余弦波形。

另外，编码曝光可以用交织的形式在测距照相机的硬件上实现。与编码曝光技术的先前用途不同，本发明的实施例可以使用短代码（与其他应用中使用的更长代码截然相反）以便减轻运动物体在图像捕获期间进入或退出场景的影响。

（2）估计双相估计值

一旦使用编码曝光获取原始正弦（Is）和余弦（Ic）序列数据，就对场景中到物体的距离及其亮度进行初始估计。通过在第k相位阶跃时估计测距相位p_0,k来进行，如：

$p_{0,k}(x,y)={\tan }^{-1}\left(\frac{I_{s,k}}{I_{c,k}}\right)-{\mathrm{\θ}}_k---\left(10\right)$

模数—2π，关于p₀的运算对确保0≤p₀≤2π来说是必须的。类似地，有源振幅A的初始估计值可以计算为：

$A_{0,k}(x,y)=\frac{1}{2}(\frac{I_{c,k}}{\cos \left(p_{0,k}\right)}+\frac{I_{s,k}}{\sin \left(p_{0,k}\right)})---\left(11\right)$

图6中示出了初始估计值的实例，其中Is和Ic的重叠获取确保了初始估计值在相位阶跃运动伪像之间的易感性最小。然而，如图6所示，由于物体的运动被成像，可以在边缘附近看到误差，同时可能出现垂直条纹模式模糊。初始估计值非常容易受到相位线性误差的影响，这些相位线性误差可能会由于高阶谐波而发生，所述高阶谐波使相位阶跃测量不太适合理想的正弦波形。此外，p₀和A₀可能非常容易受到随机噪声的影响。不管怎样，p₀和A₀形成用于以下处理步骤的有用初始估计值。

根据进一步实施例，可以执行原始测序以适合“混合像素问题”。这可以通过按照两个或两个以上不同频率来快速交织重复以及累计的获取来完成。结果，原始序列测量将包含来自运动前景物体和背景物体的响应之和。前景和背景物体然后可以使用混合像素消歧（消歧）来分离。

另外，尽管本文中的实例使用了八个相位阶跃，但是也可以使用任意数量的相位阶跃。然而，可优选使用偶数个相位阶跃来简化下面讨论的初始运动掩模步骤。

测定双相估计值至少部分取决于原始序列数据的形式，以及后继处理步骤中使用的数据类型。因此，测定处理可以适于支持其他这些处理的变化。例如，如果原始序列经修改使得运动适合如上所述的混合像素问题，则也许没有必要执行双相估计步骤。如果光流适于对相位阶跃序列执行，或如果对光流结果执行物体分割，则该步骤同样不是必须的。

（3）生成初始运动掩模

然后使用原始序列数据的序列相位阶跃图像来生成初始运动掩模。运动掩模用于识别在整个相位阶跃序列中发生运动的位置，以便正确解码运动。另外，能够区分一个运动物体和另一个运动物体是很重要的。这可以通过识别不同运动的独立区域并生成运动掩模的对应精细化来完成。为了识别这些区域，依赖于任何双相阶跃测量的平均值可能为0的理解是有帮助的，所述测量为彼此不同相的π弧度。当删除固定模式偏移时这通常都是事实（如可以在下面描述的预处理步骤中执行）。首先，进行八次均匀间隔的相位阶跃测量，使得四对相位阶跃测量分别平均为0。（尽管该实例中使用了八次相位阶跃测量，但对可以使用的步骤的数量没有限制。）关于这些平均值的绝对值的阈值运算涉及一组四个运动掩模。该阈值可以通过孤立点检测（outlier detection）来选择，当不符合阈值的四个平均图像中的数据的峰度接近三时，这表示没有孤立点。阈值的计算可以通过检查在应用一系列阈值之后剩余的数据的峰度来自动执行。

所测试的阈值可以通过以下方程来表示：

$t=\frac{\mathrm{i\σ}}{10},i=\mathrm{1,2},...40---\left(12\right)$

其中σ是非阈值化的图像差的标准偏差。单一组合运动掩模估计值在每个像素处因此可以以四个掩模图像的二进制“或”的形式来获得。中值滤波器然后可以通过3×3视窗使用以消除杂散“ON”或“OFF”像素。泛填充运算然后可以用于封闭运动掩模中的孔。在图7的左侧图像中描述由此产生的运动掩模图像m_m。

可选地，生成初始运动掩模可以包括分割并跟踪物体，关于双相估计值输出的简单图像差，α映射，以及对光流输出的大小、Σ-△算法、期望最大化或最大似然估计进行阈值化处理。

（4）分割原始图像数据

初始运动掩模然后用于帮助分割原始图像数据以识别不同距离处的物体并测定任何运动物体在其运动期间是否可以淡化其他物体。当前景和背景中的物体相对于彼此运动时，运动区经常包括背景区域，所述背景区域在某些相位阶跃期间被前景物体遮挡。因此可优选从前景分割背景。此外，识别并隔离场景中的每个运动物体是有用的。为了分割物体，在每个相位阶跃k时检查初始测距相位图像p_0,k的直方图是有用的，如下：

·摄取p₀的直方图是，在范围[0,2π]内有100个bin。

·提取该直方图的形态学分水岭来识别峰值，所述峰值被当作特定物体的相位。

·然后识别后继直方图峰值之间的合适阈值，由此得出适用于分离不同距离的物体的阈值。

计算物体分割和运动掩模的逻辑“与”运算。优选地，选择最大物体，其中所选的物体数量由用户限定。针对第k相位阶跃中的第i物体的物体运动掩模可以表示为m_o,i,k，其中静态背景区域用i=0来识别，第一运动物体用i=1来识别，等等。最终物体运动掩模（不包括在捕获期间没有检测到运动的区域）通过逐元素运算m_mm_o,i,k来计算，如图7的右侧图像所示。

额外的实施例可以使用额外或替代分割方法，比如形态分割（高帽-低帽，分水岭等）、区域生长、自适应阈值化、期望最大化、或继阈值化之后的马尔可夫随机场。额外设备还可以使用自动化程序来确定成像场景中存在多少运动物体。

根据实施例，物体分割可以通过识别不同范围的物体来执行，通过根据初始双相估计值检查测距相位的直方图来识别不同范围的物体。形态学分水岭运算可以用于识别直方图中峰值的位置。可以使用阈值法来执行分离一组相位值与另一组相位值。当确定分割方案时，认真选择表示成像场景中的主导物体的测距相位值是有用的。

（5）测定光流

基于初始双相估计值，来测定光流估计值。基于光流和分割，可以测定物体的运动。光流是物体在场景内运动的模型且通常用在每个像素处与物体的运动有关的二维矢量表示。当解码CE时，具有通过照相机成像的物体的运动的方向和大小的精确估计值是有帮助的。使用光流来估计物体运动。更具体地，基于具有描述符匹配的图像翘曲来使用大位移光流，其中所述描述符匹配基于初始振幅估计值A_0,k来计算。这里讨论的示例性光流估计值在每个像素处通常使用二维矢量u(x,y)。该矢量包括在每个像素处成像的从一个图像帧至下一图像帧的运动位移x和y。在相位阶跃序列上期望物体大位移具有现实意义。例如，当使用八相阶跃捕获序列时，从第一帧至最后一帧的运动可以表示为7（从第一捕获至最后捕获的相位阶跃）×6（每相位阶跃的像素）=42（从第一捕获至最后捕获的像素）。大位移算法可以处理按下述相位阶跃序列期望的大小的运动。

光流估计处理还可以经由并入梯度一致性约束来使用照明效应，以便补偿包括（但不限于）从一个帧至下一帧的附加亮度变化的不变性的各种因素，比如在从一个帧至下一帧的简单振幅图像中期望产生附加效应的谐波效应。在某些实施例中，可以在不校正简单振幅图像中的照度不均的情况下达到令人满意效果并且可以依赖正规化光流估计以进行补偿。

根据各种实施例，Brox算法可以用于测定光流。然而，可以使用其他光流算法。在某些设备中，光流可以通过每个连续帧从第一帧开始依次进行计算。然而，在其他设备中，替代算法可以用于连续帧对使得流矢量从最后帧跟踪至第一帧。另外，其他设备可以基于相位阶跃序列测量本身来测定光流，由此消除了执行上述双相估计的需要。另外，根据相位阶跃测量直接测定物体运动可以减少辅助处理步骤的数量。替代设备可以使用区块匹配和视频法典派生的方法来代替测定光流。这些方法可以包括但不限于利用Census变换使用的光流方法，或使用不等间距傅里叶逆变换执行翘曲。

（5.1）使用不等间距傅里叶逆变换来测定光流

在一个实施例中，不等间距傅里叶逆变换可以用于在图3的方框5中估计光流。方程（13）示出了信号函数f(x)可以经由利用翘曲函数w((x+u(x))的卷积进行一维翘曲，其中u(x)是翘曲信号。

$f(x+u\left(x\right))={\∫}_{-\∞}^{\∞}d{x}^{\′}f\left(x^{\′}\right)w(x+u\left(x\right)-x^{\′})---\left(13\right)$

卷积行为是在位置x+u(x)取值f并将此值放在位置x。为了从传统意义上来说执行翘曲，w可以呈现δ函数的形式，因此方程（13）可以使用傅里叶核δ序列写为：

$\begin{array}{c}f(x+u\left(x\right))\\ ={\∫}_{-\∞}^{\∞}d{x}^{\′}f\left(x^{\′}\right){\∫}_{-\∞}^{\∞}\mathrm{dk}{e}^{i2\mathrm{\πk}[x+u\left(x\right)-x^{\′}]}\\ ={\∫}_{-\∞}^{\∞}\mathrm{dk}\hat{f}\left(k\right)e^{i2\mathrm{\πk}[x+u\left(x\right)],}\end{array}---\left(14\right)$

其中是f(x)的傅里叶变换并且每次求和都与紧接着对应积分符号右边的微分项有关。方程（14）是不等间距傅里叶逆变换。以显式离散的形式，令W_x是等间距傅里叶变换矩阵，令W_x+u(x)是不等间距当量，则离散信号f(x)可以写为：

$f(x+u\left(x\right))=\frac{1}{N}{W}_{x+u\left(x\right)}^{*}{W}_{x}f\left(x\right)---\left(15\right)$

其中W*表示关于矩阵W的共轭转置运算。矩阵T使得：

$T_{x+u\left(x\right)}=\frac{1}{N}{W}_{s+u\left(x\right)}^{*}{W}_x---\left(16\right)$

然后限定翘曲变换算子。通过操纵T中的u(x)，然后应用f上的对应算子T来操纵f中的数据。

在一维的情况下，把与f(x)有关的第二信号g(x)看作：

g(x)＝f(x+u(x)) (17)

现在注意二维情况，应用傅里叶变换翘曲来测定光流可能需要进行额外的考虑以便获得合理的解决方案。在一维中，只存在翘曲可以在正方向或负方向上操作的两个可能的方向。在二维中，有效存在无数个方向。方程（14）可以扩展到二维情况：

$\begin{array}{c}f((x+u_x(x,y),y+u_y(x,y))\\ ={\∫\∫}_{-\∞}^{\∞}\mathrm{dldk}\hat{f}(k,l)e^{i2\mathrm{\πl}[y+u_y(x,y)]}{e}^{i2\mathrm{\πk}[x+u_x(x,y)]}\end{array}---\left(18\right)$

其中这两种积分都是广义的定积分。可以看出，u_x和u_y在复指数内，因此除了沿一个或左上、右上、左下和右下四个方向搜索之外，就方向而言不存在明确的加权。

（5.2）使用不等间距傅里叶逆变换来测定光流

在另一个实施例中，另一不等间距傅里叶逆变换可以用于在图3的方框5中估计光流。方程（19）示出了信号函数f(x)和信号通过其翘曲的函数u(x)。令是f(x)的傅里叶变换，翘曲行动可以通过不等间距翘曲傅里叶逆变换来执行：

$f(\underset{\left(19\right)}{x}+u\left(x\right))={\∫}_{-\∞}^{\∞}\mathrm{dk}\hat{f}\left(k\right)e^{i2\mathrm{\πk}(x+u\left(x\right))}---\left(19\right)$

如果f(x)=δ(x–x’)，则方程（19）的右侧变为：

${\∫}_{-\∞}^{\∞}\mathrm{dk}{e}^{-i2\mathrm{\πk}{x}^{\′}}{e}^{i2\mathrm{\πk}(x+u\left(x\right))=\mathrm{\δ}(x-x^{\′}+u\left(x\right))---\left(20\right)}$

由翘曲逆变换跟随的傅里叶变换的行为是在位置x取信号的值并将此值重新定位在新位置x+u(x)。翘曲傅里叶逆变换的直接数值实现可能比较缓慢，因此可能期望进一步发展积分。尽管连续的符号用于描述积分的发展，但应了解，应用可以是有限范围和支撑的真实的、离散的、绝对可和的数字信号。

首先，分布积分方程（19）可以执行N次以便获得级数展开式，其中每次应用分步积分都在由此产生的级数的最后项上执行。建立以下方程：

$f(x+u\left(x\right))=e^{i2\mathrm{\πku}\left(x\right)}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{(-i2\mathrm{\πu}\left(x\right))}^n{\∫}^{n+1}{\mathrm{dk}}^{n+1}\hat{f}\left(k\right)e^{i2\mathrm{\πkx}}{|}_{-\∞}^{\∞}+R_N---\left(21\right)$

其中

$R_N={\∫}_{-\∞}^{\∞}\mathrm{dk}{e}^{i2\mathrm{\πku}\left(x\right)}{(-i2\mathrm{\πu}\left(x\right))}^{N+1}{\∫}^{N+1}d{k}^{N+1}\hat{f}\left(k\right)e^{i2\mathrm{\πkx}}---\left(22\right)$

是展开翘曲傅里叶逆变换的余项。级数的第N+1项及对应余数可通过再次将分部积分应用于R_N来获得。

在方程（21）中，翘曲可以从正常积分分离。翘曲可以根据级数展开式在每个像素处实施到位。然而，在可以实现级数之前，可以对普通信号的n+1个不定积分执行计算。通过卷积，使与傅里叶变换对应的高斯函数与信号函数f(x)相关：

$\hat{f}\left(k\right)={\∫}_{-\∞}^{\∞}d{k}^{\′}\hat{c}\left(k^{\′}\right)\hat{G}(k-k^{\′})---\left(23\right)$

其中是系数函数。将方程（23）代入方程（21）并（暂时）忽略R_N得出：

$\begin{array}{c}f(x+u\left(x\right))=\\ e^{i2\mathrm{\πku}\left(x\right)}\underset{n-0}{\overset{N}{\mathrm{\Σ}}}{(-i2\mathrm{\πu}\left(x\right))}^n{\∫}^{n+1}{\mathrm{dk}}^{n+1}{\∫}_{-\∞}^{\∞}{\mathrm{dk}}^{\′}\hat{c}\left(k^{\′}\right)\hat{G}(k-k^{\′})e^{i2\mathrm{\πkx}}{|}_{-\∞}^{\∞}\end{array}---\left(24\right)$

如果方程（24）中的积分项用Λ_n表示，并改变积分阶次，则方程变为：

${\mathrm{\Λ}}_n(x,k)={\∫}_{-\∞}^{\∞}d{k}^{\′}\hat{c}\left(k^{\′}\right)I_n(k,k^{\′},x)---25$

其中

$I_n(k,k^{\′},x)={\∫}^{n+1}{\mathrm{dk}}^{n+1}\hat{G}(k-k^{\′})e^{i2\mathrm{\πkx}---\left(26\right)}$

Λ_n限定翘曲变换的级数展开式中的u(x)ⁿ的系数序列。计算Λ_n通过u(x)针对翘曲执行空间积分，而与u(x)本身无关。利用高斯函数使用卷积允许对不定积分进行分析计算。在可以使用其他函数的同时，高斯函数为积分序列提供所需的形式。令：

$I_{-1}(k,k^{\′},x)=\hat{G}(k-k^{\′})e^{i2\mathrm{\πkx}},$ 可以示为

$I_0(k,k^{\′},x)=\∫\mathrm{dk}\hat{G}(k-k^{\′})e^{i2\mathrm{\πkx}}=-\frac{1}{2}G\left(x\right)e^{i2\mathrm{\π}{k}^{\′}x}\mathrm{erf}(\frac{\mathrm{i\πx}}{a}-(k-k^{\′})a)---\left(27\right)$

此外，令：

$\mathrm{\α}=(k-k^{\′})-\frac{\mathrm{i\πx}}{a^2}---\left(28\right)$

当n≥1时，通过分部积分法和归纳法得到：

$I_n(k,k^{\′},x)={\∫}^n{\mathrm{dk}}^n{I}_0(k,k^{\′},x)=\frac{1}{n}(\mathrm{\α}{I}_{n-1}+\frac{I_{n-2}}{2a^2})---\left(29\right)$

令a往往较大，使得针对所有x，G(x)≈1，大致变成δ函数，并且

${\mathrm{\Λ}}_n(x,k)\≈\frac{s_{k^{\′}-k}}{n!}{\∫}_{-\∞}^{\∞}d{k}^{\′}{(k-k^{\′})}^n{e}^{i2\mathrm{\π}{k}^{\′}x}\hat{f}\left(k\right)---\left(30\right)$

其中s_k’-k是由a较大的方程（27）中的误差函数产生的正负号运算。出于针对k取分析积分，且k和k’位于相同域上的考虑来获得解释s_k’-k。因此，只需要针对此域的每个极端端点处的k考虑s_k’-k。即，当（反之为）时，s_k’-k=-1（反之为1）。当k’到达不遵守每个不等式的端点时，s_k’-k=0，进一步强调了方程（30）是近似法。

方程（30）是由系数决定的傅里叶逆变换。将方程（30）代入方程（24），将二项式定理应用于(k-k’)ⁿ，进一步操作得到：

$\begin{array}{c}f(x+u\left(x\right))\≈-\frac{s_{k^{\′}-k}{e}^{i2\mathrm{\πku}\left(x\right)}}{2}\×\\ \underset{n=0}{\overset{N}{\mathrm{\Σ}}}\frac{u{\left(x\right)}^n}{n!}\underset{r=0}{\overset{n}{\mathrm{\Σ}}}\left(\begin{array}{c}n\\ r\end{array}\right){(-i2\mathrm{\πk})}^r\mathrm{IFT}\left({\left(i2\mathrm{\π}{k}^{\′}\right)}^{n-r}\hat{f}\left(k^{\′}\right)\right){|}_{k=-\∞}^{\∞}\end{array}---\left(31\right)$

$=-\frac{s_{k^{\′}{e}^{i2\mathrm{\πku}\left(x\right)}}}{2}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}u{\left(x\right)}^n\underset{r=0}{\overset{n}{\mathrm{\Σ}}}\frac{{(-i2\mathrm{\πk})}^r}{r!}\frac{{\∂}_x^{n-r}f\left(x\right)}{(n-r)!}{|}_{k=-\∞---\left(32\right)}^{\∞}$

方程（37）形式简单。已经执行了k上的积分，其涉及空间变化项u(x)并转换为独立于u(x)的一系列有解积分。执行积分以获得涉及导数的嵌套级数。源自计算最里面的级数的序列形成u(x)中的级数中的系数，其中这些系数取决于f(x)并且可以在不知道u(x)的情况下提前计算。在计算序列之后，可以计算符合特定u(x)形式的翘曲。为了完整性，下面提供了与方程（32）对应的R_N。

$R_N\≈-{\∫}_{-\∞}^{\∞}\mathrm{dk}\frac{s_{k^{\′}-k}{e}^{i2\mathrm{\πku}\left(x\right)}}{2}u{\left(x\right)}^{N+1}\underset{r=0}{\overset{N+1}{\mathrm{\Σ}}}\frac{{(-i2\mathrm{\πk})}^r}{r!}\frac{{\∂}_x^{N+1-r}f\left(x\right)}{(N+1-r)!}---\left(33\right)$

对于乖函数（suitably behaved function）f(x)及u(x)，序列R_N随着N增加而趋于0。然而，不能保证级数收敛到所需的解，或甚至有限值。据此，可以确定二项展开式之和并且可以确定外求和的结果：

$S_N=-\frac{s_{k^{\′}-k}{e}^{i2\mathrm{\πku}\left(x\right)}}{2}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}\frac{u{\left(x\right)}^n}{n!}\underset{r}{\overset{n}{\mathrm{\Σ}}}n!\frac{{(-i2\mathrm{\πk})}^r}{r!}\frac{{\∂}_x^{n-r}}{(n-r)!}f\left(x\right){|}_{k=-\∞}^{\∞}---\left(34\right)$

$=-\frac{s_{k^{\′}-k}{e}^{i2\mathrm{\πku}\left(x\right)}}{2}\underset{n=0}{\overset{N}{\mathrm{\Σ}}}\frac{u{\left(x\right)}^n}{n!}{(-i2\mathrm{\πk}+{\∂}_x)}^{n}f\left(x\right){|}_{k=-\∞}^{\∞}---\left(35\right)$

$\≈-\frac{s_{k^{\′}-k}}{2}{e}^{u\left(x\right)0_x}f\left(x\right){|}_{k=-\∞}^{\∞}---\left(36\right)$

$=e^{u\left(x\right){\∂}_x}f\left(x\right)---\left(37\right)$

在物理学领域中，项可以被认为类似于动能平移（momentumtranslation）运算。在函数中运算的动能平移算子等同于此函数上的泰勒级数，因此从泰勒级数近似来看：

S_N≈f(x+u(x)) (38)

如果泰勒展开式收敛，则级数展开式收敛。高斯a取值较大使得高斯逼近傅里叶域中的δ函数。当a变大时，可以针对k（k足够大以包含移到位置k’的高斯下的大部分信息）降低积分限。考虑方程（32），降低k达到的极限减小了内部总和为0的项所需的n值，由此导致外部求和需要的项更少。

在实际的实例中，积分的极限可以为k=-1/2且k=1/2。然而，可以使k的极限更小以减少所需的项的数量。提前计算涉及f(x)的导数的级数项。假设一对数字信号f(x)和g(x)，其中g(x)-f(x+u(x))=0，则u(x)可通过求出方程的根来进行估算，用方程（32）替换f翘曲而得出所述根。

在某些实施例中，以下处理可以用于估计光流。首先，可以获得第一帧和第二帧。根据通过连续较高求解逼近进行的课程求解逼近，可以执行以下操作：a）计算关于第二帧的傅里叶翘曲序列（例如，源自方程（32））中的内部求和的项）；b）迭代估计从第二帧回到第一帧的翘曲；c）将新估计值累加到总估计值；d）根据当前估计值使第二帧翘曲回到第一帧。

光流可以是二维问题，这意味着获得解需要至少两个约束。第一约束可以是数据约束，第二约束可以是外部平滑约束。上文在第5、5.1和5.2节中描述了数据约束。外部平滑约束可以确保光流估计不偏离，而要收敛到有用的有限解。可以使用的某些示例性外部约束包括每个光流项的梯度幅值的平方和、光流估计值中的每个项的拉普拉斯算子的平方和（有效地最小化了扩散方程）、全变差L1（TVL1）范数、劳伦兹函数、中值滤波、Charbonnier函数等。

通过同时最小化数据和外部平滑约束可以找到光流问题的解决方案。为此，可以使用迭代解。在一个实例中，可以使用对偶方法，其从“A dualitybased approach for realtime TV-L1Optical Flow,”Pattern Recognition,C.Zach,T.Pock and H.Bischof,4713(22),p.214-223.2007中找到的方法推导得来的。对偶方法将总问题划分为两个更小的更容易解决的子问题。原始子问题解决数据约束，得到原始解，对偶子问题解决平滑约束，得到对偶解。原始解和对偶解在最小二乘法中受到类似约束。数据约束可以使用L1范数。使用傅里叶变换翘曲的准确度允许使用简单的平滑方法。可以执行利用原始解估计值高斯的卷积以形成对偶解。对偶解然后可以通过标度传播。

（6）计算光流的大小和方向

运动掩模、分割物体数据以及光流然后用于测定场景中每个运动物体的运动的大小和方向。如图8所示，假设运动在成像的整个场景中大致呈线性。因为光流法能够处理大位移，所以可以获得每个相位阶跃图像针对第一个的光流。基于线性运动的假设，光流估计值相对于相位阶跃线性增加。直线因此在每个像素处用来表示光流针对相位阶跃的每个分量。可以对其建模，如下面的公式所示，其中K是以k-1为第一列，其他为第二列的8×2矩阵，并且其中u_x和u_y是在第k条目上具有第k个x和y方向流估计值的矢量，其中{u_x}_k=1={u_y}_k=1=0。因此，每个像素处的运动的线性模型可以表示为：

$u_x=K\left[\begin{array}{c}{\mathrm{\υ}}_x\\ b_x\end{array}\right],u_y=K\left[\begin{array}{c}{\mathrm{\υ}}_x\\ b_y\end{array}\right]---\left(39\right)$

其中v_x和v_y是直线斜率，b_x、b_y是偏移量。然后使用最小二乘回归法轻松求得线性参数。假设线性运动，b_x=b_y=0且非零值指示无运动（指示噪声）或非线性运动。图9中示出了光流和直线拟合的实例，其示出了在相位阶跃上的所选像素处的光流以凸显运动区域中的光流算法的优点。使用该方法，静态区域中的光流在每个相位阶跃时应为零，但可能要受到运动物体的影响。另外，线性假设对该方法来说并不是必须的。如果运动是非线性的，则高阶多项式方程可以用于表示流，多项式阶次的上限根据相位阶跃测量的数量设定。图9中的直线斜率表示八次相位阶跃测量上的平均光流，并被用作用于后继处理的最终光流估计值，如图10所示。图10表示相位序列上光流的最终估计值。在左窗格中示出了x方向流，而在右窗格中示出了y方向流。黑色方块表示前景物体在捕获周期开始时的位置。

要注意，过度平滑可能会使运动场中的精确边界提取较差，但是权衡可能是合理的以便获得在长距离上的运动区域中具有精确大小和方向的光流矢量。前景区域本身内的至最近像素的平均估计流矢量为u=(6,6)，与真正的运动矢量匹配。

（7）旋转并缩放相位阶跃图像

基于大小和方向数据，每个相位阶跃图像然后经旋转和缩放使得每个运动物体都沿向下的方向按特定速率行走。一旦估计的运动区域、物体分割及光流v=(v_x,v_y)已经被测定，就可以执行运动和测距解码的实际反演（inversion）。编码运动的反演可以经由以下步骤对每个运动物体、对每个第k相位阶跃图像执行。如果假设v是指定运动物体的平均光流矢量，则图像旋转通过（-90-∠v）度，使得运动的方向从上到下。然后将运动缩放6/||v||，使得运动为每相位阶跃图像六个像素（与每CE点一个像素对应）。该缩放是在本发明的示例性实施例中使用的执行的CE和相位阶跃数量造成的结果。可以改变缩放以符合其他实施例中使用的CE和相位阶跃数量。应注意，在图像旋转和重新采样操作中可以使用双线性插值。另外，旋转和缩放处理可以在普通图像空间中或在其他变换（比如傅里叶变换）下实现。

（8）使旋转和缩放的相位阶跃图像运动反演（Motion inverting）

然后在每个相位阶跃时对每个物体的旋转和缩放图像执行运动反演以补偿物体运动。该处理通过编码曝光得以推进。一旦对物体的第k个相位阶跃图像执行旋转和缩放，解码图像的估计值然后可以通过方程（4）的反演来测定：

$I_{0,k}={\left(H_k^T\right)}^{-1}{I}_k---\left(40\right)$

可以预先计算反演(H^T _k)^-1，因此直接计算方程（40）。

因此，矩阵适用于编码曝光以便使物体运动反演。在每个相位阶跃时对每个物体重复进行运动解码。可选地，可以应用非均匀去卷积程序，其中卷积核的形状和方向由光流和曝光代码的已知形状确定。此外，应用非均匀去卷积程序可以使旋转和缩放操作不必要。

（9）对旋转和缩放反操作（Reversing）

然后对运动反演的相位阶跃图像的旋转和缩放反操作以生成运动校正连续相位阶跃图像。一旦针对物体的第k个相位阶跃图像完成运动解码，运动解码相位阶跃图像可以旋转回（90+∠v）度，然后缩放回原始图像尺寸。在该处理中可以使用双线性插值。可以将平均速度为||v||<3个像素的物体视为静态的，因为静态背景区域在光流溢出运动物体的边界时或当运动区域包含前景物体和背景物体时可能有非零运动。测距相位和有源振幅然后可以基于最终相位阶跃序列进行计算。最终运动校正序列可以计算为：

$I_{0,f,k}=I(1-m_m)+m_m\underset{k=1}{\overset{N_k}{\mathrm{\&Sigma;}}}{m}_{0,i,k}{I}_{0,k}---\left(41\right)$

其中N_k是运动物体（不包括静态背景物体）的数量，算术运算按像素执行。

（10）解码运动校正图像

在“撤消”旋转和缩放之后，基于解码估计值和分割单独运动物体来构成单个相位阶跃序列是有用的。这可以通过在输出序列中的每个像素处选择正确解码序列来完成，基于在第一相位阶跃图像中占据此像素的物体从该序列中提取像素值。图11示出了输入相位阶跃序列的比较的结果和方程（41）的结果的实例。如图11所示，运动解码使运动前景物体与运动方向相反移位并移到其初始位置。测距相位和有源振幅的估计值可以根据方程（41）的结果来计算。图12中示出了该计算的示例性结果，其描述了重建的具有与运动区中的静态区域对应的间隙的相位和振幅。方程（41）可能没有解释由掩模m_mm_0,i=0,k=0识别的静态背景，其在每个相位阶跃图像中被唯一遮挡。如上所述，省略运动区中的静态区域的结果在图11和图12中被示为零区。因为遮挡区域中和的值不通过方程（41）来限定，所以这些像素可以通过从p_0,k=0且A_0,k=0中取对应的值来填充，如下：

$\begin{array}{c}{\hat{p}}_f=\hat{p}+m_m{m}_{0,i=0,k=0}{p}_{0,k=0},\\ {\hat{A}}_f=\hat{A}+m_m{m}_{0,i=0,k=0}{A}_{0,k=0}\end{array}---\left(42\right)$

还可以执行利用处理相位阶跃时遗漏的像素数据的替代方法，其中运动区域中的背景被运动前景遮挡。图13描述了在运动校正之前和之后的测距相位和振幅的示例性图像。在不进行运动校正的情况下，运动物体在运动区上被擦模糊，所计算的测距相位值在前景物体的真实相位与背景测距相位之间改变。校正之前的有源振幅也在一系列错误值的范围内发生巨大变化。在校正之后，对物体运动的多个负面影响进行校正。

（11）计算测距

然后对校正图像数据执行测距解码以便在序列的开始端测定到场景中的每个物体的距离。距离根据上述已知的技术来测定。

虽然上述处理包括多个步骤，但是这些步骤中的一些可以并行执行，省略，或在各个实施例中进行补充。同样，尽管上述描述涉及创建运动物体返回起始位置的图像数据，但是替代实施例可以将物体移至其他位置，比如其结束位置或中间位置。

实例

如图15-19所示，上述处理补偿运动模糊的效应。图15描述了在运动校正之前和之后比较图像之间的相位百分比误差和振幅百分比误差的模拟结果。图16描述了使用先前已知的运动校正方法进行的类似比较。

使用上文公开的方法的实施例的测距照相机用于捕获图17、图18和图19中所示的图像，其在所标记的方法的不同步骤中分别描述了运动列车、瓶子和手的图像。图17描述了场景下的列车。图18描述了在沿垂直于图像平面的方向运动的瓶子。图19描述了由另一个运动物体遮挡的一个运动物体。在图14中同样示出了这些图像。

在每个实例中，由于背景中光源的阴影作用，考虑中的运动前景物体的左边的测距相位图像中存在明显的高噪声区。在不进行运动校正的情况下，阴影区被擦模糊，但运动校正可以恢复阴影区。所使用的获取时间为每相位阶跃20×10^-3秒，对全八相阶跃序列来说总共160×10^-3秒，每秒大约6个相位阶跃序列。该获取时间可以使用替代硬件设备或替代处理步骤来减少。在每个实例中，光流估计值不太精细，明显的错误流估计值小区域指向看似随机的方向。不良估计的小区域反映本文选择来最小化流溢出进入静态区域的弱平滑度参数，且不反映一般情况下使用的光流算法。光流估计值的弱平滑处理有时只有当需要普通运动物体区域下的精确估计值时才是可接受的。小误区不会对平均流估计值产生明显影响，因此是可接受的。如果这些误差对特定应用来说不可接受，则可以通过使用强平滑来最小化或消除。

在图17中，列车向左移动。在图18中，瓶子向右移动并在圆周运动中朝向并远离照相机移动。在图19中，一只手向左移动，另一只手向下运动。所使用的光流法提供所需的亮度效应不变性，包括简单振幅图像中的帧与轻微的不均匀照明之间的照明变化。通过光流估计，增加流矢量图像的平滑度会导致物体区内的更精确估计，但要权衡估计流中的物体边界的不太精确描述。流矢量溢出进入运动区内的静态背景区域会导致错误的运动估计，这反之会导致运动校正中出现可能的错误源。针对每个给定场景通过手动将参数调谐至合适的值可以获得足够精确的光流估计值，但因为所需的实际参数值是场景相关的，所以优选自动调谐。

试图补偿运动模糊的其他已知方法包括组合来自测距图像数据的信息和传统的2D传感器以本地化运动物体的边缘以便确定测距重建中应包括哪些测量，以及使用照相机产生的简单强度图像上的光流来帮助对垂直运动的效应建模。然而，这些方法都具有大量的缺点。例如，这些方法要求执行大量非常准确的计算。这需要更复杂和更昂贵的设备，并减缓了测定。这些缺点在许多应用中是不可接受的。

在执行前述步骤之前，首先执行固定模式错误消除作为预处理步骤可能是有益的。在图像获取开始时，完整的相位阶跃序列可以利用静态场景以估计固定模式加性偏移。然后可以从后来获取的每个相位阶跃中减去所估计的偏移。根据本发明，偏移校正序列然后可以被用作要输入示例性运动校正程序的原始序列。

虽然参照附图充分描述了本发明的实施例，但是应注意的是，各种变化和修改对本领域技术人员来说将变得显而易见。这些变化和修改应被理解为包括在如所附权利要求定义的本发明的实施例的范围内。

Claims (34)

1.一种测定测距成像设备与至少一个运动物体之间的距离的方法，所述方法包括：

使用编码曝光，在图像传感器处获取与包含至少一个运动物体的场景有关的相位阶跃测距图像数据，所述相位阶跃测距图像数据包括第一相位阶跃图像和至少第二相位阶跃图像；

使用处理器计算所述图像传感器与所述至少一个运动物体之间的距离的初始估计值，以及所述至少一个运动物体的亮度的初始估计值，其中，估计值基于所获取的相位阶跃测距图像数据；

基于以下各项计算所述运动物体的光流：i）所述图像传感器与所述至少一个运动物体之间的所述距离的所述初始估计值；ii）所述至少一个运动物体的所述亮度的所述初始估计值；iii）所述第一相位阶跃图像；以及iv）所述第二相位阶跃图像；

通过向所述相位阶跃测距图像数据施加反演的编码曝光以校正所计算的光流来生成运动校正的图像数据；以及

基于所校正的图像数据来计算所述图像传感器与所述至少一个运动物体之间的距离。

2.如权利要求1所述的方法，其中，所述编码曝光包括正弦函数。

3.如权利要求1所述的方法，其中，所述编码曝光包括方波。

4.如权利要求1所述的方法，其中，所述图像传感器与所述至少一个运动物体之间的距离的所述初始估计值是双相估计值。

5.如权利要求1所述的方法，其中，计算所述光流包括线性逼近。

6.如权利要求1所述的方法，其中，计算所述光流包括不等间距傅里叶逆变换。

7.如权利要求1所述的方法，其中，所述方法进一步包括使用调幅连续波信号来照亮所述场景。

8.一种测定测距成像照相机与多个运动物体之间的距离的方法，所述方法包括：

在图像传感器处使用编码曝光来捕获原始序列数据，所述原始序列图像数据包括具有所述运动物体的场景的多个连续相位阶跃图像；

在处理器处接收所述原始序列图像数据；

估计所述测距成像照相机与每个所述运动物体之间的距离的双相估计值；

使用所述连续相位阶跃图像来生成运动掩模以识别包括与所述运动物体有关的图像数据的所述原始序列图像数据中的区域；

使用所述运动掩模来分割所述原始图像数据以隔离与每个所述运动物体对应的所述原始图像数据的区域；

基于所述双相估计值和所述物体的分割来测定每个所述运动物体的光流；

计算每个所述运动物体的所述光流的大小和方向；

基于所计算的每个所述运动物体的所述光流的大小和方向来旋转并缩放所述连续相位阶跃图像；

使旋转和缩放的连续相位阶跃图像运动反演以补偿所述运动物体的所述运动；

对所述连续相位阶跃图像的所述旋转和所述缩放反操作以生成运动校正的连续相位阶跃图像；

使用所述编码曝光来解码所述运动校正的连续相位阶跃图像以生成运动校正的相位阶跃序列；以及

基于所述运动校正的相位阶跃序列来计算所述测距成像照相机与每个所述运动物体之间的所述距离。

9.如权利要求8所述的方法，进一步包括使用图像传感器来捕获所述

原始序列图像数据。

10.如权利要求9所述的方法，其中，所述图像传感器是CMOS传感器。

11.如权利要求9所述的方法，其中，所述双相估计值包括针对多个像素的每一个的估计距离数据。

12.如权利要求9所述的方法，其中，所述双相估计值包括针对多个像素的每一个的估计亮度数据。

13.如权利要求9所述的方法，其中，所述光流用多个矢量表示，所述多个矢量中的每一个都与多个像素之一相关联。

14.如权利要求8所述的方法，其中，测定所述光流包括线性逼近。

15.如权利要求8所述的方法，其中，计算所述光流包括不等间距傅里叶逆变换。

16.如权利要求8所述的方法，其中，所述编码曝光包括方波。

17.如权利要求8所述的方法，其中，所述编码曝光包括正弦波。

18.如权利要求8所述的方法，进一步包括使用调制照明信号来照亮所述场景。

19.如权利要求18所述的方法，进一步包括使用信号生成器来生成所述调制照明信号。

20.如权利要求9所述的方法，其中，计算所述测距成像照相机与每个所述运动物体之间的所述距离包括在所述运动校正的相位阶跃序列中针对每个像素对距离进行解码。

21.一种测距成像照相机，包括：

使用调制照明信号来照亮场景的照明源；

使用编码曝光来从所照亮的场景捕获原始序列图像数据的图像传感器，其中，所述图像传感器被配置为捕获从所照亮的场景中的至少一个运动物体反射的所述调制照明信号的至少一部分；以及

处理所述原始序列图像数据以校正所捕获的原始序列图像数据中的运动的处理器，其中，所述处理器被配置为执行以下操作：

基于所述原始序列图像数据来计算所述测距成像照相机与所述运动物体之间的距离的双相估计值；

基于所述原始序列图像数据来生成运动掩模以识别包括与所述运动物体有关的图像数据的所述原始序列图像数据中的区域；

基于所述运动掩模来分割所述原始序列图像数据以隔离与所述运动物体对应的所述原始序列图像数据的区域；

基于所述双相估计值和所分割的原始序列图像数据来测定所述运动物体的光流；

计算所述运动物体的所述光流的大小和方向；

基于所计算的所述运动物体的所述光流的大小和方向来旋转并缩放所述原始序列图像数据；

使旋转和缩放的原始序列图像数据运动反演以补偿所述运动物体的所述运动；

对所述原始序列图像数据的所述旋转和所述缩放反操作以生成运动校正的序列图像数据；

使用所述编码曝光来解码所述运动校正的序列图像数据以生成解码的运动校正的序列图像数据；以及

基于所述解码的运动校正的序列图像数据来计算所述测距成像照相机与所述运动物体之间的所述距离。

22.如权利要求21所述的测距成像照相机，其中，所述照明信号用调幅连续波进行调制。

23.如权利要求21所述的测距成像照相机，其中，所述图像传感器是CMOS传感器。

24.如权利要求21所述的测距成像照相机，其中，所述编码曝光包括方波。

25.如权利要求21所述的测距成像照相机，其中，所述编码曝光包括正弦波。

26.如权利要求21所述的测距成像照相机，其中，所述图像传感器将所述原始序列图像数据传输至所述处理器。

27.如权利要求21所述的测距成像照相机，其中，所述图像传感器包括像素阵列。

28.如权利要求27所述的测距成像照相机，其中，所述双相估计值包括针对多个像素的每一个的估计距离数据。

29.如权利要求27所述的测距成像照相机，其中，所述双相估计值包括针对多个像素的每一个的估计亮度数据。

30.如权利要求21所述的测距成像照相机，其中，所述光流用多个矢量表示，所述多个矢量的每一个都与所述多个像素之一相关联。

31.如权利要求21所述的测距成像照相机，其中，测定所述光流包括线性逼近。

32.如权利要求21所述的测距成像照相机，其中，测定所述光流包括不等间距傅里叶逆变换。

33.如权利要求21所述的测距成像照相机，进一步包括信号生成器以便生成所述调制照明信号。

34.如权利要求21所述的测距成像照相机，其中，计算所述测距成像照相机与所述运动物体之间的所述距离包括在所解码的运动校正序列图像数据中针对每个像素对距离进行解码。