CN110688763A - 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法 - Google Patents

Abstract

本发明提出了一种基于脉冲型飞行时间(Time‑of‑Flight,ToF)相机深度图像的多径效应补偿方法。该方法在多个脉冲周期下对同一场景进行测量，通过对脉冲型ToF深度相机的成像原理进行建模，构造稀疏矩阵使得测量信号在变换域中是稀疏的，并通过L₁范数正则化方法重建未受多径效应影响的分量。我们对两个场景进行多次测量以验证多径效应补偿的效果，实验表明本发明可以有效地补偿深度值的漂移。

Description

一种基于脉冲型ToF相机深度和光强图像的多径效应补偿 方法

技术领域

本发明涉及计算机视觉领域，具体涉及到一种基于脉冲型飞行时间(Time-of-Flight，ToF)相机深度和光强图像的多径效应补偿方法。

背景技术

近年来，深度感知技术发展迅速，在手势识别、遥感和图像导航外科手术等各种领域得到了广泛应用。在深度感知技术中，飞行时间成像技术拥有诸多优势。飞行时间相机是一种新型的三维相机，具有主动照明光源阵列和传感器。有源光源发出近红外光，相机的每个像素测量入射的反射光，通过时间延迟来计算到场景中物体的距离。相对于其他深度感知技术，ToF相机由于使用主动红外光源，通常能够实现非常高的精度并且在低光照条件下正常工作。

主流的ToF相机按照有源光源发出正弦波还是激光脉冲可以分为连续波型和脉冲型。连续波ToF深度相机由于光源不间断工作，会导致高功耗和显著发热，因此不能长时间使用。而且严重受到激光功率的限制，最远可测量距离只能达到10米左右。脉冲ToF相机弥补了连续波ToF的缺点，激光脉冲的持续时间很短，功耗和发热量显著降低，因此可以长时间稳定地工作。而且受环境光的影响较小，可用于户外用途，具有鲁棒性。

然而，脉冲型ToF技术仍然存在多方面的误差，有许多因素会影响到精度，例如系统误差，镜头失真和多径干扰。其中，多径效应是一个需要解决的关键问题。多径效应是指发射出去的近红外光通过两个或多个路径返回传感器，当来自场景其他部分反射的杂散光干扰到传感器像素处的距离测量时，会导致深度估计出现显著失真。与普通噪声不同，多径会导致传感器深度估计变得不准确，而且无法由传统去噪算法去除。因此，消除多径干扰的影响是ToF系统的关键组成部分。

然而，现有的多径效应消除方法大都针对基于调幅连续波的ToF相机，两种相机的成像原理完全不同。在脉冲型ToF相机成像机制中，是通过快门返回的光强度而不是反射信号和发射信号之间的相位差来估计深度，所以在脉冲型ToF成像原理中不存在相位差的概念，以往的方法不能直接应用于脉冲型ToF相机。

发明内容

鉴于此，为了将目前的连续波ToF相机多径效应补偿方法推广到脉冲型ToF相机，本发明提出了一种基于稀疏正则化的多径效应消除方法。从脉冲型ToF相机的成像原理出发，对多径效应进行建模，然后通过构造变换矩阵将原始信号进行变换，使其在变换域满足稀疏性条件，采用L₁范数正则化的方法恢复出每个多径效应分量的强度，并得到优化之后的变换矩阵，最终通过优化后变换矩阵中的系数计算出未受多径效应影响的深度信息。

为了达到本发明的目的，本发明提出了一种基于信号稀疏性的L₁范数正则化算法进行多径效应分量的分离。该方法由四个模块组成，分别是脉冲型ToF相机成像模型计算模块、原始信号到变换域的转换模块、变换域信号重构模块、深度值计算模块。

脉冲型ToF相机成像模型计算模块：此模块是根据脉冲型ToF相机三次快门曝光量计算深度的测距原理来计算场景中每个像素深度值的数学模块。模块的输入是三次快门获得的三张光强图像，输出是由三张光强图像计算得到的深度图像。对于近红外光从激光器到物体表面再返回相机传感器的传输过程，飞行的时间和距离成正比，可以由(公式6)表示。

其中d是相机到物体的距离，c是光速，Δt是激光器发射激光和传感器接收激光的时间差。

脉冲型ToF相机传感器不能直接测量到Δt，而是通过三次连续快门的曝光机制来间接的进行计算。图1脉冲型ToF成像模型中三次快门收集的光子强度分别用S0，S1和BG表示，S0是第一次快门接收到的完整激光脉冲，S1是第二次快门接收到的部分激光脉冲，BG是第三次快门接收到的背景光。所以时间差Δt可以由三次快门曝光的强度计算得到，具体计算方法由(公式7)表示。

其中T_p是发射激光脉冲周期的一半。

将其带入距离d的计算公式，如(公式2)所示：

原始信号到变换域的转换模块：本模块的作用是将不同发射激光半周期T_p下进行的K次测量得到的深度值组成的向量进行变换使其变换后满足稀疏性条件，以满足后续信号重建算法的要求。模块的输入是脉冲型ToF相机成像模型计算模块在K次测量中输出的深度图像组成的向量y，输出是变换之后的向量x。

典型的双路径效应如图3所示，测量到的光强图像中每一个像素都是由两个路径返回光强度叠加得到的，称A-B-A的光反射路径为主路径分量，A-B-C-A的光反射路径为干扰路径分量。我们在不同的发射激光半周期T_p下进行K次测量，测量向量由(公式1)表示：

其中d_K代表第K次实际测量得到的主路径分量和干扰路径分量已经混合的深度值，该模型分为主路径分量和干扰路径分量两部分，“+”前面部分为主路径分量部分，“+”后面部分为干扰路径分量部分，主路径分量部分即为本发明要求的内容。本发明首先获取不同发射激光半周期T_p下的测量值；接下来初始化传感矩阵A，得到初步重构向量X；然后通过现有方法不断优化A和X，得到优化后的A和X；最终根据模型关系得到主路径分量的深度值。模型中的S0_K’，S1_K’和BG_K’分别代表第K次测量中主路径分量对S0，S1和BG三张深度图的贡献，S0_K”，S1_K”和BG_K”分别代表第K次测量中干扰路径分量对S0，S1和BG三张深度图的贡献，Γ₁和Γ₂分别代表两个路径的反射系数，即反射后的幅度衰减程度，这些值无法直接得到，本发明通过不断迭代最优估计X完成对模型中主路径分量的计算。

根据上述模型，我们构造的传感矩阵由(公式5)表示：

初始化的时候认为A矩阵中主路径和干扰路径强度都一样，即等于通过相机成像模型计算模块得到的S0，S1和BG；

由此，根据压缩感知中信号的变换采用的欠定线性方程组(公式3)，可以得到初步重构向量X：

y＝A*x (公式3)

其中y是M*1的测量向量，A是M*N的传感矩阵，x是N*1的原始信号。M表示测量信号的维度，即我们在不同T_p下的测量次数，N是原始信号的维度。在该等式中，未知数的数量大于等式，这会导致无穷多解。所以必须添加额外的稀疏约束，才会使解只含有少量的非零系数。所以，N＞＞M是确保下一模块准确重建信号的关键条件。

测量信号y经过变换之后的x向量由(公式8)表示：

其中Γ₁和Γ₂分别代表两个路径的反射系数。

观察脉冲型ToF相机成像模型和深度计算(公式2)，可以发现深度值正比于利用这种正比关系，在构造传感矩阵时，可以将

放在传感矩阵中，再定义每个路径的反射系数Γ_N，通过合理的构造传感矩阵，可以使测量信号在变换域只含有路径的反射系数。对于双路径场景，变换域的信号只含有两个分量，在不同的发射激光半周期T_p下进行K次测量，当K足够大时，信号在变换域就满足了稀疏性条件。

变换域信号重构模块：本模块的作用是通过信号重构算法不断优化矩阵A并使用L₁范数正则化方法来尽可能使重构信号接近原始信号x，最终从最优的矩阵A和x中获得主路径分量和干扰路径分量的值。模块的输入是脉冲型ToF相机成像模型计算模块在K次测量中输出的深度图像组成的向量y和原始信号到变换域的转换模块初始化的传感矩阵A，输出是最优的传感矩阵A和信号x。

我们的信号重构算法参照正交匹配跟踪(OMP)算法的思路，通过贪婪迭代的方法选择矩阵A的列。首先对残差、索引集和迭代次数进行初始化，每一次迭代都会找到残差和传感矩阵最相关的列，然后更新索引集，记录找到的传感矩阵中的重建原子集合，通过范数优化得到x的估计，再更新残差，进行下一次迭代，直到迭代次数达到稀疏度K。

深度值计算模块：本模块的作用是通过变换域信号重构模块的结果，计算得到未受多径效应影响的深度值。模块的输入是变换域信号重构模块输出的最优传感矩阵A和信号x，输出是主路径分量的深度值。在变换域信号重构模块中我们得到了最优的传感矩阵A，根据这个矩阵中包含的主路径分量的

我们可以通过(公式2)反向计算出主路径分量和干扰路径分量的深度值，其中主路径分量的深度值就代表了未受多径效应影响的深度值。

有益效果

本发明提出了一种基于脉冲型ToF相机深度图像的多径效应补偿方法。直接从脉冲型ToF相机成像原理出发，利用

和深度的正比关系，将测量信号变换到变换域并满足稀疏性条件，然后利用L₁范数正则化的方法恢复出两个路径分量的

最后根据结果计算出未受多径效应影响的深度值，本发明具有无需修改相机硬件、应用场景灵活、可扩展到更多路径分量和计算复杂度低的优点。

附图说明

图1为本发明脉冲型ToF相机成像模型计算模块示意图

图2为本发明实施总体流程图

图3为典型双路径效应示意图

图4为多径效应补偿算法流程图

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。

图2是本发明提出的一种基于脉冲型ToF相机深度图像的多径效应补偿方法的总体流程图，如图2所示，包括：脉冲型ToF相机成像模型计算模块、原始信号到变换域的转换模块、变换域信号重构模块、深度值计算模块。

脉冲型ToF相机成像模型计算模块：此模块是根据脉冲型ToF相机测距原理来计算深度值的数学模块。模块的输入是三次快门获得的三张光强图像，输出是由三张光强图像计算得到的深度图像。深度值和光子飞行时间Δt成正比，相机获取深度值的公式是(公式2)。但是脉冲型ToF相机直接测量Δt在理论上难以实现，实际上是通过三次快门曝光得到的光强度间接计算出Δt，三次快门曝光收集到的光子强度分别用S0，S1和BG表示。S0是第一次快门接收到的完整激光脉冲，S1是第二次快门接收到的部分激光脉冲，BG是第三次快门接收到的背景光。本发明脉冲型ToF相机三次快门曝光的成像模型如图1所示。

从图1中可以看出时间差Δt可以由这三次快门曝光的强度间接得到。由于反射激光的强度是不变的，所以快门曝光的强度和曝光时间成正比。S0曝光接收到的是满激光脉冲，对应的快门内激光持续时间为发射激光的半周期T_p，而S1曝光接收到的激光强度对应的快门内激光持续时间为Δt，所以Δt的计算公式如(公式7)所示。计算出Δt之后，就可以用(公式2)计算场景中每一个像素对应的深度值。

原始信号到变换域的转换模块：本模块的作用是将测量信号在变换域中进行变换，从而使变换之后的信号满足稀疏性条件，以满足信号重建算法的要求。因为如果原始信号不满足稀疏性条件，从测量信号中重建出来的信号将会和原始信号有着很大的偏差，对原始信号进行变换是必要的步骤。模块的输入是脉冲型ToF相机成像模型计算模块在K次测量中输出的深度图像组成的向量y，输出是变换之后的向量x。

本模块的目标是使测量信号y在经过传感矩阵A变换之后，得到的向量x是满足稀疏性条件的。典型的双路径效应如图3所示，测量到的光强图像中每一个像素都是由两个路径返回光强度叠加得到的，称A-B-A的光反射路径为主路径分量，A-B-C-A的光反射路径为干扰路径分量。我们在不同的发射激光半周期T_p下进行K次测量，测量向量由(公式1)表示：

其中d_K代表第K次实际测量得到的主路径分量和干扰路径分量已经混合的深度值，S0_K’，S1_K’和BG_K’分别代表第K次测量中主路径分量对S0，S1和BG三张深度图的贡献。S0_K”，S1_K”和BG_K”分别代表第K次测量中干扰路径分量对S0，S1和BG三张深度图的贡献。Γ₁和Γ₂分别代表两个路径的反射系数，即反射后的幅度衰减程度。

由于T_p时间非常短，通常是22ns左右，S0，S1和BG三张深度图可以认为是同一时间获得的，所以可以认为三个图像获得时，场景中的反射系数不变。

为了使y在变换域中足够稀疏，我们将反射系数放在矢量x中时，当测量次数足够多时x就会变得稀疏。

我们构造传感矩阵由(公式5)表示：

所以测量信号y经过变换之后的x向量由(公式8)表示：

其中Γ₁和Γ₂分别代表两个路径的反射系数。

可以看出在测量次数足够多的情况下，x满足稀疏性条件，该模块完成了测量信号到变换域的变换，可以应用压缩感知理论中的信号重建算法。

变换域信号重构模块：本模块的作用是通过信号重构算法不断优化矩阵A并使用L₁范数正则化方法来尽可能使重构信号接近原始信号x，最终从最优的矩阵A和x中获得主路径分量和干扰路径分量的值。模块的输入是脉冲型ToF相机成像模型计算模块在K次测量中输出的深度图像组成的向量y和原始信号到变换域的转换模块初始化的传感矩阵A，输出是最优的传感矩阵A和信号x。图4为本发明多径效应补偿算法流程图，其中参照正交匹配跟踪算法的思路，我们针对变换域信号设计了重构算法，该方法使用重建元素集的索引集不断更新感测矩阵A的列，非常适合多径效应中的信号重构。当迭代次数t达到稀疏度K时，算法结束并输出原始信号的估计，该算法可以找到最接近原始信号的元素并减少迭代次数，当算法满足收敛条件时，利用最优化的传感矩阵A中的元素可以恢复未受多径效应影响的深度值。

深度值计算模块：本模块的作用是通过变换域信号重构模块的结果，计算得到未受多径效应影响的深度值。模块的输入是变换域信号重构模块输出的最优传感矩阵A和信号x，输出是主路径分量的深度值。在变换域信号重构模块中我们得到了最优的传感矩阵A，以及x中包含的每个路径的衰减系数，由于重构出来的原始信号x满足稀疏性条件，即只含有少量的非零元素，通过非零衰减系数在向量中的位置和最优传感矩阵A中包含的主路径分量的的值，可以通过(公式2)反向计算出两个路径分量的深度值，从而得到主分量和干扰分量各自的深度，其中主路径分量的深度值就代表了未受多径效应影响的深度值。

图1是本发明脉冲型ToF相机成像模型计算模块示意图。如图1所示，包括：

步骤21，启动第一次快门，快门持续时间为2*T_p。

步骤22，获取第一次曝光的满激光脉冲光强图S0。

步骤23，上次快门结束后间隔2*T_p启动第二次快门，快门持续时间为2*T_p。

步骤24，获取第二次曝光的部分激光脉冲光强图S1。

步骤25，上次快门结束后间隔2*T_p启动第三次快门，快门持续时间为2*T_p。

步骤26，获取第三次曝光的背景光光强图BG。

步骤27，获取光子积累量的比例

步骤28，初始化深度公式中的参数，其中c≌3*10⁸m/s，T_p＝22ns。

步骤29，使用(公式2)计算出场景中每一个像素处对应的深度值，生成深度图。

图4是本发明脉冲型ToF相机多径效应补偿算法流程图。如图4所示，包括：

步骤41，输入测量向量y、稀疏度K，并使用(公式5)构造初始的传感矩阵A。

步骤42，初始化残差r₀＝y，索引集

t＝1。

步骤43，当t＜＝K时循环执行步骤44至步骤47。

步骤44，使用算法循环比较，找出残差r₀和传感矩阵A的列φ_j内积中最大值对应的脚标，记录在λ_t中。

步骤45，更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录找到的传感矩阵中的重建原子集合A_t＝[A_t-1，φ_λt]。

步骤46，由最小二乘得到原始信号x的估计。

步骤47，更新残差r_t＝y-A_tx_t，t＝t+1。

步骤48，记录算法结束后原始信号x的估计和最优化的传感矩阵A。

应当理解，虽然本说明书根据实施方式加以描述，但是并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域的技术人员应当将说明书作为一个整体，各个实施方式中的技术方案也可以适当组合，按照本领域技术人员的理解来实施。

上文所列出的一系列详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用于限制本发明的保护范围，凡是未脱离发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于脉冲型ToF相机深度图像的多径效应补偿方法，其特征在于，

基于脉冲型ToF相机成像模型，

脉冲型ToF相机测量到的光强图像中每一个像素都是由两个路径返回光强度叠加得到的，即主路径分量和干扰路径分量，通过在不同的发射激光半周期T_p下进行K次测量，脉冲型ToF相机成像模型表示如(公式1)所示：

其中，d_K代表第K次实际测量得到的主路径分量和干扰路径分量已经混合的深度值，S0_K’,S1_K’和BG_K’分别代表第K次测量中主路径分量对S0,S1和BG三张深度图的贡献，S0_K”,S1_K”和BG_K”分别代表第K次测量中干扰路径分量对S0,S1和BG三张深度图的贡献，Γ₁和Γ₂分别代表两个路径的反射系数，即反射后的幅度衰减程度；

本方法包括四个模块，分别是脉冲型ToF相机成像模型计算模块、原始信号到变换域的转换模块、变换域信号重构模块、深度值计算模块，所实现方法如下：

脉冲型ToF相机成像模型计算模块：此模块是根据脉冲型ToF相机三次快门曝光量计算深度的测距原理来计算场景中每个像素深度值的数学模块，模块的输入是三次快门获得的三张光强图像，输出是由三张光强图像计算得到的深度图像，深度值的公式如(公式2)所示：

其中d是相机到物体的距离，c是光速，T_p是发射激光脉冲周期的一半，S0,S1和BG分别表示图1脉冲型ToF成像模型中三次快门收集的光子强度，即S0是第一次快门接收到的完整激光脉冲，S1是第二次快门接收到的部分激光脉冲，BG是第三次快门接收到的背景光；

原始信号到变换域的转换模块：本模块的作用是将不同发射激光半周期T_p下进行的K次测量得到的深度值组成的向量y进行变换得初步重构向量

使其满足稀疏性条件，以满足后续信号重建算法的要求，变换公式为：

y＝A*x (公式3)

其中，

式中，d_K代表第K次由相机成像模型计算模块实际测量得到的深度值，

对A进行初始化，并根据(公式3)得到初步重构的X，A可由以下公式表示：

初始化的时候认为A矩阵中主路径和干扰路径强度都一样，即等于通过相机成像模型计算模块得到的S0,S1和BG；

变换域信号重构模块：本模块的作用是通过信号重构算法不断优化矩阵A并使用L₁范数正则化方法来尽可能使重构信号接近原始信号x，最终从最优的矩阵A和x中获得主路径分量和干扰路径分量的值；模块的输入是脉冲型ToF相机成像模型计算模块在K次测量中输出的深度图像组成的向量y和原始信号到变换域的转换模块初始化的传感矩阵A′，输出是最优的传感矩阵A和重构后的信号x；

深度值计算模块：本模块的作用是通过变换域信号重构模块的结果，计算得到未受多径效应影响的深度值，模块的输入是变换域信号重构模块输出的最优传感矩阵A和信号x，输出是主路径分量的深度值，具体为：重构出来的原始信号x满足稀疏性条件，即只含有少量的非零元素，通过非零衰减系数在向量中的位置和最优传感矩阵A中包含的主路径分量的

的值，通过(公式2)反向计算出两个路径分量的深度值，从而得到主分量和干扰分量各自的深度，其中主路径分量的深度值就代表了未受多径效应影响的深度值。

2.根据权利要求1所述的一种基于脉冲型ToF相机深度图像的多径效应补偿方法，其特征在于，变换域信号重构模块中所述的信号重构算法采用正交匹配跟踪(OMP)算法，其中，残差初始化为y，y是原始信号到变换域的转换模块中K次测量得到的深度值组成的向量，残差更新公式为：y-A″X″，A″为更新后的传感矩阵，

第n次迭代中，对于初始化的传感矩阵A’，寻找与残差最相关的列向量a，并将列向量a作为新的传感矩阵A″的第n列，得到更新后的传感矩阵A″，通过范数优化得到x的估计X″，再更新残差，进行下一次迭代，直到迭代次数达到稀疏度K，其中残差更新公式为：y-A″X″。

Images