CN108519588B - 一种多频相位解缠方法及装置 - Google Patents

Abstract

本发明公开一种多频相位解缠方法及装置，属于计算机视觉技术领域。本发明的多频相位解缠方法包括：利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；基于中国剩余定理展开多组解缠系数约束得到展开的相位测量值；通过加权平均值组合展开的相位测量值得到伪距离估计值；基于核密度估计伪距离估计值得到解包概率；通过解包概率构造得到预测假设子集；基于预测假设子集计算预测相位噪声及预测相位的可能值；利用核密度估计对预测相位的可能值进行排序并确定解缠相位值。本发明的一种多频相位解缠方法及装置适用于Kinect v2传感器的深度解码，能够增加有效像素的覆盖范围，同时保持实时性。

Description

一种多频相位解缠方法及装置

技术领域

本发明涉及一种多频相位解缠方法及装置，属于计算机视觉技术领域。

背景技术

在飞行时间传感器中，调制的光信号照射到环境中的物体上，之后通过在传感器的像素阵列中捕获反射的光信号，通过光在空气中传播的时间差，来计算环境中的物体距传感器的距离即深度像素值，相位解缠的目的是选择光调制信号的正确周期(对于

即确定k的解)，因为错误的周期会导致较大的深度误差。

多频解缠问题的经典解决方案是使用中国剩余定理，这种方法是快速的，但隐式的假设了无噪声的数据，它通过代替为每个频率产生多个解缠，然后沿着该范围轴执行聚类，实现了对噪声更好的鲁棒性。由于其使用的简单性，CRT仍然被很多人主张使用。在不同频率下同时展开多个相位是在条纹图案投影技术中也出现的一个问题。但是，由于相位估计方法不同，相位与深度的关系不同，所以算法并不完全等价。

另一种解析飞行时间相移的方法是使用表面反射率约束，由于与每个相位测量相关的振幅是物距和表面反射率的函数，假定局部恒定的反射率，深度可以用具有数据项和反射率平滑项的马尔可夫随机场(MRF)公式进行解析。最近的一个扩展方法是利用距离、表面反照率和局部表面法线被用来预测反射率。在用于ToF测量的模拟器中，对MRF的性能进行了评估，该MRF使用小波基进行同时展开和去噪。但是，实际数据的性能却没有显示出来。现有的技术在深度解码后，由于其测量的深度值的有效范围比较小，有效像素的覆盖范围也比较少，像素的实际数据的性能并没有显示出来。

发明内容

本发明的目的在于提供一种多频相位解缠方法及装置通过生成多个深度假设，并使用空间核密度估计(KDE)进行排序，并引入一个新的闭式表达式用于相位噪声预测，更适合实际的数据，适用于Kinect v2传感器的深度解码，能够增加有效像素的覆盖范围，同时保持实时性。

本发明提供技术方案如下：

一方面，本发明提供了一种多频相位解缠方法，包括：

利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值；

通过加权平均值组合所述展开的相位测量值得到伪距离估计值；

基于核密度估计所述伪距离估计值得到解包概率；

通过所述解包概率构造得到预测假设子集；

基于所述预测假设子集计算预测相位噪声及预测相位的可能值；

利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值。

根据本发明的一实施方式，所述利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束的步骤包括：

复相的发射信号和接收信号之间的相移z表示为：

其中，p_O是一个共同的相位偏移，v_k是使用量子效率调制和积分产生的电压值，N为不同的参考信号的数量，每个相位相移

弧度，k＝0…N-1。

实际的相移φ和相应的幅度a表示为：。

φ＝argz and a＝|z|

飞行时间距离表示为：

其中，c是光的速度，f_m是调制频率，m为调制频率的个数。

相移

表示为：

n即为相位解缠。

通过不同调制频率的M个调幅信号的相位测量值得到以下关系：

其中，

是

除以相应频率的最小公倍数，

是所寻求的解缠系数集合。

解缠系数约束表示为：

根据本发明的另一实施方式，所述基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值的步骤包括：

中国剩余定理(CRT)表示为：

根据本发明的另一实施方式，所述伪距离估计表示为：

其中，

是φ_m中噪声的标准偏差，M为调幅信号的个数。

根据本发明的另一实施方式，所述基于核密度估计所述伪距离估计值得到解包概率的步骤包括：

假设tⁱ(x)是解缠系数n＝(n₀,...,n_M-1)的函数。假设tⁱ(x)的核密度是空间邻域中所有考虑的假设的加权和表示为：

其中，K(·)是内核，表示为：

h是内核尺度，i、j∈[0,M-1]k∈[0,N-1]；

w_jk是一个样本权重，定义为:

w_ik＝g(x-x_k,σ)p(tⁱ(x_k)|n_i(x_k))p(tⁱ(x_k)|a_i(x_k))

其中：g(x-x_k,σ)是空间权重，p(tⁱ(x)|n_i(x)是解缠的可能性，p(tⁱ(x)|a_i(x)是相位似然，a_i＝(a₀,...,a_M-1)是相位的幅度。

解包概率表示为：

其中，J(n)为代价函数，通过解缠系数约束的方程的残差来定义，表示为：

t^*是展开的伪距离的融合，s₁是要确定的比例因子。

根据本发明的另一实施方式，当传感器为Kinect v2，n₀＝n₁＝0且n₂为0或1时，所述预测假设子集包括30个不同假设。

根据本发明的另一实施方式，所述基于所述预测假设子集计算预测相位噪声及预测相位的可能值的步骤包括：

通过幅度预测相位噪声，σ_φ＝γ/a，其中γ是待确定的参数，a为相位幅值。

使用预测相位噪声定义相位的可能值：

其中，s₂是要调整的参数。

根据本发明的另一实施方式，所述利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值的步骤包括：

基于核密度估对假设tⁱ进行排序，得到假设选择：

校正函数为：

其中，p_min为一个最小值，i∈[0,M-1],k∈[0,N-1],。

另一方面，本发明还提供了一种多频相位解缠装置，包括：

初步相位解缠模块，用于利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

展开模块，用于基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值；

相位组合模块，用于通过加权平均值组合所述展开的相位测量值得到伪距离估计值；

可能性获取模块，用于基于核密度估计所述伪距离估计值得到解包概率；

假设构造模块，用于通过所述解包概率构造得到预测假设子集；

预测模块，用于基于所述预测假设子集计算预测相位噪声及预测相位的可能值；

选择确定模块，用于利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值。

本发明的有益效果如下：

本发明的一种多频相位解缠方法通过生成多个深度假设，并使用空间核密度估计(KDE)进行排序，KDE产生的置信度用于检测异常值，并引入一个新的闭式表达式用于相位噪声预测，更适合实际的数据。本发明实施例的多频相位解缠方法适用于Kinect v2传感器的深度解码，能够增加有效像素的覆盖范围，同时保持实时性，与传统的解缠方法相比，本方法能够增加相机测量的有效深度范围，同时产生更有效的深度测量，本发明的测量深度值最大为18.75m是传统方法的两倍多，因此能够更好的对大场景进行3D扫描重建。

附图说明

图1为本发明的一种多频相位解缠方法的一个实施例的流程示意图；

图2为本发明的一种多频相位解缠装置的一个实施例的结构框图；

图3为本发明的Kinect v2.0的封装阶段。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，如图1所示，本发明实施例提供了一种多频相位解缠方法，包括：

步骤100：利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

步骤200：基于中国剩余定理展开多组解缠系数约束得到展开的相位测量值；

步骤300：通过加权平均值组合展开的相位测量值得到伪距离估计值；

步骤400：基于核密度估计伪距离估计值得到解包概率；

步骤500：通过解包概率构造得到预测假设子集；

步骤600：基于预测假设子集计算预测相位噪声及预测相位的可能值；

步骤700：利用核密度估计对预测相位的可能值进行排序并确定解缠相位值。

本发明实施例的一种多频相位解缠方法通过生成多个深度假设，并使用空间核密度估计(KDE)进行排序，KDE产生的置信度用于检测异常值，并引入一个新的闭式表达式用于相位噪声预测，更适合实际的数据。本发明实施例的多频相位解缠方法适用于Kinect v2传感器的深度解码，能够增加有效像素的覆盖范围，同时保持实时性，由于可以使用完整的深度范围能够对大场景进行更好的3D扫描。

作为一个举例说明，本发明实施例的一种多频相位解缠方法的步骤100包括：

复相的发射信号和接收信号之间的相移z表示为：

其中，p_O是一个共同的相位偏移，v_k是使用量子效率调制和积分产生的电压值，N为不同的参考信号的数量，每个相位相移

弧度，k＝0…N-1,通常使用N＝4，在Kinect v2中有N＝3。

实际的相移φ和相应的幅度a表示为：。

φ＝argz and a＝|z|   (2)

振幅与反射信号强度成正比，当电压值对z一致时，振幅增加。因此，在解码阶段作为置信度的度量是有用的。

飞行时间距离表示为：

其中，c是光的速度，f_m是调制频率，m为调制频率的个数。

从(2)式得到的相移是模2π的真正相移。因此，在d大于c/2f_m的环境中是不明确的，因此，找到正确的周期，表达式中的n称为相位解缠。

相移

表示为：

n即为相位解缠。

通过不同调制频率的M个调幅信号的相位测量值得到以下关系：

其中，

是

除以相应频率的最小公倍数，

是所寻求的解缠系数集合。

解缠系数约束表示为：

总共有M(M-1)/2个这样的等式。由于系统是多余的，正确的解缠不能通过例如高斯进行消除，并且在实践中，由于测量噪声，等式不可能保持，但是约束可以用来定义特定解缠的可能性。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法的步骤200包括：

相位测量的不确定性可以通过在(7)中应用一个中国剩余定理(CRT)的一个变量来解决。

中国剩余定理(CRT)表示为：

在多于两个频率的情况下，展开的相位可以用于(8)中的下一个方程(7)以展开下一个相位。最后，当所有方程已经被使用时，组合相位测量的完全不含糊的范围已被解开。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法的伪距离估计表示为：

其中，

是φ_m中噪声的标准偏差，M为调幅信号的个数,展开的相位测量值通过使用加权平均值进行组合。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法的步骤400包括：

假设tⁱ(x)是解缠系数n＝(n₀,...,n_M-1)的函数。假设tⁱ(x)的核密度是空间邻域中所有考虑的假设的加权和表示为：

其中，K(·)是内核，表示为：

h是内核尺度，i、j∈[0,M-1]k∈[0,N-1]；

如果我们在每个像素中具有两个假设，则I＝{1,2})以及所有空间邻居N(x)＝{k:||x_k-x||₁＜r}的集合定义，其中r是平方截断半径。

w_jk是一个样本权重，定义为:

w_ik＝g(x-x_k,σ)p(tⁱ(x_k)|n_i(x_k))p(tⁱ(x_k)|a_i(x_k))   (13)

其中：g(x-x_k,σ)是空间权重，p(tⁱ(x)|n_i(x)是解缠的可能性，p(tⁱ(x)|a_i(x)是相位似然，a_i＝(a₀,...,a_M-1)是相位的幅度。

解包概率表示为：

其中，J(n)为代价函数，通过解缠系数约束的方程的残差来定义，表示为：

t*是展开的伪距离的融合，s₁是要确定的比例因子。

对于正态分布的残差和M＝3的Kinect v2情况，(7)中的约束意味着：

和

为(15)中的权重。

的值可以从相位幅值a_m预测。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法当传感器为Kinectv2，n₀＝n₁＝0且n₂为0或1时，预测假设子集包括30个不同假设。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法的步骤600包括：

通过幅度预测相位噪声，σ_φ＝γ/a(19)，其中γ是待确定的参数，a为相位幅值。

虽然噪声从电压值传播到复相位向量z是线性的，但是最终的相位提取不是，利用sigma点传播来获得更精确的近似值。在几何上，相位矢量(2)的相位提取投影到一个圆上，因此噪声传播也是噪声分布p(z)在圆上的投影。p(z)以真实振幅a为中心，sigma点候选者位于半径为σ_z的圆上。通过找到圆切线通过原点的点，我们得到了噪声分布的精确投影。切点可以通过极极关系找到，对于点(x，y)和(x，-y)，可以得到表达式：

[从上述表达式中，可以预测相位噪声。

其中σ_z是要确定的模型参数。

在libfreenect中，双边滤波器应用于z向量，噪声衰减的结果取决于振幅，它可以被精确地模拟为a的二次多项式。

使用预测相位噪声定义相位的可能值：

其中，s₂是要调整的参数。

作为另一个举例说明，本发明实施例的一种多频相位解缠方法的步骤700包括：

基于核密度估对假设tⁱ进行排序，得到假设选择：

对于选定的假设，

也可用作置信度量度，可以被阈值化来抑制有问题的像素的输出。但是，如果空间支持很小，例如3×3时，加权的KDE偶尔会遇到样本耗尽问题(在一个邻域中只有很差的样本),这可以通过按照以下规则来调整置信度计算来校正：

校正函数为：

其中，p_min为一个最小值，i∈[0,M-1],k∈[0,N-1],p_min可以为0.5。

另一方面，如图2所示，本发明实施例还提供了一种多频相位解缠装置，包括：

初步相位解缠模块10，用于利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

展开模块20，用于基于中国剩余定理展开多组解缠系数约束得到展开的相位测量值；

相位组合模块30，用于通过加权平均值组合展开的相位测量值得到伪距离估计值；

可能性获取模块40，用于基于核密度估计伪距离估计值得到解包概率；

假设构造模块50，用于通过解包概率构造得到预测假设子集；

预测模块60，用于基于预测假设子集计算预测相位噪声及预测相位的可能值；

选择确定模块70，用于利用核密度估计对预测相位的可能值进行排序并确定解缠相位值。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种多频相位解缠方法，其特征在于，包括：

利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值；

通过加权平均值组合所述展开的相位测量值得到伪距离估计值；

基于核密度估计所述伪距离估计值得到解包概率；

通过所述解包概率构造得到预测假设子集；

基于所述预测假设子集计算预测相位噪声及预测相位的可能值；

利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值。

2.根据权利要求1所述的一种多频相位解缠方法，其特征在于，所述利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束的步骤包括：

复相的发射信号和接收信号之间的相移z表示为：

其中，p_O是一个共同的相位偏移，v_k是使用量子效率调制和积分产生的电压值，N为不同的参考信号的数量，每个相位相移

弧度，k＝0…N-1；

实际的相移φ和相应的幅度a表示为：

φ＝argz，a＝|z|

飞行时间距离表示为：

其中，c是光的速度，f_m是调制频率，m为调制频率的个数；

相移

表示为：

n即为相位解缠；

通过不同调制频率的M个调幅信号的相位测量值得到以下关系：

其中，

是

除以相应频率的最小公倍数，

是所寻求的解缠系数集合；

解缠系数约束表示为：

3.根据权利要求2所述的一种多频相位解缠方法，其特征在于，所述基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值的步骤包括：

中国剩余定理(CRT)表示为：

4.根据权利要求3所述的一种多频相位解缠方法，其特征在于，所述伪距离估计表示为：

其中，

是φ_m中噪声的标准偏差，M为调幅信号的个数。

5.根据权利要求4所述的一种多频相位解缠方法，其特征在于，所述基于核密度估计所述伪距离估计值得到解包概率的步骤包括：

假设tⁱ(x)是解缠系数n＝(n₀,...,n_M-1)的函数。假设tⁱ(x)的核密度是空间邻域中所有考虑的假设的加权和表示为：

其中，K(·)是内核，表示为：

h是内核尺度，i、j∈[0,M-1]k∈[0,N-1]；

w_jk是一个样本权重，定义为:

w_jk＝g(x-x_k,σ)p(t^j(x_k)|n_j(x_k))p(t^j(x_k)|a_j(x_k))

其中：g(x-x_k,σ)是空间权重，p(t^j(x)|n_j(x)是解缠的可能性，p(t^j(x)|a_j(x)是相位似然，a_j＝(a₀,...,a_M-1)是相位的幅度；

解包概率表示为：

其中，J(n)为代价函数，通过解缠系数约束的方程的残差来定义，表示为：

t^*是展开的伪距离的融合，s₁是要确定的比例因子。

6.根据权利要求5所述的一种多频相位解缠方法，其特征在于，当传感器为Kinect v2，n₀＝n₁＝0且n₂为0或1时，所述预测假设子集包括30个不同假设。

7.根据权利要求6任一所述的一种多频相位解缠方法，其特征在于，所述基于所述预测假设子集计算预测相位噪声及预测相位的可能值的步骤包括：

通过幅度预测相位噪声，σ_φ＝γ/a，其中γ是待确定的参数，a为相位幅值；

使用预测相位噪声定义相位的可能值：

其中，s₂是要调整的参数。

8.根据权利要求7所述的一种多频相位解缠方法，其特征在于，所述利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值的步骤包括：

基于核密度估对假设tⁱ进行排序，得到假设选择：

校正函数为：

其中，p_min为一个最小值，i∈[0,M-1],k∈[0,N-1]。

9.一种多频相位解缠装置，其特征在于，包括：

初步相位解缠模块，用于利用不同调制频率下的多个调制信号的相位测量值进行初步相位解缠得到多组解缠系数约束；

展开模块，用于基于中国剩余定理展开所述多组解缠系数约束得到展开的相位测量值；

相位组合模块，用于通过加权平均值组合所述展开的相位测量值得到伪距离估计值；

可能性获取模块，用于基于核密度估计所述伪距离估计值得到解包概率；

假设构造模块，用于通过所述解包概率构造得到预测假设子集；

预测模块，用于基于所述预测假设子集计算预测相位噪声及预测相位的可能值；

选择确定模块，用于利用所述核密度估计对预测相位的可能值进行排序并确定解缠相位值。

Images