CN105844623A - 基于De序列混合编码的目标物体深度信息获取方法 - Google Patents

Abstract

本发明公开了一种基于De序列混合编码的目标物体深度信息获取方法，主要解决现有三帧相移方法中相位展开问题。其实现步骤为：1)设计需要投射的三张De序列混合编码模板T₁、T₂、T₃；2)将三张混合模板图像依次投射到目标物体上；3)采集由三张混合模板照亮目标后的形变图像并传回至计算机解码，得到截断相位φ；4)从形变图像计算得到形变后的De序列图案并对其解码，得到φ的延拓周期数n；5)根据延拓周期数n对φ进行相位延拓，获得连续的相位值；6)对相位值进行求解，得到目标物体的深度信息；本发明鲁棒性强、测量精度和分辨率高、处理耗时少，可用于人机交互、医疗应用、逆向工程、文物重建。

Description

基于De序列混合编码的目标物体深度信息获取方法

技术领域

本发明属于深度测量技术领域，主要涉及一种目标物体深度信息的获取方法，可用于人机交互、医疗应用、逆向工程、文物重建、自动导航等领域。

背景技术

人类发展的过程也是对世界认知的过程，在人类对外部世界认知的过程中，主要是通过视觉、触觉、听觉、嗅觉等感官来获取外部世界的信息，而这些信息中有80％以上是通过视觉获得的。因此，通过视觉获得信息是人类认识外部世界的主要方式。随着计算机视觉和工业水平的发展，传统的二维图像已不能满足人们的认知需求。深度信息，反映了物体表面的三维信息，大大提高了人们认识和理解真实世界物体复杂性的能力，因此，深度信息得到了越来越多的应用。

深度信息获取方法在经过数十年的研究已取得很大进展，在已有方法中，根据测量时是否接触被测物体一般分为接触式和非接触式两种测量方法。接触式测量方法是通过物理接触被测物体的表面来感知物体的深度信息，具体的实现方法如坐标测量机等。由于该方法在测量时必须接触被测物体，因此很容易改变或破坏被测物体的表面，甚至损坏被测物体，这对贵重的物品或历史文物的测量中将无法使用。而且该方法对硬件要求高、速率低、使用不方便，往往只能得到少数特征点的深度信息，因此重点讨论非接触式方法。非接触式测量方法不需要与被测量物体直接接触，而是主要通过光学图像的处理来获得被测物体的深度信息，故该方法可以避免接触式测量方法中的缺点。

非接触式方法的测量速度快，分辨率高，已成为现阶段获取三维信息的一个重要研究方法。利用该方法在进行测量的过程中，根据场景中光源的光照形式定义为两种类型：主动式测量和被动式测量。主动式测量方法需要通过光源向被测场景中投射特定的编码模板，被动式测量方法则对光源没有严格要求，只需要自然光条件下基于一幅或多幅图像进行深度数据获取。

被动式测量方法是当前深度测量领域中研究和应用比较广泛的一种三维深度数据获取方法。被动式测量方法仅由环境光提供照明，在被测物体表面产生反射，不需要额外添加可控光源，由一个或多个摄像机从不同角度获得二维图像，并利用特定算法提取拍摄场 景的三维数据信息。被动式测量方法对成像设备要求不高，不需要额外光源，而且操作简便，容易实现。但是由于场景中缺少编码信息，对于不存在明显特征的图像，该方法计算量大，处理耗时，匹配精度低，难以获得高精度实时的测量结果。同时由于该方法对环境光比较敏感，受周围环境影响较大，应用范围受到限制。但是由于不需要额外光源使该方法具有应用范围广的优点，该方法不仅能应用于室内小场景的深度测量，也可以用于室外大场景的深度数据获取，目前常用的被动式测量方法有立体视觉法、单目视觉法、阴影测量法等。

主动式测量方法与被动式测量方法不同，在主动测量中通常使用额外光源向待测场景中投射一定的模板图像，并通过待测场景中物体表面调制形成相应的形变信息，通过摄像机获得的场景图像进行解码得到待测物体的深度数据。这种测量方法相比于被动式方法增加了场景中可以提取的信息，具有较高的测量精度。测量精度与实时是一对矛盾，很难同时满足。根据测量原理不同，主动式测量方法主要包括激光扫描法、飞行时间法和结构光在众多主动式测量方法中，结构光法具有结构简单、测量精确等优点，其中的三帧相移法测量获得的深度数据可以和真实深度数据相媲美。但是由于三帧相移法中采用传统的洪水法进行相位解缠绕，使得整个三帧相移法的处理过程很耗时。因此传统的三帧相移法只适合静态场景的深度获取，而很难应对动态场景的深度获取。

发明内容

本发明的目的在于这对上述现有技术的不足，提出一种基于De序列混合编码的目标物体深度信息获取方法，以解决传统三帧相移中的相位解缠绕问题，提高在动态场景下获取深度信息的分辨率和精确度以及速度。

本发明的技术方案是：对已有的三帧相移法进行改进，在三张正弦模板中加入相同的De序列模板从而生成一种新的混合模板，使用投影仪将生成的混合模板投射到实际场景中，相机拍摄被混合模板照射后的场景，根据拍摄到的场景的变形条纹图案从而求解出每个像素点的截断相位，并利用De序列编码信息对截断相位进行相位延拓，得到每个像素点在模板中匹配点的位置坐标，进而获得物体的深度信息。其实现步骤包括如下：

(1)设计需要投射的三张De序列混合编码模板T₁、T₂、T₃：

1a)设计三张正弦相位模板计算每一张正弦相位模板中每个像素点的灰度值:

其中m＝1,2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中的初始相位分别为

1b)设计De序列模板I_D，计算De序列模板中每个像素点I_D(x,y)的灰度值：

其中T为1a)中正弦条纹的周期，N为De序列编码中像素灰度值的最大值，De序列由基元0和基元1组成，基元0在一个周期中表示成一个线性递增函数，基元1在一个周期中表示成一个线性递减函数；

1c)设计三张混合模板T_m，计算每张混合模板中每个像素点T_m(x,y)的灰度值：

其中m＝1,2,3，T_m(x,y)由两部分构成，其中表示正弦相位模板中像素点的像素值，I_D(x,y)表示De序列模板中像素点的像素值；

(2)将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将混合模板图像T₁、T₂、T₃依次投射到目标物体上；

(3)相机同步采集由混合模板T_m照亮目标后的图像中每个像素点(x,y)处的灰度值为：

其中m＝1,2,3，为形变图案的直流分量，形变图案的交流分量。

(4)计算截断相位图φ中每个像素点的截断相位φ(x,y)：

(5)计算畸变后De序列编码中周期数n；

(6)根据步骤(4)和(5)的结果，计算绝对相位图中每个像素点的绝对相位

(7)根据三角测距原理与(6)中获得的绝对相位图计算目标物体三维深度图Z。

本发明与现有技术相比具有以下优点：

第一，本发明对传统的三帧相移法进行改进，不需要增加模板的数量和额外的物理设备即可提高相位延拓的计算速度，实现简单。

第二，本发明所述的混合编码方法结合了相移编码和De序列编码，得益于De序列的性质，巧妙的解决了相位延拓的二义性，并且保证了深度信息获取的准确性和高分辨率。

第三，本发明中对每个像素点的处理步骤、流程都一样，而且互不相关，因此可以通过GPU实现并行计算。

附图说明

图1为本发明使用的系统组成图；

图2为本发明的实现流程图；

图3为本发明中设计的三幅De序列混合编码模板；

图4为本发明中求解的截断相位图；

图5为本发明中得到的De序列解码图；

图6为用本发明获得的目标物体的深度图和三维重构图。

具体实施方式

本发明是对传统相移法的改进，不需要增加额外的测量设备和测量步骤。以下参照附图对本发明作进一步详细描述。

参照图1，本发明使用的三维扫描系统包括：待测量的目标物体、投影仪P和相机C。投影仪P将设计好的混合模板投射到目标物体上，相机C同步拍摄由模板照亮后的目标，并将图像数据传送至计算机。

参照图2，本发明的实现步骤如下：

步骤1、设计需要投射的三张De序列混合编码模板T₁、T₂、T₃。

1a)设计三张正弦相位模板计算每一张正弦相位模板中每个像素点的灰度值:

其中m＝1,2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中的初始相位分别为

1b)设计De序列模板I_D，计算De序列模板中每个像素点I_D(x,y)的灰度值：

其中，N为De序列编码中像素灰度值的最大值，De序列由基元0和基元1组成，基元0在一个周期中表示成一个线性递增函数，基元1在一个周期中表示成一个线性递减函数；

1c)设计三张混合模板T_m，计算每张混合模板中每个像素点T_m(x,y)的灰度值：

其中m＝1,2,3，T_m(x,y)由两部分构成，其中表示正弦相位模板中像素点的像素值，I_D(x,y)表示De序列模板中像素点的像素值；

按上述步骤计算出每张混合模板图像中每一个像素点的灰度值，得到的混合模板图像T₁、T₂、T₃，如图3所示，其中图3(a)为第一幅模板图像T₁、图3(b)为第二幅模板图像T₂、图3(c)为第三幅模板图像T₃。

步骤2、将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将三张混合模板图像T₁、T₂、T₃依次投射到目标物体上。

步骤3、由混合模板T_m照亮目标，产生形变图像利用相机同步采集该形变图像其每个像素点(x,y)处的灰度值为：

其中m＝1,2,3，为直流分量，为交流分量。

步骤4、计算形变图像中每个像素点的截断相位φ(x,y)。

由于中的φ(x,y)为三个常量，因此可以通过联立线性方程组对其进行求解得：

按照上述步骤计算每一个点的截断相位φ(x,y)，可以得到截断相位图φ，如图4所示。

步骤5、从畸变后的De序列编码中解码出周期数n，以对步骤4中求解的截断相位进行周期延拓。

5a)累加三张形变的图像得到变形的De序列图案计算中每个像素点(x,y)处的灰度值

其中C(x,y)是一个常数，由于减去一个常数，并不会影响后续求解梯度图的过程，因此在实际处理中C(x,y)被忽略；

5b)为了解码出形变后De序列图案中的基元0和基元1，需要计算的梯度图Grad：

其中M_G为水平方向梯度模板，为图像的二维卷积操作；

5c)沿着水平方向遍历梯度图Grad的每一个像素点(x,y)，如果该像素点的梯度值大于0则将该像素点标记为De序列的基元0，否则将该像素点标记为De序列的基元1，由于相机采集的过程中存在噪声的干扰，因此需要采用投票机制对上述标记的结果进行校正，在一个De序列条纹中，将投票占有多数的基元码值标定为正确的码值；

5d)将每一个De序列条纹与该条纹相邻的两个De序列条纹组成码值进行解码，得到该条纹对应的序号N，即码值为000时N为0，当码值为001时N为1，当码值为011时N为2，当码值为111时N为3，当码值为110时N为4，当码值为101时N为5，当码值为010时N为6，当码值为100时N为7。

按上述5a)至5d)步骤计算得到的De序列解码结果如图5所示；

5e)计算条纹图像中B点对应的De序列周期延拓数S：

5e1)计算编码模板上点F在三维坐标系下的坐标(F_x,F_y,F_z)：

其中D_r为参考平面的距离，f为相机的焦距，(C_x,C_y,C_z)为相机光心的三维坐标值，(B_x,B_y,B_z)为形变图像中的一个像素点的三维坐标值；

5e2)计算编码模板上点F在模板中的二维坐标(x_F,y_F)：

其中K为相机内部参数矩阵，Φ为外部旋转矩阵，这两个参数矩阵可以通过相机的标定过程获得，w为齐次坐标下的比例系数；

5e3)根据5e2)得到条纹图像中B点对应的De序列周期延拓数S为：

其中，T为De序列中条纹的宽度，为向下取整算子；

5f)根据5d)和5e)的结果计算畸变后De序列编码中周期数：

n＝N+8S。

步骤6、根据步骤(4)和(5)的结果，计算绝对相位图中每个像素点的绝对相位

步骤7、根据三角测距原理与(6)中获得的绝对相位图计算目标物体三维深度图Z。

7a)沿着绝对相位图的水平方向，遍历中的每一个像素点(x,y)，计算出该点的视差d(x,y)：

7b)根据三角测距原理，计算三维深度图Z中每个像素点的深度Z(x,y):

$Z(x,y)=\frac{f\·b}{d(x,y)};$

其中f表示相机焦距，b表示摄像机光心和投影仪光心间的基线距离。

本发明的效果通过如下仿真进一步说明：在3dMAX平台上进行仿真实验，通过上述步骤得到的目标物体的三维信息，对目标物体进行仿真重构，其效果如图6所示，其中图6(a)为仿真得到的深度图，图6(b)为三维重构图。

从图6中可以看到，本发明重构出的目标物体精度高，处理耗时少，因此本发明提出的基于De序列混合编码的目标物体深度信息获取方法具有精度高、分辨率高、速度快的优点。

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于De序列混合编码的目标物体三维信息获取方法，包括：

(1)设计需要投射的三张De序列混合编码模板T₁、T₂、T₃：

1a)设计三张正弦相位模板计算每一张正弦相位模板中每个像素点的灰度值:

其中m＝1,2,3，A为直流分量，B为振幅，T为正弦条纹的周期，每张正弦相位模板中的初始相位分别为

1b)设计De序列模板I_D，计算De序列模板中每个像素点I_D(x,y)的灰度值：

其中T为1a)中正弦条纹的周期，N为De序列编码中像素灰度值的最大值，De序列由基元0和基元1组成，基元0在一个周期中表示成一个线性递增函数，基元1在一个周期中表示成一个线性递减函数；

1c)设计三张混合模板T_m，计算每张混合模板中每个像素点T_m(x,y)的灰度值：

其中m＝1,2,3，T_m(x,y)由两部分构成，其中表示正弦相位模板中像素点的像素值，I_D(x,y)表示De序列模板中像素点的像素值；

(2)将投影仪P与摄像机C水平放置，并使两者光轴平行，用投影仪P将混合模板图像T₁、T₂、T₃依次投射到目标物体上；

(3)相机同步采集由混合模板T_m照亮目标后的形变图像中每个像素点(x,y)处的灰度值为：

其中m＝1,2,3，为直流分量，为交流分量。

(4)计算截断相位图φ中每个像素点的截断相位φ(x,y)：

$\mathrm{\φ}(x,y)=arctan\[\frac{\sqrt{3}\[{\hat{T}}_1(x,y)-{\hat{T}}_2(x,y)\]}{2{\hat{T}}_0(x,y)-{\hat{T}}_1(x,y)-{\hat{T}}_2(x,y)}\];$

(5)计算畸变后De序列编码中周期数n；

(6)根据步骤(4)和(5)的结果，计算绝对相位图中每个像素点的绝对相位

(7)根据三角测距原理与(6)中获得的绝对相位图计算目标物体三维深度图Z。

2.根据权利要求1所述的基于De序列混合编码的目标物体三维信息获取方法，其中所述步骤(5)中计算畸变后De序列编码中周期数n，按如下步骤进行：

5a)累加三张形变的图像得到变形的De序列图案计算中每个像素点(x,y)处的灰度值

${\hat{I}}_D(x,y)=\frac{1}{3}\underset{m=0}{\overset{2}{\Σ}}{\hat{T}}_m(x,y)-C(x,y),$

其中C(x,y)是一个常数，根据De序列模板的性质，在实际处理中C(x,y)被忽略；

5b)计算形变后De序列图案的梯度图Grad：

$Grad={\hat{I}}_D\⊗M_G;$

其中M_G为梯度模板，为图像的卷积操作；

5c)沿着水平方向遍历梯度图Grad的每一个像素点(x,y)，如果该像素点的梯度值大于0则将该像素点标记为De序列的基元0，否则将该像素点标记为De序列的基元1；在一个De序列条纹中，将投票占有多数的基元码值标定为正确的码值；

5d)将每一个De序列条纹与该条纹相邻的两个De序列条纹组成码值进行解码，得到该条纹对应的序号N，即码值为000时N为0，当码值为001时N为1，当码值为011时N为2，当码值为111时N为3，当码值为110时N为4，当码值为101时N为5，当码值为010时N为6，当码值为100时N为7；

5e)计算条纹图像中B点对应的De序列周期延拓数S：

5e1)计算编码模板上点F在三维坐标系下的坐标(F_x,F_y,F_z)：

$(F_x,F_y,F_z)=\frac{f}{D_r}\left\{\right(C_x,C_y,C_z)+\frac{D_r-C_z}{B_z-C_z}\[(B_x,B_y,B_z)-(C_x,C_y,C_z)\]\},$

其中D_r为参考平面的距离，f为相机的焦距，(C_x,C_y,C_z)为相机光心的三维坐标值，(B_x,B_y,B_z)形变图像中的一个像素点的三维坐标值；

5e2)计算编码模板上点F在模板中的二维坐标(x_F,y_F)：

$\left[\begin{array}{c}w{x}_F\\ {\mathrm{wy}}_F\\ w\end{array}\right]=K\mathrm{\Φ}\left[\begin{array}{c}{F}_x\\ F_y\\ F_z\\ 1\end{array}\right],$

其中K为相机内部参数矩阵，Φ为外部旋转矩阵，w为齐次坐标下的比例系数；

5e3)根据5e2)得到条纹图像中B点对应的De序列周期延拓数S为：

其中，T为De序列中条纹的宽度，为向下取整算子；

5f)根据5d)和5e)的结果计算畸变后De序列编码中周期数：

n＝N+8S。

3.根据权利要求1所述的基于De序列混合编码的目标物体三维信息获取方法，其中所述步骤(7)中求解目标物体三维深度图Z，按如下步骤进行：

7a)沿着绝对相位图的水平方向，遍历中的每一个像素点(x,y)，计算出该点的视差d(x,y)：

7b)根据三角测距原理，计算三维深度图Z中每个像素点的深度Z(x,y):

$Z(x,y)=\frac{f\·b}{d(x,y)};$

其中f表示相机焦距，b表示摄像机光心和投影仪光心间的基线距离。