CN105303572B - 基于主被动结合的深度信息获取方法 - Google Patents

Abstract

本发明公开了一种基于主被动结合的深度信息获取方法，主要解决现有方法在截断相位延拓时耗时长和效率低的问题。其方案为：1)设计三幅模板图像；2)将两个摄像头C1、C2与投影仪P水平放置，并使三者光轴平行，用投影仪P将这三幅模板图像依次投射到目标物体上；3)通过两个深度摄像头C1、C2同步拍摄三幅编码模板投影到目标物体后发生的对应变形图像，并传回计算机对其解码，得到正弦条纹截断相位φ_ps和被动双目匹配的粗深度z_p；4)利用粗深度z_p指导截断相位φ_ps展开，根据三角测距原理，求得深度信息。本发明抗干扰能力强、目标物体深度信息测量精度高、分辨率高，可用于逆向工程、人机互动、文物三维重建。

Description

基于主被动结合的深度信息获取方法

技术领域

本发明属于计算机视觉测量技术领域，主要涉及一种目标物体深度信息的获取方法，可用于人机交互、3D打印、逆向工程、文物三维重建。

背景技术

随着当今计算机视觉技术的发展和人们生活水平的提高，传统的二维信息已经不能满足人们的需求，快速、高效的从场景中获取深度信息成为当前研究的热点。从场景中获取深度信息的过程叫做深度获取。当前深度获取方法主要分为接触式和非接触式两大类。

接触式是通过实际触碰物体表面来得到深度信息，如坐标测量机。接触式测量法虽可以获得高精度数据，但其硬件要求高、速率低、使用不方便，对物体存在一定损害性，且往往只能得到少数特征点的深度信息。

非接触式则不需要与目标物体接触就能获取目标物体的深度信息，如现有的激光雷达、CT、声呐等方法。非接触式的测量速度快，采样密集，已成为现阶段获取深度信息一个重要手段。在非接触式深度信息获取方法里面又主要分为被动方法和主动方法两大类。

被动式深度信息获取方法是通过测量由目标物体表面反射的周遭辐射性，如激光、可见光，来计算目标物体的深度信息，常见的计算方法有立体视觉法、阴影测量法、聚焦法等方法。其中应用最为广泛的立体视觉法是通过模拟人的视觉方式，采用两个或多个摄像机获得的多个角度下的被测物体的数字图像，根据特定采样点在两幅图像中的匹配像素点及摄像机的相对空间位置、光学参数，依据三角测量原理计算得出该点的三维坐标。虽然被动式测量方法对成像设备要求不高，不需要额外光源，且操作简便，容易实现，但是对于不存在明显特征的图像，如无明显角点，该方法计算量大，匹配精度低，难以获得精细的测量结果。

主动式深度信息获取是通过将额外的能量投射到目标物体，借助能量的反射来计算目标物体的深度信息，常见的投射能量有可见光、高能量光束、超声波和X射线等，主动式深度信息获取方法主要有激光扫描法、飞行时间法和结构光法。

激光扫描法采用激光扫描仪对物体逐点进行扫描从而获取深度信息，虽然精度较高，但是速度很慢；飞行时间法是新兴的三维成像技术之一，它的测量速度快，但采集得到的深度图像分辨率和精度都较低。

结构光法，其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标表面，利用图像采集设备记录被测目标表面的图像，将采集到的图像数据结合三角测距原理以及图形处理技术计算出物体表面的深度数据信息。这种方法既利用了图像作为信息载体，又利用可控光源形成明显纹理特征，能大大减小对诸如缺乏纹理、光滑、无明显灰度的表面区域进行匹配的难度。鉴于结构光三角化技术结构简单、测量速度快、精度高等特点，已得到广泛应用。

结构光法根据投射光图案又可分为单点法、单线法和编码法。单点结构光法具有准确度高、简单可靠的优点，但其测量速度慢；单线结构光法虽然比单点法测量速度有所提高，但是相应确定对应关系的难度也增大，影响了测量准确度。相比之下，编码结构光法通过编码解码使识别简化，有效提高了测量效率，因此成为目前结构光法最有前途的发展方向。

编码结构光法可分为空间、直接和时间三种编码方法。空间编码向景物投射一副编码图案、得到一副对应的编码图像，将编码图像和编码方式对照进行解码，从而解决两者的对应关系，它具有适合动态场景测量的优点，但是由于受其空间领域内特征点的影响，解码困难，测量误差增大，存在分辨率较低、受景物表面发射率不一致及颜色的影响等缺点。直接编码是指每个被编码像素都由其本身的灰度或颜色来识别，由于编码一般被浓缩成唯一的一副图案，噪声值增加，所以所用灰度或颜色的频谱非常宽，必须投射附加的参考图案，以便区分所用的投射灰度或颜色。该方法投射的图案数目较少，理论上适合动态测量且可以达到高分辨率，但编码图案识别困难，降低了测量准确度。

时间编码，是将多个不同的编码图案按时序先后投射到景物表面、得到相应的编码图像序列，将编码图像序列组合起来进行解码，它具有易于实现、3D测量准确度高、空间分辨率高等优点。时间编码结构光方法又可分为两灰度级编码方法、多灰度级编码方法和组合编码方法。

两灰度级编码方法中，最具代表性应用最为广泛的是格雷码法.其优点是鲁棒性好，可实现突变表面及不连续表面的测量，测量准确度高，但分辨率相对较低。

多灰度级编码方法中，最具代表性应用最为广泛的是相移法.其优点是测量准确度高，分辨率高，但在对相位进行相位解缠绕时存在二义性，并且算法实现起来耗时低效。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于主被动结合式的深度信息获取方法，以在不增加投影模板数量的情况下，避免相移法中耗时低效的问题，保证对深度信息测量的准确度和高分辨率。

实现本发明目的技术关键是：在相移法基础上，增加一个深度摄像头，构成由一对深度摄像头和一个投影仪组成的信息获取系统。通过投影仪向场景中投射相移模板，同过一对深度摄像头在获取截断相位的同时，恢复出自然场景图像，实现被动式双目匹配。将被动式双目匹配得到的粗略深度值，作为截断相位展开过程中的指导信息，进而得到精确的深度信息，包括：

(1)将一对深度摄像头(C1，C2)和一个投影仪P水平放置，并使三者光轴平行，在投影仪P中输入相移法中所需要投影的三幅模板图像T₁、T₂、T₃；

(2)用投影仪P将三幅模板图像T₁、T₂、T₃依次投射到目标物体上，通过第一深度摄像头C1依次同步拍摄三幅模板图像投射到目标物体后发生的第一组变形图像同时，通过第二深度摄像头C2依次同步拍摄三幅模板图像投射到目标物体后发生的第二组变形图像并把这两组变形图像传回至计算机；

(3)计算机根据第二组变形图像的灰度值进行解码，得到这些变形图像中正弦条纹截断相位φ_ps；

(4)计算机对第一组变形图像进行叠加得到第一幅自然场景图像对第二组变形图像进行叠加得到第二幅自然场景图像再对这两幅自然场景图像和进行被动双目匹配，得到粗深度z_p；

(5)利用步骤(4)得到的粗深度z_p对步骤(3)得到的截断相位φ_ps进行展开，得到第二组变形图像上像素点(x,y)对应在模板图像上亚像素级匹配点的列坐标j，再根据三角测距原理，求得精确深度信息。

本发明与现有技术相比具有以下优点：

第一，本发明是对传统相移法的改进，只增加一个深度摄像头，不需增加额外的模板数量，实现简单。

第二，本发明所述深度获取方法结合了主动式和被动式深度获取方法的优点，利用被动双目匹配所获得的粗深度z_p对截断相位φ_ps进行展开，避开了传统相移法在相位展开时所存在的耗时低效的问题，保证深度信息获取的准确度和高分辨率。

附图说明

图1为本发明使用的系统框图；

图2为本发明的实现流程图；

图3为本发明使用的三幅模板图像；

图4为用本发明获得的自然场景图以及对应的正弦条纹截断相位图；

图5为用本发明获得的目标物体的深度图。

具体实施方式

本发明是对传统相移法的改进，只增加一个深度摄像头，不需要增加额外的模板数量。以下参照附图对本发明作进一步详细描述。

参照图1，本发明使用的三维扫描系统包括：待扫描的目标物体、第一深度摄像头C1、第二深度摄像头C2和投影仪P。投影仪P投射编码模板到目标物体上，第一深度摄像头C1、第二深度摄像头C2分别同步拍摄编码模板投射到目标物体后的对应变形图像。

参照图2，本发明的实现步骤如下：

步骤1、在投影仪P中输入相移法中所需要投影的三幅模板图像T₁、T₂、T₃。

1a)按照相移法中所需要投影，设定三幅模板图像T₁、T₂、T₃中正弦条纹的直流分量A，正弦条纹幅度B，正弦条纹周期T_ps；

1b)设定三幅模板图像T₁、T₂、T₃的初始相移δ_i，i＝1,2,3分别为δ₁＝0，δ₂＝2π/3，δ₃＝-2π/3；

1c)将第一深度摄像头C1，第二深度摄像头C2和投影仪P水平放置，并使三者光轴平行，将上述三幅模板图像T₁、T₂、T₃输入到投影仪P中，结果如图3，其中，图3(a)为第一幅模板图像T₁，图3(b)为第二幅模板图像T₂，图3(c)为第三幅模板图像T₃。

步骤2、通过深度摄像头捕获模板图像投射后的变形图像。

用投影仪P将三幅模板图像T₁、T₂、T₃依次投射到目标物体上；

通过第一深度摄像头C1依次同步拍摄三幅模板图像投射到目标物体后发生的第一组变形图像同时，通过第二深度摄像头C2依次同步拍摄三幅模板图像投射到目标物体后发生的第二组变形图像

将用第一深度摄像头C1和第二深度摄像头C2拍摄的这两组变形图像传回至计算机。

步骤3、计算机根据第二组变形图像的灰度值进行解码，得到这些变形图像中正弦条纹截断相位φ_ps。

3a)计算三幅模板图像T₁、T₂、T₃中像素点(x,y)处正弦条纹的灰度值：

其中，I_ps(x,y,δ_i)为第i幅模板图像中像素点(x,y)处正弦条纹的灰度值，T_ps是模板图像中正弦条纹的周期，单位为像素；

3b)计算第二组对应变形图像中正弦条纹截断相位φ_ps(x,y)

3b1)计算第二组对应变形图像上像素点(x,y)处的正弦条纹灰度值为：

其中，为第二组对应变形图像上像素点(x,y)处背景光强，为第二组对应变形图像上像素点(x,y)处正弦条纹调制深度，Φ_ps(x,y)为三幅模板图像T₁、T₂、T₃中像素点(x,y)处正弦条纹被目标物体调制后的相位，即截断相位φ_ps(x,y)的延拓相位；

3b2)对进行正弦函数和差化积展开，得到如下式子：

3b3)将式《3》看成是的Fourier级数展开，其中为直流分量，和为一阶谐波分量，根据三角函数的正交性有：

从式《4》可以得到：

3b4)根据式《5》，将正弦条纹截断相位φ_ps(x,y)表示为：

本步骤得到的截断相位如图4所示，其中图4(a)中表示自然场景图，图4(b)表示解码出的正弦条纹截断相位φ_ps(x,y)。

步骤4、计算机对两组变形图像进行叠加，并进行被动双目匹配，得到粗深度z_p。

4a)计算机对第一组变形图像进行叠加，得到第一幅自然场景图像

4b)计算机对第二组变形图像进行叠加，得到第二幅自然场景图像

4c)对以上两幅自然场景图像和进行被动双目匹配，得到图像上的像素点p'与图像上对应的匹配点p的视差值d_p：

d_p＝(y_p-y_p')l_cam， 《9》

其中，y_p'是图像上像素点p'的列坐标，y_p是图像上对应的匹配点p的列坐标，l_cam代表第二深度摄像头C2中每个像素点的实际长度；

4d)根据图像上的像素点p'与图像上对应的匹配点p的视差值d_p，得到粗深度z_p：

其中，f为第二深度摄像头C2的焦距，b_c为第一深度摄像头C1光心与第二深度摄像头C2光心之间的长度；

本步骤得到的粗深度如图5(a)所示。

步骤5、根据正弦条纹截断相位φ_ps和粗深度z_p，求解得到目标物体在世界坐标系下的精确深度信息。

5a)计算图像上的像素点p在投影模板中的粗匹配点的列坐标y_t：

其中，l_proj为投影仪中每个像素点的实际长度；

5b)计算截断相位φ_ps展开所需的周期数n：

其中，T_ps为模板图像中正弦条纹周期，[·]表示按四舍五入方式取整；

5c)计算第二组变形图像上的像素点p对应在模板图像中的亚像素级匹配点坐标(i,j)的列坐标j：

根据编码阶段是沿着x方向进行编码的，则第二组变形图像中像素点(x,y)与对应在模板图像中的匹配点(i,j)在y方向上保持不变，即i＝x；

5d)利用第二组变形图像中像素点(x,y)与模板图像中的亚像素级匹配点(i,j)的空间关系，根据三角测距原理，计算待测物体上任意一点的精确深度信息。

第二组变形图像中像素点(x,y)、待测物体上的一点和模板图像中的亚像素级匹配点(i,j)这三点可构成三角形，将世界坐标系的原点选在第二深度摄像头C2的光心，则待测物体上的任意一点在世界坐标系下的第一维坐标值H_x正比于第二组变形图像中像素点与世界坐标系原点的距离，即：

H_x＝(y-N_V/2)Δd_V 《15》

其中，y为第二组变形图像中像素点(x,y)的列坐标，N_V为第二组变形图像的总列数，Δd_V为第二组变形图像中每个像素的实际宽度；

根据第一维坐标值H_x，计算待测物体上一点的精确深度信息H_z：

其中，b为第二深度摄像头C2光心与投影仪P光心之间的长度，j为模板图像中的亚像素级匹配点(i,j)的列坐标，N_T为模板图像的总列数，Δd_T为模板图像当中每个像素的实际宽度。

利用上述步骤得到的目标物体的深度信息如图5(b)所示，从图5(b)中可以看到，本发明所获得的深度图不含噪声点，而且所需时间仅为传统相移法的几百分之一，因此本发明提出的基于主被动结合的深度信息获取方法具有精度高、分辨率高、速度快的优点。

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于主被动结合的深度信息获取方法，包括：

(1)将一对深度摄像头(C1，C2)和一个投影仪P水平放置，并使三者光轴平行，在投影仪P中输入相移法中所需要投影的三幅模板图像T₁、T₂、T₃；

(2)用投影仪P将三幅模板图像T₁、T₂、T₃依次投射到目标物体上，通过第一深度摄像头C1依次同步拍摄三幅模板图像投射到目标物体后发生的第一组变形图像 同时，通过第二深度摄像头C2依次同步拍摄三幅模板图像投射到目标物体后发生的第二组变形图像并把这两组变形图像传回至计算机；

(3)计算机根据第二组变形图像的灰度值进行解码，得到这些变形图像中正弦条纹截断相位φ_ps；

(4)计算机对第一组变形图像进行叠加得到第一幅自然场景图像对第二组变形图像进行叠加得到第二幅自然场景图像再对这两幅自然场景图像和进行被动双目匹配，得到粗深度z_p；

(5)利用步骤(4)得到的粗深度z_p对步骤(3)得到的截断相位φ_ps进行展开，得到第二组变形图像上像素点(x,y)对应在模板上亚像素级匹配点的列坐标j：

5a)计算像素点p在投影模板中的粗匹配点的列坐标y_t：

其中，(x,y)为第二深度摄像头C2捕获到的第二组变形图像上像素点p的坐标，(x_t,y_t)为像素点p在投影模板中的粗匹配点坐标，l_cam为第二深度摄像头C2焦距为f时，摄像头C2中每个像素点的实际宽度，b_c为第一深度摄像头C1光心与第二深度摄像头C2 光心之间的长度，l_proj为投影仪P焦距为f时，投影仪中每个像素点的实际宽度；

5b)计算截断相位φ_ps展开所需的周期数n：

其中，(x,y)为第二组变形图像上像素点p的坐标，T_ps为正弦条纹周期，[·]表示按四舍五入方式取整；

-5c )计算第二组变形图像上像素点p的坐标(x,y)对应在模板图像中的亚像素级匹配点坐标(i,j)：

由于编码阶段是沿着x方向进行编码的，则第二组变形图像中像素点p的坐标(x,y)与对应在模板图像中的坐标(i,j)在y方向上保持不变，即i＝x；

(6)根据三角测距原理，求得精确的深度信息。

2.根据权利要求1所述的基于主被动结合的深度信息获取方法，其中所述步骤(2)中的变形图像其像素点(x,y)处的灰度值为：

其中，和分别为背景光强和正弦条纹调制深度，Φ_ps(x,y)为三幅模板图像T₁、T₂、T₃中正弦条纹被目标物体调制后的相位，即正弦条纹截断相位φ_ps(x,y)的延拓相位。

3.根据权利要求1所述的基于主被动结合的深度信息获取方法，其中步骤(3)得到的变形图像中正弦条纹截断相位φ_ps，设其中任一像素点(x,y)的截断相位φ_ps(x,y)表示如下：

其中，分别为变形图像 中像素点(x,y)处的灰度值。

4.根据权利要求1所述的基于主被动结合的深度信息获取方法，其中所述步骤(4)中的第一幅自然场景图像表示如下：

5.根据权利要求1所述的基于主被动结合的深度信息获取方法，其中所述步骤(4)中的第二幅自然场景图像表示如下：

6.根据权利要求1所述的基于主被动结合的深度信息获取方法，其中所述步骤(4)中对两幅自然场景图像和进行被动双目匹配，得到粗深度z_p，表示如下：

d_p＝(y_p-y_p')l_cam

其中，f为第二深度摄像头C2的焦距，b_c为第一深度摄像头C1光心与第二深度摄像头C2光心之间的长度，p'为第一幅自然场景图像上的像素点，p为第二幅自然场景图像上的像素点，p与p'对应空间上的同一点，y_p是像素点p的列坐标，y_p'是像素点p'的列坐标，l_cam代表第二深度摄像头C2中每个像素点的实际宽度，d_p是像素点p与像素点p'的视差值。