CN105844633B - 基于De序列和相位编码的单帧结构光深度获取方法 - Google Patents

Abstract

本发明公开了一种基于De序列和相位编码的单帧结构光深度获取方法，主要解决现有单帧技术精度低、多帧技术难以实现动态场景深度获取的问题。其技术方案为：利用像素亮度值作为相位编码信息，根据模板的RGB不同颜色通道信息进行De序列编码辅助相位周期解码；对摄像机采集的待测场景变形图像，分别提取图像中像素点的颜色信息和亮度信息；通过亮度信息利用Gabor滤波器卷积得到相位编码信息，通过颜色信息利用De序列解码确定截断相位周期；根据相位立体匹配原则，利用三角测距原理，得到物体的深度数据。本发明通过一幅投射模板，实现了高空间分辨率的深度数据获取，可用于动态场景的高精度高分辨率深度获取。

Description

基于De序列和相位编码的单帧结构光深度获取方法

技术领域

本发明属于计算机视觉测量技术领域，主要涉及静态或者动态物体的三维信息获取，可用于人机交互、3D打印、逆向工程、文物三维重建。

背景技术

随着科学与技术的飞速发展，物体三维信息的获取在很多应用领域都有着广泛的应用前景，如人机交互、3D打印、逆向工程、文物三维重建等。因此，快速、高效地从获取场景三维信息成为当前研究的热点，一般称三维信息获取的过程为深度获取。

当前深度获取方法众多，比较常见的有被动式的立体视觉法、阴影测量法、聚焦法，主动式的激光扫描法、飞行时间法和结构光法。其中，结构光测量法作为一种非接触式的三维信息获取技术，因其实现简单、速度快和精度高等优点得到了广泛应用。

结构光法，其原理是利用投射设备将具有一定规律的结构光模板投射到被测目标表面，利用图像采集设备记录被测目标表面的图像，将采集到的图像数据结合三角测距原理以及图形处理技术计算出物体表面的深度数据信息。这种方法既利用了图像作为信息载体，又利用可控光源形成明显纹理特征，能大大减小对诸如缺乏纹理、光滑、无明显灰度的表面区域进行匹配的难度。

结构光法根据投射的图案的不同可以分为点结构光、线结构光和面结构光。点结构光是通过将点状光源投射到待测物体上，经过逐点扫描得到待测场景的深度数据，但是该方法所需扫描时间较长，不能用于动态变化物体的深度获取；线结构光是向场景中投射一条线状结构光，只需进行一维扫描，缩短了扫描时间，但对外界杂光的抗干扰能力比较差；面结构光利用二维图像作为编码模板，避免了长时间扫描，可以快速实现整个场景中物体的深度测量，该方法提高了测量效率，同时也具有较高的测量精度，可以用于动态物体的高精度深度测量。结构光法需要解决的问题是编码模板与场景调制后模板间的匹配问题，这是结构光法研究的重点也是研究的难点之一。

根据编码方式的不同，结构光方法的匹配方案和匹配效果都有很大不同。其中，相位编码由于其数据致密性，具有测量精度高的优点，但是由于相位周期性的特点，相位解缠绕成为匹配的瓶颈问题。多帧结构光编码模板具有稠密的模板信息，能够获得较为精确的匹配结果，但是多帧投射很难实现动态场景的深度获取，而且对模板投射以及图像获取的硬件要求较高。单帧结构光编码模板能够实现动态场景的深度获取，但是由于单帧模板数据较为稀疏，匹配过程较为复杂耗时，最终的匹配精度较低。

发明内容

本发明针对上述已有技术的不足，提出一种基于De序列和相位编码的单帧结构光深度获取方法，以提高在动态场景下的深度数据获取精度和空间分辨率。

本发明的技术方案是：基于相位编码和De Bruijn序列编码的混合编码技术，在一幅投射模板上进行相位和De序列混合编码，利用编码信息进行模板与场景中获取的变形场景进行匹配得到场景的视差信息，再利用三角测距原理，得到场景的深度信息。其实现步骤包括如下

(1)设计强度变化且包含相位编码和颜色编码的混合编码模板P：

(1a)采取余弦函数进行相位编码，计算编码模板中像素点(i,j)处的亮度值P₀(i,j)：

其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，为编码中余弦的初始相位，取值为

(1b)采用二元三阶De Brujin序列的00011101顺序循环组合进行颜色编码，其中基元0、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值P_r(i,j)，绿色条纹亮度值P_g(i,j)：

P_r(i,j)＝C(i,j)P₀(i,j)

P_g(i,j)＝[1-C(i,j)]P₀(i,j)

其中，C(i,j)表示像素点(i,j)处的基元值，红色条纹取值为1，绿色条纹取值为0，P(i,j)表示相位编码中得到的像素点(i,j)的亮度值；

(1c)得到混合编码模板P中每个像素点像素值P(i,j)：

其中，P_r(i,j)、P_g(i,j)为颜色编码中红色、绿色条纹亮度值，T为彩色条纹宽度值，为向下取整运算符；

(2)水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪R将混合编码模板P投影到三维物体O上，用摄像机V拍摄经过待测物体O调制过的变形条纹图像U；

(3)将变形条纹图像U与波长为λ、滤波方向为θ、初始相位为ψ的一维Gabor滤波器进行卷积，求取像素点(x,y)处的截断相位φ(x,y)；

(4)计算变形条纹图像U的每一个像素(x,y)的颜色编码信息C(x,y):

其中，x,y分别为变形条纹图像中像素点(x,y)的行列坐标，U_r(x,y),U_g(x,y)分别为RGB图像中像素点(x,y)红色通道、绿色通道分量的强度值；

(5)利用投票机制矫正，通过嵌入的De Bruijn序列空间编码信息P_r、P_g和变形条纹图像U中的颜色编码信息C(x,y)，求解截断相位需要延拓的周期数n；

(6)计算像素点(x,y)处的绝对相位：

Φ(x,y)＝φ(x,y)+2nπ

(7)根据三角测距原理与绝对相位值Φ，计算待测物体的三维信息值。

本发明与现有技术相比具有以下优点：

1)本发明由于在相位编码上融合De序列空间信息，使得仅需要一幅模板投射即可实现场景深度信息获取，简化了实现过程，降低了对物理设备的要求；

2)本发明由于采用De序列辅助相位编码解周期，使得本发明能够保留相位编码高精度的优点，又可以有效解决相位编码遇到的周期性截断相位缠绕问题，这在确保测量精度的同时使测量时间进一步减少；

3)本发明由于仅使用一幅模板，可以实现对于动态场景的实时高精度、高空间分辨率的深度数据获取。

附图说明

图1为本发明的实现流程图；

图2为本发明设计的双颜色条纹模板图；

图3为本发明使用的系统框图；

图4为本发明获得的截断相位展开图；

图5为本发明中进行三维测量时使用的空间几何关系图；

图6为本发明获得的待测物体的三维重构图。

具体实施方式

本发明提出了一种单帧的基于相位编码和De Bruijn序列编码的混合编码技术，以在不增加设备复杂性的条件下，实现适用于动态目标物体的高精度、高分辨率的三维信息获取,以下参照附图对本发明作进一步详细描述。

参照图1，本发明具体实现步骤如下：

步骤1，设计强度变化且包含相位编码和颜色编码的混合编码模板P。

(1a)采取余弦函数进行相位编码，计算编码模板中像素点(i,j)处的亮度值P₀(i,j)：

其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，为编码中余弦的初始相位，取值为

(1b)采用二元三阶De Brujin序列的00011101顺序循环组合进行颜色编码，其中基元0、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值P_r(i,j)，绿色条纹亮度值P_g(i,j)：

其中，C(i,j)表示像素点(i,j)处的基元值，红色条纹取值为1，绿色条纹取值为0，P(i,j)表示相位编码中得到的像素点(i,j)的亮度值；

(1c)根据步骤(1a)和(1b)的结果，得到混合编码双颜色条纹模板P，如附图2所示，模板P中每个像素点像素值P(i,j)：

其中，P_r(i,j)、P_g(i,j)为颜色编码中红色、绿色条纹亮度值，T为彩色条纹宽度值，为向下取整运算符。

步骤2，拍摄待测物体O调制过的变形条纹图像U。

参照图3，拍摄时，水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪R将混合编码模板P投影到三维物体O上，用摄像机V拍摄经过待测物体O调制过的变形条纹图像U。

步骤3，将变形条纹图像U与波长为λ、滤波方向为θ、初始相位为ψ的一维Gabor滤波器进行卷积，求取像素点(x,y)处的截断相位φ(x,y)。

(3a)将得到的条纹图像与二维Gabor滤波器卷积，根据Gabor函数的性质可以得到：

G(x,y)＝|R(x,y)|exp(i(ωx+φ(x,y)))，

其中，G(x,y)表示图像与Gabor滤波器卷积的结果，R(x,y)表示Gabor滤波器响应的幅值，ω为图像中像素点(x,y)处的局部频率，i为虚数单位；

(3b)根据欧拉定理，将G(x,y)进行进一步展开得到：

其中，G_r(x,y)表示图像与Gabor滤波器卷积得到的实部值，G_i(x,y)表示图像与Gabor滤波器卷积得到的虚部值，φ(x,y)为像素点(x,y)处的截断相位，

按照步骤3得到的截断相位展开图如图4所示，图中灰度值大小表示截断相位展开值的大小。

步骤4，对于步骤2得到的变形条纹图像U的每一个像素(x,y)，计算其颜色编码信息C(x,y):

其中，x,y分别为变形条纹图像中像素点(x,y)的行列坐标，U_r(x,y),U_g(x,y)分别为RGB图像中像素点(x,y)红色通道、绿色通道分量的强度值；

步骤5，利用投票机制矫正，通过嵌入的De Bruijn序列空间编码信息求解截断相位需要延拓的周期数n。

(5a)遍历同一个条纹上的码值，将投票占有多数的基元码值标定为正确的码值；

(5b)对每三位码值组成的序列进行解码，得到该序列对应序号N，即当序列为000时N为0，当序列为001时N为1，当序列为011时N为2，当序列为111时N为3，当序列为110时N为4，当序列为101时N为5，当序列为010时N为6，当序列为100时N为7；

(5c)对于给定的参考平面L、参考平面距离D_r、摄像机中心坐标(C_x,C_y,C_z)、投影仪中心R，根据成像原理计算参考平面上某点G的坐标(G_x,G_y,G_z)：

其中，(B_x,B_y,B_z)为空白场景中摄像机获得的条纹图像U中与G对应点B的坐标；

(5d)根据投影仪中心R、模板上空白场景下与G对应的点F与场景中G的几何关系，计算F点坐标(F_x,F_y,F_z)：

其中，f表示投影仪的焦距，综合以上两式得到F点坐标(F_x,F_y,F_z)：

(5e)根据坐标转换关系得到F点对应的成像平面坐标(x_F,y_F)，计算变形图像U中B点所在条纹对应的De Bruijn序列周期延拓周期数S：

其中，T为De Bruijn序列中条纹的宽度，为向下取整算子；

(5f)根据步骤(5b)和(5e)的结果，计算条纹的最终编号n：

n＝N+8S。

步骤6，计算像素点(x,y)处的绝对相位：

Φ(x,y)＝φ(x,y)+2nπ。

步骤7，利用像素点与匹配点的空间关系，计算待测物体的三维信息值。

参照图5，根据三角测距原理，本步骤的具体实现如下：

(7a)沿着水平方向进行解码，并计算变形图像U中每个像素点(x,y)对应在模板图像中的位置(i,j)：

由于变形图像中像素点(x,y)与对应在模板图像中的位置(i,j)在竖直方向上保持不变，则j＝y，y为变形图像U中像素点(x,y)的纵坐标值；

(7b)计算变形图像U中的像素点(x,y)与编码模板中对应点(i,j)之间的视差值d(x,y)：

其中，x为变形图像U中像素点(x,y)的横坐标值；

(7c)根据三角形相似原理，计算像素点(x,y)对应点的深度值Z(x,y)：

其中f表示摄像机和投影仪焦距，b表示摄像机和投影仪光心间基线距离。

本发明的效果可通过以下仿真进一步说明：

利用欧美3DMAX进行仿真平台搭建，按照上述步骤对本方法进行仿真实验，根据得到的目标物体的深度信息，对目标物体进行仿真重构，其结果如图6所示。

从图6中可以看到，本发明重构出的目标物体正确真实、噪声点少，而且实验系统复杂度低、实验所需时间少，因此本发明提出的基于De序列和相位编码的单帧结构光深度获取方法具有精度高、分辨率高、速度快、系统复杂度低的优点。

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于De序列和相位编码的单帧结构光深度获取方法，包括：

(1)设计强度变化且包含相位编码和颜色编码的混合编码模板P：

(1a)采取余弦函数进行相位编码，计算编码模板中像素点(i,j)处的亮度值P₀(i,j)：

其中，T为余弦函数的周期，A表示余弦函数的直流分量，B表示调制振幅，为编码中余弦的初始相位，取值为

(1b)采用二元三阶De Brujin序列的00011101顺序循环组合进行颜色编码，其中基元0、1分别采用绿色、红色表示，条纹宽度为T，计算红色条纹亮度值P_r(i,j)，绿色条纹亮度值P_g(i,j)：

P_r(i,j)＝C(i,j)P₀(i,j)

P_g(i,j)＝[1-C(i,j)]P₀(i,j)

其中，C(i,j)表示像素点(i,j)处的基元值，红色条纹取值为1，绿色条纹取值为0，P(i,j)表示相位编码中得到的像素点(i,j)的亮度值；

(1c)得到混合编码模板P中每个像素点像素值P(i,j)：

其中，P_r(i,j)、P_g(i,j)为颜色编码中红色、绿色条纹亮度值，T为彩色条纹宽度值，为向下取整运算符；

(2)水平放置投影仪R与摄像机V，并使二者光轴平行，通过投影仪R将混合编码模板P投影到三维物体O上，用摄像机V拍摄经过待测物体O调制过的变形条纹图像U；

(3)将变形条纹图像U与波长为λ、滤波方向为θ、初始相位为ψ的一维Gabor滤波器进行卷积，求取像素点(x,y)处的截断相位φ(x,y)；

(4)计算变形条纹图像U的每一个像素(x,y)的颜色编码信息C(x,y):

其中，x,y分别为变形条纹图像中像素点(x,y)的行列坐标，U_r(x,y),U_g(x,y)分别为RGB图像中像素点(x,y)红色通道、绿色通道分量的强度值；

(5)利用投票机制矫正，通过嵌入的De Bruijn序列空间编码信息P_r、P_g和变形条纹图像U中的颜色编码信息C(x,y)，求解截断相位需要延拓的周期数n：

(5a)遍历同一个条纹上的码值，将投票占有多数的基元码值标定为正确的码值；

(5b)对每三位码值组成的序列进行解码，得到该序列对应序号N，即当序列为000时N为0，当序列为001时N为1，当序列为011时N为2，当序列为111时N为3，当序列为110时N为4，当序列为101时N为5，当序列为010时N为6，当序列为100时N为7；

(5c)对于给定的参考平面L、参考平面距离D_r、摄像机中心坐标(C_x,C_y,C_z)、投影仪中心R，根据成像原理计算参考平面上某点G的坐标(G_x,G_y,G_z)：

其中，(B_x,B_y,B_z)为空白场景中摄像机获得的变形条纹图像U中与G对应点B的坐标；

(5d)根据投影仪中心R、模板上空白场景下与G对应的点F与场景中G的几何关系，计算F点坐标(F_x,F_y,F_z)：

其中，f表示投影仪的焦距，综合以上(5c)和(5d)两式得到F点坐标(F_x,F_y,F_z)：

(5e)根据坐标转换关系得到F点对应的成像平面坐标(x_F,y_F)，计算变形条纹图像U中B点所在条纹对应的De Bruijn序列周期延拓周期数S：

其中，T为De Bruijn序列中条纹的宽度，为向下取整算子；

(5f)根据步骤(5b)和(5e)的结果，计算条纹的最终编号n：

n＝N+8S；

(6)计算像素点(x,y)处的绝对相位：

Φ(x,y)＝φ(x,y)+2nπ

(7)根据三角测距原理与绝对相位值Φ，计算待测物体的三维信息值。

2.根据权利要求1所述的基于De序列和相位编码的单帧结构光深度获取方法，其中步骤(3)所述的求取像素点(x,y)的截断相位φ(x,y)，按照如下步骤进行：

(3a)将得到的条纹图像与二维Gabor滤波器卷积，根据Gabor函数的性质得到：

G(x,y)＝|R(x,y)|exp(i(ωx+φ(x,y)))

其中，G(x,y)表示图像与Gabor滤波器卷积的结果，R(x,y)表示Gabor滤波器响应的幅值，ω为图像中像素点(x,y)处的局部频率，

(3b)根据欧拉定理，将G(x,y)进行进一步展开得到：

G(x,y)＝G_r(x,y)+G_i(x,y)

＝|R(x,y)|(cos(ωx+φ(x,y))+isin(ωx+φ(x,y)))

其中，G_r(x,y)表示图像与Gabor滤波器卷积得到的实部值，G_i(x,y)表示图像与Gabor滤波器卷积得到的虚部值；

(3c)根据(3b)的计算，得到图像中每个像素点的相位信息φ(x,y)：

3.根据权利要求1所述的基于De序列和相位编码的单帧结构光深度获取方法，其中步骤(7)中求解物体深度信息，按如下步骤进行：

(7a)沿着水平方向进行解码，并计算变形条纹图像U中每个像素点(x,y)对应在模板图像中的位置(i,j)：

由于变形条纹图像中像素点(x,y)与对应在模板图像中的位置(i,j)在竖直方向上保持不变，则j＝y，y为变形条纹图像U中像素点(x,y)的纵坐标值；

(7b)计算变形条纹图像U中的像素点(x,y)与编码模板中对应点(i,j)之间的视差值d(x,y)：

其中，x为变形条纹图像U中像素点(x,y)的横坐标值；

(7c)根据三角形相似原理，计算像素点(x,y)对应点的深度值Z(x,y)：

其中f表示摄像机和投影仪焦距，b表示摄像机和投影仪光心间基线距离。