CN108895979B - 线段编码的结构光深度获取方法 - Google Patents

Abstract

本发明公开了一种线段编码的结构光深度获取方法，主要解决现有时间编码方法耗时过长、无法动态测量场景深度信息的问题。其实现方案为：设计单帧复合网络模板P；将P投射到目标物体，并对该目标物体进行拍摄，获得变形图像；将变形图像传输至计算机，通过计算机从变形图像中分离得到码字图

以及线段网格图

利用分离出的线段网格图

进行线提取，得到线段网格图；根据分离得到的码字图

进行解码，通过解码水平与竖直线段交点处的码字来求解与模板中匹配的线段；根据线面相交原理，利用线段间对应关系，计算待测物体的深度信息值。本发明能动态获取场景深度信息且具备较高的精度，可用于工业监控、医学科学、人机交互、虚拟现实及3D打印。

Description

线段编码的结构光深度获取方法

技术领域

本发明属于测量技术领域，主要涉及一种深度信息的测量方法，可以应用于工业监控、医学科学、人机交互、虚拟现实、现实增强以及3D打印场景。

背景技术

传统的成像仪器采集到的信号仅是空间域上的二维信息，三维场景中的深度信息无法被采集到。随着计算机科学的发展以及人们生活水平的提升，二维信息已经不能满足实际生产生活的需要。如何从场景中快速、高效的获取三维深度信息已经成为当前研究的热点。

深度获取是指在三维场景中获取物体的深度信息。目前深度获取的方法主要分为主动式和被动式两种。被动式方法一般基于一幅或多幅图像来获取物体的三维形状信息，如立体视觉法、阴影测量法等，其中应用最广泛的就是立体视觉法，该方法采用多个相机多角度对同一场景进行拍摄，通过多幅图像之间的匹配获取深度信息。主动式方法则是利用光学投射器投射出探测波，经物体反射后捕获至传感器，并利用计算机进行处理，从而获得深度信息，常见的方法有飞行时间法、结构光法、激光扫描法，其中结构光测量方法作为一种非接触式测量方法，该方法由于具有结构实现简单、成本低廉、精度以及实时性较好、抗干扰能力强等特点，获得了广泛的应用。

结构光测量方法一般将一幅或多幅具有特定规律的结构光模板投射到测量场景中，利用图像采集设备拍摄待测物体，通过比对投射的模板及采集到的图像，结合三角测距原理计算出物体表面的深度信息。结构光测量方法根据模板的编码方式可以分为时间编码方法以及空间编码方法，其中：

空间编码的特点是只投射一幅模板，模板中每个像素点的编码信息可以结合其邻域获取，空间编码适用于动态场景的深度获取，但由于空间编码在解码过程中可能受到邻域信息的丢失、物体表面反射率不一致以及待测物体表面颜色等问题，易造成解码错误导致深度信息计算错误，故空间编码相对于时间编码的分辨率、精度较低。

时间编码，常见的有二值编码、n值编码和混合编码，这些编码方法虽具有简单易于实现、空间分辨率高和测量精度高的优点，但其由于需要投射多幅测量模板，测量时间较长，因而仅适用于静态场景的深度测量。

发明内容

本发明的目的在于针对上述时间编码技术的不足，提出一种基于单帧模板的深度信息测量方法，以缩短测量时间，实现场景深度信息的动态测量。

本发明的技术方法是：利用特征码字唯一性技术，将基于线段网格模板和基于图形码字模板组合为单帧复合模板并进行投射；通过投射模板以及变形的场景图像匹配关系，结合线面相交原理，获得场景的深度信息，其实现步骤包括如下：

(1)设计单帧线段编码的复合网格模板P：

(1a)设计基于线段网格模板I₁；

(1b)设计基于图形码字模板I₂：即先设计出模板的M阵列和码字图形，再将M阵列中的每个码字由原先设定的对应的码字图形替代，生成图形码字模板I₂；设计模板的M阵列，按如下步骤进行：

(1b1)模板使用4个码元，设计其本征多项式h(x)：

h(x)＝2x⁶+2x⁵+x⁴+3x³+2x²+2x+1，

其中x为自变量；

(1b2)由码元数量为4，本征多项式最高次幂为6，按照下式可生成包含4095个码字的伪随机序列：

a_i+6＝(2*a_i+5+a_i+4+3*a_i+3+2*a_i+2+2*a_i+1+a_i)mod(k)，

其中a_i表示伪随机序列值，i＝0,1，...4089，k表示码元个数；

(1b3)由码字个数为4095，按照下式得到M阵列的大小为65×63；

其中n表示码字个数，k1、k2分别表示解码窗口的长和宽，n1、n2分别表示M阵列的长、宽；

(1b4)将得到伪随机序列按照M阵列对角线方向，由左到右，由上到下的规律依次填入M阵列中，即得到模板的M阵列；

设计模板码字图形，是通过图形主轴与基线之间的角度确定，即由水平、竖直、左倾45°以及右倾45°的矩形图构成码字图形；

(1c)将线段网格模板I₁和图形码字模板I₂进行叠加构成复合网格模板P：

P＝I₁+I₂；

(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将单帧调制模板P投影到目标物体O上，再用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；

(3)将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到第一线段网格图I′₁以及码字图I′₂；

(4)对分离出的第一线段网格图I′₁进行线提取，得到线段网格图II；

(5)对分离得到的码字图I′₂进行解码，得到解码的水平与竖直线段交点处的码字来得到线段间的匹配关系；

(6)根据线面相交原理，利用(5)的线段间对应关系，计算待测物体的深度信息值。

本发明与现有技术相比具有以下优点：

第一，本发明采用单帧结构光模板，仅需投射一幅模板即可获得场景的深度信息，简化了实现过程，降低了对系统设备的要求；

第二，本发明在传统线段编码方法的基础上，与M阵列编码方法相结合，获取线段编码的结构光深度，避免了传统的线段解码匹配失败的问题，从而提高了物体深度信息获取的准确度；

第三，本发明仅需投射单帧模板测量场景深度信息，通过使用GPU加速，就可实现场景深度信息的动态测量。

附图说明

图1为本发明使用的系统框架图；

图2为本发明的实现总流程图；

图3为本发明中的线段模板深度计算图。

具体实施方式

本发明是对传统结构光方法的改进，不需要增加额外的测量设备和测量步骤，以下参照附图对本发明作进一步详细描述。

参照图1，本发明使用的深度信息获取系统包括：待测量的目标物体O、摄像机V、投影仪T和计算机C。投影仪T投射单帧调制模板P到目标物体O上，摄像机V对该目标进行拍摄，得到经过目标物体O调制后的变形图像I。

参照图2，本发明基于单帧复合网络模板的深度信息测量方法，其实现步骤如下：

步骤1、获取变形图像I。

将系统中的投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将所述的单帧复合模板P投影到目标物体O上；并用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I。

步骤2、将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到码字图I′₂以及第二线段网格图I′₂。

(2a)对变形图像I采用自适应的方法得到二值化图像I_b；

(2b)对二值化图I_b进行形态学的开操作，得到二值化码字图I_c；

(2c)以二值化码字图I_c为“掩码”，从变形图像I中分离出码字图I′₂；

(2d)将变形图像I与码字图I′₂进行差运算，得到第一线段网格图I′₁。

步骤3、根据分离出的第二线段网格图I′₂进行线提取，得到线段网格图II。

(3a)将第一线段网格图I′₁分成20×20大小的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B；

(3b)对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv；

(3c)沿水平方向求取第一线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到水平极值图Gv，将横条带图Sv和水平极值图Gv做按位与操作，得到竖线图IV；

(3d)沿竖直方向求取第一线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到竖直极值图Gh，将竖条带图Sh和竖直极值图Gh做按位与操作，得到横线图IH；

(3e)将竖线图IV和横线图IH做按位或操作，得到线段网格图II。

步骤4、对分离得到的码字图I′₂进行解码。

(4a)将在变形图像I中网格交点右下方图形码字规定为该交点的码字；

(4b)在线段网格图II中，得到网格交点所在线段的角度θ₁，即为基线的角度；

(4c)在码字图I′₂中，求图形码字的重心坐标：

其中M₀₀是图形码字的零阶矩，M₁₀是图形码字的水平方向一阶矩、M₀₁是图形码字的竖直方向一阶矩，x_c，y_c是图形码字的重心坐标；

(4d)由图形码字重心坐标(x_c，y_c)求图形码字的角度：

其中θ为图形码字角度，M₀₀是图形码字的零阶矩，M₁₁是图形码字的水平和竖直方向二阶矩、M₂₀是图形码字的水平方向二阶矩、M₀₂为图形码字的竖直方向二阶矩；

(4e)求图形码字角度θ与基线角度θ₁的角度差，将角度差的绝对值θ₂∈[0°,180°)映射到某个区间得到对应码字，其中区间[0°,23.5°)和[158.5°,180°)对应码字为0，区间[23.5°,68.5°)对应码字为1，区间[68.5°,113.5°)对应码字为2，区间[113.5°,158.5°)对应码字为3；

(4f)求出所有交点码字后构成M阵列，利用M阵列的窗口特性获得交点码值。

步骤5、根据码值求解出线段间的关系，通过码值查表的方式，求得变形图像I中的线段和模板图像P中的线段对应关系。

步骤6、根据线面相交原理，利用线段间的对应关系，计算待测物体的深度信息值。

参照图3，本步骤的具体实现如下：

(6a)取网格图I′₁上任意一个网格交点p；

(6b)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6c)将图像中的交点p在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点p在模板中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6d)将经过投影仪光心(x_o,y_o,1)和匹配点(x_p,y_p,1)的竖直平面法向量记为(A,B,C)，并通过下式计算(x_c,y_c,1)与(x_p,y_p,1)的匹配点深度值D：

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种线段编码的结构光深度获取方法，包括：

(1)设计单帧线段编码的单帧调制模板P：

(1a)设计基于线段网格模板I₁；

(1b)设计基于图形码字模板I₂：即先设计出模板的M阵列和码字图形，再将M阵列中的每个码字由原先设定的对应的码字图形替代，生成图形码字模板I₂；

(1c)将线段网格模板I₁和图形码字模板I₂进行叠加构成单帧调制模板P：

P＝I₁+I₂；

(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将单帧调制模板P投影到目标物体O上，再用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；

(3)将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到线段网格图I′₁以及码字图I′₂；

(4)对分离出的线段网格图I′₁进行线提取，得到相对准确的线段网格图II；

(5)对分离得到的码字图I′₂进行解码，得到解码的水平与竖直线段交点处的码字来得到线段间的匹配关系；

(6)根据线面相交原理，利用(5)的线段间匹配关系，计算待测物体的深度信息值。

2.根据权利要求1所述的方法，其中步骤(6)中计算待测物体的深度信息值，按如下步骤进行：

(6a)取线段网格图I′₁上任意一个网格交点p；

(6b)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6c)将图像中的交点p在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点p在模板中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6d)将经过投影仪光心(x_o,y_o,1)和匹配点(x_p,y_p,1)的竖直平面的法向量记为(A,B,C)，并通过下式计算(x_c,y_c,1)和(x_p,y_p,1)的匹配点深度值D：

3.根据权利要求1所述的方法，其中步骤(1b)设计模板的M阵列，按如下步骤进行：

(1b1)模板使用4个码元，设计其本征多项式h(x)：

h(x)＝2x⁶+2x⁵+x⁴+3x³+2x²+2x+1，

其中x为自变量；

(1b2)由码元数量为4，本征多项式最高次幂为6，按照下式可生成包含4095个码字的伪随机序列：

a_i+6＝(2*a_i+5+a_i+4+3*a_i+3+2*a_i+2+2*a_i+1+a_i)mod(k)，

其中a_i表示伪随机序列值，i＝0,1，...4089，k表示码元个数；

(1b3)由码字个数为4095，按照下式得到M阵列的大小为65×63；

其中n表示码字个数，k1、k2分别表示解码窗口的长和宽，n1、n2分别表示M阵列的长、宽；

(1b4)将得到伪随机序列按照M阵列对角线方向，由左到右，由上到下的规律依次填入M阵列中，即得到模板的M阵列。

4.根据权利要求1所述的方法，其中步骤(1b)中设计模板码字图形，是通过图形主轴与基线之间的角度确定，即由水平、竖直、左倾45°以及右倾45°的矩形图构成码字图形。

5.根据权利要求1所述的方法，其中步骤(3)中通过计算机C从变形图像I得到码字图I′₂，按如下步骤进行：

(3a)对图像I采用自适应的方法得到二值化图像I_b；

(3b)对图I_b进行形态学的开操作，得到二值化码字图I_c；

(3c)以图I_c为“掩码”，从图像I中分离出码字图I′₂。

6.根据权利要求1所述的方法，其中步骤(3)中通过计算机C从变形图像I得到线段网格图I′₁，是将变形图像I与码字图I′₂进行差运算，得到线段网格图I′₁。

7.根据权利要求1所述的方法，其中步骤(4)中对分离出的线段网格图I′₁进行线提取，按如下步骤进行：

(4a)将线段网格图I′₁分成20×20大小的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B；

(4b)对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv；

(4c)沿水平方向求取线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到水平极值图Gv，将横条带图Sv和水平极值图Gv做按位与操作，得到竖线图IV；

(4d)沿竖直方向求取线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到竖直极值图Gh，将竖条带图Sh和竖直极值图Gh做按位与操作，得到横线图IH；

(4e)将竖线图IV和横线图IH做按位或操作，得到相对准确的线段网格图II。

8.根据权利要求1所述的方法，其中步骤(5)中根据分离得到的码字图I′₂进行解码，按如下步骤进行：

(5a)将在变形图像I中网格交点右下方图形码字规定为该交点的码字；

(5b)在线段网格图II中，得到网格交点所在线段的角度θ₁，即为基线的角度；

(5c)在码字图I′₂中，求图形码字的重心坐标：

其中M₀₀是图形码字的零阶矩，M₁₀、M₀₁是图形码字的一阶矩，x_c，y_c是图形码字的重心坐标；

(5d)由图形码字重心坐标(x_c，y_c)求图形码字的角度：

其中θ为图形码字角度，M₀₀是图形码字的零阶矩，M₁₁、M₂₀、M₀₂为图形码字的二阶矩；

(5e)求图形码字角度θ与基线角度θ₁的角度差，将角度差的绝对值θ₂∈[0°,180°)映射到某个区间得到对应码字，其中区间[0°,23.5°)和[158.5°,180°)对应码字为0，区间[23.5°,68.5°)对应码字为1，区间[68.5°,113.5°)对应码字为2，区间[113.5°,158.5°)对应码字为3；

(5f)求出所有交点码字后构成M阵列，利用M阵列的窗口特性获得交点码值。

Images