CN110428458A - 基于单帧密集形状编码的深度信息测量方法 - Google Patents

Abstract

本发明公开了一种基于单帧复合网络模板的深度信息测量方法，主要解决现有时间编码方法耗时过长、无法动态测量场景深度信息、深度信息密度低的问题。其方案为：设计单帧复合网络模板P；将P投射到目标物体，并对其进行拍摄获得变形图像；将变形图像传输至计算机，以从变形图像中分离得到码字图I′₂以及线段网格图I′₁；利用分离出的线段网格图I′₁进行线提取，得到线段网格图；根据分离得到的码字图I′₂进行解码，通过解码水平线段与竖直线段交点处的码字来求解与模板中匹配的线段；根据线面相交原理，利用线段间对应关系，计算出待测物体的深度信息值。本发明能动态获取场景深度信息，且数据精度高，可用于工业监控、医学科学、人机交互、虚拟现实及3D打印。

Description

基于单帧密集形状编码的深度信息测量方法

技术领域

本发明属于测量技术领域，主要涉及一种深度信息的测量方法，可以应用于工业监控、医学科学、人机交互、虚拟现实、现实增强以及3D打印场景。

背景技术

传统的成像仪器采集到的信号仅是空间域上的二维信息，三维场景中的深度信息无法被采集到。随着计算机科学的发展以及人们生活水平的提升，二维信息已经不能满足实际生产生活的需要。如何从场景中快速、高效的获取三维深度信息已经成为当前研究的热点。

深度获取是指在三维场景中获取物体的深度信息。目前深度获取的方法主要分为主动式和被动式两种。被动式方法一般基于一幅或多幅图像来获取物体的三维形状信息，如立体视觉法、阴影测量法等，其中应用最广泛的就是立体视觉法，该方法采用多个相机多角度对同一场景进行拍摄，通过多幅图像之间的匹配获取深度信息。主动式方法则是利用光学投射器投射出探测波，经物体反射后捕获至传感器，并利用计算机进行处理，从而获得深度信息，常见的方法有飞行时间法、结构光法、激光扫描法，其中结构光测量方法作为一种非接触式测量方法，其由于具有结构实现简单、成本低廉、精度以及实时性较好、抗干扰能力强的特点，获得了广泛的应用。

结构光测量方法，是将一幅或多幅具有特定规律的结构光模板投射到测量场景中，利用图像采集设备拍摄待测物体，通过比对投射的模板及采集到的图像，结合三角测距原理计算出物体表面的深度信息。该结构光测量方法根据模板的编码方式可以分为时间编码方法以及空间编码方法，其中：

空间编码，其特点是只投射一幅模板，模板中每个像素点的编码信息可以结合其邻域获取，通常适用于动态场景的深度获取，但由于空间编码在解码过程中可能受到邻域信息的丢失、物体表面反射率不一致以及待测物体表面颜色等问题，易造成解码错误导致深度信息计算错误，故空间编码相对于时间编码的分辨率、精度较低。

时间编码，常见的有二值编码、n值编码和混合编码，这些编码方法虽具有简单易于实现、空间分辨率高和测量精度高的优点，但其由于需要投射多幅测量模板，测量时间较长，因而仅适用于静态场景的深度测量。

发明内容

本发明的目的在于针对上述时间编码技术的不足，提出一种基于单帧模板的深度信息测量方法，以缩短测量时间，实现场景深度信息的动态测量，提高获取深度图像的分辨率。

本发明的技术方法是：利用特征码字唯一性技术以及外极线约束条件，将基于线段网格模板和基于图形码字模板组合为单帧复合模板并进行投射；通过投射模板与变形的场景图像匹配关系，结合线面相交原理，获得场景的深度信息，其实现步骤包括如下：

(1)设计单帧线段编码的复合网格模板W：

(1a)用互相垂直的水平竖直线段生成网格图像I₁，该网格的大小大于一个图形码字；

(1b)生成由数字码元组成的一维方向唯一编码阵列，设定与数字码元对应的图形码元，再将一维方向唯一编码阵列中的每个数字码元由已经设定的对应的图形码元替代，生成图形码字模板I₂；

(1c)将线段网格模板I₁和图形码字模板I₂进行叠加，得到复合网格模板W：

W＝I₁+I₂；

(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将复合网格模板W投影到目标物体O上，再用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；

(3)将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到粗略线段网格图I′₁以及码字图I′₂；

(4)对分离出的粗略线段网格图I′₁进行线提取，得到精确线段网格图II；

(5)对分离得到的码字图I′₂进行解码，得到精确线段网格图II中水平与竖直线段交点处的码字，根据得到的码字以及相机投影仪间的外极线约束得到精确线段网格图II与P中线段间的匹配关系；

(6)根据线面相交原理，利用(5)的线段间匹配关系，计算待测物体的深度信息值。

本发明与现有技术相比具有以下优点：

第一，本发明采用单帧结构光模板，仅需投射一幅模板即可获得场景的深度信息，简化了实现过程，降低了对系统设备的要求；

第二，本发明在传统线段编码方法的基础上，与外极线约束方法相结合，采用一维方向上的编码，能够得到更加密集的深度值，获取线段编码的深度，避免了传统的线段解码匹配失败的问题，从而提高了物体深度信息获取的准确度；

第三，本发明对每一帧变形图像单独计算深度值，测量得到的场景深度信息没有时间上的依赖性，能够通过使用GPU加速实现场景深度信息的动态测量。

附图说明

图1为本发明使用的系统框架图；

图2为本发明的实现总流程图；

图3为本发明中的线段模板深度计算示意图；

图4为本发明中的复合网格模板；

图5为本发明对平面场景的仿真结果图；

图6为本发明对简单场景的仿真结果图；

图7为本发明对复杂场景的仿真结果图。

具体实施方式

本发明是对传统结构光方法的改进，不需要增加额外的测量设备和测量步骤，以下参照附图对本发明作进一步详细描述。

参照图1，本发明使用的深度信息获取系统包括：待测量的目标物体O、摄像机V、投影仪T和计算机C。投影仪T投射单帧复合网格模板P到目标物体O上，摄像机V对该目标进行拍摄，得到经过目标物体O调制后的变形图像I。

参照图2，本发明基于单帧复合网络模板的深度信息测量方法，其实现步骤如下：

步骤1，设计单帧复合网格模板P。

(1a)使用3种数字码元，生成码字数量的本征多项式h(x)：

h(x)＝2x⁶+2x⁵+x⁴+3x³+2x²+2x+1，

其中x为自变量，取值为3；h(x)表示在使用3个码元、码字长度为6的情况下生成的码字数量，本实例使用但不限于0、1、2这三种码元；

(1b)计算每个码字之间的汉明距离H，用以限定码字的唯一性；

其中，t为任意两个码字，r为尺寸为s的码字中码元的序号，表示码字t中第r个码元，表示码字t'中第r个码元；δ_r表示两个码字中对应位置出的码元是否相同，若相同，则δ_r为1，若不同，则δ_r为0；

(1c)设计网格尺寸为12×12个像素、图形码元尺寸为6×6个像素的模板，重复使用已设定好的3种码元，在本征多项式和汉明距离的约束下，生成一维方向唯一的伪随机序列，并在该伪随机序列中划分出若干尺寸为s的窗口，任意窗口内的码字都是由3种码元构成的具有唯一性的排列，窗口中码字表示为：

Q＝{V₁,V₂,…,V_i,…,V_s}，

其中，V_i为码字中的第i个码元，i是1到s中的一个整数，Q为一个窗口中的码字；

(1d)将(1c)中得到的伪随机序列按照列方向排列为N*1的阵列，再按行方向复制为N*M的一维方向唯一阵列，得到一维方向唯一编码阵列，其中N为列方向上的码元个数，M为行方向上的码元个数，该编码阵列每一列相同行数的码元是相同的。

(1e)提取相机与投影仪之间的基线和三种图形码元各自的主轴，三种图形码元通过各自的主轴与基线之间的角度设定，三种图形码元均为矩形形状，且这三种矩形的主轴分别与基线之间角度不同，其分别为与基线垂直、与基线左倾45°以及与基线右倾45°；

(1f)将一维方向唯一编码阵列中的数字码元替换为图形码元，得到复合网格模板P，如图4所示。

步骤2、获取变形图像。

将系统中的投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将单帧复合模板P投影到目标物体O上；并用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I。

步骤3、将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到码字图I′₁以及线段网格图I′₂。

能够分离得到码字图的方法有基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于数学形态的分割方法和基于特定理论的分割方法。本实例采用但不限于基于区域的分割方法，其实现如下：

(2a)对变形图像I采用自适应的方法得到二值化图像I_b；

(2b)对二值化图I_b进行形态学的开操作，得到二值化码字图I_c；

(2c)以二值化码字图I_c为掩码，从变形图像I中分离出码字图I′₂；

(2d)将变形图像I与码字图I′₂进行差运算，得到线段网格图I′₁。

步骤3、根据分离出的线段网格图I′₂进行线提取，得到精确线段网格图II。

能够进行线提取的现有方法有基于形态学的线提取、基于Hessian矩阵的线提取、基于高斯退化线结构模型的线提取方法，本发明采用但不限于基于形态学的线提取方法，其实现如下：

(3a)将线段网格图I′₁分成20×20大小的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B；

(3b)对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv；

(3c)沿水平方向求取线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到水平极值图Gv，将横条带图Sv和水平极值图Gv做按位与操作，得到竖线图IV；

(3d)沿竖直方向求取线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到竖直极值图Gh，将竖条带图Sh和竖直极值图Gh做按位与操作，得到横线图IH；

(3e)将竖线图IV和横线图IH做按位或操作，得到线段网格图II。

步骤4、对分离得到的码字图I′₂进行解码。

(5a)画出变形图像I中的外极线分布与网格中的横线相交，如果外极线与横线交点重合于网格中的交点，记交点为m，将在变形图像I中交点m右下方图形码元规定为该交点的码元；如果外极线与横线交点不重合于网格中的交点，则对该外极线与横线交点不赋予任何码元；

(5b)在精确线段网格图II中，将网格交点处相交线段的角度θ₁作为基线的角度；

(5c)在码字图I′₂中，根据以下公式求图形码元的重心坐标：

其中M₀₀是图形码元的零阶矩，M₁₀、M₀₁是图形码元的一阶矩，x_c是图形码元重心的横坐标，y_c是图形码元重心的纵坐标；

(5d)由图形码元重心坐标(x_c，y_c)求图形码元的角度：

其中θ为图形码元角度，M₀₀是图形码元的零阶矩，M₁₁、M₂₀、M₀₂为图形码元的二阶矩；

(5e)计算图形码元角度θ与基线角度θ₁的角度差的绝对值θ₂∈[0°,180°)；将θ₂按照角度值所属区间映射为对应码元，其中区间[0°,23.5°)和[158.5°,180°)的对应码元为0，区间[23.5°,68.5°)的对应码元为1，区间[68.5°,113.5°)的对应码元为2，区间[113.5°,158.5°)的对应码元为3；

(5f)求出所有交点码元后利用一维方向唯一阵列的窗口唯一性，获得交点码字。

步骤5、在外极线约束下，根据(5e)中计算出的交点码字，查找变形图像I中交点m在复合网格模板P中的对应点，建立变形图像I中线段与复合网格模板图像P中线段的对应关系。

步骤6、利用线段间的对应关系，计算待测物体的深度信息值。

现有技术中能够计算物体深度信息的方法有三角测距方法、线线相交方法和线面相交方法，本发明采用但不限于线面相交方法。

参照图3，本步骤的具体实现如下：

(6a)取精确线段网格图II上任意一个网格交点p；

(6b)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6c)将图像中的交点p在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点p在模板中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6d)将经过投影仪光心(x_o,y_o,1)和匹配点(x_p,y_p,1)的竖直平面法向量记为(A,B,C)，并通过下式计算(x_c,y_c,1)与(x_p,y_p,1)的匹配点深度值D：

(6e)计算精确线段网格图II中线条上每一个点的深度值，由每一点的深度值组成线条的深度值；

(6f)根据局部区域的深度变化设定阈值D_th,在本实例中设定阈值D_th为4毫米,根据设置的阈值对计算得到的深度值按下面方法进行矫正，即将当前线条与邻近线条深度值的差值M_diff与D_th相比较：

如果M_diff≤D_th，则认为当前线条深度值计算正确，将所得深度值赋予对应线条；

如果M_diff>D_th，则认为当前线条的深度值计算错误，将深度值置为0。

本发明的效果可通过以下仿真进一步说明

仿真1，使用本发明对一个平面体的深度进行仿真测量，结果如图5所示，其中图5(a)是平面形状，图5(b)是根据所求深度值得到的三维重建结果。从图5(b)可见，得到的结果平整度高，无起伏，无波纹，无错点，与原场景相比较还原度高，能可靠地反映所测场景的深度信息。该结果能够体现出本发明的绝对精度高，深度信息密集。

仿真2，使用本发明对一个简单场景的深度进行仿真测量，结果如图6所示，其中图6(a)是一个简单立体几何物体，图6(b)是根据所求深度值得到三维重建结果。从图6(b)可见，得到的结果平滑，无波纹，无错点，边缘完整清晰，与原场景相比较还原度高，能可靠地反映所测场景的深度信息。该结果能够体现本发明在简单平滑场景中深度值精度高，深度信息密集。

仿真3，使用本发明对一个复杂场景的深度值进行仿真测量，结果如图7所示，其中图7(a)是一个兔子形态的复杂场景，图7(b)是根据所求深度值得到三维重建结果。从图7(b)中可见，得到的结果无波纹，无错点，细节丰富清晰，边缘完整，深度跳变处没有缺失深度值，与原场景相比较还原度高，能可靠地反映所测场景的深度信息。该结果能够体现本发明在纹理丰富，深度变化明显的情况下深度值精确，能够适应复杂场景。

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于单帧密集形状编码的深度信息测量方法，其特征在于,包括：

(1)设计单帧线段编码的复合网格模板W：

(1a)用互相垂直的水平竖直线段生成网格图像I₁，该网格的大小大于一个图形码字；

(1b)生成由数字码元组成的一维方向唯一编码阵列，设定与数字码元对应的图形码元，再将一维方向唯一编码阵列中的每个数字码元由已经设定的对应的图形码元替代，生成图形码字模板I₂；

(1c)将线段网格模板I₁和图形码字模板I₂进行叠加，得到复合网格模板W：

W＝I₁+I₂；

(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将复合网格模板W投影到目标物体O上，再用摄像机V对该目标物体进行拍摄，获得经过目标物体O调制后的变形图像I；

(3)将变形图像I传输至计算机C，通过计算机C从变形图像I中分离得到粗略线段网格图I′₁以及码字图I′₂；

(4)对分离出的粗略线段网格图I′₁进行线提取，得到精确线段网格图II；

(5)对分离得到的码字图I′₂进行解码，得到精确线段网格图II中水平与竖直线段交点处的码字，根据得到的码字以及相机投影仪间的外极线约束得到精确线段网格图II与W中线段间的匹配关系；

(6)根据线面相交原理，利用(5)的线段间匹配关系，计算待测物体的深度信息值。

2.根据权利要求1所述的方法，其中步骤(6)中计算待测物体的深度信息值，按如下步骤进行：

(6a)取精确线段网格图II上任意一个网格交点p；

(6b)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6c)将精确线段网格图II中的交点p在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点p在复合网格模板W中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6d)将经过投影仪光心(x_o,y_o,1)和复合网格模板W中的匹配点(x_p,y_p,1)的竖直平面的法向量记为(A,B,C)，并通过下式计算精确线段网格图II中的交点p的坐标(x_c,y_c,1)的深度值D：

(6e)计算精确线段网格图II中线条上每一个点的深度值，由每一点的深度值组成线条的深度值；

(6f)根据局部区域的深度变化设定阈值D_th，将当前线条与邻近线条深度值的差值M_diff与D_th相比较：

如果M_diff≤D_th，则认为当前线条深度值计算正确，将所得深度值赋予对应线条；

如果M_diff>D_th，则认为当前线条的深度值计算错误，将深度值置为0。

3.根据权利要求1所述的方法，其中步骤(1b)设计模板的一维方向唯一编码阵列，按如下步骤进行：

(1b1)使用3种码元生成码字数量的本征多项式h(x)：

h(x)＝2x⁶+2x⁵+x⁴+3x³+2x²+2x+1，

其中x为自变量，取值为3；h(x)表示在使用3个码元、码字长度为6的情况下生成的码字数量；

(1b2)计算每个码字之间的汉明距离H，用以限定码字的唯一性；

其中，t为任意两个码字，r为尺寸为s的码字中码元的序号，表示码字t中第r个码元，表示码字t'中第r个码元，δ_r表示两个码字中对应位置出的码元是否相同，相同则为1，不同则为0；

(1b3)设计网格尺寸为12×12个像素、图形码元尺寸为6×6个像素的模板，重复使用已设定好的3种码元，在本征多项式和汉明距离的约束下，生成一维方向唯一的伪随机序列，并在该伪随机序列中划分出若干尺寸为s的窗口，任意窗口内的码字都是由3种码元构成的具有唯一性的排列，窗口中码字表示为：

Q＝{V₁,V₂,…,V_i,…,V_s}，

其中，V_i为码字中的第i个码元，i是1到s中的一个整数，Q为一个窗口中的码字；

(1b4)将(1b3)得到伪随机序列按照列方向排列为N*1的阵列，再按行方向复制为N*M的一维方向唯一阵列，得到一维方向唯一编码阵列，其中N为列方向上的码元个数，M为行方向上的码元个数，该编码阵列每一列相同行数的码元是相同的。

4.根据权利要求1所述的方法，其中步骤(1b)中设定与数字码元对应的图形码元，是通过图形码元主轴与基线之间的角度设定，三种图形码元均为矩形形状，三种矩形的主轴分别与基线垂直、左倾45°以及右倾45°。

5.根据权利要求1所述的方法，其中所述步骤(3)，按如下步骤进行：

(3a)对变形图像I采用自适应的方法获取二值化图像I_b；

(3b)对二值化图像I_b进行形态学的开操作，得到二值化码字图I_c；

(3c)以二值化码字图I_c为掩码，从变形图像I中分离出码字图I′₂；

(3d)将变形图像I与码字图I′₂进行差运算，得到线段网格图I′₁。

6.根据权利要求1所述的方法，其中所述步骤(4)，按如下步骤进行：

(4a)将粗略线段网格图I′₁分成若干尺寸为20×20个像素的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B；

(4b)对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv；

(4c)沿水平方向求取粗略线段网格图I′₁中所有灰度极大值，将所有灰度极大值像素点位置标为1，得到水平极值图Gv，将横条带图Sh和水平极值图Gv做按位与操作，得到竖线图IV；

(4d)沿竖直方向求取线段网格图I′₁中的所有灰度极大值，将所有灰度极大值像素点位置标为1，得到竖直极值图Gh，将竖条带图Sv和竖直极值图Gh做按位与操作，得到横线图IH；

(4e)将竖线图IV和横线图IH做按位或操作，得到精确线段网格图II。

7.根据权利要求1所述的方法，其中步骤(5)中根据分离得到的码字图I′₂进行解码，按如下步骤进行：

(5a)画出变形图像I中的外极线分布与网格中的横线相交，如果外极线与横线交点重合于网格中的交点，记交点为m，将在变形图像I中交点m右下方图形码元规定为该交点的码元；如果外极线与横线交点不重合于网格中的交点，则对该外极线与横线交点不赋予任何码元；

(5b)在精确线段网格图II中，将网格交点处相交线段的角度θ₁作为基线的角度；

(5c)在码字图I′₂中，根据以下公式求图形码元的重心坐标：

其中M₀₀是图形码元的零阶矩，M₁₀、M₀₁是图形码元的一阶矩，x_c是图形码元重心的横坐标，y_c是图形码元重心的纵坐标；

(5d)由图形码元重心坐标(x_c，y_c)求图形码元的角度：

其中θ为图形码元角度，M₀₀是图形码元的零阶矩，M₁₁、M₂₀、M₀₂为图形码元的二阶矩；

(5e)计算图形码元角度θ与基线角度θ₁的角度差的绝对值θ₂∈[0°,180°)；将θ₂按照角度值所属区间映射为对应码元，其中区间[0°,23.5°)和[158.5°,180°)的对应码元为0，区间[23.5°,68.5°)的对应码元为1，区间[68.5°,113.5°)的对应码元为2，区间[113.5°,158.5°)的对应码元为3；

(5f)求出所有交点码元后利用一维方向唯一阵列的窗口唯一性获得交点码字。