CN105096314A - 基于二值网格模板的结构光动态场景深度获取方法 - Google Patents

Abstract

本发明公开了一种基于二值网格模板的结构光动态场景深度获取方法，主要解决现有技术计算深度精度低，测量效果易受测量场景影响的问题。其实现步骤为：设计由竖直和水平方向等间隔平行线组成的网格模板；将该网格模板投射到三维场景中，用摄像机记录经场景调制过的变形图像；对变形图像进行线提取操作，得到横线图和竖线图以及横竖线的交点；根据横竖线的连接关系，确定每个网格交点的拓扑坐标；根据每一点的拓扑坐标，计算该点在模板中的匹配点坐标；利用匹配点对的坐标，根据线面相交几何关系，计算网格中每一点对应的场景深度值。本发明具有深度精度高，对复杂场景的鲁棒性高，计算复杂度低的优点，可用于对动态场景的精确三维重建。

Description

基于二值网格模板的结构光动态场景深度获取方法

技术领域

本发明属于计算机视觉测量技术领域，特别涉及结构光动态场景深度的获取方法，可用于三维重建或目标识别。

背景技术

传统的图像成像仪器采集到的信号只是空间域上的二维信息，三维场景中的深度信息没有被采集到。随着当今科学技术的发展和人们生活水平的提高，传统的二维信息已经不能满足人们实际生活的需求。如何能够从场景中快速、高效的获取三维场景中的深度信息已经成为当前研究的热点。

从实际场景的三维信息中获取场景深度信息的过程叫做深度获取。根据深度获取过程中是否需要对被测物体进行接触式测量，可以把深度获取方法分为接触式测量和非接触式测量两大类。

接触式测量通过接触物体表面来得到深度信息，如坐标测量机。虽然接触式测量方法可以获得高精度的三维数据，但它对硬件要求高、速度慢。多数接触式测量仪器体积大，不便于使用，且直接接触物体表面会对物体产生一定的损害。

非接触式测量不需要与目标物体接触就能获取目标物体的深度信息，如激光雷达、光学成像测量等方法。由于非接触式测量具有测量速度快，采样点分辨率高等优点，该方法现已成为获取深度信息的一个重要方法。

根据测量过程中是否需要投射出探测信号，非接触式测量方法又可分为被动式测量方法和主动式测量方法两大类。被动式测量方法是不需要投射探测信号，通过测量目标物体表面反射的辐射波来进行深度测量。常见的被动式测量方法有立体视觉法、阴影测量法、聚焦法、离焦法等。其中应用最为广泛的立体视觉法是通过模拟生物的视觉方式，在多个角度采用多个摄像机获得被测物体多张数字图像。然后根据特定采样点在多张图像中像素点的匹配及采样摄像机的空间位置关系，依据三角测量几何原理，计算出该特定采样点的深度数值。虽然被动式测量方法操作简便，容易实现，不需要额外光源，但是该方法却很难达到在多张数字图像中特定采样点的精确匹配。对于不存在明显特征的图像，该方法计算量大，匹配精度低，继而难以获得高精确的深度测量结果。

主动式测量方法需要投射额外的探测波到目标物体上，通过检测目标物体反射回波，计算探测物体的深度信息。常见的可投射的探测波有可见光、高能量光束、超声波和X射线等。主动式测量方法主要有激光扫描法、飞行时间法和结构光法等。

激光扫描法采用激光扫描仪，通过对物体进行逐点扫描，得到深度信息。虽然精度较高，但是为得到高分辨率的深度数值，耗时较长；飞行时间法即timeofflight，是新兴的三维成像技术之一，虽然它的测量速度快，但采集到的深度图像分辨率较低，精度也不高。

结构光法可以利用简单的设备，实现高精度、高可靠性的深度信息获取。其原理是，首先利用光学投射设备将特定的具有编码规律的结构光模板投射到被测物体表面，然后利用图像采集设备采集经过目标物体表面调制后的图像。通过比较投射模板和采集到的图像，得到图像像素点的匹配关系，结合三角测距几何原理计算出物体表面的深度信息。结构光法通过利用可控光源形成具有明显纹理特征的信息，能降低深度测量中诸如目标物体缺乏纹理、表面光滑等情况下进行匹配的难度。正是因为结构光法具有实现简单、测量速度快、精度高等特点，该方法目前已得到广泛应用。

根据结构光模板的编码方式，结构光法可分为空间编码方式和时间编码方式。空间编码方式，仅需投射单帧编码图像。将采集到的图像进行解码后，通过和编码模板进行比对，得到两幅图样的匹配关系，结合三角测距原理，计算被测物体的深度信息。空间编码方式投射的图案数目较少，适合动态场景的测量。但是图像采集设备采集的图像容易受空间域内特征点的影响，解码困难，测量误差较大。同时，空间编码方式易受物体表面反射率不一致及表面颜色不一致等问题的影响。

时间编码方式需要向测量物体投射多帧不同的编码模板，图像采集设备相应地采集经过物体调制后的多帧编码图像。时间编码方式通过对获得的编码图像序列进行解码，结合三角测距原理，计算得到被测物体的深度信息。这种方式虽然具有易于实现、测量精度高、空间分辨率高等优点，但却需要投射多帧模板，耗时较长，不适宜动态物体深度数据的测量。

发明内容

本发明的目的在于针对已有技术的不足，提出一种基于二值网格模板的结构光动态场景深度获取方法，以在不增加设备复杂性以及计算复杂性的情况下，避免颜色解码错误和匹配点定位不准确的问题，获取高精度的动态场景深度值。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)设计由等间隔的竖直和水平方向的平行线组成的二值网格模板P；

(2)通过投影仪T将二值网格模板P投射到三维场景中，使模板P被场景调制，得到变形网格图像U，并用摄像机C记录该变形网格图像；

(3)对变形网格图像U进行线提取操作，得到横线图IH和竖线图IV，以及所有网格交点I的坐标(x_i,y_i)；

(4)根据变形网格图像U中横竖线的连接关系，得到这些交点I的拓扑坐标(c,r)；

(5)根据每个交点I的的拓扑坐标(c,r)，计算交点I在模板中的匹配点坐标(x_p,y_p)；

(6)根据交点I在变形网格图像U中的图像坐标(x_i,y_i)和匹配点坐标(x_p,y_p)，利用线面相交几何关系，计算变形网格图像U中每一点I对应的深度值D。

附图说明

图1为本发明的实现流程图；

图2为本发明使用的网格模板图；

图3为本发明使用的系统示意图；

图4为本发明线提取使用的结构单元SE；

图5为本发明使用的线面相交三角原理图；

图6为用本发明对彩色场景的深度测量结果图；

图7为用本发明对动态变化的面部的深度测量结果图。

具体实施方式

本发明是对现有结构光法空间编码方式的动态场景深度获取算法的改进，未增加设备复杂性，提高了获取复杂场景深度的鲁棒性，增加了所获取深度的精度。

参照图1，本发明基于二值网格模板的结构光动态场景深度获取方法，实现步骤如下：

步骤1，设计网格模板P。

参展图2，本实例设计的网格模板P由等间隔的竖直和水平方向的平行线组成，其中相邻平行线条的间隔为8像素，线宽为1像素。

步骤2，投射网格模板P，获取变形网格图像U。

参照图3，将设计好的网格模板P经投影仪T投射到三维场景中，由于场景中各点的深度不同，使得网格模板P发生变形，产生变形图像U，并用摄像机C对该变形图像U进行记录。

步骤3，对变形网格图像U进行线提取操作，得到横线图IH和竖线图IV。

(3a)将变形网格图像U分成25×25大小的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B。阈值T利用Otsu法，按照如下步骤选取：

(3a1)假设变形网格图像U中的一个像素点p_u的灰度值为v，遍历T∈[0,255]的所有整数作为阈值，统计U中的前景像素FP的数量n₁，背景像素BP的数量n₂；

(3a2)根据步骤(3a1)的结果计算如下参数：

前景像素占比

前景像素的平均灰度值

计算背景像素占比

计算背景像素的平均灰度值

计算前景背景像素的类间方差g＝w₁·w₂·(u₁-u₂)²；

(3a3)选择使类间方差g取得最大值的T作为阈值；

(3b)利用图4所示结构单元对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv，即利用图4(a)所示的结构单元得到横条带图Sh，利用图4(b)所示的结构单元得到竖条带图Sv；

(3c)沿水平方向求取变形网格图像U中的所有灰度极大值，将所有极大值像素点位置标为1，得到水平极值图Gv；将Sv和Gv做按位与操作，得到竖线图IV；

(3d)沿竖直方向求取变形网格图像U中的所有灰度极大值，将所有极大值像素点位置标为1，得到竖直极值图Gh；将Sh和Gh做按位与操作，得到横线图IH；

(3e)将竖线图IV和横线图IH做按位与操作，得到所有网格交点I的图像坐标(x_i,y_i)。

步骤4，根据变形网格图像U中横竖线的连接关系，得到所有网格交点I的拓扑坐标(c,r)。

(4a)遍历变形网格图像U中的每一条竖线V，假设V上的交点I的数量为N，根据每一个交点I的图像纵坐标y_i，按照从小到大的顺序，给交点I赋予初始行编号r₀，r₀为从1到N的正整数；

(4b)将变形网格图像U中的网格G分割成若干个子网格SG的集合{SG}，分割规则如下：

(4b1)选取交点数量最多且不属于已有子网格集合{SG}的竖线，作为新的子网格SGnew的主竖线M；

(4b2)找到与M相交的所有横线Hi，与所有横线Hi相交的所有竖线Vi上的交点Ii，若交点Ii不属于已有子网格集合{SG}中，则将交点Ii划分到新的子网格SGnew中；

(4b3)将新的子网格SGnew记录在已有子网格集合{SG}中；

(4b4)重复上述步骤，使所有网格交点I都被划分到已有子网格集合{SG}中，结束分割；

(4c)在每一个子网格SG中，执行编号校正操作，得到校正行编号r_c，具体步骤如下：

(4c1)在每一个子网格SG中，遍历每一条竖线V，找出与竖线V和主竖线M都有交点的所有横线Hk，将横线Hk与竖线V的交点记为Ik；

(4c2)比较所有Ik的初始行编号r₀，选择初始行编号r₀最小的交点所在的横线Hk，作为竖线V的对齐线A；

(4c3)假设对齐线A与竖线V的交点Ia的初始行编号为r₀₁，对齐线A与主竖线M的交点Im的初始行编号为r₀₂，竖线V上的任意一个交点I的初始行编号为r_0n，将竖线V上所有交点I的校正行编号r_c设置为r_0n+r₀₂-r₀₁。

(4d)对于子网格集合{SG}中的子网格SG之间执行编号对齐操作，得到所有交点的行编号r，具体步骤如下：

(4d1)遍历所有子网格SG，对于每一个子网格SG，判断该SG与其他子网格是否相连；如果该SG与至少一个其他子网格相连，则执行步骤(4d2)，否则不做处理；

(4d2)选取任意一条连接两个子网格SG1和SG2的横线Hi，假设位于Hi上且属于子网格SG1的交点Ii1的校正行编号为r_c1，假设位于Hi上且属于子网格SG2的交点Ii2的校正行编号为r_c2，SG2中的任意交点I的校正行编号为r_cn，将SG2中的所有交点I的对齐行编号r_a设置为r_cn+r_c1-r_c2，并将SG1和SG2合并为子网格SG1；

(4d3)重复步骤(4d1)和步骤(4d2)，直到所有子网格SG两两互不相连，再将每个子网格SG标记为一个连通区域C，并将每个连通区域C中的交点I的行坐标r设置为对齐行坐标r_a；

(4e)旋转变形网格图像U，重复步骤(4a)-(4d)，得到所有交点的列编号c。

步骤5，根据每个交点I的拓扑坐标(c,r)，计算该交点I在模板P中的匹配点坐标(x_p,y_p)。

(5a)将每一个连通区域C中的所有交点I的图像坐标(x_i,y_i)和拓扑坐标(c,r)，带入如下方程组中，用最小二乘法求解所有交点I的共同匹配偏移量T_x和T_y：

$\left\{\begin{array}{c}\[x_{i1},y_{i1},1\]\·F\·{\[L*c_1+T_x,L*r_1+T_y,1\]}^T=0\\ \[x_{i2},y_{i2},1\]\·F\·{\[L*c_2+T_x,L*r_2+T_y,1\]}^T=0\\ \begin{array}{c}.\\ .\\ .\end{array}\\ \[x_{in},y_{in},1\]\·F\·{\[L*c_n+T_x,L*r_n+T_y,1\]}^T=0\end{array}\right.$

其中，F是摄像机C和投影仪P系统标定得到的基础矩阵，L是模板P中相邻平行线的间距；

(5b)根据步骤(5a)中得到的共同匹配偏移量T_x和T_y，计算拓扑坐标为(c,r)的交点I在模板P中的匹配点坐标(x_p,y_p)为(L*c+T_x,L*r+T_y)。

步骤6，根据变形网格图像U中交点I的匹配点坐标(x_p,y_p)，利用线面相交几何关系，计算每一点I对应的深度值D。

参照图5，本步骤的具体实现如下：

(6a)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6b)将图像中的交点I在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点I在模板中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6c)将经过投影仪光心(x_o,y_o,1)和匹配点(x_p,y_p,1)的竖直平面的法向量记为(A,B,C)，并通过下式计算匹配点对(x_c,y_c,1)和(x_p,y_p,1)对应的深度值D：

$D=\frac{A\·x_o+B\·y_o+C\·z_o}{A\·x_c+B\·y_c+C\·z_c}.$

本发明的效果可通过一些实验进一步说明。

1.实验条件

实验系统由一个DLP投影仪和一个彩色摄像机组成，其中彩色摄像机分辨率为2048×2048，镜头焦距为12mm，投影仪分辨率为912×1140，投影仪和摄像机的镜头光心距离为250mm。

2.实验内容

实验1，是使用本发明方法对一个彩色抱枕进行深度测量，所得到的深度测量结果通过深度点云图显示，如图6所示。其中，图6(a)是被测抱枕的彩色图像，图6(b)是被投射网格模板的抱枕图像，图6(c)是抱枕的深度测量点云图。图6表明，本发明对于彩色场景可以获得高精度的深度测量结果。

实验2，使用本发明方法对动态变化的人脸进行深度测量，所得到的深度测量结果通过深度点云图显示，如图7所示。其中，图7(a)-图7(c)是被投射网格模板的人脸动态变化图像，图7(d)-图7(f)是动态变化的人脸的深度测量点云图。图7表明，本发明对于动态复杂场景可以获得高精度的深度测量结果。

Claims (10)

1.一种基于二值网格模板的结构光动态场景深度获取方法，包括如下步骤：

(1)设计由等间隔的竖直和水平方向的平行线组成的二值网格模板P；

(2)通过投影仪T将二值网格模板P投射到三维场景中，使模板P被场景调制，得到变形网格图像U，并用摄像机C记录该变形网格图像；

(3)对变形网格图像U进行线提取操作，得到横线图IH和竖线图IV，以及所有网格交点I的坐标(x_i,y_i)；

(4)根据变形网格图像U中横竖线的连接关系，得到交点I的拓扑坐标(c,r)；

(5)根据每个交点I的拓扑坐标(c,r)，计算交点I在模板P中的匹配点坐标(x_p,y_p)；

(6)根据交点I在变形网格图像U中的图像坐标(x_i,y_i)和匹配点坐标(x_p,y_p)，利用线面相交几何关系，计算变形网格图像U中每一点I对应的深度值。

2.根据权利要求1所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(1)中的网格模板P，由等间隔的竖直和水平方向的平行线组成，相邻平行线条的间隔为8像素，线宽为1像素。

3.根据权利要求1所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(3)中对变形网格图像U进行线提取操作，得到横线图IH和竖线图IV，按如下步骤进行：

(3a)将变形网格图像U分成25×25大小的图像块，在每一个图像块中选取阈值T，进行二值化操作，得到二值图像B；

(3b)对二值图像B进行形态学腐蚀操作，得到横条带图Sh和竖条带图Sv；

(3c)沿水平方向求取图像U中的所有灰度极大值，将所有极大值像素点位置标为1，得到水平极值图Gv；将Sv和Gv做按位与操作，得到竖线图IV；

(3d)沿竖直方向求取图像U中的所有灰度极大值，将所有极大值像素点位置标为1，得到竖直极值图Gh；将Sh和Gh做按位与操作，得到横线图IH。

(3e)将竖线图IV和横线图IH做按位与操作，得到所有网格交点I及其坐标(x_i,y_i)。

4.根据权利要求3所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(3a)中在每一个图像块中选取阈值T，是利用Otsu法按如下步骤选取：

(3a1)假设变形网格图像U中的一个像素点p_u的灰度值为v，遍历T∈[0,255]的所有整数作为阈值，统计U中的前景像素FP的数量n₁，背景像素BP的数量n₂；

(3a2)根据(3a1)计算如下参数：

前景像素占比

前景像素的平均灰度值

计算背景像素占比

计算背景像素的平均灰度值

计算前景背景像素的类间方差g＝w₁·w₂·(u₁-u₂)²；

(3a3)选择使g取得最大值的T作为阈值。

5.根据权利要求1所述的基于网格模板的结构光动态场景深度获取方法，其中步骤(4)所述的根据变形网格图像U中横竖线的连接关系，得到这些交点I的拓扑坐标(c,r)，按如下步骤进行：

(4a)遍历变形网格图像U中的每一条竖线V，假设V上的交点I的数量为N，根据每一个交点I的图像纵坐标y_i，按照从小到大的顺序，给交点I赋予初始行编号r₀，r₀为从1到N的正整数；

(4b)将变形网格图像U中的网格G分割成若干个子网格SG的集合{SG}；

(4c)在每一个子网格SG中，执行编号校正操作，得到校正行编号r_c；

(4d)对于子网格集合{SG}中的子网格SG之间执行编号对齐操作，得到所有交点的行编号r；

(4e)旋转变形网格图像U，重复步骤(4a)-(4d)，得到所有交点的列编号c。

6.根据权利要求5所述的基于网格模板的结构光动态场景深度获取方法，其中步骤(4b)所述的将变形网格图像U中的网格G分割成若干个子网格SG的集合{SG}，按如下步骤进行：

(4b1)选取交点数量最多且不属于已有子网格集合{SG}的竖线，作为新的子网格SGnew的主竖线M；

(4b2)找到与M相交的所有横线Hi，与所有横线Hi相交的所有竖线Vi上的交点Ii，若交点Ii不属于已有子网格集合{SG}中，则将交点Ii划分到新的子网格SGnew中；

(4b3)将新的子网格SGnew记录在已有子网格集合{SG}中；

(4b4)重复上述步骤，使所有网格交点I都被划分到已有子网格集合{SG}中，结束分割。

7.根据权利要求5所述的基于网格模板的结构光动态场景深度获取方法，其中步骤(4c)所述的在每一个子网格SG中，执行编号校正操作，按如下步骤进行：

(4c1)在每一个子网格SG中，遍历每一条竖线V，找出与竖线V和主竖线M都有交点的所有横线Hk，将横线Hk与竖线V的交点记为Ik；

(4c2)比较所有Ik的初始行编号r₀，选择初始行编号r₀最小的交点所在的横线Hk，作为竖线V的对齐线A；

(4c3)假设对齐线A与竖线V的交点Ia的初始行编号为r₀₁，对齐线A与主竖线M的交点Im的初始行编号为r₀₂，竖线V上的任意一个交点I的初始行编号为r_0n，将竖线V上所有交点I的校正行编号r_c设置为r_0n+r₀₂-r₀₁。

8.根据权利要求5所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(4d)中在子网格集合{SG}中的子网格SG之间执行编号对齐操作，按如下步骤进行：

(4d1)遍历所有子网格SG，对于每一个子网格SG，判断该SG与其他子网格是否相连；如果该SG与至少一个其他子网格相连，则执行步骤(4d2)，否则不做处理；

(4d2)选取任意一条连接两个子网格SG1和SG2的横线Hi，假设位于Hi上且属于子网格SG1的交点Ii1的校正行编号为r_c1，假设位于Hi上且属于子网格SG2的交点Ii2的校正行编号为r_c2，SG2中的任意交点I的校正行编号为r_cn，将SG2中的所有交点I的对齐行编号r_a设置为r_cn+r_c1-r_c2，并将SG1和SG2合并为子网格SG1；

(4d3)重复步骤(4d1)和步骤(4d2)，直到所有子网格SG两两互不相连，再将每个子网格SG标记为一个连通区域C，并将每个连通区域C中的交点I的行坐标r设置为对齐行坐标r_a。

9.根据权利要求1所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(5)根据每个交点I的拓扑坐标(c,r)，计算每个交点I在模板P中的匹配点坐标(x_p,y_p)，按如下步骤进行：

(5a)将每一个连通区域C中的所有交点I的图像坐标(x_i,y_i)和拓扑坐标(c,r)，带入如下方程组中，用最小二乘法求解所有交点I的共同匹配偏移量T_x和T_y：

$\left\{\begin{array}{c}\[x_{i1},y_{i1},1\]\·F\·{\[L*c_1+T_x,L*r_1+T_y,1\]}^T=0\\ \[x_{i2},y_{i2},1\]\·F\·{\[L*c_2+T_x,L*r_2+T_y,1\]}^T=0\\ .\\ .\\ .\\ \[x_{in},y_{in},1\]\·F\·{\[L*c_n+T_x,L*r_n+T_y,1\]}^T=0\end{array}\right.$

其中，F是摄像机C和投影仪P系统标定得到的基础矩阵，L是模板P中相邻平行线的间距；

(5b)根据步骤(5a)中得到的共同匹配偏移量T_x和T_y，计算拓扑坐标为(c,r)的交点I在模板P中的匹配点坐标(x_p,y_p)为(L*c+T_x,L*r+T_y)。

10.根据权利要求1所述的基于网格模板的结构光动态场景深度获取方法，其中所述步骤(6)根据变形网格图像U中交点I的匹配点坐标(x_p,y_p)，利用线面相交几何关系，计算每一点I对应的深度值D，按如下步骤进行：

(6a)以摄像机坐标系为参考坐标系，摄像机光心坐标为(0,0,0)，将投影仪光心在摄像机坐标系下的坐标记为(x_o,y_o,1)；

(6b)将图像中的交点I在摄像机坐标系下的坐标记为(x_c,y_c,1)，将交点I在模板中的匹配点在摄像机坐标系下的坐标记为(x_p,y_p,1)；

(6c)将经过投影仪光心(x_o,y_o,1)和匹配点(x_p,y_p,1)的竖直平面的法向量记为(A,B,C)，并通过下式计算匹配点对(x_c,y_c,1)和(x_p,y_p,1)对应的深度值D：

$D=\frac{A\·x_o+B\·y_o+C\·z_o}{A\·x_c+B\·y_c+C\·z_c}.$