CN105913488A - 一种基于三维映射表的三维点云快速重建方法 - Google Patents

Abstract

本发明公开了一种基于三维映射表的三维点云快速重建方法，获取相机的参数矩阵，根据参数矩阵生成三维映射表，通过查询三维映射表得到图像坐标在不同像素值时的世界坐标，从而形成图像的三维点云。本发明的方法可以有效降低三维点云恢复的计算量，仅通过查询三维映射表，即可实现三维点云的恢复，具有高实时性、低计算量的优点。

Description

一种基于三维映射表的三维点云快速重建方法

技术领域

本发明属于相机的三维场景重建领域,具体涉及一种基于三维映射表的三维点云快速重建方法。

背景技术

目前，RGB-D相机逐渐广泛应用到各个领域,如三维重建，图像理解和视频监控领域，RGB-D相机可以获得距离物体的距离,该距离可以以图像的形式被用户获得(这种图像被称为深度图像)。正因为RGB-D相机的特性,在相机标定后,可以利用标定参数直接恢复深度图像的三维信息。传统的对三维信息进行恢复的方法,直接使用相机的标定参数，对深度图像进行三维恢复，这种方法的局限性在于，计算量较大，且无法实时地进行三维场景重建。

发明内容

针对上述现有技术中存在的问题或缺陷，本发明的目的在于，提供一种基于三维映射表的三维点云快速重建方法，该方法能够对三维点云进行实时的恢复。

为了实现上述目的，本发明采用如下技术方案：

一种基于三维映射表的三维点云快速重建方法，包括以下步骤：

步骤一，进行相机标定，得到相机的参数矩阵P；

步骤二，根据参数矩阵P生成三维映射表，三维映射表的(x,y,d)位置上存储的是图像坐标(x,y)在像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)；

步骤三，利用相机获取深度视频流，遍历深度视频流中的每帧图像上的图像坐标(x,y)的不同像素值d，图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d)，查询三维映射表得到位置(x,y,d)对应的世界坐标(X_xyd,Y_xyd,Z_xyd)，每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(X_xyd,Y_xyd,Z_xyd)形成该帧图像的三维点云。

具体地，所述步骤二中根据参数矩阵P生成三维映射表，包括以下步骤：

步骤2.1：定义三维映射表的结构，三维映射表包括坐标轴x、坐标轴y和坐标轴d，其中，坐标轴x是图像坐标(x,y)的横坐标，坐标轴y是图像坐标(x,y)的纵坐标，坐标轴d是图像坐标(x,y)的像素值；

步骤2.2：针对图像坐标系上所有的图像坐标(x,y)，分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(X_xyd,Y_xyd,Z_xyd)，利用求得的世界坐标(X_xyd,Y_xyd,Z_xyd)填充三维映射表。

具体地，所述步骤2.2的实现方法包括：

步骤2.2.1：求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θ_xy：

${\mathrm{\θ}}_{xy}=\arcsin \left(\frac{H}{\sqrt{X_{xy}^2+Y_{xy}^2+H^2}}\right)$

其中，H表示相机在世界坐标系中的架设高度，X_xy和Y_xy分别表示图像坐标(x,y)对应的世界坐标的横坐标和纵坐标；

步骤2.2.2：遍历图像坐标(x,y)处的像素值d，d∈[0,255)，计算图像坐标(x,y)在像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)：

Z_xyd＝H-kdsinθ_xy

$\left[\begin{array}{c}{X}_{xyd}\\ Y_{xyd}\end{array}\right]={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}+(p_{33}x-p_{13})Z_{xyd}\\ p_{34}y-p_{24}+(p_{33}y-p_{23})Z_{xyd}\end{array}\right]$

其中，p_ij(1≤i≤3,1≤j≤4)表示参数矩阵P中的元素；k为像素值与实际距离的比值；

步骤2.2.3：选取下一个图像坐标(x,y)，重复步骤2.2.1和步骤2.2.2，直至遍历完整幅图片中的所有图像坐标，得到三维映射表。

与现有技术相比，本发明具有以下技术效果：本发明的方法可以有效降低三维点云恢复的计算量，仅通过查询三维映射表，即可实现三维点云的恢复，具有高实时性、低计算量的优点。

下面结合附图和具体实施方式对本发明的方案做进一步详细地解释和说明。

附图说明

图1是选定的N(N≥6)组点；

图2是世界坐标系模型；

图3是N组图像坐标系上的点与对应的空间坐标点；

图4是RGB-D相机采集到的一段深度视频流中的多帧图像(注：深度视频流是从RGB-D采集的深度图序列)；

图5是对图4中的深度视频流恢复出的每帧图像的点云；

图6是三维映射表的空间结构图。

具体实施方式

本发明的基于三维映射表的三维点云快速恢复方法，通过相机标定、生成三维映射表和使用三维映射表，将深度图片快速恢复至3D空间中，本发明方法包括以下步骤：

步骤一，进行相机标定，得到相机的参数矩阵P，参数矩阵P为3*4的矩阵，矩阵中每个元素均表示一个相机参数。

步骤1.1：在现实场景中，建立图像坐标系和世界坐标系，将相机固定在世界坐标系中的某个位置上；

步骤1.2：在图像坐标系和世界坐标系上选定N组一一对应的标定点。通过标定支架或者其他标定方法，如线标定、灭点标定和体标定，获得N组(N≥6)图像坐标系上的点和与之对应的世界坐标系上的点，如图1和图2所示，其中，(x,y)是图像坐标系上的点，即图像坐标，(X,Y,Z)是与(x,y)对应的世界坐标系上的点，即世界坐标，如：

步骤1.3，根据选择的标定点计算相机参数矩阵P，计算公式如下：

$\begin{array}{c}P=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]\\ ={\left(V^{T}V\right)}^{-1}{V}^{T}u\end{array}---\left(1\right)$

其中

$V=\left[\begin{array}{cccc}{X}_1& Y_1& Z_1& 1\\ X_2& Y_2& Z_2& 1\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ X_N& Y_N& Z_N& 1\end{array}\right]$

$u=\left[\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ .& .& .\\ .& .& .\\ .& .& .\\ x_N& y_N& 1\end{array}\right]$

其中，参数矩阵P中的每一个元素均表示一个相机的参数。

步骤二，根据参数矩阵P生成三维映射表。包括以下步骤：

步骤2.1：定义三维映射表的结构，如图6所示。

其中，H、W分别对应三维映射表空间中图像的行数和列数，D是相机的最远检测距离。x是图像的横坐标，坐标轴x为三维映射表第一维；y为图像的纵坐标，坐标轴y为三维映射表第二维；d是(x,y)处的像素值，坐标轴d为三维映射表第三维。三维映射表(x,y,d)位置存储的是图像坐标(x,y)像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)。

步骤2.2：针对图像坐标系上所有的图像坐标(x,y)，分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(X_xyd,Y_xyd,Z_xyd)，利用求得的世界坐标(X_xyd,Y_xyd,Z_xyd)填充三维映射表；包括以下步骤：

步骤2.2.1：求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θ_xy。

给定图像坐标(x,y)，其对应的射线不随当前图像坐标(x,y)的像素值d的变化而变化，即该射线与X-Y平面的夹角θ_xy不随像素值d的变化而变化。

设图像坐标(x,y)对应的世界坐标系中的Z_xy＝0，那么，根据相机的参数矩阵P，可得图像坐标(x,y)对应的世界坐标(X_xy,Y_xy,0)，即：

$\begin{array}{c}\left[\begin{array}{c}{X}_{xy}\\ Y_{xy}\end{array}\right]={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}+(p_{33}x-p_{13})Z_{xy}\\ p_{34}y-p_{24}+(p_{33}y-p_{23})Z_{xy}\end{array}\right]\\ ={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}\\ p_{34}y-p_{24}\end{array}\right]\end{array}---\left(2\right)$

相机的世界坐标为(0,0,H)，根据勾股定理可得：

${\mathrm{sin\θ}}_{xy}=\frac{H}{\sqrt{X_{xy}^2+Y_{xy}^2+H^2}}---\left(3\right)$

得：

${\mathrm{\θ}}_{xy}=\arcsin \left(\frac{H}{\sqrt{X_{xy}^2+Y_{xy}^2+H^2}}\right)---\left(4\right)$

步骤2.2.2：遍历图像坐标(x,y)处的像素值d，d∈[0,255)，计算图像坐标(x,y)在像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)。即：

Z_xyd＝H-kdsinθ_xy

$\left[\begin{array}{c}{X}_{xyd}\\ Y_{xyd}\end{array}\right]={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}+(p_{33}x-p_{13})Z_{xyd}\\ p_{34}y-p_{24}+(p_{33}y-p_{23})Z_{xyd}\end{array}\right]---\left(5\right)$

其中，k为像素值与实际距离的比值；

将求出的图像坐标(x,y)在不同像素值d时的(X_xyd,Y_xyd,Z_xyd)保存到三维映射表的(x,y,d)位置。

步骤2.2.3：选取下一个图像坐标(x,y)，重复步骤2.2.1和步骤2.2.2，直至遍历完整幅图片中的所有图像坐标，得到三维映射表，将三维映射表保存至磁盘。

步骤三，加载在步骤二中储存的三维映射表，利用相机获取深度视频流，深度视频流是从RGB-D相机采集的深度图序列，遍历深度视频流中每帧图像上图像坐标(x,y)的像素值d，图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d)，查询三维映射表得到位置(x,y,d)对应的世界坐标(X_xyd,Y_xyd,Z_xyd)，遍历完成后，每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(X_xyd,Y_xyd,Z_xyd)形成该帧图像的三维点云。

本发明的方法可以有效降低三维点云恢复的计算量，参见步骤三，仅通过查询三维映射表，即可实现三维点云的恢复，具有高实时性、低计算量的优点。

实施例

在实施例处理过程中，采样频率为25帧/秒，帧图像的大小为320×240，图4是从RGB-D相机采集的深度视频流的一段，采用本发明的方法对深度图进行点云恢复。

步骤一，建立世界坐标系，如图2，选定相机正下方的地面为世界坐标系的原点，X-Y平面平行于地面；使用标定支架，获取6组图像坐标系上的点与其对应的世界坐标系上的点，如图3；计算相机的参数矩阵P。

步骤二，根据参数矩阵P生成三维映射表。生成结构为Sheet[240][320][200][3]的三维映射表，其流程伪代码如下：

将生成的Sheet[240][320][200][3]保存至磁盘。

步骤三，加载磁盘上的三维映射表，从RGB-D相机获取深度视频流，利用三维映射表，直接将深度视频流中的每帧图像上的图像坐标(x,y,d)映射到世界坐标(X,Y,Z)，其伪代码流程如下：

使用OpenGL绘制出每幅图像的点云，如图5，在三维坐标系内，灰色的点是恢复的三维点云。

Claims (3)

1.一种基于三维映射表的三维点云快速重建方法，其特征在于，包括以下步骤：

步骤一，进行相机标定，得到相机的参数矩阵P；

步骤二，根据参数矩阵P生成三维映射表，三维映射表的(x,y,d)位置上存储的是图像坐标(x,y)在像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)；

步骤三，利用相机获取深度视频流，遍历深度视频流中的每帧图像上的图像坐标(x,y)的不同像素值d，图像坐标(x,y)在像素值为d时在三维映射表中对应的位置为(x,y,d)，查询三维映射表得到位置(x,y,d)对应的世界坐标(X_xyd,Y_xyd,Z_xyd)，每帧图像上的所有图像坐标(x,y)在不同像素值d时的世界坐标(X_xyd,Y_xyd,Z_xyd)形成该帧图像的三维点云。

2.如权利要求1所述的基于三维映射表的三维点云快速重建方法，其特征在于，所述步骤二中根据参数矩阵P生成三维映射表，包括以下步骤：

步骤2.1：定义三维映射表的结构，三维映射表包括坐标轴x、坐标轴y和坐标轴d，其中，坐标轴x是图像坐标(x,y)的横坐标，坐标轴y是图像坐标(x,y)的纵坐标，坐标轴d是图像坐标(x,y)的像素值；

步骤2.2：针对图像坐标系上所有的图像坐标(x,y)，分别计算每个图像坐标(x,y)在不同像素值d时对应的世界坐标系上的世界坐标(X_xyd,Y_xyd,Z_xyd)，利用求得的世界坐标(X_xyd,Y_xyd,Z_xyd)填充三维映射表。

3.如权利要求2所述的基于三维映射表的三维点云快速重建方法，其特征在于，所述步骤2.2的实现方法包括：

步骤2.2.1：求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θ_xy：

${\mathrm{\θ}}_{\mathrm{xy}}=\arcsin \left(\frac{H}{X_{\mathrm{xy}}^2+Y_{\mathrm{xy}}^2+H^2}\right)$

其中，H表示相机在世界坐标系中的架设高度，X_xy和Y_xy分别表示图像坐标(x,y)对应的世界坐标的横坐标和纵坐标；

步骤2.2.2：遍历图像坐标(x,y)处的像素值d，d∈[0,255)，计算图像坐标(x,y)在像素值为d时对应的世界坐标(X_xyd,Y_xyd,Z_xyd)：

Z_xyd＝H-kdsinθ_xy

$\left[\begin{array}{c}{X}_{xyd}\\ Y_{xyd}\end{array}\right]={\left[\begin{array}{cc}{p}_{11}-p_{31}x& p_{12}-p_{32}x\\ p_{21}-p_{31}y& p_{22}-p_{32}y\end{array}\right]}^{-1}\left[\begin{array}{c}{p}_{34}x-p_{14}+(p_{33}x-p_{13})Z_{xyd}\\ p_{34}y-p_{24}+(p_{33}y-p_{23})Z_{xyd}\end{array}\right]$

其中，p_ij(1≤i≤3,1≤j≤4)表示参数矩阵P中的元素；k为像素值与实际距离的比值；

步骤2.2.3：选取下一个图像坐标(x,y)，重复步骤2.2.1和步骤2.2.2，直至遍历完整幅图片中的所有图像坐标，得到三维映射表。