CN106097348A - 一种三维激光点云与二维图像的融合方法 - Google Patents

Abstract

本发明涉及三维点云数据处理与三维场景重建技术领域，一种三维激光点云与二维图像的融合方法，包括以下步骤：(1)制作黑白栅格竖孔标定板，(2)采集三维激光点云和二维图像，(3)计算竖孔中心空间坐标，(4)计算竖孔中心像素坐标，(5)计算映射矩阵完成数据融合。本发明具有以下优点：一是，采用激光扫描仪的线点云数据与相机拍摄的图像数据进行融合，采样数据量小；二是，在求解三维激光点云与二维图像的映射关系时，计算量小，计算过程简单，计算效率高；三是，可实现三维激光点云与二维图像的实时融合；四是，利用区间矩阵计算竖孔中心空间坐标，约束条件多，计算更加准确；五是，利用相机成像原理直接构建激光扫描平面和相机成像平面的单应性关系，求解映射矩阵，计算方法简单可靠。

Description

一种三维激光点云与二维图像的融合方法

技术领域

本发明涉及一种三维激光点云与二维图像的融合方法，属于三维点云数据处理与三维场景重建技术领域。

背景技术

在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。三维激光点云与二维图像融合是解决三维场景重建的关键性技术，具有较强的理论意义和应用价值，目前已在工业检测、自主导航、逆向工程、虚拟现实和军事国防等领域有了越来越多的应用。

根据几何结构的不同，三维激光点云可分为两大类：线点云与面点云。目前，大多的激光扫描仪的工作方式为线扫描。每次扫描可以获取一条由一系列离散点顺序组成的离散曲线，即为线点云。该离散曲线位于实际场景与激光扫描平面的交线上。为了获取整个场景的面点云数据，需要为激光扫描仪外加旋转平移装置，以实现整个场景的全面扫描。

三维激光点云与二维图像的融合主要是指在利用激光扫描仪和相机扫描拍摄三维场景时，建立三维激光点云中的空间点与二维图像的像素点之间的映射关系，从而获取每一个激光扫描点所对应的像素点，给每一个激光扫描点染色，最终获取场景的三维彩色点云。其主要分为两大步：1)求解三维激光点云与二维图像之间的映射关系；2)利用求得的映射关系融合场景三维激光点云与二维图像。

目前，三维激光点云与二维图像的融合方法主要有以下三种：1)利用激光扫描仪与相机的安装结构实现融合，该方法主要使用固定装置将激光扫描仪与相机进行固定安装，并在实验环境下通过标定得到激光扫描仪与相机的结构关系，从而完成三维激光点云与二维图像的融合；2)利用三维激光点云与二维图像中的直线或平面特征来实现二者的数据融合，该方法主要是对三维激光点云与二维图像中的直线特征进行提取，利用相机光心与直线特征构造平面，通过求取点云中对应直线端点到达该平面的最小距离来求解相机参数，并进一步实现三维激光点云与二维图像的融合；3)利用激光角点的回波反射图与图像相似性来完成融合，该方法利用激光角点的回波反射强度将点云制成反射图，并根据反射图与纹理图像之间的相似性求解对应关系，从而进行三维激光点云与二维图像的融合。

经过大量研究发现，与本发明相近的融合方法如下：对标定板进行全面的激光扫描，获取标定板完整的三维激光点云数据，与此同时，利用相机对标定板进行拍摄，获得标定板的二维图像数据。获取三维激光点云与二维图像中的对应点对，再根据非线性最小二乘算法求解外参与内参矩阵，从而实现三维激光点云与二维图像的融合。这种方法存在如下不足之处：1)该方法需要对标定板进行全面的激光扫描来获得标定板完整的三维激光点云，其采样获取的数据量大。2)为了求解三维激光点云与二维图像的映射关系，该方法需要对大量的采样数据进行处理，其计算量过大，计算效率低，计算过程繁琐；3)该方法无法实现三维激光点云与二维图像的实时匹配，在进行三维激光点云和二维图像融合时，激光扫描仪需要先完成对整个场景的扫描，以获取完整场景的三维激光点云，然后再与相机获得的二维平面图像数据进行融合，该过程不具有实时性。

发明内容

为了解决上述现有技术中存在的问题，本发明目的是提供一种三维激光点云与二维图像的融合方法。本发明是在利用激光扫描仪和相机扫描拍摄三维场景时，为激光扫描仪扫描的线点云数据与相机拍摄的图像数据提供一种融合方法，以实时获取场景的三维彩色点云数据。

为了实现上述发明目的，解决已有技术中存在的向题，本发明采取的技术方案是：一种三维激光点云与二维图像的融合方法，包含以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白正方形网格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{b_j|1≤j≤14}，竖孔长6cm，宽为2cm，每一个竖孔中心c_j(1≤j≤14)均位于黑白栅格的角点。

步骤2、采集三维激光点云和二维图像，固定激光扫描仪和相机，将标定板垂直面向激光扫描仪和相机，利用激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔B的中心，获取标定板中心线l_c上的线点云P，同时利用相机拍摄标定板，获取标定板的二维图像I，激光扫描仪坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面。

步骤3、计算竖孔中心空间坐标，分别提取标定板上和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用区间矩阵计算竖孔中心的空间坐标，具体包括以下子步骤：

(a)根据位置远近，从线点云P中提取标定板上的扫描点P_a＝{p_ai|1≤i≤n}和从竖孔中穿过的扫描点P_b＝{p_bi|1≤i≤m}，其中，n表示标定板上扫描点的个数，m表示从竖孔中穿过扫描点的个数。

(b)利用最小二乘法对位于标定板上的扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近。

(c)依次连接激光扫描仪光心O_L和扫描点P_a与P_b，分别获取激光扫描线L_a＝{L_ai|1≤i≤n}与L_b＝{L_bi|1≤i≤m}。

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点和

(e)由于竖孔的间隔，标定板上交点可分为15个部分 且竖孔上交点可分为14个部分 第一部分标定板上交点的最下面的点与第一部分竖孔上交点的最上面的点之间在拟合直线上构成了一个连续区间该区间包含了孔和板的边界；将该区间沿拟合直线向下平移0.5倍孔长，即可获得一个新的区间I_1,1，该区间包含了第一个竖孔中心c₁，由于每个竖孔之间的间隔固定，竖孔中心之间均相差12cm，因此，将I_1,1沿拟合直线向下平移12cm，即可获得包含第二个竖孔中心c₂的区间I_1,2，以此类推，可以获得I_1,3…I_1,14，利用上述方法，最终获得一个区间矩阵，

$\left[\begin{array}{ccc}{I}_{1,1}& ...& I_{1,14}\\ I_{2,1}& ...& I_{2,14}\\ I_{14,1}& ...& I_{14,14}\end{array}\right]$

矩阵中的元素区间I_ij表示了第i个边界对第j个竖孔中心位置的约束，因此，第j个竖孔中心c_j的优化约束区间为则竖孔中心c_j的位置为优化约束区间I_j的中心，则可以准确计算竖孔中心c_j的空间坐标。

步骤4、计算竖孔中心像素坐标，利用黑白栅格角点提取和平均值法，计算竖孔中心的像素坐标，具体包括以下子步骤：

(a)利用黑白栅格角点提取方法，获取与竖孔中心c_j(1≤j≤14)直接相邻的四个角点的像素点坐标，在图像坐标系[O_C；u,v]下依次记为

(b)计算竖孔中心c_j(1≤j≤14)的像素坐标(u_j,v_j)，即

步骤5、计算映射矩阵完成数据融合，利用相机针孔模型构建超定方程组，计算三维激光点云与二维图像的映射矩阵，并利用该映射矩阵实现三维激光点云与二维图像的融合，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵、空间平移向量以及本发明利用直线激光点云进行融合的特点，构建竖孔中心空间坐标与竖孔中心像素坐标的映射关系模型为，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}x\\ 0\\ z\\ 1\end{array}\right],$

$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right],$

[R T]＝[r₁ r₂ r₃ t]，

其中，s为相机放大系数，(u,v)为竖孔中心像素坐标，A为相机内参矩阵，[R T]为旋转矩阵R与平移矩阵T构成的外参矩阵，[r₁ r₂ r₃ t]为外参矩阵的列向量，(x,0,z)为竖孔中心空间坐标。

(b)对矩阵进行分块计算，得到下列关系，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_3& t\end{array}\right]\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],$

其中，r₁为旋转矩阵R的第一列，r₃为旋转矩阵R的第三列，t为平移矩阵T的列向量。

(c)进行计算，

令 $\tilde{M}=\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],$

$H=A\left[\begin{array}{ccc}{r}_1& r_3& t\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right],$

${\stackrel{\‾}{h}}_1^T=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\end{array}\right],$

${\stackrel{\‾}{h}}_2^T=\left[\begin{array}{ccc}{h}_{21}& h_{22}& h_{23}\end{array}\right],$

${\stackrel{\‾}{h}}_3^T=\left[\begin{array}{ccc}{h}_{31}& h_{32}& h_{33}\end{array}\right],$

则有

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{c}{\stackrel{\‾}{h}}_1^T\tilde{M}\\ {\stackrel{\‾}{h}}_2^T\tilde{M}\\ {\stackrel{\‾}{h}}_3^T\tilde{M}\end{array}\right].$

(d)由矩阵相等原则，则有

$u={\stackrel{\‾}{h}}_1^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M},$

$v={\stackrel{\‾}{h}}_2^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M}.$

(e)构建方程组，其表达形式为，

$\left[\begin{array}{ccc}{\tilde{M}}^T& 0& -u{\tilde{M}}^T\\ 0& {\tilde{M}}^T& -v{\tilde{M}}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0.$

(f)选取14组竖孔中心空间坐标和像素坐标构建超定方程组，

$\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0,$

$F=\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right],$

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到映射矩阵H。

(g)在实时扫描拍摄三维场景时，利用映射矩阵即可实时融合激光线点云和二维图像，获取场景的三维彩色点云。

本发明有益效果是：一种三维激光点云与二维图像的融合方法，包括以下步骤：(1)制作黑白栅格竖孔标定板，(2)采集三维激光点云和二维图像，(3)计算竖孔中心空间坐标，(4)计算竖孔中心像素坐标，(5)计算映射矩阵完成数据融合。与已有技术相比，本发明具有以下优点：一是，本发明采用激光扫描仪的线点云数据与相机拍摄的图像数据进行三维激光点云与二维图像融合，采样数据量小；二是，在求解三维激光点云与二维图像的映射关系时，本发明计算量小，计算过程简单，计算效率高；三是，本发明可实现三维激光点云与二维图像的实时融合；四是，本发明利用区间矩阵计算竖孔中心空间坐标，约束条件多，计算更加准确；五是，本发明利用相机成像原理直接构建激光扫描平面和相机成像平面的单应性关系，求解映射矩阵，计算方法简单可靠。

附图说明

图1是本发明方法步骤流程图。

图2是黑白栅格竖孔标定板示意图。

图3是激光线点云与图像数据采集示意图。

图4是激光线点云采集结果图。

图5是标定板上和从竖孔穿过的激光扫描点提取结果图。

图6是直线拟合结果图。

图7是激光扫描线获取结果图。

图8是竖孔中心空间坐标计算结果图。

图9是竖孔中心像素坐标计算示意图。

图10是室内外场景三维激光点云和二维图像融合结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种三维激光点云与二维图像的融合方法，包括以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白正方形网格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{b_j|1≤j≤14}，竖孔长6cm，宽为2cm，每一个竖孔中心c_j(1≤j≤14)均位于黑白栅格的角点，如图2所示。

步骤2、采集三维激光点云和二维图像，固定激光扫描仪和相机，将标定板垂直面向激光扫描仪和相机，利用激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔B的中心，获取标定板中心线l_c上的线点云P，同时利用相机拍摄标定板，获取标定板的二维图像I，激光扫描仪坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面，如图3所示。

步骤3、计算竖孔中心空间坐标，分别提取标定板上和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用区间矩阵计算竖孔中心的空间坐标，具体包括以下子步骤：

(a)根据位置远近，从线点云P中提取标定板上的扫描点P_a＝{p_ai|1≤i≤n}和从竖孔中穿过的扫描点P_b＝{p_bi|1≤i≤m}，如图4和图5所示。其中，n表示标定板上扫描点的个数，m表示从竖孔中穿过扫描点的个数。

(b)利用最小二乘法对位于标定板上的扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近，如图6所示。

(c)依次连接激光扫描仪光心O_L和扫描点P_a与P_b，分别获取激光扫描线L_a＝{L_ai|1≤i≤n}与L_b＝{L_bi|1≤i≤m}，如图7所示。

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点和

(e)由于竖孔的间隔，标定板上交点可分为15个部分 且竖孔上交点可分为14个部分 第一部分标定板上交点的最下面的点与第一部分竖孔上交点的最上面的点之间在拟合直线上构成了一个连续区间该区间包含了孔和板的边界；将该区间沿拟合直线向下平移0.5倍孔长，即可获得一个新的区间I_1,1，该区间包含了第一个竖孔中心c₁，由于每个竖孔之间的间隔固定，竖孔中心之间均相差12cm，因此，将I_1,1沿拟合直线向下平移12cm，即可获得包含第二个竖孔中心c₂的区间I_1,2，以此类推，可以获得I_1,3…I_1,14，利用上述方法，最终获得一个区间矩阵，

$\left[\begin{array}{ccc}{I}_{1,1}& ...& I_{1,14}\\ I_{2,1}& ...& I_{2,14}\\ I_{14,1}& ...& I_{14,14}\end{array}\right]$

矩阵中的元素区间I_ij表示了第i个边界对第j个竖孔中心位置的约束，因此，第j个竖孔中心c_j的优化约束区间为则竖孔中心c_j的位置为优化约束区间I_j的中心，则可以准确计算竖孔中心c_j的空间坐标，如图8所示。

步骤4、计算竖孔中心像素坐标，利用黑白栅格角点提取和平均值法，计算竖孔中心的像素坐标，如图9所示，具体包括以下子步骤：

(a)利用黑白栅格角点提取方法，获取与竖孔中心c_j(1≤j≤14)直接相邻的四个角点的像素点坐标，在图像坐标系[O_C；u,v]下依次记为

(b)计算竖孔中心c_j(1≤j≤14)的像素坐标(u_j,v_j)，即

步骤5、计算映射矩阵完成数据融合，利用相机针孔模型构建超定方程组，计算三维激光点云与二维图像的映射矩阵，并利用该映射矩阵实现三维激光点云与二维图像的融合，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵、空间平移向量以及本发明利用直线激光点云进行融合的特点，构建竖孔中心空间坐标与竖孔中心像素坐标的映射关系模型为，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}x\\ 0\\ z\\ 1\end{array}\right],$

$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right],$

[R T]＝[r₁ r₂ r₃ t]，

其中，s为相机放大系数，(u,v)为竖孔中心像素坐标，A为相机内参矩阵，[R T]为旋转矩阵R与平移矩阵T构成的外参矩阵，[r₁ r₂ r₃ t]为外参矩阵的列向量，(x,0,z)为竖孔中心空间坐标。

(b)对矩阵进行分块计算，得到下列关系，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_3& t\end{array}\right]\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],$

其中，r₁为旋转矩阵R的第一列，r₃为旋转矩阵R的第三列，t为平移矩阵T的列向量。

(c)进行计算，

令 $\tilde{M}=\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],$

$H=A\left[\begin{array}{ccc}{r}_1& r_3& t\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right],$

${\stackrel{\‾}{h}}_1^T=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\end{array}\right],$

${\stackrel{\‾}{h}}_2^T=\left[\begin{array}{ccc}{h}_{21}& h_{22}& h_{23}\end{array}\right],$

${\stackrel{\‾}{h}}_3^T=\left[\begin{array}{ccc}{h}_{31}& h_{32}& h_{33}\end{array}\right],$

则有

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{c}{\stackrel{\‾}{h}}_1^T\tilde{M}\\ {\stackrel{\‾}{h}}_2^T\tilde{M}\\ {\stackrel{\‾}{h}}_3^T\tilde{M}\end{array}\right].$

(d)由矩阵相等原则，则有

$u={\stackrel{\‾}{h}}_1^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M},$

$v={\stackrel{\‾}{h}}_2^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M}.$

(e)构建方程组，其表达形式为，

$\left[\begin{array}{ccc}{\tilde{M}}^T& 0& -u{\tilde{M}}^T\\ 0& {\tilde{M}}^T& -v{\tilde{M}}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0;$

(f)选取14组竖孔中心空间坐标和像素坐标构建超定方程组，

$\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0,$

$F=\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right],$

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到映射矩阵H。

(g)在实时扫描拍摄三维场景时，利用映射矩阵即可实时融合激光线点云和二维图像，获取场景的三维彩色点云，如图10所示。

本发明优点在于：一是，本发明采用激光扫描仪的线点云数据与相机拍摄的图像数据进行三维激光点云与二维图像融合，采样数据量小；二是，在求解三维激光点云与二维图像的映射关系时，本发明计算量小，计算过程简单，计算效率高；三是，本发明可实现三维激光点云与二维图像的实时融合；四是，本发明利用区间矩阵计算竖孔中心空间坐标，约束条件多，计算更加准确；五是，本发明利用相机成像原理直接构建激光扫描平面和相机成像平面的单应性关系，求解映射矩阵，计算方法简单可靠。

Claims (1)

1.一种三维激光点云与二维图像的融合方法，其特征在于包含以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白正方形网格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{b_j|1≤j≤14}，竖孔长6cm，宽为2cm，每一个竖孔中心c_j(1≤j≤14)均位于黑白栅格的角点；

步骤2、采集三维激光点云和二维图像，固定激光扫描仪和相机，将标定板垂直面向激光扫描仪和相机，利用激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔B的中心，获取标定板中心线l_c上的线点云P，同时利用相机拍摄标定板，获取标定板的二维图像I，激光扫描仪坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面；

步骤3、计算竖孔中心空间坐标，分别提取标定板上和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用区间矩阵计算竖孔中心的空间坐标，具体包括以下子步骤：

(a)根据位置远近，从线点云P中提取标定板上的扫描点P_a＝{p_ai|1≤i≤n}和从竖孔中穿过的扫描点P_b＝{p_bi|1≤i≤m}，其中，n表示标定板上扫描点的个数，m表示从竖孔中穿过扫描点的个数；

(b)利用最小二乘法对位于标定板上的扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近；

(c)依次连接激光扫描仪光心O_L和扫描点P_a与P_b，分别获取激光扫描线L_a＝{L_ai|1≤i≤n}与L_b＝{L_bi|1≤i≤m}；

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点和

(e)由于竖孔的间隔，标定板上交点可分为15个部分 且竖孔上交点可分为14个部分 第一部分标定板上交点的最下面的点与第一部分竖孔上交点的最上面的点之间在拟合直线上构成了一个连续区间该区间包含了孔和板的边界；将该区间沿拟合直线向下平移0.5倍孔长，即可获得一个新的区间I_1,1，该区间包含了第一个竖孔中心c₁，由于每个竖孔之间的间隔固定，竖孔中心之间均相差12cm，因此，将I_1,1沿拟合直线向下平移12cm，即可获得包含第二个竖孔中心c₂的区间I_1,2，以此类推，可以获得I_1,3…I_1,14，利用上述方法，最终获得一个区间矩阵，

$\left[\begin{array}{ccc}{I}_{1,1}& ...& I_{1,14}\\ I_{2,1}& ...& I_{2,14}\\ I_{14,1}& ...& I_{14,14}\end{array}\right]$

矩阵中的元素区间I_ij表示了第i个边界对第j个竖孔中心位置的约束，因此，第j个竖孔中心c_j的优化约束区间为则竖孔中心c_j的位置为优化约束区间I_j的中心，则可以准确计算竖孔中心c_j的空间坐标；

步骤4、计算竖孔中心像素坐标，利用黑白栅格角点提取和平均值法，计算竖孔中心的像素坐标，具体包括以下子步骤：

(a)利用黑白栅格角点提取方法，获取与竖孔中心c_j(1≤j≤14)直接相邻的四个角点的像素点坐标，在图像坐标系[O_C；u,v]下依次记为

(b)计算竖孔中心c_j(1≤j≤14)的像素坐标(u_j,v_j)，即步骤5、计算映射矩阵完成数据融合，利用相机针孔模型构建超定方程组，计算三维激光点云与二维图像的映射矩阵，并利用该映射矩阵实现三维激光点云与二维图像的融合，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵、空间平移向量以及本发明利用直线激光点云进行融合的特点，构建竖孔中心空间坐标与竖孔中心像素坐标的映射关系模型为，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\[\begin{array}{cc}R& T\end{array}\]\left[\begin{array}{c}x\\ 0\\ z\\ 1\end{array}\right],$

$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right],$

[R T]＝[r₁ r₂ r₃ t]，

其中，s为相机放大系数，(u,v)为竖孔中心像素坐标，A为相机内参矩阵，[R T]为旋转矩阵R与平移矩阵T构成的外参矩阵，[r₁ r₂ r₃ t]为外参矩阵的列向量，(x,0,z)为竖孔中心空间坐标；

(b)对矩阵进行分块计算，得到下列关系，

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\[\begin{array}{ccc}{r}_1& r_3& t\end{array}\]\left[\begin{array}{c}x\\ z\\ 1\end{array}\right],$

其中，r₁为旋转矩阵R的第一列，r₃为旋转矩阵R的第三列，t为平移矩阵T的列向量；

(c)进行计算，

令

$H=A\[\begin{array}{ccc}{r}_1& r_3& t\end{array}\]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right],$

${\stackrel{\‾}{h}}_1^T=\[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\end{array}\],$

${\stackrel{\‾}{h}}_2^T=\[\begin{array}{ccc}{h}_{21}& h_{22}& h_{23}\end{array}\],$

${\stackrel{\‾}{h}}_3^T=\[\begin{array}{ccc}{h}_{31}& h_{32}& h_{33}\end{array}\],$

则有

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{c}{\stackrel{\‾}{h}}_1^T\tilde{M}\\ {\stackrel{\‾}{h}}_2^T\tilde{M}\\ {\stackrel{\‾}{h}}_3^T\tilde{M}\end{array}\right];$

(d)由矩阵相等原则，则有

$u={\stackrel{\‾}{h}}_1^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M},$

$v={\stackrel{\‾}{h}}_2^T\tilde{M}/{\stackrel{\‾}{h}}_3^T\tilde{M};$

(e)构建方程组，其表达形式为，

$\left[\begin{array}{ccc}{\tilde{M}}^T& 0& -u{\tilde{M}}^T\\ 0& {\tilde{M}}^T& -v{\tilde{M}}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0;$

(f)选取14组竖孔中心空间坐标和像素坐标构建超定方程组，

$\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right]\left[\begin{array}{c}{\stackrel{\‾}{h}}_1\\ {\stackrel{\‾}{h}}_2\\ {\stackrel{\‾}{h}}_3\end{array}\right]=0,$

$F=\left[\begin{array}{ccc}{\tilde{M}}_1^T& 0& -u_1{\tilde{M}}_1^T\\ 0& {\tilde{M}}_1^T& -v_1{\tilde{M}}_1^T\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\tilde{M}}_{14}^T& 0& -u_{14}{\tilde{M}}_{14}^T\\ 0& {\tilde{M}}_{14}^T& -v_{14}{\tilde{M}}_{14}^T\end{array}\right],$

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到映射矩阵H；

(g)在实时扫描拍摄三维场景时，利用映射矩阵即可实时融合激光线点云和二维图像，获取场景的三维彩色点云。