CN108389233A - 基于边界约束和均值逼近的激光扫描仪与相机标定方法 - Google Patents

Abstract

本发明涉及三维点云数据处理与三维场景重建技术领域，一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，包括以下步骤：(1)制作黑白栅格竖孔标定板，(2)采集点云和图像，(3)在激光坐标系中利用边界约束计算区间中心，(4)在激光坐标系中利用均值逼近计算平均中心，(5)在激光坐标系中利用最优逼近计算竖孔中心，(6)在图像坐标系中利用均值逼近计算竖孔中心，(7)计算点云与图像的几何映射关系。本发明利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心，来求解几何映射关系，计算过程简单，利用边界约束和均值逼近两种思想，计算激光坐标系中的竖孔中心，提高了激光坐标系中的竖孔中心的计算精度，使二维激光扫描仪与相机标定更加准确可靠。

Description

基于边界约束和均值逼近的激光扫描仪与相机标定方法

技术领域

本发明涉及一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，属于三维点云数据处理与三维场景重建技术领域。

背景技术

在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。在三维激光点云与二维图像融合过程中，激光扫描仪与相机的标定是决定融合精度的一项最为关键的技术，具有较强的理论意义和应用价值，目前已在工业检测、环境感知、自主导航等领域有了越来越多的应用。

二维激光扫描仪的工作方式为线扫描。每次扫描可以获取一条由一系列离散点顺序组成的离散曲线，又称为线点云。该线点云位于实际场景与激光扫描平面的交线上。二维激光扫描仪与相机的标定主要是指：利用二维激光扫描仪和相机扫描拍摄三维场景，分别获取场景的点云和图像，确定激光坐标系中点云与图像坐标系中图像之间的几何映射关系，以获取每一个激光扫描点所对应的像素点。

目前，激光扫描仪与相机的标定方法主要有以下三种：1)利用激光扫描仪与相机的安装结构实现标定，该方法主要使用固定装置将激光扫描仪与相机进行固定安装，并在实验环境下通过标定得到激光扫描仪与相机的结构关系，从而完成激光扫描仪与相机的标定；2)利用三维激光点云与二维图像中的直线或平面特征实现标定，该方法主要是对三维点云与二维图像中的直线特征进行提取，利用相机光心与直线特征构造平面，通过求取点云中对应直线端点到达该平面的最小距离来求解相机的内部参数和外部参数，进而实现激光扫描仪与相机的标定；3)利用激光角点的回波反射图与图像相似性实现标定，该方法利用激光角点的回波反射强度将点云制成反射图，并根据反射图与纹理图像之间的相似性求解几何映射关系，从而实现激光扫描仪与相机的标定。

与本发明相近的标定方法为发明人前期研发的一种三维激光点云与二维图像的融合方法，已申请发明专利，专利申请号为201610420484.4。本发明与之不同之处在于：1)在激光坐标系中，同时利用竖孔的上边界和下边界，来构建竖孔中心的位置约束区间矩阵，并计算区间中心，区间中心是竖孔中心的一个逼近；2)在激光坐标系中，利用均值逼近方法，计算平均中心，平均中心是竖孔中心的另一个逼近；3)在激光坐标系中，利用区间中心和平均中心，通过最优逼近方法，计算竖孔中心。因此，本发明在标定方法上有了很大的改进，提升了激光坐标系下竖孔中心计算的准确度，使二维激光扫描仪与相机的标定更加精确可靠。

发明内容

为了进一步提高二维激光扫描仪与相机标定的精度，本发明目的是提供一种基于边界约束和均值逼近的激光扫描仪与相机标定方法。本发明是在利用二维激光扫描仪和相机扫描拍摄三维场景时，为二维激光扫描仪和相机提供一种标定方法，以求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系，从而实现激光扫描仪点云与相机图像之间的准确融合，实时获取场景的三维彩色点云数据。

为了实现上述发明目的，解决已有技术中存在的向题，本发明采取的技术方案是：一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，包含以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白栅格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{h_j|1≤j≤14}，其中，h_j为第j个竖孔，竖孔长6cm，宽为2cm，每一个竖孔中心c_j均位于黑白栅格的角点；

步骤2、采集点云和图像，固定二维激光扫描仪和相机，将标定板垂直面向二维激光扫描仪和相机，利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心；在此位置下，利用二维激光扫描仪扫描标定板，获取标定板的点云P＝{p_i＝(x_i,y_i,z_i)|1≤i≤n}，其中，p_i＝(x_i,y_i,z_i)为第i个激光扫描点，n为激光扫描点的个数，激光坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面；同时，利用相机拍摄标定板，获取标定板的图像I＝{q_i＝(u_i,v_i)|1≤i≤m}，其中，q_i＝(u_i,v_i)为第i个像素点，m为像素点的个数，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面；

步骤3、在激光坐标系中利用边界约束计算区间中心，分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接二维激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用边界约束构建区间矩阵，计算区间中心，具体包括以下子步骤：

(a)在利用二维激光扫描仪扫描标定板时，由于激光扫描平面穿过所有竖孔中心，所以一部分激光扫描线探测到标定板，所获得的激光扫描点称为标定板上的激光扫描点，而另一部分激光扫描线穿过竖孔探测到标定板后面的物体，所获得的激光扫描点称为从竖孔中穿过的激光扫描点；因此，可以根据位置远近，在激光坐标系[O_L；x,y,z]下从点云P中提取标定板上的激光扫描点P_a＝{p_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描点P_b＝{p_bi|1≤i≤n_b}，其中，p_ai为第i个标定板上的激光扫描点，n_a为标定板上的激光扫描点的个数，p_bi为第i个从竖孔中穿过的激光扫描点，n_b为从竖孔中穿过的激光扫描点的个数；

(b)利用最小二乘法对位于标定板上的激光扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近；

(c)依次连接激光扫描仪光心O_L和激光扫描点P_a与P_b，获取标定板上的激光扫描线L_a＝{L_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描线L_b＝{L_bi|1≤i≤n_b}，其中，L_ai为第i条标定板上的激光扫描线，n_a为标定板上的激光扫描线的条数，L_bi为第i条从竖孔中穿过的激光扫描线，n_b为从竖孔中穿过的激光扫描线的条数；

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点，获取标定板上的交点和竖孔上的交点其中，为第i个标定板上的交点，n_a为标定板上的交点的个数，为第i个竖孔上的交点，n_b为竖孔上的交点的个数；

(e)由于竖孔的间隔，标定板上的交点可分为15个部分，即 其中，为第j个部分标定板上的交点，为第j个部分中第i个标定板上的交点，n_aj为第j个部分标定板上的交点的个数，且有由于竖孔的间隔，竖孔上的交点可分为14个部分，即 其中，为第j个部分竖孔上的交点，为第j个部分中第i个竖孔上的交点，n_bj第j个部分竖孔上的交点的个数，且有

(f)第j个竖孔h_j的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线，是第j个部分标定板上的交点中最下面一个点，是第j个部分竖孔上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线l_f向下移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的上边

(g)第j个竖孔h_j的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线，是第j个部分竖孔上的交点中最下面一个点，是第j+1个部分标定板上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线l_f向上移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的下边

(h)利用步骤3中子步骤(f)和子步骤(g)，针对每一个j(1≤j≤14)和每一个k(1≤k≤14)，计算区间和最终获得两个不同的区间矩阵为

和

其中，区间集合是竖孔中心c_k的完整位置约束，此完整位置约束来自于标定板上所有竖孔的上边和下边，是区间的中心，是区间的中心，则区间中心计算为

区间中心是竖孔中心c_k的一个逼近；

(I)利用步骤3中子步骤(h)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有区间中心

步骤4、在激光坐标系中利用均值逼近计算平均中心，每一部分竖孔上的交点都是对应竖孔的真实描述，因此，可用竖孔上的交点的平均值来逼近竖孔中心，计算平均中心，具体包括以下子步骤：

(a)第k个部分竖孔上的交点是对第k个竖孔h_k的真实描述，其中，为第k个部分中第i个竖孔上的交点，n_bk为第k个部分竖孔上的交点的个数，因此，平均中心计算为

平均中心是竖孔中心c_k的一个逼近；

(b)利用步骤4中子步骤(a)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有平均中心

步骤5、在激光坐标系中利用最优逼近计算竖孔中心，利用区间中心 和平均中心构建最优问题为

其中，v是已知的拟合直线l_f的方向向量，d表示区间中心沿着拟合直线l_f向平均中心逼近的距离，求解上述最优问题，可求得逼近距离d，则每一个竖孔h_j的中心c_j计算为1≤j≤14；

步骤6、在图像坐标系中利用均值逼近计算竖孔中心，利用黑白栅格角点提取方法，在图像坐标系[O_C；u,v]中,获取与每一个竖孔h_j的中心e_j直接相邻的6个角点其中，为与竖孔中心e_j直接相邻的第i个角点，则每一个竖孔h_j的中心e_j计算为

步骤7、计算点云与图像的几何映射关系，利用相机针孔模型构建超定方程组，计算点云与图像的几何映射关系，完成二维激光扫描仪与相机的标定，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵和空间平移向量，构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型，按公式(1)进行描述，

[R T]＝[r₁ r₂ r₃ t]

其中，s为相机放大系数，e＝(u,v)为图像坐标系竖孔中心，A为相机内参矩阵，[RT]为外参矩阵，R为3×3旋转矩阵，T为3×1平移向量，r₁、r₂、r₃和t为外参矩阵的列向量，c＝(x,y,z)为激光坐标系竖孔中心，由于xz平面为二维激光扫描仪的扫描平面，所以y＝0；

(b)由于y＝0，对公式(1)进行矩阵计算，可得到公式(2)；

(c)继续进行计算，

令

其中，T为向量转置符号，由公式(2)可计算得到公式(3)；

(d)根据矩阵相等原则，由公式(3)可计算得到公式(4)；

(e)利用公式(4)，构建方程组，其表达形式按公式(5)进行描述；

(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心，以及公式(5)，构建超定方程组，其表达形式按公式(6)进行描述，

令

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到几何映射关系H，完成二维激光扫描仪与相机的标定。

本发明有益效果是：一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，包括以下步骤：(1)制作黑白栅格竖孔标定板，(2)采集点云和图像，(3)在激光坐标系中利用边界约束计算区间中心，(4)在激光坐标系中利用均值逼近计算平均中心，(5)在激光坐标系中利用最优逼近计算竖孔中心，(6)在图像坐标系中利用均值逼近计算竖孔中心，(7)计算点云与图像的几何映射关系。与已有技术相比，本发明具有以下优点：一是，本发明直接利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心，来求解几何映射关系，计算量小，计算过程简单，计算效率高；二是，本发明同时利用边界约束和均值逼近两种思想，来计算激光坐标系中的竖孔中心，极大地提高了激光坐标系中的竖孔中心的计算精度，从而使二维激光扫描仪与相机的标定更加准确可靠。

附图说明

图1是本发明方法步骤流程图。

图2是黑白栅格竖孔标定板示意图。

图3是点云与图像采集示意图。

图4是点云P采集结果图。

图5是标定板上的激光扫描点P_a和从竖孔中穿过的激光扫描点P_b提取结果图。

图6是直线l_f拟合和激光扫描线L_a与L_b获取结果图。

图7是标定板上的交点和竖孔上的交点获取结果图。

图8是各部分标定板上的交点和竖孔上的交点获取结果图。

图9是区间和获取示意图。

图10是区间和获取示意图。

图11是区间中心和平均中心计算示意图。

图12是图像坐标系中竖孔中心e_j计算示意图。

图13是点云和图像融合结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，包括以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白栅格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{h_j|1≤j≤14}，其中，h_j为第j个竖孔，竖孔长6cm，宽为2cm，每一个竖孔中心c_j均位于黑白栅格的角点，如图2所示；

步骤2、采集点云和图像，固定二维激光扫描仪和相机，将标定板垂直面向二维激光扫描仪和相机，利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心；在此位置下，利用二维激光扫描仪扫描标定板，获取标定板的点云P＝{p_i＝(x_i,y_i,z_i)|1≤i≤n}，其中，p_i＝(x_i,y_i,z_i)为第i个激光扫描点，n为激光扫描点的个数，激光坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面；同时，利用相机拍摄标定板，获取标定板的图像I＝{q_i＝(u_i,v_i)|1≤i≤m}，其中，q_i＝(u_i,v_i)为第i个像素点，m为像素点的个数，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面，如图3所示；

步骤3、在激光坐标系中利用边界约束计算区间中心，分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接二维激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用边界约束构建区间矩阵，计算区间中心，具体包括以下子步骤：

(a)在利用二维激光扫描仪扫描标定板时，由于激光扫描平面穿过所有竖孔中心，所以一部分激光扫描线探测到标定板，所获得的激光扫描点称为标定板上的激光扫描点，而另一部分激光扫描线穿过竖孔探测到标定板后面的物体，所获得的激光扫描点称为从竖孔中穿过的激光扫描点；因此，可以根据位置远近，在激光坐标系[O_L；x,y,z]下从点云P中提取标定板上的激光扫描点P_a＝{p_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描点P_b＝{p_bi|1≤i≤n_b}，其中，p_ai为第i个标定板上的激光扫描点，n_a为标定板上的激光扫描点的个数，p_bi为第i个从竖孔中穿过的激光扫描点，n_b为从竖孔中穿过的激光扫描点的个数，如图4和图5所示；

(b)利用最小二乘法对位于标定板上的激光扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近，如图6所示；

(c)依次连接激光扫描仪光心O_L和激光扫描点P_a与P_b，获取标定板上的激光扫描线L_a＝{L_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描线L_b＝{L_bi|1≤i≤n_b}，其中，L_ai为第i条标定板上的激光扫描线，n_a为标定板上的激光扫描线的条数，L_bi为第i条从竖孔中穿过的激光扫描线，n_b为从竖孔中穿过的激光扫描线的条数，如图6所示；

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点，获取标定板上的交点和竖孔上的交点其中，为第i个标定板上的交点，n_a为标定板上的交点的个数，为第i个竖孔上的交点，n_b为竖孔上的交点的个数，如图7所示；

(e)由于竖孔的间隔，标定板上的交点可分为15个部分，即 其中，为第j个部分标定板上的交点，为第j个部分中第i个标定板上的交点，n_aj为第j个部分标定板上的交点的个数，且有由于竖孔的间隔，竖孔上的交点可分为14个部分，即 其中，为第j个部分竖孔上的交点，为第j个部分中第i个竖孔上的交点，n_bj第j个部分竖孔上的交点的个数，且有如图8所示；

(f)第j个竖孔h_j的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线，是第j个部分标定板上的交点中最下面一个点，是第j个部分竖孔上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线l_f向下移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j，如图9所示；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的上边如图10所示；

(g)第j个竖孔h_j的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线，是第j个部分竖孔上的交点中最下面一个点，是第j+1个部分标定板上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线l_f向上移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j，如图9所示；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的下边如图10所示；

(h)利用步骤3中子步骤(f)和子步骤(g)，针对每一个j(1≤j≤14)和每一个k(1≤k≤14)，计算区间和最终获得两个不同的区间矩阵为

和

其中，区间集合是竖孔中心c_k的完整位置约束，此完整位置约束来自于标定板上所有竖孔的上边和下边，是区间的中心，是区间的中心，则区间中心计算为

区间中心是竖孔中心c_k的一个逼近，如图11所示；

(I)利用步骤3中子步骤(h)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有区间中心

步骤4、在激光坐标系中利用均值逼近计算平均中心，每一部分竖孔上的交点都是对应竖孔的真实描述，因此，可用竖孔上的交点的平均值来逼近竖孔中心，计算平均中心，具体包括以下子步骤：

(a)第k个部分竖孔上的交点是对第k个竖孔h_k的真实描述，其中，为第k个部分中第i个竖孔上的交点，n_bk为第k个部分竖孔上的交点的个数，因此，平均中心计算为

平均中心是竖孔中心c_k的一个逼近，如图11所示；

(b)利用步骤4中子步骤(a)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有平均中心

步骤5、在激光坐标系中利用最优逼近计算竖孔中心，利用区间中心 和平均中心构建最优问题为

其中，v是已知的拟合直线l_f的方向向量，d表示区间中心沿着拟合直线l_f向平均中心逼近的距离，求解上述最优问题，可求得逼近距离d，则每一个竖孔h_j的中心c_j计算为1≤j≤14；

步骤6、在图像坐标系中利用均值逼近计算竖孔中心，利用黑白栅格角点提取方法，在图像坐标系[O_C；u,v]中,获取与每一个竖孔h_j的中心e_j直接相邻的6个角点其中，为与竖孔中心e_j直接相邻的第i个角点，如图12所示，则每一个竖孔h_j的中心e_j计算为

步骤7、计算点云与图像的几何映射关系，利用相机针孔模型构建超定方程组，计算点云与图像的几何映射关系，完成二维激光扫描仪与相机的标定，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵和空间平移向量，构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型，按公式(1)进行描述，

[R T]＝[r₁ r₂ r₃ t]

其中，s为相机放大系数，e＝(u,v)为图像坐标系竖孔中心，A为相机内参矩阵，[RT]为外参矩阵，R为3×3旋转矩阵，T为3×1平移向量，r₁、r₂、r₃和t为外参矩阵的列向量，c＝(x,y,z)为激光坐标系竖孔中心，由于xz平面为二维激光扫描仪的扫描平面，所以y＝0；

(b)由于y＝0，对公式(1)进行矩阵计算，可得到公式(2)；

(c)继续进行计算，

令

其中，T为向量转置符号，由公式(2)可计算得到公式(3)；

(d)根据矩阵相等原则，由公式(3)可计算得到公式(4)；

(e)利用公式(4)，构建方程组，其表达形式按公式(5)进行描述；

(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心，以及公式(5)，构建超定方程组，其表达形式按公式(6)进行描述，

令

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到几何映射关系H，完成二维激光扫描仪与相机的标定。在实时扫描拍摄场景时，利用几何映射关系即可实时融合点云和图像，获取场景的三维彩色点云，如图13所示。

本发明优点在于：一是，本发明直接利用激光坐标系中的竖孔中心和图像坐标系中的竖孔中心，来求解几何映射关系，计算量小，计算过程简单，计算效率高；二是，本发明同时利用边界约束和均值逼近两种思想，来计算激光坐标系中的竖孔中心，极大地提高了激光坐标系中的竖孔中心的计算精度，从而使二维激光扫描仪与相机的标定更加准确可靠。

Claims (1)

1.一种基于边界约束和均值逼近的激光扫描仪与相机标定方法，其特征在于包含以下步骤：

步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白栅格，沿着标定板中心线l_c均匀排列着14个竖孔B＝{h_j|1≤j≤14}，其中，h_j为第j个竖孔，竖孔长6cm，宽为2cm，每一个竖孔中心c_j均位于黑白栅格的角点；

步骤2、采集点云和图像，固定二维激光扫描仪和相机，将标定板垂直面向二维激光扫描仪和相机，利用二维激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔中心；在此位置下，利用二维激光扫描仪扫描标定板，获取标定板的点云P＝{p_i＝(x_i,y_i,z_i)|1≤i≤n}，其中，p_i＝(x_i,y_i,z_i)为第i个激光扫描点，n为激光扫描点的个数，激光坐标系[O_L；x,y,z]的原点O_L位于激光光心，xz平面位于激光扫描平面；同时，利用相机拍摄标定板，获取标定板的图像I＝{q_i＝(u_i,v_i)|1≤i≤m}，其中，q_i＝(u_i,v_i)为第i个像素点，m为像素点的个数，图像坐标系[O_C；u,v]的原点O_C位于像平面左上角顶点，uv平面位于图像传感器平面；

步骤3、在激光坐标系中利用边界约束计算区间中心，分别提取标定板上的激光扫描点和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接二维激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用边界约束构建区间矩阵，计算区间中心，具体包括以下子步骤：

(a)在利用二维激光扫描仪扫描标定板时，由于激光扫描平面穿过所有竖孔中心，所以一部分激光扫描线探测到标定板，所获得的激光扫描点称为标定板上的激光扫描点，而另一部分激光扫描线穿过竖孔探测到标定板后面的物体，所获得的激光扫描点称为从竖孔中穿过的激光扫描点；因此，可以根据位置远近，在激光坐标系[O_L；x,y,z]下从点云P中提取标定板上的激光扫描点P_a＝{p_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描点P_b＝{p_bi|1≤i≤n_b}，其中，p_ai为第i个标定板上的激光扫描点，n_a为标定板上的激光扫描点的个数，p_bi为第i个从竖孔中穿过的激光扫描点，n_b为从竖孔中穿过的激光扫描点的个数；

(b)利用最小二乘法对位于标定板上的激光扫描点P_a进行线性拟合，获取拟合直线l_f，其为中心线l_c的逼近；

(c)依次连接激光扫描仪光心O_L和激光扫描点P_a与P_b，获取标定板上的激光扫描线L_a＝{L_ai|1≤i≤n_a}和从竖孔中穿过的激光扫描线L_b＝{L_bi|1≤i≤n_b}，其中，L_ai为第i条标定板上的激光扫描线，n_a为标定板上的激光扫描线的条数，L_bi为第i条从竖孔中穿过的激光扫描线，n_b为从竖孔中穿过的激光扫描线的条数；

(d)分别求解激光扫描线L_a和L_b与拟合直线l_f的交点，获取标定板上的交点和竖孔上的交点其中，为第i个标定板上的交点，n_a为标定板上的交点的个数，为第i个竖孔上的交点，n_b为竖孔上的交点的个数；

(e)由于竖孔的间隔，标定板上的交点可分为15个部分，即 其中，为第j个部分标定板上的交点，为第j个部分中第i个标定板上的交点，n_aj为第j个部分标定板上的交点的个数，且有由于竖孔的间隔，竖孔上的交点可分为14个部分，即 其中，为第j个部分竖孔上的交点，为第j个部分中第i个竖孔上的交点，n_bj第j个部分竖孔上的交点的个数，且有

(f)第j个竖孔h_j的上边是第j个部分标定板上的交点和第j个部分竖孔上的交点的分界线，是第j个部分标定板上的交点中最下面一个点，是第j个部分竖孔上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔上边将区间沿拟合直线l_f向下移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的上边

(g)第j个竖孔h_j的下边是第j个部分竖孔上的交点和第j+1个部分标定板上的交点的分界线，是第j个部分竖孔上的交点中最下面一个点，是第j+1个部分标定板上的交点中最上面一个点，与之间在拟合直线l_f上构成了一个连续区间该区间包含了竖孔下边将区间沿拟合直线l_f向上移动0.5倍竖孔长即3cm，就可获得一个新的区间该区间包含了第j个竖孔h_j的中心c_j；由于竖孔间隔固定，相邻竖孔中心之间的距离为黑白栅格边长12cm，因此，将区间沿拟合直线l_f向上移动(j-k)×12cm(当k<j时)或者向下移动(k-j)×12cm(当k>j时)，就可获得一个新的区间该区间包含了第k个竖孔h_k的中心c_k，该区间是竖孔中心c_k的一个位置约束，此位置约束来自于第j个竖孔h_j的下边

(h)利用步骤3中子步骤(f)和子步骤(g)，针对每一个j(1≤j≤14)和每一个k(1≤k≤14)，计算区间和最终获得两个不同的区间矩阵为和

其中，区间集合是竖孔中心c_k的完整位置约束，此完整位置约束来自于标定板上所有竖孔的上边和下边，是区间的中心，是区间的中心，则区间中心计算为

区间中心是竖孔中心c_k的一个逼近；

(I)利用步骤3中子步骤(h)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有区间中心

步骤4、在激光坐标系中利用均值逼近计算平均中心，每一部分竖孔上的交点都是对应竖孔的真实描述，因此，可用竖孔上的交点的平均值来逼近竖孔中心，计算平均中心，具体包括以下子步骤：

(a)第k个部分竖孔上的交点是对第k个竖孔h_k的真实描述，其中，为第k个部分中第i个竖孔上的交点，n_bk为第k个部分竖孔上的交点的个数，因此，平均中心计算为

平均中心是竖孔中心c_k的一个逼近；

(b)利用步骤4中子步骤(a)，针对所有竖孔B＝{h_j|1≤j≤14}的中心C＝{c_j|1≤j≤14}，计算所有平均中心

步骤5、在激光坐标系中利用最优逼近计算竖孔中心，利用区间中心 和平均中心构建最优问题为

其中，v是已知的拟合直线l_f的方向向量，d表示区间中心沿着拟合直线l_f向平均中心逼近的距离，求解上述最优问题，可求得逼近距离d，则每一个竖孔h_j的中心c_j计算为1≤j≤14；

步骤6、在图像坐标系中利用均值逼近计算竖孔中心，利用黑白栅格角点提取方法，在图像坐标系[O_C；u,v]中,获取与每一个竖孔h_j的中心e_j直接相邻的6个角点其中，为与竖孔中心e_j直接相邻的第i个角点，则每一个竖孔h_j的中心e_j计算为

步骤7、计算点云与图像的几何映射关系，利用相机针孔模型构建超定方程组，计算点云与图像的几何映射关系，完成二维激光扫描仪与相机的标定，具体包括以下子步骤：

(a)根据相机针孔模型、空间旋转矩阵和空间平移向量，构建激光坐标系竖孔中心与图像坐标系竖孔中心的几何映射关系模型，按公式(1)进行描述，

[R T]＝[r₁ r₂ r₃ t]

其中，s为相机放大系数，e＝(u,v)为图像坐标系竖孔中心，A为相机内参矩阵，[R T]为外参矩阵，R为3×3旋转矩阵，T为3×1平移向量，r₁、r₂、r₃和t为外参矩阵的列向量，c＝(x,y,z)为激光坐标系竖孔中心，由于xz平面为二维激光扫描仪的扫描平面，所以y＝0；

(b)由于y＝0，对公式(1)进行矩阵计算，可得到公式(2)；

(c)继续进行计算，

令

其中，T为向量转置符号，由公式(2)可计算得到公式(3)；

(d)根据矩阵相等原则，由公式(3)可计算得到公式(4)；

(e)利用公式(4)，构建方程组，其表达形式按公式(5)进行描述；

(f)利用步骤5和步骤6中计算的14组激光坐标系竖孔中心和图像坐标系竖孔中心，以及公式(5)，构建超定方程组，其表达形式按公式(6)进行描述，

令

其中，F为28×9矩阵，构成了超定方程组的系数矩阵，利用最小二乘法求解该超定方程组，即可得到几何映射关系H，完成二维激光扫描仪与相机的标定。