CN103837869B

CN103837869B - 基于向量关系的单线激光雷达和ccd相机标定方法

Info

Publication number: CN103837869B
Application number: CN201410065887.2A
Authority: CN
Inventors: 贾松敏; 王可; 徐涛; 李秀智; 杨爱林
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2016-06-01
Anticipated expiration: 2034-02-26
Also published as: CN103837869A

Abstract

本发明涉及基于向量关系的单线激光雷达和CCD相机标定方法，在激光坐标系中提取激光雷达扫描V型靶标的点集信息，通过直线拟合求得靶标两个不同平面内的直线的方向向量及交点坐标；在相机坐标系中利用CCD相机捕获图像，通过对图像信息处理获取靶标平面方程和过原点与激光雷达扫描线的平面方程，建立激光雷达扫描的直线方程，进一步得到直线的方向向量及交点坐标；最后依据不同坐标系对应直线方向向量及交点间的关系完成标定。本发明不需要移动标定场景中的任何物体，一次即可完成所有标定数据的采集，标定效率大大提高；本发明直接获取待标定传感器各自坐标系下激光扫描靶标平面的直线方向向量，在保证标定精度的同时简化了标定算法。

Description

基于向量关系的单线激光雷达和CCD相机标定方法

技术领域

本发明属于计算机视觉领域，涉及一种激光雷达与相机间标定技术，尤其涉及一种基于传感器坐标系间直线方向向量约束关系的标定方法。

背景技术

在计算机视觉研究领域，CCD相机能获取环境中颜色、纹理等信息，便于对目标物体的识别，但无法有效建立被观察物准确的几何形状信息。激光雷达可提供被测目标的几何形状信息，却缺乏环境颜色、纹理等描述。因此研究激光雷达和CCD相机的标定，建立传感器的融合模型实现环境信息的感知，具有重要研究意义。

张正友等较早在“2004IEEE/RSJInternationalConferenceonIntelligentRobotsandsystems”上发表的论文“ExtrinsicCalibrationofaCameraandLaserRangeFinder(improvescameracalibration)”中提出利用激光雷达扫描点在棋盘格标定板上的约束关系，完成激光雷达和相机间的标定，该方法需要至少五次采集棋盘格标定板的数据，在标定相机相对于标定板的外部参数时存在的误差直接影响该方法的标定精度，最终仿真提供的标定数据存在一定的误差。申请号为201010223750.7的专利公开了一种单线激光雷达和CCD相机标定方法，该方法首先提取激光雷达扫描立方体标定键的距离数据，分割标定键两个不同平面上的距离信息，分别对两个面的数据进行直线拟合，得到直线后计算直线交点坐标，将此交点信息作为激光雷达坐标系的虚拟控制点。然后，利用CCD相机可以直接成像激光雷达扫描点信息的特性，给CCD相机镜头加上红外滤光片滤掉可见光，捕获激光雷达扫描点红外光成像图像，提取图像中标定键两个不同平面上激光雷达扫描线，得到扫描线交点坐标，此交点坐标即为激光雷达坐标系中虚拟控制点投影到图像中的坐标。最后利用图像坐标与相机坐标之间的约束关系，完成激光雷达与相机间的标定。该方法不需要定位激光雷达点的准确位置，但需要采集至少四组标定数据，在每次拟合直线提取对应交点信息时均存在误差，多次重复数据处理使最终标定结果产生较大误差。

综上所述，现有标定方法或者需要精确估计激光雷达扫描点位置，数学算法较为复杂，标定精度较低，或者需要采集多组标定数据以获得足够的对应交点信息，在获取每组标定数据时均产生误差，致使最终标定结果误差较大。

发明内容

针对现有技术中存在的标定过程较为复杂，标定精度较低的问题，本发明提出一种基于向量关系的单线激光雷达和CCD相机标定方法，标定场景如附图2所示，在保证标定精度的同时，有效减少了操作的复杂度，可快速实现整个标定过程。

本发明采用如下的技术方案：

在激光坐标系中，提取激光雷达扫描V型靶标的点集信息，分割出作用于靶标两个不同平面的点集，分别做直线拟合，求得到的两条直线的方向向量及交点坐标；在相机坐标系中，利用CCD相机捕获图像，通过对图像信息的处理，获取靶标平面方程和过原点与激光雷达扫描线的平面方程，根据空间解析几何中直线由两平面相交确立的表述，建立激光雷达扫描的直线方程，进一步得到直线的方向向量及交点坐标；最后依据传感器坐标系间对应直线方向向量间及对应点的约束关系完成整个标定。

1.构建标定场景

为了建立激光坐标系与相机坐标系之间的对应关系，设计了如附图2所示的标定场景。用平整木板制作两个B2尺寸的棋盘格标定板，成α角摆放(80°≤α≤150°)，构成一个V型靶标，标定板的左、右两个不同平面分别用F_l和F_r表示。标定时将激光雷达和相机置于靶标前合适位置，使靶标能够被激光雷达扫描且相机能够完整捕获标定场景，标定过程在可见光较弱的环境中进行，以保证相机能够清晰地捕获激光雷达扫描信息。

在该标定场景中，激光雷达在扫描V型靶标时，其扫描点会在靶标的左、右平面分别形成一条扫描线。本发明将分别求取这两条扫描线在激光雷达坐标系和CCD相机坐标系中的直线方程，并基于直线方程获得直线的方向向量和交点坐标，依据传感器坐标系间对应直线方向向量间及对应点的约束关系完成激光雷达与CCD相机间的标定。

2.获取激光雷达和CCD相机坐标系数据

2.1获取激光雷达坐标系数据

固定激光雷达位置，分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集w和W。靶标摆放前后，w和W在标定板对应角度上会产生比较大的变化，通过设定阈值δ可提取标定板上的点云W_B，取点云W_B最左边的点P_Bl，极大值点P_Bo和最右边的点P_Br，基于激光雷达为逆时针扫描，确立W_Br为P_Bl到P_Bo间的点云，W_Bl为P_Br到P_Bo间的点云。

2.2获取CCD相机坐标系数据

保持激光雷达和靶标位置不变，将相机摆放在能够获取整个标定场景的位置。保存包含和未包含激光雷达扫描信息的两幅标定场景图像。

3.数据处理

3.1激光雷达坐标系数据处理

将激光雷达扫描靶标两个平面的点云数据W_Bl和W_Br从极坐标转为直角坐标，利用线性最小二乘法拟合直线，激光雷达扫描面内Z＝0，得激光坐标系下激光雷达扫描靶标两个面的两直线方程，计算两直线的方向向量s_Ll和s_Lr及交点M_L的坐标。

3.2CCD相机坐标系数据处理

(1)求取相机坐标系下靶标平面方程

利用任意一副标定场景图像(两幅图像仅存在是否包含激光雷达扫描信息的区别，靶标平面信息一致)，基于张正友标定方法，提取图像中棋盘格角点信息，利用图像像素坐标平面和相机坐标平面之间的约束关系，求靶标左、右平面的方程。

(2)求过原点与激光雷达扫描线的平面方程

对两幅标定场景图像做畸变校正、差分以及二值化处理，获取一幅完整保留并突显激光信息的图像，对此图像进行Hough变换，提取响应最大的两条直线，获得其图像像素坐标系下点斜式方程。

利用相机坐标系与图像平面像素点坐标之间的投影关系，得相机坐标系下过原点与激光雷达扫描线平面的方程。

(3)获取激光雷达扫描线数据

空间解析几何中可由两相交平面方程联立表述一条空间直线方程，称为空间直线的一般式方程。本发明在相机坐标系下，激光雷达扫描信息同时属于靶标平面和过原点与激光雷达扫描线平面，基于此，将对应靶标平面方程和过原点与激光雷达扫描线平面方程联立，即可获得激光雷达扫描靶标不同平面的两条空间直线方程，进而可以求得两直线的方向向量s_Cl和s_Cr及交点M_C的坐标。

4.求标定参数

单线激光雷达与CCD相机间标定，实际上就是确定两个传感器坐标系间旋转和平移参数的问题。旋转关系可以用一个3×3的正交旋转矩阵R表述，平移关系可以用一个3×1的平移向量T表述。

利用本发明提出的传感器坐标系间对应直线方向向量约束关系和R自身的正交特性，计算出旋转矩阵R。再利用传感器坐标系间对应点的约束关系，求平移向量T。完成本发明的整体标定过程。

与现有技术相比，本发明具有以下优势：

1.本发明操作简单，有效提高了标定效率。

现有标定技术均需改变标定场景，反复提取多组实验数据才能完成最终的标定，例如，张正友等人的标定方法在保持激光雷达-相机系统不动的情况下，需要移动棋盘格标定板，采集至少五次棋盘格标定板数据；申请号为201010223750.7的专利技术利用墙角作为立体标定键，虽然简化了标定键的制作，但为了获得足够的标定数据，在墙角不可以移动的情况下，需要整体移动激光雷达-相机系统，采集至少四组标定数据。本发明不需要移动标定场景中的任何物体，一次即可完成所有标定数据的采集，使得标定效率大大提高。

2.本发明在保证标定精度的同时，简化了标定算法。

申请号为201010223750.7的专利虽然对标定算法进行了简化，仍然不是直接基于激光雷达和相机两个待标定的传感器之间建立约束关系，而是通过图像坐标系与相机坐标系间的约束关系，间接建立待标定传感器间的约束关系，受所采用的算法限制，需要重复获取多组标定数据。该专利中已经明确指出，在获取每组数据时产生的误差是影响其标定精度的主要原因。本发明提出利用向量关系建立坐标系间的约束关系，空间向量自身包含三组对应信息，可直接建立待标定传感器之间的约束关系。本发明直接获取待标定传感器各自坐标系下激光雷达扫描靶标不同平面的直线方向向量，整个标定过程建立的方程均是简单的多元一次数学方程，可直接求解，且求解精度高，不需要采用复杂的优化算法对结果进行二次优化。本发明算法的误差同样来自于直线信息的获取，但不会因为多次重复获取数据使误差累积放大，最终的标定误差小于现有技术。

附图说明

图1为本发明所涉及方法的流程图。

图2为标定场景示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

基于向量关系的单线激光雷达和CCD相机标定方法流程图如附图1所示，具体包括以下几个步骤：

步骤1，构建标定场景。

本发明需要在如附图2所示特定标定场景中提取激光和图像数据，构建标定场景的方法造价低廉且易于实现。具体步骤如下：

步骤1.1，用平整木板制作两个B2尺寸的棋盘格标定板，棋盘的间隔为44mm。

步骤1.2，将两个标定板成α角摆放(80°≤α≤150°)，构成一个V型靶标，靶标的左、右平面分别用F_l和F_r表示。

步骤1.3，将激光雷达和相机置于靶标前合适位置，使靶标能够被激光雷达扫描且相机能够完整捕获标定场景。激光雷达在扫描V型靶标时，其扫描点会在靶标的左、右平面形成两条扫描线，定义为相应坐标系下激光雷达扫描线的左直线和右直线，且两直线交于一点，该交点在实际数据中不存在，是一个虚拟的点。

步骤2，获取激光雷达坐标系数据。

步骤2.1，提取激光扫描点云。

固定激光雷达位置，分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集w和W。靶标摆放前后，w和W在标定板对应角度上的值会产生比较大的变化，通过设定阈值δ可提取标定板上的点云W_B，即：

W_{B} = \{\begin{matrix} W, & | w - W | &GreaterEqual; δ \\ 0, & | w - W | < δ \end{matrix}

步骤2.2，确定V型靶标左右平面F_l和F_r上的点云W_Bl和W_Br。

激光雷达扫描是逆时针进行的，取点云W_B最左边的点P_Bl，极大值点P_Bo和最右边的点P_Br，则W_Br为P_Bl到P_Bo间的点云，W_Bl为P_Br到P_Bo间的点云。

步骤2.3，根据点云数据W_Bl和W_Br拟合直线。

将激光雷达扫描靶标两个平面F_l和F_r的点云数据W_Bl和W_Br从极坐标转为直角坐标，利用线性最小二乘法拟合直线，激光雷达扫描面为Z＝0，激光坐标系下激光雷达扫描靶标两个面的两直线方程分别为：

\{\begin{matrix} A_{L 1} x + B_{L l} y + C_{L l} = 0 \\ Z = 0 \end{matrix}, \{\begin{matrix} A_{L r} x + B_{L r} y + C_{L r} = 0 \\ Z = 0 \end{matrix} - - - (1)

步骤2.4，计算两条直线的方向向量及交点坐标。

由两条直线一般式方程(1)中两平面法向量的叉乘求得它们的方向向量s_Ll和s_Lr；联立两直线方程求得两直线交点M_L的坐标(x_L,y_L,0)。

步骤3，获取CCD相机坐标系数据。

步骤3.1，保持激光雷达位置不变，调整相机其能够完整捕获标定场景。

步骤3.2，利用相机保存包含和未包含激光雷达扫描信息的两幅标定场景图像。

步骤3.3，求相机坐标系下靶标左、右平面方程。

基于张正友标定方法，提取任意一副标定场景图像中的棋盘格角点信息，利用图像像素坐标平面和相机坐标平面之间的约束关系，求得靶标左、右平面程为：

\begin{matrix} A_{l} x + B_{l} y + C_{l} z + D_{l} = 0 \\ A_{r} x + B_{r} y + C_{r} z + D_{r} = 0 \end{matrix} - - - (2)

步骤3.4，求过原点与激光雷达扫描线的平面方程。

对两幅标定场景图像做畸变校正、差分以及二值化处理，获取一幅完整保留并突显激光信息的图像。对处理后的图像进行Hough变换，提取响应最大的两条直线，其图像像素坐标系下点斜式方程为：

\begin{matrix} y = a_{l} x + b_{l} \\ y = a_{r} x + b_{r} \end{matrix} - - - (3)

相机坐标系与图像平面的像素点坐标之间的投影关系为：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = K [\begin{matrix} x_{c} / z_{c} \\ y_{c} / z_{c} \\ 1 \end{matrix}] - - - (4)

其中，(u,v)是图像像素坐标系中坐标；(x_c,y_c,z_c)是相机坐标系中坐标；

K = [\begin{matrix} f_{u} & s & u_{0} \\ 0 & f_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}]

是CCD相机的内参矩阵，可利用张正友标定法标定CCD相机获得，(u₀,v₀)是相机像平面中心坐标，(f_u,f_v)是相机的焦距，s是描述图像平面两个轴之间的畸变系数，一般取0。

将(4)式代入(3)式得相机坐标系下过原点与激光雷达扫描线的平面方程：

\begin{matrix} A_{C l} x + B_{C l} y + C_{C l} z = 0 \\ A_{C r} x + B_{C r} y + C_{C r} z = 0 \end{matrix} - - - (5)

其中，A_Cl＝f_ua_l,B_Cl＝-f_vl,C_Cl＝u_oa_l-v_o+b_l，A_Cr＝f_ua_r,B_Cr＝-f_vr,C_Cr＝u_oa_r-v_o+b_r，f_vl表示左平面的相机焦距，f_vr表示右平面的相机焦距。

步骤3.5，确定激光雷达扫描线的空间直线方程。

联立(5)式和(2)式得CCD相机坐标系下激光雷达扫描线在靶标不同平面的两条空间直线方程：

\{\begin{matrix} A_{l} x + B_{l} y + C_{l} z + D_{l} = 0 \\ A_{C l} x + B_{C l} y + C_{C l} z = 0 \end{matrix}, \{\begin{matrix} A_{r} x + B_{r} y + C_{r} z + D_{r} = 0 \\ A_{C r} x + B_{C r} y + C_{C r} z = 0 \end{matrix} - - - (6)

步骤3.6，求两条直线的方向向量及交点坐标。

由两条直线一般式方程(6)中两平面法向量的叉乘求得它们的方向向量s_Cl和s_Cr；联立两直线方程求得两直线交点M_C的坐标(x_C,y_C,z_C)。

步骤4，求标定参数。

步骤4.1，确定待标定参数。

激光坐标系与相机坐标系之间的变换关系为：

P_C＝RP_L+T(7)

其中，P_L和P_C分别为同一点在激光坐标系和相机坐标系中的坐标；T为平移向量；R为3×3的正交旋转矩阵，满足RR^T＝I，I为3×3单位方阵。

正交旋转矩阵R和平移向量T即为待标定参数。

步骤4.2，求旋转矩阵R。

前述确定的不同坐标系下靶标不同平面的两条直线的向量满足：

Rs_Ll＝s_Cl(8)

Rs_Lr＝s_Cr(9)

联立(8)、(9)和RR^T＝I可求得R。

步骤4.3，求平移向量T。

将两条直线交点M_L和M_C的坐标以及R带入(7)式可求得T。

Claims

1.基于向量关系的单线激光雷达和CCD相机标定方法，其特征在于包括以下步骤：

步骤1，构建标定场景；

步骤1.1，用平整木板制作两个B2尺寸的棋盘格标定板；

步骤1.2，将两个标定板成α角摆放，80°≤α≤150°，构成一个V型靶标，靶标的左、右平面分别用F_l和F_r表示；

步骤1.3，将激光雷达和相机置于靶标前合适位置，使靶标能够被激光雷达扫描且相机能够完整捕获标定场景；激光雷达在扫描V型靶标时，其扫描点会在靶标的左、右平面形成两条扫描线，定义为相应坐标系下激光雷达扫描线的左直线和右直线，且两直线交于一点，该交点在实际数据中不存在，是一个虚拟的点；

步骤2，获取激光雷达坐标系数据；

步骤2.1，提取激光扫描点云；

固定激光雷达位置，分别提取标定场景中未摆放靶标和摆放靶标的两个激光点集w和W；靶标摆放前后，w和W在标定板对应角度上的值会产生比较大的变化，通过设定阈值δ可提取标定板上的点云W_B，即：

W_{B} = \{\begin{matrix} W, & | w - W | &GreaterEqual; δ \\ 0, & | w - W | < δ \end{matrix}

步骤2.2，确定V型靶标左右平面F_l和F_r上的点云W_Bl和W_Br；

激光雷达扫描是逆时针进行的，取点云W_B最左边的点P_Bl，极大值点P_Bo和最右边的点P_Br，则W_Br为P_Bl到P_Bo间的点云，W_Bl为P_Br到P_Bo间的点云；

步骤2.3，根据点云数据W_Bl和W_Br拟合直线；

\{\begin{matrix} A_{L l} x + B_{L l} y + C_{L l} = 0 \\ Z = 0 \end{matrix}, \{\begin{matrix} A_{L r} x + B_{L r} y + C_{L r} = 0 \\ Z = 0 \end{matrix} - - - (1)

步骤2.4，计算两条直线的方向向量s_Ll和s_Lr及交点M_L的坐标(x_L,y_L,0)；

步骤3，获取CCD相机坐标系数据；

步骤3.1，保持激光雷达位置不变，调整相机其能够完整捕获标定场景；

步骤3.2，利用相机保存包含和未包含激光雷达扫描信息的两幅标定场景图像；

步骤3.3，求相机坐标系下靶标左、右平面方程；

\begin{matrix} A_{l} x + B_{l} y + C_{l} z + D_{l} = 0 \\ A_{r} x + B_{r} y + C_{r} z + D_{r} = 0 \end{matrix} - - - (2)

步骤3.4，求过原点与激光雷达扫描线的平面方程；

对两幅标定场景图像做畸变校正、差分以及二值化处理，获取一幅完整保留并突显激光信息的图像；对处理后的图像进行Hough变换，提取响应最大的两条直线，其图像像素坐标系下点斜式方程为：

\begin{matrix} y = a_{l} x + b_{l} \\ y = a_{r} x + b_{r} \end{matrix} - - - (3)

相机坐标系与图像平面的像素点坐标之间的投影关系为：

[\begin{matrix} u \\ v \\ 1 \end{matrix}] = K [\begin{matrix} x_{c} / z_{c} \\ y_{c} / z_{c} \\ 1 \end{matrix}] - - - (4)

其中，(u,v)是图像像素坐标系中坐标；(x_c,y_c,z_c)是相机坐标系中坐标；是CCD相机的内参矩阵，利用张正友标定法标定CCD相机获得，(u₀,v₀)是相机像平面中心坐标，(f_u,f_v)是相机的焦距，s是描述图像平面两个轴之间的畸变系数，一般取0；

\begin{matrix} A_{C l} x + B_{C l} y + C_{C l} z = 0 \\ A_{C r} x + B_{C r} y + C_{C r} z = 0 \end{matrix} - - - (5)

其中，A_Cl＝f_ua_l,B_Cl＝-f_vl,C_Cl＝u_oa_l-v_o+b_l，A_Cr＝f_ua_r,B_Cr＝-f_vr,C_Cr＝u_oa_r-v_o+b_r，f_vl表示左平面的相机焦距，f_vr表示右平面的相机焦距；

步骤3.5，确定激光雷达扫描线的空间直线方程；

\{\begin{matrix} A_{l} x + B_{l} y + C_{l} z + D_{l} = 0 \\ A_{C l} x + B_{C l} y + C_{C l} z = 0 \end{matrix}, \{\begin{matrix} A_{r} x + B_{r} y + C_{r} z + D_{r} = 0 \\ A_{C r} x + B_{C r} y + C_{C r} z = 0 \end{matrix} - - - (6)

步骤3.6，求两条直线的方向向量s_Cl和s_Cr及M_C的坐标(x_C,y_C,z_C)；M_C为两直线交点的坐标；

步骤4，求标定参数；

步骤4.1，确定待标定参数；

激光坐标系与相机坐标系之间的变换关系为：

P_C＝RP_L+T(7)

其中，P_L和P_C分别为同一点在激光坐标系和相机坐标系中的坐标；T为平移向量；R为3×3的正交旋转矩阵，满足RR^T＝I，I为3×3单位方阵；

正交旋转矩阵R和平移向量T即为待标定参数；

步骤4.2，求旋转矩阵R；

Rs_Ll＝s_Cl(8)

Rs_Lr＝s_Cr(9)

联立(8)、(9)和RR^T＝I可求得R；

步骤4.3，求平移向量T；

将两条直线交点M_L和M_C的坐标以及R带入(7)式可求得T。

2.根据权利要求1所述的基于向量关系的单线激光雷达和CCD相机标定方法，其特征在于，所述步骤2.4和步骤3.6计算两条直线的方向向量及交点坐标的方法如下：

由两条直线一般式方程中两平面法向量的叉乘求得它们的方向向量；

联立两直线方程求得两直线交点的坐标。