CN110703230A

CN110703230A - 激光雷达与摄像头之间的位置标定方法

Info

Publication number: CN110703230A
Application number: CN201910978432.2A
Authority: CN
Inventors: 姜光; 白子轩; 李嘉琪; 马全盟
Original assignee: Xian University of Electronic Science and Technology
Current assignee: Xian University of Electronic Science and Technology
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2020-01-17
Anticipated expiration: 2039-10-15
Also published as: CN110703230B

Abstract

本发明公开了了一种激光雷达与摄像头之间的位置标定方法，主要解决现有标定方法中所需标定数据量较大和人工选取对应点导致信息融合效果不好的问题，其实现方案是：1)将激光雷达与摄像头固定在移动平台上；2)将截面为L形的竖直长杆立于开阔环境中，构建标定场景；3)多次变更长杆位姿，使用雷达和摄像头获取多组标定数据；4)根据标定数据所得的多组对应点间的对应关系解得旋转矩阵R；5)根据约束条件解得平移向量t；6)将激光雷达所在的坐标系按旋转矩阵R和平移向量t进行旋转和平移，使其与摄像机所在的坐标系重合，完成位置标定。本发明具有标定结果精度高、所需计算量小的特点，可用于标定激光雷达和摄像头间的位置。

Description

激光雷达与摄像头之间的位置标定方法

技术领域

本发明属于图像处理及计算机视觉技术领域，具体涉及一种位置联合标定方法，可用于激光雷达与摄像头之间的信息融合。

背景技术

在车辆或移动机械臂上搭载激光雷达和摄像头可以同时发挥两种设备的优势，提供更好的感知功能，覆盖更为广泛的应用场合。

激光雷达技术是激光技术、雷达技术、控制技术技术、计算机技术等技术的综合产物。激光雷达能够使用多路激光对周围环境进行扫描，并收集反射回的光束来形成点云和获取数据，生成有关周围环境的精确三维立体图像。

激光雷达与摄像头之间的位置关系是通过雷达数据和图像点之间的对应关系进行确定。在进行了位置标定后，可以同时发挥激光雷达和摄像头的优势，将信息进行融合，获得具有色彩信息的三维数据。

浙江工业大学在其申请的专利“一种基于精细化雷达扫描边缘点的多线激光雷达和相机联合标定方法”(申请日：2018年8月17日，申请号：201810939185.0，公开号：CN109300162A)中公开了一种基于镂空圆标定物的联合标定方法，该方法使用多帧图像寻找标定物的边缘点，对迭代后的标定物边缘点进行圆拟合，再使用多个圆心坐标计算摄像头与雷达之间的外参矩阵。该方法存在的不足之处是所需的数据量大且计算较为复杂。

另有一种使用软件ROS进行激光雷达与摄像头之间的位置标定。该方法首先使用激光雷达和摄像头对周围环境进行拍摄，随后使用可视化工具rviz和image_view2包分别显示雷达数据和图像，再通过人工观察和鼠标点击的方式逐对选取点云和图像中的对应点。在完成多对对应点的选取后计算摄像头到雷达坐标系的外参矩阵。该方法存在的不足之处是需要人工对比点云数据和图像来选取对应点，且求解得到的外参矩阵精度低，确定的位置关系不准确，影响信息融合效果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种激光雷达与摄像头之间位置的标定方法，以提高激光雷达与摄像头之间的标定准确性，实现两者信息的更好融合。

本发明的技术思路是：使用空间无穷远点与像平面无穷远点之间的对应关系解得无穷远平面到像平面的变换矩阵，并从该矩阵中解得激光雷达与摄像头间的旋转矩阵R；通过点在直线上的约束条件解得激光雷达与摄像头间的平移向量t，得到完整的位置对应关系。

根据上述思路，本发明的实现步骤包括如下：

(1)将一个已去畸变且内参矩阵K已知的摄像头和激光雷达安装在移动平台上，且二者之间的相对位置固定；

(2)将截面为L形的竖直长杆立于开阔环境中，长杆L型截面的两个平面分别用不同的颜色标记，且长杆的两个面朝向移动平台，构成标定场景；

(3)通过激光雷达和摄像头分别对长杆进行一次拍摄，获得雷达点云和图像，平行移动平台，对长杆进行二次拍摄，获得关于长杆的一组标定数据；

(4)变更长杆相对于地面的位姿至少四次，每一次均重复(3)的过程，得到关于长杆的多组标定数据；

(5)获得(3)平移前后的两条长杆平面交线在雷达点云中无穷远平面上的交点X_∞：

(5a)使用激光雷达在对长杆的一次拍摄中，一束激光扫过长杆时在L型截面的两平面上分别留下的至少2个点，分别确定L型截面两平面上两条激光痕迹直线的方程，使用方程对两痕迹直线求交点p；

(5b)对每一束激光重复(5a)，得到每一束激光对应的交点p_i，所有交点的连线即为长杆平面的交线L₁，其中i＝0,1,...,n，n为激光雷达的激光束数量；

(5c)对平移后的二次拍摄重复(5a)和(5b)，获得长杆平面交线L₂，根据两次拍摄之中两条长杆平面交线L₁与L₂的平行性，解得这两条长杆平面交线在无穷远平面上的交点

其中X₁，Y₁，Z₁，0是点X_∞的三维齐次坐标分量；

(6)获得(3)平移前后的两条长杆平面交线在像平面上的灭点o_∞：

(6a)在一张摄像机图像内使用直线检测算法确定长杆平面交线l₁的方程；

(6b)对平移后的二次拍摄重复(6a)，获得长杆平面交线l₂的方程；

(6c)根据长杆平面交线l₁和l₂的方程求得这两条长杆平面交线于像平面上的灭点

其中a₁，b₁，c₁是点o_∞的二维齐次坐标分量；

(7)在多组标定数据中，利用无穷远点和灭点之间的对应关系解出3×3旋转矩阵R：

(7a)对每组数据重复(5)和(6)，得到多组由无穷远点和灭点组成的对应点；

(7b)使用一组对应点o_∞和X_∞获得一组方程

其中H_∞＝KR，是无穷远平面到像平面的射影变换矩阵；

(7c)对每一组对应点重复(7b)，获得每一组对应点对应的方程，对所有方程使用奇异值分解SVD求出射影变换矩阵H_∞，再根据已知的内参矩阵K，通过分解H_∞求得旋转矩阵R；

(8)利用长杆平面交线上的多个点解出3×1平移向量t：

(8a)在一次拍摄中，取雷达点云中的长杆平面交线L₁上一点

其中D，E，F，1分别是点Q的三维齐次坐标分量；根据点Q的像点要落在像平面长杆平面交线l₁上的这个约束条件，得到一组方程

(8b)取长杆平面交线L₁上至少三个点，构建如(8a)所示的至少三组方程，再使用奇异值分解SVD求出平移向量t；

(9)将激光雷达所在的坐标系按旋转矩阵R和平移向量t进行旋转和平移，使其与摄像机所在的坐标系重合，完成位置标定。

本发明与现有技术相比，具有以下优点：

第一，本发明采用无穷远点和灭点作为对应点，有较强的几何约束关系，标定所需的数据量较小。

第二，本发明除标定数据的准备过程以外不需要人工参与，自动化程度较高。

附图说明

图1为本发明的实现流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

参照图1，本发明具体实施步骤如下：

步骤1，将激光雷达与摄像头固定在移动平台上。

激光雷达是以发射激光束探测目标位置、速度等特征量的雷达系统；本实例使用的激光雷达为多线激光雷达，是指同时发射及接收多束激光的激光旋转测距雷达；本实例使用的摄像头为已去畸变且内参矩阵K已知的摄像头，可根据视场角的需要选用鱼眼镜头或标准镜头；

移动平台指包含汽车和机械臂这些能够搭载激光雷达和摄像头并进行移动的平台；固定采用螺丝固定和焊接固定，牢固程度要不受平台移动影响的方式，且使经过固定的激光雷达和摄像头之间的距离和位姿这些相对位置信息不再发生改变。

步骤2，构建标定场景。

将截面为L形的竖直长杆立于开阔环境中，即其他物体不对雷达成像造成干扰的环境；

对长杆L型截面的两个平面分别用不同的颜色标记，且这两个平面朝向移动平台，构成标定场景。

步骤3，多次变更长杆位姿，使用雷达和摄像头获取多组标定数据。

3.1)通过激光雷达和摄像头先分别对长杆进行一次拍摄，获得雷达点云和图像，再平行移动平台，对长杆进行二次拍摄，获得关于长杆的一组标定数据，该组数据包括激光雷达和摄像头分别对长杆进行两次拍摄的雷达点云和图像；

所述二次拍摄也可以采用固定移动平台，只对长杆进行平移的方式进行二次拍摄；

3.2)变更长杆相对于地面的位姿至少四次，每一次均重复3.1)的过程，得到关于长杆的多组标定数据。本实例变更长杆相对于地面的位姿十次。

步骤4，根据标定数据所得的多组无穷远点和灭点间的对应关系解得旋转矩阵R。

4.1)获得3.1)平移前后的两条长杆平面交线在雷达点云中无穷远平面上的交点X_∞：

4.1.1)使用激光雷达在对长杆的一次拍摄中，一束激光扫过长杆时在L型截面两平面上分别留下的至少2个点，根据两点确立一条直线的方法分别确定L型截面两平面上两条激光痕迹直线的方程，使用联立方程组的方法对两痕迹直线求交点p；

4.1.2)对每一束激光重复4.1.1)，得到每一束激光对应的交点p_i，所有交点的连线即为长杆平面的交线L₁，其中i＝0,1,...,n，n为激光雷达的激光束数量，本实例使用的激光雷达有16束激光，即n＝16；

4.1.3)对平移后的二次拍摄重复4.1.1)和4.1.2)，获得长杆平面交线L₂，根据两次拍摄之中两条长杆平面交线L₁与L₂的平行性，解得这两条长杆平面交线在无穷远平面上的交点：

其中X₁，Y₁，Z₁，0是点X_∞的三维齐次坐标分量；

4.2)获得3.1)平移前后的两条长杆平面交线在像平面上的灭点o_∞：

4.2.1)，在一张摄像机图像内，根据长杆L型截面两平面不同的颜色信息，提取出多个落在长杆平面交线上的点，所有点的连线即为长杆平面交线l₁；

4.2.2)对平移后的二次拍摄重复4.2.1)，根据长杆L型截面两平面不同的颜色信息，提取出多个落在长杆平面交线上的点，所有点的连线即为长杆平面交线l₂；

4.2.3)根据长杆平面的两次拍摄交线l₁和l₂在像平面上相交的关系，获取灭点

其中a₁，b₁，c₁是点o_∞的二维齐次坐标分量；

4.3)在多组标定数据中，利用无穷远点和灭点之间的对应关系解出3×3旋转矩阵R：

4.3.1)对每组数据重复4.1)和4.2)，得到多组无穷远点和灭点；

4.3.2)根据在一组对应点o_∞和X_∞之间存在对应关系

和X_∞最后一坐标分量为0的特点，得到方程其中H_∞＝KR是无穷远平面到像平面的射影变换矩阵；

4.3.3)对每一组对应点重复4.3.2)，获得每一组对应点对应的方程，对所有方程使用奇异值分解SVD求出射影变换矩阵H_∞，再根据已知的内参矩阵K，通过分解H_∞求得旋转矩阵R。

步骤5，根据约束条件解得平移向量t。

5.1)在一次拍摄中，取雷达点云中的长杆平面交线L₁上一点

5.2)取长杆平面交线L₁上至少三个点，构建如5.1)所示的至少三组方程，再使用奇异值分解SVD求出平移向量t。

步骤6，将激光雷达所在的坐标系按旋转矩阵R和平移向量t进行旋转和平移，使其与摄像机所在的坐标系重合，完成位置标定。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.一种激光雷达与摄像头之间的位置标定方法，其特征在于：包括如下：

其中X₁，Y₁，Z₁，0是点X_∞的三维齐次坐标分量；

(6c)根据长杆平面交线l₁和l₂的方程求得这两条长杆平面交线于像平面上的灭点其中a₁，b₁，c₁是点o_∞的二维齐次坐标分量；

(7b)使用一组对应点o_∞和X_∞获得一组方程其中H_∞＝KR，是无穷远平面到像平面的射影变换矩阵；

(8)利用长杆平面交线上的多个点解出3×1平移向量t：

(8a)在一次拍摄中，取雷达点云中的长杆平面交线L₁上一点

2.根据权利要求1所述的方法，其特征在于：(2)中的开阔环境，是指除长杆外的其他物体不会对雷达造成干扰的环境。

3.根据权利要求1所述的方法，其特征在于：(5a)分别确定L型截面两平面上两条激光痕迹直线的方程，使用方程对两痕迹直线求交点p，是根据两点确定一条直线的方法获得两条激光痕迹直线的方程，再通过联立方程组的方法求得交点p。

4.根据权利要求1所述的方法，其特征在于：(6a)中在一张摄像机图像内使用直线检测算法确定长杆平面交线l₁的方程，是根据长杆L型截面两平面不同的颜色信息，提取出多个落在长杆平面交线上的点，所有点的连线即为长杆平面交线l₁。

5.根据权利要求1所述的方法，其特征在于：(6b)中对平移后的二次拍摄重复(6a)，获得长杆平面交线l₂的方程，是根据长杆L型截面两平面不同的颜色信息，提取出多个落在长杆平面交线上的点，所有点的连线即为长杆平面交线l₂。