CN108564630B - 基于激光雷达和相机摄像头融合的标定装置及其标定方法 - Google Patents

Abstract

本发明属于智能汽车环境感知技术领域，具体的说是一种基于激光雷达和相机摄像头融合的标定装置及其标定方法。该标定装置包括齿条、垫板、转盘、标定长杆、标定短杆、螺钉、齿轮轴、齿轮轴承、齿轮、底板、底板钢球、限位弹簧、限位钢球、转盘轴、转盘轴承和弹簧锁止机构；本发明是一种基于激光雷达和相机摄像头融合的标定装置及其标定方法，结构简单，可手动操纵，能够在二维平面内移动和转动，同时对扫描点的三维坐标进行标定。解决了单一传感器无法准确完整获取环境信息的缺点，克服了难以确定扫描点位置、标定过程繁琐和扫描点离散不连续等一系列困难。

Description

基于激光雷达和相机摄像头融合的标定装置及其标定方法

技术领域

本发明属于智能汽车环境感知技术领域，具体的说是一种基于激光雷达和相机摄像头融合的标定装置及其标定方法。

背景技术

随着智能汽车产业的迅速发展，环境感知系统在保证其自动化、智能化、高效化的领域内发挥着越来越重要的作用。为了实现智能汽车的的自我环境感知和自动行驶功能，搭建切实可靠的标定平台已经成为不可或缺的环节。

目前，激光雷达和相机摄像头作为两种主要测距传感元件被广泛应用。相机摄像头能够迅速获得周围路况信息并进行图像数字处理，通过预设算法完成定位，而且价格低廉，技术发展较为成熟。激光雷达能准确获取物体的三维信息，具有测量速度快、精度高和测量距离远等优点，另外，它的稳定性相当高，鲁棒性好。然而智能汽车在陌生的复杂道路中行驶，单一种类的传感器不能满足其实际需要。激光雷达与相机摄像头融合，相当于激光雷达发挥激光雷达的优势，摄像头发挥摄像头的优势，两种传感器信息进行底层融合，将无疑会为智能汽车研究的新方向。而采用合理的标定方案将会对智能汽车的感知、定位以及上层决策规划起着重要作用。其中，激光雷达是主要的测距设备，结合相机摄像头进行双向标定是一种切实可行的联合标定手段。

一般情况下，人的肉眼无法识别激光雷达发出的近红外激光，所以无法通过常规方法确定扫描区域。另一方面，打在目标上的激光束不连续，处于分散状态，当标志物精度不十分高的情况下难以得到轨迹方程，因此难以确定扫描点和雷达硬件在雷达坐标系中的位置，无法达到预期效果。目前大多是将三维坐标分别独立标定，步骤复杂且标定结果粗糙。

发明内容

本发明提供了一种基于激光雷达和相机摄像头融合的标定装置及其标定方法，结构简单，可手动操纵，能够在二维平面内移动和转动，同时对扫描点的三维坐标进行标定。解决了单一传感器无法准确完整获取环境信息的缺点，克服了难以确定扫描点位置、标定过程繁琐和扫描点离散不连续等一系列困难。

本发明技术方案结合附图说明如下：

一种基于激光雷达和相机摄像头融合的标定装置，该标定装置包括齿条1-1、垫板1-2、转盘1-3、标定长杆1-4、标定短杆1-5、螺钉1-6、齿轮轴1-7、齿轮轴承1-8、齿轮1-9、底板1-10、底板钢球1-11、限位弹簧1-12、限位钢球1-13、转盘轴1-14、转盘轴承1-15和弹簧锁紧机构；所述的齿条1-1设置在底板在1-10上，其一端与底板1-10一端的滑槽滑动配合，另一端与设置在底板在1-10上的齿轮1-9啮合；所述的限位弹簧1-12和限位钢球1-13均有五个；所述的底板钢球1-11有六个；五个所述的限位弹簧1-12嵌入底板1-10的沉孔内，顶着五个限位钢球1-13进入齿条1-1的半球形凹槽；六个所述的底板钢球1-11的下端嵌入在底板1-10的凹槽内，上端与齿条1-1下端的半球形通槽接触；所述的垫板1-2通过四个螺钉1-6固定在齿条1-1上；所述的转盘轴1-14穿过垫板1-2底部的孔，并且与齿条1-1的内螺纹孔螺纹连接；所述的转盘1-3与转盘轴承1-15过盈连接，并且共同安装在转盘轴1-14上；所述的标定长杆1-4和标定短杆1-5均有四根；四根所述的标定长杆1-4固定在转盘1-3上；四根所述的标定短杆1-5固定在四根标定长杆1-4上；所述的齿轮轴1-7固定在底板1-10上；所述的齿轮1-9与齿轮轴承1-8过盈连接，并且共同安装在齿轮轴1-7上；所述的弹簧锁紧机构穿过垫板1-2的外侧端，与转盘1-3的齿底相接触。

所述的弹簧锁紧机构包括锁止杆1-18、弹簧1-17和锁止手柄1-16；所述的锁止杆1-18的一端带有外螺纹，并且与锁止手柄1-16连接；所述的锁止杆1-18的另一端为60°的锥面，该锥面在弹簧1-17的作用下卡在转盘1-3的齿槽中。

所述的底板1-10的底端设置有六个圆形凸台，上端中部设有5mm的阶梯台；所述的阶梯台的上端均布六个与底板钢球1-11相配合的半球形凹槽，且二者直径相同；所述的阶梯台的下端中心钻有与齿轮轴1-7外螺纹短杆螺纹连接的螺纹孔；所述的限位钢球1-13的直径比限位弹簧1-12的直径大2mm。

所述的齿条1-1底端沿纵向设有两条底板钢球1-11的上端嵌入的半球形长条凹槽，位置与底板1-10半球形凹槽的位置相同。

所述的垫板1-2上设置有第一沉孔；所述的第一沉孔的直径比转盘1-3的直径大10mm；所述的第一沉孔的底部中心钻有一直径与转盘轴1-14相同的通孔；所述的转盘1-3的四角均布四个与螺钉1-6直径相同的通孔，转盘1-3的后端中心钻有一固定锁止杆1-18的通孔。

所述的转盘1-3为齿轮结构，齿槽能够卡住锁止杆1-18的锥面，其上端钻有四个均布的，并且与标定长杆1-4底部的外螺纹进行螺纹连接的内螺纹孔；所述的标定长杆1-4横截面为正方形，底部为圆形截面，并设置有外螺纹；相邻两根标定杆沿不同高度分别设有两个内螺纹孔，四根标定长杆1-4两两配合，相邻的两根长杆内螺纹孔的高度一致；所述的标定短杆1-5横截面为正方形，两侧为圆截面，圆截面设置有外螺纹，每根短杆与相邻的两根标定长杆1-4螺纹连接，形成支架结构；所述的齿轮1-9采用直齿圆柱齿轮，模数和压力角均与齿条1-1相同。

一种基于激光雷达和相机摄像头融合的标定装置的标定方法，该方法包括以下步骤：

步骤一、确定标定装置的中心位置，并将垫板1-2调至水平位置；具体方法如下：

设车辆坐标系为OX₁Y₁Z₁，激光雷达坐标系OX₂Y₂Z₂，相机摄像头坐标系OX₃Y₃Z₃，相机二维像素点坐标系OX₄Y₄；在进行标定工作前，先将标定装置沿纵向置于水平地面，使底板1-10的左侧凸起与激光雷达发出的激光点不干涉，放在车辆前方合适位置处，用测量工具测得转盘1-3中心在车辆坐标系下的二维坐标(x_i，y_i，0)；为了能方便地得知标定点在车辆坐标系下的竖坐标，调节底板1-10下端的六个凸台直到垫板1-2达到水平位置，并用水平仪判断是否达到预期效果；再用测量工具测出四根标定短杆1-5距地面的高度，即可得出标定点在车辆坐标系下的竖坐标z_i(i＝1～4)；

步骤二、调整转盘1—3的位置，获取合适的激光雷达点云数据；具体方法如下：

转动齿轮1-9，齿轮1-9带动齿条1-1、垫板1-2、转盘1-3、标定长杆1-4和标定短杆1-5等一起作直线运动，限位弹簧1-12和限位钢球1-13将齿条1-1限制在固定位置；转动转盘1-3，转盘1-3及其上部的标定长杆1-4和标定短杆1-5将做绕自身的旋转运动；当在雷达输出结果中观测到同时打在两根相交的标定长杆1-4和标定短杆1-5上一组点时，利用弹簧锁紧机构锁死当前角度，打在每根标定长杆1-4和标定短杆1-5上的点有两个以上，记录当前激光点的三维坐标(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；根据转盘1-3转过的齿数和轮齿对应的圆心角，计算出转盘转过的角度，记为θ₀；或先在转盘1-3上标注角度刻度线，直接读取转盘1-3转过的角度；

步骤三、拟合相邻两标定杆在激光雷达坐标系下的直线表达式，并以此计算交点也就是标定点在激光雷达坐标系下的位置坐标；具体方法如下：

在标定过程中，激光雷达4获取了一组打在两根相交的标定长杆1-4和标定短杆1-5的点云位置信息，记为(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；利用最小二乘法对两根相交的标定长杆1-4和标定短杆1-5的信息分别进行拟合，可以得到两根相交的标定长杆1-4和标定短杆1-5在激光雷达坐标系下的直线表达式

式中，x，y，z为激光雷达坐标系下的空间坐标变量，x₀,y₀,z_o,x₁,y₁,z₁和m₀,n₀,p₀,m₁,n₁,p₁是空间直线的拟合参数；x，y，z，x₀,y₀,z_o,x₁,y₁,z₁单位是m，m₀,n₀,p₀,m₁,n₁,p₁没有单位；

联立两个直线方程，得出标定点在激光雷达坐标系下的三维坐标(x₂₁，y₂₁，z₂₁)；

步骤四、测量标定点在车辆坐标系下的坐标；具体方法如下：

在步骤一中，可以得到转盘1-3中心在车辆坐标系下的坐标(x_i，y_i，0)，以及四根标定短杆1-5在车辆坐标系下的竖坐标z_i(i＝1～4)；步骤二可得到转盘1-3的转角θ_0。用测量工具测得齿条1-1左侧相邻两半球形凹槽之间的距离，记为l₀，单位是m；在转动齿轮1-9的过程中，记录限位钢球1-13相对初始位置滑移的格数，记为i₀，无单位；则标定点在车辆坐标系下的坐标为(x_i，y_i+i₀×l₀，z_i)；

步骤五、重复步骤二至步骤四，获取多组数据，并构建车辆坐标系和激光雷达坐标系之间的标定转换矩阵T₁；具体方法如下：

在步骤三、四中，可以得到一组用于建立标定转换矩阵T₁的数据点

矩阵中，(x₁₁，y₁₁，z₁₁，1)和(x₂₁，y₂₁，z₂₁，1)分别为前面得到的标定点在车辆坐标系和激光雷达坐标系下的齐次坐标，右边第一项4×4矩阵即为车辆坐标系和激光雷达坐标系的标定转换矩阵T₁；其中，待求参数a₁～i₁表示两个坐标系之间的比例、错切和旋转变换关系，待求参数α₁、β₁、γ₁表示两个坐标系之间的平移量关系，这些参数没有单位；

在一次测量得到的数据中，包含x，y，z三个方向的坐标和方程，然而，待定标定转换矩阵T₁有十二个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮1-9让装置平动，或者旋转转盘1-3，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件MATLAB进行超定方程组的求解，进而求得十二个未知参量，得到标定转换矩阵T₁；在接下来的使用过程中，用该矩阵T₁右乘激光雷达广义坐标，即可获得对应点在车辆坐标系下的实际坐标；

步骤六、计算激光雷达4和相机摄像头2之间的坐标转换矩阵T₂，并计算出标定点在相机摄像头坐标系下的坐标；具体方法如下：

标定点在相机摄像头坐标系下的坐标可由在激光雷达坐标系中的坐标通过矩阵变换获得，该矩阵定义为T₂，有如下关系

该矩阵中，(x₂₁，y₂₁，z₂₁，1)和(x₃₁，y₃₁，z₃₁，1)分别为标定点在激光雷达坐标系和相机摄像头坐标系下的广义坐标；T₂中

θ、ψ是相机摄像头2相对激光雷达4的三个欧拉角，α₂、β₂、γ₂是相机摄像头2相对激光雷达4沿x、y、z三个方向上的平移量，这三个角和三个平移量可由测量工具测得；左上角的3×3矩阵表示两个坐标系之间的比例、错切和旋转变换关系，最右4×1矩阵表征两个坐标系之间的平移量关系；

已知标定点在激光雷达坐标系下的广义坐标和T₂，求出标定点在相机摄像头坐标系下的坐标；

步骤七、获取标定点在相机二维像素平面内的位置信息，并求得相机摄像头坐标系和相机二维像素坐标系之间的标定转换矩阵T₃；具体方法如下：

应用中央处理单元5对相机摄像头2捕获的平面信息加以分析，建立合适的二维平面参考系，确定在一次数据测量中标定点的二维坐标；在步骤七中，可获得标定点在相机摄像头参考系下的三维坐标，二者可由标定转换矩阵T₃联系起来，对应数据点构成了如下齐次坐标方程

其中，(x₃₁，y₃₁，z₃₁，1)是标定点在激光雷达坐标系下的广义坐标，(x₄₁，y₄₁，1)是标定点在相机二维平面坐标系下的坐标，方程右边第一项定义为相机摄像头坐标系和相机二维像素平面之间的标定转换矩阵T₃；a₃、b₃、c₃、d₃、e₃、f₃、g₃、h₃、i₃为待定系数；一次数据测量中只能建立x、y、z三个方向的坐标和方程，然而，待定标定转换矩阵T₃有九个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮1-9让装置平动，或者旋转转盘1-3，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件MATLAB进行超定方程组的求解，进而求得九个未知参量，得到标定转换矩阵T₃；

步骤八、计算车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；具体方法如下：

根据步骤五～步骤七容易得出T₀的计算式

式中，A～I为未知参量，可通过T₁、T₂、T₃相乘求解得出具体数值，即求得车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；在之后的实际应用中，将矩阵T₀与相机摄像头输出的二维广义坐标相乘，即可得到对应点在车辆坐标系下的实际三维坐标。

本发明的有益效果为：

1、受激光雷达角分辨率的限制，常规的标定过程中需多次变更标定杆的空间位置，该装置加入了齿轮齿条机构，可以实现标定杆的直线运动；加入了旋转装置，可以实现标定杆的旋转运动。通过手动调节标定杆在空间的位置，能够较快地获得理想的数据标定点。

2、通过齿轮齿条配合限位弹簧和限位钢球的结构，可以方便地计算出标定杆的纵向位移；通过圆形转盘配合齿槽固定转角的结构，容易得出标定杆在旋转过程中的旋转角度。而且只需进行一次测量，便可得知转盘中心在车辆坐标系的位置。标定过程中的位移和转角数据可由标定结构计算得出，精度和效率均得以有效提高。

3、为了得知已知点在雷达坐标系下的坐标，本方案采用多点扫描拟合信息的方法。这种方法的优势在于：在一次数据采集中，同时获得扫描点的三维坐标(x，y，z)，有效克服了传统标定方案中分别标定二维坐标(x，y)和竖坐标z进而强行耦合导致的精度降低问题，并且大大简化了测量步骤，标定杆在空间中交错排列，产生很多交叉点，因此有时系统可以同时获得两组甚至更多组数据，提高了工作效率。与此同时，这种多点拟合获取数据的方法能够有效利用已经内标定好了的信息，有效降低操作过程中由于偶然性所引发的误差，从而提高标定精度。

附图说明

图1为标定系统的结构示意图；

图2为标定装置的轴测图；

图3为标定装置的爆炸图。

图中：1、标定装置；2、相机摄像头；3、通讯总线；4、激光雷达；5、中央处理单元；6、车辆；1-1、齿条；1-2、垫板；1-3、转盘；1-4、标定长杆；1-5、标定短杆；1-6、螺钉；1-7、齿轮轴；1-8、齿轮轴承；1-9、齿轮；1-10、底板；1-11、底板钢球；1-12、限位弹簧；1-13、限位钢球；1-14、转盘轴；1-15、转盘轴承；1-16、锁止手柄；1-17、锁止弹簧；1-18、锁止杆。

具体实施方式

参阅图1，一种基于激光雷达和相机摄像头融合的标定系统，该系统包括标定装置1、相机摄像头2、通讯总线3、激光雷达4、中央处理单元5和车辆6。将车辆6和标定装置1置于宽阔水平地面上，标定装置1位于车辆6正前方适宜距离，保证发动机前舱不干涉相机摄像头2和激光雷达4采集标定信息。激光雷达4安装于车顶中间位置；相机摄像头靠近驾驶室玻璃，位于车辆1内部。中央处理单元5置于车辆1内部，标定过程中由实验员手动操控。相机摄像头2和激光雷达4与中央处理单元5通过通讯总线3连接，实现实时数据传输。

激光雷达和相机摄像头的标定原理：

激光雷达4和车辆6具有固定的位置关系，当观测相同的物体时，由于这两者所处的空间位置不同，所观测的物体的坐标就会产生差异。进行标定的目的就是寻找一个合适的坐标转换矩阵T₁，将激光雷达坐标系中的坐标转化到车辆坐标系，从而实现数据的统一，供智能汽车上层模块调用。激光雷达4的标定分为三个步骤：1、获取标定点在车辆坐标系下的位置数据；2、获取标定点在激光雷达坐标系下的位置数据；3、计算车辆坐标系和激光雷达坐标系之间的坐标转换矩阵T₁。

相机摄像头2作为辅助环境感知装置，和车辆6也具有固定的位置关系，所感知的环境信息具有相对性，这一点和激光雷达类似。然而，激光雷达可通过激光获得标定点的位置数据，相机摄像头2却无法直接获得标定点在相机坐标系下的位置数据，只能获得二维像素点信息。因此，需借助激光雷达采集的标定点数据。相机摄像头的标定分为6个步骤：1、获取标定点在激光雷达坐标系下的位置数据；2、测量相机摄像头相对激光雷达的旋转角度和平移关系数据，计算标定转换矩阵T₂；3.计算标定点在相机摄像头坐标系下的位置数据；4、获取标定点在相机摄像头二维像素点的位置数据；5、计算相机摄像头坐标系和像素点坐标系之间的坐标转换矩阵T₃；6、计算车辆坐标系和相机二维像素坐标系之间的坐标转换矩阵T₀。

标定装置1获取标定点数据的工作原理：

在传统标定方法中，一般将一根细长杆垂直于地面放置，激光雷达所获取的扫描点就在细长杆上，通过测量标定装置和车辆的相对位置以及装置的尺寸参数，可以得出扫描点在车辆坐标系下的水平坐标，却无法得出扫描点在车辆坐标系下的竖直坐标；同样地，当利用标定装置平面获取建立扫描点的竖直坐标时，可通过装置平面的尺寸高度参数直接得出，却无法得知扫描点在车辆坐标系下的水平坐标数据。

为了克服这一弊端，同时获取标定点在车辆坐标系和激光雷达坐标系下的三维坐标数据，本发明将二者特点相融合，采取了四根标定长杆和四根标定短杆交错排列的结构，增加了可视化标定点的数量。通过分析激光雷达点云数据信息，可得知打在标定杆上扫描点的位置信息，用最小二乘法拟合出杆件的空间位置表达式，相邻的杆件之间连立可求出标定点在激光雷达坐标系下的坐标值。通过测量标定装置与车辆本体的相对位置以及标定装置的尺寸参数，易于得出标定点在车辆坐标系下的坐标值。对于相机摄像头，在已获得的相机图像水平面内建立合适的二维坐标系，利用中央处理单元5识别标定点在二维图像中的位置，得到标定点在相机摄像头坐标系下的坐标。

参阅图2—图3，一种基于激光雷达和相机摄像头融合的标定装置，该标定装,包括齿条1-1、垫板1-2、转盘1-3、标定长杆1-4、标定短杆1-5、螺钉1-6、齿轮轴1-7、齿轮轴承1-8、齿轮1-9、底板1-10、底板钢球1-11、限位弹簧1-12、限位钢球1-13、转盘轴1-14、转盘轴承1-15和弹簧锁紧机构；

所述的齿条1-1设置在底板在1-10上，其一端与底板1-10一端的滑槽滑动配合，另一端与设置在底板在1-10上的齿轮1-9啮合；所述的限位弹簧1-12和限位钢球1-13均有五个；所述的底板钢球1-11有六个；五个所述的限位弹簧1-12嵌入底板1-10的沉孔内，顶着五个限位钢球1-13进入齿条1-1的半球形凹槽；六个所述的底板钢球1-11的下端嵌入在底板1-10的凹槽内，上端与齿条1-1下端的半球形通槽接触；所述的垫板1-2通过四个螺钉1-6固定在齿条1-1上；所述的转盘轴1-14穿过垫板1-2底部的孔，并且与齿条1-1的内螺纹孔螺纹连接；所述的转盘1-3与转盘轴承1-15过盈连接，并且共同安装在转盘轴1-14上；所述的标定长杆1-4和标定短杆1-5均有四根；四根所述的标定长杆1-4固定在转盘1-3上；四根所述的标定短杆1-5固定在四根标定长杆1-4上；所述的齿轮轴1-7固定在底板1-10上；所述的齿轮1-9与齿轮轴承1-8过盈连接，并且共同安装在齿轮轴1-7上；所述的弹簧锁紧机构穿过垫板1-2的外侧端，与转盘1-3的齿底相接触。

所述的弹簧锁紧机构包括锁止杆1-18、弹簧1-17和锁止手柄1-16；所述的锁止杆1-18的一端带有外螺纹，并且与锁止手柄1-16连接；所述的锁止杆1-18的另一端为60°的锥面，该锥面在弹簧1-17的作用下卡在转盘1-3的齿槽中。

所述的底板1-10下端设置有六个圆形凸台，为了不让齿轮齿条在啮合过程中与底板接触，底板的上端中部设有5mm厚的阶梯台，上梯台均布六个半球形凹槽，该凹槽与底板钢球1-11相配合，且二者直径相同；下梯台中心钻有内螺纹孔，该螺纹孔与所述的齿轮轴1-7外螺纹短杆螺纹连接；左端设有五个沉孔，限位钢球1-13的直径比限位弹簧1-12大2mm，限位钢球1-13压缩限位弹簧1-12进入沉孔，限位钢球1-13的另一端嵌入齿条1-1左端的半球形凹槽内。

所述的齿条1-1底端沿纵向设有两条半球形长条凹槽，位置与底板1-10半球形凹槽的位置相同，底板钢球1-11的上端可嵌入半球形长条凹槽内，并可在滑道内滑动，为防止齿条1-1活动范围超出量程，半球形长条凹槽两侧封死；右端设有齿条齿；左端设有九个与限位钢球1-13配合的半球形凹槽，目的是让限位钢球1-13在不同凹槽内跨越式滑动，其直径与限位钢球1-13相同；上端中心钻有一内螺纹孔，与转盘1-14短杆外螺纹螺纹连接，中心螺纹孔周围均布四个螺纹孔，与垫板1-2的四个通孔直径相同、位置相同，与四个螺钉1-6的外螺纹螺纹连接。

所述的垫板1-2于上端中间设置一沉孔，沉孔直径比转盘1-3的直径大10mm，沉孔底部中心钻有一直径与转盘轴1-14相同的通孔，以便转盘轴1-14能通过；上端实体的四角均布四个通孔，其直径与螺钉1-6的直径相同；后侧中心钻有一通孔，可以通过锁止杆1-18。

所述的转盘1-3设置为齿轮结构，齿槽能够卡住锁止杆1-18的锥面；其上端钻有四个均布的内螺纹孔，可与标定长杆1-4底部的外螺纹进行螺纹连接。所述的标定长杆1-4横截面为正方形，底部为圆形截面，并设置有外螺纹；相邻两根标定杆沿不同高度分别设有两个内螺纹孔，四根标定长杆1-4两两配合，相邻的两根长杆内螺纹孔的高度一致。所述的标定短杆1-5横截面为正方形，两侧为圆截面，圆截面设置有外螺纹，每根短杆与相邻的两根长杆螺纹连接，形成支架结构。所述的齿轮1-9采用直齿圆柱齿轮，模数和压力角均与齿条1-1相同。

在装配过程中，基于激光雷达和相机摄像头融合的标定装置采用如下装配顺序：

1、将标定装置的底板1-10置于水平地面上；

2、将六个底板钢球1-11放入底板1-10上梯台的六个半球形凹槽内；

3、用五个限位钢球1-12压缩五个限位弹簧1-13一并压入底板1-10左侧的沉孔内；

4、连接齿条1-1和底板1-10，齿条的左侧凸起和底板的左侧凹陷结构接合，五个限位钢球1-12的右半部分别卡入齿条左侧的相邻五个半球形凹槽内，六个底板钢球1-11的上半部卡入齿条下端的半球形长条凹槽内，以保证齿条在纵向自由运动，并减小滑动摩擦力；

5、将锁止弹簧1-17套在锁止杆1-18有外螺纹的一侧，两者一同从垫板1-2的锁止机构安装孔的内侧穿过，并通过锁止杆1-18有外螺纹的一侧在垫板1-2的外侧与锁止手柄1-16进行螺纹连接，形成锁止机构；

6、将垫板1-2水平放置在齿条1-1上，四个通孔与齿条上表面的螺纹孔对齐；

7、利用螺纹连接，将转盘轴1-14竖直穿过垫板1-2的中心孔安装在齿条1-1上表面；

8、将四个螺钉1-6穿过垫板1-2周围的四个孔，拧入齿条1-1的四个螺纹孔中；

9、将转盘轴承1-15过盈连接固定于转盘轴1-14外表面；

10、将转盘1-3过盈连接套在转盘轴承1-15外圆柱面；

11、利用螺纹连接，将四根标定长杆1-4竖直安装在转盘1-3上；

12、利用螺纹连接，将四根标定短杆1-5水平安装于四根标定长杆1-4之间；

13、利用螺纹连接，将齿轮轴1-1竖直安装在底板1-10下梯台上；

14、将齿轮轴承1-8过盈连接固定在齿轮轴1-7外表面；

15、将齿轮1-9过盈连接套于齿轮轴承1-8外圆柱面，调整齿轮旋转角度，使其与齿条1-1的齿形正确啮合。

利用上述基于激光雷达和相机摄像头融合的标定装置的具体标定方法如下：

步骤一、确定标定装置的中心位置，并将垫板1-2调至水平位置；具体方法如下：

设车辆坐标系为OX₁Y₁Z₁，激光雷达坐标系OX₂Y₂Z₂，相机摄像头坐标系OX₃Y₃Z₃，相机二维像素点坐标系OX₄Y₄；在进行标定工作前，先将标定装置沿纵向置于水平地面，使底板1-10的左侧凸起与激光雷达发出的激光点不干涉，放在车辆前方合适位置处，用测量工具测得转盘1-3中心在车辆坐标系下的二维坐标(x_i，y_i，0)；为了能方便地得知标定点在车辆坐标系下的竖坐标，调节底板1-10下端的六个凸台直到垫板1-2达到水平位置，并用水平仪判断是否达到预期效果；再用测量工具测出四根标定短杆1-5距地面的高度，即可得出标定点在车辆坐标系下的竖坐标z_i(i＝1～4)；

步骤二、调整转盘1—3的位置，获取合适的激光雷达点云数据；具体方法如下：

转动齿轮1-9，齿轮1-9带动齿条1-1、垫板1-2、转盘1-3、标定长杆1-4和标定短杆1-5等一起作直线运动，限位弹簧1-12和限位钢球1-13将齿条1-1限制在固定位置；转动转盘1-3，转盘1-3及其上部的标定长杆1-4和标定短杆1-5将做绕自身的旋转运动；当在雷达输出结果中观测到同时打在两根相交的标定长杆1-4和标定短杆1-5上一组点时，利用弹簧锁紧机构锁死当前角度，打在每根标定长杆1-4和标定短杆1-5上的点有两个以上，记录当前激光点的三维坐标(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；根据转盘1-3转过的齿数和轮齿对应的圆心角，计算出转盘转过的角度，记为θ₀；或先在转盘1-3上标注角度刻度线，直接读取转盘1-3转过的角度；

步骤三、拟合相邻两标定杆在激光雷达坐标系下的直线表达式，并以此计算交点也就是标定点在激光雷达坐标系下的位置坐标；具体方法如下：

在标定过程中，激光雷达4获取了一组打在两根相交的标定长杆1-4和标定短杆1-5的点云位置信息，记为(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；利用最小二乘法对两根相交的标定长杆1-4和标定短杆1-5的信息分别进行拟合，可以得到两根相交的标定长杆1-4和标定短杆1-5在激光雷达坐标系下的直线表达式

式中，x，y，z为激光雷达坐标系下的空间坐标变量，x₀,y₀,z_o,x₁,y₁,z₁和m₀,n₀,p₀,m₁,n₁,p₁是空间直线的拟合参数；x，y，z，x₀,y₀,z_o,x₁,y₁,z₁单位是m，m₀,n₀,p₀,m₁,n₁,p₁没有单位；

联立两个直线方程，得出标定点在激光雷达坐标系下的三维坐标(x₂₁，y₂₁，z₂₁)；

步骤四、测量标定点在车辆坐标系下的坐标；具体方法如下：

在步骤一中，可以得到转盘1-3中心在车辆坐标系下的坐标(x_i，y_i，0)，以及四根标定短杆1-5在车辆坐标系下的竖坐标z_i(i＝1～4)；步骤二可得到转盘1-3的转角θ_0。用测量工具测得齿条1-1左侧相邻两半球形凹槽之间的距离，记为l₀，单位是m；在转动齿轮1-9的过程中，记录限位钢球1-13相对初始位置滑移的格数，记为i₀，无单位；则标定点在车辆坐标系下的坐标为(x_i，y_i+i₀×l₀，z_i)；

步骤五、重复步骤二至步骤四，获取多组数据，并构建车辆坐标系和激光雷达坐标系之间的标定转换矩阵T₁；具体方法如下：

在步骤三、四中，可以得到一组用于建立标定转换矩阵T₁的数据点

矩阵中，(x₁₁，y₁₁，z₁₁，1)和(x₂₁，y₂₁，z₂₁，1)分别为前面得到的标定点在车辆坐标系和激光雷达坐标系下的齐次坐标，右边第一项4×4矩阵即为车辆坐标系和激光雷达坐标系的标定转换矩阵T₁；其中，待求参数a₁～i₁表示两个坐标系之间的比例、错切和旋转变换关系，待求参数α₁、β₁、γ₁表示两个坐标系之间的平移量关系，这些参数没有单位；

在一次测量得到的数据中，包含x，y，z三个方向的坐标和方程，然而，待定标定转换矩阵T₁有十二个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮1-9让装置平动，或者旋转转盘1-3，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件MATLAB进行超定方程组的求解，进而求得十二个未知参量，得到标定转换矩阵T₁；在接下来的使用过程中，用该矩阵T₁右乘激光雷达广义坐标，即可获得对应点在车辆坐标系下的实际坐标；

步骤六、计算激光雷达4和相机摄像头2之间的坐标转换矩阵T₂，并计算出标定点在相机摄像头坐标系下的坐标；具体方法如下：

标定点在相机摄像头坐标系下的坐标可由在激光雷达坐标系中的坐标通过矩阵变换获得，该矩阵定义为T₂，有如下关系

该矩阵中，(x₂₁，y₂₁，z₂₁，1)和(x₃₁，y₃₁，z₃₁，1)分别为标定点在激光雷达坐标系和相机摄像头坐标系下的广义坐标；T₂中

θ、ψ是相机摄像头2相对激光雷达4的三个欧拉角，α₂、β₂、γ₂是相机摄像头2相对激光雷达4沿x、y、z三个方向上的平移量，这三个角和三个平移量可由测量工具测得；左上角的3×3矩阵表示两个坐标系之间的比例、错切和旋转变换关系，最右4×1矩阵表征两个坐标系之间的平移量关系；

已知标定点在激光雷达坐标系下的广义坐标和T₂，求出标定点在相机摄像头坐标系下的坐标；

步骤七、获取标定点在相机二维像素平面内的位置信息，并求得相机摄像头坐标系和相机二维像素坐标系之间的标定转换矩阵T₃；具体方法如下：

应用中央处理单元5对相机摄像头2捕获的平面信息加以分析，建立合适的二维平面参考系，确定在一次数据测量中标定点的二维坐标；在步骤七中，可获得标定点在相机摄像头参考系下的三维坐标，二者可由标定转换矩阵T₃联系起来，对应数据点构成了如下齐次坐标方程

其中，(x₃₁，y₃₁，z₃₁，1)是标定点在激光雷达坐标系下的广义坐标，(x₄₁，y₄₁，1)是标定点在相机二维平面坐标系下的坐标，方程右边第一项定义为相机摄像头坐标系和相机二维像素平面之间的标定转换矩阵T₃；a₃、b₃、c₃、d₃、e₃、f₃、g₃、h₃、i₃为待定系数；一次数据测量中只能建立x、y、z三个方向的坐标和方程，然而，待定标定转换矩阵T₃有九个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮1-9让装置平动，或者旋转转盘1-3，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件MATLAB进行超定方程组的求解，进而求得九个未知参量，得到标定转换矩阵T₃；

步骤八、计算车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；具体方法如下：

根据步骤五～步骤七容易得出T₀的计算式

式中，A～I为未知参量，可通过T₁、T₂、T₃相乘求解得出具体数值，即求得车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；在之后的实际应用中，将矩阵T₀与相机摄像头输出的二维广义坐标相乘，即可得到对应点在车辆坐标系下的实际三维坐标。

Claims (7)

1.一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，该方法包括以下步骤：

步骤一、确定标定装置的中心位置，并将垫板(1-2)调至水平位置；具体方法如下：

设车辆坐标系为OX₁Y₁Z₁，激光雷达坐标系OX₂Y₂Z₂，相机摄像头坐标系OX₃Y₃Z₃，相机二维像素点坐标系OX₄Y₄；在进行标定工作前，先将标定装置沿纵向置于水平地面，使底板(1-10)的左侧凸起与激光雷达发出的激光点不干涉，放在车辆前方合适位置处，用测量工具测得转盘(1-3)中心在车辆坐标系下的二维坐标(x_i，y_i，0)；为了能方便地得知标定点在车辆坐标系下的竖坐标，调节底板(1-10)下端的六个凸台直到垫板(1-2)达到水平位置，并用水平仪判断是否达到预期效果；再用测量工具测出四根标定短杆(1-5)距地面的高度，即可得出标定点在车辆坐标系下的竖坐标z_i，i＝1～4；

步骤二、调整转盘(1—3)的位置，获取合适的激光雷达点云数据；具体方法如下：

转动齿轮(1-9)，齿轮(1-9)带动齿条(1-1)、垫板(1-2)、转盘(1-3)、标定长杆(1-4)和标定短杆(1-5)一起作直线运动，限位弹簧(1-12)和限位钢球(1-13)将齿条(1-1)限制在固定位置；转动转盘(1-3)，转盘(1-3)及其上部的标定长杆(1-4)和标定短杆(1-5)将做绕自身的旋转运动；当在雷达输出结果中观测到同时打在两根相交的标定长杆(1-4)和标定短杆(1-5)上一组点时，利用弹簧锁紧机构锁死当前角度，打在每根标定长杆(1-4)和标定短杆(1-5)上的点有两个以上，记录当前激光点的三维坐标(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；根据转盘(1-3)转过的齿数和轮齿对应的圆心角，计算出转盘转过的角度，记为θ₀；或先在转盘(1-3)上标注角度刻度线，直接读取转盘(1-3)转过的角度；

步骤三、拟合相邻两标定杆在激光雷达坐标系下的直线表达式，并以此计算交点也就是标定点在激光雷达坐标系下的位置坐标；具体方法如下：

在标定过程中，激光雷达(4)获取了一组打在两根相交的标定长杆(1-4)和标定短杆(1-5)的点云位置信息，记为(x_2a，y_2a，z_2a)、(x_2b，y_2b，z_2b)、(x_2c，y_2c，z_2c)……；利用最小二乘法对两根相交的标定长杆(1-4)和标定短杆(1-5)的信息分别进行拟合，可以得到两根相交的标定长杆(1-4)和标定短杆(1-5)在激光雷达坐标系下的直线表达式

式中，x，y，z为激光雷达坐标系下的空间坐标变量，x₀,y₀,z_o,x₁,y₁,z₁和m₀,n₀,p₀,m₁,n₁,p₁是空间直线的拟合参数；x，y，z，x₀,y₀,z_o,x₁,y₁,z₁单位是m，m₀,n₀,p₀,m₁,n₁,p₁没有单位；

联立两个直线方程，得出标定点在激光雷达坐标系下的三维坐标(x₂₁，y₂₁，z₂₁)；

步骤四、测量标定点在车辆坐标系下的坐标；具体方法如下：

在步骤一中，可以得到转盘(1-3)中心在车辆坐标系下的坐标(x_i，y_i，0)，以及四根标定短杆(1-5)在车辆坐标系下的竖坐标z_i，i＝1～4；步骤二可得到转盘(1-3)的转角θ₀；用测量工具测得齿条(1-1)左侧相邻两半球形凹槽之间的距离，记为l₀，单位是m；在转动齿轮(1-9)的过程中，记录限位钢球(1-13)相对初始位置滑移的格数，记为i₀，无单位；则标定点在车辆坐标系下的坐标为(x_i，y_i+i₀×l₀，z_i)；

步骤五、重复步骤二至步骤四，获取多组数据，并构建车辆坐标系和激光雷达坐标系之间的标定转换矩阵T₁；具体方法如下：

在步骤三、四中，可以得到一组用于建立标定转换矩阵T₁的数据点

矩阵中，(x₁₁，y₁₁，z₁₁，1)和(x₂₁，y₂₁，z₂₁，1)分别为前面得到的标定点在车辆坐标系和激光雷达坐标系下的齐次坐标，右边第一项4×4矩阵即为车辆坐标系和激光雷达坐标系的标定转换矩阵T₁；其中，待求参数a₁～i₁表示两个坐标系之间的比例、错切和旋转变换关系，待求参数α₁、β₁、γ₁表示两个坐标系之间的平移量关系，这些参数没有单位；

在一次测量得到的数据中，包含x，y，z三个方向的坐标和方程，然而，待定标定转换矩阵T₁有十二个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮(1-9)让装置平动，或者旋转转盘(1-3)，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件Matlab进行超定方程组的求解，进而求得十二个未知参量，得到标定转换矩阵T₁；在接下来的使用过程中，用该矩阵T₁右乘激光雷达广义坐标，即可获得对应点在车辆坐标系下的实际坐标；

步骤六、计算激光雷达(4)和相机摄像头(2)之间的坐标转换矩阵T₂，并计算出标定点在相机摄像头坐标系下的坐标；具体方法如下：

标定点在相机摄像头坐标系下的坐标可由在激光雷达坐标系中的坐标通过矩阵变换获得，该矩阵定义为T₂，有如下关系

该矩阵中，(x₂₁，y₂₁，z₂₁，1)和(x₃₁，y₃₁，z₃₁，1)分别为标定点在激光雷达坐标系和相机摄像头坐标系下的广义坐标；T₂中

θ、ψ是相机摄像头(2)相对激光雷达(4)的三个欧拉角，α₂、β₂、γ₂是相机摄像头(2)相对激光雷达4沿x、y、z三个方向上的平移量，这三个角和三个平移量可由测量工具测得；左上角的3×3矩阵表示两个坐标系之间的比例、错切和旋转变换关系，最右4×1矩阵表征两个坐标系之间的平移量关系；

已知标定点在激光雷达坐标系下的广义坐标和T₂，求出标定点在相机摄像头坐标系下的坐标；

步骤七、获取标定点在相机二维像素平面内的位置信息，并求得相机摄像头坐标系和相机二维像素坐标系之间的标定转换矩阵T₃；具体方法如下：

应用中央处理单元(5)对相机摄像头(2)捕获的平面信息加以分析，建立合适的二维平面参考系，确定在一次数据测量中标定点的二维坐标；在步骤七中，可获得标定点在相机摄像头参考系下的三维坐标，二者可由标定转换矩阵T₃联系起来，对应数据点构成了如下齐次坐标方程

其中，(x₃₁，y₃₁，z₃₁，1)是标定点在激光雷达坐标系下的广义坐标，(x₄₁，y₄₁，1)是标定点在相机二维平面坐标系下的坐标，方程右边第一项定义为相机摄像头坐标系和相机二维像素平面之间的标定转换矩阵T₃；a₃、b₃、c₃、d₃、e₃、f₃、g₃、h₃、i₃为待定系数；一次数据测量中只能建立x、y、z三个方向的坐标和方程，然而，待定标定转换矩阵T₃有九个未知参量，故至少需要进行四次数据测量工作；可通过转动齿轮(1-9)让装置平动，或者旋转转盘(1-3)，都可以达到多次获取数据的目的；重复进行步骤二到四，建立四组以上方程，形成超定方程组，然后利用电脑软件Matlab进行超定方程组的求解，进而求得九个未知参量，得到标定转换矩阵T₃；

步骤八、计算车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；具体方法如下：

根据步骤五～步骤七容易得出T₀的计算式

式中，A～I为未知参量，可通过T₁、T₂、T₃相乘求解得出具体数值，即求得车辆坐标系和相机二维像素平面坐标系之间的标定转换矩阵T₀；在之后的实际应用中，将矩阵T₀与相机摄像头输出的二维广义坐标相乘，即可得到对应点在车辆坐标系下的实际三维坐标。

2.根据权利要求1所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，通过一种基于激光雷达和相机摄像头融合的标定装置实现，该标定装置(1)包括齿条(1-1)、垫板(1-2)、转盘(1-3)、标定长杆(1-4)、标定短杆(1-5)、螺钉(1-6)、齿轮轴(1-7)、齿轮轴承(1-8)、齿轮(1-9)、底板(1-10)、底板钢球(1-11)、限位弹簧(1-12)、限位钢球(1-13)、转盘轴(1-14)、转盘轴承(1-15)和弹簧锁紧机构；所述的齿条(1-1)设置在底板在(1-10)上，其一端与底板(1-10)一端的滑槽滑动配合，另一端与设置在底板在(1-10)上的齿轮(1-9)啮合；所述的限位弹簧(1-12)和限位钢球(1-13)均有五个；所述的底板钢球(1-11)有六个；五个所述的限位弹簧(1-12)嵌入底板(1-10)的沉孔内，顶着五个限位钢球(1-13)进入齿条(1-1)的半球形凹槽；六个所述的底板钢球(1-11)的下端嵌入在底板(1-10)的凹槽内，上端与齿条(1-1)下端的半球形通槽接触；所述的垫板(1-2)通过四个螺钉(1-6)固定在齿条(1-1)上；所述的转盘轴(1-14)穿过垫板(1-2)底部的孔，并且与齿条(1-1)的内螺纹孔螺纹连接；所述的转盘(1-3)与转盘轴承(1-15)过盈连接，并且共同安装在转盘轴(1-14)上；所述的标定长杆(1-4)和标定短杆(1-5)均有四根；四根所述的标定长杆(1-4)固定在转盘(1-3)上；四根所述的标定短杆(1-5)固定在四根标定长杆(1-4)上；所述的齿轮轴(1-7)固定在底板(1-10)上；所述的齿轮(1-9)与齿轮轴承(1-8)过盈连接，并且共同安装在齿轮轴(1-7)上；所述的弹簧锁紧机构穿过垫板(1-2)的外侧端，与转盘(1-3)的齿底相接触。

3.根据权利要求2所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，所述的弹簧锁紧机构包括锁止杆(1-18)、弹簧(1-17)和锁止手柄(1-16)；所述的锁止杆(1-18)的一端带有外螺纹，并且与锁止手柄(1-16)连接；所述的锁止杆(1-18)的另一端为60°的锥面，该锥面在弹簧(1-17)的作用下卡在转盘(1-3)的齿槽中。

4.根据权利要求2所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，所述的底板(1-10)的底端设置有六个圆形凸台，上端中部设有5mm的阶梯台；所述的阶梯台的上端均布六个与底板钢球(1-11)相配合的半球形凹槽，且二者直径相同；所述的阶梯台的下端中心钻有与齿轮轴(1-7)外螺纹短杆螺纹连接的螺纹孔；所述的限位钢球(1-13)的直径比限位弹簧(1-12)的直径大2mm。

5.根据权利要求2所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，所述的齿条(1-1)底端沿纵向设有两条底板钢球(1-11)的上端嵌入的半球形长条凹槽，位置与底板(1-10)半球形凹槽的位置相同。

6.根据权利要求2所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，所述的垫板(1-2)上设置有第一沉孔；所述的第一沉孔的直径比转盘(1-3)的直径大10mm；所述的第一沉孔的底部中心钻有一直径与转盘轴(1-14)相同的通孔；所述的转盘(1-3)的四角均布四个与螺钉(1-6)直径相同的通孔，转盘(1-3)的后端中心钻有一固定锁止杆(1-18)的通孔。

7.根据权利要求2所述的一种基于激光雷达和相机摄像头融合的标定方法，其特征在于，所述的转盘(1-3)为齿轮结构，齿槽能够卡住锁止杆(1-18)的锥面，其上端钻有四个均布的，并且与标定长杆(1-4)底部的外螺纹进行螺纹连接的内螺纹孔；所述的标定长杆(1-4)横截面为正方形，底部为圆形截面，并设置有外螺纹；相邻两根标定杆沿不同高度分别设有两个内螺纹孔，四根标定长杆(1-4)两两配合，相邻的两根长杆内螺纹孔的高度一致；所述的标定短杆(1-5)横截面为正方形，两侧为圆截面，圆截面设置有外螺纹，每根短杆与相邻的两根标定长杆(1-4)螺纹连接，形成支架结构；所述的齿轮(1-9)采用直齿圆柱齿轮，模数和压力角均与齿条(1-1)相同。

Images