CN105445721B - 基于带特征突起v型标定物的激光雷达与摄像机联合标定方法 - Google Patents

Abstract

本发明涉及一种基于带特征突起V型标定物的激光雷达与摄像机联合标定方法，属于无人车或机器人技术领域。本发明设计带特征突起的V型标定物，采用V型标定物中特征突起物的中心点作为特征标定点，该特征标定点不仅图像特征明显，能够获取其准确的图像信息；并且具有几何特征突起，易于激光雷达分辨，并能通过将V型标定物两侧的激光雷达扫描数据点拟合直线，并求取两条数据线交点的方法间接获取激光雷达中该标定点的准确信息。通过该带特征突起的V型标定物，能够实现对应激光雷达标定点信息与摄像机点标定点信息的准确获取，从而实现激光雷达与摄像机准确的联合标定。

Description

基于带特征突起V型标定物的激光雷达与摄像机联合标定 方法

技术领域

本发明涉及无人车或机器人技术领域，具体涉及一种基于带特征突起的V型标定物的激光雷达与摄像机的联合标定方法。

背景技术

激光雷达与摄像机信息融合是目前无人车环境感知与自主导航系统中进行环境建模、障碍物检测、目标识别与跟踪中应用最广泛的方法。激光雷达与摄像机的联合标定是两者进行信息融合的必要前提与基础，即通过特定的标定物获取对应标定点信息，建立激光雷达与摄像机在各自坐标系中的观测值之间的对应关系，从而使激光雷达与摄像机的信息具有空间一致性。

联合标定中，由于激光雷达扫描线的非可见性，如何准确获取激光雷达扫描信息中的标定点信息是需要解决的关键问题。当前主要的联合标定方法中，通常采用标定物中一些具有空间几何特征的位置点作为标定点，并直接采用激光雷达扫描至该位置点处附近所获取的具有距离突变的扫描点信息来表征此标定点信息。受激光雷达分辨率的影响，这种方法不能准确获取准确的标定点信息，尤其是系统需要在远距离处进行联合标定时，这种方法将会带来较大误差，从而不能进行准确的联合标定。因此如何设计一种激光雷达与摄像机的联合标定方法，能够对激光雷达标定点进行准确获取，从而实现准确的联合标定是需要解决的技术问题。

发明内容

本发明的目的是设计一种激光雷达与摄像机的联合标定方法，能够实现对激光雷达标定点信息的准确获取，以实现准确的联合标定。

技术方案

为解决上述技术问题，本发明提供了一种基于带特征突起的V型标定物的激光雷达与摄像机联合标定方法，其包括以下步骤：

步骤一：设计带特征突起的V型标定物；

步骤二：完成基于带特征突起V型标定物的激光雷达初始扫描位置调校；

步骤三：完成基于带特征突起V型标定物的对应特征标定点信息准确获取；

步骤四：完成联合标定变换矩阵的求取。

其中，所述标定方法中，所建立的坐标系和参数设置为：激光雷达安装高度为H，扫描距离为D，扫描光束斜向下扫描至前方距离为D的A处，激光雷达坐标系为O_L-X_LY_LZ_L,其中O_L-X_LY_L定义在其扫描扇面上，Z_L垂直于其扫描扇面。摄像机坐标系为O_C-X_CY_CZ_C,O_C为摄像机投影中心，X_C轴平行于摄像机扫描方向，指向扫描像素增大的方向，Y_C轴垂直于扫描方向，Z_C垂直于靶平面，指向摄像机成像系统视觉方向；D₁、D₂分别为设定的最远与最近联合标定距离，D₁中未与D₂重合的区域为激光雷达与摄像机需要进行信息融合的主要探测区域，即需要进行联合标定区域，D_o(D_o≤A)为前方任一距离，H_o为激光雷达在D_o处的扫描高度。

其中，所述步骤一中，带特征突起的V型标定物：两个宽度为w，高为h，夹角为α相交的平板形成V型标定物；V型标定物在相交线指定的高度位置处安装有宽度为w′，高为h′，整个长度为l，突出部分长度为l′，后侧带有夹角α的V型槽，表面中心位置处有边长为d′的黑色正方形特征标记点，其余部分为白色的特征突起物；V型标定物中，w≥4D₁θ，θ为激光雷达的水平角度分辨率，D₁为最远联合标定距离；D为激光雷达扫描距离；特征突起物中，3D₁θ＞w′＞D₁θ；h′≥2v，v为摄像机在D₁处的垂直分辨距离；l′≥2η，η为激光雷达的距离测量精度；d′≥2u，u为摄像机在D₁处的水平分辨距离。

其中，所述步骤二中，基于带特征突起V型标定物的激光雷达初始扫描位置调校过程为：将V型标定物放至在D_o(D_o＜D)处，并将特征突起物安装在V型标定物的H_o高度位置处，调整激光雷达俯仰角度，当激光雷达在特征突起物位置处，至少有一个激光雷达扫描数据与两侧相邻数据点表现为距离突变时，则表示激光雷达扫描到该高度处的特征突起物上，即认为激光雷达扫描至A处。

将一个或多个V型标定物以不同方向多次放置于标定区域中的不同距离位置处，并根据距离信息特征突起物安装到相应的高度位置处，重复上述过程，准确获取至少5组非共线的对应特征标记点信息。

其中，所述步骤四中，完成联合标定变换矩阵的求取过程为：

由激光雷达与摄像机的坐标系定义可知，激光雷达坐标系中的扫描点P_L(X_L,Y_L,0)与摄像机坐标系中的像素点P_c(u,v)存在如式(1)所示的关系：

其中，M′即为需要标定获取的联合变换矩阵，其包含了9个参数，将获取的至少5组非共线的对应特征标记点带入式(1)，求取M′，完成联合标定变换矩阵的标定。

有益成果

该方法通过采用带特征突起的V型标定物，能够实现对应激光雷达标定点信息与摄像机点标定点信息的准确获取，以实现激光雷达与摄像机准确的联合标定。

附图说明

图1为激光雷达与摄像机的联合标定实例图。

图2为带特征突起的V型标定物结构示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，激光雷达安装高度为H，扫描距离为D，扫描光束斜向下扫描至前方距离为D的A处，激光雷达坐标系为O_L-X_LY_LZ_L,其中O_L-X_LY_L定义在其扫描扇面上，Z_L垂直于其扫描扇面。摄像机坐标系为O_C-X_CY_CZ_C,O_C为摄像机投影中心，X_C轴平行于摄像机扫描方向，指向扫描像素增大的方向，Y_C轴垂直于扫描方向，Z_C垂直于靶平面，指向摄像机成像系统视觉方向。D₁、D₂分别为设定的最远与最近联合标定距离，D₁中未与D₂重合的区域为激光雷达与摄像机需要进行信息融合的主要探测区域，即需要进行联合标定区域，D_o(D_o≤A)为前方任一距离，H_o为激光雷达在D_o处的扫描高度。

本实施例基于带特征突起的V型标定物的联合标定方法主要包括以下步骤：

步骤1：带特征突起的V型标定物设计

本发明中带特征突起的V型标定物是指：V型标定物上装有特征突起物，其中，V型标定物是指两个宽度为w，高为h的平板相交，夹角为α；特征突起物的宽度为w′，高为h′，整个长度为l，其中突出部分长度为l′，后侧带有夹角α的V型槽，其表面中心位置处有边长为d′的黑色正方形，其余部分为白色。特征突起物可安装在V型标定物中两侧平面相交线指定的高度位置处。

V型标定物中，w≥4D₁θ，其中θ(弧度)为激光雷达的水平角度分辨率，D₁θ为D₁处激光雷达相邻扫描数据点之间的近似距离，该设计使V型标定物每侧至少有3个激光雷达扫描数据点；h为保证在联合标定区域内激光雷达可扫描到V型标定物指定的高度位置处；优选α＝90°。特征突起物中，w′为3D₁θ＞w′＞D₁θ，以保证至少有一个雷达数据点扫描至该特征突起物上；h′≥2v，v为摄像机在d₁处的垂直分辨距离，此外，结合雷达的俯仰装置调节精度以及光束发散角等因素，在保证激光雷达扫描点能够扫描至该特征突起物上的基础上选取h′的最小值；l′≥2η，η为激光雷达的距离测量精度，该设计可使扫描至该特征突起物上的雷达扫描点能够表现明显的距离突变；d′≥2u，u为摄像机在d₁处的水平分辨距离，该设计用于此黑色正方形在图像中的准确提取。

步骤2：基于带特征突起V型标定物的激光雷达初始扫描位置调校

如图1所示，若将V型标定物放至在D_o处，将H_o作为特征突起物的安装高度安装至V型标定物上，若在特征突起物位置处附近，至少有一个激光雷达扫描数据与两侧相邻数据点具有距离突变，则表示激光雷达扫描到该高度处的特征突起物上，即认为激光雷达近似扫描至A处。

基于此原理，联合标定时，首先采用此带特征突起的V型标定物进行激光雷达扫描位置调校。将V型标定物放置在标定区域的D_o(D1＜D_o＜D2)处，将特征突起物安装至V型标定物上距地面H_o高度处，调整激光雷达俯仰角度，当激光雷达扫描至特征突起物时，表明激光雷达能近似扫描至A处，调校完毕。若需进行激光雷达水平姿态的调校，可使用两个V型标定物，当激光雷达能够扫描至指定两个位置高度的特征突起物时，则表征其能近似扫至地面位置A处。

步骤3：基于带特征突起V型标定物的对应特征标定点信息准确获取

调校完成后，将V型标定物上特征突起物中心处的黑色方点作为特征标记点。该特征标定点图像颜色特征明显，易于摄像机图像信息提取，在突起物上，具有几何特征突起，易于激光雷达分辨，并能利用V型标定物，通过将V型标定物两侧扫描数据点拟合为直线，再求取两条直线交点的方法来间接获取激光雷达对应特征标记点的信息。

将一个或多个V型标定物以不同方向多次放置于标定区域中的不同距离位置处，并根据距离信息特征突起物安装到相应的高度位置处，重复上述过程，准确获取至少5组非共线的对应特征标记点信息。

步骤4:求取联合标定变换矩阵

由激光雷达与摄像机的坐标系定义可知，激光雷达坐标系中的扫描点P_L(X_L,Y_L,0)与摄像机坐标系中的像素点P_c(u,v)存在如式1所示的关系：

其中M′即为需要标定获取的联合变换矩阵，其包含了9个参数。将获取的至少5组非共线的对应特征标记点带入式1，可求取M′，完成联合标定变换矩阵的标定。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于带特征突起的V型标定物的激光雷达与摄像机联合标定方法，其特征在于，包括以下步骤：

步骤一：设计带特征突起的V型标定物；

步骤二：完成基于带特征突起V型标定物的激光雷达初始扫描位置调校；

步骤三：完成基于带特征突起V型标定物的对应特征标定点信息准确获取；

步骤四：完成联合标定变换矩阵的求取；

所述标定方法中，建立的坐标系和参数设置为：激光雷达安装高度为H，扫描距离为D，扫描光束斜向下扫描至前方距离为D的A处，激光雷达坐标系为O_L-X_LY_LZ_L,其中O_L-X_LY_L定义在其扫描扇面上，Z_L垂直于其扫描扇面；摄像机坐标系为O_C-X_CY_CZ_C,O_C为摄像机投影中心，X_C轴平行于摄像机扫描方向，指向扫描像素增大的方向，Y_C轴垂直于扫描方向，Z_C垂直于靶平面，指向摄像机成像系统视觉方向；D₁、D₂分别为设定的最远与最近联合标定距离，D₁中未与D₂重合的区域为激光雷达与摄像机需要进行信息融合的主要探测区域，即需要进行联合标定区域，D_o为前方任一距离，H_o为激光雷达在D_o处的扫描高度，D_o≤D；

所述步骤一中，带特征突起的V型标定物：两个宽度为w，高为h，夹角为α相交的平板形成V型标定物；V型标定物在相交线指定的高度位置处安装有宽度为w′，高为h′，整个长度为l，突出部分长度为l′，后侧带有夹角α的V型槽，表面中心位置处有边长为d′的黑色正方形特征标记点，其余部分为白色的特征突起物；V型标定物中，w≥4D₁θ，θ为激光雷达的水平角度分辨率，D₁为最远联合标定距离；D为激光雷达扫描距离；特征突起物中，3D₁θ>w′>D₁θ；h′≥2v，v为摄像机在D₁处的垂直分辨距离；l′≥2η，η为激光雷达的距离测量精度；d′≥2u，u为摄像机在D₁处的水平分辨距离。

2.如权利要求1所述的方法，其特征在于，所述步骤二中，基于带特征突起V型标定物的激光雷达初始扫描位置调校过程为：将V型标定物放至在D_o处，D_o＜D，并将特征突起物安装在V型标定物的H_o高度位置处，调整激光雷达俯仰角度，当激光雷达在特征突起物位置处，至少有一个激光雷达扫描数据与两侧相邻数据点表现为距离突变时，则表示激光雷达扫描到该高度处的特征突起物上，即认为激光雷达扫描至A处。

3.如权利要求2所述的方法，其特征在于，所述步骤三中，完成基于带特征突起V型标定物的对应特征标定点信息准确获取过程为：将V型标定物上特征突起物中心处的黑色正方形作为特征标记点，利用颜色特征，获取此特征标记点在图像中的像素坐标，设为p_c(u,v)；当特征突起物位置处至少有一个激光雷达扫描数据与两侧相邻数据点表现为距离突变时，判定激光雷达扫描至特征突起物，获取激光雷达特征标定点坐标，设为其中， 为特征突起物上的雷达数据点；为V型标定物左侧平面上的激光雷达数据坐标；为右侧平面上的激光雷达数据坐标，用最小二乘法将其分别拟合成两条直线L和L′，为L和L′的交点坐标；进一步获取一组对应标定点坐标(p_c,p_l)；

将一个或多个V型标定物以不同方向多次放置于标定区域中的不同距离位置处，并根据距离信息特征突起物安装到相应的高度位置处，重复上述过程，准确获取至少5组非共线的对应特征标记点信息。

4.如权利要求3所述的方法，其特征在于，所述步骤四中，完成联合标定变换矩阵的求取过程为：

由激光雷达与摄像机的坐标系定义可知，激光雷达坐标系中的扫描点P_L(X_L,Y_L,0)与摄像机坐标系中的像素点P_c(u,v)存在如式(1)所示的关系：

其中，M′即为需要标定获取的联合变换矩阵，其包含了9个参数，将获取的至少5组非共线的对应特征标记点带入式(1)，求取M′，完成联合标定变换矩阵的标定。