CN105588563A - 一种自动驾驶中双目相机与惯性导航单元联合标定方法 - Google Patents

Abstract

本发明提出了一种自动驾驶中双目相机与惯性导航单元联合标定方法，其步骤包括：获取双目相机的内部参数和外部参数；数据采集，采集双目相机与车载惯性导航单元的相对位置信息、惯性导航单元定位及姿态信息、惯性导航模块轨迹信息Track以及道路宽度d；数据处理，包括对双目相机采集到的图片进行矫正、对图片中标识物像素坐标的获取、分析轨迹信息Track并计算相机与惯性导航姿态角偏差值，通过标定的方式获取双目相机相对于惯性导航单元的空间位置关系，能够有效补偿相机自身姿态对道路影像数据采集的影响。

Description

一种自动驾驶中双目相机与惯性导航单元联合标定方法

技术领域

本发明涉及无人驾驶汽车技术领域，尤其涉及一种自动驾驶中双目相机与惯性导航单元联合标定方法。

背景技术

随着数字图像处理技术及人工自动的快速发展，相机作为功能全面并且价格低廉的传感器在地图测绘及自动汽车领域得到了越来越广泛的关注及应用。其中，单目应用包括：车道线检测、前方碰撞预警、交通标志牌检测等；双目应用包括：目标物测距、三维场景重构等。

但在实际使用中，相机获取到的数据信息都是参考相机自身坐标系，所以对相机安装角度、载体姿态的稳定性都有较高的要求，特别是高精度测绘及无人驾驶领域，载车在行驶过程中姿态的变化会对相机数据产生明显的误差。

发明内容

针对现有技术中存在的技术问题，本发明提供一种自动驾驶中双目相机与惯性导航单元联合标定方法，该方法通过标定的方式获取双目相机相对于惯性导航单元的空间位置关系，能够有效补偿相机自身姿态对道路影像数据采集的影响。

双目相机与惯性导航单元之间的空间位置包括：平移向量T、旋转向量R，每个向量包括3个方向，总共6个自由度：Tx，Ty，Tz，Rx，Ry，Rz。在一般情况下，平移向量可以通过直接测量的方式获取，但旋转向量R则需要特定的标定方法获取，Rx，Ry，Rz分别表示相机相对于惯导的俯仰、横滚、航向偏移角。

为达到上述目的，本发明采用的技术方案是：

一种自动驾驶中双目相机与惯性导航单元联合标定方法包括以下步骤：

步骤一，双目标定，获取双目相机的内部参数和外部参数；

步骤二，数据采集，采集双目相机与车载惯性导航单元的相对位置信息、惯性导航单元定位及姿态信息、惯性导航单元轨迹信息Track以及道路宽度d；

步骤三，数据处理，包括对双目相机采集到的图片进行矫正、对图片中标识物像素坐标的获取、分析轨迹信息Track并计算相机与惯性导航姿态角偏差值；

作为优选，所述步骤二具体包括：

步骤201，测量左目或右目相机相对于组合惯性导航单元中心原点(一般为后天线)的三维偏移量ΔTx、ΔTy、ΔTz，以及双目相机的离地高度h；

步骤202，以双目相机为起点，延车道线两侧每隔一定距离D在车道线上放置n个标识物，确定无误后拍摄并保存双目图片，同时记录下惯性导航单元定位及姿态信息；所述定位及姿态信息包括：经度Lon0、纬度Lat0、高程Alt0、航向Yaw0、仰俯角Pitch0和横滚角Roll0；

步骤203，将车辆延车道线缓慢行驶，同时记录惯性导航单元的定位信息，直到最后一个标识物，保存惯性导航单元的轨迹信息Track；

步骤204，测量车道宽度d并记录。

作为优选，所述步骤三具体包括：

步骤301，对左目或右目相机所拍摄的图片进行矫正；

步骤302，使用图片编辑器打开矫正图片，获取视野中每个标识物的像素坐标并进行记录p₁,...,p_n；同时，以车道线起始点为坐标原点给标识物设定三维坐标P₁,...,P_n；

步骤303，结合左目或右目相机矫正后的内参，通过solvePNP算法得到左目或右目相机相对于坐标系xyz的三维角度Rx、Ry、Rz，并根据公式(1)计算相机与惯导姿态角偏差值ΔR_x、ΔR_y；

$\{\begin{array}{c}{\mathrm{\ΔR}}_x=Pitch0-R_x\\ {\mathrm{\ΔR}}_y=Roll0-R_y\end{array}---\left(1\right)$

步骤304，分析惯性导航单元的轨迹信息Track中的轨迹点，用直线对车辆轨迹进行拟合得到直线斜率α，并根据公式(2)计算轨迹的航相角Heading，

根据公式(3)计算相机与惯导姿态角偏差值ΔR_z，

ΔR_z＝Yaw0-(Heading-R_z)(3)

与现有技术相比，本发明的有益效果是：

1、双目相机与组合惯导的标定，能够将相机坐标系与大地坐标系进行关联，可以将相机中的目标物位置信息转化为大地坐标，以用于视觉的制图及定位。

2、本方法使用工具及流程简单，能够快速地进行标定。

附图说明

图1本发明的处理流程图；

图2本发明实施例中锥形筒的坐标记录示意图；

图3本发明实施例中惯导轨迹与直线拟合示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

本发明实施例提供一种自动驾驶中双目相机与惯性导航单元联合标定方法包括以下步骤：

1：准备阶段

①双目标定，获取相机的内参及外参；

2：数据采集

①使用皮尺或卷尺等测量工具测量左目相机相对于组合惯导后天线的三维偏移量(ΔTx,ΔTy,ΔTz)及双目相机的离地高度h，精确到厘米；由于双目参数中已经包含了左右目相机的空间位置关系，所以只需要将左目或右目与惯导进行标定就可以确定双目及惯导的空间位置关系，本实施例以左目为例。

②将自动车开至平直道路上，以相机为起点，延车道线两侧拉皮尺至30米距离，每隔5米在车道线上摆放锥形桶作为标记，确定无误后拍摄并保存双目图片，同时记录下组合惯导定位及姿态信息，包括经度(Lon0)、纬度(Lat0)、高程(Alt0)、航向(Yaw0)、俯仰角(Pitch0)、横滚角(Roll0)。

③将自动车延车道线缓慢行驶，同时记录惯导的定位信息，直到最后一个锥形桶，保存惯导的轨迹信息Track。

④测量车道宽度并记录d，精确到厘米。

3：数据处理

①对左目图片进行矫正；

②使用图片编辑器打开左目矫正图片，获取视野中每个锥形桶的像素坐标并进行记录p1(x1,y1),...p10(x10,y10)；同时，以左车道线起始点为坐标原点给锥形桶设定三维坐标P1(0,10,0),...P10(d,30,0)，如图2所示；

③得到对应的像素点pn及三维坐标Pn后，结合左目相机矫正后的内参K可以通过solvePNP算法得到左目相机相对于坐标系xyz的三维角度Rx、Ry、Rz，由于认为道路水平，所以Rx、Ry即为相机相对于水平面的绕x、y轴的角度，那么相机与惯导姿态角偏差值为：ΔRx＝Pitch0-Rx；ΔRy＝Roll0-Ry；

④分析Track中的轨迹点，使用最小二乘法用直线拟合轨迹点，如图3所示：

得到直线f(x)＝αx+b；通过斜率α可以计算轨迹的航向角Heading：

那么相机与惯导水平姿态偏差值ΔRz＝Yaw0-(Heading-Rz)；

⑤至此，ΔTx,ΔTy,ΔTz,ΔRx,ΔRy,ΔRz即为双目相机相对于组合惯导的标定结果。

在随后的处理中，每次从相机获取到原始图片数据后就使用标定参数进行矫正，然后进行之后的处理。

说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (3)

1.一种自动驾驶中双目相机与惯性导航单元联合标定方法，其特征在于，该方法包括以下步骤：

步骤一，双目标定，获取双目相机的内部参数和外部参数；

步骤二，数据采集，采集双目相机与车载惯性导航单元的相对位置信息、惯性导航单元定位及姿态信息、惯性导航模块轨迹信息Track以及道路宽度d；

步骤三，数据处理，包括对双目相机采集到的图片进行矫正、对图片中标识物像素坐标的获取、分析轨迹信息Track并计算相机与惯性导航姿态角偏差值。

2.根据权利要求1所述的一种自动驾驶中双目相机与惯性导航单元联合标定方法，其特征在于：所述步骤二具体包括以下步骤：

步骤201，测量左目或右目相机相对于组合惯性导航单元中心原点的三维偏移量ΔTx、ΔTy、ΔTz，以及双目相机的离地高度h；

步骤202，以双目相机为起点，延车道线两侧每隔一定距离D在车道线上放置n个标识物，确定无误后拍摄并保存双目图片，同时记录下惯性导航模块定位及姿态信息；所述定位及姿态信息包括：经度Lon0、纬度Lat0、高程Alt0、航向Yaw0、仰俯角Pitch0和横滚角Roll0；

步骤203，将车辆延车道线缓慢行驶，同时记录惯性导航单元的定位信息，直到最后一个标识物，保存惯性导航单元的轨迹信息Track；

步骤204，测量车道宽度d并记录。

3.根据权利要求2所述的一种自动驾驶中双目相机与惯性导航单元联合标定方法，其特征在于：所述步骤三具体包括以下步骤：

步骤301，对左目或右目相机所拍摄的图片进行矫正；

步骤302，使用图片编辑器打开矫正图片，获取视野中每个标识物的像素坐标并进行记录p₁,...,p_n；同时，以车道线起始点为坐标原点给标识物设定三维坐标P₁,...,P_n；

步骤303，结合左目或右目相机矫正后的内参，通过solvePNP算法得到左目或右目相机相对于坐标系xyz的三维角度Rx、Ry、Rz，并根据公式(1)计算相机与惯导姿态角偏差值ΔR_x、ΔR_y；

$\left\{\begin{array}{c}{\mathrm{\ΔR}}_x=Pitch0-R_x\\ {\mathrm{\ΔR}}_y=Roll0-R_y\end{array}\right.---\left(1\right)$

步骤304，分析惯性导航单元的轨迹信息Track中的轨迹点，用直线对车辆轨迹进行拟合得到直线斜率α，并根据公式(2)计算轨迹的航相角Heading，

根据公式(3)计算相机与惯导姿态角偏差值ΔR_z，

ΔR_z＝Yaw0-(Heading-R_z)(3)