CN101345890A

CN101345890A - 基于激光雷达的摄像头标定方法

Info

Publication number: CN101345890A
Application number: CNA2008100421522A
Authority: CN
Inventors: 李颢; 杨明; 夏庭凯
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2008-08-28
Filing date: 2008-08-28
Publication date: 2009-01-14
Anticipated expiration: 2028-08-28
Also published as: CN100586200C

Abstract

本发明涉及一种智能车辆领域的基于激光雷达的摄像头标定方法。本发明采用一个激光雷达作为测距仪器，将其水平安装在车辆前部，采用一个圆柱杆，将它放置于标定场地中的若干位置上。在每个位置，取圆柱杆底面中心和顶面中心作为标定样点。利用摄像头求取标定样点的图像坐标，利用激光雷达求取标定样点的世界坐标。当每个位置处的标定样点的图像坐标和世界坐标全部求得后，通过求解一个线性方程组求取摄像头透视变换参数。本发明方便有效，无需费时费力的标定场景的准备工作，为科技人员提供了一种对智能车辆的视觉系统进行摄像头标定的行之有效的方法。

Description

基于激光雷达的摄像头标定方法

技术领域

本发明涉及一种车辆技术领域的摄像头标定方法，具体涉及一种基于激光雷达的摄像头标定方法。

背景技术

智能车辆摄像头标定的目的是为了确定描述图像坐标系中和世界坐标系间几何关系的摄像头成像模型的参数。摄像头成像模型可采用简便的透视变换关系进行描述，摄像头标定也就是指标定摄像头透视变换参数。在摄像头标定过程中，尤其是对于远景视觉(如摄像头的有效视野可远达三、四十米开外)的应用场合，一个基础却颇为棘手的问题是如何确定标定样点的图像坐标和世界坐标。问题的困难在于缺少方便有效的标定物，还在于标定样点测量的不方便。

经对现有技术的文献检索发现，针对这个问题，前人采取了一些办法。Tiberiu等在2006年‘IEEE Intelligent Vehicles Symposium’(IEEE智能车研讨会议)上发表的《Camera calibration method for far range stereovisionsensors used in vehicles》一文，提出在事先已准备好的特定场地上，借助画有‘X’形图案的物体进行标定的方法。又如Broggi等在2001年‘IEEEInternational Conference on Robotics and Automation’(IEEE机器人与自动化会议)上发表的《Self calibration of a stereo vision system forautomotive application》一文，提出一种在地面上涂刷一个大的网格图案作为标定场景已进行标定的方法。这些方法共有的不足在于：需要费时费力的准备工作，失之于摄像头标定工作无法方便有效地实施。针对这些不足，方便有效的、尤其是针对远景视觉的摄像头标定方法亟待提出。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于激光雷达的摄像头标定方法，能方便有效地对摄像头透视变换参数进行标定。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第1步，制作一个圆柱杆，测量圆柱杆的高度。

第2步，在摄像头视野内选定若干个不同的位置(至少六个)，称为标定位置。将圆柱杆置于其中一个标定位置上，构成一个标定场景。

第3步，取圆柱杆上两个特殊点作为标定样点：一点是圆柱杆底面中心即下标定样点，另一点是圆柱杆顶面中心即上标定样点。用摄像头获取当前标定场景的一帧图像。手工测取下标定样点和上标定样点的图像坐标。

第4步，采用激光雷达作为测距仪器，将其水平安装在车辆前部，用激光雷达获取当前标定场景的一帧激光雷达数据。手工选取激光雷达数据中圆柱杆对应的样点，将这些圆柱杆样点的坐标由激光雷达极坐标系下的取值转换成激光雷达直角坐标系下的取值。

第5步，对于第4步中的圆柱杆样点，求取这些样点的横坐标均值和纵坐标均值。则求得下标定样点的世界坐标为(横坐标均值，纵坐标均值，0)，上标定样点的世界坐标为(横坐标均值，纵坐标均值，圆柱杆高度)。

第6步，将圆柱杆置于另外一个标定位置上，构成一个新的标定场景，重新执行第3步至第6步，直至圆柱杆在所有的标定位置上都放置过为止。

第7步，求解如下线性方程组：

[\begin{matrix} X_{1} & Y_{1} & Z_{1} & 1 & 0 & 0 & 0 & 0 & - X_{1} u_{1} & - Y_{1} u_{1} & - Z_{1} u_{1} & - u_{1} \\ 0 & 0 & 0 & 0 & X_{1} & Y_{1} & Z_{1} & 1 & - X_{1} v_{1} & - Y_{1} v_{1} & - Z_{1} v_{1} & - v_{1} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ X_{N} & Y_{N} & Z_{N} & 1 & 0 & 0 & 0 & 0 & - X_{N} u_{N} & - Y_{N} u_{N} & - Z_{N} u_{N} & - u_{N} \\ 0 & 0 & 0 & 0 & X_{N} & Y_{N} & Z_{N} & 1 & - X_{N} v_{N} & - Y_{N} v_{N} & - Z_{N} v_{N} & - v_{N} \end{matrix}] [\begin{matrix} m_{11} \\ \cdot \\ \cdot \\ \cdot \\ m_{14} \\ m_{21} \\ \cdot \\ \cdot \\ \cdot \\ m_{24} \\ m_{31} \\ \cdot \\ \cdot \\ \cdot \\ m_{34} \end{matrix}] = 0

其中，N表示标定样点的总数。(X_i，Y_i，Z_i)表示第i个标定样点对应的世界坐标，(u_i，v_i)表示第i个标定样点对应的图像坐标。m₁₁，...，m₁₄，m₂₁，...，m₂₄，m₃₁，...，m₃₄为透视变换参数。

求得透视变换参数，即可得到透视变换矩阵：

M = [\begin{matrix} m_{11} & . . . & m_{14} \\ m_{21} & . . . & m_{24} \\ m_{31} & . . . & m_{34} \end{matrix}]

从而实现摄像头的标定。

本发明方便有效，无需费时费力的标定场景的准备工作，只要有平整地面的地方，如道路、广场，都可以实现本发明。本发明中虽需采用一个激光雷达，但考虑到激光雷达通常是智能车辆的必备设备，因此实现本发明无需添置激光雷达的额外花费。本发明为相关科技人员提供了一种对智能车辆的视觉系统进行摄像头标定的行之有效的方法。

附图说明

图1激光雷达安装位置示意图；

图2圆柱杆和上、下标定样点示意图；

图3摄像头标定效果示意图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例采用一个激光雷达作为测距仪器，将其水平安装在车辆前部。接着选择一片平整的地面，如道路、广场等，以此作为标定场地。采用一个圆柱杆，将它放置于标定场地中的若干位置上。在每个位置，取圆柱杆上两个特殊点作为标定样点：一点是圆柱杆底面中心，另一点是圆柱杆顶面中心。利用摄像头求取标定样点的图像坐标，利用激光雷达求取标定样点的世界坐标。当每个位置处的标定样点的图像坐标和世界坐标全部求得后，通过求解一个线性方程组求取摄像头透视变换参数，实现摄像头标定。

具体实施步骤如下：

第1步，制作一个圆柱杆。测量圆柱杆的高度，用H表示。

标定位置的分布没严格限制，但为了达到尽可能好的标定效果，标定位置最好均匀分布在摄像头的整个有效视野上。标定位置的个数取得越多，标定结果也越准确，但其个数多到一定程度后，再多几个对标定效果已没多大改善，反而引起标定工作量的赘增。

为权衡取舍，在具体实施过程中，标定位置的个数取为9~13个较为适宜，但值得说明的是，该具体取值方式不作为本发明的限制，在此只是作为示例。

第3步，取圆柱杆上两个特殊点作为标定样点：一点是圆柱杆底面中心(下标定样点)，另一点是圆柱杆顶面中心(上标定样点)，如图2。用摄像头获取当前标定场景的一帧图像。手工测取下标定样点和上标定样点的图像坐标。

值得具体说明一下如何确定上、下标定样点在图像中的位置。圆柱杆图像的边沿由四部分组成，即左、右各一条直线段，上、下各一段扁圆弧，如图2。上扁圆弧两端点连线中点即为上标定样点，下扁圆弧两端点连线中点即为下标定样点。

第4步，用激光雷达获取当前标定场景的一帧激光雷达数据。手工选取激光雷达数据中圆柱杆对应的样点，将这些圆柱杆样点的坐标由激光雷达极坐标系下的取值转换成激光雷达直角坐标系下的取值。即

x_i＝ρ_i cosθ_i

y_i＝ρ_i sinθ_i

i＝1，2，...，m

其中，m表示当前标定场景下圆柱杆样点的个数。(ρ₁，θ₁)，...，(ρ_m，θ_m)表示圆柱杆样点在激光雷达极坐标系下的坐标取值，也就是由激光雷达直接输出的数据值。(x₁，y₁)，...，(x_m，y_m)表示圆柱杆样点在激光雷达直角坐标下的坐标取值，为后续处理分析用到的数据值。

第5步，对于第4步中的圆柱杆样点，求取这些样点的横坐标均值(用c_x表示)和纵坐标均值(用c_y表示)。即

c_{x} = mean (x) = \frac{Σ_{i = 1}^{m} x_{i}}{N}

c_{y} = mean (y) = \frac{Σ_{i = 1}^{m} y_{i}}{N}

则求得下标定样点的世界坐标为(c_x，c_y，0)，上标定样点的世界坐标为(c_x，c_y，H)。

第7步，求解如下线性方程组：

[\begin{matrix} X_{1} & Y_{1} & Z_{1} & 1 & 0 & 0 & 0 & 0 & - X_{1} u_{1} & - Y_{1} u_{1} & - Z_{1} u_{1} & - u_{1} \\ 0 & 0 & 0 & 0 & X_{1} & Y_{1} & Z_{1} & 1 & - X_{1} v_{1} & - Y_{1} v_{1} & - Z_{1} v_{1} & - v_{1} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ X_{N} & Y_{N} & Z_{N} & 1 & 0 & 0 & 0 & 0 & - X_{N} u_{N} & - Y_{N} u_{N} & - Z_{N} u_{N} & - u_{N} \\ 0 & 0 & 0 & 0 & X_{N} & Y_{N} & Z_{N} & 1 & - X_{N} v_{N} & - Y_{N} v_{N} & - Z_{N} v_{N} & - v_{N} \end{matrix}] [\begin{matrix} m_{11} \\ \cdot \\ \cdot \\ \cdot \\ m_{14} \\ m_{21} \\ \cdot \\ \cdot \\ \cdot \\ m_{24} \\ m_{31} \\ \cdot \\ \cdot \\ \cdot \\ m_{34} \end{matrix}] = 0

其中，N表示标定样点的总数。因为在每个标定位置有两个标定样点，所以标定样点的总数是标定位置数的2倍。(X_i，Y_i，Z_i)表示第i个标定样点对应的世界坐标，(u_i，v_i)表示第i个标定样点对应的图像坐标。m₁₁，...，m₁₄，m₂₁，...，m₂₄，m₃₁，...，m₃₄为透视变换参数。

求得透视变换参数，即可得到透视变换矩阵：

M = [\begin{matrix} m_{11} & . . . & m_{14} \\ m_{21} & . . . & m_{24} \\ m_{31} & . . . & m_{34} \end{matrix}]

按上述具体实施步骤进行摄像头标定的实施例的效果如图3所示。这幅图由4幅小图组成，左边一列的两幅小图为所拍摄的两幅道路的原始图片，一幅直道图，一幅弯道图。右边一列的两幅小图，表示利用前述具体实施步骤得到的透视变换参数对原始图进行逆透视变换后得到正投影图。正投影图中显示了由车辆近处至车辆前方50米处的道路范围，满足远景视觉的应用场合。从正投影图可以看出，道路的几何原状得到了恢复，透视变形已完全除去，这反映了本发明的有效性。因此，本发明提供了一种方便有效的、应用于智能车辆领域的摄像头标定方法。

Claims

1、一种基于激光雷达的摄像头标定方法，其特征在于包括以下步骤：

第1步，制作一个圆柱杆，测量圆柱杆的高度；

第2步，在摄像头视野内选定至少六个位置，称为标定位置，将圆柱杆置于其中一个标定位置上，构成一个标定场景；

第3步，取圆柱杆上两个特殊点作为标定样点：一点是圆柱杆底面中心即下标定样点，另一点是圆柱杆顶面中心即上标定样点，用摄像头获取当前标定场景的一帧图像，手工测取下标定样点和上标定样点的图像坐标；

第4步，采用激光雷达作为测距仪器，将其水平安装在车辆前部，用激光雷达获取当前标定场景的一帧激光雷达数据，手工选取激光雷达数据中圆柱杆对应的样点，将这些圆柱杆样点的坐标由激光雷达极坐标系下的取值转换成激光雷达直角坐标系下的取值；

第5步，对于第4步中的圆柱杆样点，求取这些样点的横坐标均值和纵坐标均值，则得下标定样点的世界坐标为：横坐标均值、纵坐标均值、0，上标定样点的世界坐标为：横坐标均值、纵坐标均值、圆柱杆高度；

第6步，将圆柱杆置于另外一个标定位置上，构成一个新的标定场景，重新执行第3步至第6步，直至圆柱杆在所有的标定位置上都放置过为止；

第7步，求解如下线性方程组：

[\begin{matrix} X_{1} & Y_{1} & Z_{1} & 1 & 0 & 0 & 0 & 0 & - X_{1} u_{1} & {- Y}_{1} u_{1} & {- Z}_{1} u_{1} & {- u}_{1} \\ 0 & 0 & 0 & 0 & X_{1} & Y_{1} & Z_{1} & 1 & {- X}_{1} v_{1} & {- Y}_{1} v_{1} & {- Z}_{1} v_{1} & {- v}_{1} \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot & \cdot \\ X_{N} & Y_{N} & Z_{N} & 1 & 0 & 0 & 0 & 0 & - X_{N} u_{N} & - Y_{N} u_{N} & - Z_{N} u_{N} & - u_{N} \\ 0 & 0 & 0 & 0 & X_{N} & Y_{N} & Z_{N} & 1 & - X_{N} v_{N} & {- Y}_{N} v_{N} & {- Z}_{N} v_{N} & {- v}_{N} \end{matrix}] [\begin{matrix} m_{11} \\ \cdot \\ \cdot \\ \cdot \\ m_{14} \\ m_{21} \\ \cdot \\ \cdot \\ \cdot \\ m_{24} \\ m_{31} \\ \cdot \\ \cdot \\ \cdot \\ m_{34} \end{matrix}] = 0

其中，N表示标定样点的总数，(X_i，Y_i，Z_i)表示第i个标定样点对应的世界坐标，(u_i，v_i)表示第i个标定样点对应的图像坐标，m₁₁，...，m₁₄，m₂₁，...，m₂₄，m₃₁，...，m₃₄为透视变换参数；

求得透视变换参数，即得到透视变换矩阵：

M = [\begin{matrix} m_{11} & \cdot \cdot \cdot & m_{14} \\ m_{21} & \cdot \cdot \cdot & m_{24} \\ m_{31} & \cdot \cdot \cdot & m_{34} \end{matrix}],

从而完成摄像头的标定。

2、根据权利要求1所述的基于激光雷达的摄像头标定方法，其特征是，第2步中，标定位置均匀分布在摄像头的整个有效视野上。

3、根据权利要求1或2所述的基于激光雷达的摄像头标定方法，其特征是，所述标定位置的个数为9~13。

4、根据权利要求1所述的基于激光雷达的摄像头标定方法，其特征是，第3步中，所述下标定样点和上标定样点的图像坐标，其确定方法为：圆柱杆图像的边沿由四部分组成，即左、右各一条直线段，上、下各一段扁圆弧，上扁圆弧两端点连线中点即为上标定样点，下扁圆弧两端点连线中点即为下标定样点。

5、根据权利要求1所述的基于激光雷达的摄像头标定方法，其特征是，第4步中，将圆柱杆样点的坐标由激光雷达极坐标系下的取值转换成激光雷达直角坐标系下的取值，具体为：

x_i＝ρ_icosθ_i

y_i＝ρ_isinθ_i

i＝1，2，...，m

其中，m表示当前标定场景下圆柱杆样点的个数，(ρ₁，θ₁)，...，(ρ_m，θ_m)表示圆柱杆样点在激光雷达极坐标系下的坐标取值，也就是由激光雷达直接输出的数据值，(x₁，y₁)，...，(x_m，y_m)表示圆柱杆样点在激光雷达直角坐标下的坐标取值，为后续处理分析用到的数据值。

6、根据权利要求1所述的基于激光雷达的摄像头标定方法，其特征是，第5步中，对于第4步中的圆柱杆样点，求取这些样点的横坐标均值c_x和纵坐标均值c_y，具体为：

c_{x} = mean (x) = \frac{Σ_{i = 1}^{m} x_{i}}{N}

c_{y} = mean (y) = \frac{Σ_{i = 1}^{m} y_{i}}{N}