CN101882313B - 单线激光雷达与ccd相机之间相互关系的标定方法 - Google Patents

Abstract

本发明公开了一种单线激光雷达和CCD相机相互关系的标定方法，基于CCD相机可以弱成像单线激光雷达使用的红外光源的这一条件。首先，在立方体标定键辅助下提取位于扫描面内的虚拟控制点；然后，使用红外滤光片虑掉可见光，仅使红外光成像，然后对有扫描线信息的红外图像进行增强、二值化处理再进行Hough变换，提取两条激光扫描线，扫描线交点即为虚拟控制点在图像中的像坐标。通过以上步骤得到多组对应点后，采用使重投影误差最小化的优化方法求解激光雷达和相机的相互关系参数。本发明因为直接获取了对应点信息，使得标定过程更简单，精度得到很大的提高，标定的角度误差小于0.3°，位置误差小于0.5cm。

Description

单线激光雷达与CCD相机之间相互关系的标定方法

技术领域

本发明主要涉及到视觉传感器与其它传感器之间相对位置关系的标定领域，特指一种单线激光雷达与CCD相机的标定。 

背景技术

单线激光雷达可以准确实时的提供一定范围内(一般为0°-180°)位于单个扫描平面内的距离信息。近年来，单线激光雷达由于具有体积小、价格合理、精度高等优势而被广泛应用于机器人领域，辅助其它传感器完成特殊的任务。最常用的方法将相机和单线激光雷达固定在一个处理平台(例如移动机器人)上，通过激光雷达与CCD相机的配合，完成导航、三维重建等高级任务。要将激光雷达和相机的图像信息进行有效的融合，必须预先对它们之间的相对位置关系进行标定，获取传感器坐标系之间的旋转矩阵和平移矩阵。 

有从业者Zhang和Pless率先对单线激光雷达与相机的标定进行了研究，提出了利用相机标定过程常用的棋盘格标定板进行相机和激光雷达混合标定的方法。如(Qilong Zhang，Robert Pless.Extrinsic calibration for camera and laser ranger finder(improves camera intrinsic calibration).IEEE IROS，pp.2301-2306，2004)(译为：相机与激光雷达外参数的标定(同时优化相机内参数))中所述，其主要过程为： 

第一步：采用张正友方法(Zhengyou Zhang.Flexible camera calibration by viewing a plane from unknown orientations.In Proc.International Conference on Computer Vision，September 1999.)(译为：通过多幅未知位置的平面标定板图像进行相机标定的灵活方法)标定相机的内参数。该方法通过多幅平面棋盘标定板的图像得到相机的内参数 $K=\left[\begin{array}{ccc}{f}_x& 0& {\mathrm{\α}}_x\\ 0& f_y& {\mathrm{\α}}_y\\ 0& 0& 1\end{array}\right]$ 和畸变参数Dis＝[k₁ k₂ k₃ k₄]，其中，f_x是X方向上的相机焦距，f_y是Y方向上的相机焦距，(α_x，α_y)^T是成像平面的主点坐标，即投影中心在成像平面上的垂直投影，α_x为主点的横坐标，α_y为主点的纵坐标，上标^T表示向量或者矩阵的转秩；k₁，k₂为相机径向失真参数，k₃，k₄为相机切向失真参数。 

第二步：根据张正友方法标定出相机相对于棋盘格平面标定板的外参数，得到相机相对于标定板的(r，t)。r为3×3的旋转矩阵，t为3×1的平移向量。标定板在相机坐标系中的位置可 以用向量N表示为： 

，其中r₃为r的第三列。 

第三步：从激光雷达数据中提取出扫描标定板的扫描点数据P^f，P^f为代表激光雷达坐标系中点的3×1的列向量，因为这些点为标定板平面上的反射点，设变换矩阵(Φ，Δ)将每个激光扫描点变换到相机坐标系，其中Φ为3×3的旋转矩阵，Δ为3×1的平移向量，则有：N(Φ·P^f+Δ)＝||N||²。根据这一约束，使用恰当的足够多的点即可以解出(Φ，Δ)。 

从以上的标定过程可以看出，其标定过程严重依赖于相机相对于标定板的外参数精度，即N的信息。但是仅通过平面标定板进行外参数标定本身存在较大误差，这一误差就直接影响了最后标定结果；另外，根据其文所述，其标定得到的旋转矩阵往往不满足标准正交的基本条件，尽管初标定后又根据ΦΦ^T＝I(I为单位矩阵)条件对结果进行优化，但是仍然有较大的误差；其所提供的仿真实验的角度误差为e(Φ)＝1.95°，位置误差为e(Δ)＝2.37cm。 

另有从业者Matthew(Matthew，Yuli.Fully automated laser range calibration.)(译为：激光测距仪的全自动标定)等人采用一种特殊制作的四足锥状体标定键对单线激光雷达进行标定，根据标定键特殊的形状约束，使得反射的激光雷达数据可以构成一个四边形。通过分割激光扫描点位于四个足之间各个不同部位的数据和标定键的形状进行比对来获取外参数信息。这种方法存在的主要技术问题就在于：首先，标定键制作工艺要求高；其次，通过标定键形状约束跟分割的数据的比对作为扫描位置的估计的方法其数学变换复杂，且本身就很难精确，再利用估计的结果进行标定计算，精度不高；最后，尽管该方法不需要相机的参与，属于单独标定的方法，但其标定精度不如上述Zhang等人的方法。 

综上所述，现有所存在方法的研究工作重点主要集中于怎样估计激光雷达的扫描线上。首先，采取估计的方法在数学上较为复杂，并且存在误差；然后，利用本身有误差的估计结果来进行外参数的计算，使得标定结果的准确度不理想。 

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简单快速、可高精度标定固连在一个设备上的单线激光雷达和CCD相机从而得到精确的相对位置关系参数的单线激光雷达与CCD相机之间相互关系的标定方法。 

为解决上述技术问题，本发明采用以下技术方案： 

一种单线激光雷达与CCD相机之间相互关系的标定方法，其特征在于步骤为： 

(1)、数据采集： 

1.1固定并打开相机和激光雷达：将单线激光雷达和CCD相机固定在一个处理平台上， 保证在设备移动过程中两者之间的相对位置固定，启动单线激光雷达和相机； 

1.2过滤掉单线激光雷达工作时波长低于905nm的光波； 

1.3设置标定键：将标定键放置在CCD相机和单线激光雷达的前方，使得标定键至少有两个平面对于CCD相机和激光雷达同时可见； 

1.4获取单线激光雷达扫描点的红外光图像及相应的单线激光雷达距离数据：保存CCD相机拍摄的红外图像，同时保存单次扫描的单线激光雷达距离数据；然后重复1.3，直至获取n(n≥4)组红外光图像和距离数据； 

(2)、数据处理： 

2.1对第i组单线激光雷达距离数据进行处理：直接利用距离信息分割出标定键两个不同平面得到的数据点，剔除明显不是标定键上反射回来的数据值后再分别对两个面的数据进行直线拟合，得到直线后求交点坐标为 

，上标L表示为激光雷达坐标系中点； 

2.2对红外光图像进行处理： 

2.2.1首先对图像进行畸变校正，然后对图像进行直方图均衡化处理，使得近似为黑的图像拉宽灰度范围； 

2.2.2高斯滤波，滤掉噪声； 

2.2.3图像二值化，保留单线激光雷达扫描线的信息； 

2.2.4根据所放置的标定键特性，在红外光图像中可以看到两条有交叉点的扫描线，分别对应标定键上两个不同平面反射的激光雷达红外光的成像；对上述二值化图像进行Hough变换，提取响应最大的两条直线；计算两直线交点的图像坐标，从第i幅图像得到的坐标记作p_i；按照以上步骤，对n组数据进行处理，得到一系列点的图像坐标和激光雷达坐标系坐标：  $p_i\↔P_i^L,(i=\mathrm{1,2}...n);$

2.3通过n组对应点信息，进行标定计算： 

先采用常规方法标定出相机的内参数K，其中 $K=\left[\begin{array}{ccc}{f}_x& 0& {\mathrm{\α}}_x\\ 0& f_y& {\mathrm{\α}}_y\\ 0& 0& 1\end{array}\right]$ ，f_x是X方向上的相机焦距，f_y是Y方向上的相机焦距，(α_x，α_y)^T是成像平面的主点坐标，α_x为主点的横坐标，α_y为主点的纵坐标，本文的所有上标^T均表示矩阵或者向量的转秩；选取四组对应点的信息和K一起代入以下方程(1)中，构建基于以下方程(1)的方程组， 

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{sK}\begin{array}{}\end{array}\left[\begin{array}{cccc}{R}_1& R_2& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ 0\\ Z^L\\ 1\end{array}\right]=\mathrm{sK}\left[\begin{array}{ccc}{R}_1& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ Z^L\\ 1\end{array}\right]---\left(1\right)$

其中，P^L＝[X^L，Y^L，Z^L，1]^T为点P在激光雷达坐标系中的齐次性坐标，激光扫描面内Y^L＝0，p＝[u，v，1]^T为该点在图像中的齐次性坐标，u为沿图像水平方向的坐标值，v为沿竖直方向的坐标值，s为使得图像坐标归一化的尺度因子，R为3×3的代表激光雷达和CCD相机之间相互关系的旋转矩阵，可以用列向量表示为R＝[R₁，R₂，R₃]，R₁、R₂、R₃分别表示R的第1列、第2列和第3列，T为激光雷达和CCD相机之间的平移向量； 

根据单应关系，利用四组点即可求解R₁、R₃和T，再因R₂＝R₁×R₃，就得到了R和T的初值；将得到的R、T作为优化算法的初始化条件，使用n组对应点信息，其中n＞4，采用Levenberg-Marquardt优化方法使(2)式投影误差最小化对R、T进行优化； 

$\left\{\begin{array}{c}{\min }_{R,T}\frac{1}{2}{\mathrm{\Σ}}_{i=1}^n{\left|\right|f_i(R,T,P_i^L,p_i)\left|\right|}^2\\ f_i(R,T,P_i^L,p_i)=K\·(R{P}_i^L+T)-p_i\end{array}\right.---\left(2\right)$

其中，p_i和 

分别为第i组对应点的图像点和激光雷达扫描点，min_R，T表示以R和T为优化变量使目标函数最小化；通过以上方法求解得到了优化的R和T，确定了激光雷达与相机之间的旋转矩阵和平移向量，完成单线激光雷达和CCD相机之间相互关系的准确标定。 

作为本发明的进一步改进： 

所述步骤1.2中是通过长波通滤光片进行滤波，或者在没有可见光干扰、可见光很弱的暗室进行实验来实现。 

所述标定键为至少有两个面表面光滑、交界棱分明的立方体块、或者用室内墙壁角落进行替代。 

与现有技术相比，本发明的优点在于： 

1、本发明的标定成本低。本发明中需要两个标定辅助物，标定键和滤光片。首先，标定键的制作简单，没有很高工艺水平要求，只要能提供两个平面较为光滑的立方体即可，在没有特殊标定键情况下，可以整体移动相机和激光雷达的处理平台，用两面墙壁的角落来代替标定键达到相同的效果；而前人的方法，特别是Matthew使用四足锥状体标定键，对制作的工艺水平要求很高。然后，标定中使用的长波通滤光片，在市场上很容易购买，如果需要进一步节约成本，可以在暗室进行标定，排除可见光的影响，可以得到跟滤光片一样的效果。 

2、本发明简化了标定算法。前人发明的方法忽视了普通CCD也可以成像激光雷达使用的红外光的条件，所以聚力于用各种方法来估计激光扫描线的位置，算法复杂且影响因素多。本发明充分利用了这一被忽视的条件，用滤光片滤掉可见光，仅让红外光成像然后提取激光扫描线。直接得到激光雷达扫描面内的控制点投影到图像中坐标，将标定问题最后可以转化为简单的单应问题求解，整个标定算法较前人的方法都大大简化。 

3、本发明提高了标定精度。本发明比前人所提供的标定方法精度有很大提高，其主要来自于三个方面：第一，本发明的标定结果不依赖于标定键的工艺精度，即使采用的标定键表面光滑程度不够，通过采取直线拟合和图像Hough变换的办法也可以弱化少量不在同一平面上点的影响，前人的标定方法，无论是Pless等人方法中使用的棋盘标定板还是Matthew方法中使用的四足锥状体标定键，其制作精度对标定结果的影响都很大。并且，精度相对较高的Pless和Zhang提出的方法，其标定还严重依赖于每幅图像标定得到的相机外参数，相机外参数在计算过程需要进行平方运算，其误差经放大后严重影响标定结果。本发明即使采用制作粗糙的标定辅助物，也能得到高精度的标定结果。第二，在红外光图像中和激光雷达扫描面中分别选取对应控制点的时候，没有直接进行点的提取，而是采用计算直线交点的办法。在图像中，用Hough变换提取两条激光扫描线后计算其交点；对扫描两个不同面的距离数据，分别进行直线拟合得到两条直线后求交点。这样得到的虚拟对应点乃是位于激光扫描面内的标定键相交棱上的点和它在红外图像中的成像，这样处理可以消除直接提取点的误差，也可以减少激光扫描数据中少量干扰点导致的误差和图像中的噪声误差，比直接提取点更精确。第三，在标定计算时，采用超过四组的对应点构建超定方程，采用使得重投影误差最小化的方法进行优化计算，也可以很大程度上减小误差。通过以上三个方面的措施，可以使得标定精度大大提高。本发明的误差来源主要存在于红外光图像中提取交点时存在的误差，实践表明，在标定键跟相机距离不超过2米情况下，激光扫描线的图像在图像中分布不会超过10个像素，现将提取得到的图像点坐标值上再随机增加±2.5像素范围内均匀分布的误差，得到的角度误差为e(R)＝[0.0458°-0.0630°-0.2636°]，位置误差为e(t)＝[0.2582cm 0.3622cm 0.0110cm]^T。所以，可以认为，本发明的标定方法标定的位置误差小于0.5cm，角度误差小于0.3°，较之于前人的方法，精度都有很大的提高，可以满足三维重构等对精度要求较高的领域的应用。 

附图说明

图1是本发明方法的流程图； 

图2是本发明的标定过程示意图； 

图3是标定过程的光路图； 

图4为激光雷达距离数据处理效果图； 

图5为红外光图像处理过程图； 

图6将激光雷达数据按标定结果投影到图像上与红外光图像提取的扫面线对比图。 

具体实施方式

以下将结合说明书附图对本发明做进一步详细说明。 

如图1、图2、图3、图4和图5所示，本发明单线激光雷达与CCD相机之间相互关系的标定方法的流程为： 

(1)数据采集： 

1.1：固定并打开CCD相机和单线激光雷达。 

要实现单线激光雷达和CCD相机的相对位置关系的标定，首先要将它们固定在一个处理平台上，保证在设备移动过程中两者之间的相对位置固定，这样才能将标定的结果用于后续的计算。固定好后启动CCD相机和单线激光雷达。 

1.2：过滤掉单线激光雷达工作时波长低于905nm的光波； 

安装长波通滤光片：目前主流的单线激光雷达产品(例如SICK公司的系列单线激光雷达)基本采用的都是对人眼安全的905nm波长的红外光作为光源。905nm红外光虽然不在人眼可见的波长范围(人眼的可见波长范围为400nm-700nm)，但却在普通工业相机的成像范围之内(一般在200nm-1100nm)。这一人眼和CCD相机的成像差异很容易让人忽视，这使得前人在进行标定时没有在图像提取激光雷达扫描线，而是采用其它方法对位置进行估计。 

长波通光学滤光片作用是过滤掉波长低于某固定值的光波。为了完全滤掉可见光并且让905nm红外光通过，只要滤光片过滤值超过可见光波长最长值，且小于905nm即可。市场上满足这一要求的比较常见的滤光片是850nm和760nm长波通滤光片。 

将长波通滤光片装置在相机镜头前方。一般都能有尺寸跟相机口径匹配的滤光片，可以直接进行安装。在无其它特殊光源干扰的情况下，安装了长波通滤光片后相机CCD的刺激信号只有激光雷达使用的905nm红外光。在不具备长波通滤光片的情况下，可以在没有可见光干扰或者可见光很弱的暗室进行实验来达到长波通滤光片的效果。 

1.3：设置标定键： 

理想的标定辅助目标为至少有两个面表面光滑、交界棱分明的立方体块，可以直接使用传统相机标定方法中的立体标定键或者其它立方体，本发明中将辅助标定目标通称为标定键。 没有合适立方体物体时，可以用室内墙壁角落进行替代。将标定键放置在相机和激光雷达前方，使得标定键至少有两个平面对于相机可见，且这两个面上有部分的激光扫描点，标定放置要求如图2所示。如果使用墙角代替标定键，此时可以整体移动激光雷达-相机系统，达到有相对位移的效果。 

1.4：获取激光雷达扫描点的红外光图像及相应的激光雷达距离数据。 

保存CCD相机拍摄的红外图像(此时CCD相机接收到的有效刺激信号只有辅助目标上反射的激光雷达红外光)，同时保存单次扫描的激光雷达距离数据。然后重复上述步骤1.3，直至获取n(n≥4)组红外光图像和距离数据。 

(2)数据处理： 

2.1激光雷达距离数据的处理。 

由于激光雷达得到的距离数据干扰少、精度高，可以直接利用距离信息分割出标定键两个不同平面得到的数据点，剔除明显不是标定键上反射回来的数据值后再分别对两个面的数据进行直线拟合，得到直线后求交点坐标为P^L，如图4所示，从第i组距离数据得到的坐标为 

该点在实际的数据中不存在，相当于得到位于扫描面内的标定键两个面相交棱上点，所以称为虚拟点。 

2.2红外光图像的处理。 

由于激光雷达使用的红外光能量不高，并且CCD对该波长的光的相对响应系数较低，使得红外光响应值跟噪声混合在一起，图像看起来几乎是全黑的。从图像中提取出关键点的图像坐标具体做法如下： 

2.2.1：图像处理前，根据相机的特点，如果相机存在较大的畸变，需要采用张正友方法标定相机的畸变参数Dis，然后图像进行畸变校正再作后续处理。然后对图像进行直方图均衡化处理，使得近似为黑的图像拉宽灰度范围。因为激光雷达扫描点之间相距很小，并且激光雷达一直处在工作状态进行连续扫描，所以人眼可以很清楚的从图像中辨识出激光雷达扫描点组成了扫描线。 

2.2.2：进行恰当参数的高斯滤波，尽最大力度滤掉噪声的影响。 

2.2.3：将图像二值化，尽量保留激光雷达扫描线的信息。 

2.2.4：根据所放置的标定键特性(有两个光滑平面、交界棱明显)，红外光图像中可以看到两条有交叉点的扫描线，分别对应标定键上两个不同平面反射的激光雷达红外光的成像。对二值化图像进行Hough变换，提取响应最大的两条直线。计算两直线交点的图像坐标p， 如图5所示，从第i幅图像得到的坐标为p_i。此点虽然不是直接提取两个面相交棱上点的成像点，但是通过直线求交点的方法，增加了两个面之间的关系约束，相当于得到位于扫描面内的标定键两个面相交棱上点在条图像中的成像，比直接提取点的精度更高。 

按照以上步骤，对n组数据进行处理，得到一系列点的图像坐标和激光雷达坐标系坐标：  $p_i\↔P_i^L,(i=\mathrm{1,2}...n).$

2.3，通过n组对应点信息，进行标定计算。 

P^L＝[X^L，Y^L，Z^L，1]^T为点P在激光雷达坐标系中的齐次性坐标，p＝[u，v，1]^T为该点在图像中的齐次性坐标，u、v分别为图像主点的横、纵坐标，。根据摄像机的投影变换有如下关系： 

p＝sKWP^L                    (1) 

其中，s为一个使得图像坐标归一化的尺度因子，K为背景技术所述为相机内参数  $K=\left[\begin{array}{ccc}{f}_x& 0& {\mathrm{\α}}_x\\ 0& f_y& {\mathrm{\α}}_y\\ 0& 0& 1\end{array}\right]$ ，f_x是X方向上的相机焦距，f_y是Y方向上的相机焦距，(α_x，α_y)^T是成像平面的主点坐标，α_x为主点的横坐标，α_y为主点的纵坐标，本文的所有上标^T均表示矩阵或者向量的转秩；W＝[R T]为本发明需要标定的代表激光雷达和CCD相机之间相互关系的3×3旋转矩阵和3×1的平移向量的组合，此处可以称为外参数。如图3所示，激光扫描点只存在于激光雷达坐标系中的一个平面上，即所有的点都有Y^L＝0。R可以写成列向量的形式，即R＝[R₁ R₂ R₃]，分别表示R的第1列、第2列和第3列，则有： 

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{sK}\begin{array}{}\end{array}\left[\begin{array}{cccc}{R}_1& R_2& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ 0\\ Z^L\\ 1\end{array}\right]=\mathrm{sK}\left[\begin{array}{ccc}{R}_1& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ Z^L\\ 1\end{array}\right]---\left(2\right)$

通过以上变换，很容易将该问题转化为一个单应变换求解的问题，设单应矩阵H将激光雷达扫描平面转变换到图像平面，即有： 

p＝sHP^L        (3) 

R.Hartley和A.Zisserman (计算机视觉中的多视图几何.Richard Hartley，Andrew Zisserman著；韦穗等译.合肥：安徽大学版社，2002.8.pp：52-55)对解决单应问题作了详细的论述。如其所述，只要给定4组对应点，即可用DLT方法得到H的解。本发明先采用常规方法标定出相 机的内参数K，选取四组对应点的信息和K一起代入方程(2)中，构建基于方程(2)的方程组，根据单应关系，求解R₁、R₃和T，且R₂＝R₁×R₃。这样，就得到了R和T的初值。 

为了消除噪声等的影响，提高标定精度，将以上得到的R、T作为初始条件，使用n(n＞4)组对应点信息，采用Levenberg-Marquardt优化方法使(4)式投影误差最小化实现求解。 

$\left\{\begin{array}{c}{\min }_{R,T}\frac{1}{2}{\mathrm{\Σ}}_{i=1}^n{\left|\right|f_i(R,T,P_i^L,p_i)\left|\right|}^2\\ f_i(R,T,P_i^L,p_i)=K\·(R{P}_i^L+T)-p_i\end{array}\right.---\left(4\right)$

其中，p_i和 

如前所述，分别为第i组对应点的图像点和激光雷达扫描点，min_R，T表示以R和T为优化变量使目标函数最小化。 

通过以上方法求解得到了优化的R和T，确定了激光雷达与相机之间的旋转矩阵和平移向量，从而实现了单线激光雷达和CCD相机之间的相互关系的准确标定。 

下面将以一个具体实例来说明本发明的详细流程。 

在具体实施时本发明采用的主要设备说明如下：相机，为瑞士Photonfocus公司生产的高速相机；激光雷达，为德国SICK公司生产的SICK-LMS291-05型号激光雷达；镜头，焦距为12cm；标定键，没有进行专门的制作，直接采用实验室一角替代标定键进行标定；滤光片，为中国汇龙光学生产的大自然IR850，30.5mm口径。 

按照流程图1的方案，先将相机和激光雷达固定在可自由移动的小车上，按照1.2方法安装滤光片，按照1.3的方法，移动设备平台，设定n＝8，获取8组激光雷达距离数据和红外光图像数据完成标定所需数据采集工作。接下来进行数据处理，首先对激光雷达距离数据进行处理，图4是对激光雷达距离数据的处理的效果图，先将获取的距离数据进行初筛选，利用简单的距离阈值分割方法去掉明显不是扫描墙面的数据点，然后根据数据值的分布特性分割出分属两个不同墙面的扫描数据，得到了两个数据子集(如图中星点和正方点所示)；然后对每个子集进行直线拟合，得到在激光雷达坐标系中描述两个墙面的直线方程(如图黑色细线所示)，求两个直线方程的交点，作为虚拟墙角点的坐标。对红外图像处理过程如图5所示：其中(a)为相机获取的原始图像，人眼很难直接从中看出有激光扫描线的信息；(b)是对图像进行直方图均衡化处理后的结果，此时人眼可以较清楚的辨识出扫描线；(c)是对直方图均衡化后的图像进行滤波，然后进行恰当阈值分割得到的二值化图像；(d)是对二值化图像进行Hough变换，提取响应最大的两条直线，并计算它们的交点的结果。该实例一共使用了8组数据，按照以上步骤实现对8组数据中对应点坐标的提取得到 

再根据张正友方法对相机的内参数进行标定，得到 $K=\left[\begin{array}{ccc}1133.3& 0& 311.2\\ 0& 1140.8& 197.7\\ 0& 0& 1\end{array}\right]$ ，将对应点坐标和K代入式(4)构建由16个线性方程组成的方程组，采用使得重投影误差最小化的优化方法解出旋转矩阵和平移矩阵(该步骤具体实施方法采用了OpenCV提供的函数cvFindExtrinsicParamter2)。 

$R=\left[\begin{array}{ccc}0.9981& 0.0001& -0.0616\\ -0.0131& 0.9773& -0.2116\\ 0.0603& 0.2121& 0.9754\end{array}\right],$

T＝[85.4329，366.9227，-79.4594]。 

通过以上优化方法得到了相机坐标系相对于激光雷达坐标系之间的相对位置参数R和T，即确定了激光雷达与相机之间的旋转矩阵和平移向量，从而实现了单线激光雷达和CCD相机之间的相互关系的准确标定。为激光雷达数据和CCD相机图像数据的融合打好了基础。从标定结果可以看出，旋转矩阵R满足标准正交条件，平移矩阵符合实际情况。为了进一步验证标定结果的准确性，先将激光扫描点的距离数据根据标定结果转换到相机坐标系再投影到图像中，与红外光图像中提取的扫描线进行对比，如图6所示：其中(a)是红外光图像进行直方图拉伸后的效果，可以较清楚的辨识出激光扫描线；(b)是将图像阈值化处理的结果，黑色细线是通过Hough变换对红外图像中激光扫描线提取的结果，黑色小圆圈是将激光雷达扫描数据点经过标定的结果转换后投影到图像的结果，可以看出，它们重合度很高，结果正确。 

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。 

Claims (3)

1.一种单线激光雷达与CCD相机之间相互关系的标定方法，其特征在于步骤为：

(1)、数据采集：

1.1固定并打开相机和激光雷达：将单线激光雷达和CCD相机固定在一个处理平台上，保证在设备移动过程中两者之间的相对位置固定，启动单线激光雷达和相机；

1.2过滤掉单线激光雷达工作时波长低于905nm的光波；

1.3设置标定键：将标定键放置在CCD相机和单线激光雷达的前方，使得标定键至少有两个平面对于CCD相机和激光雷达同时可见；

1.4获取单线激光雷达扫描点的红外光图像及相应的单线激光雷达距离数据：保存CCD相机拍摄的红外图像，同时保存单次扫描的单线激光雷达距离数据；然后重复1.3，直至获取n组红外光图像和距离数据，其中n≥4；

(2)、数据处理：

2.1对第i组单线激光雷达距离数据进行处理：直接利用距离信息分割出标定键两个不同平面得到的数据点，剔除明显不是标定键上反射回来的数据值后再分别对两个面的数据进行直线拟合，得到直线后求交点坐标为

，上标L表示为激光雷达坐标系中点；

2.2对红外光图像进行处理：

2.2.1首先对图像进行畸变校正，然后对图像进行直方图均衡化处理，使得近似为黑的图像拉宽灰度范围；

2.2.2高斯滤波，滤掉噪声；

2.2.3图像二值化，保留单线激光雷达扫描线的信息；

2.2.4根据所放置的标定键特性，在红外光图像中可以看到两条有交叉点的扫描线，分别对应标定键上两个不同平面反射的激光雷达红外光的成像；对上述二值化图像进行Hough变换，提取响应最大的两条直线；计算两直线交点的图像坐标，从第i幅图像得到的坐标记作p_i；按照以上步骤，对n组数据进行处理，得到一系列点的图像坐标和激光雷达坐标系坐标：

，其中i＝1，2...n；

2.3通过n组对应点信息，进行标定计算：

先采用常规方法标定出相机的内参数K，其中 $K=\left[\begin{array}{ccc}{f}_x& 0& {\mathrm{\α}}_x\\ 0& f_y& {\mathrm{\α}}_y\\ 0& 0& 1\end{array}\right]$ ，f_x是X方向上的相机焦距，f_y是Y方向上的相机焦距，(α_x，α_y)^T是成像平面的主点坐标，α_x为主点的横坐标，α_y为主点的纵坐标，本文的所有上标^T均表示矩阵或者向量的转秩；选取四组对应点的信息和K一起代入以下方程(1)中，构建基于以下方程(1)的方程组，

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{sK}\begin{array}{}\end{array}\left[\begin{array}{cccc}{R}_1& R_2& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ 0\\ Z^L\\ 1\end{array}\right]=\mathrm{sK}\left[\begin{array}{ccc}{R}_1& R_3& T\end{array}\right]\left[\begin{array}{c}{X}^L\\ Z^L\\ 1\end{array}\right]---\left(1\right)$

其中，P^L＝[X^L，Y^L，Z^L，1]^T为点P在激光雷达坐标系中的齐次性坐标，激光扫描面内Y^L＝0，p＝[u，v，1]^T为该点在图像中的齐次性坐标，u为沿图像水平方向的坐标值，v为沿竖直方向的坐标值，s为使得图像坐标归一化的尺度因子，R为3×3的代表激光雷达和CCD相机之间相互关系的旋转矩阵，可以用列向量表示为R＝[R₁，R₂，R₃]，R₁、R₂、R₃分别表示R的第1列、第2列和第3列，T为激光雷达和CCD相机之间的平移向量；

根据单应关系，利用四组点即可求解R₁、R₃和T，再因R₂＝R₁×R₃，就得到了R和T的初值；将得到的R、T作为优化算法的初始化条件，使用n组对应点信息，其中n＞4，采用Levenberg-Marquardt优化方法使(2)式投影误差最小化对R、T进行优化；

$\left\{\begin{array}{c}{\min }_{R,T}\frac{1}{2}{\mathrm{\Σ}}_{i=1}^n{\left|\right|f_i(R,T,P_i^L,p_i)\left|\right|}^2\\ f_i(R,T,P_i^L,p_i)=K\·(R{P}_i^L+T)-p_i\end{array}\right.---\left(2\right)$

其中，p_i和

分别为第i组对应点的图像点和激光雷达扫描点，min_R，T表示以R和T为优化变量使目标函数最小化；通过以上方法求解得到了优化的R和T，确定了激光雷达与相机之间的旋转矩阵和平移向量，完成单线激光雷达和CCD相机之间相互关系的准确标定。

2.根据权利要求1所述的单线激光雷达与CCD相机之间相互关系的标定方法，其特征在于：所述步骤1.2中是通过红外滤光片进行滤波，或者在没有可见光干扰、可见光很弱的暗室进行实验来实现。

3.根据权利要求1所述的单线激光雷达与CCD相机之间相互关系的标定方法，其特征在于：所述标定键为至少有两个面表面光滑、交界棱分明的立方体块、或者用室内墙壁角落进行替代。

Images