CN111145269B - 一种鱼眼相机与单线激光雷达的外方位元素的标定方法 - Google Patents

Abstract

本发明公开了一种鱼眼相机与单线激光雷达的外方位元素的标定方法，是一种以特制的红外相机为中间媒介，实现搭载鱼眼镜头的相机(即鱼眼相机)与单线激光雷达的外方位元素的标定方法。其主要步骤包括：定制特定波段的红外相机，获取该波段的激光影像；红外相机的内方位元素标定；鱼眼相机内方位元素标定；红外相机与激光雷达外方位元素标定；红外相机与鱼眼相机的外方位元素标定；鱼眼相机与单线激光雷达外方位元素求解。本发明所使用的装置成本低，数据获取简单直接，从底层硬件层面将异源数据融合在一起，无需进行视觉数据拟合，有很好的标定效果，能够用于移动测量系统和空间数字孪生装备的视觉传感器标定。

Description

一种鱼眼相机与单线激光雷达的外方位元素的标定方法

技术领域

本发明涉及多传感器融合，异源数据融合，数字图像和空间数字孪生数据处理技术领域，具体涉及一种鱼眼相机与单线激光雷达的外方位元素的标定方法。

背景技术

自激光雷达在机器人等领域的应用加速人们的认知以来，有关激光雷达的话题就一直不断。近年来，随着机器人技术，自动驾驶技术，激光SLAM技术的蓬勃发展，激光雷达作为一种高精度，高效率，强可靠性的传感器被越来越多地应用于高科技领域中。然而，激光雷达虽然能获取高精度的几何信息，但是它无法记录被扫描物体的颜色，纹理信息；能够采集物体的颜色纹理信息的成像设备(相机，摄像头等)又不能得到被摄物体的几何特征。面对这样的矛盾，业内人士提出了很多将激光雷达与相机两种不同的传感器结合在一起使用的案例(如自动驾驶，无人机建模)。这其中，二者外方位元素的精确标定是至关重要的，一组高精度的标定参数是实现激光雷达数据和相机数据融合所必不可少的。

现有技术中，申请号为201010223750.7的专利文献公开了一种单线激光雷达和CCD相机相互关系的标定方法，基于CCD相机可以弱成像单线激光雷达使用的红外光源的这一条件。首先，在立方体标定键辅助下提取位于扫描面内的虚拟控制点；然后，使用红外滤光片虑掉可见光，仅使红外光成像，然后对有扫描线信息的红外图像进行增强、二值化处理再进行Hough变换，提取两条激光扫描线，扫描线交点即为虚拟控制点在图像中的像坐标。

申请号为201410065887.2的专利公开了一种单线激光雷达与普通CCD相机标定的方法，该方法利用打印棋盘格的V型靶标，首先提取激光雷达扫描在V型靶标上的数据；接着通过张正友标定法求得红外图像的空间位置；然后分别在雷达和红外图像上求得V型靶标左右两平面中两条扫描线各自的方向向量和扫描线交点坐标；最后通过两组方向向量的对应关系以及旋转矩阵R是一正交矩阵的特性联立方程求解旋转矩阵R；进而依靠一组对应点的交点坐标在求得旋转矩阵R的基础上求平移矩阵T。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有技术中的标定方法，为了使可见光波段的成像不受红外波段的影响，往往自带红外滤波器(IFC)。其本身剔除红外波段信息使得CCD芯片无法感受。如果去除该装置则破坏了相机本身对可见光波段的成像质量，此举无疑减少了相机在很多工程应用中发挥作用的可能。另外，搭载鱼眼镜头的CCD相机由于鱼眼镜头结构本身的特殊性，无法进行增添滤光片的操作，仅凭这样以来会大大增加所需曝光时间，且需要在黑暗环境下进行。目前公开的论文和专利文献中的利用红外波段影像的方法均不适用于搭载鱼眼镜头的相机，这也限制了点云产品与全景影像二者的融合应用。

由此可知，现有技术中存在不适用于搭载鱼眼镜头的相机与激光雷达的标定或者标定效果较差的技术问题。

发明内容

有鉴于此，本发明提供了一种鱼眼相机与单线激光雷达的外方位元素的标定方法，用以解决或者至少部分解决现有技术中存在的不适用于搭载鱼眼镜头的相机与激光雷达的标定或者标定效果较差的技术问题。

为了解决上述技术问题，本发明提供了一种鱼眼相机与单线激光雷达的外方位元素的标定方法，包括：

步骤S1：制作预设数量的正方形标定板，并将预设数量的正方形标定板均匀张贴于墙壁，同时对正方形标定板进行编号，建立全站仪坐标系，制作V型标定板；

步骤S2：定制特定波段的红外相机，采集红外相机的第一标定数据和鱼眼相机的第二标定数据，其中，第一标定数据为红外相机拍摄正方形标定板中心的图像，第二标定数据为鱼眼相机拍摄正方形标定板中心的图像；

步骤S3：根据第一标定数据，在全站仪坐标系下对红外相机进行外方位元素标定；

步骤S4：根据第二标定数据，在全站仪坐标系下对鱼眼相机进行外方位元素标定；

步骤S5：根据红外相机外方位元素标定结果和鱼眼相机外方位元素标定结果，获得红外相机与鱼眼相机之间的位置关系；

步骤S6：采集激光雷达数据和红外相机的第三标定数据，第三标定数据为添加滤光片的红外相机拍摄V型标定板中心的图像数据；

步骤S7：对采集的激光雷达数据进行处理，获取在雷达坐标系下的坐标信息，对采集第三标定数据进行处理，获取相片坐标系下的坐标信息；

步骤S8：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息，在雷达坐标系下对红外相机进行外方位元素标定，获得红外相机与激光雷达的位置关系；

步骤S9：根据红外相机与鱼眼相机之间的位置关系、红外相机与激光雷达的位置关系，以红外相机为媒介，对鱼眼相机与单线激光雷达进行外方位元素标定。

在一种实施方式中，步骤S1具体包括：

以全站仪本身为坐标原点，建立全站仪坐标系，并逐条记录所有正方形标定板的编号及其在全站仪坐标系下的三维坐标。

在一种实施方式中，步骤S2具体包括：

采用红外相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在红外相机像平面中，获得第一标定数据；

采用鱼眼相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在鱼眼相机像平面中，获得第二标定数据。

在一种实施方式中，步骤S3具体包括：

步骤S3.1：解算鱼眼相机内方位元素并对鱼眼相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标并根据标定板编号进行保存，得到处理后的第一标定数据；

步骤S3.2：根据标定板编号，对处理后的第一标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第一坐标组；

步骤S3.3：根据获得的第一坐标组，利用最小化重投影误差求解鱼眼相机外参。

在一种实施方式中，步骤S4具体包括：

步骤S4.1：解算红外相机内方位元素并对红外相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标根据标定板编号保存，得到处理后的第二标定数据；

步骤S4.2：根据标定板编号，对处理后的第二标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第二坐标组；

步骤S4.3：根据获得的第二坐标组，利用最小化重投影误差求解红外相机外参。

在一种实施方式中，红外相机外方位元素标定结果为红外相机外参，鱼眼相机外方位元素标定结果为鱼眼相机外参，步骤S5具体包括：

将红外相机外参和鱼眼相机外参统一在全站仪坐标系下的外参进行运算，得到鱼眼相机位置转换到红外相机位置的矩阵，将其表示红外相机和鱼眼相机的位置关系。

在一种实施方式中，V型标定板由两块正方形标定板构成，步骤S7具体包括：

步骤S7.1：根据预设提取条件，提取出预设时刻对应的扫描在V型标定板上的雷达数据，对每一帧雷达数据进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为该时刻下的雷达坐标系下的坐标信息；

步骤S7.2：对拍摄V型标定板中心的图像进行预处理，提取预处理后的图像中雷达扫描线并进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为相片坐标系下的坐标信息。

在一种实施方式中，雷达坐标系下的坐标信息和相片坐标系下的坐标信息包括标定板编号，步骤S8具体包括：

步骤S8.1：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息中标定板编号，对两种坐标系下的坐标进行匹配，获得一一对应的第三坐标组；

步骤S8.2：根据获得的第三坐标组，利用最小化重投影误差求解红外相机转换到雷达坐标系下的外参。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种鱼眼相机与单线激光雷达的外方位元素的标定方法，首先进行准备工作，制作正方形标定板和V型标定板，并构建全站仪坐标系，然后定制特定波段的红外相机，并采集红外相机的第一标定数据和鱼眼相机的第二标定数据；接着进行红外相机外方位元素标定、鱼眼相机外方位元素标定，接下来进行红外相机与鱼眼相机的外方位元素标定、红外相机与激光雷达的外方位元素标定，分别获得红外相机与鱼眼相机之间的位置关系以及红外相机与激光雷达的位置关系，最后，根据红外相机与鱼眼相机之间的位置关系、红外相机与激光雷达的位置关系，以红外相机为媒介，对鱼眼相机与单线激光雷达进行外方位元素标定。

本发明可以实现在不改装需要标定相机的情况下对搭载鱼眼镜头的相机(以下简称鱼眼相机)进行相机与单线激光雷达的标定，以特质红外相机为媒介，采集激光雷达扫描线的效率大大提高，同时通过增加特定波段滤光片(如850nm)的做法抑制可见光波段对雷达扫描线成像的影响，提高信噪比与提取精度，从而可以提高标定的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种鱼眼相机与单线激光雷达的外方位元素的标定方法的整体流程图；

图2为具体实施方式中点云数据交线拟合示意图；

图3为具体实施方式中红外影像数据交线拟合示意图；

图4为具体实施方式中将正方形标定板均匀张贴于墙壁建立的全站仪坐标系的示意图；

图5为具体实施方式中贴在墙上的正方形标定板的示意图；

图6为本发明具体实施方式中标定方法的坐标转换原理图。

具体实施方式

为解决现有技术问题，本发明提供了一种以改装的红外相机为传输媒介，实现搭载鱼眼镜头的普通CCD相机(以下称鱼眼相机)与单线激光雷达的外方位元素的标定方法，以实现鱼眼相机与单线激光雷达的高精度标定。

为了达到上述目的，本发明的主要构思如下：

定制特定波段的红外相机，获取该波段的激光影像；红外相机的外方位元素标定；鱼眼相机外方位元素标定；红外相机与鱼眼相机的外方位元素标定；红外相机与激光雷达外方位元素标定，最后以红外相机为媒介，对鱼眼相机与激光雷达进行表达。

一方面，本发明可以在不改装需要标定相机的情况下对搭载鱼眼镜头的相机(以下简称鱼眼相机)进行相机与单线激光雷达的标定，并且可以提高标定精度。另一方面，本发明所使用的装置成本低，数据获取简单直接，从底层硬件层面将异源数据融合在一起，无需进行视觉数据拟合，有很好的标定效果，能够用于移动测量系统的视觉传感器标定。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种鱼眼相机与单线激光雷达的外方位元素的标定方法，请参见图1为本发明方法的整体流程图。

本申请发明人通过大量的研究与实践发现：

与传统的单一镜头图像采集相比，全景照片是用真实的照片来得到三维立体的感觉，这是一般图片和三维建模都无法达到。全景摄影和一般图片都可以起到展示和记录的作用，但是一般图片的视角范围有限，也毫无立体感，而360°全景摄影不但有360°的视角，更可以带来三维立体的感觉，让观察者能够沉浸其中。随着技术的进步，出现了采用多镜头组成的全景图像采集系统，通过相机环绕的方式，记录下各个角度范围内的图像，并拼接成为一幅全景图。这其中，CCD相机搭载的不再是可以添加外置滤光片的普通镜头，而是具有极大视场角的鱼眼镜头。该镜头尽管视场角较大，然而其采集图像依旧缺乏物体几何特征，镜头中心最外突出且无法被遮挡，采集图像畸变较大，为搭载全景镜头的CCD相机与激光雷达的标定带来了困难。

从业者Liu Zewei与Lu Dongming等人在“Optical and Quantum Electronics(2019)”上发表文章“Extrinsic calibration of a single-point laserrangefinderand single camera”中提出了一种以平面棋盘格为标定板，利用红外相机获取单线激光雷达扫描点并与CCD相机进行外方位元素标定。由于激光雷达扫描点的离散性，导致棋盘格类标定板不能唯一确定雷达扫描点的唯一准确位置(即棋盘角点并不与扫描点重合，且扫描点不落在棋盘边线上)。因此，该方法并不能实现雷达获取的三维空间点与图像二维平面点的严格对应，存在更多的误差来源。

此外，201410065887.2的专利公开了一种单线激光雷达与普通CCD相机标定的方法，同样存在弊端，即扫描线方向向量的不唯一性。无论是雷达扫描线还是图像提取扫描线，其方向向量均存在无穷多个，以任意模长的方向向量联立方程组，都可以求解出一组旋转矩阵R。如果要唯一确定R，那么也要求该方法中对应扫描线的首尾端点在空间上一一对应，此时，与前文所述文章中的方法存在相同的弊端。除此之外，目前公开的论文和专利中的利用红外波段影像的方法均不适用于搭载鱼眼镜头的相机，这也限制了点云产品与全景影像二者的融合应用。

本发明的主要目的是求解鱼眼相机相对于单线激光雷达坐标系(单线激光雷达坐标系为三维坐标系，可以当作世界坐标系)下的外参矩阵。求解之前，本发明首先要分别对鱼眼相机和特质红外相机进行内方位元素的标定，求解两种相机的内参。接着分别要进行特质红外相机与单线激光雷达的外方位元素的标定以及两种相机之间外方位元素的标定，从而实现以特质红外相机为媒介连接起鱼眼相机和单线激光雷达，重点是实现特质红外相机和单线激光雷达坐标系标定，即求解3D-2D坐标系的转换。

请参见图1和图6，本发明的方法主要包括：

采用张正有方法实现所有相机内标定。

步骤S1：制作预设数量的正方形标定板，并将预设数量的正方形标定板均匀张贴于墙壁，同时对正方形标定板进行编号，建立全站仪坐标系，制作V型标定板；

其中，步骤S1具体包括：

以全站仪本身为坐标原点，建立全站仪坐标系，并逐条记录所有正方形标定板的编号及其在全站仪坐标系下的三维坐标。

在具体实施过程中，可以参见图4和图5，步骤S1可以通过下述流程来实现：

首先，利用高密度PVC材料，制作两块80㎝×80㎝的方形标定板，并将两块标定板用螺丝固定成90°，安装在可移动铁杆上，该标定板以下简称V型标定板(直角靶标)；然后，利用高密度PVC材料，制作不少于20块的10㎝×10㎝的正方形标定板，并在标定板中心打印标记，确保红外相机和鱼眼相机能够识别，并将其均匀张贴在一面完整的墙壁，与此同时对标定板进行编号(1-n)；

在进行数据采集时，需要将鱼眼相机，红外相机，单线激光雷达三个传感器固定，保证其相对位置不发生改变；将该标定板放置于单线激光雷达和红外相机正前方，确保标定板两个平面对两种传感器均同时可见。本实施方式中，使用高精度全站仪，测量墙面上所有10㎝标定板的中心坐标，以全站仪本身为坐标原点，建立全站仪坐标系，并逐条记录所有标定板编号及其在全站仪坐标系下的三维坐标，记录文件为“Point 3D.txt”，记录格式为“编号，X，Y，Z”(X，Y，Z表示全站仪坐标系下上文中心坐标的空间三维坐标)。

步骤S2：定制特定波段的红外相机，采集红外相机的第一标定数据和鱼眼相机的第二标定数据，其中，第一标定数据为红外相机拍摄正方形标定板中心的图像，第二标定数据为鱼眼相机拍摄正方形标定板中心的图像。

具体来说，定制的红外相机，从而使得特定波段(850nm以及更长)的波段能够穿透镜头，获得红外相片。红外相机的第一标定数据和鱼眼相机的第二标定数据均为外标定数据。

在一种实施方式中，步骤S2具体包括：

采用红外相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在红外相机像平面中，获得第一标定数据；

采用鱼眼相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在鱼眼相机像平面中，获得第二标定数据。

步骤S3：根据第一标定数据，在全站仪坐标系下对红外相机进行外方位元素标定。

具体来说，步骤S3是对红外相机在全站仪坐标系下求解外参，在进行外参求解前，首先需要对红外相机本身进行内标定，求解红外相机的内参，可以采用张正友相机标定方法。

在一种实施方式中，步骤S3具体包括：

步骤S3.1：解算鱼眼相机内方位元素并对鱼眼相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标并根据标定板编号进行保存，得到处理后的第一标定数据；

步骤S3.2：根据标定板编号，对处理后的第一标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第一坐标组；

步骤S3.3：根据获得的第一坐标组，利用最小化重投影误差求解鱼眼相机外参。

具体来说，鱼眼相机内方位元素即鱼眼相机的内参，由前文所述的张正友相机标定方法得到。在对拍摄的正方形标定板中心图像进行校正时，可以采用张正友相机标定方法。处理后的第一标定数据可以记录为文件“Point fisheye2D.txt”，其格式为“编号，R，C”(R和C分别表示中心坐标的行列号)。一一对应的第一坐标组为一组对应的空间三维坐标Point3D_i(i＝1-n)和鱼眼相片二维坐标Pointfisheye2D_i(i＝1-n)。

步骤S4：根据第二标定数据，在全站仪坐标系下对鱼眼相机进行外方位元素标定。

具体来说，步骤S3是对鱼眼相机在全站仪坐标系下求解外参，在进行外参求解前，首先需要对鱼眼相机进行内标定，求解鱼眼相机的内参，可以采用张正友相机标定方法。

在一种实施方式中，步骤S4具体包括：

步骤S4.1：解算红外相机内方位元素并对红外相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标根据标定板编号保存，得到处理后的第二标定数据；

步骤S4.2：根据标定板编号，对处理后的第二标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第二坐标组；

步骤S4.3：根据获得的第二坐标组，利用最小化重投影误差求解红外相机外参。

具体来说，红外相机内方位元素即红外相机的内参，通过前述的张正友相机标定方法得到。处理后的第一标定数据可以记录为文件“Point inf2D.txt”,记录格式为“编号，R，C”R和C分别表示上文中心坐标的行列号，在进行坐标匹配时，并按照编号的一致性进行对照，得到一组一一对应的空间三维坐标Point3D_i(i＝1-n)和红外相片二维坐标Pointinf2D_i(i＝1-n)，即第二坐标组，然后利用最小化重投影误差求解红外相机外参。

步骤S5：根据红外相机外方位元素标定结果和鱼眼相机外方位元素标定结果，获得红外相机与鱼眼相机之间的位置关系。

具体来说，在分别对红外相机、鱼眼相机在全站仪坐标系下进行外标定后，则可以根据各自标定的结果，求出红外相机与鱼眼相机之间的位置关系。

在一种实施方式中，红外相机外方位元素标定结果为红外相机外参，鱼眼相机外方位元素标定结果为鱼眼相机外参，步骤S5具体包括：

将红外相机外参和鱼眼相机外参统一在全站仪坐标系下的外参进行运算，得到鱼眼相机位置转换到红外相机位置的矩阵，将其表示红外相机和鱼眼相机的位置关系。

步骤S6：采集激光雷达数据和红外相机的第三标定数据，第三标定数据为添加滤光片的红外相机拍摄V型标定板中心的图像数据。

具体来说，激光雷达数据和红外相机的第三标定数据可以通过下述方式来采集：

首先，打开激光雷达和红外相机，保持标定板稳定不动，同时采集该时刻下激光雷达数据和红外影像数据，并记录时间戳；然后保持激光雷达和红外相机不动，移动标定板，调整位置和姿态，在标定板稳定的情况下再次记录该时刻下激光雷达数据和红外影像数据，并记录时间戳，该过程至少重复n(n≥4)次，n取15-20最佳，保证激光雷达在标定板上成像的交点均匀分布在红外相机的水平方向。

步骤S7：对采集的激光雷达数据进行处理，获取在雷达坐标系下的坐标信息，对采集第三标定数据进行处理，获取相片坐标系下的坐标信息。

在一种实施方式中，V型标定板由两块正方形标定板构成，步骤S7具体包括：

步骤S7.1：根据预设提取条件，提取出预设时刻对应的扫描在V型标定板上的雷达数据，对每一帧雷达数据进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为该时刻下的雷达坐标系下的坐标信息；

步骤S7.2：对拍摄V型标定板中心的图像进行预处理，提取预处理后的图像中雷达扫描线并进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为相片坐标系下的坐标信息。

具体来说，步骤S7.1中，根据记录的n个时间戳，可以提取对应的n帧雷达数据，预设提取条件包括长度、角度和位置，根据设置提取条件，则可以提取出该时间对应的扫描在直角靶标上的雷达数据；然后对每一帧雷达数据进行直线拟合，拟合出两条直线之后求其交点PL_i，该点即为该时刻下的空间点，提取n组并与时间戳对应保存，记录文件为“PointLidar3D.txt”,记录格式为“编号，X，Y，Z”(X，Y，Z表示雷达坐标系下两扫描线交点的空间三维坐标)；

步骤S7.2中是处理红外影像数据(添加滤光片)，对图像进行预处理包括畸变校正、二值化处理等；提取图像中雷达扫描线并进行直线拟合，拟合出两条直线之后求其交点PI_i，该点即为该时刻下的相片坐标系坐标，提取n组并与时间戳对应保存，记录文件为“Point intersection2D.txt”,记录格式为“编号，R，C”R和C分别表示上文中交点PI_i的行列号)，图2和图3分别为点云数据交线拟合示意图和红外影像数据交线拟合示意图，图2中白色点为点云数据，线条为拟合的直线，图3中，白色点为红外影像数据，白色阴影线条为拟合的线条，图2和图3仅作示意，不影响整体方案的理解与表达。

步骤S8：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息，在雷达坐标系下对红外相机进行外方位元素标定，获得红外相机与激光雷达的位置关系。

在一种实施方式中，雷达坐标系下的坐标信息和相片坐标系下的坐标信息包括标定板编号，步骤S8具体包括：

步骤S8.1：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息中标定板编号，对两种坐标系下的坐标进行匹配，获得一一对应的第三坐标组；

步骤S8.2：根据获得的第三坐标组，利用最小化重投影误差求解红外相机转换到雷达坐标系下的外参。

具体来说，可以根据文件“Point Lidar3D.txt”中记录的坐标点，遍历文件“Pointintersection2D.txt”所记录的坐标点，并按照编号的一致性进行对照，得到一组一一对应的空间三维坐标Point3D_i(i＝1-n)和红外相片二维坐标Pointinf2D_i(i＝1-n)，即第三坐标组，再利用最小化重投影误差来求解红外相机在雷达坐标系下外参，即红外相机转换到雷达坐标系下的矩阵RT_inftolidar；

步骤S9：根据红外相机与鱼眼相机之间的位置关系、红外相机与激光雷达的位置关系，以红外相机为媒介，对鱼眼相机与单线激光雷达进行外方位元素标定。

下面对本发明涉及的几种坐标系以及坐标转换原理进行详细介绍。

本发明需要得到鱼眼相机与单线激光雷达的外方位元素的关系，则需要清楚相机本身如何从像素坐标一步步得到三维空间中的世界坐标。这里一共涉及如下坐标系：

1.世界坐标系(world coordinate)：在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述，在本发明中，将雷达坐标系作为世界坐标系。

2：相机坐标系(camera coordinate)：相机坐标系的原点为相机光心，x轴与y轴与图像的X,Y轴平行，z轴为摄像机光轴，它与图像平面垂直，以此构成的空间直角坐标系称为相机坐标系，也称为摄像机坐标系，相机坐标系是三维坐标系。光轴与图像平面的交点，即为图像坐标系的原点，与图像的X、Y轴构成的直角坐标系即为图像坐标系，图像坐标系是二维坐标系。

3：成像平面坐标系(X,Y)：像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY(即成像平面坐标系)，其坐标轴的单位通常为毫米(mm)，原点是相机光轴与相面的交点(称为主点)，即图像的中心点，X轴、Y轴分别与U轴、V轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。

4：像素坐标系(U,V)：是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点O位于图像的左上角，U轴、V轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。

几种坐标系之间的转换关系如下：

1：像素坐标系转化到成像平面坐标系(图像坐标)，

2：成像平面坐标系转化到相机坐标系(摄像机坐标)，

3：相机坐标系转换到世界坐标系，

其中的转换关系和转换参数如下所示为：

为相机内参，即鱼眼相机的内参，还可用K表示，u₀和v0表示图像像素行列号，

为雷达坐标系下的坐标，

为相机外参，即鱼眼相机的外参，也就是本发明最终需要求解的参数或者矩阵(R为旋转矩阵(3*3)，T为平移矩阵)。

上述R和T计算方法及满足的方程如下：

f_i(R,T,P_i,p_i)＝K*(R*P_i+T)-p_i

公式中，P_i表示雷达坐标系下三维空间点，p_i表示三维空间点对应的二维图像坐标系中的行列号，K表示相机内参，f_i(R,T,P_i,p_i)即为第i组点对的重投影误差。minR,T为满足n组重点对投影误差和最小条件下的旋转平移矩阵。

在介绍像素坐标系到世界坐标系之间的转换关系之后，从上述公式中，可以看出本发明实际上要求解的就是鱼眼相机相对于单线激光雷达坐标系(即世界坐标系)下的外参矩阵。求解之前我们首先要分别对鱼眼相机和特质红外相机进行内方位元素的标定，求解两种相机的内参。接着分别要进行特质红外相机与单线激光雷达的外方位元素的标定以及两种相机之间外方位元素的标定，从而实现以特质红外相机为媒介连接起鱼眼相机和单线激光雷达。本发明的重点是实现特质红外相机和单线激光雷达坐标系标定，即求解3D-2D坐标系的转换。

通过本发明提供的方法，则可以在不改装鱼眼镜头的情况下，实现鱼眼相机与单线激光雷达的标定，通过实验对本发明的标定精度分析如下：

红外相机统一到全站仪坐标系下的重投影误差为1.8像素(原始图片像素为3000*4000)；鱼眼相机统一到全站仪坐标系下的重投影误差为0.18像素(原始图片像素为4000*6000)；红外相机与激光雷达标定重投影误差为3.5像素(原始图片像素为3000*4000)。

总体来说，与现有技术相比，本发明在以下三个方面有显著优势:

1、本发明标定精度大大提高，重投影误差可达到传感器本身分辨率之内。

其中，本发明精度提高主要来源于以下两方面：第一，本发明从传感器硬件层面提高了激光雷达获取的三维空间点与相机获取的二维像素点的匹配关系。在以往的标定工作中，实验者总是利用以棋盘格为代表的标定板利用计算机视觉的方法，利用标定板不同部位对雷达扫描线的反射强度不同的特性，提取对应空间点。这种方法从原理上存在两方面误差：(1)标定板不同位置对激光雷达发射的波段的反射强弱不规律，在交界位置反射强弱并不呈现阶梯式变化，这也导致了雷达所采集数据的不稳定，对一些时隐时现的扫描点难以取舍。如若严格控制标定板对激光的反射强度，则需要特质的吸收材料以及极高的加工工艺，需要不菲成本且只能在实验室条件进行，无法简单快捷地随时进行标定。(2)该发明中雷达与相机的对应点均通过拟合得到，而非直接在点云数据中提取，保证了其二维平面点与三维空间点的严格对应。在以往的方法中，实验者往往从点云数据中提取采集的近似点来代替实际的空间点。这种方法是有弊端的，由于激光雷达本身相邻扫描点之间是有间隔的(角分辨率通常为0.25°)，在扫描半径达到一定尺度时，相邻点之间的间距达到不可忽视的程度(扫描半径2m对应的相邻点间距为0.87㎝)。该间距反应在高分辨率相机所呈现的图像上可达数十个像素。因此，此时就很难保证提取到的三维点与图片上确定的二维像素坐标严格对应。而本发明采用的方法巧妙地避开了这一情况，本发明为点云数据与图像数据均进行直线拟合并求解交点。尽管很多情况下拟合出的交点并不是扫描数据中获得的空间点，而是一个虚拟坐标，但是该坐标的获取是由大量空间点与像素点各自拟合的直线求交所得，增加了大量约束条件，可严格保证三维空间点与二维像素坐标的严格对应，规避了选点误差。

2.本发明适用于鱼眼相机与单线激光雷达的标定，可实现不改装鱼眼相机也能够顺利进行。

在申请号为201410065887.2与申请号为201010223750.7的专利中，同业者也同样采用了CCD相机可弱成像红外波段的原理进行此标定实验。然而，上述两专利的实现方法均是通过提高曝光时间或改装CCD相机得以实现，其方法的普适性受制于诸多方面。(1)现下许多高品质相机，为了使可见光波段的成像不受红外波段的影响，往往自带红外滤波器(IFC)。其本身剔除红外波段信息使得CCD芯片无法感受。如果去除该装置则破坏了相机本身对可见光波段的成像质量，此举无疑减少了相机在很多工程应用中发挥作用的可能。(2)搭载鱼眼镜头的CCD相机由于鱼眼镜头结构本身的特殊性，无法进行增添滤光片的操作，仅凭这样以来会大大增加所需曝光时间，且需要在黑暗环境下进行。本发明在这两方面提高了发明原理的普适性。以特质红外相机为媒介，采集激光雷达扫描线的效率大大提高，且亦可通过增加特定波段滤光片(如850nm)的做法抑制可见光波段对雷达扫描线成像的影响，提高信噪比与提取精度。另外，摘掉滤光片的红外相机也能够高效地感受可见光波段信息，精确地提取方形标定板的像素坐标，与鱼眼相机进行高精度外方位元素标定。鱼眼相机的加入，大大增加视场角，成像范围尽可能追赶激光雷达的扫描范围，减少成像传感器数量，即减少标定次数与误差来源，提高多传感器集成系统的精度。为激光雷达在室内外移动测量系统，全景浏览系统(AR，VR)，三维全景重建等领域发挥作用提供可能。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种鱼眼相机与单线激光雷达的外方位元素的标定方法，其特征在于，包括：

步骤S1：制作预设数量的正方形标定板，并将预设数量的正方形标定板均匀张贴于墙壁，同时对正方形标定板进行编号，建立全站仪坐标系，制作V型标定板；

步骤S2：定制特定波段的红外相机，采集红外相机的第一标定数据和鱼眼相机的第二标定数据，其中，第一标定数据为红外相机拍摄正方形标定板中心的图像，第二标定数据为鱼眼相机拍摄正方形标定板中心的图像；

步骤S3：根据第一标定数据，在全站仪坐标系下对红外相机进行外方位元素标定；

步骤S4：根据第二标定数据，在全站仪坐标系下对鱼眼相机进行外方位元素标定；

步骤S5：根据红外相机外方位元素标定结果和鱼眼相机外方位元素标定结果，获得红外相机与鱼眼相机之间的位置关系；

步骤S6：采集激光雷达数据和红外相机的第三标定数据，第三标定数据为添加滤光片的红外相机拍摄V型标定板中心的图像数据；

步骤S7：对采集的激光雷达数据进行处理，获取在雷达坐标系下的坐标信息，对采集第三标定数据进行处理，获取相片坐标系下的坐标信息；

步骤S8：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息，在雷达坐标系下对红外相机进行外方位元素标定，获得红外相机与激光雷达的位置关系；

步骤S9：根据红外相机与鱼眼相机之间的位置关系、红外相机与激光雷达的位置关系，以红外相机为媒介，对鱼眼相机与单线激光雷达进行外方位元素标定。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：

以全站仪本身为坐标原点，建立全站仪坐标系，并逐条记录所有正方形标定板的编号及其在全站仪坐标系下的三维坐标。

3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

采用红外相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在红外相机像平面中，获得第一标定数据；

采用鱼眼相机拍摄粘贴正方形标定板的墙面，使得正方形标定板均匀分布在鱼眼相机像平面中，获得第二标定数据。

4.如权利要求2所述的方法，其特征在于，步骤S3具体包括：

步骤S3.1：解算鱼眼相机内方位元素并对鱼眼相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标并根据标定板编号进行保存，得到处理后的第一标定数据；

步骤S3.2：根据标定板编号，对处理后的第一标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第一坐标组；

步骤S3.3：根据获得的第一坐标组，利用最小化重投影误差求解鱼眼相机外参。

5.如权利要求2所述的方法，其特征在于，步骤S4具体包括：

步骤S4.1：解算红外相机内方位元素并对红外相机拍摄的正方形标定板图像进行校正，提取图像中正方形标定板的中心坐标根据标定板编号保存，得到处理后的第二标定数据；

步骤S4.2：根据标定板编号，对处理后的第二标定数据与全站仪坐标系下的三维坐标进行匹配，获得一一对应的第二坐标组；

步骤S4.3：根据获得的第二坐标组，利用最小化重投影误差求解红外相机外参。

6.如权利要求1所述的方法，其特征在于，红外相机外方位元素标定结果为红外相机外参，鱼眼相机外方位元素标定结果为鱼眼相机外参，步骤S5具体包括：

将红外相机外参和鱼眼相机外参统一在全站仪坐标系下的外参进行运算，得到鱼眼相机位置转换到红外相机位置的矩阵，将其表示红外相机和鱼眼相机的位置关系。

7.如权利要求1所述的方法，其特征在于，V型标定板由两块正方形标定板构成，步骤S7具体包括：

步骤S7.1：根据预设提取条件，提取出预设时刻对应的扫描在V型标定板上的雷达数据，对每一帧雷达数据进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为该时刻下的雷达坐标系下的坐标信息；

步骤S7.2：对拍摄V型标定板中心的图像进行预处理，提取预处理后的图像中雷达扫描线并进行直线拟合，拟合出两条直线之后求其交点，将交点的坐标作为相片坐标系下的坐标信息。

8.如权利要求1述的方法，其特征在于，雷达坐标系下的坐标信息和相片坐标系下的坐标信息包括标定板编号，步骤S8具体包括：

步骤S8.1：根据雷达坐标系下的坐标信息和相片坐标系下的坐标信息中标定板编号，对两种坐标系下的坐标进行匹配，获得一一对应的第三坐标组；

步骤S8.2：根据获得的第三坐标组，利用最小化重投影误差求解红外相机转换到雷达坐标系下的外参。

Images