CN111311689B - 一种激光雷达与相机相对外参的标定方法及系统 - Google Patents

Abstract

一种激光雷达与相机相对外参的标定方法，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述方法包括：将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；上述二维坐标和三维坐标组成一对相互对应的2D‑3D位置数据对；调节所述球体标志物的位置，获得至少四对相互对应的2D‑3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。本发明的方法具有操作简单，标定精度高的优点。

Description

一种激光雷达与相机相对外参的标定方法及系统

技术领域

本发明涉及到点云数据处理、图像数据处理以及多传感器融合技术领域，具体涉及一种激光雷达与相机相对外参的标定方法及系统。

背景技术

随着人工智能技术的不断提升，无人驾驶汽车技术正在逐渐兴起，而激光雷达和相机是无人驾驶技术感知模块的两个重要传感器，对无人车的正常驾驶起着关键性的作用。其中，激光雷达是以发射激光束探测目标的位置的雷达系统，其工作原理是向目标发射激光束，然后将接收到的从目标反射回来的信号与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、姿态、甚至形状等参数。而相机传感器较为常见，相机通过摄像头获取前方的RGB图像完成信息获取。激光雷达可以提供高频率的精确距离及反射率信息，但无法感知对象色彩信息，而相机可以提供高分辨率的色彩信息，但无法感知物体深度，基于单一类型传感器进行环境感知均存在一定的劣势，将二者感知信息融合可以很好的弥补各自的缺点，是一种很好的也是目前主流的处理方式。传感器融合需要将各方的信息通过坐标变换转换到统一坐标系下，而确定坐标变换的参数即是传感器外参的标定过程。传感器间外参的标定技术逐渐受到无人车研发人员的重视，精确的标定结果能够为后期的信息融合感知提供更稳定良好的判断结果，从而为整个无人车系统提供更安全的保障。

而随着该领域技术的不断发展，越来越多的无人车正在实现量产化，无人车时代正在来临。同时，当每一辆无人车行驶一段时间后，都会无法避免地造成传感器的移动。因此，为了使后续的融合感知结果更加可靠，为了使无人驾驶汽车更加安全，每一辆车每一次上路之前均需要完成标定操作，这就需要一种简单方便且精确的标定装置及方法。目前的标定方法大都使用复杂的标定装置，并且需要专业人员进行复杂的场景布置，并经过复杂的标定流程才能得到标定结果，需要极大的工作量，这为无人车的普及造成了不利影响。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种激光雷达与相机相对外参的标定方法及系统，其采用的标定物为一个球体，该方法能够解决解决目前标定装置及标定流程复杂的问题。

为实现上述目的，本发明提出了一种激光雷达与相机相对外参的标定方法，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述方法包括：

将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；

对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；

对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；

上述二维坐标和三维坐标组成一对相互对应的2D-3D位置数据对；

调节所述球体标志物的位置，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。

作为上述方法的一种改进，所述球体标志物放置的位置位于传感器融合系统的质心的前方1～6米；所述球体标志物放置的位置使球体标志物50％以上的区域能够出现在相机图像中，至少有三行激光雷达的激光束能够投射至球体标识物上。

作为上述方法的一种改进，所述对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；具体包括：

对单帧图像进行高斯滤波处理，去除噪点；

对高斯滤波处理后的单帧图像使用Canny算子进行边缘检测，得到带有边缘信息的边缘二值图，将检测为边缘的像素的像素灰度值设为255，将非边缘的像素的像素灰度值设为0，并统计所有灰度值为255的边缘像素点坐标；

对边缘二值图进行颜色过滤；

将进行颜色过滤后的边缘二值图进行联通域检测，将灰度值为255且相邻的像素点标记为同一轮廓，由此得到包括多个轮廓的轮廓集合；

对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓；

所述椭圆轮廓的第n个轮廓点在单帧图像上的坐标为(a_n,b_n)，则第n个轮廓点在相机图像中心坐标系下的坐标(X_n,Y_n)为：

(X_n,Y_n)＝(a_n-d_x,b_n-d_y)

则该点的为

其中，1≤n≤N，f为相机焦距，[d_x,d_y]为主光轴点；

椭圆轮廓点与球心投影点之间有如下关系：

AQ＝B

其中

T为一个辅助参数；A为N×3矩阵，Q为3×1矩阵，B为N×1矩阵；

利用最小二乘法，求解出球心投影在相机图像中心坐标系的坐标(X_c,Y_c)；再根据

(X_c,Y_c)＝(x_c-d_x,y_c-d_y)

将(X_c,Y_c)转换成球心投影到相机坐标系下的二维坐标(x_c,y_c)。

作为上述方法的一种改进，所述对边缘二值图进行颜色过滤，具体包括：

将彩色的单帧图像转换为HSV颜色空间，设球体标志物颜色所在色域区间为[H₁,H₂]；

遍历所有灰度值为255的边缘像素点坐标(a_i,b_i)，统计HSV图像中位于每个坐标(a_i,b_i)周围5像素半径内的像素值位于色域区间[H₁,H₂]的像素点的个数，如果位于色域区间[H₁,H₂]的像素点的个数低于10个，则将该坐标的像素的像素灰度值设为0。

作为上述方法的一种改进，所述对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓，具体包括：

对轮廓集合进行遍历，删除轮廓点少于50个的轮廓；

对剩下的每一个轮廓进行椭圆拟合，如果拟合的椭圆的长宽比大于5，则删除该轮廓；

若剩下的椭圆轮廓个数为1，对该椭圆轮廓的N个椭圆轮廓点均进行畸变校正；否则，放弃该次操作，重新调整球体标志物的位置。

作为上述方法的一种改进，所述对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；具体包括：

步骤S1)遍历点云数据所有的点，设点云中点的坐标为(x_j,y_j,z_j)，删除x_j＜0的点，其中j表示点云的序号；

步骤S2)遍历过滤后的所有点，查找每一个点半径0.1米空间范围内的点，如果查找到的点的个数少于10个，则将该点删除，从而去除离群点；

步骤S3)使用平面拟合对去除离群点的点云数据进行平面检测，去除检测到的平面点云；

步骤S4)对剩下的点云数据进行球形拟合，检测出点云中的球体，得到球体的球心在激光雷达坐标系下的三维坐标(x,y,z)。

本发明还提供了一种激光雷达与相机相对外参的标定系统，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述系统包括：球体标志物，数据获取模块，数据处理模块和标定模块；

所述数据获取模块，用于将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；

所述数据处理模块，用于对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；上述二维坐标和三维坐标组成一对相互对应的2D-3D位置数据对；

所述标定模块，用于调节所述球体标志物的位置，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。

作为上述系统的一种改进，所述对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；具体包括：

对单帧图像进行高斯滤波处理，去除噪点；

对高斯滤波处理后的单帧图像使用Canny算子进行边缘检测，得到带有边缘信息的边缘二值图，将检测为边缘的像素的像素灰度值设为255，将非边缘的像素的像素灰度值设为0，并统计所有灰度值为255的边缘像素点坐标；

对边缘二值图进行颜色过滤：将彩色的单帧图像转换为HSV颜色空间，设球体标志物颜色所在色域区间为[H₁,H₂]；遍历所有灰度值为255的边缘像素点坐标(a_i,b_i)，统计HSV图像中位于每个坐标(a_i,b_i)周围5像素半径内的像素值位于色域区间[H₁,H₂]的像素点的个数，如果位于色域区间[H₁,H₂]的像素点的个数低于10个，则将该坐标的像素的像素灰度值设为0；

将进行颜色过滤后的边缘二值图进行联通域检测，将灰度值为255且相邻的像素点标记为同一轮廓，由此得到包括多个轮廓的轮廓集合；

对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓；

所述椭圆轮廓的第n个轮廓点在单帧图像上的坐标为(a_n,b_n)，则第n个轮廓点在相机图像中心坐标系下的坐标(X_n,Y_n)为：

(X_n,Y_n)＝(a_n-d_x,b_n-d_y)

则该点的为

其中，1≤n≤N，f为相机焦距，[d_x,d_y]为主光轴点；

椭圆轮廓点与球心投影点之间有如下关系：

AQ＝B

其中

T为一个辅助参数；A为N×3矩阵，Q为3×1矩阵，B为N×1矩阵；

利用最小二乘法，求解出球心投影在相机图像中心坐标系的坐标(X_c,Y_c)；再根据

(X_c,Y_c)＝(x_c-d_x,y_c-d_y)

将(X_c,Y_c)转换成球心投影到相机坐标系下的二维坐标(x_c,y_c)。

作为上述系统的一种改进，所述对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓，具体包括：

对轮廓集合进行遍历，删除轮廓点少于50个的轮廓；

对剩下的每一个轮廓进行椭圆拟合，如果拟合的椭圆的长宽比大于5，则删除该轮廓；

若剩下的椭圆轮廓个数为1，对该椭圆轮廓的N个椭圆轮廓点均进行畸变校正；否则，放弃该次操作，重新调整球体标志物的位置。

作为上述系统的一种改进，所述对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；具体包括：

步骤S1)遍历点云数据所有的点，设点云中点的坐标为(x_j,y_j,z_j)，删除x_j＜0的点，其中j表示点云的序号；

步骤S2)遍历过滤后的所有点，查找每一个点半径0.1米空间范围内的点，如果查找到的点的个数少于10个，则将该点删除，从而去除离群点；

步骤S3)使用平面拟合对去除离群点的点云数据进行平面检测，去除检测到的平面点云；

步骤S4)对剩下的点云数据进行球形拟合，检测出点云中的球体，得到球体的球心在激光雷达坐标系下的三维坐标(x,y,z)。

与现有技术相比，本发明具有以下优点：

1、本发明所采用标定物仅为一个球体标志物，且对球体的半径无具体要求，容易制作，放置方便，易于存储，且不易受环境的影响，可将其放置在无人车行驶路边，配合标定方法完成自动标定；

2、本发明利用椭圆和球体拟合得到特征点，利用球体的投影特性，以及较多的激光投射点，完成精确的特征点估计，提高标定结果的精确性；

3、本发明的标定方法容易改进成为自动化标定方法，只需要读取每一帧数据进行判断估计，利于无人车的量产及日常使用。

附图说明

图1为本发明的一种激光雷达与相机相对外参的标定方法的流程图。

具体实施方式

以下结合附图和具体实施例对发明作进一步详细说明。此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本发明的实施例1提供了一种激光雷达与相机联合的相对外参标定方法，仅仅基于简单的一个球体标志物，利用球面拟合及最小二乘方法获得相对应的球心特征点对；并利用P3P方法进行激光雷达与相机联合标定的标定方法。本实例采用仿真的形式，使用的仿真软件为Webots R2019a，实验传感器为虚拟Velodyne HDL-32E激光雷达以及虚拟彩色摄像头(512×480)，虚拟标志物为直径0.5m的红色虚拟球体，实际使用时球体直径应为0.3m以上，没有具体要求，也无需知道球体具体尺寸。

如图1所示，本发明的实施例1提供了一种激光雷达与相机相对外参的标定方法，具体步骤如下：

步骤1：将球体标志物设置在传感器融合系统前方1～6米距离以内；传感器融合系统包括激光雷达和相机；

步骤2：调节球体标志物的位置，保证在图像中球体标志物大部分(50％以上)可出现在相机图像中，并保证至少三行激光束能够投射至球体标识物上；在同一时刻，使用激光雷达扫描该标定物，获得点云数据；使用相机拍照，获取单帧图像；

步骤3：通过图像识别算法及点云识别算法，取得一对相互对应的2D-3D位置数据对；上述图像识别算法及点云识别算法的具体计算步骤如下：

步骤3-1)对图像进行高斯滤波处理，去除噪点；

步骤3-2)对步骤3-1处理后的图像结果使用Canny算子进行边缘检测，得到带有边缘信息的二值图，将检测为边缘的像素的像素灰度值设为255，将非边缘的像素的像素灰度值设为0，并统计所有灰度值为255的边缘像素点坐标；

步骤3-3)将原始彩色图像(单帧图像)转换为HSV颜色空间，设球体标志物颜色所在色域区间为[H₁,H₂]，例如本次案例使用色域区间为[160,180]∪[0,5]，之后遍历步骤3-2)得到的边缘像素坐标(a_i,b_i)，统计HSV图像中位于每个坐标(a_i,b_i)周围5像素半径内的像素值位于色域区间[H₁,H₂]的像素点的个数，如果位于色域区间[H₁,H₂]的像素点的个数低于10个，则将步骤3-2)中位于该坐标的像素的像素灰度值设为0；

步骤3-4)对步骤3-2)得到的并经过步骤3-3)进行颜色过滤过的边缘二值图进行联通域检测，将灰度值为255且相邻的像素点标记为同一轮廓，得到包括一系列轮廓的轮廓集合；

步骤3-5)对步骤3-4)中得到的轮廓集合进行遍历，首先删除轮廓点少于50个的轮廓，之后对剩下的每一个轮廓进行椭圆拟合，如果拟合的椭圆的长宽比大于5，则删除该轮廓；若剩下的轮廓个数为1，对该轮廓的N个椭圆轮廓点均进行畸变校正；否则，放弃该次操作，重新设置球体标志物的位置。

步骤3-6)设步骤3-5)中得到N个椭圆轮廓点中，第n个点在图像上的坐标为(a_n,b_n)，球心投影到图像上的投影点坐标为(x_c,y_c)，设相机内参矩阵为：

其中，f为相机焦距，[d_x,d_y]为主光轴点；那么椭圆轮廓点与球心投影点之间有如下关系：

AQ＝B (2)

其中

其中，T为辅助参数；

(X_n,Y_n)＝(a_n-d_x,b_n-d_y) (7)

(X_c,Y_c)＝(x_c-d_x,y_c-d_y) (8)

将步骤3-5)中得到的轮廓点代入公式(7)得到相机图像中心坐标系下的坐标，将转换后的坐标代入公式(3)得到矩阵A，将矩阵A代入公式(2)，得到方程AQ＝B，求得(X_c,Y_c)的最小二乘解，作为球心在相机图像中心坐标系下的坐标，并将此坐标代入公式(8)，转换成球心投影到相机坐标系下的二维坐标(x_c,y_c)。

步骤3-7)遍历点云所有的点，设点云中点的坐标为(x_j,y_j,z_j)，将x_j<0的点去除，从而保留位于激光雷达前方的可能位于相机视野中的点；j为点云数据的序号；

步骤3-8)遍历步骤3-7)过滤后的点，查找每一个点半径0.1米空间范围内的点，如果查找到的点的个数少于10个，则将该点去除，从而去除离群点；

步骤3-9)步骤3-8)使用平面拟合对去除离群点的点云数据进行平面检测，去除检测到的平面点云；

步骤3-10)对剩下的点云数据进行球形拟合，检测出点云中的球体，得到球体的球心在激光雷达坐标系下的三维坐标(x,y,z)；

球心投影到相机坐标系下的二维坐标(x_c,y_c)和球心在激光雷达坐标系下的三维坐标(x,y,z)组成一对相互对应的2D-3D位置数据对；

调整球形标志物的位置，重复步骤2)到步骤3)，可以得到4组或以上的相互对应的2D-3D位置数据对；

步骤4：基于4组或以上的相互对应的2D-3D位置数据对；使用OpenCV中的P3P方法对激光雷达坐标系和相机坐标系的转换关系进行求解，最终得到标定结果。

其中，标定结果为相机和激光雷达相对位置的参数：俯仰角pitch、偏航角yaw、滚转角roll、x方向距离X、y方向距离Y和z方向距离Z。

经过多次实例仿真测试，采用本发明的方法，标定结果的平均误差如表1所示：

表1

Pitch(°)	Yaw(°)	Roll(°)	X(m)	Y(m)	Z(m)
						0.426117	0.398257	0.655008	0.024094	0.023916	0.019126

本发明的实施例2提供了一种激光雷达与相机相对外参的标定系统，所述系统包括：球体标志物，数据获取模块，数据处理模块和标定模块；

所述数据获取模块，用于将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；

所述数据处理模块，用于对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；上述二维坐标和三维坐标组成一对相互对应的2D-3D位置数据对；

所述标定模块，用于调节所述球体标志物的位置，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术间题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本发明并不限于上文描述的实施方式。以上得意具体实施方式的描述旨在描述和说明本发明的技术方案，上述具体实施方式仅仅是示意性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。本发明可以借助于包括有不同计算步骤的算法来实现，实施例中列举的简单的算法不应被视为对本发明所要求权利的限制。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种激光雷达与相机相对外参的标定方法，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述方法包括：

将球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；

对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；具体包括：

对单帧图像进行高斯滤波处理，去除噪点；

对高斯滤波处理后的单帧图像使用Canny算子进行边缘检测，得到带有边缘信息的边缘二值图，将检测为边缘的像素的像素灰度值设为255，将非边缘的像素的像素灰度值设为0，并统计所有灰度值为255的边缘像素点坐标；

对边缘二值图进行颜色过滤；具体包括：

将彩色的单帧图像转换为HSV颜色空间，设球体标志物颜色所在色域区间为[H₁,H₂]；

遍历所有灰度值为255的边缘像素点坐标(a_i,b_i)，统计HSV图像中位于每个坐标(a_i,b_i)周围5像素半径内的像素值位于色域区间[H₁,H₂]的像素点的个数，如果位于色域区间[H₁,H₂]的像素点的个数低于10个，则将该坐标的像素的像素灰度值设为0；

将进行颜色过滤后的边缘二值图进行联通域检测，将灰度值为255且相邻的像素点标记为同一轮廓，由此得到包括多个轮廓的轮廓集合；

对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓；具体包括：

对轮廓集合进行遍历，删除轮廓点少于50个的轮廓；

对剩下的每一个轮廓进行椭圆拟合，如果拟合的椭圆的长宽比大于5，则删除该轮廓；

若剩下的椭圆轮廓个数为1，对该椭圆轮廓的N个椭圆轮廓点均进行畸变校正；否则，放弃该次操作，重新调整球体标志物的位置；

所述椭圆轮廓的第n个轮廓点在单帧图像上的坐标为(a_n,b_n)，则第n个轮廓点在相机图像中心坐标系下的坐标(X_n,Y_n)为：

(X_n,Y_n)＝(a_n-d_x,b_n-d_y)

则该点的为

其中，1≤n≤N，f为相机焦距，[d_x,d_y]为主光轴点；

椭圆轮廓点与球心投影点之间有如下关系：

AQ＝B

其中

T为一个辅助参数；A为N×3矩阵，Q为3×1矩阵，B为N×1矩阵；

利用最小二乘法，求解出球心投影在相机图像中心坐标系的坐标(X_c,Y_c)；再根据

(X_c,Y_c)＝(x_c-d_x,y_c-d_y)

将(X_c,Y_c)转换成球心投影到相机坐标系下的二维坐标(x_c,y_c)；

对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；具体包括：

步骤S1)遍历点云数据所有的点，设点云中点的坐标为(x_j,y_j,z_j)，删除x_j<0的点，其中j表示点云的序号；

步骤S2)遍历过滤后的所有点，查找每一个点半径0.1米空间范围内的点，如果查找到的点的个数少于10个，则将该点删除，从而去除离群点；

步骤S3)使用平面拟合对去除离群点的点云数据进行平面检测，去除检测到的平面点云；

步骤S4)对剩下的点云数据进行球形拟合，检测出点云中的球体，得到球体的球心在激光雷达坐标系下的三维坐标(x,y,z)；

上述二维坐标和三维坐标组成一对相互对应的2D-3D位置数据对；

调节所述球体标志物的位置，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果。

2.根据权利要求1所述的激光雷达与相机相对外参的标定方法，其特征在于，所述球体标志物放置的位置位于传感器融合系统的质心的前方1～6米；所述球体标志物放置的位置使球体标志物50％以上的区域能够出现在相机图像中，至少有三行激光雷达的激光束能够投射至球体标识物上。

3.一种激光雷达与相机相对外参的标定系统，其特征在于，用于对传感器融合系统进行标定，所述传感器融合系统包括激光雷达和相机；所述系统包括：球体标志物，数据获取模块，数据处理模块和标定模块；

所述数据获取模块，用于将所述球体标志物放置在指定的位置，获取到同时刻的相机拍摄球体标志物的单帧图像，以及激光雷达扫描球体标志物的点云数据；

所述数据处理模块，用于对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；上述二维坐标和三维坐标组成一对相互对应的2D-3D位置数据对；

所述标定模块，用于调节所述球体标志物的位置，获得至少四对相互对应的2D-3D位置数据对，由此对激光雷达坐标系和相机坐标系的转换关系进行求解，得到标定结果；

所述对单帧图像进行处理，得到球体标志物的球心在相机坐标系下的二维坐标；具体包括：

对单帧图像进行高斯滤波处理，去除噪点；

对高斯滤波处理后的单帧图像使用Canny算子进行边缘检测，得到带有边缘信息的边缘二值图，将检测为边缘的像素的像素灰度值设为255，将非边缘的像素的像素灰度值设为0，并统计所有灰度值为255的边缘像素点坐标；

对边缘二值图进行颜色过滤：将彩色的单帧图像转换为HSV颜色空间，设球体标志物颜色所在色域区间为[H₁,H₂]；遍历所有灰度值为255的边缘像素点坐标(a_i,b_i)，统计HSV图像中位于每个坐标(a_i,b_i)周围5像素半径内的像素值位于色域区间[H₁,H₂]的像素点的个数，如果位于色域区间[H₁,H₂]的像素点的个数低于10个，则将该坐标的像素的像素灰度值设为0；

将进行颜色过滤后的边缘二值图进行联通域检测，将灰度值为255且相邻的像素点标记为同一轮廓，由此得到包括多个轮廓的轮廓集合；

对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓；

所述椭圆轮廓的第n个轮廓点在单帧图像上的坐标为(a_n,b_n)，则第n个轮廓点在相机图像中心坐标系下的坐标(X_n,Y_n)为：

(X_n,Y_n)＝(a_n-d_x,b_n-d_y)

则该点的为

其中，1≤n≤N，f为相机焦距，[d_x,d_y]为主光轴点；

椭圆轮廓点与球心投影点之间有如下关系：

AQ＝B

其中

T为一个辅助参数；A为N×3矩阵，Q为3×1矩阵，B为N×1矩阵；

利用最小二乘法，求解出球心投影在相机图像中心坐标系的坐标(X_c,Y_c)；再根据

(X_c,Y_c)＝(x_c-d_x,y_c-d_y)

将(X_c,Y_c)转换成球心投影到相机坐标系下的二维坐标(x_c,y_c)；

所述对轮廓集合进行过滤，得到一个包括N个轮廓点的椭圆轮廓，具体包括：

对轮廓集合进行遍历，删除轮廓点少于50个的轮廓；

对剩下的每一个轮廓进行椭圆拟合，如果拟合的椭圆的长宽比大于5，则删除该轮廓；

若剩下的椭圆轮廓个数为1，对该椭圆轮廓的N个椭圆轮廓点均进行畸变校正；否则，放弃该次操作，重新调整球体标志物的位置；

所述对点云数据进行处理，得到球体标志物的球心在激光雷达坐标系下的三维坐标；具体包括：

步骤S1)遍历点云数据所有的点，设点云中点的坐标为(x_j,y_j,z_j)，删除x_j<0的点，其中j表示点云的序号；

步骤S2)遍历过滤后的所有点，查找每一个点半径0.1米空间范围内的点，如果查找到的点的个数少于10个，则将该点删除，从而去除离群点；

步骤S3)使用平面拟合对去除离群点的点云数据进行平面检测，去除检测到的平面点云；

步骤S4)对剩下的点云数据进行球形拟合，检测出点云中的球体，得到球体的球心在激光雷达坐标系下的三维坐标(x,y,z)。

Images