CN110032949A - 一种基于轻量化卷积神经网络的目标检测与定位方法 - Google Patents

Abstract

本发明涉及一种基于轻量化卷积神经网络的目标检测与定位方法，属于深度学习技术领域，解决了现有方法不能满足无人驾驶车辆实时性处理的要求。包括：实时采集车辆前方的图像数据和点云数据；将图像数据传输到目标检测模型，进行目标识别，获取目标信息；目标检测模型采用轻量化卷积神经网络；将获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息。本方法实现了对静态、动态目标的实时检测和定位，使得车辆能够实时感知目标信息，及时地对目标进行避障处理，检测和识别结果具有较高的准确度，能够用于存在多个静态、动态目标的复杂场景，并且满足自动驾驶车辆的实时性检测定位要求。

Description

一种基于轻量化卷积神经网络的目标检测与定位方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于轻量化卷积神经网络的目标检测与定位方法。

背景技术

深度学习在机器视觉和激光雷达信息等多传感器数据处理上的使用正受到越来越多的研究学者的关注，并被逐步应用于产品中。目标检测与定位是无人驾驶车辆的感知核心技术之一，可细分为目标检测与目标定位两部分。其中目标检测是实现在图像中能够检测和识别目标，目标定位是实现能够获得目标相对传感器的距离信息。针对目标检测与定位技术，目前多采用传统的方法和复杂度高的卷积神经网络来实现。

传统的方法中每个目标需要特定设计的特征和分类器，且每个分类器的参数无法共享，这对于多目标的检测会需要很多计算时间，完全不能满足无人驾驶车辆的实时性处理要求。复杂度高的卷积神经网络内采用的传统卷积操作需要较大的运算次数和内存空间，且特征层之间缺少数据的交流，不易于网络的训练，以及不能满足无人驾驶车辆的实时性处理要求。因此，现有的目标检测与定位方法应具有较高的准确度，能够用于存在多个静态、动态目标的复杂场景，并且满足自动驾驶车辆的实时性检测定位需求。

发明内容

鉴于上述的分析，本发明旨在提供一种基于轻量化卷积神经网络的目标检测与定位方法，用以解决现有目标检测与识别方法不能满足无人驾驶车辆的实时性要求的问题。

本发明的目的主要是通过以下技术方案实现的：

提供了一种基于轻量化卷积神经网络的目标检测与定位方法，包括以下步骤：

实时采集车辆前方的图像数据和点云数据；

将上述采集到的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息；所述目标检测模型采用轻量化卷积神经网络；

将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息。

本发明有益效果如下：本发明方法可以应用于相机与激光雷达数据融合处理的场合，用于对静态、动态目标进行检测和定位，通过将图像和点云数据输入至轻量化卷积神经网络模型中，经过数据与模型权重的计算，实时地输出目标的类别信息、目标与传感器之间的距离信息、目标的3D包围盒(bounding box)信息，从而使得车辆能够实时感知目标信息，及时地对目标进行避障处理，检测和识别结果具有较高的准确度，能够用于存在多个静态、动态目标的复杂场景，并且满足自动驾驶车辆的实时性检测定位要求。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述目标信息包括目标的类别和目标的2D包围盒信息；所述轻量化卷积神经网络包括：骨干网络和特征提取网络；

所述骨干网络，用于获取输入的图像数据中不同维度的特征图；

所述特征提取网络，用于提取上述获取的特征图中的信息，并通过提取的信息预测目标的类别，得到目标在图像中2D包围盒信息；

其中，骨干网络包括：密集卷积块；所述密集卷积块为C/2通道数的1*1卷积核和3*3卷积核；特征提取网络包括：残差块，用于将下一预测层的特征图数据回传至上一预测层的特征图。

进一步，所述将上述采集到的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息，包括：

获取训练所需数据，生成LMDB格式的训练集；

基于caffe深度学习框架构建目标检测模型，并将上述生成的训练集作输入到所述目标检测模型中，设置初始化方法、学习率、优化器和损失函数，对模型进行多次训练，获得网络模型检测权重文件；

将采集的图像数据输入到上述目标检测模型中，以上述网络模型检测权重文件作为目标检测模型的权重参数，进行目标的检测和识别，得到每帧图像中目标的类别和目标的2D包围盒信息。

进一步，还包括：对获取的目标的2D包围盒信息进行处理：

根据目标顶点坐标与宽度尺寸之间的关系，设定目标在图像中不同位置的宽高尺寸阈值；

结合2D包围盒位置信息，将2D包围盒的宽、高尺寸与设定的阈值比较，移除超过阈值的2D包围盒。

进一步，所述对获取的目标的2D包围盒信息进行处理，还包括：当出现相同类别的多个2D包围盒位置重叠程度超过设定的IOU阈值时，保留检测分数高的2D包围盒，移除其他2D包围盒。

进一步，所述将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息，包括：

获取KITTI数据集作为目标定位模型的训练集；

基于TensorFlow深度学习框架，构建目标定位模型；将上述获取的训练集输入到目标定位模型中，设置初始化方法、学习率、优化器和损失函数，对模型进行多次训练，获得网络模型定位权重文件；

将采集的点云数据与激光雷达坐标系投影到像素坐标系的标定参数进行计算后投影到图像上，基于目标检测模型获取的目标2D包围盒信息，从投影到图像上的点云数据中获取在目标2D包围盒内的点云数据；

将每一个目标2D包围盒内的点云数据分别输入到目标定位模型中，以上述网络模型定位权重文件作为定位网络的权重参数，得到每一个目标与车辆的距离信息和目标的3D包围盒信息；

所述点云数据由所述激光雷达采集得到。

进一步，所述标定参数通过预先进行的单目相机与激光雷达联合标定处理获得；所述图像数据由所述单目相机采集得到；

使用棋盘格作为标定板，采用张正友标定方法对单目相机进行内外参的标定，获得相机的内外参数；

将激光雷达点云数据中的地面数据移除，进行平面拟合，获得标定板上的点云数据，使用ICP迭代获得激光雷达坐标系转到相机坐标系的旋转矩阵和平移矩阵；

结合上述得到的相机的内外参数、旋转矩阵、平移矩阵，获得激光雷达坐标系投影到像素坐标系的标定参数。

进一步，还包括对采集的点云数据进行预处理：

去除无效点，包括采用数据属性的强度值，将强度值为负数的点云数据移除；

去除有效范围外的点，包括在雷达坐标系中预先设定坐标范围，移除所述设定坐标范围外的点云数据。

进一步，还包括对采集的图像数据和点云数据以车载平台的系统时间为标准，进行时间配准。

进一步，所述获取训练所需数据，生成LMDB格式的训练集，还包括：对获取的数据进行干扰加强后，生成训练集，所述干扰加强包括数据水平翻转、加噪声或随机裁剪中的至少一种。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中目标检测与定位方法流程图；

图2为本发明实施例中传感器安装位置示意图；

图3为本发明实施例中目标检测模型网络结构图；

图4为本发明实施例中轻量化卷积神经网络中密集卷积块结构图；

图5为传统卷积神经网络的卷积结构图；

图6为本发明实施例中轻量化卷积神经网络中残差块结构图；

图7为本发明实施例中目标定位流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种基于轻量化卷积神经网络的目标检测与定位方法，包括以下步骤：

步骤S1、实时采集车辆前方的图像数据和点云数据；

步骤S2、将上述采集到的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息；所述目标检测模型采用轻量化卷积神经网络；

步骤S3、将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息。

与现有技术相比，本实施例提供的基于轻量化卷积神经网络的目标检测与定位方法，可以应用于相机与激光雷达数据融合处理的场合，用于对静态、动态目标进行检测和定位，通过对图像和点云数据输入至轻量化卷积神经网络模型中，经过数据与模型权重的计算，实时地输出目标的类别信息、目标与传感器之间的距离信息、目标的3D包围盒(bounding box)信息，从而使得车辆能够实时感知目标信息，及时地对目标(如：行人、车辆、道路障碍物等)进行避障处理，检测和识别结果具有较高的准确度，能够用于存在多个静态、动态目标的复杂场景，并且满足自动驾驶车辆的实时性检测定位要求。

具体来说，在步骤S1中，实时采集车辆前方数据，优选地，通过相机(一台或者多台单目相机)拍摄车辆前方图像数据，通过激光雷达(一台或多台64线激光雷达)采集点云数据；如图2所示，传感器(单目相机、激光雷达)均安装在车辆顶部。

为了提高检测精度，在本实施例中，还对采集的数据进行预处理，预处理可以采用通用的多种预处理方法，除此之外，针对激光雷达获取的点云数据，进行去除无效点及有效范围外的点的预处理操作。

其中，去除无效点：激光雷达获取的原始点云数据中，会产生一些无效的噪声点，采用数据属性的强度值，将强度值为负数的点云数据移除。去除有效范围外的点：根据激光雷达的安装位置、点云在不同距离的密度以及检测任务，选择雷达坐标系中的一个确定的坐标范围，在该范围内的点云数据作为有效点，移除不在该范围内的点云数据。

需要说明的是，由于图像数据与点云数据分属于不同的坐标系统，采集数据后还需要对两者进行时间配准，以保证采集到的为同一时刻的图像数据和激光雷达点云数据，本实施例中采用车载平台的系统时间为标准，分别将图像和点云的数据信息和采集时刻信息压入2个队列中，在处理每一帧数据时，分别从2个队列中弹出数据，以采集时间的更新的数据为基准，不断弹出另一传感器数据，直到2个数据的采集时刻之差在设定的时间阈值之内，即完成该帧数据的时间配准。

在步骤S2中，将上述采集到的并经过预处理的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息并输入到目标定位模型；首先，基于caffe深度学习框架构建目标检测模型，并对该模型进行车辆和行人的检测训练；然后，在实际工作时，以相机所拍摄的图像作为模型的输入信息，以检测网络训练好的模型权重文件作为检测网络的权重参数，进行图像中目标的检测和识别，得到目标类别及目标的2D包围盒信息。具体地，包括以下步骤：

步骤S201、制作训练所需数据集，可以通过网上公开数据库或者自作的方式获取，优选的，采用VOC pascal数据集作为目标检测模型的训练集，将数据集中数据进行干扰加强(数据水平翻转、加噪声、随机裁剪)，以便提高模型的训练效果，然后将加强后的数据生成LMDB格式。

步骤S202、在caffe深度学习框架下搭建轻量化卷积神经网络结构，将步骤S201中生成的LMDB格式的训练数据集作为模型的输入，设置好初始化方法、学习率、优化器和损失函数，对模型进行多次训练，在多次调参和训练后，获得在测试集表现良好的网络模型权重。

需要强调的是，由于传统的目标检测方法中针对每个目标需要特定设计的特征和分类器，且每个分类器的参数无法共享，这对于多目标的检测会需要很多计算时间，完全不能满足无人驾驶车辆的实时性处理要求。另外，复杂度高的卷积神经网络内采用的传统卷积操作需要较大的运算次数和内存空间，且特征层之间缺少数据的交流，不易于网络的训练，同时不能满足无人驾驶车辆的实时性处理要求。因此，考虑到卷积神经网络的参数量和浮点运算次数决定了网络在处理数据时的速度，在本实施例中目标检测模型采用新型轻量化卷积神经网络；能够精确且及时地检测和识别目标，可用于存在多个静态、动态目标的复杂场景，能够很好地满足自动驾驶车辆的实时性检测定位要求。

具体地，本实施例中新型轻量化卷积神经网络，如图3所示，该网络结构中主要包含2个部分：骨干网络(Backbone Network)和特征提取网络(Feature ExtractorNetwork)。其中，骨干网络主要用于获取输入图像不同维度的特征图(feature map)；特征提取网络用于对特征图中的信息进行提取，从而预测目标的类别和在图像中2D包围盒(bounding box)的信息(在图像坐标系下，box的顶点坐标(xmin，ymin)，box的宽度和高度(width，height)，box的类别信息(label))。

进一步，为了使目标检测模型达到实时性的要求，在轻量化卷积神经网络中采用多个轻量化的块(block)，具体地包括：骨干网络的多个密集卷积块(Dense_Block)和特征提取网络的多个残差块(Res_Block)。

其中，密集卷积块不同与传统卷积神经网络的卷积操作，如图4所示，密集卷积块主要采用了C/2通道的1*1卷积核和3*3卷积核相结合的方式，来取代传统卷积神经网络的2C通道的3*3卷积核运算方式。

与传统卷积神经网络(如图5所示)相比，在时间复杂度和空间复杂度两个方面都具有很大优势，满足实时性要求；

1)关于时间复杂度

卷积神经网络中卷积层的时间复杂度计算公式为：

Time～O(H_out*W_out*Kernel_h*Kernel_w*C_in*C_out)

其中，H_out、W_out分别表示输出的特征图的高、宽尺寸，Kernel_h、Kernel_w分别表示卷积核的高、宽尺寸，C_in表示输入特征图的通道数，C_out表示输出特征图的通道数。

传统卷积神经网络卷积结构的时间复杂度：

Time＝H*W*3*3*C*2C＝H*W*C*C*18

本实施例中密集卷积块结构的时间复杂度：

Time＝H*W*1*1*C*C/2+H*W*3*3*C*C/2

+H*W*3*3*C*C/2+H*W*1*1*C*C/2

+H*W*3*3*C*C/2

＝H*W*C*C*14.5

通过时间复杂度计算的比较，在本实施例轻量化卷积神经网络中密集卷积块需要更少的计算次数，所需的浮点运算次数更少，需要更少的计算时间。

2)关于空间复杂度

卷积神经网络中卷积层的空间复杂度计算公式为：

Space～O(Kernel_h*Kernel_w*C_in*C_out+H_out*W_out*C_out)

其中，H_out、W_out分别表示输出的特征图的高、宽尺寸，Kernel_h、Kernel_w分别表示卷积核的高、宽尺寸，C_in表示输入特征图的通道数，C_out表示输出特征图的通道数。

传统卷积神经网络卷积结构的空间复杂度：

Space＝3*3*C*2C+H*W*2C

＝C*C*18+H*W*C*2

本实施例中密集卷积块结构的空间复杂度：

Space＝1*1*C*C/2+3*3*C*C/2

+3*3*C*C/2+1*1*C*C/2

+3*3*C*C/2+H*W*2C

＝C*C*14.5+H*W*C*2

通过空间复杂度计算的比较，在本实施例轻量化卷积神经网络中密集卷积块结构模型的参数数量更少，权重参数所需的内存占用更少，对无人车的车载平台的内存消耗更少，更适合车载平台的使用。

除了上述描述的拥有更少的运算次数和更小的参数数量，密集卷积块中还含有Shortcut Connection连接结构，能够使得输出的特征图利用输入的特征图信息，从而防止网络在训练阶段出现梯度消失和梯度爆炸。

在特征提取网络中，采用类似于SSD网络特征提取网络的结构，但是SSD的特征提取网络中Layer数据没有相互交流，本实施例中将Shortcut Connection方法用于特征提取网络，设计网络的核心单元是残差块。如图6所示，残差块通过将下一预测层的特征图数据回传至上一预测层的特征图，使得预测层能够融合使用不同维度的特征图，能够提高对小目标的检测准确率。

步骤S203、将与激光雷达数据进行了时间配准的相机图像数据输入到轻量化卷积神经网络中，以上一步训练的模型权重作为网络的参数，得到每帧图像中目标的类别和在图像中2D包围盒的信息(在图像坐标系下，box的顶点坐标(xmin，ymin)，box的宽度和高度(width，height)，box的类别信息(label))。

需要说明的是，在上述获取的目标的类别和在图像中2D包围盒的信息中，仍然存在许多无用的信息，会对下一步的目标定位增加负担，因此，还可以对获取的目标信息进行进一步的处理:

步骤S204、首先，基于上一步目标检测模型中的轻量化卷积神经网络的输出结果，根据目标顶点坐标与宽度尺寸之间的关系，设定目标在图像中不同位置的宽高尺寸阈值。结合2D包围盒位置信息，将2D包围盒的宽、高尺寸与设定的阈值比较，移除超过阈值的包围盒。

其次，对检测结果中同一类别目标的2D包围盒进行非极大值抑制，在出现相同类别的多个2D包围盒位置重叠程度超过设定的IOU(交并比，Intersection over Union)阈值时，只保留检测分数score最高的包围盒，移除结果中的其他包围盒。

步骤S3、将上述步骤S203或S204(优选的，步骤S204)中，目标检测模型获取的目标信息、点云数据及相机与激光雷达的联合标定参数输入到训练好的目标定位模型，以定位网络训练好的模型权重文件作为定位网络的权重参数，对检测的目标进行定位，得到目标相对于车辆的位置信息。首先，基于TensorFlow深度学习框架构建目标定位模型，并通过PointNet激光雷达点云算法对该模型进行车辆和行人的定位训练；然后，以目标检测模型识别的目标信息作为训练好的模型的输入信息，进行目标定位。具体地，如图7所示，包括以下步骤：

步骤S301、制作目标定位数据集，可以通过网上公开数据库或者自作的方式获取，优选的采用KITTI数据集作为目标定位模型的训练集。

步骤S302、基于TensorFlow深度学习框架，构建目标定位网络PointNet，将步骤S301中获取的数据集作为该网络的输入，设置好初始化方法、学习率、优化器和损失函数，对模型进行多次训练，在多次调参和训练后，获得在测试集表现良好的网络模型权重。

步骤S303、将雷达点云投影值图像，获得上述检测到的目标上的点云数据。具体地，获得与图像数据进行了时间配准的激光雷达点云数据，将雷达点云数据与标定参数进行计算后投影到图像上，基于目标检测模型得到的目标2D包围盒信息，从投影到图像上的点云数据获得在目标2D包围盒内的点云数据。

需要强调的是，标定参数是通过预先进行的单目相机与激光雷达联合标定处理获得的；具体获取过程如下：首先，使用棋盘格作为标定板，将标定物以不同姿态摆放在不同位置，每个位置摆放后，都用相机和激光雷达同时采集数据，整个数据采集中共采集20组，以用于标定；标定数据采集完毕后，采用张正友标定方法对单目相机进行内外参的标定，获得相机的内外参数；然后，将激光雷达数据中的地面数据移除，再进行平面拟合，获得标定板上的点云数据，使用ICP(Iterative Closest Point，迭代最近点)迭代获得激光雷达坐标系转到相机坐标系的旋转矩阵和平移矩阵。最后，结合相机的内外参数和激光雷达坐标系转到相机坐标系的旋转矩阵和平移矩阵，获得激光雷达坐标系投影到像素坐标系的标定参数(旋转矩阵R，平移矩阵t，相机内参数K)。

步骤S303、将每一个目标的点云数据分别输入到训练好的PointNet网络中，以训练好的模型权重文件作为网络的权重参数，得到每一个目标与车辆的距离信息(x,y,z)和目标的3D包围盒信息(3D盒的长、宽、高、航向角)。

至此，经过目标检测模型和目标定位模型的数据融合处理，可以实时获得目标类别信息、目标位置信息、目标3D包围盒信息，实现了复杂场景下自动驾驶车辆的实时目标检测与定位。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于轻量化卷积神经网络的目标检测与定位方法，其特征在于，包括以下步骤：

实时采集车辆前方的图像数据和点云数据；

将上述采集到的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息；所述目标检测模型采用轻量化卷积神经网络；

将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述目标信息包括目标的类别和目标的2D包围盒信息；所述轻量化卷积神经网络包括：骨干网络和特征提取网络；

所述骨干网络，用于获取输入的图像数据中不同维度的特征图；

所述特征提取网络，用于提取上述获取的特征图中的信息，并通过提取的信息预测目标的类别，得到目标在图像中2D包围盒信息；

其中，骨干网络包括：密集卷积块；所述密集卷积块为C/2通道数的1*1卷积核和3*3卷积核；特征提取网络包括：残差块，用于将下一预测层的特征图数据回传至上一预测层的特征图。

3.根据权利要求1或2所述的方法，其特征在于，所述将上述采集到的图像数据实时传输到训练好的目标检测模型，进行目标识别，获取目标信息，包括：

获取训练所需数据，生成LMDB格式的训练集；

基于caffe深度学习框架构建目标检测模型，并将上述生成的训练集作输入到所述目标检测模型中，设置初始化方法、学习率、优化器和损失函数，对模型进行多次训练，获得网络模型检测权重文件；

将采集的图像数据输入到上述目标检测模型中，以上述网络模型检测权重文件作为目标检测模型的权重参数，进行目标的检测和识别，得到每帧图像中目标的类别和目标的2D包围盒信息。

4.根据权利要求3所述的方法，其特征在于，还包括：对获取的目标的2D包围盒信息进行处理：

根据目标顶点坐标与宽度尺寸之间的关系，设定目标在图像中不同位置的宽高尺寸阈值；

结合2D包围盒位置信息，将2D包围盒的宽、高尺寸与设定的阈值比较，移除超过阈值的2D包围盒。

5.根据权利要求4所述的方法，其特征在于，所述对获取的目标的2D包围盒信息进行处理，还包括：当出现相同类别的多个2D包围盒位置重叠程度超过设定的IOU阈值时，保留检测分数高的2D包围盒，移除其他2D包围盒。

6.根据权利要求1或5所述的方法，其特征在于，所述将上述目标检测模型获取的目标信息及点云数据输入到训练好的目标定位模型，进行目标定位，得到目标相对于车辆的位置信息，包括：

获取KITTI数据集作为目标定位模型的训练集；

基于TensorFlow深度学习框架，构建目标定位模型；将上述获取的训练集输入到目标定位模型中，设置初始化方法、学习率、优化器和损失函数，对模型进行多次训练，获得网络模型定位权重文件；

将采集的点云数据与激光雷达坐标系投影到像素坐标系的标定参数进行计算后投影到图像上，基于目标检测模型获取的目标2D包围盒信息，从投影到图像上的点云数据中获取在目标2D包围盒内的点云数据；

将每一个目标2D包围盒内的点云数据分别输入到目标定位模型中，以上述网络模型定位权重文件作为定位网络的权重参数，得到每一个目标与车辆的距离信息和目标的3D包围盒信息；

所述点云数据由所述激光雷达采集得到。

7.根据权利要求6所述的方法，其特征在于，所述标定参数通过预先进行的单目相机与激光雷达联合标定处理获得；所述图像数据由所述单目相机采集得到；

使用棋盘格作为标定板，采用张正友标定方法对单目相机进行内外参的标定，获得相机的内外参数；

将激光雷达点云数据中的地面数据移除，进行平面拟合，获得标定板上的点云数据，使用ICP迭代获得激光雷达坐标系转到相机坐标系的旋转矩阵和平移矩阵；

结合上述得到的相机的内外参数、旋转矩阵、平移矩阵，获得激光雷达坐标系投影到像素坐标系的标定参数。

8.根据权利要求1或7所述的方法，其特征在于，还包括对采集的点云数据进行预处理：

去除无效点，包括采用数据属性的强度值，将强度值为负数的点云数据移除；

去除有效范围外的点，包括在雷达坐标系中预先设定坐标范围，移除所述设定坐标范围外的点云数据。

9.根据权利要求8所述的方法，其特征在于，还包括对采集的图像数据和点云数据以车载平台的系统时间为标准，进行时间配准。

10.根据权利要求3所述的方法，其特征在于，所述获取训练所需数据，生成LMDB格式的训练集，还包括：对获取的数据进行干扰加强后，生成训练集，所述干扰加强包括数据水平翻转、加噪声或随机裁剪中的至少一种。