CN110363820A - 一种基于激光雷达、图像前融合的目标检测方法 - Google Patents

Abstract

本发明涉及一种基于激光雷达、图像前融合的目标检测方法，通过激光雷达和摄像头联合校准，得到摄像头视角的激光雷达点云数据，然后在将数据输入到神经网络之前，首先对激光雷达数据集进行球面投影，从而到一个稠密的、二维的数据，之后将激光雷达投影得到的图像和摄像头图像分别作为网络的两个输入，分别学习彩色和三维特征，最后通过一个1×1的卷积块，将两个模态的特征融合，实现基于雷达和视觉前融合的目标检测；该方法不同于传统视觉和雷达分别检测，最后采取加权的后融合方式，采用激光雷达和图像两个对应的输入，分别学习特征，最后融合，可以提高目标识别的准确性，同时获取目标的类别以及三维信息。

Description

一种基于激光雷达、图像前融合的目标检测方法

技术领域

本发明涉及一种基于激光雷达、图像前融合的目标检测方法，属于传感器融合、人工智能和自动驾驶技术领域。

背景技术

无人车的环境感知技术主要是借助外在传感器，例如激光雷达、摄像头、毫米波雷达等实现对周围环境的探测，保障无人车可以及时地、精准地感知路面环境中存在的安全隐患，快速采取措施，避免发生交通事故；环境感知相当于无人车的眼睛，对于保障无人驾驶汽车安全行驶具有不可替代的作用。

目前无人车环境感知有两种主流方法：视觉和激光雷达。视觉是基于机器视觉获取车辆周边环境的图像信息，通过图像处理等方式对周围环境进行感知；它能直接获取色彩信息，并且摄像机具有安装方便、体积小、能耗低的优点，它的缺点就是容易受到光线的干扰、同时没有三维信息。激光传感是通过雷达扫描车辆周围环境来获得三维距离信息，通过距离分析识别技术对行驶路况进行感知；它能够直接获取物体三维距离信息，具有很高的测量精度并且对光线明暗变化不敏感，但是它无法获得环境的色彩信息，同时目前激光雷达价格昂贵，难以在家用轿车上装备。

因此产生了研究产生一种将激光雷达与摄像头进行融合的检测方法，相当于融合激光雷达的三维信息以及图像的色彩信息，实现两个传感器优势互补。目前融合方案有前融合和后融合两种；前融合是指每个传感器各自独立处理生成的目标数据，当所有传感器完成目标数据生成后，再由主处理器进行数据融合；后融合只有一个感知的算法，在原始层把数据都融合在一起，对所有数据进行感知算法应用；前面两种融合方法，无法真正做到提高目标识别的准确性，也就是说如何更好的实现激光雷达与摄像头的融合，仍是亟需待解决的问题。

发明内容

本发明提供一种基于激光雷达、图像前融合的目标检测方法，同时针对三维点云和二维图像特征不一致的特点，利用两个输入通道，分别学习目标特征，在最后一个卷积层进行融合，充分学习二维和三维的特征，提高了目标识别的准确性。

本发明解决其技术问题所采用的技术方案是：

一种基于激光雷达、图像前融合的目标检测方法，包括以下步骤：

第一步：在离线状态下，标定激光雷达以及摄像头的内参数和外参数，对摄像头获取的图片去畸变，实现激光雷达、摄像头的精确配准，即完成空间同步：

第二步：激光雷达、摄像头同时实时对车辆在行车过程中的环境进行采集，获取同步时间戳的激光雷达数据、同步时间戳的且去畸变的图像数据，形成激光雷达点云数据集、图像数据集，即获取完成时间同步的数据；

第三步：将前述获得的激光雷达数据集和图像数据集匹配，只保留摄像头视角的激光雷达点云数据集，然后将图像数据集、激光雷达点云数据集分别进行标签标注；

第四步：将完成标签标注的激光雷达点云数据集进行球面投影，图像数据集不改变，将球面投影后得到的激光雷达点云数据集、图像数据集作为两个输入，分别学习彩色和三维特征，通过一个1*1卷积块将两个模态的特征融合，最终输出一个训练完成的双模态深度卷积网络模型；；

第五步：在车辆实时运行过程中，激光雷达、摄像头实时捕获车辆道路场景信息，将球面投影后的激光雷达点云数据集、去畸变的摄像头图像数据同时输入至训练完成的深度卷积网络模型，实时获取当前帧内的环境目标障碍物的位置和类别；

作为本发明的进一步优选，在第一步中，采用张正友标定法获取摄像头的内参数，采用手动提取特征点求解旋转偏移矩阵的方法获取激光雷达、摄像头的外参数；

作为本发明的进一步优选，在第四步中，对完成标签标注的激光雷达点云数据集进行球面投影包括以下步骤：首先将激光雷达点云数据集进行球面投影，φ代表点和车正前方夹角，θ代表点和水平夹角，φ和θ的计算公式为：

再将得到的角度进行微分，从而得到一个二维的直角坐标系，δθ和δφ指角度微分的分辨率

提取激光雷达点云数据集中每一个点的五个特征:(x,y,z,intensity,range)，放入(i,j)中，其中(x,y,z)为点坐标，intensity为雷达反射强度，range为到原点距离

点云在高度方向根据雷达线束进行采样，水平方向进行512等分采样，高度反向采样数量由激光雷达线束决定，最终获取尺寸为(H,W,C)张量，并将其输入至神经网络进行训练；

图像数据集采用rgb3通道，图像数据集中的障碍物采用x,y二维坐标，并将其输入至神经网络进行训练；

作为本发明的进一步优选，前述第四步中神经网络的训练步骤，具体包括以下步骤：

第41步：从激光雷达点云数据集、图像数据集中抽取两个子数据集，其中两个子数据集中的目标清晰可辨认；

第42步，用以上两个子数据集分别训练图像和点云神经网络，使得卷积层充分学习点云障碍物特征和图像障碍物特征，形成单模态检测网络的卷积层参数；

第43步，将第42步训练出的单模态检测网络的卷积层参数作为激光雷达点云数据和图像数据的特征，不再训练，在后面加上一个1×1的卷积块，然后使用全部数据集进行训练，训练过程中，保持前面训练好的单模态卷积层参数不变，微调卷积层后面其他参数，最终形成训练完成的双模态深度卷积网络模型。

通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

本发明通过激光雷达和摄像头联合校准，得到摄像头视角的激光雷达点云数据集，然后在将数据输入到神经网络之前，首先对激光雷达点云数据集进行球面投影，从而到一个稠密的、二维的数据，然后将激光雷达投影得到的激光雷达点云数据集和摄像头图像分别作为网络的两个输入，分别学习彩色和三维特征，最后通过一个1*1卷积块将两个模态的特征融合，实现基于雷达和视觉前融合的目标检测；该方法不同于传统视觉和雷达分别检测，最后采取加权的后融合方式，采用激光雷达和图像两个对应的输入，分别学习特征，最后融合，可以提高目标识别的准确性，同时获取目标的三维信息。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的优选实施例摄像头拍摄的原始彩色图像图；

图2是本发明的优选实施例的摄像头视角的激光雷达点云图；

图3是本发明的优选实施例的激光雷达数据集进行球面投影；

图4是本发明的优选实施例的基于激光雷达、图像前融合的目标检测方法的总体框架图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

图4所示，本发明的一种基于激光雷达、图像前融合的目标检测方法，包括以下步骤：

第一步：在离线状态下，标定激光雷达以及摄像头的内参数和外参数，对摄像头获取的图片去畸变，实现激光雷达、摄像头的精确配准，即完成空间同步：

图1为摄像头拍摄的原始彩色图像图，图2为摄像头视角的激光雷达点云图。

第二步：激光雷达、摄像头同时实时对车辆在行车过程中的环境进行采集，获取同步时间戳的激光雷达数据、去畸变的图像数据，形成激光雷达点云数据集、图像数据集，即获取完成时间同步的数据；

第三步：将前述获得的激光雷达数据集和图像数据集匹配，只保留摄像头视角的激光雷达点云数据集，然后将图像数据集、激光雷达点云数据集分别进行标签标注；

第四步：将完成标签标注的激光雷达点云数据集进行球面投影，图像数据集不改变，将球面投影后得到的激光雷达点云数据集、图像数据集作为两个输入，分别学习彩色和三维特征，通过一个1×1卷积块将两个模态的特征融合，最终输出一个训练完成的双模态深度卷积网络模型；；

图3是激光雷达数据进行球面投影的示意图；

第五步：在车辆实时运行过程中，激光雷达、摄像头实时捕获车辆道路场景信息，激光雷达点云数据，将球面投影后的激光雷达点云数据集、去畸变的摄像头图像数据同时输入至训练完成的深度卷积网络模型，实时获取当前帧内的环境目标障碍物的位置和类别；

实施例1：

在第一步中，采用张正友标定法获取摄像头的内参数，采用手动提取特征点求解旋转偏移矩阵的方法获取激光雷达、摄像头的外参数；

实施例2：

在第四步中，对完成标签标注的激光雷达点云数据集进行球面投影包括以下步骤：首先将激光雷达点云数据集进行球面投影，φ代表点和车正前方夹角，θ代表点和水平夹角，φ和θ的计算公式为：

再将得到的角度进行微分，从而得到一个二维的直角坐标系，δθ和δφ指角度微分的分辨率

提取激光雷达点云数据集中每一个点的五个特征:(x,y,z,intensity,range)，放入(i,j)中，其中(x,y,z)为点坐标，intensity为雷达反射强度，range为到原点距离

点云在高度方向根据雷达线束进行采样，水平方向进行512等分采样，高度反向采样数量由激光雷达线束决定，最终获取尺寸为(H,W,C)张量，如40线激光雷达，则为(40*512*5)，并将其输入至神经网络进行训练；

图像数据集采用rgb3通道，图像数据集中的障碍物采用x,y二维坐标，并将其输入至神经网络进行训练；

传统的CNN设计多用于二维的图像模式识别(宽×高×通道数)，三维的激光雷达点云数据格式不符合该模式，而且激光雷达点云数据稀疏无规律，这对特征提取都是不利的，因此，在将数据输入到CNN之前，首先对激光雷达数据集进行球面投影。

实施例3：

作为本发明的进一步优选，前述第四步中神经网络的训练步骤，具体包括以下步骤：

第41步：从激光雷达点云数据集、图像数据集中抽取两个子数据集，其中两个子数据集中的目标清晰可辨认；

第42步，用以上两个子数据集分别训练图像和点云神经网络，使得卷积层充分学习点云障碍物特征和图像障碍物特征，形成单模态检测网络的卷积层参数；

第43步，将第42步训练出的单模态检测网络的卷积层参数作为激光雷达点云数据和图像数据的特征，不再训练，在后面加上一个1×1的卷积块，然后使用全部数据集进行训练，训练过程中，保持前面训练好的单模态卷积层参数不变，微调卷积层后面其他参数，最终形成训练完成的双模态深度卷积网络模型。

本发明首先通过激光雷达和摄像头联合校准，得到摄像头视角的激光雷达点云数据，然后在将数据输入到神经网络之前，首先对激光雷达数据集进行球面投影，从而到一个稠密的、二维的数据，之后将激光雷达投影得到的图像和摄像头图像分别作为网络的两个输入，分别学习彩色和三维特征，在最后一个卷积块将两个模态的特征图融合，实现基于雷达和视觉前融合的目标检测；该方法不同于传统视觉和雷达分别检测，最后采取加权的后融合方式，采用激光雷达和图像两个对应的输入，分别学习特征，最后融合，可以提高目标识别的准确性，同时获取目标的类别以及三维信息。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种基于激光雷达、图像前融合的目标检测方法，其特征在于：包括以下步骤：

第一步：在离线状态下，标定激光雷达以及摄像头的内参数和外参数，对摄像头获取的图片去畸变，实现激光雷达、摄像头的精确配准，即完成空间同步：

第二步：激光雷达、摄像头同时实时对车辆在行车过程中的环境进行采集，获取同步时间戳的激光雷达数据、同步时间戳的且去畸变的图像数据，形成激光雷达点云数据集、图像数据集，即获取完成时间同步的数据；

第三步：将前述获得的激光雷达数据集和图像数据集匹配，只保留摄像头视角的激光雷达点云数据集，然后将图像数据集、激光雷达点云数据集分别进行标签标注；

第四步：将完成标签标注的激光雷达点云数据集进行球面投影，图像数据集不改变，将球面投影后得到的激光雷达点云数据集、图像数据集作为两个输入，分别学习彩色和三维特征，通过一个1×1卷积块将两个模态的特征融合，最终输出一个训练完成的深度卷积网络模型；

第五步：在车辆实时运行过程中，激光雷达、摄像头实时捕获车辆道路场景信息，将球面投影后的激光雷达点云数据、去畸变的摄像头图像数据同时输入至训练完成的深度卷积网络模型，实时获取当前帧内的环境目标障碍物的位置和类别。

2.根据权利要求1所述的基于激光雷达、图像前融合的目标检测方法，其特征在于：在第一步中，采用张正友标定法获取摄像头的内参数，采用手动提取特征点求解旋转偏移矩阵的方法获取激光雷达、摄像头的外参数。

3.根据权利要求1所述的基于激光雷达、图像前融合的目标检测方法，其特征在于：在第四步中，对完成标签标注的激光雷达点云数据集进行球面投影包括以下步骤：首先将激光雷达点云数据集进行球面投影，φ代表点和车正前方夹角，θ代表点和水平夹角，φ和θ的计算公式为：

再将得到的角度进行微分，从而得到一个二维的直角坐标系，δθ和δφ指角度微分的分辨率

提取激光雷达点云数据集中每一个点的五个特征:(x,y,z,intensity,range)，放入(i,j)中，其中(x,y,z)为点坐标，intensity为雷达反射强度，range为到原点距离

点云在高度方向根据雷达线束进行采样，水平方向进行512等分采样，高度反向采样数量由激光雷达线束决定，最终获取尺寸为(H,W,C)张量，并将其输入至神经网络进行训练；

图像数据集采用rgb3通道，图像数据集中的障碍物采用x,y二维坐标，并将其输入至神经网络进行训练。

4.根据权利要求3所述的基于激光雷达、图像前融合的目标检测方法，其特征在于：前述第四步中神经网络的训练步骤，具体包括以下步骤：

第41步：从激光雷达点云数据集、图像数据集中抽取两个子数据集，其中两个子数据集中的目标清晰可辨认；

第42步，用以上两个子数据集分别训练图像和点云神经网络，使得卷积层充分学习点云障碍物特征和图像障碍物特征，形成单模态检测网络的卷积层参数；

第43步，将第42步训练出的单模态检测网络的卷积层参数作为激光雷达点云数据和图像数据的特征，不再训练，在后面加上一个1*1的卷积块，然后使用全部数据集进行训练，训练过程中，保持前面训练好的单模态卷积层参数不变，微调卷积层后面其他参数，最终形成训练完成的双模态深度卷积网络模型。