CN114283394A - 一种车载传感器融合的交通目标检测系统 - Google Patents

Abstract

本发明涉及一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控制器包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务。与现有技术相机，本发明能够提高智能驾驶系统环境感知模块的鲁棒性和稳定性。

Description

一种车载传感器融合的交通目标检测系统

技术领域

本发明涉及智能网联汽车领域，尤其涉及一种车载传感器融合的交通目标检测系统。

背景技术

智能汽车周边环境目标的检测是重要的研究内容之一。目前目标检测技术逐渐由平面2D目标检测向空间3D目标检测进行过渡，主要是因为3D目标检测能够输出感知范围内环境目标的类别及在三维空间中的位置、长宽高、方位角等信息。而且，3D目标检测更加适合于检测之后其他任务模块，如目标跟踪、预测和路径规划等。

对于环境3D目标检测的研究，已存在大量可供参考的传感器技术。基于图像的3D目标检测主要利用二维框信息和目标朝向信息，再结合先验假设，得到图像中目标的三维框。基于激光点云的3D目标检测，先通过聚类将目标点云分割，再对分割的点云部分进行回归，完成3D检测。然而，基于单一传感器的3D检测由于传感器缺陷，仅通过传感器算法难以进一步提升检测率。基于车载传感器的目标检测方法在近年不断研究，但交通场景下的交通目标检测系统仍然存在部分问题，主要体现如下：

第一、基于单传感器的3D目标检测无法直接完整获取交通目标的特征，通常依赖于一定假设或先验信息，例如，单相机图像虽包含大量的语义信息，但在极端环境下检测效果较差且无深度信息；激光雷达能够通过激光测距形成三维空间的点云，但点云比较稀疏，容易出现由于目标反射点较少而引起误检或漏检；毫米波更加稀疏，目标级的点云数据通常无法精确判断探测目标的类别和3D框。

其二、基于多传感器的后端融合（目标级融合）依赖于单个传感器的目标检测算法，无法充分结合各自传感器的优势且语义损失较大。后端数据融合方法由于需要考虑各传感器3D目标的特征数据融合，包括数据关联、状态更新、外形融合，传统的点目标模型或椭圆目标模型不适用于3D框目标模型的数据融合，3D框的融合目前存在的研究较少。

第三、基于多传感器的前端融合（像素级、特征级融合）目前效果较好的方法均基于神经网络方法。所提方法大部分均采用传感器数据之间紧密耦合，当一个传感器失效或者数据差异较大，可能直接导致检测系统失效，抗环境扰动能力较差。

环境感知系统是智能汽车的重要系统之一，可提供丰富的环境目标和周围信息，从而顺利完成自动驾驶行驶任务。多传感器融合的环境感知系统研究具有重要实际应用价值。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车载传感器融合的交通目标检测系统。

本发明采用的技术方案是：一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，所述传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控制器中包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务；

融合算法包括图像处理模块、点云处理模块、特征融合模块和检测头模块，所述RGB相机采集的RGB图像、夜视相机采集的夜视图像分别输入到两种传感器模态对应的图像处理模块，所述毫米波雷达的目标级点云、激光雷达激光点云分别输入到对应的所述点云处理模块；所述图像处理模块和所述点云处理模块将图像和点云信息输入到所述特征融合模块后，再由特征融合模块传输到所述检测头模块，最后由所述检测头模块输出3D目标。

进一步地，毫米波雷达的目标级点云中每个点的特征至少包括在毫米波雷达坐标系的横向坐标、纵向坐标、横向速度和纵向速度。

进一步地，激光雷达的激光点云中每个点的特征至少包括在毫米波雷达坐标系的X轴坐标、Y轴坐标、Z轴坐标和反射率。

进一步地，智驾控制器内部集成Linux系统，且通信架构采用ROS或LCM，用以完成软件模块之间的信息交互。

进一步地，融合算法将传感器原始数据经过预处理后，输入至所述融合算法的神经网络；神经网络输出感知区域内的3D目标信息，主要包括中心坐标(x, y, z)、外形尺寸(宽w, 长l, 高h)和朝向(θ)。

进一步地，神经网络包含数据编码模块、特征融合模块和3D目标检测模块三部分。

进一步地，特征融合模块将权重化的传感器数据特征沿地面法向方向堆叠在一起，从而转换成为固定长宽和固定通道数的伪图像特征图；所述特征融合模块将所述伪图像特征图输入至预训练的卷积神经网络模型框架，并将所述卷积神经网络模型最后三个模块的输出特征使用上采样卷积，得到同一尺寸的特征；所述同一尺寸的特征沿通道方向即第1维度堆叠，形成融合特征。

进一步地，3D目标检测模块包括共享层、分类层和回归层；所述融合特征经过所述共享层后，分别通过分类层和回归层，分别分类出对应预设锚框的类别和回归出3D框参数，其中3D框参数包括与对应预设锚框的位置偏差值、外形偏差值和航向角差值。

图像处理模块将输入的三通道图像经过预训练的主干网络进行编码，生成的特征图通过两个上采样模块分别得到特征图和深度预测图；所述特征图表示特征图各像素位置处的特征值；所述深度预测图表示特征图各像素位置处的深度值。通过特征图各像素位置处的特征值和其深度值，可将所述特征图映射至三维空间形成视锥形状的空间特征图。所述空间特征图通过采样生成固定尺寸的体素特征图。所述体素特征图的每个体柱分别编码，并在垂直方向取最大值，最后生成图像鸟瞰图特征。另一方面，所述主干网络的特征图经过权重回归网络，得到图像数据权重W。

点云处理模块先将点云中每个点分布至水平路面网格的体柱。每个所述体柱中所有的点通过多层感知机进行特征提取，并在数量通道方向取极大值，从而每个所述体柱均得到固定长度的特征向量。所述特征向量重新映射至所述水平路面网格，从而得到激光鸟瞰图特征。所述激光鸟瞰图特征经过编码解码模块，生成点云鸟瞰图特征。另一方面，编码解码模块另一条分支经过权重回归模块，得到点云数据权重。

与现有技术相比，本发明具有以下优点：

本发明解决了异构多传感器融合目前存在的部分问题，通过将各车载传感器的数据通过数据处理统一投影至水平地面的鸟瞰图，从而将不同传感器的数据转换为统一表达方式，且转换为卷积神经网络能够处理的数据格式。

本发明将传感器数据的权重引入融合算法，可在不同极端天气下的凸显各传感器数据的重要性，从而提高智能驾驶系统环境感知模块的鲁棒性和稳定性。

本发明在激光雷达点云数据基础上，融合毫米波雷达点云数据后，3D目标检测精度得到明显提升；进一步融合图像数据后，3D目标检测达到最佳性能。

附图说明

图1为一种车载传感器融合的交通目标检测系统架构图。

图2为基于多传感器融合的感知算法架构图。

图3为图像处理模块网络结构图。

图4为点云处理模块网络结构图。

图5为特征融合和目标检测模块网络结构图。

图6为训练数据集、验证数据集和测试数据集随迭代次数的精度变化曲线图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，本发明提供一种车载传感器融合的交通目标检测系统，首先将智能驾驶系统各模块布置至智驾控制器，并将RGB相机、夜视相机、毫米波雷达和激光雷达等传感器通过数据线连接至智驾控制器对应的端口。智驾控制器的CAN端口与线控底盘的CAN线相互连接。智驾控制器内部各模块采用ROS、ZCM或LCM通信架构，使得各算法之间的输入和输出信号能够相互传输。

其中融合算法属于智能驾驶环境感知系统，用于处理输入的多传感器原始数据，得到智能驾驶汽车周边环境目标的3D信息，如图2所示。融合算法中的图像处理模块和点云处理模块分别处理对应传感器的原始信号，将异构传感器的原始数据进行特征提取，并统一转换至统一尺寸鸟瞰视图的特征图。所有的鸟瞰特征图在通道方向进行堆叠，然后经过特征融合模块，进一步提取更高维度的特征，输入至检测头模块完成目标的分类和3D信息的回归。

融合算法中的图像处理模块主要是将三通道图像进行特征处理，将特征转换至三维空间中，进而生成鸟瞰特征图，如图3所示。另外通过一个分支得到当前传感器数据的权重，该权重可体现在后期融合过程中的重要性。图像处理模块中的主干网络为预训练好的网络，通常使用VGG16的前5个block或者Resnet101等网络，由于预训练网络能够较好提取出图像中的语义信息，能够加快融合算法后期的网络收敛，进而得到更加准确的3D目标检测结果。由于红外图像是单通道灰度图，在导入融合算法之前，需要将单通道灰度图沿通道方向复制变成三通道图像。

融合算法中的点云处理模块同样需要将原始点云信息转换生成鸟瞰特征图和生成当前点云数据的权重，如图4所示。为了进一步提取全局点云信息中的高维语义信息，将激光鸟瞰图特征输入值编码解码网络模块中，从而输出的点云鸟瞰图特征中各特征图像素中的特征均包含全局点云的信息。同时编码解码网络模块将编码后的特征可由权重回归模块进一步得到当前点云信息中的权重。

如图5所示，特征融合模块主要是把各传感器的鸟瞰特征图进一步融合，并在不同尺度下提取语义信息，所提取的语义信息通过堆叠，用于3D目标检测模块。检测模块将堆叠的语义信息通过一层卷积层进行处理，然后分别通过两个卷积层分别分类出各锚框对应的目标类别和回归各锚框3D信息的偏差值。

通过类别和偏差值的损失函数反向传播，形成端对端训练进一步修正网络权重，进而在应用过程中完成交通目标的目标检测和3D信息估计。

如图6所示，训练过程中，训练集的精度逐渐提升，但验证集和测试集的精度先升后降，代表网络刚开始逐渐学习，能够较好完成3D目标检测任务，随后出现过拟合。按照常规做法，将各训练阶段的精度进行计算，实验可知：相比较基于单模态激光雷达的3D目标检测，本发明提出的方法融合毫米波雷达信息后，整体检测精度有明显提升；进一步融合图像信息后，能够达到最佳准确度，即精度为33%。

本发明方法解决了异构多传感器融合目前存在的部分问题，通过将各车载传感器的数据通过数据处理统一投影至水平地面的鸟瞰图，从而将不同传感器的数据转换为统一表达方式，且转换为卷积神经网络能够处理的数据格式。同时，本发明将传感器数据的权重引入融合算法，可在不同极端天气下的凸显各传感器数据的重要性，从而提高智能驾驶系统环境感知模块的鲁棒性和稳定性，具有较强的实用性和可靠性等优点。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种车载传感器融合的交通目标检测系统，包括传感器和智驾控制器，其特征在于，所述传感器包括RGB相机、夜视相机、毫米波雷达和激光雷达，所述智驾控制器包括输出3D目标信息的融合算法、运动规划和运动控制三个模块；所述传感器通过数据线将原始数据输入至所述智驾控制器，经过所述智驾控制器的融合算法，通过CAN信号控制线控底盘并完成自动行驶任务；

所述融合算法包括图像处理模块、点云处理模块、特征融合模块和检测头模块，所述RGB相机采集的RGB图像、夜视相机采集的夜视图像分别输入到两种传感器模态对应的图像处理模块，所述毫米波雷达的目标级点云、激光雷达激光点云分别输入到对应的所述点云处理模块；所述图像处理模块和所述点云处理模块将图像和点云信息输入到所述特征融合模块后，再由特征融合模块传输到所述检测头模块，最后由所述检测头模块输出3D目标。

2.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述毫米波雷达的目标级点云中每个点的特征至少包括在毫米波雷达坐标系的横向坐标、纵向坐标、横向速度和纵向速度。

3.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述激光雷达的激光点云中每个点的特征至少包括在毫米波雷达坐标系的X轴坐标、Y轴坐标、Z轴坐标和反射率。

4.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述智驾控制器内部集成Linux系统，且通信架构采用ROS或LCM，用以完成软件模块之间的信息交互。

5.根据权利要求1所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述融合算法将传感器原始数据经过预处理后，输入至所述融合算法的神经网络；神经网络输出感知区域内的3D目标信息，主要包括中心坐标(x, y, z)、外形尺寸(宽w, 长l, 高h)和朝向(θ)。

6.根据权利要求5所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述神经网络包含数据编码模块、特征融合模块和3D目标检测模块三部分。

7.根据权利要求6所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述特征融合模块将权重化的传感器数据特征沿地面法向方向堆叠在一起，从而转换成为固定长宽和固定通道数的伪图像特征图；所述特征融合模块将所述伪图像特征图输入至预训练的卷积神经网络模型框架，并将所述卷积神经网络模型最后三个模块的输出特征使用上采样卷积，得到同一尺寸的特征；所述同一尺寸的特征沿通道方向第1维度堆叠，形成融合特征。

8.根据权利要求6所述的一种车载传感器融合的交通目标检测系统，其特征在于，所述3D目标检测模块包括共享层、分类层和回归层；所述融合特征经过所述共享层后，分别通过分类层和回归层，分别分类出对应预设锚框的类别和回归出3D框参数，其中3D框参数包括与对应预设锚框的位置偏差值、外形偏差值和航向角差值。

Images