CN109720275A - 基于神经网络的多传感器融合车辆环境感知系统 - Google Patents

Abstract

本发明公开了基于神经网络的多传感器融合车辆环境感知系统，包括车辆传感器模块、数据处理模块和融合处理模块，所述车辆传感器模块包括：光线传感器、雨量传感器、雷达传感器、激光传感器以及摄像头，所述数据处理模块包括：电源电路、通信电路、数据格式转换电路、中央处理器以及存储电路，所述电源电路、通信电路、数据格式转换电路以及存储电路分别与中央处理器通过导线连接。该基于神经网络的多传感器融合车辆环境感知系统，主要在于采用了多传感器融合技术及多个神经网络组合叠加运算方式，使得整个系统在各种路况、天气条件下都比传统单传感器判别系统所得到的结果更加准确。

Description

基于神经网络的多传感器融合车辆环境感知系统

技术领域

本发明涉及智能汽车技术领域，具体为基于神经网络的多传感器融合车辆环境感知系统。

背景技术

在车辆环境感知中，每一种传感器都有独特的优势和弱点。例如，毫米波雷达可在低分辨率情况下完成测距，且受天气因素影响小；而摄像头有更高的分辨率，能够感知颜色，但受强光影响较大；激光雷达则能够提供三维尺度感知信息，对环境的重构能力更强。

车辆传感器融合感知的优势在于获得不同传感器和传感器种类的输入内容，并且使用组合在一起的信息来更加准确地感知周围的环境。

1、优势互补

例如利用光线雨量感应器所产生的组合数据判断当前天气情况，并对雷达、摄像头所获得的数据作补偿处理。雷达也许不具有激光传感器所具有的分辨率，不过它在测距和穿透雨、雪和浓雾方面具有很大优势。这些天气条件或光照不足的恶劣情况不利于摄像头发挥作用，不过摄像头能够分辨颜色，并且具有很高的分辨率。

2、提供冗余度

使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因(诸如一团浓雾)或是人为现象(例如对摄像头或雷达的电子干扰或人为干扰)导致。即使是在一个传感器失效的情况下，这样的传感器融合系统也可以保持某些基本或紧急的功能。

3、准确建模

将多种传感器数据融合，得到各种复杂道路情况下准确的目标状态，是实现自动驾驶的必由之路。

发明内容

本发明的目的在于提供基于神经网络的多传感器融合车辆环境感知系统，以解决车辆单一传感器感知单元在不同工况、不同环境下存在的局限性。

为实现上述目的，本发明提供如下技术方案：基于神经网络的多传感器融合车辆环境感知系统，包括车辆传感器模块、摄像头、数据处理模块和融合处理模块；

所述车辆传感器模块包括：光线传感器、雨量传感器、雷达传感器和激光传感器；

所述数据处理模块包括：电源电路、通信电路、数据格式转换电路、中央处理器以及存储电路，所述电源电路、通信电路、数据格式转换电路以及存储电路分别与中央处理器通过电性连接，所述光线传感器、雨量传感器、雷达传感器、激光传感器以及摄像头分别与中央处理器通过电性连接；

所述融合处理模块包括：特征提取单元、图像检测单元、数据融合处理单元、结果输出单元。

优选的，所述光线传感器和雨量传感器设置在车辆的挡风玻璃上。

优选的，所述雷达传感器和激光传感器分为两组，一组设置在车辆的前后两端，另外一组设置在两侧车门上。

优选的，设置在车辆前后两端的雷达传感器前后各一个，且设置在距离地面50厘米至55厘米的车辆壳体上，设置在两侧车门上的雷达传感器每个车门各一个。

优选的，设置在车辆前后两端的雷达传感器采用77G赫兹毫米波雷达，设置在两侧车门上的雷达传感器采用24G赫兹毫米波雷达。

优选的，所述摄像头为多个，分别设置在车辆的前后两端，设置在车辆前端的摄像头位于车内的后视镜上，其为三目摄像头，设置在车辆后端的摄像头位于后备箱盖上，其为单目摄像头。

优选的，所述中央处理器包括CPU以及GPU，两者为一体结构，均设置在车辆的内部；所述通信电路以信号方式与远程方通信，通信电路通过GPS定位车辆当前坐标。

优选的，所述数据融合处理单元的多传感器融合方法包括以下步骤：

300：摄像头图像采集，采集到的图像数据进入CNN网络；

301：通过特征提取单元进行特征提取；

302：对CNN网络进行迭代并输出CNN输出数据：

S1:对特征提取的数据进行参数更新；

S2:根据梯度下降情况，判断是否达到损失函数收敛的标准，若已达到，则输出CNN输出数据进行下一步操作，若未达到，则返回到S1步进行参数更新，继续进行迭代；

所述CNN输出数据包含含目标分割和准确率的数据；

303：将CNN输出数据和车辆传感器模块采集的数据作为BP网络的输入参数，进入BP网络；

304：通过参数更新、梯度下降以及损失函数收敛的标准判断对BP网络进行迭代，若已达到，则输出BP网络输出数据进行下一步操作，若未达到，则继续对BP网络进行迭代，继续进行数据更新；

305：得到BP网络输出数据；

所述BP网络输出数据包含目标类型、距离和特征的数据。

优选的，所述BP网络的隐藏层激活函数使用修正线性单元ReLU(x)：

所述BP网络的输出层激活函数为多分类问题：

所述BP网络的损失函数Loss为：

Loss＝-∑_iy_ilna_i；

上述BP网络的变量和参数为BP网络常用变量和参数。

优选的，分别单独训练CNN网络和BP网络，再连接CNN网络和BP网络进行最终调试。

与现有技术相比，本发明的有益效果是：该基于神经网络的多传感器融合车辆环境感知系统，主要在于采用了多传感器融合技术及多个神经网络组合叠加运算方式，使得整个系统在各种路况、天气条件下都比传统单传感器判别系统所得到的结果更加准确。

附图说明

图1为本发明的传感器以及摄像头与中央处理器连接原理图；

图2为本发明的卷积神经网络数据分析图；

图3为本发明神经网络的多传感器融合算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本发明提供一种技术方案：基于神经网络的多传感器融合车辆环境感知系统，包括车辆传感器模块、数据处理模块和融合处理模块，车辆传感器模块包括：光线传感器、雨量传感器、雷达传感器、激光传感器以及摄像头，光线传感器和雨量传感器设置在车辆的挡风玻璃上，雷达传感器和激光传感器分别为多组，设置车辆的前后两端以及两侧车门上，两个分别设在车辆前后两端的雷达传感器采用77G赫兹毫米波雷达，且设置在距离地面50厘米至55厘米的车辆壳体上，四个分别对应设在两侧车门上的雷达传感器采用24G赫兹毫米波雷达，摄像头为多个，分别设置在车辆的前后两端，设置在车辆前端的摄像头位于车内的后视镜上，其为三目摄像头，设置在车辆后端的摄像头位于后备箱盖上，其为单目摄像头；

数据处理模块包括：电源电路、通信电路、数据格式转换电路、中央处理器以及存储电路，电源电路、通信电路、数据格式转换电路以及存储电路分别与中央处理器通过导线连接，光线传感器、雨量传感器、雷达传感器、激光传感器以及摄像头分别与中央处理器通过导线连接，中央处理器包括CPU以及GPU，两者为一体结构，均设置在车辆的内部，通信电路以信号方式与远程方通信，通信电路通过GPS定位车辆当前坐标，存储电路为存储器，可执行一个或多个指令；

融合处理模块包括：特征提取单元、图像检测单元、数据融合处理单元、结果输出单元。

参阅图3，数据融合处理单元的多传感器融合方法包括以下步骤：

300：摄像头图像采集，采集到的图像数据进入CNN网络；

301：通过特征提取单元进行特征提取；

302：对CNN网络进行迭代并输出CNN输出数据：

S1:对特征提取的数据进行参数更新；

S2:根据梯度下降情况，判断是否达到损失函数收敛的标准，若已达到，则输出CNN输出数据进行下一步操作，若未达到，则返回到S1步进行参数更新，继续进行迭代；

CNN输出数据包含含目标分割和准确率的数据；

303：将CNN输出数据和车辆传感器模块采集的数据作为BP网络的输入参数，进入BP网络；

304：通过参数更新、梯度下降以及损失函数收敛的标准判断对BP网络进行迭代，若已达到，则输出BP网络输出数据进行下一步操作，若未达到，则继续对BP网络进行迭代，继续进行数据更新；

305：得到BP网络输出数据；

BP网络输出数据包含目标类型、距离和特征的数据。

BP网络的隐藏层激活函数使用修正线性单元ReLU(x)：

所述BP网络的输出层激活函数为多分类问题：

所述BP网络的损失函数Loss为：

Loss＝-∑_iy_ilna_i；

上述BP网络的变量和参数为BP网络常用变量和参数。

分别单独训练CNN网络和BP网络，再连接CNN网络和BP网络进行最终调试。

本发明的工作原理：本方案中车辆传感器模块负责车辆环境的探测，光线传感器检测车辆外部光线感知情况；雨量传感器设置在车辆前方，检测是否处于雨天路况；雷达和激光传感器用于测量车辆与周围物体的距离；摄像头设置与车辆前后左右方位，用于车辆周围环境图像的感知。

上述车辆传感器模块所获取的数据最终传输到中央数据处理模块，该模块内置于车辆中。数据处理模块首先对传感器数据进行预处理，提取出符合一定格式要求的特征数据作为数据处理的输入。摄像头所产生图像数据进入图像检测模块，使用CNN网络(卷积神经网络)对图像进行语义分割，识别图像中的人、车、道路等，最终输出标注数据。图像分割后的标注数据再次与其它传感器数据进行融合，得到BP网络(BP神经网络)的输入数据，经处理后最终得到综合了各个传感器数据，采取不同权值组合运算的车辆环境数据。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于神经网络的多传感器融合车辆环境感知系统，包括车辆传感器模块、摄像头、数据处理模块和融合处理模块，其特征在于：

所述车辆传感器模块包括：光线传感器、雨量传感器、雷达传感器和激光传感器；

所述数据处理模块包括：电源电路、通信电路、数据格式转换电路、中央处理器以及存储电路，所述电源电路、通信电路、数据格式转换电路以及存储电路分别与中央处理器通过电性连接，所述光线传感器、雨量传感器、雷达传感器、激光传感器以及摄像头分别与中央处理器通过电性连接；

所述融合处理模块包括：特征提取单元、图像检测单元、数据融合处理单元、结果输出单元。

2.根据权利要求1所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：所述光线传感器和雨量传感器设置在车辆的挡风玻璃上。

3.根据权利要求2所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：所述雷达传感器和激光传感器分为两组，一组设置在车辆的前后两端，另外一组设置在两侧车门上。

4.根据权利要求3所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：设置在车辆前后两端的雷达传感器前后各一个，且设置在距离地面50厘米至55厘米的车辆壳体上，设置在两侧车门上的雷达传感器每个车门各一个。

5.根据权利要求4所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：设置在车辆前后两端的雷达传感器采用77G赫兹毫米波雷达，设置在两侧车门上的雷达传感器采用24G赫兹毫米波雷达。

6.根据权利要求5所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：所述摄像头为多个，分别设置在车辆的前后两端，设置在车辆前端的摄像头位于车内的后视镜上，其为三目摄像头，设置在车辆后端的摄像头位于后备箱盖上，其为单目摄像头。

7.根据权利要求6所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：所述中央处理器包括CPU以及GPU，两者为一体结构，均设置在车辆的内部；所述通信电路以信号方式与远程方通信，通信电路通过GPS定位车辆当前坐标。

8.根据权利要求1～7之一所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：所述数据融合处理单元的多传感器融合方法包括以下步骤：

300：摄像头图像采集，采集到的图像数据进入CNN网络；

301：通过特征提取单元进行特征提取；

302：对CNN网络进行迭代并输出CNN输出数据：

S1:对特征提取的数据进行参数更新；

S2:根据梯度下降情况，判断是否达到损失函数收敛的标准，若已达到，则输出CNN输出数据进行下一步操作，若未达到，则返回到S1步进行参数更新，继续进行迭代；

所述CNN输出数据包含含目标分割和准确率的数据；

303：将CNN输出数据和车辆传感器模块采集的数据作为BP网络的输入参数，进入BP网络；

304：通过参数更新、梯度下降以及损失函数收敛的标准判断对BP网络进行迭代，若已达到，则输出BP网络输出数据进行下一步操作，若未达到，则继续对BP网络进行迭代，继续进行数据更新；

305：得到BP网络输出数据；

所述BP网络输出数据包含目标类型、距离和特征的数据。

9.根据权利要求8所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：

所述BP网络的隐藏层激活函数使用修正线性单元ReLU(x)：

所述BP网络的输出层激活函数为多分类问题：

所述BP网络的损失函数Loss为：

Loss＝-∑_iy_ilna_i；

上述BP网络的变量和参数为BP网络常用变量和参数。

10.根据权利要求8所述的基于神经网络的多传感器融合车辆环境感知系统，其特征在于：分别单独训练CNN网络和BP网络，再连接CNN网络和BP网络进行最终调试。