CN107609522A - 一种基于激光雷达和机器视觉的信息融合车辆检测系统 - Google Patents

Abstract

本发明涉及一种基于激光雷达和机器视觉的信息融合车辆检测系统，包括毫米波雷达数据处理模块、雷达和视觉的数据融合模块以及基于感兴趣区域的图像检测验证模块；毫米波雷达数据处理模块可以获得相对可靠、较为精确的有效目标及其运动状态信息，作为多传感器数据融合模块的输入；雷达和视觉的数据融合模块可以获得毫米波雷达探测的前方车辆在机器视觉图像像素平面上的投影点，围绕投影点建立感兴趣区域，完成多传感器数据空间融合；图像检测验证模块准确定位前方车辆的成像区域的大小和位置，并验证是否为车辆图像。本发明能够有效地检测车辆前方障碍物，通过对传感器采集的数据进行数据分析和处理，准确、稳定、可靠地甄选出有效跟踪目标。

Description

一种基于激光雷达和机器视觉的信息融合车辆检测系统

技术领域

本发明涉及一种基于激光雷达和机器视觉的信息融合车辆检测系统，属于智能汽车车辆检测领域。

背景技术

安全是围绕汽车的永恒主题。面对严峻的交通安全形势，为了保证乘客的安全和减少经济财产损失，汽车消费者对汽车安全性的期望越来越高，传统的汽车被动安全技术及其安全措施已无法达到现代交通安全的标准，先进的汽车主动安全技术是以预防为核心，已经成为当今交通安全的发展方向，而随着科学技术日新月异的进步，以汽车智能辅助驾驶系统与智能交通委出发点解决交通安全问题，获得了越来越多的关注。

智能辅助驾驶系统实现的关键是对道路前方障碍物识别，典型车辆周围的障碍物主要包括行人、车辆及道路周围设施等。统计资料表明，在整个交通事故中，汽车碰撞引起的事故占有很大的比重，因此前方车辆检测已成为车辆智能辅助驾驶系统领域中备受关注的研究方向。前方车辆检测系统利用安装于自车上的各种传感器对自车前方行驶环境进行探测感知，包括机器视觉传感器、毫米波雷达、激光雷达、红外传感器等，然后通过必要的数据处理给出准确、可靠的危险目标及其运动状态数据，供中央控制系统进行避撞预警决策。

应用于车辆安全方面的传感器进行信息获取，除满足实时性的要求外，更要满足可靠性的要求。然而迄今为止，没有任何一种传感器能保证在任何情况下提供完全可靠的信息。采用多传感器信息融合技术，能够在复杂工作环境下有效克服单一传感器信息获取的局限性，从而克服可靠性低的缺点。

在大量资料搜集和阅读的过程中，发现在车辆检测领域中国目前主要有两种融合技术：视觉与激光传感器的融合以及视觉与毫米波传感器的融合。激光雷达和摄像头的结合，弥补了摄像机难以获取准确的距离信息和激光雷达获取障碍物信息量少的缺点，然而激光雷达与视觉使用的可见光波段频率较高，雨雪大雾等环境因素大大削弱了传感器的感知能力。而毫米波雷达在环境适应能力上较激光雷达更为强大，与视觉信息融合后更具有极大提升车载环境感知能力的潜力，而且毫米波雷达在市场上的成熟度更高，例如博世、德尔福等公司均有代表性的雷达产品。

发明内容

本发明的目的是：分别通过雷达传感器与视觉传感器感知前方障碍物信息，提出数据融合的车辆识别算法，提高系统的抗干扰能力与识别精度、提高传感器的工作范围。

为了达到上述目的，本发明的技术方案是提供了一种基于激光雷达和机器视觉的信息融合车辆检测系统，包括安装在车辆上的毫米波雷达和摄像机，其特征在于，还包括毫米波雷达数据处理模块、雷达和视觉的数据融合模块以及基于感兴趣区域的图像检测验证模块，其中：

毫米波雷达数据处理模块，用于通过毫米波雷达获得相对可靠、较为精确的有效目标及其运动状态信息；

雷达和视觉的数据融合模块，依据毫米波雷达数据处理模块获得的有效目标及其运动状态信息，获取有效目标在通过摄像机获得的机器视觉图像像素平面上的投影点，围绕投影点建立感兴趣区域，完成多传感器数据空间融合；

基于感兴趣区域的图像检测验证模块，用于准确定位感兴趣区域的大小和位置，并验证是否为车辆图像。

优选地，在所述毫米波雷达数据处理模块中设定目标可存活时间，所述毫米波雷达数据处理模块将原始数据中存活时间小于目标可存活时间的目标排除，从而提取出有效目标。

优选地，在所述毫米波雷达数据处理模块中建立有效目标的常常加速度运动模型，基于四阶卡尔曼滤波实现对有效目标的运动状态信息的准确估计。

优选地，有效目标在机器视觉图像像素平面上的投影点的获取方法包括以下步骤：

步骤1、获得毫米波雷达二维平面坐标系与摄像机坐标系之间的转换关系；

步骤2、根据摄像机成像原理，获得摄像机坐标系和像素坐标系之间的转换关系；

步骤3、结合步骤1得到的转换关系以及步骤2得到的转换关系，实现毫米波雷达坐标系和机器视觉图像像素坐标之间的转换，在此基础上获得毫米波雷达探测的有效目标在机器视觉图像像素平面上的投影点。

优选地，所述雷达和视觉的数据融合模块包括用于使得所述毫米波雷达和所述摄像机在时间上同步的多传感器数据时间融合模型。

优选地，围绕投影点建立感兴趣区域的方法为：

以投影点为中心，根据倒金字塔模型，建立随着有效目标距离增加而减小的感兴趣区域。

优选地，所述基于感兴趣区域的图像检测验证模块采用Fast-RCNN，使用基于快速区域卷积神经网络的车辆检测算法，在感兴趣区域内进行遍历性搜索，准确定位有效目标的成像区域的大小和位置，并验证是否为车辆图像。

本发明提出的雷达和机器视觉融合目标检测算法具有准确率高、实时性强和适应度好的优点，在智能交通系统的背景下，以行车环境感知为研究对象，通过检测前方车辆的相对距离等，可计算判断追尾的可能性，并在必要时可以报警以提醒驾驶员。另外，本文的检测对象以车辆为主，但不局限于车辆，可以扩展至其他障碍物的检测，从而应用于未来智能汽车的主动防碰撞系统。

本发明针对目前算法中对毫米波雷达处理不够健全的问题，对原始雷达数据的空信号、噪声、虚假信号以及干扰信号等进行了相应的处理，研究了雷达探测多目标中有效目标的决策算法；建立了基于常加加速度的前车运动状态预估模型，在此基础上，基于四阶卡尔曼滤波进行有效目标运动状态的准确获取，提高了雷达目标获得的有效性和可靠性。

本发明针对目前视觉目标识别算法中的实时性和鲁棒性不高问题，研究了基于快速区域卷积神经网络的目标识别算法。

本发明建立了毫米波和机器视觉的融合模型，通过对雷达和摄像机的标定和各种坐标系之间的转换关系完成毫米波雷达数据和机器视觉检测信息的空间融合，以及多线程技术完成雷达和视觉传感器的时间融合。

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过雷达信息降低了计算数据的维度，减少了达到收敛的迭代次数和时间成本，并且自适应的调整目标区域的scale，提高了算法的精确度和实时性。另外，大数据库的训练使得网络具备多元分类的特点，可以根据实际使用需要对网络进行微调，并相应对雷达数据处理部分进行修改，使网络可变地识别和检测多种障碍物目标。

附图说明

图1是本发明的示意图；

图2是基于fater-cnn的融合雷达信息的深度视觉车辆检测过程。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于机器视觉和Andoird平台的行车安全预警系统，如图1所示，包括毫米波雷达数据处理模块、雷达和视觉的数据融合模块以及基于感兴趣区域的图像检测验证模块。

本发明的毫米波雷达目标检测算法模块由以下三部分工作组成：(1)雷达数据预处理：排除空信号，初选出同车道、纵向距离最近的目标车辆；(2)目标一致性检验，排除噪声、虚假目标、干扰目标等数据，提取有效目标；(3)有效目标的运动状态获取，建立前方有效目标的常常加速度运动模型，基于四阶卡尔曼滤波实现对其运动状态信息的准确估计。

本发明的有效目标的运动状态获取具体如下：一般情况下，毫米波雷达的测量噪声可近似成高斯白噪声，测量数据可以看成是受高斯白噪声干扰的非平稳随机信号。目标运动信息的准确获取即是从含有测量噪声的实际测量数据中进行目标运动状态的最优估计，减小噪声的影响，提高精度。这里采用经典的卡尔曼滤波，根据物理量中位移、速度、加速度、加加速度之间的导数微分关系。

本发明的图像检测验证模块采用的是Fast-RCNN，它的网络结构整体包括：13个卷积层，4个池化层，1个感兴趣区域(以下简称为RoI，Region of Interest)池化层，2个全连接层和2个并行层(即Softmax Loss layer和SmoothL1 Loss layer)。其网络模型复用了VGG训练ImageNet得到的网络模型，即VGG16模型以初始化Fast-RCNN中RoI池化层之前的所有层，而原来VGG16中第5个池化层被新的RoI池化层替换掉。

图像检测验证模块的网络模型整体训练过程为：输入一幅图像和选择性搜索方法生成的一系列proposals，通过一系列卷积层和池化层生成特征图，然后用RoI池化层处理最后一个卷积层输出的特征图，为每一个proposal生成一个定长的特征向量。RoI层的输出接着输入到全连接层，产生最终用于多任务学习的特征并用于计算多任务误差函数。全连接的输出包括两个同等水平的子层，分别用于分类和回归。一个是Softmax Loss，对应于分类，计算K+1类的分类误差函数，其中K+1表示K个目标类别和背景；另一个是smoothL1Loss，对应于回归，即K+1的分类结果相应的proposal的边界框四个角的点坐标值。用于softmax分类任务和边界框回归的全连接层参数用标准差介于0.01～0.001之间的高斯分布初始化。两种Loss的权重比例为1∶1，最终将所有结果通过非极大抑制处理产生最终的目标检测和识别结果。在检测端使用截断的奇异值分解(truncated SVD)优化较大的全连接层，这样RoI数目较大时检测端速度会得到加速。

本发明的数据融合模块分为c两部分：(1)第一次融合：基于雷达信息提取RoI：车辆检测过程在RoI内进行，定义RoI是基于场景定义的多边形掩模。图像掩码在RoI多边形返回1，在图中所示的其他位置返回0。通过定义RoI，可以限制视频的处理区域，从而减少网络训练需要的计算时间和存储器消耗。此外，RoI区域消除了来自周围环境的干扰，并且将道路上的处理区域聚焦在一起。使用图像倍增技术，掩模外部的区域将返回0，这样可以消除车道以外的区域。基于雷达信息的感兴趣区域将由卷积神经网络训练的分类器进行识别判断该区域内是否存在车辆，因此感兴趣区域的定义将直接影响到融合结果。(2)第二次融合：候选区域：车辆检测系统中，分类的过程是判断某一个检测窗口是否有车辆，即对检测窗口有车区域和无车区域进行二分类，而定位则要指出图像中车辆的具体位置，并赋予其在该位置车辆存在的概率值。传统的分类定位方法为滑动窗口法，其主要思想是用一个固定像素尺寸的窗口，在图像的多尺度空间内，以特定的步长滑动窗口遍历图像。统计其概率值，从而标记出车辆于图中的位置，然而其存在计算量较大，不易于实现实时检测。Fast-RCNN中采用就是图像区域化，提取多个候选区域进行训练，再整合区域分类得到的结果。而融合了雷达信息的RoI降低了原始像素，可以根据雷达测得的目标距离自动调整划分候选区域的大小。如果距离远，显然RoI大，放大区域大小，如果目标近，则缩小区域大小。

Claims (7)

1.一种基于激光雷达和机器视觉的信息融合车辆检测系统，包括安装在车辆上的毫米波雷达和摄像机，其特征在于，还包括毫米波雷达数据处理模块、雷达和视觉的数据融合模块以及基于感兴趣区域的图像检测验证模块，其中：

毫米波雷达数据处理模块，用于通过毫米波雷达获得相对可靠、较为精确的有效目标及其运动状态信息；

雷达和视觉的数据融合模块，依据毫米波雷达数据处理模块获得的有效目标及其运动状态信息，获取有效目标在通过摄像机获得的机器视觉图像像素平面上的投影点，围绕投影点建立感兴趣区域，完成多传感器数据空间融合；

基于感兴趣区域的图像检测验证模块，用于准确定位感兴趣区域的大小和位置，并验证是否为车辆图像。

2.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，在所述毫米波雷达数据处理模块中设定目标可存活时间，所述毫米波雷达数据处理模块将原始数据中存活时间小于目标可存活时间的目标排除，从而提取出有效目标。

3.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，在所述毫米波雷达数据处理模块中建立有效目标的常常加速度运动模型，基于四阶卡尔曼滤波实现对有效目标的运动状态信息的准确估计。

4.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，有效目标在机器视觉图像像素平面上的投影点的获取方法包括以下步骤：

步骤1、获得毫米波雷达二维平面坐标系与摄像机坐标系之间的转换关系；

步骤2、根据摄像机成像原理，获得摄像机坐标系和像素坐标系之间的转换关系；

步骤3、结合步骤1得到的转换关系以及步骤2得到的转换关系，实现毫米波雷达坐标系和机器视觉图像像素坐标之间的转换，在此基础上获得毫米波雷达探测的有效目标在机器视觉图像像素平面上的投影点。

5.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，所述雷达和视觉的数据融合模块包括用于使得所述毫米波雷达和所述摄像机在时间上同步的多传感器数据时间融合模型。

6.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，围绕投影点建立感兴趣区域的方法为：

以投影点为中心，根据倒金字塔模型，建立随着有效目标距离增加而减小的感兴趣区域。

7.如权利要求1所述的一种基于激光雷达和机器视觉的信息融合车辆检测系统，其特征在于，所述基于感兴趣区域的图像检测验证模块采用Fast-RCNN，使用基于快速区域卷积神经网络的车辆检测算法，在感兴趣区域内进行遍历性搜索，准确定位有效目标的成像区域的大小和位置，并验证是否为车辆图像。