CN109703460A - 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 - Google Patents

Abstract

本发明提供一种多摄像头的复杂场景自适应车辆碰撞预警装置及方法，本发明的多摄像头感知模块包括焦距依次减小的三个固定焦距式摄像头，多摄像头感知模块将探测到的前方图像信息传输给数据处理与计算模块；数据处理与计算模块根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，生成碰撞预警信息；碰撞报警模块接收该碰撞预警信息，并且产生报警信息给驾驶员进行报警提示。本发明的三个固定焦距摄像头，既覆盖较宽探测的范围，又避免使用变焦距相机带来的成本高、体积尺寸大的问题；预警方法将分类器进行场景分类，使级联分类器体积小，检测效率高，更使对应场景下的车辆特征突出，使系统的复杂场景自适应能力高。

Description

多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法

技术领域

本发明属于汽车电子与主动安全技术领域，具体涉及一种多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法。

背景技术

随着经济的快速发展与汽车保有量的快速增长，汽车安全问题越来越受到重视。为了提高汽车行驶安全性和减少交通事故的发生，各种汽车主动安全技术和系统在汽车上的应用越来越多，其中车辆碰撞预警装置备受关注。车辆碰撞预警装置利用先进传感器技术感知行驶状态信息，进行危险状态判别与分析，并对潜在的碰撞风险进行报警提示，能够有效提高车辆的行驶安全性。摄像头图像由于包含丰富的行驶环境信息、较低的硬件成本，成为车辆碰撞预警装置主流的传感器类型。一方面，基于单目摄像头和双目立体摄像头的车辆碰撞预警系统，由于摄像头的焦距固定，只能实现特定距离范围内的车辆和障碍物检测。长焦摄像头能够探测较远处障碍物，但由于视角范围小难以覆盖车辆近处行驶环境；短焦摄像头能够覆盖车辆近处的检测范围，但是难以对远处障碍物进行检测。实时上，车辆行驶速度基本上会处于0-120km/h之间，要求摄像头能够对0-250m范围内的车辆和障碍物进行可靠检测，显然固定焦距摄像头难以满足。另一方面，车辆检测的准确性以及车辆测距的精确性是车辆碰撞预警系统能否发挥主动安全作用的关键。车辆实际行驶场景复杂多变，例如光线、天气等诸多外界因素变化，直接影响车辆特征提取。而目前车辆检测算法主要通过实时图像数据、依靠提取车辆特征实现车辆检测，车辆特征的变化直接导致车辆检测的准确性降低。此外，车辆测距算法的重要性主要体现在相对车速与相对距离的计算，车辆测距算法主要依据目标车辆在数据图像中的位置以及摄像头的安装参数，而在实际行驶中，路面不平、坡道、减速带等道路因素的变化直接导致目标车辆在数据图像中的位置发生骤变，进而引起相对车速和相对车距的骤变，导致预警信息的准确性和时效性难以保证。可见，现有车辆碰撞预警装置需要综合解决远中近探测范围全覆盖、车辆检测与测距可靠性和准确性的问题。

发明内容

本发明的目的是提供一种多摄像头的复杂场景自适应车辆碰撞预警装置以及预警方法，用于解决车辆远中近探测范围全覆盖，以及复杂场景自适应问题，从而提高车辆检测准确性和测距精确性。

本发明提供了如下的技术方案：

一种多摄像头的复杂场景自适应车辆碰撞预警装置，包括多摄像头感知模块、数据处理与计算模块和碰撞报警模块，所述多摄像头感知模块连接所述数据处理与计算模块，将探测到的前方道路和障碍物图像信息传输给数据处理与计算模块；所述多摄像头感知模块包括焦距依次减小的第一摄像头、第二摄像头和第三摄像头，所述第一摄像头、所述第二摄像头和所述第三摄像头均为固定焦距摄像头；所述数据处理与计算模块用于根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，根据前后车距、相对速度以及前车运动状态预测，计算生成碰撞预警信息发送给碰撞报警模块；所述碰撞报警模块用于接收所述数据处理与计算模块输出碰撞的预警信息，并且产生报警信息给驾驶员进行报警提示。

优选的，所述数据处理与计算模块包括电源模块、编码模块、处理模块和存储模块；所述电源模块用于给所述编码模块、所述处理模块和所述存储模块供电；所述编码模块用于对所述第一摄像头、所述第二摄像头和所述第三摄像头发送的图像信息进行编码处理，并转化成统一的数据格式发送给所述处理模块；所述处理模块用于进行图像处理、车辆检测和跟踪以及碰撞预警方法计算，生成碰撞预警信息发送给碰撞报警模块；所述存储模块用于存放所述处理模块工作中产生的运算数据以及碰撞方法代码程序。

优选的，所述处理模块包括依次连接的摄像头图像采集模块、行驶场景感知模块、车辆检测与跟踪模块和碰撞风险计算模块；所述摄像头图像采集模块用于采集所述编码模块发送的三个摄像头图像原始信息，进行图像预处理；所述行驶场景感知模块用于接收摄像头图像采集模块实时发送的当前车辆前方图像信息，并且进行场景划分，以及判断车辆当前处于何种行驶场景；所述车辆检测与跟踪模块用于依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；所述碰撞风险计算模块用于根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析，并生成预警信息发送给所述碰撞报警模块。

优选的，所述碰撞报警模块包括振动报警模块和多媒体报警模块，所述多媒体报警模块包括显示屏和喇叭；所述处理模块分别连接所述振动报警模块和所述多媒体报警模块；多媒体报警模块上设有报警方式控制开关，所述报警方式控制开关用于控制所述多媒体报警模块的开启或者关闭。

本发明还提供上述多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，包括如下步骤：

(1)所述多摄像头感知模块将探测到的前方道路和障碍物图像信息传输给所述编码模块；

(2)所述编码模块对所述多摄像头感知模块发送的图像信息进行编码处理，并转化成统一的数据格式，发送给所述处理模块中的摄像头图像采集模块；

(3)所述摄像头图像采集模块采集所述编码模块发送的多摄像头图像信息，进行图像预处理，包括滤波、降噪和图像格式转换；

(4)所述行驶场景感知模块接收所述摄像头图像采集模块实时发送的当前车辆前方图像信息，根据行驶路况与行驶环境的灰度直方图进行场景划分，并根据预设的环境感知算法，判断车辆当前处于何种行驶场景；

(5)所述车辆检测与跟踪模块依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；

(6)所述碰撞风险计算模块根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析并生成预警信息，发送给所述碰撞报警模块；

(7)所述碰撞报警模块根据接收到的预警信息进行相应的报警动作。

优选的，在上述步骤(3)中，所述摄像头图像采集模块将所述多摄像头感知模块发送的RGB格式原始图像转换为灰度图格式。

优选的，在上述步骤(4)中，行驶场景感知模块将多摄像头感知模块的图像进行如下场景感知区域划分：

第一场景感知区域：图像中心正上方底边100×500像素区域；

第二场景感知区域：图像中心正下方底边100×300像素区域；

第三场景感知区域：图像左上方50×300像素区域；

第四场景感知区域：图像右上方50×300像素区域；

所述行驶场景感知模块实时计算各个场景感知区域的灰度直方图与平均灰度直方图，提取当前场景的场景特征，确定当前车辆的所处的行驶场景。

优选的，当前行驶场景的确定过程包括以下步骤：

(a)设置第一场景感知区域的平均灰度阈值，对第一场景感知区域的平均灰度直方图和平均灰度阈值进行比较，判断当前路况是白天环境还是夜间环境；

(b)当第一场景感知区域判定为白天环境后，由于第二场景感知区域反映地面灰度信息，因此依据第一场景感知区域和第二场景感知区域的平均灰度直方图，联合判断当前路况为强光环境还是弱光环境；

(c)通过第一场景感知区域、第三场景感知区域和第四场景感知区域的灰度直方图和平均灰度直方图，联合判断当前路况为普通路况还是特殊路况；分析特殊路况的灰度信息可知，特殊路况所处环境明暗交替明显，整体环境又接近弱光环境或夜间环境，因此，若通过第三场景感知区域和第四场景感知区域提取了明暗交替特征，再通过第一场景感知区域排除夜间环境，即确认为特殊路况。

优选的，所述车辆检测与跟踪模块的具体工作步骤为：

1)所述车辆检测与跟踪模块根据所述行驶场景感知模块输出的场景分类结果，分别选取出大量车辆图片和非车辆图片作为训练集的正、负样本，并将正、负样本规格化到18×18像素下；

2)分别使用Haar特征对规格化后的每一幅正、负样本进行表征，形成特征向量；

3)对Haar特征形成的特征向量分别构建场景分类弱分类器；

4)利用级联的Adaboost算法对场景弱分类器进行训练，得到对应场景分类级联车辆检测强分类器；

5)对摄像头获得的当前车辆行驶前方图像数据，将车辆检测区域中各种尺寸、各种位置的子图像输入级联车辆强分类器中进行分区域车辆检测：

区域一：108×120像素区域，检测尺寸范围18-35像素，步长2像素；

区域二：220×144像素区域，检测尺寸范围35-70像素，步长5像素；

区域三：380×320像素区域，检测尺寸范围70-140像素，步长10像素；

区域四：760×560像素区域，检测尺寸范围140-280像素，步长20像素；

区域五：960×720像素区域，检测尺寸范围280-700像素，步长30像素。

6)所述车辆检测与跟踪模块按照区域五、区域四、区域三、区域二、区域一依次循环检测，每次只检测一个区域，并利用包含车辆底部阴影特征、车辆尾部局部对称性特征、车辆尾部轮廓特征和车辆轮胎特征来进行车辆检测综合修正，实现车辆的精确检测和准确跟踪；

7)利用三阶Beizer曲线拟合方式进行前方目标车辆测距，以当前车辆行驶图像数据消失点和底边Y坐标作为曲线端点P0和P3，采用参数设定法构造控制点P1和P2，根据所述候选车辆底部阴影线与消失点的Y方向像素差，计算候选车辆与当前车辆实时距离：

B_n(t)＝P₀(1-t)³+3P₁t(1-t)²+3P₂t²(1-t)+P₃t³

8)采用方向梯度直方图HOG算法对目标车辆进行实时跟踪，当跟踪目标车辆超越车辆检测区域最大范围时停止跟踪。

优选的，所述碰撞风险计算模块包括三个级别的报警，相应的工作过程为：

1)碰撞风险计算模块接收到车辆检测与跟踪模块发送的信息，判断目标车辆是否存在，若存在，则触发一级报警，一级报警为多媒体报警模块中的图像和声音报警提醒；

2)若触发一级报警，则碰撞风险计算模块继续实时计算车距时间THW和相对加速度ACC的值，若THW和ACC的值均小于设定的报警阈值，则触发二级报警，二级报警为振动报警；

其中THW的计算公式为：

THW＝D/V₀

式中，D是目标车和本车的相对距离，由车辆检测与跟踪模块输出，V₀是本车的车速，可从车辆的CAN总线上获取；

其中ACC的计算公式为：

V_t＝(D_t-D_t-1)/t

ACC＝(V_t-V_t-1)

式中，下标t和t-1分别代表摄像头输出图像的当前帧时刻和上一帧时刻；

3)若触发二级报警，则碰撞风险计算模块实时计算碰撞时间TTC，TTC为相对距离D和相对速度V_t的比值；若TTC小于设定的报警阈值，则触发三级报警，三级报警为振动报警、图像报警和声音报警同时工作。

本发明的有益效果是：本发明采用三个固定焦距摄像头的组合，既解决了较宽探测范围的全覆盖，又避免了使用变焦距相机带来的成本高、体积尺寸大、不便于安装的问题；本发明的预警方法将用于车辆检测的分类器进行场景分类，不仅使级联分类器体积更小，改善检测效率、提高检测速率，更使对应场景下的车辆特征突出、针对性强、便于该场景下车辆特征提取，提高了车辆检测击中率、降低了车辆检测虚警率，使得系统具有较高的复杂场景自适应能力。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明中车辆碰撞预警装置原理图；

图2为本发明中的处理模块组成图；

图3为本发明中的行驶场景感知模块工作流程图；

图4为本发明中的车辆检测与跟踪模块工作流程图；

图5为本发明中的碰撞风险计算模块工作流程图。

具体实施方式

实施例1

如图1和图2所示，本实施例提供一种多摄像头的复杂场景自适应车辆碰撞预警装置，包括多摄像头感知模块、数据处理与计算模块和碰撞报警模块，多摄像头感知模块连接数据处理与计算模块，将探测到的前方道路和障碍物图像信息传输给数据处理与计算模块；多摄像头感知模块包括焦距依次减小的第一摄像头、第二摄像头和第三摄像头，第一摄像头、第二摄像头和第三摄像头均为固定焦距摄像头；数据处理与计算模块用于根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，根据前后车距、相对速度以及前车运动状态预测，计算生成碰撞预警信息发送给碰撞报警模块；碰撞报警模块用于接收数据处理与计算模块输出碰撞的预警信息，并且产生报警信息给驾驶员进行报警提示。

第一摄像头、第二摄像头和第三摄像头集成安装在同一个外壳内，通过安装支架粘贴安装在汽车挡风玻璃内部，朝车辆前进方向探测前方道路图像信息。第一摄像头采用25mm焦距镜头，覆盖汽车前进方向150-250m范围内的车辆及道路障碍物探测；第二摄像头采用12mm焦距镜头，覆盖汽车前进方向50-150m范围内车辆及道路障碍物探测；第三摄像头采用4mm焦距镜头，覆盖汽车前进方向0-50m范围内车辆及障碍物探测。采用三个固定焦距摄像头的组合，既解决了较宽探测范围的全覆盖，又避免使用变焦距相机带来的成本高、体积尺寸大、不便于安装的问题。

数据处理与计算模块包括电源模块、编码模块、处理模块和存储模块；电源模块用于给编码模块、处理模块、存储模块、多摄像头感知模块和碰撞报警模块供电；编码模块用于对第一摄像头、第二摄像头和第三摄像头发送的图像信息进行编码处理，并转化成统一的数据格式发送给处理模块；处理模块用于进行图像处理、车辆检测和跟踪以及碰撞预警方法计算，生成碰撞预警信息发送给碰撞报警模块；存储模块用于存放处理模块工作中产生的运算数据以及碰撞方法代码程序。

碰撞报警模块包括振动报警模块和多媒体报警模块。振动报警模块接收处理模块发送的碰撞报警信息，控制内置偏心马达转动，从而对驾驶员进行触觉振动报警提醒。多媒体报警模块包括显示屏和喇叭，多媒体报警模块可以接收处理模块发送的碰撞报警信息，对驾驶员进行图像和/或声音报警提示。多媒体报警模块上安装有报警方式控制开关，通过打开或者关闭报警方式控制开关可以控制多媒体报警模块是否工作，从而实现只使用振动报警模块仅仅对驾驶员进行安全预警并采取安全举措，避免图形和声音报警给乘客造成不必要的恐慌。

处理模块包括依次连接的摄像头图像采集模块、行驶场景感知模块、车辆检测与跟踪模块和碰撞风险计算模块；摄像头图像采集模块用于采集编码模块发送的三个摄像头图像原始信息，进行图像预处理；行驶场景感知模块用于接收摄像头图像采集模块实时发送的当前车辆前方图像信息，并且进行场景划分，以及判断车辆当前处于何种行驶场景；车辆检测与跟踪模块用于依据行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；碰撞风险计算模块用于根据车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析，并生成预警信息发送给碰撞报警模块。

实施例2

如图1和图2所示，本实施例提供上述多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，包括如下步骤：

(1)多摄像头感知模块将探测到的前方道路和障碍物图像信息传输给编码模块；

(2)编码模块对多摄像头感知模块发送的图像信息进行编码处理，并转化成统一的数据格式，发送给处理模块中的摄像头图像采集模块；

(3)摄像头图像采集模块采集编码模块发送的多摄像头图像信息，进行图像预处理，包括滤波、降噪和图像格式转换，将多摄像头感知模块发送的RGB格式原始图像转换为灰度图格式。

(4)行驶场景感知模块接收摄像头图像采集模块实时发送的当前车辆前方图像信息，根据行驶路况与行驶环境的灰度直方图进行场景划分，并根据预设的环境感知算法，判断车辆当前处于何种行驶场景；

(5)车辆检测与跟踪模块依据行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；

(6)碰撞风险计算模块根据车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析并生成预警信息，发送给碰撞报警模块；

(7)所述碰撞报警模块根据接收到的预警信息进行相应的报警动作。

本实施例中的第一摄像头、第二摄像头和第三摄像头均采用1280×720像素，原始图像为RGB格式，并经过摄像头图像采集模块的格式转换，把原始RGB图像直接转化灰度图以降低后续计算量。由于影响车辆特征的主要外界因素为行驶路况和行驶环境，例如，高架桥下车辆尾部反射光线、强烈阳光反射等，因此，为了突出不同场景下的车辆特征，将行驶场景根据行驶环境划分为普通路况、特殊路况两种行驶路况，主要目的在于弱化前方车辆行驶路况的背景对车辆特征的影响，例如，隧道昏暗路况或高架桥下光线亮度不均匀等。其中，特殊路况进一步划分为隧道、下穿桥与高架桥下道路。行驶环境分为强光环境、弱光环境以及夜间环境三种行驶环境，主要目的在于弱化光源光线和折射光线对车辆特征的影响，因为不同光照条件直接导致图像数据剧烈变化，例如强光照射下车辆反光、阳光光线进入摄像头画面或者夜晚对向车辆灯光照射等。其中，弱光环境可进一步划分为普通弱光环境和雨雪环境。

行驶场景感知模块将多摄像头感知模块的图像进行如下场景感知区域划分：

第一场景感知区域：图像中心正上方底边100×500像素区域；

第二场景感知区域：图像中心正下方底边100×300像素区域；

第三场景感知区域：图像左上方50×300像素区域；

第四场景感知区域：图像右上方50×300像素区域；

图3为行驶场景感知模块的工作流程图，行驶场景感知模块实时计算各个场景感知区域的灰度直方图与平均灰度直方图，提取当前场景的场景特征，确定当前车辆的所处的行驶场景。

当前行驶场景的确定过程包括以下步骤：

(a)设置第一场景感知区域的平均灰度阈值，对第一场景感知区域的平均灰度直方图和平均灰度阈值进行比较，判断当前路况是白天环境还是夜间环境；第一场景感知区域主要对应天空或者隧道、高架桥下底部的平均灰度直方图，例如白天和夜晚的该区域灰度信息差别明显，在此设置阈值可准确进行白天和夜间环境判断；

(b)当第一场景感知区域判定为白天环境后，由于第二场景感知区域反映地面灰度信息，因此依据第一场景感知区域和第二场景感知区域的平均灰度直方图，联合判断当前路况为强光环境还是弱光环境；第二场景感知区域反映的地面灰度信息是强光环境与弱光环境特征的区别之一，以此判断强光、弱光环境简单有效；

(c)通过第一场景感知区域、第三场景感知区域和第四场景感知区域的灰度直方图和平均灰度直方图，联合判断普通路况与特殊路况。分析特殊路况的灰度信息可知，特殊路况所处环境明暗交替明显，整体环境又接近弱光环境或夜间环境，因此，若通过第三场景感知区域和第四场景感知区域提取了明暗交替特征，再通过第一场景感知区域排除夜间环境，即确认为特殊路况。

附图4为车辆检测与跟踪模块工作流程图，该模块的具体工作步骤为：

1)车辆检测与跟踪模块根据行驶场景感知模块输出的场景分类结果，分别选取出大量车辆图片和非车辆图片作为训练集的正、负样本，并将正、负样本规格化到18×18像素下；

2)分别使用Haar特征对规格化后的每一幅正、负样本进行表征，形成特征向量；

3)对Haar特征形成的特征向量分别构建场景分类弱分类器；

4)利用级联的Adaboost算法对场景弱分类器进行训练，得到对应场景分类级联车辆检测强分类器；

5)对摄像头获得的当前车辆行驶前方图像数据，将车辆检测区域中各种尺寸、各种位置的子图像输入级联车辆强分类器中进行分区域车辆检测：

区域一：108×120像素区域，检测尺寸范围18-35像素，步长2像素；

区域二：220×144像素区域，检测尺寸范围35-70像素，步长5像素；

区域三：380×320像素区域，检测尺寸范围70-140像素，步长10像素；

区域四：760×560像素区域，检测尺寸范围140-280像素，步长20像素；

区域五：960×720像素区域，检测尺寸范围280-700像素，步长30像素。

6)车辆检测与跟踪模块按照区域五、区域四、区域三、区域二、区域一依次循环检测，每次只检测一个区域，并利用包含车辆底部阴影特征、车辆尾部局部对称性特征、车辆尾部轮廓特征和车辆轮胎特征来进行车辆检测综合修正，实现车辆的精确检测和准确跟踪；

7)利用三阶Beizer曲线拟合方式进行前方目标车辆测距，以当前车辆行驶图像数据消失点和底边Y坐标作为曲线端点P0和P3，采用参数设定法构造控制点P1和P2，根据候选车辆底部阴影线与消失点的Y方向像素差，计算候选车辆与当前车辆实时距离：

B_n(t)＝P₀(1-t)³+3P₁t(1-t)²+3P₂t²(I-t)+P₃t³

8)采用方向梯度直方图HOG算法对目标车辆进行实时跟踪，当跟踪目标车辆超越车辆检测区域最大范围时停止跟踪。具体方法为：首先对目标车辆图像数据进行Gamma校正，提高所述目标车辆特征描述符对外界环境变化的鲁棒性，降低图像局部的阴影、局部曝光过多及纹理失真，尽可能的抑制图像的干扰噪声；然后采用一阶微分算子函数Sobel对所述目标车辆图像数据求解X方向和Y方向上的梯度图像，并计算每一个像素点的和梯度幅值和梯度方向；最后将目标车辆图像数据划分的Cell干单元组成Block块，对Block块内的HOG特征向量进行归一化生成HOG特征向量，通过对HOG特征向量的计算判断来进行车辆跟踪。

本发明将用于车辆检测的分类器进行场景分类，不仅使级联分类器体积更小，改善检测效率、提高检测速率，更使对应场景下的车辆特征突出、针对性强、便于该场景下车辆特征提取，提高了车辆检测击中率、降低了车辆检测虚警率。

图5为碰撞风险计算模块工作流程图，碰撞风险计算模块包括三个级别的报警，相应的工作过程为：

1)碰撞风险计算模块接收到车辆检测与跟踪模块发送的信息，判断目标车辆是否存在，若存在，则触发一级报警，一级报警为多媒体报警模块中的图像和声音报警提醒；

2)若触发一级报警，则碰撞风险计算模块继续实时计算车距时间THW和相对加速度ACC的值，若THW和ACC的值均小于设定的报警阈值，则触发二级报警，二级报警为振动报警；

其中THW的计算公式为：

THW＝D/Y₀

式中，D是目标车和本车的相对距离，由车辆检测与跟踪模块输出，V₀是本车的车速，可从车辆的CAN总线上获取；

其中ACC的计算公式为：

V_t＝(D_t-D_t-1)/t

ACC＝(V_t-V_t-1)

式中，下标t和t-1分别代表摄像头输出图像的当前帧时刻和上一帧时刻；

3)若触发二级报警，则碰撞风险计算模块实时计算碰撞时间TTC，TTC为相对距离D和相对速度V_t的比值；若TTC小于设定的报警阈值，则触发三级报警，三级报警为振动报警、图像报警和声音报警同时工作，全方位提高车辆的行驶安全性。

以上各级报警的报警方式可灵活设置。当关闭报警方式控制开关时，则仅通过振动报警模块进行二级报警。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.多摄像头的复杂场景自适应车辆碰撞预警装置，包括多摄像头感知模块、数据处理与计算模块和碰撞报警模块，其特征在于，

所述多摄像头感知模块连接所述数据处理与计算模块，用于将探测到的前方道路和障碍物图像信息传输给数据处理与计算模块；所述多摄像头感知模块包括焦距依次减小的第一摄像头、第二摄像头和第三摄像头，所述第一摄像头、所述第二摄像头和所述第三摄像头均为固定焦距摄像头；

所述数据处理与计算模块用于根据设定的内置碰撞预警方法对图像信息进行车辆检测、跟踪和前后车距计算，根据前后车距、相对速度以及前车运动状态预测，计算生成碰撞预警信息发送给碰撞报警模块；

所述碰撞报警模块用于接收所述数据处理与计算模块输出碰撞的预警信息，并且产生报警信息给驾驶员进行报警提示。

2.根据权利要求1所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述数据处理与计算模块包括电源模块、编码模块、处理模块和存储模块；

所述电源模块用于给所述编码模块、所述处理模块和所述存储模块供电；

所述编码模块用于对所述第一摄像头、所述第二摄像头和所述第三摄像头发送的图像信息进行编码处理，并转化成统一的数据格式发送给所述处理模块；

所述处理模块用于进行图像处理、车辆检测和跟踪以及碰撞预警方法计算，生成碰撞预警信息发送给碰撞报警模块；

所述存储模块用于存放所述处理模块工作中产生的运算数据以及碰撞预警方法代码程序。

3.根据权利要求2所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述处理模块包括依次连接的摄像头图像采集模块、行驶场景感知模块、车辆检测与跟踪模块和碰撞风险计算模块；

所述摄像头图像采集模块用于采集所述编码模块发送的三个摄像头图像信息，进行图像预处理；

所述行驶场景感知模块用于接收摄像头图像采集模块实时发送的当前车辆前方图像信息，并且进行场景划分，以及判断车辆当前处于何种行驶场景；

所述车辆检测与跟踪模块用于依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；

所述碰撞风险计算模块用于根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析，并生成预警信息发送给所述碰撞报警模块。

4.根据权利要求3所述的多摄像头的复杂场景自适应车辆碰撞预警装置，其特征在于，所述碰撞报警模块包括振动报警模块和多媒体报警模块，所述多媒体报警模块包括显示屏和喇叭；所述处理模块分别连接所述振动报警模块和所述多媒体报警模块；所述多媒体报警模块上设有报警方式控制开关，所述报警方式控制开关用于控制所述多媒体报警模块的开启或者关闭。

5.根据权利要求4所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，包括以下步骤：

(1)所述多摄像头感知模块将探测到的前方道路和障碍物图像信息传输给所述编码模块；

(2)所述编码模块对所述多摄像头感知模块发送的图像信息进行编码处理，并转化成统一的数据格式，发送给所述处理模块中的摄像头图像采集模块；

(3)所述摄像头图像采集模块采集所述编码模块发送的多摄像头图像信息，进行图像预处理，包括滤波、降噪和图像格式转换；

(4)所述行驶场景感知模块接收所述摄像头图像采集模块实时发送的当前车辆前方图像信息，根据行驶路况与行驶环境的灰度直方图进行场景划分，并根据预设的环境感知算法，判断车辆当前处于何种行驶场景；

(5)所述车辆检测与跟踪模块依据所述行驶场景感知模块的输出结果，根据当前车辆行驶场景切换级联分类器，在预设的车辆检测区域内，检测前方所有车辆；

(6)所述碰撞风险计算模块根据所述车辆检测与跟踪模块发送的目标车辆信息，进行碰撞风险分析并生成预警信息，发送给所述碰撞报警模块；

(7)所述碰撞报警模块根据接收到的预警信息进行相应的报警动作。

6.根据权利要求5所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，在步骤(3)中，所述摄像头图像采集模块将所述多摄像头感知模块发送的RGB格式原始图像转换为灰度图格式。

7.根据权利要求6所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，在步骤(4)中，行驶场景感知模块将多摄像头感知模块的图像进行如下场景感知区域划分：

第一场景感知区域：图像中心正上方底边100×500像素区域；

第二场景感知区域：图像中心正下方底边100×300像素区域；

第三场景感知区域：图像左上方50×300像素区域；

第四场景感知区域：图像右上方50×300像素区域；

所述行驶场景感知模块实时计算各个场景感知区域的灰度直方图与平均灰度直方图，提取当前场景的场景特征，确定当前车辆的所处的行驶场景。

8.根据权利要求7所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，当前行驶场景的确定过程包括以下步骤：

(a)设置第一场景感知区域的平均灰度阈值，对第一场景感知区域的平均灰度直方图和平均灰度阈值进行比较，判断当前路况是白天环境还是夜间环境；

(b)当第一场景感知区域判定为白天环境后，由于第二场景感知区域反映地面灰度信息，因此依据第一场景感知区域和第二场景感知区域的平均灰度直方图，联合判断当前路况为强光环境还是弱光环境；

(c)通过第一场景感知区域、第三场景感知区域和第四场景感知区域的灰度直方图和平均灰度直方图，联合判断当前路况为普通路况还是特殊路况；若通过第三场景感知区域和第四场景感知区域提取了明暗交替特征，再通过第一场景感知区域排除夜间环境，即确认为特殊路况。

9.根据权利要求8所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，所述车辆检测与跟踪模块的具体工作步骤为：

1)所述车辆检测与跟踪模块根据所述行驶场景感知模块输出的场景分类结果，分别选取出大量车辆图片和非车辆图片作为训练集的正、负样本，并将正、负样本规格化到18×18像素下；

2)分别使用Haar特征对规格化后的每一幅正、负样本进行表征，形成特征向量；

3)对Haar特征形成的特征向量分别构建场景分类弱分类器；

4)利用级联的Adaboost算法对场景弱分类器进行训练，得到对应场景的分类级联车辆检测强分类器；

5)对摄像头获得的当前车辆行驶前方图像数据，将车辆检测区域中各种尺寸、各种位置的子图像输入级联车辆检测强分类器中进行分区域车辆检测：

区域一：108×120像素区域，检测尺寸范围18-35像素，步长2像素；

区域二：220×144像素区域，检测尺寸范围35-70像素，步长5像素；

区域三：380×320像素区域，检测尺寸范围70-140像素，步长10像素；

区域四：760×560像素区域，检测尺寸范围140-280像素，步长20像素；

区域五：960×720像素区域，检测尺寸范围280-700像素，步长30像素。

6)所述车辆检测与跟踪模块按照区域五、区域四、区域三、区域二、区域一依次循环检测，每次只检测一个区域，并利用包含车辆底部阴影特征、车辆尾部局部对称性特征、车辆尾部轮廓特征和车辆轮胎特征的多特征融合方法来进行车辆检测修正，实现车辆的精确检测和准确跟踪；

7)利用三阶Beizer曲线拟合方式进行前方目标车辆测距，以当前车辆行驶图像数据消失点和底边Y坐标作为曲线端点P0和P3，采用参数设定法构造控制点P1和P2，根据所述候选车辆底部阴影线与消失点的Y方向像素差，计算候选车辆与当前车辆实时距离：

B_n(t)＝P₀(1-t)³+3P₁t(1-t)²+3P₂t²(1-t)+P₃t³

8)采用方向梯度直方图HOG算法对目标车辆进行实时跟踪，当跟踪目标车辆超越车辆检测区域最大范围时停止跟踪。

10.根据权利要求9所述的多摄像头的复杂场景自适应车辆碰撞预警装置的预警方法，其特征在于，所述碰撞风险计算模块包括三个级别的报警，相应的工作过程为：

1)碰撞风险计算模块接收到车辆检测与跟踪模块发送的信息，判断目标车辆是否存在，若存在，则触发一级报警，一级报警为多媒体报警模块中的图像和声音报警提醒；

2)若触发一级报警，则碰撞风险计算模块继续实时计算车距时间THW和相对加速度ACC的值，若THW和ACC的值均小于设定的报警阈值，则触发二级报警，二级报警为振动报警；

其中THW的计算公式为：

THW＝D/V₀

式中，D是目标车和本车的相对距离，由车辆检测与跟踪模块输出，V₀是本车的车速，可从车辆的CAN总线上获取；

其中ACC的计算公式为：

V_t＝(D_t-D_t-1)/t

ACC＝(V_t-V_t-1)

式中，下标t和t-1分别代表摄像头输出图像的当前帧时刻和上一帧时刻；

3)若触发二级报警，则碰撞风险计算模块实时计算碰撞时间TTC，TTC为相对距离D和相对速度V_t的比值；若TTC小于设定的报警阈值，则触发三级报警，三级报警为振动报警、图像报警和声音报警同时工作。