CN102390370B

CN102390370B - 一种基于立体视觉的车辆行驶应急处理装置及方法

Info

Publication number: CN102390370B
Application number: CN 201110327030
Authority: CN
Inventors: 徐淑芳; 王慧斌; 董欣; 杨会杰; 沈洁; 张丽丽
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2011-10-25
Filing date: 2011-10-25
Publication date: 2013-07-03
Anticipated expiration: 2031-10-25
Also published as: CN102390370A

Abstract

本发明涉及一种基于立体视觉的车辆行驶应急处理装置及方法，包括双目视觉摄像单元、车载总线接口、中央处理单元、车辆制动控制系统和声光告警电路。其利用双目视觉摄像机获取车辆前方道路图像，采用基于DSP的中央处理单元，实时快速计算视觉图像，获得三维道路场景，与系统建立的安全行车道路模型进行比较，判断车辆行进方向是否存在障碍或者危险，发现危险时，启动车辆制动控制系统，降低车速，并向驾驶员发出声光告警。同时，中央处理单元通过车内总线连接车辆传感器，检测车辆状态，当车辆本身发生机械或者电路故障时，启动制动系统，降低车速，发出声光告警。该装置可安装于普通机动车辆，以避免事故发生或减少事故损失，提高行车安全性能。

Description

一种基于立体视觉的车辆行驶应急处理装置及方法

技术领域

本发明涉及汽车主动安全驾驶领域，具体是基于立体视觉图像处理的车辆行驶应急处理装置及实现方法。

背景技术

汽车技术的发展给交通运输和人们的生活带来了便利，但公路交通事故的发生给人民生命财产和国民经济造成了巨大的损失。为了解决车辆交通的负面影响，人们积极寻求采用高新技术来提高车辆性能，作为智能交通系统（ITS）的组成部分，车辆安全辅助系统、先进的车辆控制系统以及自动车辆驾驶系统成为了当前研究的重点。先进的车辆系统（Advanced Vehicle System）是指借助车载设备及路测、路面的电子设备来检测周围行驶环境的变化情况，进行部分或完全的自动驾驶控制以达到行车安全和增加道路通行能力的目的。

目前，在探测道路障碍物的技术中，主要有激光雷达测距、微波雷达测距、超声波测距、夜间红外测距和视觉测距。激光雷达探测距离远、精度高，但受云、雨、雾等恶劣天气影响较大，且成本较高。微波雷达性能稳定，受天气影响较小，但易受电磁干扰。超声波探测原理简单、成本低，受天气影响大，适合近距离探测，常用于倒车防撞系统。红外探测一般只适合在夜间使用。视觉探测又可分为单目视觉探测和立体视觉探测，视觉成像设备尺寸小、功耗低、获取信息量大，有利于后续信号处理，单目视觉可以检测车道信息，但无法准确确定与前方被测物体的距离，立体视觉系统可以获取道路场景及场景内物体的深度信息，结合自动光圈和自动白平衡技术，可以在夜间、隧道等可视程度较低的情况下使用，因此，立体视觉在车辆运行场景探测及车辆安全驾驶领域中具有广阔的应用前景。

DSP（Digital Signal Processor，数字信号处理器）芯片是专门为快速实现各种数字信号处理算法而设计的、具有特殊的结构的微处理器，以其作为核心处理器的立体视觉控制系统，能够满足系统的实时性和体积的要求，适用于各种便携、移动终端设备的数据处理单元。DSP芯片本身的结构特性和特点，使其在数据处理方面比通用CPU具有更大优势，如采用哈佛结构、流水线操作、硬件乘法器和特殊的DSP指令。通过提高DSP芯片的硬件能力和算法的执行效率，能够在提升产品整体性能的同时，降低能源消耗和产品成本，对用户产生更大的吸引力。

车辆运行场景中道路状况信息的获取对于驾驶员极为重要，有关资料研究表明，若在交通事故发生前1秒钟给驾驶员发出警报，则可避免90%的交通事故。因此，及时发现前方道路的障碍及危险信息，对于避免或减少交通事故的损失，挽救人员生命，具有重要意义。同时，车辆本身的机械或电路的故障也是引发交通事故的重要原因，因此，需要车辆迅速及时地感知到故障信息，降低车速，以避免事故发生。

发明内容

本发明所要解决的技术问题在于针对背景技术中存在的问题，提供一种基于立体视觉的车辆行驶应急处理装置及方法，辅助驾驶员实现道路安全驾驶。

本发明为解决上述技术问题采用以下技术方案：

一种基于立体视觉的车辆行驶应急处理装置，包括双目视觉摄像单元、车载总线接口电路、中央处理单元、车辆制动控制系统和声光告警电路；其中，

所述双目视觉摄像单元用于获取车辆前方道路的两路视觉图像信息，并将其传输到中央处理单元；

所述车载总线接口电路用于将车辆内部传感器采集得到的车辆状态信息传输到中央处理单元；

所述中央处理单元对所述视觉图像信息进行处理后判断车辆行进方向是否存在障碍物，以及根据车辆状态信息判断车辆是否存在故障；当车辆行进方向存在障碍物或车辆存在故障时，向车辆制动控制系统及声光告警电路发出控制信号；

所述车辆制动控制系统用于根据中央处理单元的控制信号，将汽车制动；

所述声光告警电路用于接收中央处理单元输出的控制信号，发出声、光告警信息。

进一步的，本发明的基于立体视觉的车辆行驶应急处理装置，所述双目视觉摄像单元包括两台相同型号的CCD数字彩色摄像机、数字视频输出接口；其中两台CCD数字彩色摄像机分别获取车辆前方道路的视觉图像信息，然后通过数字视频输出接口发送至中央处理单元融合成立体视觉图像信息。

进一步的，本发明的基于立体视觉的车辆行驶应急处理装置，所述中央处理单元包括数字视频输入接口、DSP中央处理器、存储器、车辆传感器总线接口、车辆制动控制系统接口和告警信息输出接口；其中，

所述数字视频输入接口用于将两路视觉图像信息传输至DSP中央处理器；

所述DSP中央处理器用于处理所述视觉图像信息，然后与存储器中存储的安全行车道路模型进行比对，计算车辆行进方向是否存在障碍物；

所述车辆传感器总线接口用于传输车辆内部传感器采集得到的车辆状态信息；

所述DSP中央处理器分别通过车辆制动控制系统接口和告警信息输出接口向车辆制动控制系统和声光告警电路发送控制信号。

进一步的，本发明的基于立体视觉的车辆行驶应急处理装置，所述车辆制动控制系统包括节气门执行器和制动执行器，以及节气门位置传感器、制动压力传感器；其中，节气门执行器通过直流电机和第一拉线连接发动机节气门体；制动执行器通过直流电机和第二拉线连接制动踏板，所述节气门位置传感器和制动压力传感器分别将节气门位置信号、制动压力信号反馈到中央处理单元。

一种基于立体视觉的车辆行驶应急处理装置的工作方法，包括安装调试步骤、应急情况识别处理步骤；

其中安装调试步骤如下：

步骤1：将双目视觉摄像单元采用标准立体相机布局，安装于车辆顶部或挡风玻璃后面，用于拍摄前方道路图像；

步骤2：安装制动控制系统和声光告警电路，并将双目视觉摄像单元、车载总线接口电路、车辆制动控制系统和声光告警电路连接到中央处理单元；

步骤3：确定CCD数字彩色摄像机的内部参数和外部参数以及径向畸变系数k；

步骤4：确定道路平面方程Sr；

步骤5：计算安全距离Ds：

Figure 201110327030X100002DEST_PATH_IMAGE002

其中，D_s为安全距离，

为车速，

为系统和制动延迟时间，

为车辆平均制动减速度，

为制动后保持的安全车距；

步骤6：根据道路平面S_r、车辆宽度L、车辆高度H、安全距离

建立安全行车道路模型M；将该模型存储于中央处理单元的存储器内，用于判断车辆行进方向是否存在障碍或者危险；

图像识别处理步骤为：

步骤11：将两路视觉图像信息和车辆状态信息分别输入DSP中央处理器；

步骤12：根据步骤3获得的图像径向畸变系数k，对视觉图像信息进行径向畸变校正；

步骤13：对矫正后的图像进行窗口为3像素的平滑滤波；

步骤14：对平滑滤波后的图像进行直方图均衡化，增强对比度；

步骤15：进行匹配基元提取，获取Harris特征点；

步骤16：将两路视觉图像进行特征匹配，即在左图像中的角点寻找其在右图像中对应的角点；

步骤17：根据以下公式进行视差计算和三维重建，得到立体视场内各点的深度信息z，进而得到具体位置信息，建立实时道路场景：

其中B是两摄像机采用步骤1布局时的光轴基线距离，

、

分别是空间中的一点P在左右像平面上的成像点，f是摄像机的焦距，

为视差；

步骤18：道路状况检测；对步骤14获得的预处理后道路图像进行灰度和纹理分析，判断道路上是否存在积水、积雪、结冰或塌陷情况；

步骤19：障碍物及危险识别；由步骤11获得的车速信息和步骤18获得的路况信息，查询存储器，得到对应的安全行车道路模型M，确定安全行车区域范围；

结合步骤17获得的实时道路场景，对安全行车范围内的实际路况图像进行分割，计算各物体的实际宽度

、高度、面积

以及质心P在道路平面的投影位置

；

设世界坐标系原点O在道路平面S_r上的投影为

，计算

的距离；当

小于

时，比较各物体的宽度

、高度

和面积

与障碍物宽度阈值

、高度阈值和面积阈值

的关系，当物体的上述参数中的任意一个超出阈值时，判断该物体为影响车辆安全行车的障碍，发送控制信号至制动控制系统和声光告警电路；

根据步骤18获得的道路状况检测结果，如果道路上存在积水、结冰、积雪或塌陷情况，且在车辆安全行车道路模型区域内，则判断其为影响行车安全的危险信息，发送控制信号至制动控制系统及声光告警电路；如果不存在障碍和危险，则返回步骤11；

步骤20：根据车载总线传输到中央处理单元的车辆机械和电路状态信息，判断车辆本身是否存在故障或危险，如果存在，则判断其为影响行车安全的危险信息，发送控制信号至制动控制系统及声光告警电路；如果不存在，则返回步骤11。

本发明采用以上技术方案具有以下有益效果：

本发明利用双目视觉摄像单元获取车辆前方道路场景，采用基于数字信号处理器（DSP）芯片的中央处理单元，实时计算视频图像，建立道路三维场景；根据车速和路况信息，将实际道路场景与系统存储的安全行车道路模型进行对比，计算安全行车区域内是否存在障碍或者危险，发现障碍或者危险时，启动车辆制动系统，降低车速，并向驾驶员发出声光告警信息。同时，中央处理单元通过车内总线连接车辆传感器，检测车辆的状态信息，当车辆本身发生机械或者电路故障时，启动制动系统，降低车速，发出声光告警。

附图说明

图1是基于立体视觉的车辆行驶应急处理装置结构框图。

图2是双目视觉摄像单元布局俯视图。

图3是双目视觉摄像单元布局侧视图。

图4是安全行车道路模型图。

图5是装置安装调试流程图。

图6是车辆运行阶段装置工作流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，所述基于立体视觉的车辆行驶应急处理装置，包括双目视觉摄像单元、车载总线接口、中央处理单元、车辆制动控制系统和声光告警电路。其中，

所述双目视觉摄像单元包括两台相同型号的CCD数字彩色摄像机、数字视频输出接口和摄像机安装支架。两台摄像机固定在同一支架上，安装于车辆顶部或挡风玻璃后面的位置，如图2和图3所示；

所述中央处理单元包括一个DSP中央处理器、存储器、数字视频输入接口、车辆传感器总线接口、车辆制动控制系统接口和告警信息输出接口。中央处理器包括一个高性能DSP芯片和外围电路，存储器用于数据信息的存储，该单元的供电由车内电源提供直流供电；

所述车载总线接口电路，传输车辆状态信息到中央处理单元，包括车速信息、燃油指示信息、车胎胎压信息、机油信息、水温信息、发动机故障信息和电子油门信息。目前，汽车中广泛应用CAN和LIN等总线技术，进行车内仪器设备的数据和信号传输，中央处理单元通过总线，连接车辆内部传感设备，对车辆状态进行检测；

所述车辆制动控制系统包括节气门执行器和制动执行器，以及节气门开度和制动压力反馈电路；节气门执行器是通过直流电机和拉线连接发动机节气门体，中央处理单元输出控制信号，控制直流电机驱动机构，带动绕线器的中心轴旋转，绕线器进行正转或反转使拉绳伸长或缩短，进而控制发动机节气门开度。制动执行器是通过直流电机和拉线控制制动压力，拉线连接制动踏板，中央处理单元输出控制信号，电机带动拉线拉动制动踏板上下摆动，控制制动力的大小，在装有ABS系统（Antilock Brake System，防抱死系统）的车辆上，能够产生更好的制动效果。节气门执行器和制动执行器分别有节气门位置传感器和制动压力传感器反馈信号到中央处理单元，作为车辆制动控制系统的闭环回路，实现车辆制动的精确控制；

所述声光告警电路包括语音电路和告警指示灯。语音电路存储有车辆告警提示语音，具体包括障碍告警提示和危险信息告警提示。告警指示灯分为车辆正常运行的绿色指示和行车危险时的红色闪烁指示。中央处理单元输出信号，控制声光告警电路协调工作，向驾驶员发出告警信息；

其中，双目视觉摄像单元获取车辆前方道路场景，采用自动曝光和自动白平衡技术，获得光照条件不同场景的图像信息。中央处理单元是利用数字信号处理器（DSP），实时快速计算双目视觉图像，建立三维场景；结合存储器中存储的安全行车道路模型，与实际行车场景进行对比，计算车辆行进方向是否存在障碍或者危险，发现危险时，启动车辆制动系统，降低车速，并向驾驶员发出声光告警信息。同时，中央处理单元通过车内总线连接车辆传感器，检测车辆的状态信息，当车辆本身发生机械或者电路故障时，启动制动系统，降低车速，发出声光告警。

本装置的安装使用分为安装调试阶段和实际运行阶段。

1．如图5所示，安装调试阶段流程如下：

（1）设备安装

设备安装包括摄像机单元、中央处理单元、制动控制系统和声光告警电路的安装，以及车载总线与中央处理单元的连接。安装完成后，给该装置各部分分别供电。

（2）设备调试

步骤1：确定双目视觉摄像机的内部参数。包括设定摄像机的焦距f，图像坐标系的原点（u ₀，v ₀）为图像的中心像素点，每一像素在图像坐标系x轴与y轴上的物理尺寸dx和dy。取点阵图像标定模板，放置于摄像机前方，两摄像机分别拍摄点阵图像，根据模板图像的参数计算摄像机的畸变系数k（畸变系数的求解参见：范勇等，《图像几何畸变校正方法》，计算机工程与应用，2009，45（29））。

步骤2：确定双目视觉摄像机的外部参数。已确定摄像机的布局为标准立体相机布局，两摄像机光轴平行，相机坐标系x轴重合，基线距离（光轴距离）为B。取摄像机平面标定模板，放置于摄像机前方，拍摄三组以上的画面，根据标定参考图像的参数计算摄像机外部参数（

），完成摄像机标定（摄像机标定方法参见：蔡健荣，赵杰文，《双目立体视觉系统摄像机标定》，江苏大学学报（自然科学版），2006，27（1））。

步骤3：计算道路平面方程S_r。取左摄像机C1的坐标系为世界坐标系（x，y，z），最远对焦距离为D_max。设该平面方程的表达式为

Ax+By+Cz+D=0

该平面与世界坐标系（x，y，z）的z轴的夹角为

，与坐标系原点O（0，0，0）的垂直距离为摄像机高度h，z轴与平面Sr的交点在（0，0，D_max）处，由于道路平面位于摄像机（世界坐标系原点）下方，由此可确定Sr的平面方程。

步骤4：计算安全距离D_s。建立车速数据表，从0km/h到120km/h，以2km/h为间隔建立车速数据表v_i，道路状况分为普通路况i₁、雨水路况i₂、积雪路况i₃和结冰路况i₄，不同道路状况对应车辆平均制动减速度a_cd不同，根据制动过程运动学分析的车辆安全距离：

其中，D_s为安全距离，为系统和制动延迟时间，为制动后保持的安全车距。根据实际车辆行驶统计结果，路况i₁对应的a_cd为6~8m/s²，路况i₂对应的a_cd为5~7 m/s²，路况i₃对应的a_cd为5~7 m/s²，路况i₄对应的a_cd为2~5 m/s²，

为2~5m，

为0.7~1.5s，由此可以确定不同速度v_i和路况i对应的安全距离D_s。（安全距离模型的计算参见：侯德藻，《汽车纵向主动避障系统的研究》，清华大学博士学位论文，2004）。

步骤5：建立安全行车道路模型M，如图4所示。在道路平面S_r上建立的空间立体区域，宽度为车辆宽度L，高度为车辆高度H，长度是安全距离

，起点为世界坐标系原点O在道路平面的投影点

，终点为安全距离终点

。该模型建立后，存储于中央处理单元的存储器内，用于判断车辆行进方向是否存在障碍或者危险。

2. 如图6所示，实际运行阶段装置工作流程如下：

步骤6：外部数据输入。具体包括双目视觉数字视频图像的输入和车辆状态信息的输入，其中视频图像包括从摄像机C1和摄像机C2分别读入的数字视频，车辆状态信息包括车速、燃油指示、车胎胎压、机油信息、水温信息、发动机故障信息和电子油门信息。

步骤7：视频图像预处理。根据设备调试阶段获得的图像径向畸变参数k，对两路视频图像进行径向畸变校正；对矫正后的图像进行窗口为3像素的平滑滤波；对平滑滤波后的图像进行直方图均衡化，增强对比度。

步骤8：匹配基元提取。匹配基元选取为图像的角点，采用具有尺度适应性的Harris尺度不变检测子，首先进行图像滤波生成图像尺度空间，计算图像中每点的Harris角点值R以及每幅图像中的最大角点值

，若R值大于给定的阈值(

)，且是同一尺度的8邻域和相邻尺度对应位置的16邻域中的极大值，则判定该点为Harris特征点。

步骤9：特征匹配，即在左图像中的角点寻找其在右图像中对应的角点；采用基于尺度不变特征匹配算法，构建Harris特征描述向量，采用最近邻算法进行匹配，即标准特征点与待匹配样本特征点的最近欧氏距离与次近欧氏距离的比值小于一定的阈值

时，确定两个特征点是匹配点；对非角点的像素点进行灰度相关运算，得到整幅图像的匹配结果；（匹配基元提取与特征匹配方法参见：黄帅，《基于Harris尺度不变特征的图像匹配算法研究》，合肥工业大学硕士学位论文，2010）。

步骤10：计算视差和三维重建。由于采用标准立体相机布局，左右图像只存在水平x轴方向的视差，不存在y轴方向的视差。设B是两摄像机采用步骤1布局时的光轴基线距离，P_l、P_r分别是空间一点P在左右像平面上的成像点，f是摄像机的焦距，

为视差，由相似三角形关系可导出：

由视差信息可计算出立体视场内各点的深度信息z和位置信息(x，y，z)，建立实时道路场景。

步骤11：道路状况检测。对步骤7获得的预处理后道路图像进行灰度和纹理分析，判断道路上是否存在积水、积雪和结冰情况，如果不存在上述情况则判断为普通路况i₁，有积水时判断为积水路况i₂，有积雪时判断为积雪路况i₃，有结冰时判断为结冰路况i₄；（路况识别方法参见：Xiumin Chu，Yong Wu，《Designed on the Low Cost System Framework of Road Condition Recognition Based on Roadside Multi-sensors》，2009 Asia-Pacific Conference on Information Processing）。

步骤12：障碍物及危险识别。由步骤6获得的车速信息v和步骤11获得的路况信息i，查询存储器，得到对应的安全行车道路模型M，确定安全行车区域范围。结合步骤10获得的实时道路场景，对安全行车范围内的实际路况进行分水岭算法的分割，计算各物体的实际宽度、高度、面积

以及质心P在道路平面的投影位置

，计算

的距离，当

小于时，判断该物体是在安全行车区域内。比较各物体的宽度、高度

和面积

与障碍物宽度阈值

、高度阈值

和面积阈值

的关系，当物体的上述参数中的任意一个超出阈值时，判断该物体为影响车辆安全行车的障碍。当道路上存在积水、结冰、积雪和塌陷情况，且在车辆安全行车道路模型区域内，则判断其为影响行车安全的危险信息。如果不存在障碍或危险，返回步骤6。

步骤13：制动与告警。当检测到车辆安全行车区域内存在障碍或危险时，中央处理单元输出控制信号，控制制动控制系统和告警电路，并且监测节气门和制动器位置，控制制动压力；告警电路向驾驶员发出语音和指示灯告警。然后，返回步骤6。

Claims

1.一种基于立体视觉的车辆行驶应急处理装置，其特征在于：包括双目视觉摄像单元、车载总线接口电路、中央处理单元、车辆制动控制系统和声光告警电路；其中，

所述声光告警电路用于接收中央处理单元输出的控制信号，发出声、光告警信息；

其中：所述中央处理单元包括数字视频输入接口、DSP中央处理器、存储器、车辆传感器总线接口、车辆制动控制系统接口和告警信息输出接口；其中，

2.根据权利要求1所述的一种基于立体视觉的车辆行驶应急处理装置，其特征在于：所述双目视觉摄像单元包括两台相同型号的CCD数字彩色摄像机、数字视频输出接口；其中两台CCD数字彩色摄像机分别获取车辆前方道路的视觉图像信息，然后通过数字视频输出接口发送至中央处理单元融合成立体视觉图像信息。

3.根据权利要求1所述的一种基于立体视觉的车辆行驶应急处理装置，其特征在于：所述车辆制动控制系统包括节气门执行器和制动执行器，以及节气门位置传感器、制动压力传感器；其中，节气门执行器通过直流电机和第一拉线连接发动机节气门体；制动执行器通过直流电机和第二拉线连接制动踏板，所述节气门位置传感器和制动压力传感器分别将节气门位置信号、制动压力信号反馈到中央处理单元。

4.一种如权利要求1所述的基于立体视觉的车辆行驶应急处理装置的工作方法，其特征在于，包括安装调试步骤、应急情况识别处理步骤；

其中安装调试步骤如下：

步骤3：确定CCD数字彩色摄像机的内部和外部参数以及径向畸变系数k；

步骤4：确定道路平面方程S_r；

步骤5：计算安全距离D_s：

D_{s} = v_{i} t_{d} + \frac{v_{i}^{2}}{2 a_{cd}} + d_{stop}

其中，D_s为安全距离，v_i为车速，t_d为系统和制动延迟时间，a_cd为车辆平均制动减速度，d_stop为制动后保持的安全车距；

步骤6：根据道路平面S_r、车辆宽度L、车辆高度H、安全距离D_s建立安全行车道路模型M；将该模型存储于中央处理单元的存储器内，用于判断车辆行进方向是否存在障碍或者危险；

图像识别处理步骤为：

步骤13：对矫正后的图像进行窗口为3像素的平滑滤波；

步骤15：进行匹配基元提取，获取Harris特征点；

步骤17：根据以下公式进行视差计算和三维重建，得到立体视场内各点的深度信息z：

z = \frac{Bf}{| P_{l} - P_{r} |}

其中B是两摄像机采用步骤1布局时的光轴基线距离，P_l、P_r分别是空间中的一点P在左右像平面上的成像点，f是摄像机的焦距，|P_l-P_r|为视差；根据世界坐标系，进而得到各点具体的位置信息（x,y，z），建立实时道路场景；

步骤19：障碍物及危险识别；由步骤11获得的车辆状态信息中的车速信息和步骤18获得的路况信息，查询存储器，得到对应的安全行车道路模型M，确定安全行车区域范围；

结合步骤17获得的实时道路场景，对安全行车范围内的实际路况图像进行分割，计算各物体的实际宽度L_b、高度H_b、面积S_b以及质心P在道路平面的投影位置P_b；

设世界坐标系原点O在道路平面S_r上的投影为O′，计算O′P_b的距离；当O′P_b小于D_s时，比较各物体的宽度L_b、高度H_b和面积S_b与障碍物宽度阈值L_b′、高度阈值H_b′和面积阈值S_b′的关系，当物体的上述参数中的任意一个超出阈值时，判断该物体为影响车辆安全行车的障碍，发送控制信号至制动控制系统和声光告警电路；