CN103129468A - 基于激光成像技术的车载路障识别系统和方法 - Google Patents

Abstract

本发明公开了一种基于激光成像技术的车载路障识别系统和方法，在汽车上安装激光摄像装置采集路面图像，后端使用多媒体DSP处理芯片分析处理，利用模式识别提取物体特征，根据识别结果语音提醒，并可以在显示屏显示。利用红外激光摄像，可以采集距离1km以外的图像，也可以在夜间和恶劣天气情况下采集，代替汽车司机看到人眼看不到的公路前方情况，并采用模式识别结合支持向量机的方法分析图像，将结果传送给司机，以便司机提前做出判断，防止事故的发生，把伤亡事故减少到最低，保障国家和人民的生命财产安全。

Description

基于激光成像技术的车载路障识别系统和方法

技术领域

本发明涉及基于激光成像技术的车载路障识别系统和方法，属于模式识别和图像处理技术领域。

背景技术

随着汽车速度的越来越快，汽车数量越来越多，交通事故日趋频繁。据统计，2001年全年，死于交通事故的人数为7.8万人，超过了当年各类安全事故死亡总数的60％，2002年，11万人死于交通事故，占各类安全事故死亡总数的80.1％，2003年，近10万人死于交通事故，造成直接经济损失33亿元。对于公路交通事故的分析表明，80%以上的车祸是由于驾驶员反应不及所引起的，超过65%的车辆相撞属于追尾相撞，其余则属于侧面相撞。奔驰汽车公司对各类交通事故的研究表明：若驾驶员能够意识到有事故危险并提早1s采取相应的正确措施，则绝大多数的交通事故都可以避免。

世界上的工业发达国家早在六十年代就开始注意其相关内容的研究。进入九十年代特别是近几年来，西方发达国家在智能汽车研制与开发方面更加大了投入，并且出现了一些引人注目的变化。1993年，美国研制的TUGV系统，使汽车能在公路上以50公里/小时的速度行驶时两档转换自如，其通过神经网络进行路径自动跟踪和避障的。法国P.S.A.标致(Peugeot)雪铁龙汽车公司也研制了一个功能简单却颇具特色的智能车辆辅助导航系统，系统己在高速公路上进行了几百公里不同路况的行车实验，最高车速达130km/h。当车流稀少、车道线清晰时，系统的误检率仅为0.1%，当车流较多时误检率增至2%。在路面有少量的积雪的恶劣情形下，系统的误检率为8%左右，可见系统具有较好的适应性。我国这方面起步较晚，但在国家“七五”、“八五”及“863”计划的推动下也取得了一定的进展，对智能移动机器人技术、计算机视觉、计算机视频处理技术进行了深入的研究，取得了令人瞩目的成果，但离实用化水平还有一定距离，与欧美国家亦有一定差距。

因此，研究基于远距离、全天候、快速图像检测技术的车载路障视频监测系统，不仅可以确保行车安全或减小事故产生的危害，具有显著的社会经济效益，同时还具有重要的学术理论价值。

发明内容

本发明的目的是提供一种基于激光成像技术的车载路障识别系统和方法，适用于远距离、全天侯、快速的路障定位与识别。利用红外激光摄像，在恶劣情况下，代替汽车司机看到人眼看不到的公路前方情况，并采用模式识别结合支持向量机的算法分析图像，对前方路障进行识别和报警。

本发明是通过如下技术方案实现的：基于激光成像技术的车载路障识别系统，包括

图像采集模块，包括激光摄像输入装置和视频A/D采集模块，所述激光摄像输入装置由两个红外激光摄像头组成，安装在汽车的前面，采集车前路面信息；所述视频A/D采集模块与激光摄像输入装置的输出端相连接，用于将红外激光摄像头采集图像的模拟信号转换成DSP能够识别处理的数字信号，得到动态图像序列帧；

图像处理模块，包括DSP处理模块和存储模块，所述DSP处理模块与视频A/D采集模块的输出端相连接，用于完成对图像序列帧的预处理和分析工作，包括对图像背景和路障目标的定位和提取，对路障目标的跟踪、识别和分类；所述存储模块与DSP处理模块相连接，用于对图像序列帧以及预处理后的图像进行缓存；

数据发送模块，包括与DSP处理模块的输出端相连接的语音提示模块、GPRS模块、RS232模块和视频输出模块；所述语音提示模块负责完成报警提示功能；所述GPRS模块和RS232模块，负责与车上设备进行通信交互数据；所述视频输出模块，负责将DSP处理的数字图像信号转变成模拟信号，通过触摸显示屏进行显示。

前述的红外激光摄像头由CCD感光摄像头和激光发射管组成；所述激光发射管有18个。

前述的两个红外激光摄像头的距离为80~120cm，所述两个红外激光摄像头的相对角度为0°~20°。

前述的两个红外激光摄像头的相对角度为10°。

前述的GPRS模块和RS232模块与车上设备进行通信交互采用无线方式或串口方式。

基于激光成像技术的车载路障识别系统的识别方法，包括以下步骤，

1）、图像采集模块的激光红外摄像头拍摄路面的实时视频图像，并将采集到的视频图像通过A/D采样，得到动态图像序列帧，同时将这些图像序列帧送入数据缓存区，等待下一步的处理；

2）、图像处理模块对数据缓存区的图像序列帧进行预处理和分析；

3）、数据发送模块是将图像处理模块的结果通过无线方式、串口方式，或语音方式通知司机，司机根据接收到的信号代码了解前方的情况，及时采取措施。

前述的步骤2）中对图像序列帧进行预处理是指对红外热图像进行灰度化、平滑及增强对比度；对图像序列帧进行分析包括

2-1）对路障图像目标的定位和提取，包括公路路面和弯道图像背景的提取、运动目标的定位和提取、静态目标的定位和提取；

2-2）对运动目标的跟踪，包括运动目标的出现、运动目标的消失多种模式，以及对运动目标的运动趋势作出估计；

2-3）对运动目标的识别和分类，判定运动目标有无危及到行车的安全，有无险情。

前述的步骤2-1）中在提取完背景后继续提取公路边缘，所述提取公路边缘采用Canny边缘检测算子。

前述的步骤2-1）中对运动目标的定位和提取采用聚类分析的方法。

前述的步骤2-3）对运动目标的识别和分类包括，采用支持向量机方法识别行人，通过计算图像的归一化转动惯量的方法识别车辆以及通过对称差分相与运算检测其它运动目标的形状轮廓。

采用上述技术方案，本发明具有的优点为：利用红外激光摄像，对前方路面进行实时监控，在恶劣情况下，代替汽车司机看到人眼看不到的公路前方情况；采用模式识别结合支持向量机的方法分析图像，将分类判断的数据以专用的无线传输的方式发送给汽车的自动接收设备，如果遇到险情或故障，鸣声向司机报警；司机根据收到的信号，判断前方道口的现场情况，采取相应措施，达到双向减少路外事故发生率的目的，从而大大提高公路行车的安全性。

附图说明

图1是本发明的系统结构示意图；

图2是本发明的红外激光摄像头平面图；

图3是本发明的两个红外激光摄像头的位置关系图；

图4是本发明的DSP处理模块的工作流程图；

图5是本发明的运动目标的识别和分类的工作流程图；

图6是本发明的其它运动目标的形状轮廓检测的工作流程图；

图7是本发明的支持向量机结构图；

图8是本发明的触摸显示屏界面图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

如附图1所示，本发明车载路障识别系统包括图像采集模块，图像处理模块和数据发送模块；图像采集模块包括激光摄像输入装置1和视频A/D采集模块2，其中激光摄像输入装置1由两个红外激光摄像头组成，安装在汽车的前面，采集车前路面信息，视频A/D采集模块2与激光摄像输入装置的输出端相连接，负责将红外激光摄像头采集图像的模拟信号转换成DSP处理模块能够识别处理的数字图像信号，得到动态图像序列帧；图像处理模块包括DSP处理模块3和存储模块5，其中DSP处理模块3与视频A/D采集模块2的输出端相连接，主要完成对图像序列帧的预处理和分析工作，包括对图像背景和路障目标的定位和提取，对路障目标的跟踪、识别和分类，存储模块5与DSP处理模块3相连接，用于对图像序列帧以及预处理后的图像进行缓存；数据发送模块包括与DSP处理模块3的输出端相连接的语音提示模块4、GPRS模块6、RS232模块7和视频输出模块8，其中语音提示模块4负责完成报警提示功能，当本装置检测到前方路面有障碍或其它安全危险的时候，将通过此模块报警，引起驾驶人员的注意，GPRS模块6和RS232模块7以无线传输方式或串口方式与汽车上其他设备进行通信交互数据，视频输出模块负责将DSP处理的数字图像信号转变成模拟信号，通过触摸显示屏进行显示。

如图2所示，本发明的系统采用的红外激光摄像头主要由高精度CCD感光摄像头9和18个激光发射管10两部分组成。

如图3所示，本发明的激光摄像输入装置包含了两个红外激光摄像头，红外激光摄像头一11和红外激光摄像头二12，均安装在汽车前车窗的前面，两个红外激光摄像头的距离，大约保持在80~120cm之间；α为两个红外激光摄像头的相对角度，范围为0°~20°，优选的α取10°，这样可以将汽车前面几乎所有角度的图像信息都采集到，为后期的图像处理提供便利。

基于激光成像技术的车载路障识别系统的识别方法，包括以下步骤，

1）、图像采集模块的激光红外摄像头拍摄路面的实时视频图像，并将采集到的视频图像通过A/D采样，得到动态图像序列帧，同时将这些图像序列帧送入数据缓存区，等待下一步的处理；

2）、图像处理模块对数据缓存区的图像序列帧进行预处理和分析；

3）、数据发送模块是将图像处理模块的结果通过无线方式、串口方式，或语音方式通知司机，司机根据接收到的信号代码了解前方的情况，及时采取措施。

如图4所示，图像处理模块对数据缓存区的图像序列帧首先进行图像的预处理工作，然后分别提取图像背景和图像中的静态目标及运动目标。在提取完背景后继续提取公路边缘并画定出危险区域，然后判断有无路障；提取完静态目标后经过计算判断有无路障；在提取完运动目标后，继续对运动目标识别及分类的运算，最后判断有无险情，根据判断结果可以启动是否进行安全报警提示。

对图像进行预处理工作是指，红外热图像与可见光图像相比，普遍存在目标与背景对比度较差、边缘模糊、噪声较大等缺点，对此类图像需要进行图像去噪，增强，边缘细化等预处理之后才能使用，其中图像增强技术包括：扩展对比度、增强图像中景物的边缘、滤除噪声或保留图像中感兴趣的某些特性而抑制其他的特性等。

为了避免误报漏报的情况，就一定要划分出视频监控图像中的危险地段，也就是要划定公路线两侧的危险区域。危险区域的确定，关键就是公路边缘的提取。本发明采用Canny边缘检测算子提取公路边缘，效果明显，而且实时性好。边缘确定后，一旦检测到边缘以外的坐标点就认为是路障坐标。

只有对目标障碍物准确的识别，才能对目标做进一步的分析和判断，识别系统不仅要检测出来往运动的车辆、行人和牲口等，还要探测到静止在公路上的目标障碍物。

对静态目标的检测方法为：将当前图像帧与当前的背景帧相差运算，检测出当前的非背景目标；对相隔一段时间的差帧作比较，得到是否有静止的目标；利用提取出的背景图像帧和当前采集到的静止目标的图像相减就能检测到静止的目标。检测静态目标的关键是背景图像帧的获取，具体为：对图像序列中的一个图像对进行比较，灰度变化小于一定值的区域称为共同区域；对多个图像对的共同区域求和取平均，作为背景图像帧。为了消除相隔较近图像之间的相关性，图像对的选取宜选间隔大于2~3秒的两幅图像，而为了体现出时效性，更接近当前图像的背景，可在对共同区域求和取平均时引入衰减因子a(如取a=0.09)，将求和平均的值乘以a，再加上图像对中的较后者在这一区域的值与(1－a)的乘积，背景的更新可以定时进行。

对运动目标的定位和提取是对目标的矩形框锁定，采用聚类分析的方法，具体为：在聚类分析前，首先在检测到目标的二值图像中，对每个视频像素按照八邻域进行一次扫描，确定每个视频像素块的最小包围矩形框；将视频像素块聚类在最小包围矩形框之间，若在水平方向上互相交叠或距离在5个像素之内，而且在垂直方向上互相交叠或距离在5个像素之内，则矩形框内的视频像素块同属于一个目标，就可以合并为一个新的矩形框；对各矩形框进行循环比较合并，直到图中没有矩形框合并为止；去除掉孤立的噪声框，得到的矩形框个数及范围，即为运动目标的个数及所在范围。

运动目标主要包括行人，车辆及其它运动物体，如图5所示，对运动目标的识别和分类的工作流程为：采用支持向量机方法计算识别行人，如果分类器输出为1表示为行人图像，输出为-1表示为非行人图像；通过计算非行人图像的归一化转动惯量NMI识别车辆，如果在连续采集的几幅图像中，车辆区域的特征变化ε并不明显，则表示该区域存在车辆，若则该区域的特征变化ε较大，则表示该区域不是车辆，为其它运动物体，其中ε=var(NMI)，var代表图像NMI的方差。

行人的识别方法具体为：如图7所示，采用支持向量机的方法计算识别行人，首先需要训练得到训练样本的支持向量，为此首先选取不同环境下、不同的行人所组成的一组训练集和一组测试集；然后按照按选定的特征将图像用相应的特征向量X＝(X₁,X₂,…,X_d)来描述，X₁,X₂,…,X_s为s个支持向量，输入到支持向量机当中，训练得到内积核K(X_i,X)及权值α_i和b；最后可以将待测样本输入到训练好的支持向量机中进行分类性能测试并输出结果y，y的表达式为：

y是s个中间节点的线性组合，每个中间节点对应一个支持向量。

本发明训练样本集包括121个行人样本图像和121个非行人样本图像，共计242个样本。支持向量机的输入向量分别为样本的4个纹理特征、2个边界矩特征、16个梯度方向特征和基于灰度对称性得到的1个对称性特征，共23个特征，即每一个样本用一个23维的向量来表示。支持向量机的输出y＝1表示为行人图像，为－1表示为非行人图像。

测试样本集包含136个行人样本和112个非行人样本，共计248个样本。在进行训练之前需要对输入向量进行归一化，核函数选用多项式核函数。经过摄像头获取的图像分辨率大小为320×240，从图中分割出来的行人候选区域有不用的像素尺寸大小，首先对其进行尺度归一化，将其缩放成大小为64×128的图像。最后利用公式计算得到分类结果，如果输出为1，则判断分割出来的候选区域为行人，否则为非行人候选区域，将其剔除。

车辆的识别方法具体为：对剔除的非行人图像采用计算归一化转动惯量NMI的方法，识别是否为车辆，归一化转动惯量NMI的定义为：

$\mathrm{NMI}=\frac{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^N({(x-c_x)}^2+{(y-c_y)}^2)f(x,y)}{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^{N}f(x,y)}$

其中，x、y表示像素点的坐标位置，M、N分别表示x轴、y轴的图像像素大小，f(x,y)表示坐标点（x,y）的像素值，c_x、c_y分别表示图像灰度的重心，

$c_x=\frac{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^N\mathrm{xf}(x,y)}{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^{N}f(x,y)}$

$c_y=\frac{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^N\mathrm{yf}(x,y)}{{\mathrm{\Σ}}_{x=1}^M{\mathrm{\Σ}}_{y=1}^{N}f(x,y)}$

NMI特征具有良好的平移、旋转和缩放不变性。在车辆的验证过程中，如果该区域存在车辆，则在连续采集的几幅图像中，车辆区域的特征变化ε并不明显；若该区域不是车辆，则该区域的NMI特征变化ε较大。

其它运动物体的识别方法为：如图6所示，将连续3帧序列图像通过对称差分相与运算，来检测中间帧非车辆运动目标的形状轮廓。该法速度块，得到的目标形状轮廓也相当精确，具体为：

设f(x,y，t)为一个背景静止的视频序列，f(x,y，t-1),f(x,y，t)和f(x,y,t+1)为其中相邻三帧连续图像，检测步骤如下：

(1)计算相邻两帧源图像的绝对差灰度图像

d_t-1t(x,y)=|f(x,y，t)-f(x,y，t-1)|,

d_t，t+1(x,y)=|f(x,y，t+1)-f(x,y，t)|

(2)选取适当阈值，分别对d_t-1t(x,y)，d_t，t+1(x,y)进行二值化；

(3)对d_t-1，t(x,y)，d_t，t+1(x,y)中的每一个像素位置进行相“与”运算，得到对称差分结果二值图像，其所获得的结果即为检测到的视频对象的形状轮廓。

其中二值化阀值的选取步骤为:

(l)根据两帧源灰度图像X、Y，求得其绝对差帧图像Z;

(2)计算出X、Y的平均值meanX、meanY，及其绝对差值meanZ;

(3)画出差帧图像Z的直方图分布图，并计算出相邻灰度值对应的像素数目的差，放入数组A中;

(4)统计数组A中正、负数的总数，若正数占绝大多数，则差帧Z的直方图分布曲线为上升趋势；若负数占绝大多数，则差帧Z的直方图分布曲线为下降趋势。

(5)查找数组A中的绝对最大值，也就是相邻灰度值对应的像素总数目变化最大的点，同时以该点为中心，选定Z的直方图分布曲线的一段上升或下降区域，将数据保存在数组B中；

(6)用上述同样的差值方法，找到数组B变化最大的点，该点所对应的图像的灰度值e即为Z的直方图分布曲线的一个拐点，也就是我们需要的二值化阀值e。

触摸显示屏上的界面显示如图8所示，主要分为三个部分，显示按钮13显示汽车前方路面的信息，当没有危险存在的时候显示为“安全”，当有安全危险的时候，将显示“危险”；视频图像14显示的是对两路视频图像处理拼接后的图像，驾驶员可以通过图像直观的看到超出人眼范围所及的路面信息；报警开关按钮15显示的是语音报警提示的开关状态，当驾驶员不想启用语音报警功能的时候，可以通过按下这个按钮，此时此处显示“OFF”，这时即使前方路面中出现危险，本装置也不会进行语音报警，如果在“ON”状态，本装置将进行语音提示报警，并随着危险的接近，报警声会变的越来越急促，以引起驾驶人员的足够重视。

以上显示和描述了本发明的具体实施方式，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于激光成像技术的车载路障识别系统，其特征在于：包括

图像采集模块，包括激光摄像输入装置和视频A/D采集模块，所述激光摄像输入装置由两个红外激光摄像头组成，安装在汽车的前面，采集车前路面信息；所述视频A/D采集模块与激光摄像输入装置的输出端相连接，用于将红外激光摄像头采集图像的模拟信号转换成DSP能够识别处理的数字信号，得到动态图像序列帧；

图像处理模块，包括DSP处理模块和存储模块，所述DSP处理模块与视频A/D采集模块的输出端相连接，用于完成对图像序列帧的预处理和分析工作，包括对图像背景和路障目标的定位和提取，对路障目标的跟踪、识别和分类；所述存储模块与DSP处理模块相连接，用于对图像序列帧以及预处理后的图像进行缓存；

数据发送模块，包括与DSP处理模块的输出端相连接的语音提示模块、GPRS模块、RS232模块和视频输出模块；所述语音提示模块负责完成报警提示功能；所述GPRS模块和RS232模块，负责与车上设备进行通信交互数据；所述视频输出模块，负责将DSP处理的数字图像信号转变成模拟信号，通过触摸显示屏进行显示。

2.根据权利要求1所述的基于激光成像技术的车载路障识别系统，其特征在于：所述红外激光摄像头由CCD感光摄像头和激光发射管组成；所述激光发射管有18个。

3.根据权利要求1所述的基于激光成像技术的车载路障识别系统，其特征在于：所述两个红外激光摄像头的距离为80~120cm，所述两个红外激光摄像头的相对角度为0°~20°。

4.根据权利要求3所述的基于激光成像技术的车载路障识别系统，其特征在于：所述两个红外激光摄像头的相对角度为10°。

5.根据权利要求1所述的基于激光成像技术的车载路障识别系统，其特征在于：所述GPRS模块和RS232模块与车上设备进行通信交互采用无线方式或串口方式。

6.根据权利要求1所述的基于激光成像技术的车载路障识别系统的识别方法，其特征在于：包括以下步骤，

1）、图像采集模块的激光红外摄像头拍摄路面的实时视频图像，并将采集到的视频图像通过A/D采样，得到动态图像序列帧，同时将这些图像序列帧送入数据缓存区，等待下一步的处理；

2）、图像处理模块对数据缓存区的图像序列帧进行预处理和分析；

3）、数据发送模块是将图像处理模块的结果通过无线方式、串口方式，或语音方式通知司机，司机根据接收到的信号代码了解前方的情况，及时采取措施。

7.根据权利要求6所述的识别方法，其特征在于： 

所述步骤2）中对图像序列帧进行预处理是指对红外热图像进行灰度化、平滑及增强对比度；对图像序列帧进行分析包括

2-1）对路障图像目标的定位和提取，包括公路路面和弯道图像背景的提取、运动目标的定位和提取、静态目标的定位和提取；

2-2）对运动目标的跟踪，包括运动目标的出现、运动目标的消失多种模式，以及对运动目标的运动趋势作出估计；

2-3）对运动目标的识别和分类，判定运动目标有无危及到行车的安全，有无险情。

8.根据权利要求7所述的识别方法，其特征在于：所述步骤2-1）中在提取完背景后继续提取公路边缘，所述提取公路边缘采用Canny边缘检测算子。

9.根据权利要求7所述的识别方法，其特征在于：所述步骤2-1）中对运动目标的定位和提取采用聚类分析的方法。

10.根据权利要求7所述的识别方法，其特征在于：所述步骤2-3）对运动目标的识别和分类包括，采用支持向量机方法识别行人，通过计算图像的归一化转动惯量的方法识别车辆以及通过对称差分相与运算检测其它运动目标的形状轮廓。

Images