CN101881615B

CN101881615B - 用于驾驶安全的视觉障碍物检测方法

Info

Publication number: CN101881615B
Application number: CN2010101912711A
Authority: CN
Inventors: 常谦; 杨泽红; 宋亦旭; 徐华; 贾培发; 赵雁南; 王家廞
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2010-05-28
Filing date: 2010-05-28
Publication date: 2012-07-11
Anticipated expiration: 2030-05-28
Also published as: CN101881615A

Abstract

本发明涉及用于驾驶安全中的道路障碍物检测方法，属于计算机应用技术领域，该方法包括：首先车辆上的摄像头对前方路面进行采集，然后提取图像中的角点，并利用光流与K均值对障碍物初步估计，得到障碍物的候选中心位置以及大小；然后利用基于帧差的运动历史消隐法排除前面结果中运动速度不合理的区域，这样得到更加鲁棒的障碍物中心，然后把两种方法结果取并运算，在确认后的障碍物中心周围取区域边界作为每个障碍物的边界。本发明仅使用普通摄像头，实现简易低廉，该方法计算速度快，比较稳定且环境适应能力强。

Description

用于驾驶安全的视觉障碍物检测方法

技术领域

本发明属于计算机应用技术领域，特别涉及到车辆驾驶安全领域的障碍物检测方法。

背景技术

随着各国向汽车社会快速迈进的步伐，汽车技术特别是汽车安全技术受到越来越受多的重视。除了传统汽车行业中对汽车安全起决定作用的机电控制、汽车电子、机械零件、发动机等关键技术之外，各种辅助性技术也成为汽车安全驾驶的一个有效补充。

目前，基于IT技术的汽车安全驾驶辅助系统是汽车安全驾驶的一个研究热点。利用IT行业的研究成果，为汽车安全驾驶提供辅助性的支持，从而增强汽车在安全方面的人性化特征，达到辅助驾驶安全的目的。统计资料表明，驾驶员的人为因素导致的公路交通事故率最高。无论是事故数量，还是伤亡人数均分别高达各自总数的90％左右。并且，在导致这些公路交通事故的驾驶员的人为因素中，疲劳和精神分散驾驶是重要原因之一。驾驶员在3-5秒时间内的注意力不集中，造成了其中80％的交通事故，主要表现为道路偏离和追尾事故。研究显示，若在公路交通事故发生前的1.5秒给驾驶员发出预警，则可避免90％的这类事故。因此，利用技术手段分析车道、周围车辆的状况等驾驶环境信息，一旦当驾驶员发生疲劳及精神分散、汽车出现无意识的道路偏离、车距过近存在追尾可能时，能够及时给予驾驶安全预警，是减少公路交通事故行之有效的技术措施，具有重大的经济、社会价值。

从硬件设备上看，在国内外的各种类型的研究中，路况检测技术主要分为两类：一类是基于视觉传感器的路况检测技术，另一类是基于非视觉的其它传感器检测技术。其中，基于非视觉传感器的检测技术发展空间有限，主要受到传感器的机械性能、物理性能的制约，需要得到相关学科发展的促进。而基于视觉传感器的检测技术由于IT技术的飞速发展而得到了广泛的重视。

意大利帕尔马大学研制的ARGO实验车装备有摄像机、霍尔效应传感器、IO接口板、信息输出设备和奔腾200MMX的PC机。其核心是由奔腾200MMX的PC机实现的GOLD视觉系统(Generic Obstacle and Lane Detection)，该系统根据2个前向摄像机采集的图像，检测一般障碍物和结构化环境中车道的位置，检测速度为100ms。并实现几何变换消除左右图像的透视效应；左图像通过一系列形态学的处理用于检测白线，右图像用于检测障碍物，以确定车前的可行驶区域。

德国研究与技术部门与大众汽车公司于1992年合作研制成的Caravelle系统应用于大众公司的Caravelle旅行车，主要研究高速公路下的视觉导航。Caravelle系统包括传感器系统、执行机构和计算机系统；其中，传感器系统除包括两台摄像机外，还包括一个速度传感器和一个测量驾驶角的传感器。两台摄像机中一台装有摄远镜头的用来检测障碍，另一台装有广角镜头的用来检测行车道。执行机构为方向力矩电机和电子油门。计算机系统由两台PC组成，一台完成图像处理、卡尔曼动态滤波、车体控制，另一台PC完成系统自举、监控等功能。92年公布的材料显示该系统从识别一帧图像到完成控制的周期为70ms。

从发展趋势来看，在其它传感器发展缓慢的今天，基于视觉传感器的IT处理技术将承担汽车安全辅助的主要任务，具有广阔的发展空间。而多传感器融合的技术方案也将提高视觉系统的性能。所以，对汽车安全驾驶具有实际应用价值的路况监测技术也将以视觉传感器为核心，以多传感器融合的技术方案得到深入广泛的发展。

中国专利(2007101665162.0)公开了一种障碍物的监测方法及其系统，使用水平激光照射路面，然后用摄像头采集指定路面的图像是否存在激光反射特征判断路面是否存在障碍物，但是该方法，会对路面环境造成光干扰，并且需要激光设备，系统复杂。

中国专利(200910049885.3)公开了一种自动识别道路深坑与障碍物的车辆智能装置，使用双目针孔摄像头采集图像，通过双目视觉的方法判断道路前方高度是否异常，对深坑以及路面物体给出报警，

目前计算机视觉中三种已有的处理方法：KLT(Kanade-Lucas-Tomasi)跟踪方法、K均值聚类法以及历史运动消隐法，分别说明如下：

KLT跟踪方法是计算视觉中一种重要的目标跟踪方法，它首先在待跟踪目标上提取具有一下特征的点(下称角点)：角点提取采用如下算法：对于当前帧图像内的每一个点计算出矩阵Z：

Z = [\begin{matrix} g_{x}^{2} & g_{x} g_{y} \\ g_{x} g_{y} & g_{y}^{2} \end{matrix}]

其中，gx表示图像在位置(x，y)处亮度的一阶水平方向导数，gy表示图像在位置(x，y)处亮度的一阶竖直方向导数。再计算该矩阵的特征值λ₁和λ₂，如果λ₁，λ₂的最小值大于设定阈值λ，认为是角点，否则不是角点，阈值的设定根据实验效果调整得到。

提取出当前帧图像的角点后，使用下面方法在后一帧图像中找到当前帧图像各角点新的对应位置：

设定一个固定搜索窗口大小宽度为w_x，高度为w_y，设当前图像(x，y)处的亮度为I(x，y)，后一帧图像(x，y)处的亮度为J(x，y)，对于每个角点，对于它的所有偏移(dx，dy)计算下面值，取使ε(d)值最小的(dx，dy)为该角点从当前帧到后一帧的运动位移。

ϵ (d) = Σ_{x = u_{x} - w_{x}}^{u_{x} + w_{x}} Σ_{y = u_{y} - w_{y}}^{u_{y} + w_{y}} {[I (x, y) - J (x + d_{x}, y + d_{y})]}^{2}

K均值聚类算法基本思想是先进行粗略的分类，然后按照某种最优的原则修改不合理的分类，直至分类比较合理为止，形成最终的分类结果。K-均值聚类把点到聚类中心的某种距离(如欧式距离)和作为优化的目标函数，采用函数求极值的方法得到迭代运算的调整规则。K均值聚类需要根据实际情况预先给定待聚类数K。

历史运动消隐法中图像定义如下，对于第k帧图像(x，y)处，对应的历史运动图像mhi在该处的值为：

其中silh是用当前帧图像与前一帧相减的二值化图像，T为当前时间，AT是控制消隐速度的时间阈值，根据实验中的效果来设定。mhi中运动发生的象素点被设置为当前时间戳，而运动发生较久的象素点被清除，反应了当前时间附近各个点的累积运动程度。然后计算运动历史图像mhi的各个连通域，即可得到障碍物的位置、大小、形状等信息。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种用于驾驶安全的视觉障碍物检测方法，仅使用普通摄像头，实现简易低廉，该方法计算速度快，比较稳定且环境适应能力强。

本发明的用于驾驶安全的视觉障碍物检测方法，其特征在于，包括如下步骤

(1)采集视频图像：通过采集车外视频图像的摄像头实时采集车外视屏图像；

(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓；

(3)采用基于帧差的历史运动消隐法检测得到当前帧图像中多个候选障碍物中心和轮廓；

(4)对步骤(2)、(3)得到的两种结果求交集运算，交集运算结果作为最终障碍物的中心区域；

(5)在步骤(2)、(3)得到的两种结果中搜索与步骤(4)得到的障碍物中心区域相连的区域，将这些区域与对应的中心区域组成当前帧图像的各个障碍物的边界，作为障碍物检测结果，转步骤(1)。

本发明的特点及有益效果：

本发明的特点为：首先车辆上的摄像头对前方路面进行采集，然后提取图像中的角点，并利用光流与K均值对障碍物初步估计，得到障碍物的候选中心位置以及大小；然后利用基于帧差的运动历史消隐法排除前面结果中运动速度不合理的区域，这样得到更加鲁棒的障碍物中心，然后把两种方法结果进行并运算，在确认后的障碍物中心周围取区域边界作为每个障碍物的边界。

本发明的有益效果为：仅使用普通分辨率视频图像采集设备，不使用除摄像头之外的额外传感器，且简单易行，且不会对路面造成污染。

本方法选用了适于移动计算设备的计算视觉技术，仅使用单目视觉方法推算障碍物的高度，计算速度比双目视觉快速，且本方法使用两种视觉方法进行双重确认，检测效果更加稳定准确，环境适应性好。

附图说明

图1为本发明方法采用的汽车道路障碍物监测实施例结构示意图。

图2为本发明的道路障碍物检测方法流程图。

图3为本发明采用KLT跟踪方法与K均值聚类法得到候选障碍物中心和轮廓流程图。

具体实施方式

本发明提出的用于驾驶安全的视觉障碍物检测方法，结合附图及实施例详细说明如下：

本发明方法的具体实施方式是在被保护的汽车内安装有采集车外视频图像的摄像头以及与其相连的计算机，该计算机上存储有预先编制的按本发明方法实现的障碍物检测程序，摄像头采用普通USB网络摄像头，计算机使用1.2GHz CPU处理器。摄像头安装实施例如图1所示，摄像头1对准汽车2前方，以图像下边缘刚刚超过车头3线为准(图中虚线标示出摄像头对准的方向和车外视频图像采集的范围)。

本发明的用于驾驶安全的视觉障碍物检测方法实施例流程如图2所示，包括如下步骤：

(1)采集视频图像：通过采集车外视频图像的摄像头实时采集车外视屏图像，所采集图像的大小规格由摄像头驱动决定，最常用的是320×240和640×480两种大小规格。本实施例中，所采集图像的大小规格为320×240像素；

(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓，如图3所示，具体包括以下步骤：

A.在步骤(1)采集的当前帧图像中提取路面区域的角点位置信息；

B.根据当前帧图像的角点数以及上一帧图像中检测得到的障碍物个数估计当前帧图像待聚类数K；K的确定方法如下：

\{\begin{matrix} K_{j} = {\tilde{K}}_{j - 1} + 2, j = 1,2,3 . . . \\ K_{0} = \frac{\sqrt{M_{0}}}{2} \end{matrix}

其中，K_j表示第j帧估计的聚类数，用于第四步中的聚类，表示第j-1帧检测到的障碍物数；K₀为起始帧图像的障碍物估计数，M₀为起始帧图像内检测到的角点数。

C.根据当前帧图像及下一帧图像利用KLT算法计算当前帧图像的角点的运动位移；

D.将当前帧图像的角点位置信息及其运动位移组成一个多维向量，采用K均值法进行聚类，将当前帧图像的角点划分成K个集合，每个集合的中心为候选障碍物中心，集合的边界为候选障碍物轮廓；

Claims

1.一种用于驾驶安全的视觉障碍物检测方法，其特征在于，包括如下步骤

2.如权利要求1所述用于驾驶安全的视觉障碍物检测方法，其特征在于，所述步骤(2)采用KLT跟踪方法与K均值聚类法得到当前帧图像中K个候选障碍物中心和轮廓，具体包括以下步骤：

其中，K_j表示第j帧估计的聚类数，用于第

四步中的聚类，表示第j-1帧检测到的障碍物数；K₀为起始帧图像的障碍物估计数，M₀为起始帧图像内检测到的角点数；

D.将当前帧图像的角点位置信息及其运动位移组成一个多维向量，采用K均值法进行聚类，将当前帧图像的角点划分成K个集合，每个集合的中心为候选障碍物中心，集合的边界为候选障碍物轮廓。