CN104881645B - 基于特征点互信息量和光流法的车辆前方目标的检测方法 - Google Patents

Abstract

本发明公开了一种基于特征点互信息量和光流法的车辆前方目标的检测方法，按以下步骤进行：首先读取视频中相邻两帧的彩色图像，将其转换成灰度图像，再对灰度图像进行预处理，采用直方图均衡化方法进行增强，以提高目标车道线的分辨率，再采用基于中值滤波的方法进行平滑处理，进行预处理之后，最后使用基于特征点互信息量和光流场的方法检测车辆前方运动障碍物，包括1)提取特征点；2)标记；3)判定角点个数；4)选定区域；5)计算互信息量；6)确定角点链；7)计算角点光流；8)距离、角度准则确定，删除具有相同矢量的角点；9)阈值化，得到最终运动障碍物检测结果。

Description

基于特征点互信息量和光流法的车辆前方目标的检测方法

技术领域：

本发明涉及一种车辆前方运动障碍物的检测方法，具体涉及一种基于特征点互信息量和光流法的车辆前方目标的检测方法。

背景技术：

在交通领域中，由于驾驶员注意力不集中、疲劳或醉酒驾驶以及各种突发状况的产生容易造成车祸。为了提高驾驶的安全性和操作的简单性，使用相应的辅助驾驶系统可以预防和减少此类事故的发生。其中车辆前方障碍物的检测也是辅助驾驶系统的关键技术之一。

目前车辆前方障碍物的检测方法主要有：第一种是基于红外线成像的检测，这种方法不受白天和夜间的一般光线限制，但是易受高温与强光的影响；第二种是基于雷达的障碍物检测，这种方法能够探测到障碍物的方位信息，但是不能直观精确的检测出障碍物的具体位置和活动范围，且实时性不能满足实际交通环境的要求；第三种是基于激光测距的障碍物检测方法，该方法能准确测量障碍物的距离，但是高精度的激光测距造价偏高，且光学部件易受损害；随着数字图像处理技术的发展，交通领域中的图像处理也得到了广泛的应用。基于图像的障碍物检测可以通过不同的算法设计快速、准确的得到障碍物的位置、距离信息，并及时对驾驶员进行预警，避免交通事故的发生。

传统的连续光流法无法对于序列图像中做较大的运动速度的运动目标特征跟踪,但是当跟踪中目标物体出现小角度转动时，由于目标特征不明确，会出现的跟踪开孔问题。但是单纯的互信息量法虽然在目标跟踪过程中，计算准确，但耗时过长，不能满足实时性的要求。

发明内容：

本发明的目的在于针对现有的检测方法成本高、不易维护、以及检测不精确的缺陷，以及基于机器视觉的障碍物检测算法运算复杂、速度较慢、提取不精确等的不足，结合了传统光流法速度快以及基于特征的互信息量法精度高的特点，提出一种基于特征点互信息量和光流法的车辆前方目标的检测方法。

为达到上述目的，本发明采用如下的技术方案予以实现：

基于特征点互信息量和光流法的车辆前方目标的检测方法，按以下步骤进行：

步骤一，读取视频中相邻帧的原始图像，将彩色图像转化成灰度图像；

步骤二，对灰度图像进行预处理，进行图像增强；

步骤三，对增强后的灰度图像进行平滑；

步骤四，使用基于互信息量的特征点匹配的光流法对平滑后的灰度图像中车辆前方运动障碍物进行检测。

本发明进一步的改进在于，步骤二中，使用直方图均衡法对灰度图像进行增强，以增加被检测障碍物与图像背景间的差异。

本发明进一步的改进在于，步骤三中，对增强后的灰度图像采用中值滤波的平滑处理方法，用以去除无用信息。

本发明进一步的改进在于，步骤四中，具体实现步骤如下：

1)特征点提取：采用Harris角点检测的方法提取特征点；

2)标记：将提取的特征点进行标记；

3)判定角点个数：分别以相邻两帧图像为I₁和I₂，记录两幅图中各个标记角点的坐标其中m，n分别代表I₁和I₂中角点的个数；

4)选定区域：分别以角点为中心，以每个角点的8邻域为矩形区域

5)计算互信息量：以为中心，为原始区域，对于I₂中的分别计算互信息量

6)确定角点链：选择互信息量最大的两个点为匹配点，即为角点链；

7)计算角点光流：使用基于梯度的光流法计算角点的光流，得到光流矢量(u,v)；

8)距离、角度准则确定：根据步骤7)分别求得相邻两帧图像的矢量(u₁,v₁),(u₂,v₂)，删除具有相同矢量的角点；设定距离和角度准则，判定角点的分布，最终检测出车辆前方运动障碍物；

9)阈值化：设置距离阈值d_th,角度阈值α_th,将d＜d_th,α＜α_th的角点光流聚类，得到最终的检测结果。

本发明进一步的改进在于，步骤5)中，互信息量的计算公式如下：

式中

其中：分别为区域的熵；为二者的联合熵；分别为区域的灰度分布概率密度；l为该区域像素点灰度最大值；a_i,b_i分别表示区域的像素点的灰度值,a_k,b_k为区域出现a_i,b_i级灰度的像素数，a，b分别表示区域图像像素总数。

本发明进一步的改进在于，步骤6)中，角点链的计算公式如下：

本发明进一步的改进在于，步骤7)中，匹配点对的光流近似相同,具体步骤如下：

a.计算图像I中角点的光流基本方程为：

I(x,y,t)＝I(x+dx,y+dy,t+dt)

式中t表示时间轴；用泰勒展开式展开后，可得

设可得光流约束方程：

I_xu+I_yv+I_t＝0

b.对上式用最小二乘法计算求得另一个光流约束方程：在区域中对所有像素的水平、垂直、时间轴上分别求和，可得

其中

通过上式，求得角点的梯度光流场。

本发明进一步的改进在于，步骤8)中，距离准则如下：

角度准则如下：

本发明进一步的改进在于，步骤9)中，设置距离阈值d_th＝4,角度阈值α_th＝1.5，将d＜d_th,α＜α_th的角点光流聚类，得到最终的检测结果。

与现有技术相比，本发明具有如下的有益效果：

1.由于使用特征点检测的方法，对于前方障碍物及时检测提供了准确、及时的信息；

2.发明中涉及了使用基于特征点的相邻帧之间的互信息量计算，既减少了标定障碍物所消耗的时间，且标定位置目标准确、清晰，精度高；

3.发明中采用了基于角点链的光流，便于快速识别障碍物体，且缩小了障碍物跟踪的范围；

4.发明中对于恶劣天气造成图像不清晰的问题，采用了简单的直方图增强方法，既能满足实时性要求，又对车辆前方障碍物检测的清晰度提供了有利的条件；

5.发明中根据准则进行光流检测，便于前方动态的障碍物检测。本发明的优点在于既能够满足车辆前方障碍物体的检测的准确性，又能保证准确检测车辆前方动态障碍物的实时性。

附图说明：

图1为本发明的方法流程图；

图2(a)、图2(b)分别取自视频中相邻两帧图像，为本发明的原始图像；

图3(a)为第一帧图像的角点检测结果图，即图2(a)的角点检测结果图；图3(b)为第二帧图像的角点检测结果图，即图2(b)的角点检测结果图；

图4为光流计算结果图；

图5为本发明运动障碍物检测结图果。

具体实施方式：

以下结合实施例与附图对本发明作进一步详细说明。

参照附图1，遵循本发明的技术方案，该实施例的基于特征点互信息量和光流法的车辆前方目标的检测方法，按以下步骤进行：

步骤一，读取车载摄像机拍摄的视频中相邻两帧的清晰、稳定的图像作为原始图像，如图2(a)和(b),将彩色图像转化成灰度图像；

步骤二，由于大雾或者雨雪天气可见度低，光照不好，通常会造成图像的分辨率低，因此要对图像进行预处理，本发明使用直方图均衡方法对灰度图像进行增强；

步骤三，对增强后的灰度图像进行平滑，采用基于中值滤波的平滑处理方法，用以去除噪声；

步骤四，对图像进行预处理之后，使用基于互信息量的特征点匹配的光流法对图像中车辆前方运动障碍物进行检测，具体步骤如下：

1)特征点提取：本发明采用Harris角点检测的方法提取特征点，如图3(a)和3(b)；

2)标记：将提取的特征点进行标记；

3)判定角点个数：分别以相邻两帧图像为I₁和I₂，记录两幅图中各个标记角点的坐标其中m，n分别代表I₁和I₂中角点的个数；

4)选定区域：分别以角点为中心，以每个角点的8邻域为矩形区域

5)计算互信息量：以为中心，为原始区域，对于I₂中的分别计算互信息量

式中

其中：分别为区域的熵；为二者的联合熵。分别为区域的灰度分布概率密度。l为该区域像素点灰度最大值。a_i,b_i分别表示区域的像素点的灰度值,a_k,b_k为区域出现a_i,b_i级灰度的像素数，a，b分别表示区域图像像素总数。

6)确定角点链：选择互信息量最大的两个点为匹配点，即为角点链,如下：

7)计算角点光流：使用基于梯度的光流法计算角点的光流，如图4所示，匹配点对的光流近似相同,具体步骤如下：

a.计算图像I中角点的光流基本方程为：

I(x,y,t)＝I(x+dx,y+dy,t+dt)

式中t表示时间轴。用泰勒展开式展开后，可得

设可得光流约束方程：

I_xu+I_yv+I_t＝0

b.对上式用最小二乘法计算求得另一个光流约束方程：在区域中对所有像素的水平、垂直、时间轴上分别求和，可得

其中

通过上式，可求得角点的梯度光流场。

8)根据步骤7)分别求得相邻两帧图像的矢量(u₁,v₁),(u₂,v₂)，删除具有相同矢量的角点。根据图像中运动物体矢量间的距离和角度准则，判定角点的分布，最终检测出车辆前方运动障碍物。

距离准则：

角度准则：

9)阈值化：本实施例中设置距离阈值d_th＝4,，角度阈值α_th＝1.5,将d＜d_th,α＜α_th的角点光流聚类，得到最终的检测结果，如图5所示。

Claims (8)

1.基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，按以下步骤进行：

步骤一，读取视频中相邻帧的原始图像，将彩色图像转化成灰度图像；

步骤二，对灰度图像进行预处理，进行图像增强；

步骤三，对增强后的灰度图像进行平滑；

步骤四，使用基于互信息量的特征点匹配的光流法对平滑后的灰度图像中车辆前方运动障碍物进行检测，具体实现步骤如下：

1)特征点提取：采用Harris角点检测的方法提取特征点；

2)标记：将提取的特征点进行标记；

3)判定角点个数：分别以相邻两帧图像为I₁和I₂，记录两幅图中各个标记角点的坐标其中m，n分别代表I₁和I₂中角点的个数；

4)选定区域：分别以角点为中心，以每个角点的8邻域为矩形区域

5)计算互信息量：以为中心，为原始区域，对于I₂中的分别计算互信息量

6)确定角点链：选择互信息量最大的两个点为匹配点，即为角点链；

7)计算角点光流：使用基于梯度的光流法计算角点的光流，得到光流矢量(u,v)；

8)距离、角度准则确定：根据步骤7)分别求得相邻两帧图像的矢量(u₁,v₁),(u₂,v₂)，删除具有相同矢量的角点；设定距离和角度准则，判定角点的分布，最终检测出车辆前方运动障碍物；

9)阈值化：设置距离阈值d_th,角度阈值α_th,将d＜d_th,α＜α_th的角点光流聚类，得到最终的检测结果。

2.根据权利要求1所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤二中，使用直方图均衡法对灰度图像进行增强，以增加被检测障碍物与图像背景间的差异。

3.根据权利要求1所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤三中，对增强后的灰度图像采用中值滤波的平滑处理方法，用以去除无用信息。

4.根据权利要求1所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤5)中，互信息量的计算公式如下：

式中

其中：分别为区域的熵；为二者的联合熵；分别为区域的灰度分布概率密度；l为该区域像素点灰度最大值；a_i,b_i分别表示区域的像素点的灰度值,a_k,b_k为区域出现a_i,b_i级灰度的像素数，a，b分别表示区域图像像素总数。

5.根据权利要求4所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤6)中，角点链的计算公式如下：

6.根据权利要求5所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤7)中，匹配点对的光流近似相同,具体步骤如下：

a.计算图像I中角点的光流基本方程为：

I(x，y，t)＝I(x+dx，y+dy，t+dt)

式中t表示时间轴；用泰勒展开式展开后，可得

设可得光流约束方程：

I_xu+I_yv+I_t＝0

b.对上式用最小二乘法计算求得另一个光流约束方程：在区域中对所有像素的水平、垂直、时间轴上分别求和，可得

其中

通过上式，求得角点的梯度光流场。

7.根据权利要求6所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤8)中，距离准则如下：

角度准则如下：

8.根据权利要求7所述的基于特征点互信息量和光流法的车辆前方目标的检测方法，其特征在于，步骤9)中，设置距离阈值d_th＝4，角度阈值α_th＝1.5，将d＜d_th，α＜α_th的角点光流聚类，得到最终的检测结果。