CN107506686B - 一种基于显著性检测的夜间车辆检测方法 - Google Patents

Abstract

本发明公开了一种基于显著性检测的夜间车辆检测方法。该方法包括预处理手动标定得到感兴趣区域及车灯间距、车灯高度等阈值；然后对感兴趣区域进行FT显著性检测获得显著图，再对显著图进行形态学处理后及OTSU二值化处理得到显著区域二值图；利用颜色信息对显著图中显著区域进行二次过滤，得到候选车灯区域；利用标定获得阈值对候选车灯进行两两匹配，得到车灯对；利用车灯长度、宽度等先验知识对车灯对进行二次筛选，得到最终的车灯对。本方法能够有效过滤车身反光、地面反光，减少车灯的多检，增加车辆检测的鲁棒性。

Description

一种基于显著性检测的夜间车辆检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及在道路卡口夜间车辆检测过程中，利用显著性检测对车辆进行检测的方法。

背景技术

在夜间等黑暗条件下，由于光照条件较差、照明不均匀等原因，路面和车辆的颜色、纹理、亮度等特征不明显。而利用这些特征进行检测的算法往往在夜间失效，因此夜间环境下的车辆检测是智能交通系统中的一个研究难点。

夜间车辆最显著的特征就是车灯，对车灯的提取也是夜间车辆检测方法的关键。目前常用的夜间车辆检测方法是以车灯颜色信息、亮度或形态特征来实现车辆检测，其中与本发明最接近的技术方案包括：公开号为CN104778454A的中国专利申请公开了基于亮度递减验证的夜间车辆尾灯提取方法，该方法基于“越远离白光区域的光晕点亮度值越低”的事实对疑似车灯对象的光晕区域亮度分布进行验证，得到可信度较高的车灯对象，但是该方法仅对颜色过滤后灰度值大于245的高亮区域进行疑似车灯筛选验证，具有一定局限性；公开号为CN105718893A的中国专利申请公开了一种用于夜间环境的车辆尾灯对检测方法，该方法使用最大类间距离法对图像进行二值化，然后利用形状、面积、位置信息对车灯对进行匹配筛选，但该方法并没有有效利用车灯颜色信息，提取车灯时容易引入非车灯高亮区域；公开号为CN104732235A的中国专利申请公开了一种消除夜间道路反光干扰的车辆检测方法，该方法利用车灯和反射光的亮度梯度统计特征差别，采用基于Fisher判别法区分反射光和车灯，并消除图像中的反射光，然后进行连通区域并采用形态学对车灯进行提取和匹配，实现夜间车辆检测，但该方法需要手动选取多张具有代表性的反射光和车灯的夜间道路监控图像作为样本；与传统的车辆检测方法不同，本文提出一种在显著图的基础上进行车灯提取方法，能有效过滤车身反射光、地面反射光等干扰，提高车辆检测鲁棒性。

发明内容

针对上述问题，本发明公开了一种基于显著性检测的夜间车辆检测方法，该方法能够有效过滤车身反光、地面反光，减少车灯的多检，增加车辆检测的鲁棒性。具体技术方案如下：

一种基于显著性检测的夜间车辆检测方法，包括如下步骤：

步骤1：从道路监控视频中手动标定出感兴趣区域；同时标定出车辆经过感兴趣区域时的两侧车灯间距最小值LAMP_MIN、最大值LAMP_MAX和单侧车灯最大高度LAMP_H；

步骤2：读取图像序列，截取当前帧图像的感兴趣区域G，其分辨率为w*h；

步骤3：对感兴趣区域G进行显著性检测并进行形态学处理，得到候选车灯二值图SalLamp；

步骤4：利用颜色信息对候选车灯二值图SalLamp进行二次过滤，得到车灯外接矩形集合RL；

步骤5：对车灯外接矩形进行匹配，得到车灯对矩形映射集

使其同时满足式(2)、(3)和(4)：

式中，

表示矩形

中心点的X坐标；

表示矩形

中心点的Y坐标；映射集Match中元素

表示左车灯外接矩形

和右车灯外接矩形

的配对关系，m表示Match的元素个数；

步骤6：对映射集Match进行二次筛选，使其满足式(5)和式(6):

式中，

和

分别表示车灯外接矩形

的高度和宽度；

步骤7：根据式(7)，利用映射集Match对车体进行计算，得到车体矩形集合RM＝{rm_k|k＝1,2,...,q}，其中q表示车辆数，rm_k表示车体矩形集合RM中第k个车体矩形：

式中，rm_k表示对应车灯对

的外接矩形，rm_k.X表示矩形左上角点X坐标，rm_k.Y表示矩形左上角点Y坐标,rm_k.H表示矩形高度，rm_k.W表示矩形宽度。

进一步的，步骤3对感兴趣区域G进行显著性检测并进行形态学处理，得到候选车灯二值图SalLamp，具体为：

步骤3.1：使用FT显著性检测方法计算得到感兴趣区域G的显著性灰度图，记为Sal；在本实施例中，显著图如图3所示；

步骤3.2：对显著性灰度图Sal进行中值滤波；

步骤3.3：对中值滤波后的显著性灰度图Sal使用OTSU方法进行二值化处理，得到候选车灯二值图SalLamp。

进一步的，步骤4，利用颜色信息对候选车灯二值图SalLamp进行二次过滤，得到车灯外接矩形集合RL，具体为：

步骤4.1：根据式(1)过滤得到新的候选车灯二值图SalLamp：

式中，SalLamp_ij表示候选车灯二值图SalLamp中第i行第j列像素的灰度值，R_ij、G_ij、B_ij分别表示感兴趣区域G第i行第j列像素的R、G、B通道的像素值；若SalLamp_ij值为255，则认为该像素处于车灯中，否则认为该像素为非车灯像素；

步骤4.2：对候选车灯二值图SalLamp进行膨胀处理；在本实施例中，经过颜色信息二次过滤后的候选车灯二值图SalLamp如图5所示；

步骤4.3：找到候选车灯二值图SalLamp中所有连通区域的最小外接矩形，构成车灯外接矩形集合RL＝{rl_i|i＝1,2,3...,n}，其中n表示车灯外接矩形个数，rl_i表示车灯外接矩形集合RL中第i个外接矩形。

本发明的优点及有益效果如下：

1)车灯检测时，本发明在显著性检测得到显著图后，再利用颜色信息进行过滤。显著图能有效过滤车身反射光、地面反射光等干扰，对环境光照变化鲁棒性高，提高了车灯检测的准确性。

2)本发明充分利用了监控视频背景是固定不变的特性，通过手动标定的方式获得车灯对间距的范围以及车灯高度，利用车灯间距信息对车辆尾灯进行初步配对，再对车灯形状信息进行二次筛选，增强车灯对检测的稳定性与准确性。

附图说明

图1为一种基于显著性检测的夜间车辆检测方法的流程图。

图2为本发明的实施例经过步骤2处理后的感兴趣区域。

图3为本发明的实施例经过步骤3.1处理后的显著图图像。

图4为本发明的实施例经过步骤3.3处理后的二值图像。

图5为本发明的实施例经过步骤4.2处理的候选车灯二值图像。

图6为本发明的实施例经过步骤7处理的车灯匹配结果。

具体实施方式

下面结合实施例来详细阐述本发明的基于显著性检测的夜间车辆检测方法的具体实施方式。

在本实施例中，参照图1，对一种基于显著性检测的夜间车辆检测方法进行具体介绍：

步骤1：从道路监控视频中手动标定出感兴趣区域；同时标定出车辆经过感兴趣区域时的两侧车灯间距最小值LAMP_MIN、最大值LAMP_MAX和单侧车灯最大高度LAMP_H；在本实施例中，车灯最小间距LAMP_MIN为60，最大间距LAMP_MAX为120，车灯高度LAMP_H为80；

步骤2：读取图像序列，截取当前帧图像的感兴趣区域G，其分辨率为w*h；在本实施例中，感兴趣区域G如图2所示，w为750，h为130；

步骤3：对感兴趣区域G进行显著性检测并进行形态学处理，得到候选车灯二值图SalLamp，具体为：

步骤3.1：使用FT显著性检测方法计算得到感兴趣区域G的显著性灰度图，记为Sal；在本实施例中，显著图如图3所示；

步骤3.2：对显著性灰度图Sal进行中值滤波；

步骤3.3：对中值滤波后的显著性灰度图Sal使用OTSU方法进行二值化处理，得到候选车灯二值图SalLamp；在本实施例中，显著图二值化后结果如图4所示；

步骤4：利用颜色信息对候选车灯二值图SalLamp进行二次过滤，得到车灯外接矩形集合RL，具体为：

步骤4.1：根据式(1)过滤得到新的候选车灯二值图SalLamp：

式中，SalLamp_ij表示候选车灯二值图SalLamp中第i行第j列像素的灰度值，R_ij、G_ij、B_ij分别表示感兴趣区域G第i行第j列像素的R、G、B通道的像素值；若SalLamp_ij值为255，则认为该像素处于车灯中，否则认为该像素为非车灯像素；

步骤4.2：对候选车灯二值图SalLamp进行膨胀处理；在本实施例中，经过颜色信息二次过滤后的候选车灯二值图SalLamp如图5所示；

步骤4.3：找到候选车灯二值图SalLamp中所有连通区域的最小外接矩形，构成车灯外接矩形集合RL＝{rl_i|i＝1,2,3...,n}，其中n表示车灯外接矩形个数，rl_i表示车灯外接矩形集合RL中第i个外接矩形；

步骤5：对车灯外接矩形进行匹配，得到车灯对矩形映射集

使其同时满足式(2)、(3)和(4)：

式中，

表示矩形

中心点的X坐标；

表示矩形

中心点的Y坐标；映射集Match中元素

表示左车灯外接矩形

和右车灯外接矩形

的配对关系，m表示Match的元素个数；

步骤6：对映射集Match进行二次筛选，使其满足式(5)和式(6):

式中，

和

分别表示车灯外接矩形

的高度和宽度；

步骤7：根据式(7)，利用映射集Match对车体进行计算，得到车体矩形集合RM＝{rm_k|k＝1,2,...,q}，其中q表示车辆数，rm_k表示车体矩形集合RM中第k个车体矩形：

式中，rm_k表示对应车灯对

的外接矩形，rm_k.X表示矩形左上角点X坐标，rm_k.Y表示矩形左上角点Y坐标,rm_k.H表示矩形高度，rm_k.W表示矩形宽度；在本实施例中，车体估计结果如图6所示；

本说明书实施例所述的内容仅仅是对本发明构思实现形式的举例，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种基于显著性检测的夜间车辆检测方法，包括如下步骤：

步骤1：从道路监控视频中手动标定出感兴趣区域；同时标定出车辆经过感兴趣区域时的两侧车灯间距最小值LAMP_MIN、最大值LAMP_MAX和单侧车灯最大高度LAMP_H；

步骤2：读取图像序列，截取当前帧图像的感兴趣区域G，其分辨率为w*h；

步骤3：对感兴趣区域G进行显著性检测并进行形态学处理，得到候选车灯二值图SalLamp；

步骤4：利用颜色信息对候选车灯二值图SalLamp进行二次过滤，得到车灯外接矩形集合RL；

步骤5：对车灯外接矩形进行匹配，得到车灯对矩形映射集

使其同时满足式(2)、(3)和(4)：

式中，

表示矩形

中心点的X坐标；

表示矩形

中心点的Y坐标；映射集Match中元素

表示左车灯外接矩形

和右车灯外接矩形

的配对关系，m表示Match的元素个数；

步骤6：对映射集Match进行二次筛选，使其满足式(5)和式(6):

式中，

和

分别表示车灯外接矩形

的高度和宽度；

步骤7：根据式(7)，利用映射集Match对车体进行计算，得到车体矩形集合RM＝{rm_k|k＝1,2,...,q}，其中q表示车辆数，rm_k表示车体矩形集合RM中第k个车体矩形：

式中，rm_k表示对应车灯对

的外接矩形，rm_k.X表示矩形左上角点X坐标，rm_k.Y表示矩形左上角点Y坐标,rm_k.H表示矩形高度，rm_k.W表示矩形宽度；

所述车灯最小间距LAMP_MIN为60，最大间距LAMP_MAX为120，车灯高度LAMP_H为80；步骤3对感兴趣区域G进行显著性检测并进行形态学处理，得到候选车灯二值图SalLamp，具体为：

步骤3.1：使用FT显著性检测方法计算得到感兴趣区域G的显著性灰度图，记为Sal；

步骤3.2：对显著性灰度图Sal进行中值滤波；

步骤3.3：对中值滤波后的显著性灰度图Sal使用OTSU方法进行二值化处理，得到候选车灯二值图SalLamp；

步骤4，利用颜色信息对候选车灯二值图SalLamp进行二次过滤，得到车灯外接矩形集合RL，具体为：

步骤4.1：根据式(1)过滤得到新的候选车灯二值图SalLamp：

式中，SalLamp_ij表示候选车灯二值图SalLamp中第i行第j列像素的灰度值，R_ij、G_ij、B_ij分别表示感兴趣区域G第i行第j列像素的R、G、B通道的像素值；若SalLamp_ij值为255，则认为该像素处于车灯中，否则认为该像素为非车灯像素；

步骤4.2：对候选车灯二值图SalLamp进行膨胀处理；

步骤4.3：找到候选车灯二值图SalLamp中所有连通区域的最小外接矩形，构成车灯外接矩形集合RL＝{rl_i|i＝1,2,3...,n}，其中n表示车灯外接矩形个数，rl_i表示车灯外接矩形集合RL中第i个外接矩形。

Images