CN108229317B - 一种基于显著性计算的交通信号灯识别方法 - Google Patents

Abstract

本发明公开了一种基于显著性计算的交通信号灯识别方法，实现信号灯标定偏转后交通信号灯识别，提高道路交通违章检测系统的鲁棒性；针对交通场景中的摄像头因外界环境而产生偏移的情况，通过显著性检测的图像识别算法，实现标定位置偏移后的信号灯识别，具有准确率高、速度快、操作简单和实时检测的特点，避免了因摄像头镜头偏移而造成交通违章系统瘫痪的问题，减少了交通场景重新标定的复杂过程，解决了交通违章检测系统可靠性不高的问题。

Description

一种基于显著性计算的交通信号灯识别方法

技术领域

本发明涉及一种基于显著性计算的交通信号灯识别方法，尤其涉及利用图像识别技术针对因外部环境原因造成信号灯标定区域偏移后的交通信号灯识别方法。

背景技术

交通信号灯是规范马路秩序，控制车辆交通有序进行的重要工具，而在车辆违章检测系统中，交通信号灯的识别是一切车辆违章判断的基础，起到了重要的作用。但由于交通场景复杂，违章系统中信号灯区域需要事先进行标定，但室外工作环境复杂，大风和雨水容易造成部分违章检测系统的相机镜头发生偏转，导致交通信号灯标定区域发生偏移，使得信号灯识别有误，而引起违章检测系统瘫痪。针对信号灯标定区域偏移问题，提出了基于显著性计算的交通信号灯识别方法。

为了解决交通信号灯识别问题，国内外学术界、工业界提出了很多方案。其中与本发明较为接近的技术方案包括：吴国庆(基于图像处理的交通灯检测技术[J].现代电子技术,2017,40(8):103-106.)该方法针对整个交通场景进行信号灯的自动识别，通过灰度阈值分割、形态学操作、信号灯颜色分割和Random变化形状检测，得到最终的信号灯区域，进而判断信号灯指示内容；该方法针对成像效果较好的图像，能有效地检测信号灯，但成像质量由相机决定，许多相机拍摄的信号灯中，红灯仅有一小部分为红，单纯通过RGB颜色通道对其进行筛选不能满足后续形状检测的需求，影响信号灯最终的识别结果。吴泽峰(基于投影特征值的交通信号灯检测与识别方法[J].现代电子技术,2016,39(9):160-163.)该方法通过对图像进行颜色分割的方法从背景中分割出交通信号灯区域，利用几何特征对噪声进行滤除，再使用信号灯背板进行二次过滤，最后根据信号灯特征和分类器对信号灯进行识别；该方法对信号灯识别有较好的效果，但该方法单幅图像处理时间为128ms，在复杂的交通违章系统中，会占用大量的CPU处理能力，不能满足实际场景中的应用需求；许明文(基于显著性特征的交通信号灯检测和识别[J].计算机与数字工程,2017(7):1397-1401.)该方法通过显著性检测得到信号灯区域，利用形态学和二次分割的方法提取信号灯区域，最后用SVM分类器对信号灯进行分类识别；该方法通过分类器对信号灯进行识别，有较好的识别效果，但显著性特征稳定性较差，当场景中出现较红绿灯更为显著的目标便会影响系统运行，该特征针对复杂场景中小目标的识别效果并不是非常理想。

综上所述，当前信号灯识别处理方案中存在如下不足：

(1)多数方法通过信号灯颜色特征对信号灯进行提取和检测，但许多相机在红色信号灯的成像上效果欠佳，进而影响了后续信号灯的识别，导致系统识别误差；

(2)方法使用中并未考虑到实际工程中的运行效率问题，信号灯检测方法占用大量CPU处理能力，算法效率不能满足实际需求；

(3)信号灯检测场景选择较为复杂，干扰较多，系统鲁棒性较差，检测算法计算量大。

信号灯检测是整个交通违章检测系统的基础，其准确率决定了违章判断的基础准确率，但由于交通场景较为复杂，摄像机成像效果不稳定，且实际场景中该部分功能不能占用过多的处理器运算性能。而本发明中提出红色先验的显著性检测策略，针对信号灯标定偏移后图像，能有较好的识别效果，且仅占用少量CPU处理能力，能较好的满足实际场景的运行需求。

发明内容

为了解决交通信号灯标定区域偏移问题，本发明提供了一种基于显著性计算的交通信号灯识别方法；为了解决其技术问题所采用的方案包含如下步骤：

步骤1：读入当前交通场景图像F₁，图像宽度为W，高度为H；

步骤2：从交通违章检测系统配置文件中读入事先标定的交通信号灯区域R₁＝(x₁,y₁,W₁,H₁)，其中，x₁和y₁表示R₁左上角的横坐标和纵坐标，W₁和H₁分别表示R₁的宽度和高度；

步骤3：根据式(1)～(4)计算信号灯拓展区域R₂＝(x₂,y₂,W₂,H₂)，并从图像F₁中复制R₂区域的子图像，设为F₂；

H₂＝3×H₁ (4)

其中x₂和y₂分别表示R₂左上角的横坐标和纵坐标，W₂和H₂分别表示R₂的宽度和高度；

步骤4：通过Graph-Based Segmentation方法对F₂进行超像素分割，得到超像素区域集合S＝{R_i|i＝1,2,3,…,n}，其中R_i表示S中第i个超像素区域，n表示S中的超像素个数；

步骤5：计算图像F₂在Lab颜色空间中a通道上的颜色集合H＝{a_i|i＝1,2,3,…,m}，其中a_i表示F₂在a通道上的第i种颜色值，m表示F₂中a通道上的颜色数量；

步骤6：根据式(5)计算在a通道上各颜色之间的距离，得矩阵M：

M＝[v_ij]_m×m (5)

其中，v_ij表示颜色值a_i和a_j之间距离；

步骤7：计算S中每个超像素区域的显著值，得显著值集合S_sal＝{s_i|i＝1,2,3,…,n}，其中s_i表示超像素区域R_i的显著值，具体如下：

步骤7.1：计算R_i在Lab颜色空间中a通道上的直方图，得超像素直方图H_Ri＝{(c_ij,p_ij)|j＝1,2,3,…,n_i}，c_ij表示R_i在Lab颜色空间中的a通道上第j种颜色取值，p_ij表示在R_i中a通道上颜色值为c_ij的像素数量，n_i表示区域R_i中a通道上的颜色数量，满足式(7)：

其中，N_i表示R_i中的像素数量；

步骤7.2：根据式(8)、(9)和(10)计算R_i的显著值s_i：

f(c_iu,c_kv)＝v_rt,且c_iu＝a_r and c_kv＝a_t (10)

其中Dr(R_i,R_k)表示区域R_i和R_k在a通道上的距离；f(c_iu,c_kv)表示矩阵M中的第r行第t列的元素值v_rt，其计算规则如式(10)所示；

步骤8：对显著值集合S_sal进行归一化，得a通道显著图F_sal；

步骤9：对F_sal进行膨胀腐蚀，并进行OTSU二值化操作；将处理后图像中像素值为255的区域记为R_sal；

步骤10：从图像F₂中复制区域R_sal中的子图像，设为F_red；

步骤11：判断F_red中信号灯是否为红灯，具体如下：

步骤11.1：计算F_red中黑色像素点集合P_black＝{(L_i,a_i,b_i)|i＝1,2,3,…,n_black}，元素(L_i,a_i,b_i)满足|L_i|+|a_i|+|b_i|<λ_black，其中(L_i,a_i,b_i)表示集合P_black中像素在Lab颜色空间各个通道上的值，n_black表示P_black中像素点个数，λ_black表示事先给定的黑色像素阈值；

步骤11.2：计算F_red中红色像素点集合P_red＝{(L_j,a_j,b_j)|j＝1,2,3,…,n_red}，元素(L_j,a_j,b_j)满足a_j>λ_red，其中(L_j,a_j,b_j)表示集合P_red中像素在Lab颜色空间各个通道上的值，n_red表示P_red中像素点个数，λ_red表示事先给定的红色像素阈值；

步骤11.3：若满足：n_red＞μ_red且n_black＞μ_black，则判断为红灯；其中μ_red和μ_black分别表示事先给定的红灯判断阈值和黑色背板判断阈值。

本发明的优点

实现信号灯标定偏转后交通信号灯识别，提高道路交通违章检测系统的鲁棒性；针对交通场景中的摄像头因外界环境而产生偏移的情况，通过显著性检测的图像识别算法，实现标定位置偏移后的信号灯识别，具有准确率高、速度快、操作简单和实时检测的特点，避免了因摄像头镜头偏移而造成交通违章系统瘫痪的问题，减少了交通场景重新标定的复杂过程，解决了交通违章检测系统可靠性不高的问题。

附图说明

图1为本发明的实施样例选取交通场景图像。

图2为本发明的经过步骤3得到的信号灯标定拓展区域子图像。

图3为本发明的经过步骤4得到的超像素分割图像。

图4为本发明的经过步骤8得到的a通道显著图。

图5为本发明的经过步骤9形态学变化后的区域二值图像。

图6为本发明的经过步骤10得到的红灯区域子图像。

具体实施方式

下面结合实施实例来详细阐述本发明交通信号灯识别方法的具体实施方式。步骤如下：

步骤1：读入当前交通场景图像F₁，图像宽度为W，高度为H；

步骤2：从交通违章检测系统配置文件中读入事先标定的交通信号灯区域R₁＝(x₁,y₁,W₁,H₁)，其中，x₁和y₁表示R₁左上角的横坐标和纵坐标，W₁和H₁分别表示R₁的宽度和高度；

步骤3：根据式(1)～(4)计算信号灯拓展区域R₂＝(x₂,y₂,W₂,H₂)，并从图像F₁中复制R₂区域的子图像，设为F₂；

H₂＝3×H₁(4)

其中x₂和y₂分别表示R₂左上角的横坐标和纵坐标，W₂和H₂分别表示R₂的宽度和高度；

步骤4：通过Graph-Based Segmentation方法对F₂进行超像素分割，得到超像素区域集合S＝{R_i|i＝1,2,3,…,n}，其中R_i表示S中第i个超像素区域，n表示S中的超像素个数；

步骤5：计算图像F₂在Lab颜色空间中a通道上的颜色集合H＝{a_i|i＝1,2,3,…,m}，其中a_i表示F₂在a通道上的第i种颜色值，m表示F₂中a通道上的颜色数量；

步骤6：根据式(5)计算在a通道上各颜色之间的距离，得矩阵M：

M＝[v_ij]_m×m (5)

其中，v_ij表示颜色值a_i和a_j之间距离；

步骤7：计算S中每个超像素区域的显著值，得显著值集合S_sal＝{s_i|i＝1,2,3,…,n}，其中s_i表示超像素区域R_i的显著值，具体如下：

步骤7.1：计算超像素区域R_i在Lab颜色空间中a通道上的直方图，得超像素直方图H_Ri＝{(c_ij,p_ij)|j＝1,2,3,…,n_i}，c_ij表示R_i在Lab颜色空间中的a通道上第j种颜色取值，p_ij表示在R_i中a通道上颜色值为c_ij的像素数量，n_i表示区域R_i中a通道上的颜色数量，满足式(7)：

其中，N_i表示R_i中的像素数量；

步骤7.2：根据式(8)、(9)和(10)计算超像素区域R_i的显著值s_i：

f(c_iu,c_kv)＝v_rt,且c_iu＝a_r and c_kv＝a_t (10)

其中Dr(R_i,R_k)表示区域R_i和区域R_k在a通道上的距离；f(c_iu,c_kv)表示矩阵M中的第r行第t列的元素值v_rt，其计算规则如式(10)所示；

步骤8：对显著值集合S_sal进行归一化，得a通道显著图F_sal；

步骤9：对图F_sal进行膨胀腐蚀，并进行OTSU二值化操作；将处理后图像中像素值为255的区域记为R_sal；

步骤10：从图像F₂中复制区域R_sal中的子图像，设为F_red；

步骤11：判断图像F_red中信号灯是否为红灯，具体如下：

步骤11.1：计算F_red中黑色像素点集合P_black＝{(L_i,a_i,b_i)|i＝1,2,3,…,n_black}，元素(L_i,a_i,b_i)满足|L_i|+|a_i|+|b_i|<λ_black，其中(L_i,a_i,b_i)表示集合P_black中像素在Lab颜色空间各个通道上的值，n_black表示P_black中像素点个数，λ_black表示事先给定的黑色像素阈值；在本实例中，λ_black＝100；

步骤11.2：计算F_red中红色像素点集合P_red＝{(L_j,a_j,b_j)|j＝1,2,3,…,n_red}，元素(L_j,a_j,b_j)满足a_j>λ_red，其中(L_j,a_j,b_j)表示集合P_red中像素在Lab颜色空间各个通道上的值，n_red表示P_red中像素点个数，λ_red表示事先给定的红色像素阈值；在本实例中，λ_red＝30；

步骤11.3：若满足：n_red＞μ_red且n_black＞μ_black，则判断为红灯；其中μ_red和μ_black分别表示事先给定的红灯判断阈值和黑色背板判断阈值。在本实例中，μ_red＝5，μ_black＝100。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于显著性计算的交通信号灯识别方法，包括如下步骤：

步骤1：读入当前交通场景图像F₁，图像宽度为W，高度为H；

步骤2：从交通违章检测系统配置文件中读入事先标定的交通信号灯区域R₁＝(x₁,y₁,W₁,H₁)，其中，x₁和y₁表示R₁左上角的横坐标和纵坐标，W₁和H₁分别表示R₁的宽度和高度；

步骤3：根据式(1)～(4)计算信号灯拓展区域R₂＝(x₂,y₂,W₂,H₂)，并从图像F₁中复制R₂区域的子图像，设为F₂；

H₂＝3×H₁ (4)

其中x₂和y₂分别表示R₂左上角的横坐标和纵坐标，W₂和H₂分别表示R₂的宽度和高度；

步骤4：通过Graph-Based Segmentation方法对F₂进行超像素分割，得到超像素区域集合S＝{R_i|i＝1,2,3,…,n}，其中R_i表示S中第i个超像素区域，n表示S中的超像素区域的个数；

步骤5：计算图像F₂在Lab颜色空间中a通道上的颜色集合H＝{a_i|i＝1,2,3,…,m}，其中a_i表示F₂在a通道上的第i种颜色值，m表示F₂中a通道上的颜色数量；

步骤6：根据式(5)计算在a通道上各颜色之间的距离，得矩阵M：

M＝[v_ij]_m×m (5)

其中，v_ij表示颜色值a_i和a_j之间距离；

步骤7：计算S中每个超像素区域的显著值，得显著值集合S_sal＝{s_i|i＝1,2,3,…,n}，其中s_i表示超像素区域R_i的显著值；

步骤8：对显著值集合S_sal进行归一化，得a通道显著图F_sal；

步骤9：对图F_sal进行膨胀腐蚀，并进行OTSU二值化操作；将处理后图像中像素值为255的区域记为R_sal；

步骤10：从图像F₂中复制区域R_sal中的子图像，设为F_red；

步骤11：判断图像F_red中信号灯是否为红灯。

2.如权利要求1所述的基于显著性计算的交通信号灯识别方法，其特征在于：步骤7具体如下：

步骤7.1：计算超像素区域R_i在Lab颜色空间中a通道上的直方图，得超像素直方图H_Ri＝{(c_ij,p_ij)|j＝1,2,3,…,n_i}，c_ij表示R_i在Lab颜色空间中的a通道上第j种颜色取值，p_ij表示在R_i中a通道上颜色值为c_ij的像素数量，n_i表示区域R_i中a通道上的颜色数量，满足式(7)：

其中，N_i表示R_i中的像素数量；

步骤7.2：根据式(8)、(9)和(10)计算超像素区域R_i的显著值s_i：

f(c_iu,c_kv)＝v_rt,且c_iu＝a_r and c_kv＝a_t (10)

其中Dr(R_i,R_k)表示区域R_i和区域R_k在a通道上的距离；f(c_iu,c_kv)表示矩阵M中的第r行第t列的元素值v_rt，其计算规则如式(10)所示。

3.如权利要求1所述的基于显著性计算的交通信号灯识别方法，其特征在于：步骤11具体如下：

步骤11.1：计算F_red中黑色像素点集合P_black＝{(L_i,a_i,b_i)|i＝1,2,3,…,n_black}，元素(L_i,a_i,b_i)满足|L_i|+|a_i|+|b_i|<λ_black，其中(L_i,a_i,b_i)表示集合P_black中像素在Lab颜色空间各个通道上的值，n_black表示P_black中像素点个数，λ_black表示事先给定的黑色像素阈值；步骤11.2：计算F_red中红色像素点集合P_red＝{(L_j,a_j,b_j)|j＝1,2,3,…,n_red}，元素(L_j,a_j,b_j)满足a_j>λ_red，其中(L_j,a_j,b_j)表示集合P_red中像素在Lab颜色空间各个通道上的值，n_red表示P_red中像素点个数，λ_red表示事先给定的红色像素阈值；

步骤11.3：若满足：n_red＞μ_red且n_black＞μ_black，则判断为红灯；其中μ_red和μ_black分别表示事先给定的红灯判断阈值和黑色背板判断阈值。

Images