CN108108761B - 一种基于深度特征学习的快速交通信号灯检测方法 - Google Patents

Abstract

本发明提供了一种基于深度特征学习的快速交通信号灯检测方法，涉及图像处理、深度学习和智能交通领域，首先从被检测图像中提取交通信号灯候选区域，然后利用卷积神经网络对交通信号灯候选区域进行分类，通过增加训练数据，能够使网络适用于各种复杂场景，提高交通信号灯召回率与检测准确率，本发明由于交通信号灯候选区域提取算法与分类网络能够达到较高的召回率与分类正确率，使分类网络能够适用于各种复杂场景；检测速率高，满足应用于无人驾驶车辆的实时性要求；减少了候选区域数量，减少了后续分类网络的计算量，提高系统整体的检测速率；使交通信号灯检测能够适用于各种复杂场景并提高了检测准确率。

Description

一种基于深度特征学习的快速交通信号灯检测方法

技术领域

本发明涉及图像处理、深度学习和智能交通领域，尤其是一种交通信号灯检测方法。

背景技术

当前大多数交通信号灯识别方法都是先对图像进行特征提取，然后使用分类器或者模板匹配的方式进行识别。交通信号灯最明显的特征是它的亮度、颜色与形状，使用这些特征对其进行描述，设置适当的阈值从图像中分割出交通信号灯区域，然后对提取出的目标区域使用SVM、Adaboost等分类器对该目标区域分类。

吕亚运等人对图片做RGB归一化处理与聚类操作来提取颜色特征，然后对图像做形态学的处理，最后通过与交通信号灯数据库中的样本数据进行比对，满足条件的就被判定为交通信号灯。

徐成等人基于Lab色彩空间对图像颜色信息进行处理，通过颜色特征分割出交通信号灯候选区域，并根据交通信号灯的形状特点对分割出来的区域进行确认，然后与设计好的标准模板进行匹配，进而识别交通信号灯。

周宣汝等人提出的算法使用了HOG特征。该方法的主要思路是，先对图像进行颜色分割，然后提取图像的HOG特征，用于描述交通信号灯的外观与形状特点，构建SVM分类器，最后根据判决函数实现对当前交通信号灯信息的实时判决，从而得到较为准确的结果。

Masako Omachi等人提出了一种基于交通信号灯颜色和边缘特征的检测方法。该方法先根据目标的颜色特征提取出符合条件的交通信号灯候选区域，再利用Soble算法检测交通信号灯候选区域的边缘特征，然后通过Hough变换检测实心圆来获得交通信号灯区域，实现对目标的检测。

LI YI，CAI Zi-xing等人使用基于形态学滤波与统计分类的算法对交通信号灯进行识别。该算法先使用形态学变换处理图像，检测交通信号灯区域，并且对交通信号灯的背板进行计算，然后将图像转换至HSV色彩空间，通过H值的分布统计结果来判断交通信号灯的颜色类型。

高超提出的检测算法同样使用到了形态学变换，该算法只对RGB图像的R与G通道进行处理，经过形态学变换后将其转换为二值图像，得到交通信号灯候选区域，然后使用SVM分类器进行识别。

现有技术在交通信号灯识别领域已经取得了很多的成果，但现有技术主要依赖人工设计特征，通常适用于固定场景中的交通信号灯识别，当场景更换或者遇到环境较为复杂情况时召回率与准确率较低，需要人为调整阈值，并且现有技术在处理速度上有待进一步提高。

发明内容

为了克服现有技术的不足，解决现有技术中人为设计特征适用范围小、召回率与准确率不理想、以及处理速度慢的问题，本发明利用卷积神经网络能够自动学习图像深度特征信息的特点，提出了一种基于深度特征学习的快速交通信号灯检测算法。首先从被检测图像中提取交通信号灯候选区域，然后利用卷积神经网络对交通信号灯候选区域进行分类，卷积神经网络无需人为设计特征，它能够模拟人脑认知过程，自动从图像中学得相应的深度特征信息，通过增加训练数据，能够使网络适用于各种复杂场景，提高交通信号灯召回率与检测准确率。另外，通过减少交通信号灯候选区域数量，并使用小型的卷积神经网络，以此提高图像处理速度，达到无人驾驶车辆应用中的实时性要求。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步：亮度滤波

根据交通信号灯的视觉特征，首先处理被检测图像的亮度信息；

首先，使用高斯滤波器均衡图像亮度差，同时可滤除图像中的高斯噪声，高斯滤波使用高斯核对图像进行处理，处理过程中对图像中每个像素都取该像素点周围与高斯核对应区域内像素点的加权平均值，高斯核中的像素点的值满足高斯分布；

其次，灰度化高斯滤波结果；灰度化公式如下：

Y＝max(0.9R-0.1G-0.3B,0.9G+0.1B-0.5R)(1)

式中，Y为灰度图像中像素点的灰度值，R为RGB彩色图像中像素点R通道值，G为RGB彩色图像中像素点G通道值，B为RGB彩色图像中像素点B通道值；

最后，利用图形形态学中的顶帽运算处理灰度图像，并将结果二值化，设置亮度阈值T，将顶帽运算结果中大于T值的区域的像素点的值设置为255，否则设置为0，得到满足亮度滤波条件的交通信号灯候选区域；

第二步：颜色分割

HSI色彩空间用色度H，饱和度S，亮度I三个分量来描述颜色，原始图像与二值图像中值为255的像素点相对应的区域从RGB色彩空间转换到HSI色彩空间，从RGB色彩空间到HSI色彩空间的转换公式如下所示：

其中r，g，b分别为RGB色彩空间中R，G，B值的归一化结果，如下所示：

以H值作为颜色分割条件，分别设置红灯与绿灯区域的筛选条件，保留满足相应条件的区域，颜色分割条件如下所示：

红灯区域：0≤H≤70,340≤H＜360 (6)

绿灯区域：110≤H≤250 (7)

第三步：几何滤波

经亮度滤波与颜色分割处理之后得到的二值图像中，交通信号灯区域的像素点的值应全部为255，在二值图像中交通信号灯区域为连通的，本发明采用8-邻域法检测二值图像中的连通域并画出其外接矩形框，然后通过外接矩形框的面积与长宽比对外接矩形框的几何特征做约束，滤除不满足面积与长宽比条件的矩形框，得到最终的交通信号灯候选区域；

所述的对外接矩形框的几何特征做约束为根据连通域的外界矩形框的长宽比Ratio与面积S的大小对进行几何约束，几何约束条件如下所示：

式中，S_min为交通信号灯外接矩形框的最小面积，S_max为交通信号灯外接矩形框的最大面积，width为交通信号灯外接矩形框的宽，heigth为交通信号灯外接矩形框的高；

对满足式(8)几何约束条件的连通区域做外接矩形框，并返回外接矩形框的坐标，根据该坐标信息从被检测图像中截取相应区域作为交通信号灯候选区域；

被检测图像中交通信号灯区域中的像素点的亮度值小于亮度滤波阈值T，或者色度H值不在颜色分割条件范围之内，则该像素点在亮度滤波或颜色分割过程中被滤除，使目标区域中部分像素点的值为0，即造成不连通的现象，先对被检测图像进行闭运算，以填补被检测图像中交通信号灯的不连通区域，然后再对连通区域做外接矩形框，闭运算定义如下所示：

其中，f为被操作图像，b为一个结构元素，运算⊙与运算

分别为形态学变换中的腐蚀与膨胀操作，其定义如下：

f⊙b(x,y)＝max{f(x-x',y-y')-b(x',y')(x',y')∈D_b}(10)

其中，(x,y)为图像f中的像素点与结构元素b中心点的相对坐标，(x',y')为结构元素b中各元素相对其中心点的坐标，D_b为结构元素b内各点坐标集合。

第四步：使用卷积神经网络对交通信号灯候选区域进行分类

被检测图像经过第一步到第三步后，得到一个交通信号灯候选区域集合C，该集合C中包含每个交通信号灯候选区域边框的位置信息，其中第i个交通信号灯候选区域记为c_i(x,y,width,height)，其中x和y分别为候选边框左上角的顶点的横纵坐标，width和height分别为候选边框的宽和高，根据该位置信息从被检测图像中截取相应区域作为分类网络模型的输入图像，使用深度学习开源框架caffe训练卷积神经网络，得到具有分类能力的网络模型，将候选区域输入训练好的分类网络模型后得到分类结果，分类结果即交通信号灯候选区域的标签label将会被返回，得到检测结果集合D，集合D中包含每个交通信号灯候选区域的位置信息与分类结果，其中第i个交通信号灯候选区域记为d_i(x,y,width,height,label)，根据分类结果，输出当前交通信号灯信息，并在被检测图像中进行标记；

交通信号灯分类包括圆形红灯、圆形绿灯、左转红灯、左转绿灯、直行红灯、直行绿灯、右转红灯、右转绿灯，红色背景与绿色背景一共10个分类，对应10种分类网络预测结果，用数字0-9共10个分类标签label表示；

将从被检测图像中提取出的交通信号灯候选区域大小统一缩放至n×n个像素，然后将该候选区域作为卷积神经网络的输入，卷积神经网络由卷积层1、卷积层2、池化层1、卷积层3、卷积层4、池化层2、卷积层5、卷积层6、池化层3、全连接层1、全连接层2和输出层依次连接构成，输出层使用Softmax分类器得到10个输出，输出结果为当前输入图像被分类网络判定为10个分类的概率，并将分类网络输出结果中的最大概率值对应的分类标签输出，作为当前输入图像的分类结果；最后根据第一步到第三步的步骤得到交通信号灯位置坐标，在原始图像中画出交通信号灯区域，并使用分类标签标注交通信号灯类别。

本发明的有益效果在于由于交通信号灯候选区域提取算法与分类网络能够达到较高的召回率与分类正确率；使用卷积神经网络进行分类，避免了人为设计特征，使分类网络能够适用于各种复杂场景；检测速率高，在Nividia TitanX硬件GPU上可达11.8FPS(Frame per Second)，满足应用于无人驾驶车辆的实时性要求；采用连通域判定法画出候选区域外接矩形框，进行几何滤波，在很大程度上减少了候选区域数量，减少了后续分类网络的计算量，提高系统整体的检测速率；使用小型卷积神经网对交通信号灯进行分类，避免了人为特征设计，使交通信号灯检测能够适用于各种复杂场景并提高了检测准确率。

附图说明

图1是基于深度特征学习的快速交通信号灯检测流程图。

图2是交通信号灯原始图像。

图3是图像灰度化结果示意图。

图4是顶帽变换结果示意图。

图5是亮度滤波结果示意图。

图6是满足红等条件的颜色分割结果示意图。

图7是满足绿灯条件的颜色分割结果示意图。

图8是目标区域不连通示意图。

图9是不连通区域经闭运算处理后的结果示意图。

图10是几何滤波结果示意图。

图11是交通信号灯候选区域提取结果示意图。

图12是交通信号灯与标签对应关系示意图。

图13是分类网络结构示意图。

图14是检测结果示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的技术方案主要是通过亮度滤波、颜色分割、几何滤波从被检测图像中提取交通信号灯候选区域，然后使用卷积神经网络对交通信号灯候选区域进行分类。见图1。

交通信号灯本身与图像中的其他物体相比具有十分明显的特征，例如亮度与颜色。除此之外，交通信号灯出现在图像中的大小、形状、以及在图像中分布的位置较为一致，利用这些特点可以很好的将交通信号灯与图像中其他区域区分来开，并从图像中提取出交通信号灯候选区域。提取交通信号灯候选区域主要包括亮度滤波、颜色分割、几何滤波。该方法在保证召回率的前提下，能够减少提取的交通信号灯候选区域数量，从而减少分类的计算量，达到快速检测的目的。

第一步：亮度滤波

根据交通信号灯的视觉特征，首先处理被检测图像的亮度信息；

首先，对图2使用高斯滤波器均衡图像亮度差，同时可滤除图像中的高斯噪声，高斯滤波使用高斯核对图像进行处理，本发明使用5×5大小的高斯核对图像进行处理。处理过程中对图像中每个像素都取该像素点周围与高斯核对应区域内像素点的加权平均值，高斯核中的像素点的值满足高斯分布；

其次，灰度化高斯滤波结果；对被检测图像进行灰度化处理。被检测图像为RGB彩色图像，RGB彩色图像是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及相互叠加得到各种不同颜色的。为了提高被检测图像中目标区域的亮度，需要增加灰度化公式中R与G值的比重。将被检测图像分为两部分考虑：第一部分为红灯候选区域，灰度化时增加公式中R分量的权重，同时减少G与B分量；第二部分为绿灯候选区域，该部分则主要考虑G与B分量的影响，灰度化公式如下：

Y＝max(0.9R-0.1G-0.3B,0.9G+0.1B-0.5R)(1)

式中，Y为灰度图像中像素点的灰度值，R为RGB彩色图像中像素点R通道值，G为RGB彩色图像中像素点G通道值，B为RGB彩色图像中像素点B通道值，灰度化结果见图3。

最后，利用图形形态学中的顶帽运算处理灰度图像，见图4。并将结果二值化，设置亮度阈值T，将顶帽运算结果中大于T值的区域的像素点的值设置为255，否则设置为0，从而将其换为二值图像，得到亮度滤波的结果，得到满足亮度滤波条件的交通信号灯候选区域，见图5。

第二步：颜色分割

HSI色彩空间用色度H，饱和度S，亮度I三个分量来描述颜色，原始图像与二值图像中值为255的像素点相对应的区域从RGB色彩空间转换到HSI色彩空间，从RGB色彩空间到HSI色彩空间的转换公式如下所示：

其中r，g，b分别为RGB色彩空间中R，G，B值的归一化结果，如下所示：

以H值作为颜色分割条件，分别设置红灯与绿灯区域的筛选条件，保留满足相应条件的区域，被检测图像中红灯与黄灯区域像素点的H值主要分布在[0，70]与[340，360]的范围内，绿灯区域像素点的H值主要分布在[110，250]的范围内，颜色分割条件如下所示：

红灯区域：0≤H≤70,340≤H＜360 (6)

绿灯区域：110≤H≤250 (7)

在实现颜色分割过程中，只用将亮度滤波得到的二值图像中满足亮度条件的区域进行转换，以此减少计算量，并使用上述条件进行颜色分割，得到满足颜色分割条件的交通信号灯候选区域，颜色分割结果见图6和图7。

第三步：几何滤波

在对被检测图像进行亮度滤波与颜色分割后，基本可以去除大部分背景区域。为了防止被检测图像中符合亮度与颜色条件的其他区域对结果造成干扰，可以对经过亮度与颜色处理的图像做进一步的几何约束，找出符合交通信号灯几何特征的区域。

经亮度滤波与颜色分割处理之后得到的二值图像中，交通信号灯区域的像素点的值应全部为255，在二值图像中交通信号灯区域为连通的，可以先检测二值图像中的连通区域并画出其外接矩形框，本发明采用8-邻域法检测二值图像中的连通域并画出其外接矩形框，然后通过外接矩形框的面积与长宽比对外接矩形框的几何特征做约束，滤除不满足面积与长宽比条件的矩形框，得到最终的交通信号灯候选区域；

所述的对外接矩形框的几何特征做约束为根据连通域的外界矩形框的长宽比Ratio与面积S的大小对进行几何约束，几何约束条件如下所示：

式中，S_min为交通信号灯外接矩形框的最小面积，S_max为交通信号灯外接矩形框的最大面积，width为交通信号灯外接矩形框的宽，heigth为交通信号灯外接矩形框的高；式(8)中，S满足144≤S≤2000，且Ratio上限设置为1.5，对满足几何约束条件的连通区域做外接矩形框，并返回矩形框的坐标，从被检测图像中提取交通信号灯候选区域见图10。

对满足式(8)几何约束条件的连通区域做外接矩形框，并返回外接矩形框的坐标，根据该坐标信息从被检测图像中截取相应区域作为交通信号灯候选区域；

在实施过程中，由于环境的影响使被检测图像中交通信号灯区域中的个别像素点的亮度与颜色无法满足亮度滤波与颜色分割的条件，造成目标区域不连通的现象，尤其是箭头形状的信号灯，见图8。因此在对连通区域做外接矩形框的时候，很容易将一个交通信号灯判定为两个目标，影响检测结果。被检测图像中交通信号灯区域中的像素点的亮度值小于亮度滤波阈值T，或者色度H值不在颜色分割条件范围之内，则该像素点在亮度滤波或颜色分割过程中被滤除，使目标区域中部分像素点的值为0，即造成不连通的现象，先对被检测图像进行闭运算，以填补被检测图像中交通信号灯的不连通区域，然后再对连通区域做外接矩形框，闭运算定义如下所示：

其中，f为被操作图像，b为一个结构元素，运算⊙与运算

分别为形态学变换中的腐蚀与膨胀操作，其定义如下：

f⊙b(x,y)＝max{f(x-x',y-y')-b(x',y')|(x',y')∈D_b} (10)

其中，(x,y)为图像f中的像素点与结构元素b中心点的相对坐标，(x',y')为结构元素b中各元素相对其中心点的坐标，D_b为结构元素b内各点坐标集合。本发明中，闭运算结构元素b大小为3×3，闭运算结果见图9。

衡量交通信号灯候选区域提取的主要指标为召回率(recall)，即召回的目标数量占总的目标数量的比例。设被检测图像中的交通信号灯总数为s，通过该方法提取到的交通信号灯数量为t，则召回率的计算如下所示：

对10个不同场景共计6804张图像进行测试，将6804张图像中的目标数与提取到的目标数做了统计，其结果如表1所示。

表1对10组数据提取交通信号灯候选区域的结果

场景	图像数/张	s/个	t/个	召回率/％
					1	733	1344	1343	99.9
2	427	782	782	100
					3	636	1160	1159	99.9
4	632	1181	1181	100
					5	202	287	287	100
6	876	1644	1638	99.6
					7	1935	2883	2882	99.9
8	425	747	741	99.1
					9	659	1153	1151	99.8
10	279	279	279	100
					合计	6804	11406	11389	99.9

实验数据显示，该方法对测试数据中共计11406个交通信号灯的召回率达到了99.9％，其中对部分场景中的交通信号灯召回率可以达到100％。交通信号灯候选区域提取结果见图11。

第四步：使用卷积神经网络对交通信号灯候选区域进行分类

被检测图像经过第一步到第三步后，得到一个交通信号灯候选区域集合C，该集合C中包含每个交通信号灯候选区域边框的位置信息，其中第i个交通信号灯候选区域记为c_i(x,y,width,height)，其中x和y分别为候选边框左上角的顶点的横纵坐标，width和height分别为候选边框的宽和高，根据该位置信息从被检测图像中截取相应区域作为分类网络模型的输入图像，使用深度学习开源框架caffe训练卷积神经网络，得到具有分类能力的网络模型，将候选区域输入训练好的分类网络模型后得到分类结果，分类结果即交通信号灯候选区域的标签label将会被返回，得到检测结果集合D，集合D中包含每个交通信号灯候选区域的位置信息与分类结果，其中第i个交通信号灯候选区域记为d_i(x,y,width,height,label)，根据分类结果，输出当前交通信号灯信息，并在被检测图像中进行标记；

在对交通信号灯的分类任务中，需要对圆与箭头两种形状以及各个方向的交通信号灯进行分类。这里将红灯与黄灯归为一类，只做两种颜色的区分。背景区域被分为两类，分别为满足红色筛选条件的背景与满足绿色筛选条件的背景。交通信号灯分类包括圆形红灯、圆形绿灯、左转红灯、左转绿灯、直行红灯、直行绿灯、右转红灯、右转绿灯，红色背景与绿色背景一共10个分类，对应10种分类网络预测结果，用数字0-9共10个分类标签label表示；图12为交通信号灯与标签对应关系示意图。

将从被检测图像中提取出的交通信号灯候选区域大小统一缩放至n×n个像素，然后将该候选区域作为卷积神经网络的输入，卷积神经网络由卷积层1、卷积层2、池化层1、卷积层3、卷积层4、池化层2、卷积层5、卷积层6、池化层3、全连接层1、全连接层2和输出层依次连接构成，输出层使用Softmax分类器得到10个输出，输出结果为当前输入图像被分类网络判定为10个分类的概率，并将分类网络输出结果中的最大概率值对应的分类标签输出，作为当前输入图像的分类结果；最后根据第一步到第三步的步骤得到交通信号灯位置坐标，在原始图像中画出交通信号灯区域，并使用分类标签标注交通信号灯类别。

本发明将从被检测图像中提取出的交通信号灯候选区域大小缩放至40×40像素作为卷积神经网络的输入。分类网络模型共设置6个卷积层，分类网络结构见图13，分类网络结构参数设置如表2所示：

表2分类网络结构参数设置

Type	Structure
		input	size：40×40×3
conv1	kernel size：3×3，number：32，stride：1，pad：1
		conv2	kernel size：3×3，number：32，stride：1，pad：1
pooling1	max pooling，kernel size：3×3，stride：2
		conv3	kernel size：3×3，number：32，stride：1，pad：1
conv4	kernel size：3×3，number：32，stride：1，pad：1
		pooling2	max pooling，kernel size：3×3，stride：2
conv5	kernel size：3×3，number：64，stride：1，pad：1
		conv6	kernel size：3×3，number：64，stride：1，pad：1
pooling3	max pooling，kernel size：3×3，stride：2
		fc1	number：128
fc1	number：128
		output	number：10，softmax

使用17852张交通信号灯图像对分类网络模型进行测试，统计了各个类别的分类准确率，统计结果如表3所示：

表3分类网络模型2测试结果

分类标签	测试数据量	分类正确数量	准确率/％
				0：圆形红灯	2000	1993	99.7
1：圆形绿灯	1846	1845	99.9
				2：左转红灯	2000	2000	100
3：左转绿灯	2000	2000	100
				4：直行红灯	1816	1816	100
5：直行绿灯	1359	1355	99.7
				6：右转红灯	2000	1992	99.6
7：右转绿灯	561	558	99.5
				8：背景(红)	2000	1976	98.8
9：背景(绿)	2000	1976	98.8
				平均准确率	/	/	99.6

表3中平均准确率指各个分类准确率的算术平均值，达到了99.6％。训练时背景区域根据其特征被分为两类，但在分类测试阶段只要将这两类背景判定为背景区域中的任意一种就被视为分类正确，这样可以提高背景区域的分类准确率，从而提高平均准确率。17852张测试图像中包含了10类场景下的交通信号灯以及背景区域。表3的结果显示卷积神经网络自主学习图像深度特征的特点能够适用于多种场景下的交通信号灯识别，并达到较高的分类准确率。

通过分类网络得到的分类结果，即交通信号灯候选区域的标签(label)将会被返回，得到检测结果集合D。集合D中包含每个交通信号灯候选区域的位置信息与分类结果d_i(x,y,width,height,label)。根据分类结果，将背景区域滤除，输出当前交通信号灯信息，并在被检测图像中进行标记，检测结果见图14。

在检测任务中，为保证召回率需要放宽交通信号灯候选区域提取的条件，但是这样会提取出更多的背景区域，对分类结果造成影响，使检测准确率降低。根据实际应用的需要，交通信号灯检测任务需要在保证召回率的情况下尽可能提高准确率。

使用6804张图像对基于深度特征学习的快速交通信号灯检测方法进行测试。对于检测结果，主要考虑召回率(recall)与准确率(precision)两个指标。

设被检测图像中的交通信号灯总数为s，检测到的交通信号灯与负样本总数为u，检测到的交通信号灯数量为t，召回率用公式(12)表示，准确率表示如下：

交通信号灯检测结果的召回率与准确率如表4所示：

表4交通信号灯检测结果

表4中的数据显示，对6804张图像中共11406个交通信号灯进行检测的召回率与准确率分别达到了99.6％与98.5％。测试图像中包含10个不同场景，涵盖了不同的光照以及环境条件，表4中结果表明本发明的算法能够适用于s多种场景下的交通信号灯检测。

实现快速的交通信号灯检测不仅要满足召回率与准确率的要求，同时还要达到一定的检测速率以保证交通信号灯检测的实时性。

在基于深度学习的图像检测方法中，利用卷积神经网络提取图像特征并对图像进行分类的过程计算量较大，会耗费较多的处理时间。通过本文的交通信号灯候选区域提取方法使网络模型需要处理的交通信号灯候选区域数量大大减少，降低了卷积神经网络的计算量，并且使用小型的分类网络，从而使检测速率有较大的提升。

实验中统计了处理6804张图像的用时，并计算了检测速率，处理图像均使用Nividia TitanX硬件GPU，结果如表5所示：

表5交通信号灯检测速率

场景	图像数/张	处理总耗时/s	处理速率/FPS
				1	733	60.29	12.2
2	427	33.14	12.9
				3	636	53.25	11.9
4	632	52.25	12.1
				5	202	16.65	12.1
6	876	72.04	12.2
				7	1935	173.22	11.2
8	425	39.45	10.8
				9	659	53.11	12.4
10	279	23.83	11.7
				合计	6804	577.23	11.8

在基于深度学习的图像检测方法中，利用卷积神经网络提取图像特征并对图像进行分类的过程计算量较大，会耗费较多的处理时间。通过本发明的交通信号灯候选区域提取方法使网络模型需要处理的交通信号灯候选区域数量大大减少，降低了卷积神经网络的计算量，并且使用了小型的卷积神经网络对都选区域进行分类，从而使网络检测速率有较大的提升，表5中的数据显示，本发明设计的交通信号灯检测算法对10个不同场景中共6804张图像的平均处理速率可达到11.8FPS，能够满足实时性的要求。

Claims (1)

1.一种基于深度特征学习的快速交通信号灯检测方法，其特征在于包括下述步骤：

第一步：亮度滤波

根据交通信号灯的视觉特征，首先处理被检测图像的亮度信息；

首先，使用高斯滤波器均衡图像亮度差，同时可滤除图像中的高斯噪声，高斯滤波使用高斯核对图像进行处理，处理过程中对图像中每个像素都取该像素点周围与高斯核对应区域内像素点的加权平均值，高斯核中的像素点的值满足高斯分布；

其次，灰度化高斯滤波结果；灰度化公式如下：

Y＝max(0.9R-0.1G-0.3B,0.9G+0.1B-0.5R) (1)

式中，Y为灰度图像中像素点的灰度值，R为RGB彩色图像中像素点R通道值，G为RGB彩色图像中像素点G通道值，B为RGB彩色图像中像素点B通道值；

最后，利用图形形态学中的顶帽运算处理灰度图像，并将结果二值化，设置亮度阈值T，将顶帽运算结果中大于T值的区域的像素点的值设置为255，否则设置为0，得到满足亮度滤波条件的交通信号灯候选区域；

第二步：颜色分割

HSI色彩空间用色度H，饱和度S，亮度I三个分量来描述颜色，原始图像与二值图像中值为255的像素点相对应的区域从RGB色彩空间转换到HSI色彩空间，从RGB色彩空间到HSI色彩空间的转换公式如下所示：

其中r，g，b分别为RGB色彩空间中R，G，B值的归一化结果，如下所示：

以H值作为颜色分割条件，分别设置红灯与绿灯区域的筛选条件，保留满足相应条件的区域，颜色分割条件如下所示：

红灯区域：0≤H≤70,340≤H＜360 (6)

绿灯区域：110≤H≤250 (7)

第三步：几何滤波

经亮度滤波与颜色分割处理之后得到的二值图像中，交通信号灯区域的像素点的值应全部为255，在二值图像中交通信号灯区域为连通的，本发明采用8-邻域法检测二值图像中的连通域并画出其外接矩形框，然后通过外接矩形框的面积与长宽比对外接矩形框的几何特征做约束，滤除不满足面积与长宽比条件的矩形框，得到最终的交通信号灯候选区域；

所述的对外接矩形框的几何特征做约束为根据连通域的外界矩形框的长宽比Ratio与面积S的大小对进行几何约束，几何约束条件如下所示：

式中，S_min为交通信号灯外接矩形框的最小面积，S_max为交通信号灯外接矩形框的最大面积，width为交通信号灯外接矩形框的宽，heigth为交通信号灯外接矩形框的高；

对满足式(8)几何约束条件的连通区域做外接矩形框，并返回外接矩形框的坐标，根据该坐标信息从被检测图像中截取相应区域作为交通信号灯候选区域；

被检测图像中交通信号灯区域中的像素点的亮度值小于亮度滤波阈值T，或者色度H值不在颜色分割条件范围之内，则该像素点在亮度滤波或颜色分割过程中被滤除，使目标区域中部分像素点的值为0，即造成不连通的现象，先对被检测图像进行闭运算，以填补被检测图像中交通信号灯的不连通区域，然后再对连通区域做外接矩形框，闭运算定义如下所示：

其中，f为被操作图像，b为一个结构元素，运算⊙与运算

分别为形态学变换中的腐蚀与膨胀操作，其定义如下：

f⊙b|(x,y)＝max{f(x-x',y-y')-b(x',y')|(x',y')∈D_b} (10)

其中，(x,y)为图像f中的像素点与结构元素b中心点的相对坐标，(x',y')为结构元素b中各元素相对其中心点的坐标，D_b为结构元素b内各点坐标集合；

第四步：使用卷积神经网络对交通信号灯候选区域进行分类

被检测图像经过第一步到第三步后，得到一个交通信号灯候选区域集合C，该集合C中包含每个交通信号灯候选区域边框的位置信息，其中第i个交通信号灯候选区域记为c_i(m,n,width,height)，其中m和n分别为候选边框左上角的顶点的横纵坐标，width和height分别为候选边框的宽和高，根据该位置信息从被检测图像中截取相应区域作为分类网络模型的输入图像，使用深度学习开源框架caffe训练卷积神经网络，得到具有分类能力的网络模型，将候选区域输入训练好的分类网络模型后得到分类结果，分类结果即交通信号灯候选区域的标签label将会被返回，得到检测结果集合D，集合D中包含每个交通信号灯候选区域的位置信息与分类结果，其中第i个交通信号灯候选区域记为d_i(m,n,width,height,label)，根据分类结果，输出当前交通信号灯信息，并在被检测图像中进行标记；

交通信号灯分类包括圆形红灯、圆形绿灯、左转红灯、左转绿灯、直行红灯、直行绿灯、右转红灯、右转绿灯，红色背景与绿色背景一共10个分类，对应10种分类网络预测结果，用数字0-9共10个分类标签label表示；

将从被检测图像中提取出的交通信号灯候选区域大小统一缩放至n×n个像素，然后将该候选区域作为卷积神经网络的输入，卷积神经网络由卷积层1、卷积层2、池化层1、卷积层3、卷积层4、池化层2、卷积层5、卷积层6、池化层3、全连接层1、全连接层2和输出层依次连接构成，输出层使用Softmax分类器得到10个输出，输出结果为当前输入图像被分类网络判定为10个分类的概率，并将分类网络输出结果中的最大概率值对应的分类标签输出，作为当前输入图像的分类结果；最后根据第一步到第三步的步骤得到交通信号灯位置坐标，在原始图像中画出交通信号灯区域，并使用分类标签标注交通信号灯类别。

Images