CN104050827A - 一种基于视觉的交通信号灯自动检测识别方法 - Google Patents

Abstract

一种基于视觉的交通信号灯自动检测识别方法，它是一种利用颜色空间线性滤波和梯度方向直方图特征相结合的层级架构，通过训练来构建我国典型交通信号灯的检测识别模型。该方法包括训练和测试两个阶段，训练阶段完成训练数据集的收集、目标颜色光谱的确定以及分类模型参数的确定；测试阶段利用训练阶段获得的模型实现交通信号灯的检测识别，其包括交通信号灯候选区域筛选、连通域滤波、交通信号灯形状确认和交通信号灯指示方向确认。本发明克服了现有技术中交通信号灯检测识别实时性不好、识别精度对光照和模板敏感的缺点，取得了较好的检测识别效果，其技术成果在无人驾驶车辆智能决策和辅助驾驶系统领域具有广阔的应用前景。

Description

一种基于视觉的交通信号灯自动检测识别方法

技术领域：

本发明提供一种基于视觉的交通信号灯自动检测识别方法，它涉及一种利用颜色空间线性滤波和梯度方向直方图特征相结合的层级架构，通过训练来构建我国典型交通信号灯的自动检测识别方法。属于特定目标检测识别技术领域。

背景技术：

智能交通系统(Intelligent Transportation System，简称ITS)作为未来交通系统的发展方向，是一种将先进的信息技术、数据通讯传输技术、控制技术、电子传感技术及计算机技术等有效地集成运用于整个交通运输管理体系，而建立起的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合的运输和管理系统。而无人驾驶车辆作为智能交通系统中的重要分支，其在提高交通系统的方便性、快捷性和智能性方面的前景之广阔不言而喻。而要想无人驾驶车辆在复杂的城市交通环境中安全平稳行驶，那么交通场景中交通信号的感知与理解就显得至关重要。在城市环境的交通信号中，交通信号灯为车辆的安全、高效行驶提供了基本保障。因此，只有为无人驾驶车辆提供鲁棒的交通信号灯的检测和识别信息，以供中央决策单元的逻辑判断，才能真正实现无人驾驶车辆的安全上路，从而做到无人驾驶车辆与有人驾驶车辆和行人和谐有序通行。

交通信号灯的检测与识别作为图像处理、计算机视觉、模式识别与机器学习等学科的典型应用，在国内外引起了一些学者的关注。在目前的基于视觉的交通信号灯的检测与识别中，为了满足实时性的要求，一股都采用层级检测思路：即首先通过颜色阈值分割或形态学滤波得到交通信号灯的候选区域，再在候选区域中做交通信号灯形状信息的确认以识别。在候选区域筛选阶段，由于交通信号灯是主动发光单元，通过相机得到的视频图像中交通信号灯的发光单元经常颜色失真，因此普通的颜色空间阈值分割方法或者颜色查表法不但阈值难以确定，而且对光照变化和颜色失真等情况的鲁棒性也不好，而形态学滤波方法又只能针对圆形发光单元，且实时性不好；在形状确认阶段，目前主要采用的为模板匹配的方法，该方法对模板的选择具有很大依赖性，且要想做到通用性，模板空间较大，因此在实时性和通用性方面均很难达到较高精度。本发明针对上述情况，提出一种利用颜色空间线性滤波筛选交通信号灯候选区域，利用颜色梯度方向直方图特征与支持向量机(SupportVector Machine，SVM)进行交通信号灯检测识别的层级方法。该方法针对我国典型交通信号灯而设计，达到了较高的检测识别精度。

发明内容：

1、目的：本发明的目的是提供一种基于视觉的交通信号灯自动检测识别方法，该方法利用约束能量最小化(Constrained Energy Minimization，CEM)方法来对交通图像的颜色空间进行线性滤波，从而得到交通信号灯的候选区域，再在候选区域上提取图像的多层梯度方向直方图(Multi-layer Histogram ofGradient，MHoG)特征和梯度方向直方图(Histogram ofGradient，HoG)特征，利用SVM线性分类器进行交通信号灯的检测识别工作。

2、技术方案：本发明是通过以下技术方案实现的：

本发明一种基于视觉的交通信号灯自动检测识别方法，它包括如下两个阶段：训练阶段和测试阶段。

阶段1：训练阶段，该阶段包括如下三个步骤：

步骤1：训练数据准备：训练阶段是测试阶段的基础，训练阶段需要准备训练数据集。本训练数据集来自无人驾驶车辆在城市交通环境中收集得到。典型交通信号灯按颜色可分为红灯、绿灯和黄灯3种。由于黄灯停留时间短，且对无人驾驶车意义不大，故不考虑黄灯。因此，根据我国交通法规对交通信号灯的规定，对无人驾驶车辆有重要意义的典型交通信号灯可分为：机动车信号灯红灯(圆形发光单元)、机动车信号灯绿灯(圆形发光单元)、左转方向信号灯红灯(左箭头发光单元)、左转方向信号灯绿灯(左箭头发光单元)、右转方向信号灯红灯(右箭头发光单元)、右转方向信号灯绿灯(右箭头发光单元)、直行信号灯红灯(上箭头发光单元)、直行信号灯绿灯(上箭头发光单元)8个类别。

(1)训练集S

由于本发明采用颜色空间滤波方法实现交通信号灯的候选区域筛选。故在训练阶段的交通信号灯形状确认中，本发明采用将所有的红灯归为一类作为正样本集SPR，所有绿灯归为一类，作为正样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本集SN，并将样本集SPR、SPG和SN标记为训练集S。

(2)训练集D

为了分辨交通信号灯指示的方向信息，在方向确认中，本发明采用将交通信号灯发光单元人工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作为样本集DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本集DRD、DLT、DRT和DUP标记为训练集D。

步骤2：目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的RGB值若干，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量d_r＝[d_r1，d_r2，d_r3]和d_g＝[d_g1，d_g2，d_g3]，以备测试阶段求取交通信号灯的候选区域。

步骤3：特征提取与线性SVM分类器训练

(1)交通信号灯形状确认

HOG特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜色信息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MHOG特征能提取出较丰富的，与负样本具有高区分度的交通信号灯特征。交通信号灯形状确认阶段的训练在训练集S上进行。具体提取过程如下：

首先将训练集S中的每一个样本规范化到W_win×H_win大小的矩形检测窗口(DetectionWindow，DW)，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三个通道分离出来，从而产生具有四层(Gray，R，G，B)的合成图像。然后在每一个通道的DW上划分W_block×H_block大小的块(Block)，再在每一个块上以步长为stride划分W_cell×H_cell大小的胞元(Cell)，并在每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一个块上做归一化，从而将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成MHoG特征。

在训练集S上的每一个样本得到MHOG特征之后，将SPR上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器。同理，将SPG上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出交通信号灯绿灯的分类器。从而完成交通信号灯形状确认的训练过程。

(2)交通信号灯指示方向确认

交通信号灯指示方向确认是在交通信号灯形状确认的基础上完成的，其特征提取采用灰度图像上的HOG特征，分类器的训练采用One Vs All的方案。所有训练工作在训练集D上完成。具体流程如下：

首先将样本集DRD上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT、DRT和DUP上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出圆形发光单元的分类器；然后将样本集DUP上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT和DRT上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出上箭头发光单元的分类器；最后将样本集DLT上的所有HOG特征向量作为正样本并标记为+1，将样本集DRT上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出左箭头发光单元和右箭头发光单元的分类器。

阶段2：测试阶段

测试阶段即是利用训练阶段得到的模型进行交通信号灯检测识别阶段，该阶段包括如下五个步骤：

步骤1：计算机读取数据。首先将相机拍摄的具有3通道的RGB视频数据利用OpenCV开源库逐帧读入计算机内存中，为后续算法提供数据源。本实验采用的测试数据是无人驾驶测试车辆采集到的与训练数据集不相同的帧率为25fps，图像大小为1000*1000的RGB三通道视频数据。

步骤2：交通信号灯候选区域筛选。对每一幅待检测的交通图像，设其宽和高分别为w和H，则该图像具有N＝W×H个像素，并设每个像素为p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，其中r_i，g_i，b_i分别为该像素的R，G，B通道的值。

(1)图像RGB归一化。首先将采集到原始RGB图像进行RGB归一化，得到归一化的RGB图像，即对每个像素p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，实施以下计算得到p_i′＝(p_i1′，p_i2′，p_i3′)

${p_{i1}}^{\′}=\frac{r_i}{r_i+g_i+b_i}$

${p_{i2}}^{\′}=\frac{g_i}{r_i+g_i+b_i}$

${p_{i3}}^{\′}=\frac{b_i}{r_i+g_i+b_i}$

(2)利用CEM算法计算颜色空间滤波向量。设待求三维滤波向量为w，事先收集的目标颜色向量为d(表示红色交通信号灯或绿色交通信号灯发光区域收集到的颜色向量)。图像中每一个像素p_i′＝(p_i1′，p_i2′，p_i3′)经过滤波之后的能量输出为：

$y_i=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{w}_j{p_{\mathrm{ij}}}^{\′}=w^T{p_i}^{\′}={p_i}^{{\′}^T}w$

于是，整幅图像经过滤波之后的平均能量输出为：

$E=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y_i}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({p_i}^{{\′}^T}w\right)}^T{p_i}^{{\′}^T}w=w^T\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left({p_i}^{\′}{p_i}^{{\′}^T}\right)\right)w=w^T\mathrm{Rw}$

其中，为归一化RGB图像的自相关矩阵。于是，我们就可以通过求解如下最优化问题来得到待求滤波向量w：

min w^TRw

s.t.d^Tw＝1

于是可以得到w的封闭最优解：

$w^{*}=\frac{R^{-1}d}{d^T\mathrm{Rd}}$

(3)对归一化RGB图像滤波，得到候选区域。通过(2)求得该图像的w^*之后，对归一化RGB图像中每一个像素p_i′用w^*进行线性滤波，从而得到交通信号灯发光区域的候选区域。

步骤3：连通域滤波。在经过颜色空间滤波得到初步候选区域之后，对候选连通域进行连通域分析，实现连通域滤波，该步骤主要完成对于连通域面积和连通域长宽比例的滤波。

步骤4：交通信号灯形状确认。在得到连通域滤波之后，将候选区域在不同尺度上进行与训练阶段同样的大小归一化之后，采用与训练阶段同样的参数提取MHOG特征，并用训练阶段得到的SVM分类器系数对候选区域进行交通信号灯的形状确认，以完成交通信号灯的检测工作。

步骤5：交通信号灯指示方向信息确认。在步骤4的基础上，根据颜色空间滤波得到的发光单元位置确定的矩形区域上完成与训练阶段同样的交通信号灯方向确认部分的HOG特征提取，并用训练得到的SVM分类器系数得到交通信号灯的指示方向信息，以完成交通信号灯的识别工作。

3、优点及功效。本发明的优点是：本发明采用了层级检测识别的思路，通过颜色空间滤波以剔除图像中大量的明显的非交通信号灯的区域，形成了第一个检测层级，而在候选区域上进行交通信号灯的检测之后再对交通信号灯的指示方向信息进行进一步的分类，形成了第二个层级，这样的层级思路不仅极大的减小了计算量，提高了系统的实时性。而且通过层级剔除的思路剔除掉极大一部分负样本，给后续的分类器训练减小了分类压力，从而为系统的检测分类精度提供了保证。在交通信号灯的候选区域筛选上，本发明采用了CEM算法，该算法对目标颜色向量占图像方差较小的目标具有很好的效果，而交通信号灯的纯色性和小目标性正好符合该算法的适用性，且滤波向量针对每一幅图像具体计算而得，因此对光照和颜色失真具有很强的鲁棒性，相比传统的颜色空间阈值和查表法不但具有参数调节简单，且自适应性极强，筛选的候选区域准确且少的优点。事实上，经过测试，本发明算法在3565张大小为1000*1000的测试交通图像上对交通信号灯的检测精度达到了99.18％，回召率达到了98.96％，且对交通信号灯的指示信号每一个类别的识别精度平均达到了97.51％，并在笔记本电脑上达到了12fps的检测识别速度。

附图说明：

图1本发明所述方法训练阶段详细示意图

图2本发明所述方法测试阶段详细流程图

具体实施方式：

1、开发及运行环境

本发明在microsoft visual studio 2010开发环境下，以开源库OpenCV，LIBSVM为工具利用C++语言实现。算法运行环境为：Intel Core i5-2450M2.5GHz CPU，Windows 7 Ultimate操作系统，4G内存。

2、本发明技术方案详细说明

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：

本发明一种基于视觉的交通信号灯检测识别方法。该方法分为两个阶段，即训练阶段和测试阶段。训练阶段是测试阶段的基础，为测试阶段的交通信号灯的检测和识别工作提供模型支持。训练阶段和测试阶段的流程分别如图1和图2所示。现结合流程图对这两个阶段的操作和参数设置作详细的阐述。

阶段1：训练阶段

训练阶段中，主要分为目标颜色光谱收集工作和SVM分类器训练工作。

(1)目标颜色光谱收集工作：

在本发明中，从相机不同时刻采集到的交通图像中采集交通信号灯红色发光单元和绿色发光单元各100个，将其归一化，然后求其均值，得到目标颜色光谱向量

d_r＝[0.9033,0.2866,0.2644]，d_g＝[0.3343，0.6510，0.6176]。

(2)SVM分类器训练工作：

在本发明中，对于训练集S，红灯正样本集SPR共收集到10975个，绿灯正样本集SPG共收集到9977个，且二者均包含圆形发光单元、上箭头发光单元、左箭头发光单元和右箭头发光单元。二者的负样本集均是SN，它是从交通图像中随机采集而得，共有15773个。对于训练集D，圆形发光单元样本集DRD共收集到963个，上箭头发光单元样本集DUP共收集到1131个，左箭头发光单元样本集DLT共收集到1131个，右箭头发光单元样本集DRT共收集到815个。并且所有的样本均不来自测试数据集，也即做到了训练数据集与测试数据集的分离。

在本发明中，提取MHOG特征用于训练分类器1.1和分类器1.2的参数设置为：检测窗口DW大小为W_win×H_win＝30×60，块Block大小为W_blook×H_block＝10×10，胞元Cell大小为W_cell×H_cell＝5×5，步长stride＝5，梯度方向数nbins＝9。

在本发明中，提取HOG特征用于训练分类器2.1、分类器2.2和分类器2.3的参数测试为：检测窗口DW大小为W_win×H_win＝40×40，块Block大小为W_block×H_block＝10×10，胞元Cell大小为W_cell×H_cell＝5×5，步长stride＝5，方向数nbins＝9。

阶段2：测试阶段

在本发明中，共用3565张大小为1000*1000的交通图像作为测试集。所有代码用c++语言编写，在上述配置的运行环境上，单线程达到了平均12fps的检测速度，对交通信号灯的检测精度达到了99.18％，回召率达到了98.96％，且对交通信号灯的指示信号每一个类别的识别精度平均达到了97.51％。

有益效果：

实验结果：为了验证本发明的有效性，我们使用该方法进行实验，取得了较好的检测识别效果。本发明共用3565张大小为1000*1000的交通图像作为测试集。所有代码用c++语言编写，在上述配置的运行环境上，单线程达到了平均12fps的检测速度，对交通信号灯的检测精度达到了9918％，回召率达到了98.96％，且对交通信号灯的指示信号每一个类别的识别精度平均达到了97.51％。

从实验结果来看，我们发明的方法鲁棒的解决了我国常见交通信号灯的检测和识别问题，无论是在实时性还是在准确性上都取得了很好的效果，能够为无人驾驶车辆智能决策系统或者智能辅助驾驶系统提供鲁棒的决策支持，因此具有广阔的应用前景和价值。

Claims (1)

1.一种基于视觉的交通信号灯自动检测识别方法，其特征在于：它包括如下两个阶段：训练阶段和测试阶段；

训练阶段包括如下三个步骤：

步骤1：训练数据准备：训练阶段需要准备训练数据集，该训练数据集来自无人驾驶车辆在城市交通环境中收集得到；典型交通信号灯按颜色分为红灯、绿灯和黄灯3种，由于黄灯停留时间短，且对无人驾驶车意义不大，故不考虑黄灯；根据我国交通法规对交通信号灯的规定，对无人驾驶车辆有重要意义的典型交通信号灯分为：机动车信号灯红灯即圆形发光单元、机动车信号灯绿灯即圆形发光单元、左转方向信号灯红灯即左箭头发光单元、左转方向信号灯绿灯即左箭头发光单元、右转方向信号灯红灯即右箭头发光单元、右转方向信号灯绿灯即右箭头发光单元、直行信号灯红灯即上箭头发光单元、直行信号灯绿灯即上箭头发光单元8个类别；

(1)训练集S

采用颜色空间滤波方法实现交通信号灯的候选区域筛选，故在训练阶段的交通信号灯形状确认中，采用将所有的红灯归为一类作为正样本集SPR，所有绿灯归为一类，作为正样本集SPG，再在交通图像上随机采取非交通信号灯图像块作为负样本集SN，并将样本集SPR、SPG和SN标记为训练集S；

(2)训练集D

为了分辨交通信号灯指示的方向信息，在方向确认中，采用将交通信号灯发光单元人工截取出来，并去色彩化，将圆形发光单元作为样本集DRD，左箭头发光单元作为样本集DLT，右箭头发光单元作为样本集DRT，上箭头发光单元作为样本集DUP，并将样本集DRD、DLT、DRT和DUP标记为训练集D；

步骤2：目标颜色光谱收集：收集交通信号灯中红灯、绿灯的发光单元在图像中的RGB值复数个，进行RGB归一化，并分别求取其平均值，得到红灯和绿灯的目标颜色向量d_r＝[d_r1，d_r2，d_r3]和d_g＝[d_g1，d_g2，d_g3]，以备测试阶段求取交通信号灯的候选区域；

步骤3：特征提取与线性SVM分类器训练

(1)交通信号灯形状确认

HOG特征被广泛应用于计算机视觉领域，由于交通信号灯发光单元具有强烈的颜色信息，而灯框与周围环境和发光单元又形成强烈的结构边缘信息，因此采用MHOG特征能提取出与负样本具有高区分度的交通信号灯特征；交通信号灯形状确认阶段的训练在训练集S上进行，具体提取过程如下：

首先将训练集S中的每一个样本规范化到W_win×H_win大小的矩形检测窗口即DetectionWindow，DW，并将RGB图像转化为灰度图像产生灰度层Gray，同时将其RGB三个通道分离出来，从而产生具有四层Gray，R，G，B的合成图像，然后在每一个通道的DW上划分W_block×H_block大小的块Block，再在每一个块上以步长为stride划分W_cell×H_cell大小的胞元Cell，并在每一个胞元上统计出nbins个方向上的梯度方向直方图，且在每一个块上做归一化，从而将每一个通道的每一个胞元中的梯度方向直方图向量串联起来形成MHoG特征；

在训练集S上的每一个样本得到MHOG特征之后，将SPR上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出交通信号灯红灯的分类器；同理，将SPG上提取的所有MHOG特征向量作为正样本并标记为+1，将SN上提取的所有MHOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出交通信号灯绿灯的分类器，从而完成交通信号灯形状确认的训练过程；

(2)交通信号灯指示方向确认

交通信号灯指示方向确认是在交通信号灯形状确认的基础上完成的，其特征提取采用灰度图像上的HOG特征，分类器的训练采用One Vs All的方案，所有训练工作在训练集D上完成；具体流程如下：

首先将样本集DRD上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT、DRT和DUP上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出圆形发光单元的分类器；然后将样本集DUP上的所有HOG特征向量作为正样本并标记为+1，将样本集DLT和DRT上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出上箭头发光单元的分类器；最后将样本集DLT上的所有HOG特征向量作为正样本并标记为+1，将样本集DRT上的所有HOG特征向量作为负样本并标记为-1，输送至线性SVM分类器中，调节参数，训练出左箭头发光单元和右箭头发光单元的分类器；

测试阶段包括如下五个步骤：

步骤1：计算机读取数据；首先将相机拍摄的具有3通道的RGB视频数据利用OpenCV开源库逐帧读入计算机内存中，为后续算法提供数据源，实验采用的测试数据是无人驾驶测试车辆采集到的与训练数据集不相同的帧率为25fps，图像大小为1000*1000的RGB三通道视频数据；

步骤2：交通信号灯候选区域筛选；对每一幅待检测的交通图像，设其宽和高分别为w和H，则该图像具有N＝W×H个像素，并设每个像素为p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，其中r_i，g_i，b_i分别为该像素的R，G，B通道的值；

(1)图像RGB归一化；首先将采集到原始RGB图像进行RGB归一化，得到归一化的RGB图像，即对每个像素p_i＝(r_i，g_i，b_i)，i＝1，2，..，N，实施以下计算得到p_i′＝(p_i1′，p_i2′，p_i3′)

${p_{i1}}^{\′}-\frac{r_i}{r_i+g_i+b_i}$

${p_{i2}}^{\′}-\frac{g_i}{r_i+g_i+b_i}$

${p_{i3}}^{\′}-\frac{b_i}{r_i+g_i+b_i}$

(2)利用CEM算法计算颜色空间滤波向量；设待求三维滤波向量为w，事先收集的目标颜色向量为d，图像中每一个像素p_i′＝(p_i1′，p_i2′，p_i3′)经过滤波之后的能量输出为：

$y_i=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}{w}_j{p_{\mathrm{ij}}}^{\′}=w^T{p_i}^{\′}={p_i}^{{\′}^T}w$

于是，整幅图像经过滤波之后的平均能量输出为：

$E=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y_i}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({p_i}^{{\′}^T}w\right)}^T{p_i}^{{\′}^T}w=w^T\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left({p_i}^{\′}{p_i}^{{\′}^T}\right)\right)w=w^T\mathrm{Rw}$

其中，为归一化RGB图像的自相关矩阵，于是，通过求解如下最优化问题来得到待求滤波向量w：

min w^TRw

s.t.d^Tw＝1

于是得到w的封闭最优解：

$w^{*}=\frac{R^{-1}d}{d^T\mathrm{Rd}}$

(3)对归一化RGB图像滤波，得到候选区域；通过(2)求得该图像的w^*之后，对归一化RGB图像中每一个像素p_i′用w^*进行线性滤波，从而得到交通信号灯发光区域的候选区域；

步骤3：连通域滤波；在经过颜色空间滤波得到初步候选区域之后，对候选连通域进行连通域分析，实现连通域滤波，该步骤主要完成对于连通域面积和连通域长宽比例的滤波；

步骤4：交通信号灯形状确认；在得到连通域滤波之后，将候选区域在不同尺度上进行与训练阶段同样的大小归一化之后，采用与训练阶段同样的参数提取MHOG特征，并用训练阶段得到的SVM分类器系数对候选区域进行交通信号灯的形状确认，以完成交通信号灯的检测工作；

步骤5：交通信号灯指示方向信息确认；在步骤4的基础上，根据颜色空间滤波得到的发光单元位置确定的矩形区域上完成与训练阶段同样的交通信号灯方向确认部分的HOG特征提取，并用训练得到的SVM分类器系数得到交通信号灯的指示方向信息，以完成交通信号灯的识别工作。