CN104574960A - 一种交通灯识别方法 - Google Patents

Abstract

本发明公开了一种交通灯识别方法，其预先对交通灯目标区域的HSV颜色空间的亮度分量进行二值化，以最大连通域的面积特征作为依据，通过RGB空间灰度二值化和HSV颜色空间二值化方法的切换，获取二值化结果并从中提取代表交通灯信号灯亮区的连通域，同时利用前后帧交通灯图像亮度分量的差分实现交通灯目标水平坐标的校准，然后设计分类器，根据提取出的连通域的数目、颜色、位置特征，得到交通灯目标的分类识别结果，最后当交通灯识别结果为黄灯时，利用黄灯的垂直坐标实现交通灯目标垂直位置校准，优点是本方法实现简单、识别准确度高，对不同十字路口环境的适应性强且计算复杂度低、占用资源较少，并且可以实现交通灯目标位置校准。

Description

一种交通灯识别方法

技术领域

本发明涉及计算机视觉识别技术，尤其涉及一种交通灯识别方法。

背景技术

随着社会的进步和经济的发展，通过引入模式识别和电子信息技术而形成的智能交通系统已引起各国政府和交通部门的普遍重视。交通标志的识别是智能交通系统重要的组成部分，也是机器学习研究的重要学术分支，它涉及模式识别、图像处理、数字信号处理、人工智能、通信技术和信息论等众多技术领域。目前对于交通灯状态的识别主要依靠安装在交通路口的视频监控系统，依此获取车辆是否违章等信息并提供处罚依据。因此，实现对交通灯状态实时、准确识别，对于提升城市化建设具有重要意义。

目前，常用的交通灯识别方法有基于SVM支持向量机的交通灯识别算法、基于模版匹配的交通灯识别算法。基于SVM支持向量机的交通灯识别算法，需要根据不同环境下交通灯图像信息表现形式的不同来训练白天、夜晚、晃动、反光、色偏等大量代表性环境条件的样本，不仅运算复杂，而且在强烈反光和色偏的情况下，仍然对交通灯目标进行信息采集会导致产生大量错误信息且无法实现交通灯目标位置校准；基于模版匹配的交通灯识别算法也需要各种代表性环境下的图像作为模版，而且对于不同路口，就得重新生成一套新的模版，如果当前路口的环境变化剧烈，则模版更新滞后会产生大量错误识别信息，而且同样无法实现交通灯目标位置校准。

因此，有必要研究一种计算复杂度低、运算速度快、实现简单、恶劣环境条件下能够自动关闭以保证识别准确性，并能够实现交通灯目标位置校准的交通路口视频监控系统中的交通灯识别方法，这有利于减少交通部门处理复杂、错误交通信息的工作量，节省人力物力，同时对于交通事故责任公正认定、准确判断车辆是否违章等具有重要意义。

发明内容

本发明所要解决的技术问题是提供一种用于交通路口视频监控系统中的交通灯识别方法，其计算复杂度低、运算速度快，且在恶劣环境条件下能够自动关闭以保证识别准确性，同时能够实现交通灯目标位置校准。

本发明解决上述技术问题所采用的技术方案为：一种交通灯识别方法，包括以下步骤：

①将实时获取的路口监控视频中当前待处理的第n帧路口图片中交通灯所在的矩形区域定义为当前交通灯目标区域，其中，n的初始值为0，0≤n≤N-1，N表示实时获取的路口监控视频中包含的路口图片的总帧数，将当前交通灯目标区域在第n帧路口图片中的位置以当前交通灯目标区域的左上角像素点在第n帧路口图片中的坐标位置(x_w,y_w)来表示，1≤x_w≤W,1≤y_w≤H，W表示实时获取的路口监控视频中路口图片的宽度，H表示实时获取的路口监控视频中路口图片的高度；

②将当前交通灯目标区域的面积记为A_all，A_all＝X×Y，其中，X为当前交通灯目标区域在宽度方向上的像素数目，Y为当前交通灯目标区域在长度方向上的像素数目；

③根据A_all，并通过判定当前交通灯目标区域中的亮区位置是否发生灯光呈光晕状扩散的现象，自适应地确定当前交通灯目标区域的二值化方法，当n＝0时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则将HSV空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；

当0<n<100时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则使发生灯光呈光晕状扩散的现象的统计量增加1；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则使未发生灯光呈光晕状扩散的现象的统计量增加1；然后将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为适合当前交通灯目标区域的二值化方法，采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④；

当n≥100时，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为P_spread，通过比较P_spread与设定的阈值的大小确定适合当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为接着判断适合当前交通灯目标区域的二值化方法与适合前一帧路口图片中的交通灯目标区域的二值化方法是否一致，如果一致，则执行步骤④，否则执行步骤⑤；

④根据当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，得到当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域和变暗的区域，从而判别当前交通灯目标区域的信号灯亮度变化情况，若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域没有信号灯亮度变化，则执行步骤⑤；若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域有信号灯亮度变化，则获取当前交通灯目标区域的水平校准坐标，记为x_w'；然后根据x_w'判定当前交通灯目标区域在水平位置是否发生偏移，若判定当前交通灯目标区域在水平位置为发生偏移则执行步骤⑤，若判定当前交通灯目标区域在水平位置发生偏移，将x_w'赋值给x_w，再返回步骤③重新获取

⑤从中提取反应当前交通灯目标区域中的亮区位置的有效连通域，然后根据得到的有效连通域的数目，判断当前交通灯目标区域中的信号灯状态：若有效连通域的数目为0，则说明当前交通灯目标区域内没有亮着的信号灯，识别为“灯灭”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目大于或等于3，则说明当前交通灯目标区域内出现过多的亮区，识别为“未识别”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目等于1，则说明当前交通灯目标区域内有一盏或两盏亮着的信号灯，然后执行步骤⑥；若有效连通域的数目等于2，则说明当前交通灯目标区域内有两盏亮着的信号灯，然后执行步骤⑥；

⑥分别获取中的每个有效连通域内红色像素点、黄色像素点、绿色像素点的数目，对应记为

⑦将三盏信号灯按照位置分为上、中间、下三盏，定义3位比特识别编码Code，分别用于保存对应上、中间、下三盏信号灯的识别结果，根据有效连通域的长度判别当前交通灯目标区域的信号灯数目，联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，然后根据更新的编码Code的值得到当前交通灯目标区域中信号灯的识别结果，完成对交通灯的识别；

⑧当交通灯的识别结果为黄灯时对当前交通灯目标区域进行垂直位置的校准，将校准后的垂直坐标位置记为y_w'，其中为当前交通灯目标区域的有效连通域垂直方向的中点坐标，再将y'_w赋值给y_w；

⑨令n＝n+1，将下一帧待处理的路口图片中的交通灯目标区域作为当前交通灯目标区域，将当前交通灯目标区域在其所在的路口图片中的位置以(x_w,y_w)表示，再返回步骤②继续执行，直至处理完路口监控视频中所有的路口图片为止。

所述的步骤③中自适应地确定当前交通灯目标区域的二值化方法的具体过程为：

③-1、将当前交通灯目标区域转化到HSV颜色空间，得到当前交通灯目标区域的预处理二值化结果，记为

③-2、获取中面积最大的连通域，记为将的面积记为

③-3、定义未发生灯光呈光晕状扩散现象的统计量为定义发生灯光呈光晕状扩散现象的统计量为且令和的初始值均为0；

③-4、根据A_all和确定适合当前交通灯目标区域的二值化方法，具体过程为：

当n＝0时，若则认为当前交通灯目标区域发生灯光呈光晕状扩散的现象，并将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，并将HSV颜色空间二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；

当0<n<100时，若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，令若则当前交通灯目标区域发生灯光呈光晕状扩散的现象，令然后直接将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④，其中，和中的“＝”为赋值符号；

当n≥100时，若 $A_{B_0,\max }^n\&le;\frac{A_{\mathrm{all}}}{2},$ 则令 $N_{B_0,\mathrm{small}}=\min (N_{B_0,\mathrm{small}}+\mathrm{1,100}),$ $N_{B_0,\mathrm{big}}=\max (N_{B_0,\mathrm{big}}-\mathrm{1,0});$ 若 $A_{B_0,\max }^n>\frac{A_{\mathrm{all}}}{2},$ 则令 $N_{B_0,\mathrm{small}}=\max (N_{B_0,\mathrm{small}}-\mathrm{1,100}),$ 在确定和的值后，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为P_spread，若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread>P_Th1，则将RGB空间灰度二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread≤P_Th1，则执行步骤④；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread<P_Th2，则将HSV颜色空间二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread≥P_Th2，则执行步骤④；其中，min( )为取最小值函数，max( )为取最大值函数，P_Th1和P_Th2为设定阈值。

所述的步骤③-4中应满足P_Th1>P_Th2，且取P_Th1＝0.3，P_Th2＝0.1。

所述的步骤④的具体过程为：

④-1、计算当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，记为Decⁿ，将Decⁿ中坐标位置为(i,j)的像素点的像素值记为若当前交通灯目标区域的二值化方法为HSV颜色空间二值化，则若当前交通灯目标区域的二值化方法为RGB空间灰度二值化，则其中，0≤i<X，0≤j<Y，V^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，Vⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，G^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的灰度值，Gⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的灰度值；

④-2、将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域记为Dec_up ⁿ，将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变暗的区域记为Dec_down ⁿ，将Dec_up ⁿ中坐标位置为(i,j)的像素点的像素值记为Dec_up ⁿ _,(i,j)，将Dec_down ⁿ中坐标位置为(i,j)的像素点的像素值记为Dec_down ⁿ _,(i,j)，若 ${\mathrm{Dec}}_{(i,j)}^n<-150,$ 则令Dec_up ⁿ _,(i,j)＝1；若 ${\mathrm{Dec}}_{(i,j)}^n\&GreaterEqual;-150,$ 则令Dec_up ⁿ _,(i,j)＝0；若 ${\mathrm{Dec}}_{(i,j)}^n>-150,$ 则令Dec_down ⁿ _,(i,j)＝1；若则令Dec_down ⁿ _,(i,j)＝0；

④-3、分别获取Dec_up ⁿ和Dec_down ⁿ中最大连通域的面积，若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域既有信号灯亮起又有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积小于或等于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域只有信号灯亮起，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积小于或等于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域图片相比前一帧路口图片中的交通灯目标区域只有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积小于或等于且Dec_down ⁿ中最大连通域的面积小于或等于当前交通灯目标区域相比前一帧交通灯目标区域信号灯状态没有变化，则执行步骤⑤，其中x_w'为水平校正后的坐标，为Dec_up ⁿ连通域的水平坐标中点，为Dec_down ⁿ连通域的水平坐标中点；

④-4、计算x_w'与x_w两者之差的绝对值，当绝对值小于1时，判定当前交通灯目标区域在水平位置未发生偏移，直接执行步骤⑤；当绝对值大于或等于1时，判定当前交通灯目标区域在水平位置发生偏移，将x_w'赋值给x_w，再返回步骤③重新获取

所述的步骤⑤中从中提取反应当前交通灯目标区域中的亮区位置的有效连通域的具体过程为：

⑤-1、面积筛选：对中的每个连通域的面积进行统计，对于中的任一个连通域，如果该连通域的面积大于则保留该连通域；如果该连通域的面积小于或等于则去除该连通域；

⑤-2、统计中经过面积筛选后保留的连通域的个数，记为M₁；

⑤-3、长度筛选：a1、将经面积筛选后得到的第m个连通域的宽度和长度对应记为和 $W_{T_m}^n=|x_{T_m,\max }^n-x_{T_m,\min }^n|,L_{T_m}^n=|y_{T_m,\max }^n-y_{T_m,\min }^n|,$ 其中，0≤m<M₁，为经面积筛选后保留的第m个连通域水平坐标的最小值，为经面积筛选后保留的第m个连通域水平坐标的最大值，为经面积筛选后得到的第m个连通域垂直坐标的最小值，为经面积筛选后得到的第m个连通域垂直坐标的最大值，符号“| |”为取绝对值符号；a2、对于⑤-2所述的M₁个连通域中的任一连通域，若该连通域满足且则认为该连通域反应当前交通灯目标区域中信号灯亮区，保留该连通域，并将该连通域定义为有效连通域；否则，则去除该连通域。

所述的步骤⑦的具体过程为：

⑦-1、将交通灯的信号灯状态灯灭、未识别、红色信号灯、黄色信号灯、绿色信号灯分别用0、5、1、2、3五个数字编号表示，将三盏信号灯按照位置分为上、中间、下三盏，令表示上信号灯和中间信号灯的分界线，令为中间和下信号灯的分界线，定义长度为3位比特的识别编码Code，设Code₀为Code的高位、Code₁为Code的中位、Code₂为Code的低位，且分别对应用于保存上、中间、下三盏信号灯的识别结果，令Code的初始值为555，并设变量Label_r作为区分黄灯和中间红灯的标记，其中当识别结果为“上红灯”令Label_r＝1，直到识别结果为绿灯时则令Label_r＝0；

⑦-2、将当前交通灯目标区域的有效连通域垂直方向的中点坐标记为根据所述步骤⑤得到的当前交通灯目标区域有效连通域的数目，分类联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，具体过程为：

若当前交通灯目标区域中的有效连通域的数目为1，且该有效连通域的长度小于则说明当前交通灯目标区域有一盏信号等亮，然后通过分类对Code编码进行赋值，具体过程为：b1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；b2、当 $\frac{1}{3}Y\&le;y_{\mathrm{mid}}^n\&le;\frac{2}{3}Y$ 时，若 $({\mathrm{Co}}_r^n+{\mathrm{Co}}_y^n)<{\mathrm{Co}}_g^n,$ 则令Code₁＝3；若 ${\mathrm{Co}}_g^n<=({\mathrm{Co}}_r^n+{\mathrm{Co}}_y^n)$ 且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时，则令Code₁＝2；上述三种条件均不满足则令Code₁＝5；b3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足则令Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为1，且有效连通域的长度大于则说明当前交通灯目标区域有两盏信号灯亮且其二值化结果相连成为一个有效连通域，然后通过分类对Code编码进行赋值，具体过程为：c1、当时，若则令Code₀＝1,Code₁＝1；若则令Code₀＝3,Code₁＝3；若以上两种条件都不满足则令Code₀＝5,Code₁＝5；c2、当时，若则令Code₁＝1,Code₂＝1；若且则令Code₁＝3,Code₂＝3且令Label_r＝0；若上述两种情况都不满足则令Code₁＝5,Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为2，说明当前交通灯目标区域的信号灯为两盏信号灯亮，且形成了两个独立的有效连通域，对于每个独立的有效连通域通过分类，分别对Code编码进行赋值，具体过程为：d1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；d2、当时，若则令Code₁＝3；若且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时时，则令Code₁＝2；若上述三种条件均不满足则令Code₁＝5；d3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足，则令Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

⑦-3、根据Code编码的值获得最终分类识别结果，具体过程为：若Code＝155，表明当前交通灯目标区域只有上位置红色信号灯亮，交通灯识别结果为红灯且未进入倒计时状态；若Code＝115，表明当前交通灯目标区域上位置和中间位置红色信号灯都亮，交通灯识别结果为红灯且进入倒计时状态；若Code＝515，表明当前交通灯目标区域只有中间位置红色信号灯亮，交通灯识别结果为红灯且进入倒计时状态；若Code＝525，表明当前交通灯目标区域只有中间位置黄色信号灯亮，交通灯识别结果为黄灯；若Code＝535，表明当前交通灯目标区域只有中间位置绿色信号灯亮，交通灯识别结果为绿灯且进入倒计时状态；若Code＝553，表明当前交通灯目标区域只有下位置绿色信号灯亮，交通灯识别结果为绿灯；若Code＝533，表明当前交通灯目标区域中间位置和下位置的绿色信号灯都亮，交通灯识别结果为绿灯且进入倒计时状态；若Code编码为其他值，表明当前交通灯目标区域识别结果为“未识别”。

与现有技术相比，本发明的优点在于：

1)本发明对不同十字路口的适配简单，不需要繁琐的样本采集、训练或模版生成过程，给定交通灯目标区域后，当交通灯目标区域中的亮区位置发生亮度饱和、灯光呈光晕状扩散的现象时，利用RGB空间灰度二值化方法对交通灯目标区域进行处理；当交通灯目标区域中的亮区位置未发生亮度饱和、灯光呈光晕状扩散的现象时，利用HSV空间灰度二值化方法对交通灯目标区域进行处理，综合利用两种二值化方法的互补性实现各种环境下对交通灯的准确识别，采用的算法简单，计算复杂度低，运算速度快；

2)本发明根据交通灯目标区域中的亮区位置提取的有效连通域的数目和位置，判别交通灯目标区域中的信号灯状态，当由于外界环境影响造成交通灯目标高度反光和剧烈晃动时，在交通灯目标区域内过多的亮区时，能够自动关闭算法，得到“未识别”的识别结果，从而严格区分交通灯的灯灭、红灯、黄灯、绿灯状态，这样能够避免得到大量错误的识别信息，在保证交通灯监控系统正常工作的条件下能够有效提高识别准确率；

3)本发明根据前后帧路口图片中交通灯目标区域的亮度差分，得到交通灯目标区中信号灯变亮的区域和变暗的区域，从而判别交通灯目标区域的信号灯亮度变化情况，当判别交通灯目标区域发生信号灯亮度变化时，对交通灯目标区域水平位置进行校准；在交通灯识别结果为黄灯时，进行垂直位置的校准，进一步提高了识别准确性，将校准后的垂直坐标和水平坐标作为下一帧路口图片的交通灯目标区域在路口图片中的位置，从而克服摄像头晃动时交通灯目标的位置偏移问题。

附图说明

图1为本发明方法的流程框图；

图2为一个交通灯目标区域在路口图片中的位置示意图；

图3a为一个交通灯目标区域的二值化图像的连通域；

图3b为图3a所示的所有连通域经有效特征提取之后得到的有效连通域。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明的一种交通灯识别方法，通过结合利用RGB空间灰度二值化和HSV颜色空间二值化两种二值化方法的优势互补，在给定交通路口图片中交通灯目标位置的前提下，对环境特征进行判断，自动切换二值化方法，实现当交通灯目标区域中的亮区位置发生亮度饱和、灯光呈光晕状扩散的现象时，利用RGB空间灰度二值化方法对交通灯目标区域进行处理；当交通灯目标区域中的亮区位置未发生亮度饱和、灯光呈光晕状扩散的现象时，利用HSV空间灰度二值化方法对交通灯目标区域进行处理，通过这两种二值化方法之间的自动切换，获得交通灯目标亮区位置信息的二值化结果，然后从二值化结果中提取交通灯亮区的位置、面积、长度、宽度、变化序列等特征，同时利用前一帧和当前帧交通灯图像亮度分量的差分实现交通灯目标水平坐标的校准，最后设计分类器实现交通灯目标分类识别，并通过交通灯识别结果为黄灯时的位置特征实现交通灯目标垂直坐标的校准。

本方法的总体流程框图如图1所示，具体包括以下步骤：

①将实时获取的路口监控视频中当前待处理的第n帧路口图片中交通灯所在的矩形区域定义为当前交通灯目标区域，图2给出了一个交通灯目标区域在路口图片中的位置示意图，其中，n的初始值为0，0≤n≤N-1，N表示实时获取的路口监控视频中包含的路口图片的总帧数，在本实施例中N根据实际路口监控视频确定，一般情况下大于8000就可以满足识别结果的准确性，将当前交通灯目标区域在第n帧路口图片中的位置以当前交通灯目标区域的左上角像素点在第n帧路口图片中的坐标位置(x_w,y_w)来表示，1≤x_w≤W,1≤y_w≤H，W表示实时获取的路口监控视频中路口图片的宽度，H表示实时获取的路口监控视频中路口图片的高度。

②将当前交通灯目标区域的面积记为A_all，A_all＝X×Y，其中，X为当前交通灯目标区域在宽度方向上的像素数目，Y为当前交通灯目标区域在长度方向上的像素数目。

③HSV颜色空间二值化能够克服交通灯玻璃表面的低度和中度反光的问题，但晚上交通灯亮区亮度饱和、灯光呈光晕状扩散时，HSV颜色空间二值化结果无法准确反映亮区位置。RGB空间灰度二值化的特点与HSV颜色空间二值化的特点互补，能够适应晚上交通灯亮区亮度饱和、灯光呈光晕状扩散的现象，但一旦出现反光现象，RGB空间灰度二值化结果无法准确反映亮区位置。因此本发明根据A_all，并通过判定当前交通灯目标区域中的亮区位置是否发生灯光呈光晕状扩散的现象，自适应地确定当前交通灯目标区域的二值化方法，当n＝0时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则将HSV空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤。

当0<n<100时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则使发生灯光呈光晕状扩散的现象的统计量增加1；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则使未发生灯光呈光晕状扩散的现象的统计量增加1；然后将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为适合当前交通灯目标区域的二值化方法，采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④。

当n≥100时，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为P_spread，通过比较P_spread与设定的阈值的大小确定适合当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为接着判断适合当前交通灯目标区域的二值化方法与适合前一帧路口图片中的交通灯目标区域的二值化方法是否一致，如果一致，则执行步骤④，否则执行步骤⑤。

在此实施例中，步骤③具体过程为：

③-1、将当前交通灯目标区域转化到HSV颜色空间，得到当前交通灯目标区域的预处理二值化结果，记为中坐标位置为(i,j)的像素点的像素值记为当150≤Vⁿ _(i,j)≤255时，令当0≤Vⁿ _(i,j)<150时，其中0≤i<X,0≤j<Y。

③-2、设的一共有M₀个连通域，各个连通域记为各个连通域的面积分别记为连通域的面积计算为：0≤i<X,0≤j<Y,0≤m<M₀，对连通域的面积进行统计，得到最大连通域记为其面积为

③-3、定义未发生灯光呈光晕状扩散现象的统计量为定义发生灯光呈光晕状扩散现象的统计量为且令和的初始值均为0。

③-4、根据A_all和确定适合当前交通灯目标区域的二值化方法，具体过程为：

当n＝0时，若则认为当前交通灯目标区域发生灯光呈光晕状扩散的现象，并将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，并将HSV颜色空间二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤。

当0<n<100时，若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，令若则当前交通灯目标区域发生灯光呈光晕状扩散的现象，令然后直接将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为适合当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④，其中， $N_{B_0,\mathrm{small}}=N_{B_0,\mathrm{small}}+1$ 和 $N_{B_0,\mathrm{big}}=N_{B_0,\mathrm{big}}+1$ 中的“＝”为赋值符号。

当n≥100时，此时亦满足若则令 $N_{B_0,\mathrm{small}}=\min (N_{B_0,\mathrm{small}}+\mathrm{1,100}),N_{B_0,\mathrm{big}}=\max (N_{B_0,\mathrm{big}}-\mathrm{1,0}),$ 若 $A_{B_0,\max }^n>\frac{A_{\mathrm{all}}}{2},$ 则令 $N_{B_0,\mathrm{small}}=\max (N_{B_0,\mathrm{small}}-\mathrm{1,100}),N_{B_0,\mathrm{big}}=\min (N_{B_0,\mathrm{big}}+\mathrm{1,0});$ 在确定和的值后，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为P_spread，若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread>P_Th1，则将RGB空间灰度二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread≤P_Th1，则执行步骤④；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread<P_Th2，则将HSV颜色空间二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread≥P_Th2，则执行步骤④。

确定二值化方法后，获得当前交通灯目标区域的二值化结果其每一个像素为若为HSV空间二值化，则结果为：当150≤Vⁿ _(i,j)≤255且0≤Sⁿ _(i,j)≤20时，令否则，则令其中0≤i<X,0≤j<Y，Vⁿ _(i,j)为亮度，Sⁿ _(i,j)为饱和度；若为RGB灰度空间二值化，则结果为：当150≤Gⁿ _(i,j)≤255时，则令否则，则令其中0≤i<X,0≤j<Y，Gⁿ _(i,j)为灰度值。在本实施例中双向阈值取P_Th1＝0.3，P_Th2＝0.1。

④根据当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，得到当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域和变暗的区域，从而判别当前交通灯目标区域的信号灯亮度变化情况，若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域没有信号灯亮度变化，则执行步骤⑤；若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域有信号灯亮度变化，则获取当前交通灯目标区域的水平校准坐标，记为x_w'；然后根据x_w'判定当前交通灯目标区域在水平位置是否发生偏移，若判定当前交通灯目标区域在水平位置为发生偏移则执行步骤⑤，若判定当前交通灯目标区域在水平位置发生偏移，将x_w'赋值给x_w，再返回步骤③重新获取

在此实施例中，步骤④的具体过程为：

④-1、计算当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，记为Decⁿ，将Decⁿ中坐标位置为(i,j)的像素点的像素值记为若当前交通灯目标区域的二值化方法为HSV颜色空间二值化，则若当前交通灯目标区域的二值化方法为RGB空间灰度二值化，则其中，0≤i<X，0≤j<Y，V^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，Vⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，G^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的灰度值，Gⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的灰度值。

④-2、将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域记为Dec_up ⁿ，将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变暗的区域记为Dec_down ⁿ，记Dec_up ⁿ _,(i,j)为Dec_up ⁿ中每一个坐标点的像素值，记Dec_down ⁿ _,(i,j)为Dec_down ⁿ中每一个坐标点的像素值，根据所述步骤④-1得到的确定当前交通灯目标区域中坐标位置为(i,j)的像素点属于Dec_up ⁿ或者Dec_down ⁿ，具体为：若则令Dec_up ⁿ _,(i,j)＝1；若则令Dec_up ⁿ _,(i,j)＝0；若则令Dec_down ⁿ _,(i,j)＝1；若则令Dec_down ⁿ _,(i,j)＝0。

④-3、分别获取Dec_up ⁿ和Dec_down ⁿ中最大连通域的面积，若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域既有信号灯亮起又有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积不大于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域只有信号灯亮起，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积不大于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域图片相比前一帧路口图片中的交通灯目标区域只有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积不大于且Dec_down ⁿ中最大连通域的面积不大于当前交通灯目标区域相对于前一帧交通灯目标区域信号灯状态没有变化，则继续执行步骤⑤，其中x_w'为水平校正后的坐标，为Dec_up ⁿ连通域的水平坐标中点，为Dec_down ⁿ连通域的水平坐标中点。

④-4、计算x_w'与x_w两者之差的绝对值，当绝对值小于1时，判定当前交通灯目标区域在水平位置未发生偏移，直接执行步骤⑤；当绝对值大于或等于1时，判定当前交通灯目标区域在水平位置发生偏移，并将x_w'赋值给x_w，再返回步骤③重新获取

⑤受到背景环境的影响，不仅包含当前交通灯目标的信号灯亮区的二值化结果，还可能包含背景中亮度较高的景物的二值化结果，例如交通灯目标边缘的天空、树叶等。因此，从中提取反应当前交通灯目标区域中的亮区位置的有效连通域，然后根据得到的有效连通域的数目，判断当前交通灯目标区域中的信号灯状态：若有效连通域的数目为0，则说明当前交通灯目标区域内没有亮着的信号灯，识别为“灯灭”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目大于或等于3，则说明当前交通灯目标区域内出现过多的亮区，识别为“未识别”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目等于1，则说明当前交通灯目标区域内有一盏或两盏亮着的信号灯，然后执行步骤⑥；若有效连通域的数目等于2，则说明当前交通灯目标区域内有两盏亮着的信号灯，然后执行步骤⑥。

在此具体实施例中，从中提取反应当前交通灯目标区域中的亮区位置的有效连通域的具体过程为：

⑤-1、设信号灯二值化结果一共有M₀个连通域，各个连通域记为 各个连通域的面积为各个连通域面积计算式为：0≤i<X,0≤j<Y,0≤m<M₀，当交通灯目标有信号灯状态为亮时，代表亮区的二值化区域的连通域的面积必定达到一定值，因此若满足则保留该连通域，其中此次筛选称为面积筛选。

⑤-2、统计中经过面积筛选后保留的连通域的个数，记为M₁。

⑤-3、长度筛选：a1、将经面积筛选后得到的第m个连通域的宽度和长度对应记为和 $W_{T_m}^n=|x_{T_m,\max }^n-x_{T_m,\min }^n|,L_{T_m}^n=|y_{T_m,\max }^n-y_{T_m,\min }^n|,$ 其中，0≤m<M₁，为经面积筛选后保留的第m个连通域水平坐标的最小值，为经面积筛选后保留的第m个连通域水平坐标的最大值，为经面积筛选后得到的第m个连通域垂直坐标的最小值，为经面积筛选后得到的第m个连通域垂直坐标的最大值，符号“| |”为取绝对值符号；a2、对于⑤-2所述的M₁个连通域中的任一连通域，若该连通域满足且则认为该连通域反应当前交通灯目标区域中信号灯亮区，保留该连通域，并将该连通域定义为有效连通域；否则，则去除该连通域。

图3a为一个交通灯目标区域的二值化图像的连通域，其中交通灯只有上部红色信号灯亮，交通灯目标区域边沿受周围环境的影响出现小块景物亮区，图3b为图3a所示的所有连通域经有效特征提取之后得到的有效连通域，从图3a和图3b中可以看出经过特征提取的二值化结果滤去了背景中亮度较高的景物的二值化结果，提取出了真实反映信号灯亮区的连通域即为有效连通域。

⑥分别获取的各个有效连通域内红色像素点、黄色像素点、绿色像素点的数目，分别用表示，得到有效连通域的颜色特征。

在此具体实施例中，对于HSV图像上属于连通域内的点(i,j)，若0<Hⁿ _(i,j)<20或190≤Hⁿ _(i,j)≤255，则该点为红色像素点，若20≤Hⁿ _(i,j)≤65，则该点为黄色像素点，若66<Hⁿ _(i,j)≤170，则该点为绿色像素点，其中Hⁿ _(i,j)为色调。

⑦将三盏信号灯按照位置分为上、中间、下三盏，定义3位比特识别编码Code，分别用于保存对应上、中间、下三盏信号灯的识别结果，根据有效连通域的长度判别当前交通灯目标区域的信号灯数目，联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，然后根据更新的编码Code的值完成对当前交通灯目标区域中信号灯的识别，得到交通灯的识别结果。

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、将交通灯信号灯的状态灯灭、未识别、红色信号灯灯、黄色信号灯灯、绿色信号灯灯分别用0、5、1、2、3五个数字编号表示，将三盏信号灯按照位置分为上、中间、下三盏，令表示上信号灯和中间信号灯的分界线，为中间和下信号灯的分界线，定义长度为3位比特的识别编码Code，设Code₀为Code的高位、Code₁为Code的中位、Code₂为Code的低位，且分别对应用于保存上、中间、下三盏信号灯的识别结果，令Code的初始值为555。

由于发生色偏时，黄色信号灯的颜色可能偏红，红色信号灯的颜色可能偏黄，导致无法只用有效连通域数目特征、位置特征和颜色特征区分黄灯和数字倒计时状态下的红灯。根据交通灯“下绿灯-绿灯双灯-中间绿灯-黄灯-上红灯-红灯双灯-中间红灯-下绿灯”(其中双灯表示，主灯和倒计时灯一起亮的情况)的变化特点，可见从绿灯开始，重新回到绿灯的过程中，黄灯只在绿灯之后、上红灯(上灯位置，M₃＝1)之前出现，中间红灯只在红灯之后、绿灯之前出现。因此，设变量Label_r作为标记，当识别结果为“上红灯”时Label_r＝1，当识别结果为绿灯时Label_r＝0，当需要区分黄灯和中间红灯时，用Label_r作为区分黄灯和中间红灯的标记。

⑦-2、将当前交通灯目标区域的有效连通域垂直方向的中点坐标记为根据所述步骤⑤得到的当前交通灯目标区域有效连通域的数目，分类联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，具体过程为：

⑦-2、将当前交通灯目标区域的有效连通域垂直方向的中点坐标记为根据所述步骤⑤得到的当前交通灯目标区域有效连通域的数目，分类联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，具体过程为：

若当前交通灯目标区域中的有效连通域的数目为1，且该有效连通域的长度小于则说明当前交通灯目标区域有一盏信号等亮，然后通过分类对Code编码进行赋值，具体过程为：b1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；b2、当 $\frac{1}{3}Y\&le;y_{\mathrm{mid}}^n\&le;\frac{2}{3}Y$ 时，若 $({\mathrm{Co}}_r^n+{\mathrm{Co}}_y^n)<{\mathrm{Co}}_g^n,$ 则令Code₁＝3；若 ${\mathrm{Co}}_g^n<=({\mathrm{Co}}_r^n+{\mathrm{Co}}_y^n)$ 且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时，则令Code₁＝2；上述三种条件均不满足则令Code₁＝5；b3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足则令Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为1，且有效连通域的长度大于则说明当前交通灯目标区域有两盏信号灯亮且其二值化结果相连成为一个有效连通域，然后通过分类对Code编码进行赋值，具体过程为：c1、当时，若则令Code₀＝1,Code₁＝1；若则令Code₀＝3,Code₁＝3；若以上两种条件都不满足则令Code₀＝5,Code₁＝5；c2、当时，若则令Code₁＝1,Code₂＝1；若且则令Code₁＝3,Code₂＝3且令Label_r＝0；若上述两种情况都不满足则令Code₁＝5,Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为2，说明当前交通灯目标区域的信号灯为两盏信号灯亮，且形成了两个独立的有效连通域，对于每个独立的有效连通域通过分类，分别对Code编码进行赋值，具体过程为：d1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；d2、当时，若则令Code₁＝3；若且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时时，则令Code₁＝2；若上述三种条件均不满足则令Code₁＝5；d3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足，则令Code₂＝5；在对Code编码赋值结束后执行步骤⑦-3；

⑦-3、根据Code编码的值获得最终分类识别结果，具体过程为：若Code＝155，表明当前交通灯目标区域只有上位置红色信号灯亮，交通灯识别结果为红灯且未进入倒计时状态；若Code＝115，表明当前交通灯目标区域上位置和中间位置红色信号灯都亮，交通灯识别结果为红灯且进入倒计时状态；若Code＝515，表明当前交通灯目标区域只有中间位置红色信号灯亮，交通灯识别结果为红灯进入倒计时状态；若Code＝525，表明当前交通灯目标区域只有中间位置黄色信号灯亮，交通灯识别结果为黄灯；若Code＝535，表明当前交通灯目标区域只有中间位置绿色信号灯亮，交通灯识别结果为绿灯且进入倒计时状态；若Code＝553，表明当前交通灯目标区域只有下位置绿色信号灯亮，交通灯识别结果为绿灯；若Code＝533，表明当前交通灯目标区域中间位置和下位置的绿色信号灯都亮，交通灯识别结果为绿灯且进入倒计时状态；若Code编码为其他值，表明当前交通灯目标区域识别结果为“未识别”。

⑧由已得交通灯的识别结果，可以进行垂直位置的校准，红灯、黄灯、绿灯三种颜色的灯中，只有黄灯亮时必定是一盏信号灯灯，在晚上黄灯的颜色扩散现象是最弱的，并且黄色信号灯灯的位置在交通灯面板的中心，在二值化时不易受到上下边缘、左右边缘背景的干扰，其二值化结果通常能够准确反应真实的黄灯区域。因此在本实施中，当识别结果为黄灯时，进行垂直位置的校准。通过得到的交通灯的识别结果进行垂直位置的校准，垂直坐标设为y_w'，在本实施例中当Code＝525，此时M₃＝1，只有一个有效连通域，其垂直方向中点为设校准后的垂直坐标为其中为当前交通灯目标区域有效连通域的垂直方向的中点坐标，再令y_w＝y'_w。

⑨令n＝n+1，将下一帧待处理的路口图片中的交通灯目标区域作为当前交通灯目标区域，将当前交通灯目标区域在其所在的路口图片中的位置以(x_w,y_w)表示，然后返回步骤②继续执行，直至处理完路口监控视频中所有的路口图片为止。

在本实施例中为了更有效地说明本发明方法的有效性和可行性，对本发明方法与公知的基于SVM支持向量机的交通灯识别算法、基于模版匹配的交通灯识别算法进行比较。选取4个监控交通路口视频，分别编号为路口1、2、3、4，选取上午、下午和晚上不同时段，天气状况为晴天、阴天和中雨，路口1目标宽度X为30/2592像素比，目标长度Y为80/2048像素比，路口2目标宽度X为20/2592像素比，目标长度Y为60/2048像素比，路口3目标宽度X为29/2448像素比，目标长度Y为86/2048像素比，路口4目标宽度X为14/2592像素比，目标长度Y为46/2048像素比。对分别利用基于SVM支持向量机的交通灯识别算法、基于模版匹配的交通灯识别算法以及本发明方法进行交通灯目标分类识别的效果进行比较。

表1给出了采用基于SVM支持向量机的交通灯识别算法对4个路口监控视频中路口图片的识别结果，表2给出了采用基于模版匹配的交通灯识别算法对4个路口监控视频中路口图片的识别结果，表3给出了本发明方法对4个路口监控视频中路口图片的识别结果。其中，漏检率表示识别结果为“未识别”的帧数占总帧数的比例，误检率表示识别结果错误的帧数(即将红灯识别为黄灯或绿灯，将黄灯识别为红灯或绿灯，将绿灯识别为红灯或黄灯)占总帧数的比例，中度晃动表示晃动幅度在范围内，高度晃动表示晃动幅度在范围内，中度反光表示信号灯的玻璃表面出现亮斑，亮度低于亮起的信号灯，肉眼仍能准确辨别各种交通灯状态，高度反光表示信号灯的玻璃表面出现大面积亮斑且亮度超过亮起的信号灯，肉眼已经无法准确辨别各种交通灯状态。

对比表1、表2、表3可得，如第1、6、7、11组视频的识别结果所示，在无色偏、反光、晃动等因素的影响环境下，三种交通灯分类识别方法的识别效果都较好，并且本发明方法相较于其他两种方法误检率更低。当实际的交通路口环境条件复杂时，如第2、8组视频的识别结果所示，当出现色偏干扰时，红灯和黄灯在颜色上差异小，基于SVM支持向量机的交通灯识别算法和基于模版匹配的交通灯识别算法的误检率明显上升，而本发明方法的错误率保持为零，说明本发明方法不受色偏干扰的影响。如第4组视频的识别结果所示，当出现中度反光干扰时，前两种算法的误检率明显上升，而本发明方法的漏检率略微上升，错误率保持为零；第5组视频的识别结果所示，环境中出现高度反光干扰，事实上，此时已经难以通过肉眼从采集到的交通灯图片中准确辨别红绿灯，现有的两种方法的误检率分别达到55.3％和75.6％，方法已经失效，产生的大量错误的识别结果会对实时交通信息采集系统的准确性造成影响，而本发明方法在及其复杂的环境条件下，能够适时关闭，对于难以处理的视频帧图像不处理，漏检率为79.96％，误检率保持为零，即实现了环境恶劣情况下不进行识别的目的，在不影响实时交通信息采集系统准确性的前提下，相对于现有的两种识别方法有明显的优势。第3、10组视频的识别结果所示，当出现中度晃动时，现有的两种识别方法的误检率明显上升，表明这两种识别方法的识别准确率对交通灯位置的变化比较敏感，而本发明方法的漏检率有所上升，而误检率接近零，表明在中度晃动幅度对本发明方法的影响较小，本发明方法可以实现摄像头中度晃动时交通灯目标的位置校准。第9组视频的识别结果所示，当出现高度晃动时，由于晃动幅度过大，现有的两种识别方法尤其是基于SVM支持向量机的交通灯识别算法的误检率大幅上升，同时其漏检率也有所上升，而本发明方法以保证低误检率为原则，漏检率达到53.7％，误检率仍保持在1％以下。第10组视频的识别结果出现了中度晃动和中度反光的干扰，现有的两种识别方法的误检率分别达到了62.3％和74.3％，识别结果已经不可用，而本发明方法的漏检率为54.31％，误检率仍在1％以下。以上结果足以说明本发明提出的交通灯识别方法准确性高，具有较强的抗干扰能力。

表1 采用基于SVM支持向量机的交通灯识别算法对4个路口监控视频中路口图片的识别结果

表2 采用基于模版匹配的交通灯识别算法对4个路口监控视频中路口图片的识别结果

表3 采用本发明方法对4个路口监控视频中路口图片的识别结果

Claims (6)

1.一种交通灯识别方法，其特征在于包括以下步骤：

①将实时获取的路口监控视频中当前待处理的第n帧路口图片中交通灯所在的矩形区域定义为当前交通灯目标区域，其中，n的初始值为0，0≤n≤N-1，N表示实时获取的路口监控视频中包含的路口图片的总帧数，将当前交通灯目标区域在第n帧路口图片中的位置以当前交通灯目标区域的左上角像素点在第n帧路口图片中的坐标位置(x_w,y_w)来表示，1≤x_w≤W,1≤y_w≤H，W表示实时获取的路口监控视频中路口图片的宽度，H表示实时获取的路口监控视频中路口图片的高度；

②将当前交通灯目标区域的面积记为A_all，A_all＝X×Y，其中，X为当前交通灯目标区域在宽度方向上的像素数目，Y为当前交通灯目标区域在长度方向上的像素数目；

③根据A_all，并通过判定当前交通灯目标区域中的亮区位置是否发生灯光呈光晕状扩散的现象，自适应地确定当前交通灯目标区域的二值化方法，当n＝0时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则将HSV空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；

当0<n<100时，如果当前交通灯目标区域中的亮区位置发生灯光呈光晕状扩散的现象，则使发生灯光呈光晕状扩散的现象的统计量增加1；如果当前交通灯目标区域中的亮区位置未发生灯光呈光晕状扩散的现象，则使未发生灯光呈光晕状扩散的现象的统计量增加1；然后将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为适合当前交通灯目标区域的二值化方法，采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④；

当n≥100时，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为P_spread，通过比较P_spread与设定的阈值的大小确定适合当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为接着判断适合当前交通灯目标区域的二值化方法与适合前一帧路口图片中的交通灯目标区域的二值化方法是否一致，如果一致，则执行步骤④，否则执行步骤⑤；

④根据当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，得到当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域和变暗的区域，从而判别当前交通灯目标区域的信号灯亮度变化情况，若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域没有信号灯亮度变化，则执行步骤⑤；若当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域有信号灯亮度变化，则获取当前交通灯目标区域的水平校准坐标，记为x_w'；然后根据x_w'判定当前交通灯目标区域在水平位置是否发生偏移，若判定当前交通灯目标区域在水平位置为发生偏移则执行步骤⑤，若判定当前交通灯目标区域在水平位置发生偏移，将x_w'赋值给x_w，再返回步骤③重新获取

⑤从中提取反应当前交通灯目标区域中的亮区位置的有效连通域，然后根据得到的有效连通域的数目，判断当前交通灯目标区域中的信号灯状态：若有效连通域的数目为0，则说明当前交通灯目标区域内没有亮着的信号灯，识别为“灯灭”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目大于或等于3，则说明当前交通灯目标区域内出现过多的亮区，识别为“未识别”结果，并结束当前交通灯目标区域的识别，然后执行步骤⑨；若有效连通域的数目等于1，则说明当前交通灯目标区域内有一盏或两盏亮着的信号灯，然后执行步骤⑥；若有效连通域的数目等于2，则说明当前交通灯目标区域内有两盏亮着的信号灯，然后执行步骤⑥；

⑥分别获取中的每个有效连通域内红色像素点、黄色像素点、绿色像素点的数目，对应记为

⑦将三盏信号灯按照位置分为上、中间、下三盏，定义3位比特识别编码Code，分别用于保存对应上、中间、下三盏信号灯的识别结果，根据有效连通域的长度判别当前交通灯目标区域的信号灯数目，联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，然后根据更新的编码Code的值完成对当前交通灯目标区域中信号灯的识别，得到交通灯的识别结果；

⑧当交通灯的识别结果为黄灯时对当前交通灯目标区域进行垂直位置的校准，将校准后的垂直坐标位置记为y_w'，其中为当前交通灯目标区域的有效连通域垂直方向的中点坐标，再将y'_w赋值给y_w；

⑨令n＝n+1，将下一帧待处理的路口图片中的交通灯目标区域作为当前交通灯目标区域，将当前交通灯目标区域在其所在的路口图片中的位置以(x_w,y_w)表示，再返回步骤②继续执行，直至处理完路口监控视频中所有的路口图片为止。

2.根据权利要求1所述的一种交通灯识别方法，其特征在于所述的步骤③中自适应地确定当前交通灯目标区域的二值化方法的具体过程为：

③-1、将当前交通灯目标区域转化到HSV颜色空间，得到当前交通灯目标区域的预处理二值化结果，记为

③-2、获取中面积最大的连通域，记为将的面积记为

③-3、定义未发生灯光呈光晕状扩散现象的统计量为定义发生灯光呈光晕状扩散现象的统计量为且令和的初始值均为0；

③-4、根据A_all和确定适合当前交通灯目标区域的二值化方法，具体过程为：

当n＝0时，若则认为当前交通灯目标区域发生灯光呈光晕状扩散的现象，并将RGB空间灰度二值化方法确定为当前交通灯目标区域的二值化方法；若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，并将HSV颜色空间二值化方法确定为当前交通灯目标区域的二值化方法；然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；

当0<n<100时，若则认为当前交通灯目标区域未发生灯光呈光晕状扩散的现象，令若则当前交通灯目标区域发生灯光呈光晕状扩散的现象，令然后直接将第0帧路口图片中的交通灯目标区域采用的二值化方法确定为当前交通灯目标区域的二值化方法；再采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤④，其中，和中的“＝”为赋值符号；

当n≥100时，若则令 $N_{B_0,\mathrm{small}}=\min (N_{B_0,\mathrm{small}}+\mathrm{1,100}),N_{B_0,\mathrm{big}}=\max (N_{B_0,\mathrm{big}}-\mathrm{1,0});$ 若 $A_{B_0,\max }^n>\frac{A_{\mathrm{all}}}{2},$ 则令 $N_{B_0,\mathrm{small}}=\max (N_{B_0,\mathrm{small}}-\mathrm{1,100}),N_{B_0,\mathrm{big}}=\min (N_{B_0,\mathrm{big}}+\mathrm{1,0});$ 在确定和的值后，计算从第n-99帧到第n帧路口图片中的交通灯目标区域中发生灯光呈光晕状扩散现象的帧数所占的比例，记为若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread>P_Th1，则将RGB空间灰度二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为HSV颜色空间二值化方法且P_spread≤P_Th1，则执行步骤④；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread<P_Th2，则将HSV颜色空间二值化方法确定为适合当前交通灯目标区域的二值化方法，然后采用确定的二值化方法对当前交通灯目标区域进行处理，获得当前交通灯目标区域的二值化结果，记为再执行步骤⑤；若当前交通灯目标区域所在的路口图片的前一帧中的交通灯目标区域采用的二值化方法为RGB空间灰度二值化方法且P_spread≥P_Th2，则执行步骤④；其中，min()为取最小值函数，max()为取最大值函数，P_Th1和P_Th2为设定阈值。

3.根据权利要求2所述的一种交通灯识别方法，其特征在于所述的步骤③-4中应满足P_Th1>P_Th2，且取P_Th1＝0.3，P_Th2＝0.1。

4.根据权利要求1所述的一种交通灯识别方法，其特征在于所述的步骤④的具体过程为：

④-1、计算当前交通灯目标区域与前一帧路口图片中的交通灯目标区域的亮度差分，记为Decⁿ，将Decⁿ中坐标位置为(i,j)的像素点的像素值记为若当前交通灯目标区域的二值化方法为HSV颜色空间二值化，则若当前交通灯目标区域的二值化方法为RGB空间灰度二值化，则其中，0≤i<X，0≤j<Y，V^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，Vⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的亮度值，G^n-1 _(i,j)表示前一帧路口图片中的交通灯目标区域中坐标位置为(i,j)的像素点的灰度值，Gⁿ _(i,j)表示当前交通灯目标区域中坐标位置为(i,j)的像素点的灰度值；

④-2、将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变亮的区域记为Dec_up ⁿ，将当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域中信号灯变暗的区域记为Dec_down ⁿ，将Dec_up ⁿ中坐标位置为(i,j)的像素点的像素值记为将Dec_down ⁿ中坐标位置为(i,j)的像素点的像素值记为若 ${\mathrm{Dec}}_{(i,j)}^n<-150,$ 则令 ${\mathrm{Dec}}_{\mathrm{up},(i,j)}^n=1;$ 若 ${\mathrm{Dec}}_{(i,j)}^n\&GreaterEqual;-150,$ 则令 ${\mathrm{Dec}}_{\mathrm{up},(i,j)}^n=0;$ 若 ${\mathrm{Dec}}_{(i,j)}^n>150,$ 则令 ${\mathrm{Dec}}_{\mathrm{down},(i,j)}^n=1;$ 若 ${\mathrm{Dec}}_{(i,j)}^n\&le;150,$ 则令 ${\mathrm{Dec}}_{\mathrm{down},(i,j)}^n=0;$

④-3、分别获取Dec_up ⁿ和Dec_down ⁿ中最大连通域的面积，若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域既有信号灯亮起又有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积大于且Dec_down ⁿ中最大连通域的面积小于或等于表明当前交通灯目标区域相比前一帧路口图片中的交通灯目标区域只有信号灯亮起，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积小于或等于且Dec_down ⁿ中最大连通域的面积大于表明当前交通灯目标区域图片相比前一帧路口图片中的交通灯目标区域只有信号灯熄灭，则令并执行步骤④-4；若Dec_up ⁿ中最大连通域的面积小于或等于且Dec_down ⁿ中最大连通域的面积小于或等于当前交通灯目标区域相比前一帧交通灯目标区域信号灯状态没有变化，则执行步骤⑤，其中x_w'为水平校正后的坐标，为Dec_up ⁿ连通域的水平坐标中点，为Dec_down ⁿ连通域的水平坐标中点；

④-4、计算x_w'与x_w两者之差的绝对值，当绝对值小于1时，判定当前交通灯目标区域在水平位置未发生偏移，直接执行步骤⑤；当绝对值大于或等于1时，判定当前交通灯目标区域在水平位置发生偏移，将x_w'赋值给x_w，再返回步骤③重新获取

5.根据权利要求1至4任一项所述的一种交通灯识别方法，其特征在于所述的步骤⑤中从中提取反应当前交通灯目标区域中的亮区位置的有效连通域的具体过程为：

⑤-1、面积筛选：对中的每个连通域的面积进行统计，对于中的任一个连通域，如果该连通域的面积大于则保留该连通域；如果该连通域的面积小于或等于则去除该连通域

⑤-2、统计中经过面积筛选后保留的连通域的个数，记为M₁；

⑤-3、长度筛选：a1、将经面积筛选后得到的第m个连通域的宽度和长度对应记为和 $W_{T_m}^n=|x_{T_m,\max }^n-x_{T_m,\min }^n|,L_{T_m}^n=|y_{T_m,\max }^n-y_{T_m,\min }^n|,$ 其中，0≤m<M₁，为经面积筛选后保留的第m个连通域水平坐标的最小值，为经面积筛选后保留的第m个连通域水平坐标的最大值，为经面积筛选后得到的第m个连通域垂直坐标的最小值，为经面积筛选后得到的第m个连通域垂直坐标的最大值，符号“||”为取绝对值符号；a2、对于⑤-2所述的M₁个连通域中的任一连通域，若该连通域满足且则认为该连通域反应当前交通灯目标区域中信号灯亮区，保留该连通域，并将该连通域定义为有效连通域；否则，则去除该连通域。

6.根据权利要求1所述的一种交通灯识别方法，其特征在于所述的步骤⑦的具体过程为：

⑦-1、将交通灯的信号灯状态灯灭、未识别、红色信号灯、黄色信号灯、绿色信号灯分别用0、5、1、2、3五个数字编号表示，将三盏信号灯按照位置分为上、中间、下三盏，令表示上信号灯和中间信号灯的分界线，令为中间和下信号灯的分界线，定义长度为3位比特的识别编码Code，设Code₀为Code的高位、Code₁为Code的中位、Code₂为Code的低位，且分别对应用于保存上、中间、下三盏信号灯的识别结果，令Code的初始值为555，并设变量Label_r作为区分黄灯和中间红灯的标记，其中当识别结果为“上红灯”令Label_r＝1，直到识别结果为绿灯时则令Label_r＝0；

⑦-2、将当前交通灯目标区域的有效连通域垂直方向的中点坐标记为根据所述步骤⑤得到的当前交通灯目标区域有效连通域的数目，分类联合根据当前交通灯目标区域的有效连通域的位置特征、颜色特征、变化序列特征更新编码Code的值，具体过程为：

若当前交通灯目标区域中的有效连通域的数目为1，且该有效连通域的长度小于则说明当前交通灯目标区域有一盏信号等亮，然后通过分类对Code编码进行赋值，具体过程为：b1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；b2、当时，若则令Code₁＝3；若且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时，则令Code₁＝2；上述三种条件均不满足则令Code₁＝5；b3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足则令Code₂＝5；在Code编码结束执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为1，且有效连通域的长度大于则说明当前交通灯目标区域有两盏信号灯亮且其二值化结果相连成为一个有效连通域，然后通过分类对Code编码进行赋值，具体过程为：c1、当时，若则令Code₀＝1,Code₁＝1；若则令Code₀＝3,Code₁＝3；若以上两种条件都不满足则令Code₀＝5,Code₁＝5；c2、当时，若则令Code₁＝1,Code₂＝1；若且则令Code₁＝3,Code₂＝3且令Label_r＝0；若上述两种情况都不满足则令Code₁＝5,Code₂＝5；在Code编码结束执行步骤⑦-3；

若当前交通灯目标区域有效连通域的数目为2，说明当前交通灯目标区域的信号灯为两盏信号灯亮，且形成了两个独立的有效连通域，对于每个独立的有效连通域通过分类，分别对Code编码进行赋值，具体过程为：d1、当时，若则令Code₀＝1且令Label_r＝1；若则令Code₀＝3；若上述两种条件都不满足则令Code₀＝5；d2、当时，若则令Code₁＝3；若且当Label_r＝1时，则令Code₁＝1；若且当Label_r＝0时时，则令Code₁＝2；若上述三种条件均不满足则令Code₁＝5；d3、当时，若则令Code₂＝1；若且则令Code₂＝3且令Label_r＝0；若以上两种条件都不满足，则令Code₂＝5；在Code编码结束执行步骤⑦-3；

⑦-3、根据Code编码的值获得最终分类识别结果，具体过程为：若Code＝155，表明当前交通灯目标区域只有上位置红色信号灯亮，交通灯识别结果为红灯且未进入倒计时状态；若Code＝115，表明当前交通灯目标区域上位置和中间位置红色信号灯都亮，交通灯识别结果为红灯且进入倒计时状态；若Code＝515，表明当前交通灯目标区域只有中间位置红色信号灯亮，交通灯识别结果为红灯闪烁进入倒计时状态；若Code＝525，表明当前交通灯目标区域只有中间位置黄色信号灯亮，交通灯识别结果为黄灯；若Code＝535，表明当前交通灯目标区域只有中间位置绿色信号灯亮，交通灯识别结果为绿灯且进入倒计时状态；若Code＝553，表明当前交通灯目标区域只有下位置绿色信号灯亮，交通灯识别结果为绿灯；若Code＝533，表明当前交通灯目标区域中间位置和下位置的绿色信号灯都亮，交通灯识别结果为绿灯且进入倒计时状态；若Code编码为其他值，表明当前交通灯目标区域识别结果为“未识别”。