CN103020603A - 基于颜色空间及选择投票机制夜间信号灯检测与识别方法 - Google Patents

Abstract

本发明公开一种基于颜色空间及投票机制夜间信号灯检测与识别方法，包括：第一步：利用HLC颜色空间对信号灯进行定位；第二步：矫正由于拍摄引起的信号灯和计数器的角度偏移，寻找主方向；第三步：通过骨架提取并进行X、Y方向投影得到投影直方图，通过所述投影直方图与模板直方图比较，寻找相似度最高的模板直方图所代表的指示灯来进行识别；对于计数器的七段数码管，将所需识别目标与参考模板进行逐段比对，采用投票机制，最终实现识别。

Description

基于颜色空间及选择投票机制夜间信号灯检测与识别方法

技术领域

本发明涉及交通信号灯领域，更具体的说，涉及一种基于颜色空间选择及投票机制的夜间信号灯检测与识别的方法。

背景技术

由计算机引导的驾车辅助系统的发展，例如GPS定位系统，雷达定位，ESP对于日益高端化的汽车有相当大的意义。其中信号灯的识别在辅助系统中的作用不可小觑，它关系着驾车的安全性。不仅如此，世界上有7%~8%的色盲色弱患者，对交通指示灯的识别，使得这一群体驾车成为可能。所以这一课题引来了众多的关注者。最基本的交通灯是我们常见的红绿灯：包含红色，绿色，黄色灯。除此之外，另一种指示设施：计时器也在街头日渐增多。计时器是为了指示剩余等待时间，让驾驶员提前做好准备，从而减少交通意外的重要的交通基础设施。

近些年，很多的交通灯识别算法相继涌出。Lindener等人在《Robust Recognitionof Traffic Signals》（IEEE智能车辆专题论文集,pp.49-53.2004）中提出了一种基于颜色、形状、纹理特征的识别方法。Gavrila等人基于Urban Traffic Assistant（UTA）在《Real Time Vision for Intelligent Vehicles》（IEEE仪器仪表和测量杂志,Vol.4,No.2,pp.22-27，2001）中提出了标准模式识别技术。Fang等人在《Road-Sign Detectionand Tracking》（IEEE车辆技术会刊,Vol.52,No.5,pp.1329-1341，2003）中使用了神经网络来对道路标志的颜色以及形状特征进行分类判决。但是现有的技术大多都将重点放在研究白天的交通标示识别，对于夜晚的交通标识则少有涉猎。而在现实生活中，实际情况是夜晚发生交通意外的概率要比白天大的多，所以夜晚的信号识别非常重要。

发明内容

针对上述现有技术中存在的技术问题，本发明提供一种基于颜色空间及选择投票机制的夜间信号灯检测与识别方法，主要基于颜色空间进行定位，利用几何向量进行角度矫正，最后针对于计数器多使用7段数码管这一特征，进行分段检测，投票判决，以确定计数数值。本发明可以达到较高的识别准确率，并且具备实时性。

为达到上述目的，本发明所采用的技术方案如下：

基于颜色空间及选择投票机制的夜间信号灯检测与识别方法，包括步骤如下：

第一步：利用颜色空间对信号灯进行定位。利用HLC颜色空间提取感兴趣区域，白天与夜晚虽然都可用颜色信息提取感兴趣区域，但是后序步骤不同，白天光线充足，可以根据提取出的感兴趣区域直接分辨信号类型，但是夜晚不可以，由于光晕效应，光圈内部充分曝光，使得光线趋于白色，所以利用红绿灯本身的几种颜色提取的目标只有一个光圈，内部是中空的。我们可以根据寻找此黑色环状物体来确定信号灯所在位置。

第二步：矫正由于拍摄引起的信号指示灯的角度偏移，寻找主方向。由于拍摄角度等问题，会使得图片或视频中的信号灯角度有所偏移，即信号灯不垂直于水平地面，与模板角度不同，这种情况会影响后序判决。所以利用寻找中轴线的方法确定信号灯主方向，从而校正信号灯的位置，增加判决的准确率。

第三步：通过骨架提取，XY方向投影得到投影直方图，由于指示灯的标志是有限的可以通过直方图最小距离来判断信号灯类型。即得到目标投影直方图，与枚举的所有指示标志模板进行对比，寻找最相近的直方图，该直方图所代表的指示标志则为判决结果。针对于七段数码管的具体情况，我们可使用更加有针对性且有效的的判决方法。我们将识别目标与参考模板进行逐段比对，采用投票机制，最终实现识别。

附图说明

图1是本发明方法的流程图；

图2为本发明信号灯和计数器在白天和黑夜的差异图；

图3为本发明方向角度校正的系统架构图；

图4（1）-图4（3）为本发明提取骨架，并在X,Y方向进行投影来判别是否为数字的方法示意图；

图5为本发明基于7段数码管识别目标计数器数字的方法示意图；

图6（a）—图6（f）为本发明夜晚交通指示识别方法；其中：图6（a）原始图像；图6（b）基于HLC最初的目标定位；图6（c）寻找空洞来定位主要目标；图6（d）在X,Y方向投影确定指示标志类型；图6（e）方向角度校正；图6（f）检测结果。

具体实施方式

下面对本发明的实施例做详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明公开的基于颜色空间及选择投票机制的夜间信号灯检测与识别方法，该方法流程如图1所示，具体如下：

第一步：利用颜色空间对信号灯进行定位。

获得一副要研究的图像，首先要做的是对信号灯进行定位。鲁棒的定位方法能够准确找到研究物体，并且排除干扰。

对于本实例中信号灯的定位是基于颜色信息实现的。我们选取HLC颜色空间。根据GongY H的研究，当颜色对的颜色差异小于3.0，人眼的视觉会认定两颜色为同一颜色。这个差异的定义为：

$D_{\mathrm{NBS}}(A,B)=1.2{\left\{{2C}_1{C}_2\right[1-\cos \left(\frac{2\mathrm{\π}}{100}\mathrm{\ΔH}\right)]+{\left(\mathrm{\ΔC}\right)}^2+{\left(4\mathrm{\ΔL}\right)}^2\}}^{1/2}$

此处，A＝(H₁,L₁,C₁),B＝(H₂,L₂,C₂)为HLC颜色对，ΔH=|H₁-H₂|，ΔL=|L₁-L₂|，ΔC=|C₁-C₂|。我们可以根据该颜色空间获得所要研究的物体。

在白天，干扰目标比较少，而且由于图像质量较好，区分难度较小，仅仅使用颜色信息就可以很好定位指示灯，以及计数器。而在夜间，由于车灯，路灯等干扰，会使得检测难度远远大于白天的情况。最大的难点在于指示灯发光时会产生光晕，在黑夜中拍摄，光晕非常明显，指示灯内部的颜色由于亮度非常高而近于白色，所以用颜色信息定位时，我们可以得到的是信号灯，计数数字的外边框。而内部区域则无法得到。但是我们可以通过提取颜色选择形成的二值图的黑色空洞区域来定位标识的所在。图2可以看出白天与黑夜基于颜色信息提取信号灯的差异。

第二步：矫正信号指示灯的角度偏移。

由于拍摄角度引起指示灯角度偏移，使后序识别变得困难。所以进行必要的角度矫正对于工作平台的完整性，自动化非常重要。为了得到标识的主方向，常见的算法是投影算法。对于数字计数器，一般是两位数，要确定显示的数字，首先要将两位数字分开，投影算法即是通过利用两位数码管之间空隙较大的特点来进行数码管的分离。但是在夜晚，此种方法不可行，因为光晕会使数字连起来，投影无法分离两数字，本实例采用SLC（symbol-light-combination）算法来实现方向矫正。

矫正方法根据下式：

$\stackrel{\→}{D_{\mathrm{corr}}}=\arg (\stackrel{\→}{C_l}-\stackrel{\→}{C_s})$

其中

是图像的主方向，即最后用来判决的方向，

是指示灯的中心,

是计数器的中心,arg是角度。这里我们使用霍夫变换来实现圆的检测。为了定位指示标志的中心，本实例采用了最小外接圆方法。首先我们寻找最小的可以包含指示灯或者计数器数字的外接圆，然后这个圆的圆心就定义为此标志的中心。

和

的连线就是方向的基线。寻找到此基线就找到了与水平平面垂直或平行的基线，可以通过旋转方法来予以矫正，角度矫正方法可从图3中看出。图中1表示的是主方向，2表示的是视频正方向，3表示的是圆形指示灯，Δθ表示偏移角度。

第三步：判决。

得到指示符后，首先要确定此符号是否为计数器数字。本实例采用的方法为提取骨架并进行X，Y方向投影得到投影直方图，由于信号灯类型较少，可以采用穷举模板的方法，列出所有模板直方图，通过比较直方图，寻找相似度最高的模板直方图所代表的指示灯来进行判别。

对于计数器的数字指示标志，判决方法可采用根据7段数码管特定结构来进行判决。经试验观察到，对于数字来说，投影直方图有尖峰，而方向指示符则没有，可以根据此特点来选出计数器的数字指示标志。图4(1)、图4(2)为数字指示灯的投影过程，图4（3）为方向指示符的投影过程。每个处理过程都包含4个步骤（a）为源图像（b）为提取骨架，（c）为在X轴方向投影直方图，（d）为在Y轴方向投影直方图。可以看出，数字指示灯的投影直方图与方向指示符的尖峰情况有所不同。

由于计数器的数字指示是使用7段数码管实现的，利用此特点，我们将识别目标分段与模板比较，判断相似性，来做出最终判决。

这里Num是最终的判决结果,TU是从校正结果分离出来的目标单元.T_i是第i段数码管,N_j是第j个标准数字.SIM(a,b)是相近度,a与b越相近,SIM(a,b)越大。此公式的基本思想是通过比较目标某段数码管与模板相应段数码管是否一致，一致则该票结果为1否则为0，寻找与目标有最多相似度的模板，确定最后结果。图5展示了基于7段管投票判决法。

实施效果

本实例中，使用Matlab平台进行试验，试验结果可从图6（a）—图6（f）中看出。图6（a）表示原始图像，图6（b）表示基于HLC最初的目标定位，图6（c）表示寻找空洞来定位主要目标，图6（d）表示在X,Y方向投影确定指示标志类型，图6（e）表示方向角度校正，图6（f）表示检测结果。下表1显示了定位方法的准确度，表2显示了角度校正的效果，表3显示了本发明方法从原始图像得到最终判决结果的实时性非常好，表4详细展示了判决结果。可以看出本发明可以在夜间有效的定位交通灯，角度校正也有很高的准确性，实时性好，且检测准确性高。

表1

	红	绿	无	混合
					实际情况	11	12	5	13
定位正确的情况	9	10	5	10
					正确率	81.82%	83.33%	100%	76.92%

表2

	红	绿	混合
				0~10°	2.3°	1.4°	2.7°
10°~20°	2.9°	1.7°	3.2°

表3

	红灯检测(秒)	绿灯检测(秒)	混合检测(秒)
				本发明方法	0.084	0.077(s)	0.080

表4

	红	绿	无	混合
					实际情况	11	12	5	13
本实例识别	8	10	5	9
					本实例正确率	72.73%	83.33%	100%	69.23%
本实例识别数	7	8	5	7
					本实例正确率	63.64%	75%	100%	53.85%

以上仅为本发明的具体实施例进行描述。本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的保护范围。

Claims (3)

1.一种基于颜色空间及选择投票机制夜间信号灯检测与识别方法，其特征在于，包含以下步骤：

第一步：利用颜色空间对信号灯进行定位；

采用HLC颜色空间提取目标区域，得到信号灯和计数器的外边框，而内部区域为中空，通过提取颜色选择形成的二值图的黑色空洞区域来确定信号灯的所在位置；

第二步：矫正由于拍摄引起的信号灯和计数器的角度偏移，寻找主方向；

采用SLC算法，利用寻找中轴线的方法确定信号灯和计数器主方向，从而校正其位置，增加判决的准确率。

第三步：通过骨架提取并进行X、Y方向投影得到投影直方图，通过所述投影直方图与模板直方图比较，寻找相似度最高的模板直方图所代表的指示灯来进行识别；对于计数器的七段数码管，将所需识别目标与参考模板进行逐段比对，采用投票机制，最终实现识别。

2.根据权利要求1所述的基于颜色空间及选择投票机制夜间信号灯检测与识别方法，其特征在于，所述的第二步中，使用下式来矫正：

$\stackrel{\→}{D_{\mathrm{corr}}}=\arg (\stackrel{\→}{C_l}-\stackrel{\→}{C_s})$

其中

是图像的主方向，即最后判决使用方向，

是指示灯的中心，

是计数器的中心，arg则是向量的角度，使用霍夫变换来实现圆的检测，为了定位圆的中心，采用最小外接圆方法：首先寻找最小的可以包含指示灯或者计数器的外接圆，然后这个圆的圆心就定义为此标志的中心，和

的连线就是方向的基线，寻找到此基线就找到了与水平平面垂直或平行的基线，再通过旋转方法来予以矫正。

3.根据权利要求1所述的基于颜色空间及选择投票机制夜间信号灯检测与识别方法，其特征在于，所述的第三步中，所述投票机制是利用计数器的数字指示是使用7段数码管实现的这一特点，对得到的数字标识进行判别，将识别目标分段与模板比较，判断相似性，方法如下：

这里Num是最终的判决结果,TU是从校正结果分离出来的目标单元，T_i是第i段数码管，N_j是第j个标准数字，SIM(a,b)是相近度,a与b越相近,SIM(a,b)越大，通过比较目标与参考模板某段数码管是否一致，一致则判决结果为1，否则为0，以此寻找与目标有最多相似度的模板，确定最后结果。

Images