CN103345766A - 一种信号灯识别方法及装置 - Google Patents

Abstract

本发明公开一种信号灯识别方法及装置，方法包括：从路况信息图像中提取亮度候选像素点和颜色候选像素点，颜色候选像素点的颜色为红色、黄色或者绿色；以每个亮度候选像素点为中心确定一判断区域，统计判断区域中包含的颜色候选像素点的个数及对应的颜色；根据颜色候选像素点的个数及颜色，确定亮度候选像素点表示的信号灯颜色；针对不同的信号灯类型，依据亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断候选区域是否为信号灯。采用本发明技术方案，结合亮度因素和颜色因素确定信号灯候选区域，就能减少最终确定的候选区域的数量，提高候选区域的确定准确性，如此，还能提高后续形状检测过程的处理速度与准确度。

Description

一种信号灯识别方法及装置

技术领域

本发明涉及交通控制技术领域，特别是涉及一种信号灯识别方法及装置。

背景技术

为了保证车辆行驶过程中的安全性，越来越多的智能车辆开始关注车辆行驶过程中的交通信号灯自动检测识别功能。目前，信号灯自动检测方法是在颜色分割和形状检测的基础上实现的，其方案可简述如下：

首先，由安装在车辆上的摄像装置拍摄获得车辆前方的路况信息图像；

其次，利用颜色分割法将图像中符合预定义颜色的区域选择出来，作为信号灯候选区。这一过程可通过颜色查找表或者颜色空间阈值分割法实现。

该过程中可能会存在以下问题：

(1)可能会产生过多的错误候选区。这主要是因为除了信号灯之外，图像中还会存在很多符合预定义颜色的背景色，例如，红色或黄色的车辆、绿色的广告牌、红色的建筑物、绿色的公交车站牌等等，这些都可能会被选择出来作为信号灯候选区，如此就势必会加大后续形状检测的处理量，影响形状检测的处理速度，进而影响信号灯自检测的速度，时效性较差。

(2)可能会产生过分割。如果拍摄的图像中信号灯正好与其周边的背景色一致，就会导致信号灯被背景色淹没掉，这样就无法确定出准确的信号灯候选区，加大了后续形状检测的难度，甚至可能无法正确识别出信号灯。

最后，利用形状检测法从多个信号灯候选区中识别出信号灯，包括识别出信号灯所处的位置以及信号灯表示的含义。这一过程可通过基于圆形度的形状检测、基于自适应模板的形状检测、基于机器学习的形状检测等方法实现。

该过程中可能会存在以下问题：要求信号灯必须处于中近距离处，如果信号灯距离摄像装置太远，检测过程中使用的掩膜将无法确定位所求点。另外，摄像装置与信号灯间的距离还会影响信号灯在图像中的成像效果以及成像尺寸，这样，在进行形状检测时，就要利用不同尺寸的模板去尝试与信号灯候选区匹配，如此就会降低形状检测的效率，耗时较长，同样不具有时效性。

综上所述，现有技术中的信号灯自动检测方法的检测速度慢、时效性较差，甚至还可能无法准确识别出信号灯，此外，该方法受识别距离以及背景色的影响也较为严重。

发明内容

本发明实施例提供一种新的信号灯识别方法及装置，以提高信号灯自动检测识别的速度与准确度。

为此，本发明提供如下技术方案：

本发明实施例的信号灯识别方法，包括：

从路况信息图像中提取亮度候选像素点和颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

优选的，从路况信息图像提取所述亮度候选像素点，包括：

将彩色路况信息图像转换成灰度图像；

利用高斯核G_σ对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值，其中，

(i，j)为像素点坐标，σ为标准差，k用于确定高斯核矩阵大小(2k+1)*(2k+1)；

比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

优选的，从路况信息图像提取所述颜色候选像素点，包括：

计算彩色路况信息图像中每个像素点的色调、饱和度和亮度，并判断其是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；

其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

优选的，所述判断区域为圆形，且半径为d，d＝k；或者，所述判断区域为正方形，且边长为2d，d＝k。

优选的，所述方法还包括：

在所述根据所述颜色候选像素点的个数及颜色，判断所述亮度候选点表示的信号灯颜色之前，

在所述判断区域的基础上，向外延伸一扩展区域；

统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则执行根据所述判断区域包含的颜色候选像素点的个数及颜色判断所述亮度候选像素点表示的信号灯颜色的步骤。

对应地，本发明实施例的信号灯识别装置，包括：

亮度候选像素点提取单元，用于从路况信息图像中提取亮度候选像素点；

颜色候选像素点提取单元，用于从路况信息图像中提取颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

第一统计单元，用于以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

颜色确定单元，用于根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

信号灯判断单元，用于针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

优选的，所述亮度候选像素点提取单元，包括：

转换单元，用于将彩色路况信息图像转换成灰度图像；

卷积单元，用于利用高斯核G_σ对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值，其中，(i，j)为像素点坐标，σ为标准差，k用于确定高斯核矩阵大小(2k+1)*(2k+1)；

比较单元，用于比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

优选的，所述颜色候选像素点提取单元，包括：

计算单元，用于计算彩色路况信息图像中每个像素点的色调、饱和度和亮度；

判断单元，用于判断所述计算单元计算出的像素点的色调、饱和度和亮度是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；

其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

优选的，所述装置还包括：

延伸单元，用于在所述判断区域的基础上，向外延伸一扩展区域；

第二统计单元，用于统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则通知所述颜色确定单元根据所述判断区域包含的颜色候选像素点的个数及颜色确定所述亮度候选像素点表示的信号灯颜色。

本发明的信号灯识别方法及装置公开了以下技术效果：

采用本发明技术方案，结合亮度因素和颜色因素确定信号灯候选区域，就能减少最终确定的候选区域的数量，提高候选区域的确定准确性，如此，还能提高后续形状检测过程的处理速度与准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例信号灯识别方法实施例1的流程图；

图2a是本发明实施例中判断区域的一种体现形式；

图2b是本发明实施例中判断区域的另一种体现形式；

图3是本发明实施例中确定亮度候选像素点的方法的流程图；

图4是本发明实施例中确定颜色候选像素点的方法的流程图；

图5是本发明实施例信号灯识别方法实施例2的流程图；

图6是本发明实施例中判断区域与扩展区域的一种体现形式；

图7是本发明实施例信号灯识别装置实施例1的示意图；

图8是本发明实施例中亮度候选像素点提取单元的构成示意图；

图9是本发明实施例中颜色候选像素点提取单元的构成示意图；

图10是本发明资源调度信号灯识别装置实施例2的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

首先介绍下本发明技术方案的应用场景。

随着交通的进步和发展，道路交通事故已经成为全球性的安全问题之一，引起全社会和人民的关注。据近年来统计，人是造成交通事故的主要因素，驾驶员注意力不够集中是交通事故频发的重要原因，因此，发展智能车辆来增加交通安全性是非常必要的。智能车辆技术按功能主要分为辅助驾驶和自动驾驶两个方面，交通信号灯的自动检测识别是智能交通系统的一个重要部分，可以应用于辅助驾驶系统和无人驾驶系统中。另外，考虑到当前对色盲或者色弱人群驾车的限制，如果能真正意义上实现交通信号灯的自动检测识别，意义也是非常重大的。

下面对本发明技术方案的实现过程进行解释说明。

参见图1，示出了本发明信号灯识别方法实施例1的流程图，可包括：

步骤101，从路况信息图像中提取亮度候选像素点和颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色。

考虑到现有技术通过颜色分割确定信号灯候选区域存在的诸多缺点，以及对后续形状检测过程的影响，本发明实施例提出一种新的确定信号灯候选区域的方案。不再单纯的依靠颜色进行图像分割，还综合考虑亮度因素，实现亮度与颜色相结合的确定方案。因此，在摄像装置拍摄获取到车辆前方的路况信息图像之后，即可启动本步骤的像素点提取过程，获得以下两方面信息：

(1)亮度候选像素点集合，包括至少一个亮度候选像素点。众所周知，交通信号灯一般包括红灯、黄灯、绿灯三种，且通过三者的不同点亮状态来表示不同的含义，以此提示控制车辆的行驶状态，例如，若要提示车辆停止行驶时，红灯就处于点亮状态，黄灯和绿灯处于熄灭状态，如此拍摄的图像中，红灯所在区域就会比其它地方要亮一些，因此，本发明选择将亮度作为确定信号灯候选区的一个因素。

(2)颜色候选像素点集合，包括至少一个颜色候选像素点。为了准确提醒驾驶员或者自动控制车辆的行驶状态，除了要准确识别信号灯所在位置之外，还要识别当前信号灯表示的含义，也即当前点亮的是哪种颜色的灯，因此，还需要考虑颜色因素。需要说明的是，颜色因素除了用于判断信号灯当前表示含义之外，还用于与亮度因素相配合确定信号灯候选区。

对于本步骤中选取亮度候选像素点和颜色候选像素点的实现方式，此处暂不详述。

需要说明的是，本步骤要检查摄像装置拍摄获得的流视频的每一帧，如果经检查当前帧包含亮度候选像素点和颜色候选像素点则按照本发明过程进行信号灯识别，如果经检查当前帧不包含亮度或者颜色候选像素点则直接结束并退出信号灯识别过程。

步骤102，以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色。

在步骤101选取出亮度候选像素点集合和颜色候选像素点集合之后，即可将这亮度因素和颜色因素相结合，为准确确定出信号灯候选区域做准备。如果亮度候选像素点集合为V_L1ghtpixel＝{v₁，v₂，…，v_z}，v₁，v₂，…，v_z表示该集合含有Z个亮度候选像素点；颜色候选像素点集合为V_Colorpixe1＝{D_r，D_y，D_g}，D_r表示红色候选像素点子集合，D_y表示黄色候选像素点子集合，D_。表示绿色候选像素点子集合。

对应到路况信息图像中，分别以Z个亮度候选像素点为中心，为每个亮度候选像素点确定一判断区域，并顺序做如下处理：

(1)判断区域内是否包含有颜色候选像素点。如果不包含，则说明该亮度候选像素点可能并不是因为信号灯点亮导致其亮度值较大(如车辆或者建筑物玻璃反射阳光导致的亮度值较大)，故可将其排除，不再进行后续处理。

(2)判断区域内包含多少个颜色候选像素点以及颜色分布情况。经上述处理确定判断区域内包含颜色候选像素点之后，即进行本步骤处理。作为本步骤处理过程的一种实现方式，可体现为：步骤101提取颜色候选像素点时，即可知晓每个像素点的颜色，故为了方便本步骤处理，还可在步骤101中对每个像素点的颜色进行标识，例如，像素点颜色为红色时标识为0、像素点颜色为黄色时标识为1，像素点颜色为绿色时标识为2，像素点颜色为其它时标识为3，这样，本步骤即可按以下方式统计计数：

$N_R(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}(C(p_i,p_j)\∈D_r)\\ 0& \mathrm{otherwise}\end{array}\right\};$

$N_Y(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}(C(p_i,p_j)\∈D_y)\\ 0& \mathrm{otherwise}\end{array}\right\};$

$N_G(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}(C(p_i,p_j)\∈D_g)\\ 0& \mathrm{otherwise}\end{array}\right\};$

其中，N_R(i，j)表示红色的颜色候选像素点，N_Y(i，j)表示黄色的颜色候选像素点，N_G(i，j)表示绿色的颜色候选像素点，C(i，j)表示像素点的颜色标识。

统计判断区域内的像素点颜色分布情况，其中，R_i，j表示v_p形成的判断区域：

v_p形成的判断区域包含的红色的颜色候选像素点的个数

v_p形成的判断区域包含的黄色的颜色候选像素点的个数

v_p形成的判断区域包含的绿色的颜色候选像素点的个数

下面再结合附图对本步骤中形成判断区域的过程进行解释说明。

参见图2a，示出了判断区域的一种体现形式，因本步骤是在为后续确定信号灯候选区域做准备，故可参考信号灯的形状来确定判断区域，一般情况下信号灯都呈圆形，故在本步骤中可以亮度候选像素点为中心，形成一个与信号灯相匹配的半径为d的圆形判断区域；或者，还可参见图2b，形成一个边长为2d的正方形，也即信号灯的外切正方形，其中，d＝k，此处暂不对k进行解释说明。

对于判断区域为正方形的情况而言，用于统计v_p形成的判断区域包含的红色的颜色候选像素点个数的公式可具体体现为

步骤103，根据所述颜色候选像素点的个数及颜色确定所述亮度候选像素点表示的信号灯颜色。

如上文介绍，点亮的信号灯所在区域会比周围区域要亮，因此点亮的信号灯所在的区域一定存在亮度候选像素点，也即我们认为步骤101中提取的亮度候选像素点中一定包含被点亮的信号灯所在区域的像素点。此外，点亮的信号灯除了具有上述像素点的亮度值要比周边大的特性之外，还具有一个特性就是像素点的颜色为特定颜色(红色、黄色或者绿色)，因此，本步骤要利用步骤102统计出的数据判断下中心点处的亮度候选像素点的颜色。

作为本步骤的一种实现方式，可体现为：统计具有某种颜色的颜色候选像素点的个数，并根据像素点个数之间的关系确定亮度候选像素点的颜色。如以亮度候选像素点v₁为中心的判断区域内，红色的颜色候选像素点的个数为N₁，黄色的颜色候选像素点的个数为N₂，如果像素点个数满足条件N₁≥n*N₂，n为正数，如n＝2，则可将亮度候选像素点v₁的颜色确定为红色。

作为本步骤的另一种实现方式，可体现为：先设置一个标准值，若判断区域包含某种颜色，且具有该颜色的颜色候选像素点的个数不小于上述标准值，则将该颜色作为亮度候选像素点的颜色。如标准值为(2k+1)²/2(此处亦先不对k进行解释说明)，参见如下公式，若以亮度候选像素点v₂为中心的判断区域内，红色的颜色候选像素点的个数N_R2超过标准值，则此时就可将亮度候选像素点v₂的颜色确定为红色。

$v_p\∈\left\{\begin{array}{c}\mathrm{RedLight},\mathrm{if}(N_{\mathrm{Rp}}>{(2k+1)}^2/2)\\ \mathrm{YellowLight},\mathrm{if}(N_{\mathrm{Yp}}>{(2k+1)}^2/2)\\ \mathrm{GreenLight},\mathrm{if}(N_{\mathrm{Gp}}>{(2k+1)}^2/2)\end{array}\right.$

步骤104，针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定一候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

经步骤101～103确定出的像素点就可称为是信号灯候选像素点，这些像素点既满足亮度要求，也满足颜色要求，故这些像素点所在的区域最有可能就是信号灯候选区域，因此可根据这些像素点生成信号灯候选区域。

另外，日常生活中信号灯可能具有多种不同的类型，如单灯式、横排式、竖排式等等，对于不同类型的信号灯，确定的信号灯候选区域也会有所不同，因此，本发明在确定信号灯候选区域时要综合考虑信号灯类型、以及前述步骤确定出的信号灯候选像素点。

下面以信号灯候选像素点v_p结合竖排式信号灯为例，对确定信号灯候选区域的过程进行解释说明。

(1)确定信号灯候选区域的左边界列坐标：X₁＝max(1，p_j-3d)；

(2)确定信号灯候选区域的右边界列坐标：X₂＝min(n，p_j+3d)；

(3)确定信号灯候选区域的上边界行坐标：

$Y_1=\left\{\begin{array}{c}\max (1,p_i-3d)\mathrm{if}{v}_p\∈\mathrm{RedLight}\\ \max (1,p_i-6d)\mathrm{if}{v}_p\∈\mathrm{YellowLight}\\ \max (1,p_i-9d)\mathrm{if}{v}_p\∈\mathrm{GreenLight}\end{array}\right.;$

(4)确定信号灯候选区域的下边界行坐标：

$Y_2=\left\{\begin{array}{c}\min (m,p_i+8d)\mathrm{if}{v}_p\∈\mathrm{RedLight}\\ \min (m,p_i+6d)\mathrm{if}{v}_p\∈\mathrm{YellowLight}\\ \min (m,p_i+2d)\mathrm{if}{v}_p\∈\mathrm{GreenLight}\end{array}\right.;$

其中，p_i、p_j分别表示候选像素点v_p的行坐标和列坐标。

在(3)、(4)中确定行坐标时，还应考虑v_p表示的颜色，因在竖排式信号灯中，红灯、黄灯、绿灯三者是自上而下排列的，因此还要根据v_p表示的具体颜色来确定候选区域上边界和下边界的行坐标。

与此对应地，对于横排式信号灯而言，则应根据v_p表示的颜色，相应地调整候选区域左边界和右边界的列坐标，此处不再赘述。

(5)确定以信号灯候选像素点v_p生成的、与竖排式信号灯相对应的信号灯候选区域的大小为(X₂-X₁)*(Y₂-Y₁)，可将该信号灯候选区域记为r_p。

当本发明的信号灯识别方案应用于智能交通系统时，因无法提前预知待识别信号灯的类型，故在本步骤中要针对不同的信号灯类型，为每个信号灯候选像素点确定多个不同类型的信号灯候选区域。

本发明利用形状检测判断至少一个信号灯候选区域中哪个是真正包含信号灯的区域，对此可通过SVM(Support Vector Machine，支持向量机)分类器实现。在进行信号灯识别之前，要先对SVM分类器进行离线训练，过程如下：(1)挑选训练样本，训练样本分为包含信号灯的正样本图像(即信号灯图像)和不含信号灯的负样本图像，负样本一般是一些背景，例如树木、车灯、路灯等；(2)提取训练样本的Haar小波特征，利用SVM算法，训练SVM分类器。如此过程之后，就可利用完成离线训练的SVM分类器进行形状检测。

首先，将信号灯候选区域(如上文示例中的区域r_p)的大小归一化为32*32，并进行学习。因不同的拍摄距离对图像的大小有影响，为了提高形状检测的效率，可先对不同的信号灯候选区域进行归一化处理，将其统一处理成相同的规格，如32*32，然后再识别其是否为真正的信号灯所在位置。

其次，提取归一化后的信号灯候选区域的Haar小波特征，利用事先训练好的SVM分类器，对候选区域进行形状检测，判断该候选区域是否是信号灯。如果经判断该候选区域是信号灯，则可通过前述形成该候选区的亮度候选像素点(也即信号灯候选像素点)的颜色知晓信号灯当前表示的含义。

下面介绍下本发明步骤101中确定亮度候选像素点和颜色候选像素点的实现方式。

确定亮度候选像素点的方式

方式一，直接对拍摄获得的彩色路况信息图像进行处理，对图像中每个像素点的RGB三个通道分别进行卷积，然后取RGB三个卷积值的平均值作为该像素点的亮度值，与其周围像素点的亮度值进行比较，如果该像素点的亮度值大于其周围所有像素点的亮度值，则将该像素点确定为亮点候选像素点。

方式二，为了加快处理速度，可将彩色路况信息图像转化成灰度图像，然后进行二值化处理，也即判断每个像素点的灰度值是否大于预设灰度值，如果大于，则将该像素点确定为亮点候选像素点。需要说明的是，灰度值是形容黑白图像的，亮度值是形容彩色图像的，若将彩色图像转换成黑白图像，则亮度值就会作为转换后的黑白图像的灰度值。

另外，还需说明的是，光照强度可能会影响最终确定亮度候选像素点的结果，如果光照较强，或者存在发生光线折射的区域，都可能会使一些非点亮信号灯所在区域的像素点被确定为亮度候选像素点，对此，我们可以针对不同情况多设置几个预设灰度值，如根据天气情况设置晴天和阴天对应的两个预设灰度值，在车辆行驶前，可根据当天的天气情况先选择出合适的预设灰度值。

方式三，参见图3，示出了本发明提供的第三种确定亮度候选像素点的方法的流程图。

步骤201，将彩色路况信息图像转换成灰度图像。

步骤202，对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值。

高斯卷积就是用离散高斯核进行卷积，高斯核可以是圆锥形、锥台形或者还可以通过如下二维高斯函数计算得到：

$G_{\mathrm{\σ}}(i,j)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-\frac{{(i-k-1)}^2+{(j-k-1)}^2}{2{\mathrm{\σ}}^2}}$

其中，(i，j)为像素点坐标；σ为标准差；k用于确定高斯核矩阵大小(或者说是高斯模板的大小)，通常，矩阵大小为(2k+1)*(2k+1)。k是一个变量，随着路况信息图像中信号灯的成像大小而变，如果摄像装置与信号灯距离较远，则成像就较小，相应地k的取值也较小，反之k则取较大的值，这样，就可以检测到远近距离不同的亮像素点。高斯核一般为3*3、5*5、7*7、9*9等，对应的k的取值可为1、2、3、4，以k＝3为例，对应的高斯模板为：

$\left[\begin{array}{ccccccc}0.0000& 0.0000& 0.0000& 0.0000& 0.0000& 0.0000& 0.0000\\ 0.0000& 0.0000& 0.0000& 0.0002& 0.0000& 0.0000& 0.0000\\ 0.0000& 0.0000& 0.0113& 0.0837& 0.0113& 0.0000& 0.0000\\ 0.0000& 0.0002& 0.0837& 0.6187& 0.0837& 0.0002& 0.0000\\ 0.0000& 0.0000& 0.0113& 0.837& 0.0113& 0.0000& 0.0000\\ 0.0000& 0.0000& 0.0000& 0.0002& 0.0000& 0.0000& 0.0000\\ 0.0000& 0.0000& 0.0000& 0.0000& 0.0000& 0.0000& 0.0000\end{array}\right]$

步骤203，比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

比较每个像素点与其周围像素点的灰度值，可以逐一比较，也可多个并行比较；可以顺序比较，也可按一定规则比较，本发明对此均不做限定。

下面对单个像素点的比较过程进行简单介绍。

如，选取灰度图像中位于(i，j)的像素点作为当前像素点，并将其灰度值记为v(i，j)，其周围的四邻域像素点的灰度值记为v(i，j-1)、v(i，j+1)、v(i-1，j)、v(i+1，j)，且Min＝min{v(i，j-1)，v(i，j+1)，v(i-1，j)，v(i+1，j)}，如果v(i，j)＞Min，则将坐标为(i，j)的当前像素点确定为亮度候选像素点；如果v(i，j)≤Min，则坐标为(i，j)的当前像素点不被确定为亮度候选像素点。上述v(i，j)与Min比较的过程就能尽量全面的把图像中可能存在的亮度候选像素点确定出来，此外，为了提高确定亮度候选像素点的速度，还可采用如下方式：Max＝max{v(i，j-1)，v(i，j+1)，v(i-1，j)，v(i+1，j)}，比较v(i，j)与Max，若v(i，j)≥Max，则将坐标为(i，j)的当前像素点确定为亮度候选像素点。

如此，对灰度图像中的每个像素点都进行上述处理，就可确定出亮度候选像素点集合：V_LightPixel＝{v(i，j)|v(i，j)＞Min}＝{v₁，v₂，…，v_z}，Z为正整数，表示集合含有Z个亮度候选像素点。

确定颜色候选像素点的方式

摄像装置拍摄获得的路况信息图像为RGB彩色图像，考虑到RGB三个分量之间的相关性较高，故其受光照影响较大，光照条件的稍微变化，都可能会引起颜色点在空间中的较大位移，不利于颜色分割，而HSL(Hue，色调；Saturation，饱和度；Lightness，亮度)颜色空间较为适合人类视觉特性，且HSL三个分量之间的相关性较小，受光照影响也较小，因此，确定颜色候选像素点时，可先将RGB彩色路况信息图像转换成HSL图像，参见图4，示出了发明提供的确定颜色候选像素点的方法的流程图。

步骤301，计算彩色路况信息图像中每个像素点的色调、饱和度和亮度。

将像素点对应的RGB颜色空间的值，利用现有技术将其转化为HSL颜色空间，并获得该像素点在HSL颜色空间的H、S、L值，三者的取值范围为0～240。

步骤302，判断像素点的色调、饱和度和亮度是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

因为颜色候选像素点的颜色可为红色、黄色或者绿色，因此本步骤要分别设置这三种颜色的颜色阈值(红色预设数值范围、黄色预设数值范围和绿色预设数值范围)，并根据阈值确定每个像素点的颜色，进而确定出颜色候选像素点集合。

本步骤主要包括以下两方面判断：

(1)像素点颜色是否与预设数值范围相符。如果不相符，则说明该像素点可能是背景色，不能将其确定为颜色候选像素点，应将其排除。

(2)确定颜色候选像素点的颜色。经上述判断确定像素点为颜色候选像素点之后，即进行本判断步骤，进一步确定像素点的颜色。信号灯包括红灯、黄灯、绿灯，因此，分别设置三个颜色判别标准，如果像素点满足红色预设数值范围，则将其颜色确定为红色，如果像素点满足绿色预设数值范围，则将其颜色确定为绿色，作为本判断过程的一种实现方式，可将预设数值设置如下：

红色预设数值范围：

(L(i，j)＞60and L(i，j)＜220)and(S(i，j)＞100)and(H(i，j)＜15or H(i，j)＞220)；

绿色预设数值范围：

(L(i，j)＞30and L(i，j)＜220)and(S(i，j)＞60)and(H(i，j)＞50and H(i，j)＜125)；

黄色预设数值范围：

(L(i，j)＞100and L(i，j)＜220)and(S(i，j)＞100)and(H(i，j)＞15and H(i，j)＜50)；

由此最终确定出的颜色候选像素点集合为：

$V_{\mathrm{ColorPixel}}=\left\{\begin{array}{c}{D}_r,\mathrm{if}\left[(L(i,j)>60\mathrm{andL}(i,j)<220)\mathrm{and}(S(i,j)>100)\mathrm{and}(H(i,j)<15\mathrm{orH}(i,j)>220)\right]\\ D_y,\mathrm{if}\left[(L(i,j)>100\mathrm{andL}(i,j)<220)\mathrm{and}(S(i,j)>100)\mathrm{and}(H(i,j)>15\mathrm{andH}(i,j)<50)\right]\\ D_g,\mathrm{if}\left[(L(i,j)>30\mathrm{andL}(i,j)<220)\mathrm{and}(S(i,j)>60)\mathrm{and}(H(i,j)>50\mathrm{andH}(i,j)<125)\right]\end{array}\right.$

参见图5，示出了本发明信号灯识别方法实施例2的流程图，可包括：

步骤401，从路况信息图像中提取亮度候选像素点和颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色。

步骤402，以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色。

步骤401、402与步骤101、101相同，此处不再赘述。

步骤403，在所述判断区域的基础上，向外延伸一扩展区域。

步骤404，统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则执行步骤405。

为了提高本发明确定信号灯候选区域的准确性，在步骤402统计出判断区域包含的颜色候选像素点个数及颜色分布情况之后，并不直接利用这些信息确定亮度候选像素点的颜色。这主要是因为，在实际应用中，路况信息图像可能会存在很多符合预定义颜色的背景色，例如，红色或黄色的车辆、绿色的广告牌、红色的建筑物、绿色的公交车站牌等等，在满足亮度要求的情况下，这些也可能会被选择出来进行候选处理。当然，处理的结果会将其认定为非信号灯，这虽不会影响本发明方案最终的处理结果，但却会降低本发明方案的识别效率，故在利用亮度候选像素点以及颜色候选像素点确定信号灯候选区域之前，还设置步骤403、404，用以排除背景色的干扰。

考虑到这些干扰的区域都会比信号灯的区域要大，如建筑物屋顶可能是一片连续的红色，而不像红灯只位于有限范围内，故可在判断区域的基础上延伸出一个扩展区域，并判断扩展区域是否也包含颜色候选像素点以及颜色分布情况。

也就是说，在步骤402统计发现某个判断区域包含颜色候选像素点，并确定出该判断区域呈现的主颜色之后，就启动本发明排除背景色干扰的处理过程，在该判断区域的基础上向外延伸出一个扩展区域，判断扩展区域是否为上述主颜色的延伸。如，步骤402确定某个判断区域的主颜色为红色，如果经判断发现该判断区域对应的扩展区域的主颜色也为红色，则可认为该区域可能是背景色，应将其排除；如果经判断发现扩展区域不包含颜色候选像素点、或者其主颜色为与判断区域的红色所不同的黄色，则可认为该区域可能是信号灯所在区域，应保留该判断区域对应的亮度候选像素点，进行后续处理。

需要说明的是，扩展区域可以是在判断区域的基础上向四周延伸出的规则的区域或者非规则的区域，本发明对此可不做限定。作为本发明确定扩展区域的一种实现方式，其可体现为：

参见图6所示，以亮度候选像素点(p_j，p_j)为例，以其为圆心，图中虚线所划区域即为判断区域，边长的一半为d，图中实线所划区域与虚线之间的环状区域即为在判断区域的基础上延伸出的扩展区域，实线区域的边长的一半为(d+Δd)。

由上文介绍可知d＝k，而k又是用于匹配信号灯在图像中的大小范围的，故图中的判断区域正好是信号灯的外切正方形，正方形的四边与信号灯的外边缘相切。作为Δd的一种可选方案，其可为信号灯外边缘到灯罩外边缘的距离，如果这一范围内不存在颜色候选像素点、或者颜色候选像素点的颜色与判断区域内的不同，或者颜色候选像素点的颜色虽然与判断区域内的相同但个数小于预设的阈值，则可认为该区域可能是信号灯所在区域。

步骤404中用于排除背景色干扰的阈值，可设置为(2k+1)²/4，如上文介绍，(2k+1)²表示高斯模板的大小，也即图像中信号灯范围的大小，上述阈值表示的含义为扩展区域包含的与判断区域具有相同颜色的颜色像素点的个数不能超过信号灯范围的1/4。当然，还可根据实际使用需要以及排除干扰的精度，设置不同的阈值，本发明对此可不做限定。

步骤405，根据所述判断区域包含的颜色候选像素点的个数及颜色判断所述亮度候选像素点表示的信号灯颜色。

步骤406，针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定一候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

步骤405、406与步骤103、104相同，此处不再赘述。

相应地，本发明还提供一种信号灯识别装置。参见图7，示出了本发明信号灯识别装置实施例1的示意图，包括：

亮度候选像素点提取单元501，用于从路况信息图像中提取亮度候选像素点；

颜色候选像素点提取单元502，用于从路况信息图像中提取颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

第一统计单元503，用于以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

颜色确定单元504，用于根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

信号灯判断单元505，用于针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

作为亮度候选像素点提取单元的一种实现方式，参见图8所示示意图，可包括：

转换单元601，用于将彩色路况信息图像转换成灰度图像。

卷积单元602，用于利用高斯核Gσ对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值；其中，

(i，j)为像素点坐标，σ为标准差，k用于确定高斯核矩阵大小(2k+1)*(2k+1)。

比较单元603，用于比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

作为颜色候选像素点提取单元的一种实现方式，参见图9所示示意图，可包括：

计算单元701，用于计算彩色路况信息图像中每个像素点的色调、饱和度和亮度；

判断单元702，用于判断所述计算单元计算出的像素点的色调、饱和度和亮度是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；

其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

参见图10，示出了本发明信号灯识别装置实施例2的示意图，包括：

亮度候选像素点提取单元801，用于从路况信息图像中提取亮度候选像素点；

颜色候选像素点提取单元802，用于从路况信息图像中提取颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

第一统计单元803，用于以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

延伸单元804，用于在所述判断区域的基础上，向外延伸一扩展区域；

第二统计单元805，用于统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则通知颜色确定单元根据进行后续处理；

颜色确定单元806，用于根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

信号灯判断单元807，用于针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

本发明方案可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序单元。一般地，程序单元包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明方案，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序单元可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种信号灯识别方法，其特征在于，包括：

从路况信息图像中提取亮度候选像素点和颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

2.根据权利要求1所述的方法，其特征在于，从路况信息图像提取所述亮度候选像素点，包括：

将彩色路况信息图像转换成灰度图像；

利用高斯核G_σ对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值，其中，

(i，j)为像素点坐标，σ为标准差，k用于确定高斯核矩阵大小(2k+1)*(2k+1)；

比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

3.根据权利要求1所述的方法，其特征在于，从路况信息图像提取所述颜色候选像素点，包括：

计算彩色路况信息图像中每个像素点的色调、饱和度和亮度，并判断其是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；

其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

4.根据权利要求1所述的方法，其特征在于，

所述判断区域为圆形，且半径为d，d＝k；或者，

所述判断区域为正方形，且边长为2d，d＝k。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述根据所述颜色候选像素点的个数及颜色，判断所述亮度候选点表示的信号灯颜色之前，

在所述判断区域的基础上，向外延伸一扩展区域；

统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则执行根据所述判断区域包含的颜色候选像素点的个数及颜色判断所述亮度候选像素点表示的信号灯颜色的步骤。

6.一种信号灯识别装置，其特征在于，包括：

亮度候选像素点提取单元，用于从路况信息图像中提取亮度候选像素点；

颜色候选像素点提取单元，用于从路况信息图像中提取颜色候选像素点，所述颜色候选像素点的颜色为红色、黄色或者绿色；

第一统计单元，用于以每个亮度候选像素点为中心确定一判断区域，统计所述判断区域中包含的颜色候选像素点的个数及对应的颜色；

颜色确定单元，用于根据所述颜色候选像素点的个数及颜色，确定所述亮度候选像素点表示的信号灯颜色；

信号灯判断单元，用于针对不同的信号灯类型，依据所述亮度候选像素点的位置及其表示的信号灯颜色确定候选区域，并通过形状检测法判断所述候选区域是否为信号灯。

7.根据权利要求6所述的装置，其特征在于，所述亮度候选像素点提取单元，包括：

转换单元，用于将彩色路况信息图像转换成灰度图像；

卷积单元，用于利用高斯核G_σ对所述灰度图像中的每个像素点进行高斯卷积，确定每个像素点的灰度值，其中，

(i，j)为像素点坐标，σ为标准差，k用于确定高斯核矩阵大小(2k+1)*(2k+1)；

比较单元，用于比较每个像素点与其周围像素点的灰度值，如果该像素点的灰度值大于其周围像素点的灰度值，则将该像素点确定为亮度候选像素点。

8.根据权利要求6所述的装置，其特征在于，所述颜色候选像素点提取单元，包括：

计算单元，用于计算彩色路况信息图像中每个像素点的色调、饱和度和亮度；

判断单元，用于判断所述计算单元计算出的像素点的色调、饱和度和亮度是否与预设数值范围相符，如果相符，则将该像素点确定为颜色候选像素点；

其中，所述预设数值范围为红色预设数值范围、黄色预设数值范围或绿色预设数值范围。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

延伸单元，用于在所述判断区域的基础上，向外延伸一扩展区域；

第二统计单元，用于统计所述扩展区域包含的颜色候选像素点个数及对应的颜色，如果具有同一颜色的颜色候选像素点个数未超过阈值，则通知所述颜色确定单元根据所述判断区域包含的颜色候选像素点的个数及颜色确定所述亮度候选像素点表示的信号灯颜色。

Images