CN104408424A - 一种基于图像处理的多信号灯识别方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的多信号灯识别方法，包括：(1)对目标区域进行Top-Hat变换；(2)对变换后的目标区域进行灰度阀值分割，提取出发光区域；(3)通过几何滤波对发光区域进一步筛选，标记出候选区域；(4)训练分类器并使用分类器对候选区域进行分类，确定信号灯区域；(5)通过概率分析确定信号灯的形状。本发明通过对训练样本进行预处理，减轻了光晕的影响，更好地还原了信号灯的形状特征，在处理中通过增加角度对取象过程中可能出现的抖动等影响进行了模拟得到的分类器；本发明完全基于图像处理，不需要对现有的信号灯设备进行改造，实时性远高于分别调用识别圆形信号灯和识别箭头形信号灯的算法。

Description

一种基于图像处理的多信号灯识别方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于图像处理的多信号灯识别方法。

背景技术

现在已经有越来越多的研发部门或者科研单位关注汽车智能辅助系统的实现，在信号灯识别方面也提出了各种方法：

金涛等提出的基于NCC模板匹配的背板检测(基于级联滤波的交通信号灯识别方法[M]，上海交通大学学报(自然版).2012:1355-60.)，但是匹配过程中只使用了单一模板，模板的适应性还有待探讨。

Raoul de Charette等提出的自学习模板匹配算法用于信号灯识别(Real TimeVisual Trafric Lights Recognition Based on Spot Light Detection and AdaptiveTraffic Lights Templates[J].Ieee Int Veh Sym,2009,358-63.)，并针对柱式交通信号灯(相较于悬挂式信号灯的识别，背景更加复杂)的识别进行了实验，算法效率和识别率较高，但是并未涉及箭头型信号灯的检测。

CAI.Z等提出了箭头型信号灯的识别方法(Real-time arrow traffic lightrecognition system for intelligent vehicle；proceedings ofthe The 16th InternationalConference on Image Processing,Computer Vision,&Pattern Recognition NewYork:IEEE Society,F,2012[C].)，通过建立信号灯样本库进行模板匹配，能够实现对箭头型信号灯的实时检测，但未能兼容圆形信号灯的识别。

Frank Lindner等在简单特征识别的基础上，提出了使用前馈神经网络对信号样本进行分类(Robust recognition of traffic signals[J].2004Ieee IntelligentVehicles Symposium,2004,49-53.)，该方法对黑白、彩色相机都有涉及，并且针对不同样式(圆形和箭头形)信号灯的识别设计了不同的算法，但是在圆形和箭头形信号灯都存在的场景下进行识别时，需要分别执行两个算法。

综合以上可以看出，现有的信号灯识别方法，虽然基本可以达到实时准确(运行时间100ms以内，图像识别率90％以上)识别信号灯的要求，但是都只是针对圆形信号灯或者箭头形信号灯中的一种进行了识别，对于部分城市圆形信号灯和箭头形信号灯同时出现在同一场景中的情况并没有提出相应的解决方案。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于图像处理的多信号灯识别方法，以实现同一场景中多种形状信号灯目标的识别。

一种基于图像处理的多信号灯识别方法，包括如下步骤：

(1)采集实景图像，截取实景图像中存在信号灯的区域作为目标区域，并对目标区域进行Top-Hat变换(顶帽算法)；

(2)对变换后的目标区域进行灰度分割，从中提取出若干发光区块；

(3)依次通过颜色标记和几何滤波对发光区块进一步筛选，从中提取出信号灯候选区块；

(4)利用样本训练出信号灯分类器，进而使用分类器对信号灯候选区块进行区分，从中确定出真正的信号灯区块；

(5)通过计算信号灯区块为箭头型信号灯的概率，以确定信号灯区块的形状，进而输出信号灯的颜色及状态。

所述的步骤(2)中使目标区域中每一像素的灰度值与灰度阀值进行比较，将灰度值大于等于灰度阀值的像素的发光属性值标记为1，灰度值小于灰度阀值的像素的发光属性值标记为0；进而从目标区域中将发光属性均为1且相互邻接的若干像素所组成的区块提取出来作为发光区块。

所述的步骤(3)中根据以下表达式对发光区块的每一像素进行颜色标记：

其中：Binary为像素的颜色属性值，H_red,yelloow为对应红黄两色的颜色属性设定值，H_green为对应绿色的颜色属性设定值，T_R、T_G和T_B分别为像素在红、绿、蓝三个颜色通道的亮度值，R_ref、R_ref1、R_ref2、G_ref、G_ref1、G_ref2、B_ref1、B_ref2、B_ref3、B_ref4均为预设的颜色亮度限定值；

然后，对于任一发光区块，将其中颜色属性值均为H_red,yelloow或均为H_green且相互邻接的若干像素所组成的区块提取出来进行几何滤波，若符合几何滤波约束则将这若干像素所组成的区块作为信号灯候选区块。

所述的步骤(4)中采集多份正样本和负样本用以训练信号灯分类器；所述的正样本为采集的实景图像中包含信号灯及其外壳且经Top-Hat变换后的图像区域或该图像区域通过三维空间旋转产生的图像样本；所述的负样本为采集的实景图像中不包含信号灯且经Top-Hat变换后的图像区域。

所述的步骤(5)中确定信号灯区块形状的具体过程如下：

首先，为信号灯区块构建外接矩形框，并按以下三种形式截取该矩形框的四个角：a.截取左边两个角为三角形，右边两个角为矩形；b.截取左边两个角为矩形，右边两个角为三角形；c.截取上边两个角为三角形，下边两个角为矩形；

然后，根据以上的三种形式通过以下算式计算出信号灯区块对应的三组概率值：

$p=1-\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{N_i}{S_i}$

其中：P为概率值，N_i为第i个角区域中颜色属性值为H_red,yelloow或H_green的像素的总个数；S_i为第i个角区域的面积；

最后，使求得的三组概率值与对应的概率阈值比较，若三组概率值均比对应的概率阈值小，则判定信号灯区块的形状为圆形；若只有一组概率值比对应的概率阈值大，则进一步判断该概率值所对应的截取形式：若为形式a，则判定信号灯区块的形状为左箭头；若为形式b，则判定信号灯区块的形状为右箭头；若为形式c，则判定信号灯区块的形状为上箭头。

与现有技术相比，本发明具有以下有益技术效果：

(1)本发明通过对训练样本进行预处理，减轻了光晕的影响，更好地还原了信号灯的形状特征。

(2)本发明在处理中通过增加角度对取象过程中可能出现的抖动等影响进行了模拟，得到的分类器可以对同一场景中的多个形状的信号灯进行确认。

(3)本发明完全基于图像处理，不需要对现有的信号灯设备进行改造，实时性远高于分别调用识别圆形信号灯和识别箭头形信号灯的算法。

附图说明

图1为本发明方法的步骤流程示意图。

图2为本发明计算信号灯区块箭头型概率的区域划分示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于图像处理的多信号灯识别方法，包括如下步骤：

步骤1：将可能出现信号灯的区域作为目标区域，进行Top-Hat变换。这里，可能出现信号灯的区域根据图像采集设备在车上的安装位置来确定，如将图像的上半部分作为目标区域等。

步骤2：将经过Top-Hat变换的图像转换为灰度图像，通过灰度阀值对像素点的发光属性进行标记，灰度值大于实验阀值的像素点标记为发光点。

具体，使目标区域中每一像素的灰度值与灰度阀值进行比较，将灰度值大于等于灰度阀值的像素的发光属性值标记为1，灰度值小于灰度阀值的像素的发光属性值标记为0；进而从目标区域中将发光属性均为1且相互邻接的若干像素所组成的区块提取出来作为发光区块。

步骤3：标记具有相同颜色属性的发光点构成的连通区域，计算连通区域的几何属性，这里，我们认为具有相同“颜色属性”及“发光属性”的相邻点是连通的，其中，像素点“发光属性”由步骤2确定。

像素点的颜色属性根据Top-Hat变换后的图在RGB颜色空间模型中各通道值所属区间进行标记，标记方法如下：

其中，Binary(x,y)表示当前坐标为(x,y)的像素点的“颜色属性”，P_red|yellow代表标记为红色或者黄色(这里我们将黄色和红色作为同一种属性进行标记)，P_green表示标记为绿色，dst_R、dst_G、dst_B分别代表当前像素点在RGB颜色空间模型中Red、Green、Blue三个通道的数值，R_R、G_R1、G_R2、B_R1、B_R2表示实验得到的红色信号灯在各通道中分布的阀值，R_G1、R_G2、G_G、B_G1、B_G2表示实验得到的绿色信号灯在各通道中分布的阀值。上述阀值通过对信号灯样本的各通道值进行直方图统计得到。

完成像素点颜色属性的标记后，根据相邻点是否具有相同的颜色以及是否都是发光点判断像素点的连通性，对连通区域的几何性质进行计算，根据设定的几何约束，筛选出信号灯区域的候选区域。其中，几何滤波的步骤包括区域像素点个数约束、外接矩阵长宽比约束、标记区域与外接矩形的填充比约束。

步骤4：训练分类器，并使用分类器对候选区域是否为信号灯区域进行确认。其中，训练分类器的样本选取方式如下：

正样本：将信号灯整体样本(包括信号灯和外壳的图像样本)对应的经过Top-Hat变换的图像区域选出，通过在三维空间中旋转产生多份样本，并且将样本放置到经过Top-Hat变换的背景中，作为最终的正样本输入。

负样本：在经过Top-Hat变换的实景图像中，选取不包含信号灯的部分作为训练分类器的负样本输入。

对处理好的样本计算相应的LBP特征，并使用Adaboost算法训练分类器；进而使用分类器对信号灯候选区域进行区分，从中确定出真正的信号灯区块。

步骤5：计算信号灯为箭头形信号灯的概率，对信号灯的形状进行最终的确定。

实现方式如下：

对信号灯区域进行划分(如图2所示，为计算信号灯为左转箭头形信号灯的可能性进行的区域划分)；

计算该信号灯为箭头形信号灯的概率，算式如下：

$P\left(\mathrm{Arrow\; Light}\right)=1-\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\frac{{\mathrm{num}}_i}{{\mathrm{sArea}}_i}$

其中，num_i为各区域中标记的发光点的数量，sArea_i为四个区域的面积，i＝0,1,2,3对应ABCD四个区域。

当得到的概率大于实验阀值，则将该区域标记为左转箭头形信号灯。

步骤6：将信号灯的颜色和状态信息(是否可以直行、是否可以左转)输出。

Claims (5)

1.一种基于图像处理的多信号灯识别方法，包括如下步骤：

(1)采集实景图像，截取实景图像中存在信号灯的区域作为目标区域，并对目标区域进行Top-Hat变换；

(2)对变换后的目标区域进行灰度分割，从中提取出若干发光区块；

(3)依次通过颜色标记和几何滤波对发光区块进一步筛选，从中提取出信号灯候选区块；

(4)利用样本训练出信号灯分类器，进而使用分类器对信号灯候选区块进行区分，从中确定出真正的信号灯区块；

(5)通过计算信号灯区块为箭头型信号灯的概率，以确定信号灯区块的形状，进而输出信号灯的颜色及状态。

2.根据权利要求1所述的多信号灯识别方法，其特征在于：所述的步骤(2)中使目标区域中每一像素的灰度值与灰度阀值进行比较，将灰度值大于等于灰度阀值的像素的发光属性值标记为1，灰度值小于灰度阀值的像素的发光属性值标记为0；进而从目标区域中将发光属性均为1且相互邻接的若干像素所组成的区块提取出来作为发光区块。

3.根据权利要求1所述的多信号灯识别方法，其特征在于：所述的步骤(3)中根据以下表达式对发光区块的每一像素进行颜色标记：

其中：Binary为像素的颜色属性值，H_red,yelloow为对应红黄两色的颜色属性设定值，H_green为对应绿色的颜色属性设定值，T_R、T_G和T_B分别为像素在红、绿、蓝三个颜色通道的亮度值，R_ref、R_ref1、R_ref2、G_ref、G_ref1、G_ref2、B_ref1、B_ref2、B_ref3、B_ref4均为预设的颜色亮度限定值；

然后，对于任一发光区块，将其中颜色属性值均为H_red,yelloow或均为H_green且相互邻接的若干像素所组成的区块提取出来进行几何滤波，若符合几何滤波约束则将这若干像素所组成的区块作为信号灯候选区块。

4.根据权利要求1所述的多信号灯识别方法，其特征在于：所述的步骤(4)中采集多份正样本和负样本用以训练信号灯分类器；所述的正样本为采集的实景图像中包含信号灯及其外壳且经Top-Hat变换后的图像区域或该图像区域通过三维空间旋转产生的图像样本；所述的负样本为采集的实景图像中不包含信号灯且经Top-Hat变换后的图像区域。

5.根据权利要求3所述的多信号灯识别方法，其特征在于：所述的步骤(5)中确定信号灯区块形状的具体过程如下：

首先，为信号灯区块构建外接矩形框，并按以下三种形式截取该矩形框的四个角：a.截取左边两个角为三角形，右边两个角为矩形；b.截取左边两个角为矩形，右边两个角为三角形；c.截取上边两个角为三角形，下边两个角为矩形；

然后，根据以上的三种形式通过以下算式计算出信号灯区块对应的三组概率值：

$P=1-\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\frac{N_i}{S_i}$

其中：P为概率值，N_i为第i个角区域中颜色属性值为H_red,yelloow或H_green的像素的总个数；S_i为第i个角区域的面积；

最后，使求得的三组概率值与对应的概率阈值比较，若三组概率值均比对应的概率阈值小，则判定信号灯区块的形状为圆形；若只有一组概率值比对应的概率阈值大，则进一步判断该概率值所对应的截取形式：若为形式a，则判定信号灯区块的形状为左箭头；若为形式b，则判定信号灯区块的形状为右箭头；若为形式c，则判定信号灯区块的形状为上箭头。