CN103679194A - 一种基于滤光片的红绿灯识别方法 - Google Patents

Abstract

本发明提出了一种基于滤光片的红绿灯识别方法，能够快速准确的识别现实环境中的红绿灯交通标志。在两台相机上分别安排红色滤光片和绿色滤光片，并且使两台相机的光轴平行；识别红绿灯时，根据采集到的红绿灯图像，提取图像中的连通区域，以每一个连通区域作为红绿灯识别的候选区域；然后通过分析红绿灯在图像中所占像素面积的范围，红绿灯在图像中的位置，候选区域的占空比以及极线约束判断红绿灯。由于彩色滤光片能够使特定颜色的光线通过，而反射其他的颜色，所以在相机前端安装红色滤光片和绿色滤光片，便能够有效地滤除其他颜色的影响，极大地简化图像处理的复杂度，提高红绿灯识别的效率和鲁棒性。

Description

一种基于滤光片的红绿灯识别方法

技术领域

本发明属于计算机视觉中的模式识别与人工智能领域，是一种在传统的图像处理基础上，通过使用滤光片简化识别算法，提高红绿灯识别准确度的方法。

背景技术

在计算机视觉领域，利用基于数字图像处理的方法实现目标分割、模式识别在现实中应用的十分普遍。近年来，随着智能交通技术的发展，尤其是无人驾驶汽车的研究，城市交通环境中的红绿灯识别越来越多地受到人们的关注。

现有的红绿灯识别方法一般是从摄像头采集的彩色图像出发，使用合适的图像处理算法，提取图像中具体特征，进而实现红绿灯的识别。目前有两种常用的识别方法。一种是基于颜色空间的识别方法。从RGB、HSI、Lab等颜色空间中直接提取彩色图像的红色分量和绿色分量，进而判断红绿灯的状态是最简单有效地方法。但是彩色图像受相机成像质量和环境光照的影响很大，现实中会有较大的颜色失真，因此，直接提取红色分量和绿色分量的方法鲁棒性较差。另一种是基于机器学习的方法，如Adaboost和神经网络。这种方法首先对大量的训练样本提取红绿灯图像的显著特征，进行模式分类，生成特定的判别准则，然后对相机采集的到的新的图像进行相应的判断。这种方法准确度和鲁棒性较高，但需要大量的训练样本和较长时间的离线学习，且计算复杂。

因而，设计一种简单有效，并且具有较高鲁棒性的红绿灯识别算法就显得十分重要。由于彩色滤光片能够使特定颜色的光线通过，而反射其他的颜色，所以在相机前端安装红色滤光片和绿色滤光片，便能够有效地滤除其他颜色的影响，极大地简化图像处理的复杂度，提高红绿灯识别的效率和鲁棒性。

发明内容

本发明所要解决的技术问题是提供一种基于滤光片的红绿灯识别方法，快速准确的识别现实环境中的红绿灯交通标志。

为解决以上技术问题，本发明采用以下技术方案：

一种基于滤光片的红绿灯识别方法，在两台相机上分别安排红色滤光片和绿色滤光片，所述两台相机的光轴平行；识别红绿灯时，根据采集到的红绿灯图像，提取图像中的连通域，以每一个连通域作为红绿灯识别的候选区域，然后通过红绿灯在图像中所占像素面积的范围或者红绿灯在图像中的位置或者候选区域的占空比或者极线约束判断红绿灯。

所述两台相机安装在连接件上，以对两台相机进行调整，保证两台相机的光轴平行。

在进行红绿灯识别之前，首先通过棋盘格标定板标定出两台相机的内参和外参。

在进行红绿灯识别之前，首先调整相机镜头的焦距和光圈，保证自然环境下的红绿灯能够清晰成像。

调整相机镜头的焦距和光圈后，关闭相机的自动曝光和自动增益功能，使图像整体亮度大幅下降。

所述相机的采集帧率设定为10～20fps。

根据面积判断红绿灯的方法为：红绿灯在图像所占像素由以下公式求得：

$d=f\frac{D}{\mathrm{Zc}},f=\frac{f_0}{d_x}$

其中，d是图像中红绿灯区域的直径，单位像素，f是相机的等效焦距，f₀是相机镜头的实际焦距，d_x是相机CCD的尺寸；根据已知的相机参数，便可估算出相机在距离红绿灯Z_c时，红绿灯在图像中的外接矩形区域和面积大小，从而确定在有效识别距离内，红绿灯在图像中所占像素面积的范围，以此为判别依据，便可以排除过大和过小的候选区域。

根据位置判断红绿灯的方法为：城市交通场景中的红绿灯一般安置在道路两旁，且有一定的高度，以车载相机的视角观察，红绿灯应该在图像的上方，即红绿灯区域的中心的像素坐标(x,y)应满足如下约束： $\left\{\begin{array}{c}0<x<\mathrm{width}\\ 0<y<\mathrm{height}/2\end{array}\right.,$ 其中width，height分别为图像的宽和高。

根据占空比与圆度判断红绿灯的方法为：候选区域的占空比为：

其中，S为候选区域的面积，S_r为候选区域的外接矩形的面积；候选区域的圆度为：其中，L是候选区域的周长；对于箭头形状的红绿灯，占空比为： $R=\frac{2*S}{S_r}.$

根据极线约束判断红绿灯的方法为：当两台相机平行放置时，两台相机之间的基线距离为b，设P点在两台相机上投影点分别为p₁,p₂，则两个投影点之间的视差为：

当相机与目标之间的距离Z有一定的取值范围，表示红绿灯识别方法有效识别距离，因此Δu也存在一定的取值范围；对于图像上的每个候选区域，在中心附近选取若干个关键点

分别求这些关键点在另一相机图像上的对应点的坐标

如果

即对应点在二值图上为亮点，这说明该候选区域对应的目标不可能是红灯或者绿灯，应该被排除。

本发明是一种基于滤光片的、简单有效的红绿灯识别方法，至少具有以下优点：首先使用滤光片，极大地减少了彩色图像中其他颜色的干扰，仅保留了强度较大的红色分量或者绿色分量，对光照变化不敏感，便于快速准确地定位候选区域，而不必采用复杂的图像分割或者模式分类等算法。其次，综合考虑了多个判别准则，提高红绿灯识别的准确度。

附图说明

图1为本发明中相机与滤光片示意图，其中，（a）图为安装有滤光片的相机，（b）图为相机；

图2为本发明中两台相机关系及坐标系示意图；

图3为本发明中硬件模块示意图；

图4为本发明中红绿灯识别流程图。

具体实施方式

下面结合附图对本发明基于滤光片的红绿灯识别方法做详细描述。

首先，对本发明中采用的硬件模块进行简要描述，如图3所示。根据应用需求，选择两台合适的相机，在镜头前分别安装红色滤光片和绿色滤光片，然后通过连接件固定两台相机，安装时尽量保证两台相机的光轴平行，以降低计算复杂度。两台相机同步采集图像，传递给DSP处理芯片进行分析判断，然后输出最终的判定结果。

以下详细描述本发明的实施步骤：

第一步，固定两台相机。

根据实际需求，选择两台合适的相机和镜头，要求相机具有较高的分辨率和数据传输速度，以保证检测精度和识别的实时性。然后把两台相机固定在连接件上，如图3所示，调整两台相机之间的位置、朝向、高度，使两台相机在同一平面上，且光轴方向近似平行。

第二步，相机内参标定和外参标定。

使用棋盘格标定板，分别标定两台相机参数，得到内参矩阵 $A=\left[\begin{array}{ccc}f& 0& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right]$ 和外参 $\left[\begin{array}{cc}R& T\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right],$ 由于两台相机近似平行放置，可令相机之间的基线距离b=t_x。

第三步，安装滤光片，调整相机成像参数。

首先安装滤光片，如图1所示，在一台相机的镜头前安装红色滤光片，另外一台相机的镜头前安装绿色滤光片。

对已经安装好滤光片的相机，调整相机的成像参数，以达到突出红绿灯，并且抑制其他干扰的目的。具体流程如下：首先调整相机镜头的焦距和光圈，使自然环境中的红绿灯在一定的工作距离上能够较清晰地成像，由于滤光片仅能使特定颜色的光线透过，而反射其他颜色的光线，因此加上红色滤光片后的相机图像相当于提取了自然环境中的红色分量，同理加上绿色滤光片后的相机图像相当于提取了自然环境中的绿色分量，最终的成像效果使红色分量或绿色分量得以突出，而使其他颜色的分量得到抑制，从而大幅减少背景的干扰；其次，关闭相机的自动曝光和自动增益功能，尽量降低相机的曝光时间和增益，使图像整体亮度大幅下降，这时，由于红绿灯都是人造光源，因而红灯中的红色分量强度很大，绿灯中的绿色分量强度很大，相比于自然环境中的红色背景和绿色背景，当图像亮度整体下降时，强度较弱的红色分量或绿色分量就逐渐消失，而红灯和绿灯的亮度依旧较强，反映在图像上就是在红绿灯对应的位置出现明显的亮斑，而其他位置则亮度很低，接近黑色。最后，设定合适的图像采集帧率，采集图像。帧率过高，则图像数据量增大，增加图像处理的时间，且有大量的冗余信息；而帧率过低，则可能无法定位红绿灯变化的时刻，降低红绿灯识别的灵敏度，实际中，帧率设定在10～20fps较为合适。

第四步，采集图像，提取候选区域，初步判断。

两台相机同时采集图像，分别处理，流程图如图4所示。

1、提取候选区域

首先把相机采集的图像转成灰度图像，使用均值滤波滤除图像中的噪声。然后对灰度图像进行二值分割，得到二值图，由于在两台相机的镜头前安装了红色滤光片和绿色滤光片，因此，二值图中主要是红绿灯对应的亮斑，而其余部分则由于滤光片的作用被滤除，在二值图像中为黑色部分，被看作是背景。最后使用连通域算法，提取二值图像中的连通域，以每一个连通域作为红绿灯的候选区域。

2、红绿灯初步判定

分别对每一个候选区域进行分析，综合考虑多种判别准则，给出当前图像中是否存在红绿灯的最终判断。智能交通尤其是无人驾驶汽车中的红绿灯识别有一定的工作距离范围要求和场景限制，以这些条件为先验知识，可以得到以下几种判别准则，从大量的候选区域中提取具有某些特征的区域作为红绿灯。

a)面积

城市交通中，标准红绿灯的直径D约为20cm，智能车的红绿灯识别的有效距离Z_c约为20m～80m，则红绿灯在图像中所占像素可以由以下公式求得：

$d=f\frac{D}{\mathrm{Zc}},f=\frac{f_0}{d_x}$

其中，d是图像中红绿灯区域的直径，单位像素，f是相机的等效焦距，f₀是相机镜头的实际焦距（如8mm镜头、16mm镜头等），d_x是相机CCD的像元尺寸。根据已知的相机参数，便可以估算出在距离红绿灯Z_c时，红绿灯在图像中的外接矩形区域和面积大小，从而确定在有效识别距离内，红绿灯在图像中所占像素面积的范围，以此为判别依据，便可以排除过大和过小的候选区域。

b)位置

城市交通场景中的红绿灯一般安置在道路两旁，且有一定的高度，以车载相机的视角观察，红绿灯应该在图像的上方，即红绿灯区域的中心的像素坐标(x,y)应满足如下约束：

$\left\{\begin{array}{c}0<x<\mathrm{width}\\ 0<y<\mathrm{height}/2\end{array}\right.$

其中width，height分别为图像的宽和高。

对提取到的候选区域，分别使用面积和位置进行初步判定，滤除不满足面积大小和位置要求的候选区域，保留满足条件的区域，作为红绿灯区域的初步判定结果。

第五步，综合判定，输出结果。

经过简单的初步判定后，大部分非红绿灯的区域被滤除，剩余的候选区域数量较少，对这些候选区域进行更精细的计算和分析，并综合考虑两台相机之间的极线约束，最终给出红绿灯识别的结果。

a)占空比与圆度

圆形的红绿灯，经相机成像后，由于存在透视变换，在图像中为椭圆形，但是由于在实际道路上，相机一般是以正视红绿灯的方式拍摄，透视现象不明显，因此，红绿灯在二值图像中对应的区域近似为圆形。定义候选区域的占空比为

$R=\frac{4*S}{\mathrm{\&pi;}*S_r}$

其中，S为候选区域的面积，S_r为候选区域的外接矩形的面积。

定义候选区域的圆度为：

$C=\frac{4\mathrm{\&pi;}*S}{L^2}$

其中，L是候选区域的周长。

理论上，圆形区域的占空比R和圆度C均为1，但由于受噪声、失真、图像处理算法的影响，R和C会在1附近波动。通过这两个参数，便可以提取出近似圆形的区域。

对于箭头形状的红绿灯，由于箭头区域在其外接矩形中所占面积为50%，因此可定义此时的占空比为：

$R=\frac{2*S}{S_r}$

此时，占空比R在1附近波动，但不存在圆度的概念。

b)极线约束

两台相机被固定在连接件上，近似平行放置，同时采集两台相机的图像，利用双目视觉中的极线约束可以进一步排除干扰，给出图像中是否存在红绿灯的最终判断。

对于空间中的任一点P，设其在图像上的投影点为p。设P在相机下的三维坐标为P=[X,Y,Z]^T，则像素坐标p可通过透视投影方程求得：

$p=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z}\left[\begin{array}{ccc}f& 0& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

其中，f是相机的等效焦距，(u₀,v₀)是相机的光心坐标。

当两台相机平行放置时，两台相机之间的基线距离为b，设P点在两台相机上投影点分别为p₁,p₂，则两个投影点之间的视差为：

$\mathrm{\&Delta;u}=u_2-u_1=f\frac{b}{Z}$

当相机与目标之间的距离Z有一定的取值范围，表示红绿灯识别方法有效识别距离，因此Δu也存在一定的取值范围。

由于红色光和绿色光颜色差异较大，因此，红灯不会在绿色滤光片的图像上的对应区域出现亮斑，同理，绿灯也不会在红色滤光片的图像上的对应区域出现亮斑。所以，对于图像上的每个候选区域，在中心附近选取若干个关键点

分别求这些关键点在另一相机图像上的对应点的坐标

如果

即对应点在二值图上为亮点，这说明该候选区域对应的目标，分别经过红色滤光片和绿色滤光片后，均产生亮斑，可能是亮度较大的路灯、探照灯等，而不可能是红灯或者绿灯。

综合考虑以上四种判别准则，便可以准确地判断出图像中是否存在红绿灯，为决策提供依据。由于本发明在相机前端添加了滤光片，从而使检测部分仅使用了简单的图像处理算法，如滤波、二值化、连通域，并未涉及较为复杂的图像分割、模式分类算法，而且判定部分也没有复杂的数学运算，因此计算简单，能够满足实时性的要求。

以上所述仅为本发明的一种实施方式，不是全部或唯一的实施方式，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (10)

1.一种基于滤光片的红绿灯识别方法，其特征在于：在两台相机上分别安装红色滤光片和绿色滤光片，所述两台相机的光轴平行；识别红绿灯时，根据采集到的红绿灯图像，提取图像中的连通域，以每一个连通域作为红绿灯识别的候选区域，然后通过红绿灯在图像中所占像素面积的范围或者红绿灯在图像中的位置或者候选区域的占空比或者极线约束判断红绿灯。

2.如权利要求1所述的一种基于滤光片的红绿灯识别方法，其特征在于：所述两台相机安装在连接件上，以对两台相机进行调整，保证两台相机的光轴平行。

3.如权利要求1所述的一种基于滤光片的红绿灯识别方法，其特征在于：在进行红绿灯识别之前，首先通过棋盘格标定板标定出两台相机的内参和外参。

4.如权利要求1所述的一种基于滤光片的红绿灯识别方法，其特征在于：在进行红绿灯识别之前，首先调整相机镜头的焦距和光圈，保证自然环境下的红绿灯能够清晰成像。

5.如权利要求4所述的一种基于滤光片的红绿灯识别方法，其特征在于：调整相机镜头的焦距和光圈后，关闭相机的自动曝光和自动增益功能，使图像整体亮度大幅下降。

6.如权利要求1所述的一种基于滤光片的红绿灯识别方法，其特征在于：所述相机的采集帧率设定为10～20fps。

7.如权利要求1至6中任意一项所述的一种基于滤光片的红绿灯识别方法，其特征在于：根据面积判断红绿灯的方法为：红绿灯在图像所占像素由以下公式求得：

$d=f\frac{D}{\mathrm{Zc}},f=\frac{f_0}{d_x}$

其中，d是图像中红绿灯区域的直径，单位像素，f是相机的等效焦距，f₀是相机镜头的实际焦距，d_x是相机CCD的尺寸；根据已知的相机参数，便可估算出相机在距离红绿灯Z_c时，红绿灯在图像中的外接矩形区域和面积大小，从而确定在有效识别距离内，红绿灯在图像中所占像素面积的范围，以此为判别依据，便可以排除过大和过小的候选区域。

8.如权利要求1至6中任意一项所述的一种基于滤光片的红绿灯识别方法，其特征在于：根据位置判断红绿灯的方法为：

城市交通场景中的红绿灯一般安置在道路两旁，且有一定的高度，以车载相机的视角观察，红绿灯应该在图像的上方，即红绿灯区域的中心的像素坐标(x,y)应满足如下约束： $\left\{\begin{array}{c}0<x<\mathrm{width}\\ 0<y<\mathrm{height}/2\end{array}\right.,$ 其中width，height分别为图像的宽和高。

9.如权利要求1至6中任意一项所述的一种基于滤光片的红绿灯识别方法，其特征在于：根据占空比与圆度判断红绿灯的方法为：

候选区域的占空比为：

其中，S为候选区域的面积，S_r为候选区域的外接矩形的面积；候选区域的圆度为：

其中，L是候选区域的周长；

对于箭头形状的红绿灯，占空比为：

10.如权利要求1至6中任意一项所述的一种基于滤光片的红绿灯识别方法，其特征在于：根据极线约束判断红绿灯的方法为：当两台相机平行放置时，两台相机之间的基线距离为b，设P点在两台相机上投影点分别为p₁,p₂，则两个投影点之间的视差为：当相机与目标之间的距离Z有一定的取值范围，表示红绿灯识别方法有效识别距离，因此△u也存在一定的取值范围；对于图像上的每个候选区域，在中心附近选取若干个关键点

分别求这些关键点在另一相机图像上的对应点的坐标

如果即对应点在二值图上为亮点，这说明该候选区域对应的目标不可能是红灯或者绿灯，应该被排除。

Images