CN103093245B - 视频图像中识别信号灯的方法 - Google Patents

Abstract

本发明提供一种视频图像中识别信号灯的方法，包括：将检测到的视频图像中的多个特征点与预先记载的多个特征点进行匹配；其中，所述预先记载的特征点从信号灯模板图像提取；匹配成功后，按照所述视频图像中的特征点的聚类中心位置、所述信号灯模板图像的聚类中心位置与该模板图像的中心位置的距离，确定所述视频图像中的信号灯的中心位置；识别所述视频图像中信号灯的颜色分量，确定所述视频图像中信号灯的颜色。本发明的方法，可有效识别出视频图像中的信号灯及其表示的信号，避免了现在技术中，通过对信号灯物理接线的方式进行识别。不需要对现场的信号灯进行施工，即可有效识别出信号灯的颜色。

Description

视频图像中识别信号灯的方法

技术领域

本发明涉及图像识别领域，特别是指一种视频图像中识别信号灯的方法。

背景技术

随着社会经济的发展，车辆的增多，智能交通的发展也越来越快。在违章驾驶中，闯红灯检测是其中的一项。

目前，目前检测信号灯的方式主要通过连线连接信号灯，对信号灯进行识别。这种方式需要结构复杂，且施工困难。

发明内容

本发明提出了一种视频图像中识别信号灯的方法。以解决上述对信号灯进行识别过程中，施工困难的问题。

为了达到上述目的，本发明的技术方案是这样实现的：

将检测到的视频图像中的多个特征点与预先记载的多个特征点进行匹配；其中，所述预先记载的特征点从信号灯模板图像提取；

匹配成功后，按照所述视频图像中的特征点的聚类中心位置、所述信号灯模板图像的聚类中心位置与该模板图像的中心位置的距离，确定所述视频图像中的信号灯的中心位置；

识别所述视频图像中信号灯的颜色分量，确定所述视频图像中信号灯的颜色。

本发明的方法，可有效识别出视频图像中的信号灯及其表示的信号，避免了现在技术中，通过对信号灯物理接线的方式进行识别。不需要对现场的信号灯进行施工，即可有效识别出信号灯的颜色。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明的实施例包括以下步骤：

S11：将检测到的视频图像中的多个特征点与预先记载的多个特征点进行匹配；其中，所述预先记载的特征点从信号灯模板图像提取；

S12：匹配成功后，按照所述视频图像中的特征点的聚类中心位置、所述信号灯模板图像的聚类中心位置与该模板图像的中心位置的距离，确定所述视频图像中的信号灯的中心位置；

S13：识别所述视频图像中信号灯的颜色分量，确定所述视频图像中信号灯的颜色。

本发明的方法，可有效识别出视频图像中的信号灯及其表示的信号，避免了现在技术中，通过对信号灯物理接线的方式进行识别。不需要对现场的信号灯进行施工，即可有效识别出信号灯的颜色。

上述的视频图像的特征点的匹配，可采用SIFT算法实现。采用SIFT算法，可提交匹配效率，降低匹配时间。

优选地，实施例中，视频图像的特征点或所述信号灯模板图像的特征点通过以下步骤确定：

读取一幅视频图像或信号灯模板图像，该图像为I（x，y），与高斯函数G（x，y，σ）卷积，得到尺度空间的图像L（x，y，σ）；

L（x，y，σ）=G（x，y，σ）*I（x，y）

其中， $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2;$

σ的取值范围为0~20之间，其大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。为了有效的在尺度空间检测到稳定的特征点，使用高斯差分尺度空间，通过以下公式获得不同尺度空间的D（x，y，σ）；

D(x,y,σ)＝(G(x,y,σ)*I(x,y))＝L(x,y,kσ)-L(x,y,σ)其中，k=1.414

将σ=0~20按照10等分划分，可获得10个差分高斯尺度空间的图像。可看作10个层叠的10个I（x、y）图像。

在当前层的尺度的图像内，如果一个像素点在本层及其两个相邻层的8邻域内，Dog算子的响应值的最大值或最小值，则该点为该尺度下的一个特征点。其中，在8邻域内的像素点，分为上、下两个相邻层，每层共9个像素点，本层的像素点不包含自身，共9+9+8=26个像素点。

优选地，还包括，除去不适合的特征点；

通过拟和三维二次函数以精确确定特征点的位置和尺度（达到亚像素精度），同时去除低对比度的特征点和不稳定的边缘响应点(因为高斯差分算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

优选地，为每个特征点建立一个描述子，通过描述子的信息进行匹配。

优选地，建立描述子的过程如下：

根据每个尺度下所确定的该特征点及其周围邻域内的像素点的梯度，建立梯度直方图；

其中，周围邻域为矩形，像素点可选择16*16个像素点，特征点在矩形像素点的中心位置。

该梯度直方图包括多个不同角度区间，每个角度区间为多个梯度在该区间内的像素点的模长的和。

每个像素点L的模长m和角度θ通过如下公式确定：

$m(x,y)=\sqrt{{(\mathrm{Lx}+1,y-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

$\mathrm{\θ}(x,y)=\mathrm{arc}\tan 2\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}$

将所述梯度直方图中梯度的最大模对应的角度范围中的一个角度作为主方向；例如：在30~40度范围内的模的和为各个角度范围中最大的，可选择端点或中间点作为主方向，例如30度或35度作为主方向。

用一个中心在该区域中央的高斯函数对所述周围邻域内的各个像素点的梯度的模加权；加权过程中，取σ=1.5；

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2$

将所述周围邻域内的各个像素划分为多个区块，根据每个区块内的像素点的加权后的模长、相对于所述主方向的角度差值，建立梯度直方图，确定该区块的向量；

将16*16个像素点，以4*4个像素点为一个区块，分为16个区块，在这个小区块中统计梯度直方图，直方图按照角度值45度划分，共包括360度/45度=8个方向区间；那么整个描述子所覆盖的区域含有的信息就是16×8=128个。

以多维向量的格式记录全部区块的向量信息形成特征向量，作为该特征点的描述子。整个描述子可以看作是一个128维的向量，即特征向量。

最后将特征向量归一化，则可以去掉光照变化产生的影响。归一化之后，具有以下效果：

如果光照变化是对比度变化，则相当于是对每个点的梯度乘上了一个常数，那么标准化后这个常数就被消除了；如果光照变化是亮度的变化，那么相对于对每个点的像素值加上了一个常数，对梯度的变化没有任何影响。但是由于一些非线性的光照变化会使某些像素的梯度模值产生较大变化，同时对梯度方向没有影响，因此我们在统计梯度直方图时将所有大于某个阈值的梯度模值都置为这个阈值，就可以降低光照变化的影响。

要注意的是，向量归一化是在所有模值经过阈值的限制之后进行的。因为这样的操作相当于降低了大模值点的模值在匹配中的权重。在建立直方图后，将各个梯度的模值与阈值比较，超过阈值的模值设置为阈值。这个阈值选为0.1~0.3，优选0.2。经过阈值修正后，可降低光线变化对图像匹配的影响。

经过上述过程，可确定一个图像的全部特征点的描述子，每个描述子包含一个特征向量。

在信号灯的匹配过程中，可利用上述每个特征点的描述子对应的特征向量进行匹配，然后识别。

匹配和识别的过程包括：

1）可预先提取信号灯的模板图像内的全部特征点，并为每个特征点按照上述过程建立一个描述子。

2）当采集到当前的视频图像后，提取视频图像中的特征点，并建立描述子。

3）确定所述视频图像的各个尺度每个特征点对应的描述子与所述信号灯模板图像的各个特征点对应的描述子的欧氏距离d；

其中，所述欧式距离d=sqrt(∑(xi1-xi2)^2)；xi1为模板图像中的一个特征点的第i维向量、xi2为视频图像中的一个特征点的第i维向量；

4）如果最小的欧式距离不大于第一阈值、且最小的欧氏距离与次小的欧式距离的比值不大于第二阈值，则确定用于运算出所述最小的欧式距离的两个描述子各自对应的特征点相匹配；

5）当相匹配的特征点的数量占模板图像的特征点总数量的比值超过阈值后，确定视频图像与信号灯模板图像匹配成功。该阈值可设置为1/3。

6）匹配成功后，按照所述视频图像中的特征点的聚类中心位置、所述信号灯模板图像的聚类中心位置与该模板图像的中心位置的距离，确定所述视频图像中的信号灯的中心位置；

聚类中心的位置为：Center（x，y）=(P₁（x,y）+P₂（x,y）+…+P_n（x,y）)/n；P为特征点。

7）识别所述视频图像中信号灯的颜色分量，确定所述视频图像中信号灯的颜色。

信号灯的颜色识别过程如下：

将匹配到的区域内的所有像素值转换到HSL颜色空间上，具体转换公式如下：

R1＝R/255,G1＝G/255,B1＝B/255,

Min＝min(min(R1,G1),B1)，Max＝max(max(R1,G1),B1)

Diff＝Max-Min

L＝120*(Min+Max)

$S=\left\{\begin{array}{c}240*\mathrm{Diff}/(2-(\mathrm{Min}+\mathrm{Max})),L\&GreaterEqual;120\\ 240*\mathrm{Diff}/(\mathrm{Min}+\mathrm{Max}),L<120\end{array}\right.$

$H=\left\{\begin{array}{c}H+240,H<0\\ H-240,H>240\end{array}\right.$

在HSL空间内，设定红黄绿三种颜色的阈值，然后统计每个像素点的颜色，最后计算出三种颜色的数目，记为S_red，S_green,S_yellow，选取最大的作为最后的信号灯的识别结果。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视频图像中识别信号灯的方法，其特征在于，包括：

将检测到的视频图像中的多个特征点与预先记载的多个特征点进行匹配；其中，所述预先记载的特征点从信号灯模板图像提取；

匹配成功后，按照所述视频图像中的特征点的聚类中心位置、所述信号灯模板图像的聚类中心位置与该模板图像的中心位置的距离，确定所述视频图像中的信号灯的中心位置；

识别所述视频图像中信号灯的颜色分量，确定所述视频图像中信号灯的颜色。

2.根据权利要求1所述的方法，其特征在于，所述视频图像的特征点或所述信号灯模板图像的特征点通过以下步骤确定：

在高斯差分尺度空间，根据不同的高斯核函数的σ值，建立图像所对应的多张层叠的不同尺度的图像；

在当前层的尺度的图像内，如果一个像素点在本层及其两个相邻层的8邻域内，为最大值或最小值，则该点为该尺度下的一个特征点。

3.根据权利要求2所述的方法，其特征在于，所述匹配的过程包括：

根据每个尺度下的每个特征点所在图像的位置，确定该特征点及其周围邻域内的像素点的梯度，建立该特征点对应的描述子；

确定所述视频图像的每个特征点对应的描述子与所述信号灯模板图像的各个特征点对应的描述子的欧氏距离d；

其中，所述欧式距离d=sqrt(∑(xi1-xi2)^2)；xi1为模板图像中的一个特征点的第i维向量、xi2为视频图像中的一个特征点的第i维向量；

如果最小的欧式距离不大于第一阈值、且最小的欧氏距离与次小的欧式距离的比值不大于第二阈值，则确定用于运算出所述最小的欧式距离的两个描述子各自对应的特征点相匹配；

当相匹配的特征点的数量占信号灯模板图像的特征点总数量的比值超过第三阈值后，确定视频图像与信号灯模板图像匹配成功。

4.根据权利要求2所述的方法，其特征在于，所述σ值介于0~20之间。

5.根据权利要求3所述的方法，其特征在于，所述建立描述子的过程包括：

根据所述确定的该特征点及其周围邻域内的像素点的梯度，建立梯度直方图；

将所述梯度直方图中梯度的最大模对应的角度范围中的任意一个角度作为主方向；

用一个中心在该区域中央的高斯函数对所述周围邻域内的各个像素点的梯度的模加权；

将所述周围邻域内的各个像素划分为多个区块，根据每个区块内的像素点的加权后的模长、相对于所述主方向的角度差值，建立每个区块内的直方图，确定该区块内的向量；

以多维向量的格式记录全部区块的向量信息形成特征向量，作为该特征点的描述子。

6.根据权利要求5所述的方法，其特征在于，还包括：建立所述梯度直方图的过程中，如果其中一个特征点的梯度的模大于第四阈值，则将该梯度的模值设置为第四阈值。

7.根据权利要求1所述的方法，其特征在于，还包括：对每个特征点的特征向量归一化处理。

8.根据权利要求1所述的方法，其特征在于，所述聚类中心的位置为全部特征点的坐标的均值坐标所对应的位置。

9.根据权利要求1所述的方法，其特征在于，所述确定信号灯颜色的过程包括：

在所述确定的视频图像的信号灯的中心位置，按照信号灯的形状区域，将该形状区域内的像素值转换为HSL空间；

根据统计每种颜色的像素点的数量，将数量最高的像素点的颜色作为该信号灯的颜色。