CN102881160B - 一种低照度场景下的户外交通标志识别方法 - Google Patents

Abstract

本发明公开了一种低照度场景下的户外交通标志识别方法，包括以下步骤：对含有交通标志的低照度场景图像进行HSV变换，计算低照度场景图像的积分直方图并采用阈值法和数学形态学方法检测交通标志感兴趣区域；对交通标志感兴趣区域使用SIFT算法计算其尺度不变特征点的描述子，并和标准库中的图像匹配得到匹配点对；以尺度不变特征点的坐标为图像中心点，取子图；对子图分别计算融合了色调、饱和度和亮度后的改进颜色量化直方图及归一化的改进颜色直方图；计算匹配点对中的两个匹配点的直方图的夹角；去除夹角差异过大的匹配点对；去除无一一匹配的匹配点；根据匹配点数获得低照度场景图片的交通标志识别结果。本发明为一种鲁棒性较强、准确率较高的户外交通标志识别方法。

Description

一种低照度场景下的户外交通标志识别方法

技术领域

本发明属于数字图像处理应用领域，具体涉及一种低照度场景下的户外交通标志识别方法。

背景技术

交通标志检测和识别是智能交通系统中的一个热点，近年来得到越来越多的关注。实际交通道路遇到的状况非常复杂，传感器采集到的交通标志图片往往会出现不同程度上的退化，比如：交通标志的大小不一致，交通标志会发生一定角度的偏转，交通标志牌上的光照不均匀，由于拍摄角度的不确定，交通标志还会受到一定角度的水平或者垂直错切，另外还存在交通标志被树木、广告等遮挡的问题等等，这些问题使得交通标志的检测与识别变得相当困难。

已有研究者提出了一些户外交通标志识别方法，他们将交通标志识别这个任务主要分为两个步骤：检测阶段和分类阶段。在检测阶段，主要采用形状特征或者颜色特征来选择感兴趣区域；在分类阶段，主要从学习器和图像特征方面寻求解决方案，即提取合适的图像特征采用合适的学习器完成最终的交通标志识别任务。这些已有的方法多数应用于照度条件较好的情况下的交通标志识别。但是，在夜晚拍摄的照片多数照度条件较差，使得拍摄得到的交通标志图片的亮度分量、饱和度分量和色调分量都发生较大的改变。而且，夜晚场景下的交通标志的识别将会受到众多灯光光照影响，如汽车前后向灯、路灯、办公楼照明等。因此，已有的交通标志检测与识别方法不可避免的遇到了困难。

发明内容

为了克服现有技术在低照度场景下的户外交通标志检测识别差的不足，本发明提出一种低照度场景下的户外交通标志识别方法。本发明是一种在低照度场景下适应性强，准确率高的户外交通标志识别方法。

为实现上述目的，本发明的技术方案为：

一种低照度场景下的户外交通标志识别方法，包括以下步骤：

1）采集输入含有交通标志的低照度场景图片；

2）对含有交通标志的低照度场景图像进行HSV变换，计算低照度场景图像的积分直方图并检测交通标志感兴趣区域；

3）对步骤2）的交通标志感兴趣区域使用SIFT算法进行一次匹配，计算其尺度不变特征点的描述子，并和预先建立的标准库中的交通标志图像进行匹配得到匹配点对；

4）在步骤2）的交通标志感兴趣区域中以步骤3）得到的尺度不变特征点的坐标为图像中心点，取M*M的子图；

5）对M*M的子图分别计算融合了色调H、饱和度S和亮度V后的改进颜色量化直方图及归一化的改进颜色直方图；

6）根据改进颜色直方图，计算步骤3）得到的匹配点对中的两个匹配点的直方图的夹角；

7）去除夹角值大于数值为TH的匹配点对；去除无一一匹配的匹配点；

8）根据匹配点数获得低照度场景图片的交通标志识别结果。

所述步骤2）的检测交通标志感兴趣区域的检测包括以下步骤：

21）对含有交通标志的低照度场景图像进行HSV变换计算出低照度场景图像的色调H、饱和度S、亮度V的分量，色调H、饱和度S、亮度V的计算如下：

$H=\left\{\begin{array}{cc}\frac{(G-B)*60}{S}& v=R\\ 180+\frac{(B-R)*60}{S}& v=G\\ 240+\frac{(R-G)*60}{S}& v=B\end{array}\right.,$

$S=\frac{(v-\min (R,G,B)*255}{v},$

V=max(R,G,B)，

22）计算低照度场景图像的饱和度积分直方图CulS_k和亮度积分直方图CulV_k；

$\mathrm{Cul}{S}_k=\frac{\mathrm{sum}(S(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}S(i,j)},$

$\mathrm{Cul}{V}_k=\frac{\mathrm{sum}(V(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}V(i,j)};$

其中，S(i,j)表示图像像素点(i,j)的饱和度分量，V(i,j)图像像素点(i,j)的亮度分量，k表示传统直方图的第k个bin，k的取值范围为：0~99；

23）进行区域检测；计算低照度场景图像的各个连通域，并分割出来，完成交通标志感兴趣区域的检测。

所述步骤23）采用阈值法进行区域检测，采用数学形态学计算低照度场景图像的各个连通域。

所述阈值法包括以下情况：

41）对于红色交通标志，色调Ｈ取值范围为：0~20和340~360；积分饱和度CulS_k取值范围为：0~1；积分亮度CulV_k取值范围为：0~1；

42）对于黄色交通标志，色调Ｈ取值范围为：25~65；积分饱和度CulS_k取值范围为：0.8~1；积分亮度CulV_k取值范围为：0.8~1；

43）对于黄色交通标志，色调Ｈ取值范围为：195~235；积分饱和度CulS_k取值范围为：0~1；积分亮度CulV_k取值范围为：0~1。

所述步骤4）的计算融合色调H、饱和度S和亮度V后的改进颜色量化直方图W_k及归一化的改进颜色直方图X'_k，其计算如下：

$W_k=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}\mathrm{\&eta;}(i,j,k)*S^{\&prime;}(i,j)*V^{\&prime;}(i,j),$

$S^{\&prime;}(i,j)=\exp (-\frac{{(S(i,j)/255-1)}^2}{2{\mathrm{\&sigma;}}^2}),$

$V^{\&prime;}(i,j)=\exp (-\frac{{(V(i,j)-1)}^2}{2{\mathrm{\&sigma;}}^2}),$

${X^{\&prime;}}_k=W_k/\underset{m=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{W}_m,$

其中：n表示对图像进行n次量化，量化次数n的取值范围为：8~32；H(i,j)表示图像像素点(i,j)的色调分量，表示向下取整运算；2σ²是修正系数；修正系数2σ²的取值范围为：0~1。

所述步骤4）中M的取值范围为：3~9。

所述M的取值为9。

所述步骤7）采用阈值法去除夹角值大于数值为TH的匹配点。

所述步骤7）中的去除夹角值大于数值为TH的匹配点；并去除无一一匹配的匹配点的步骤如下：

81）根据步骤6）获得匹配点对中的两个匹配点的直方图的夹角，去除夹角值大于数值为TH1的匹配点对；

82）计算步骤81）获得的匹配点对中每个匹配点与其他匹配点匹配成功的匹配数；

83）提取步骤82）中匹配数大于1的匹配点对；

84）分别计算83）得到的匹配点对中的两个匹配点分别与图像中心点的夹角；

85）去除步骤84）中匹配点对中的两个匹配点与图像中心点的任一夹角值大于数值为TH2的匹配点对，计算匹配点数。

所述数值TH1的取值范围为：0~60度；数值TH2的取值范围为：0~60度。

所述TH1为30度，TH2为30度。

本发明是为克服目前低照度场景下的户外交通标志识别存在的问题，提出的基于阈值分割的积分直方图方法进行感兴趣区域的检测，采用SIFT算法进行一次匹配，然后再采用融合色调、色饱和度和亮度的改进颜色量化直方图进行二次匹配，最终建立一种低照度场景下的户外交通标志识别方法，本发明在低照度场景下适应性强，准确率高。

附图说明

图1为本发明的流程图；

图2为本发明低照度场景下的交通标志感兴趣区域检测结果示例；

图3为本发明低照度场景下的交通标志识别结果示例。

具体实施方式

如图1所示，一种低照度场景下的户外交通标志识别方法，具体包括以下步骤：

S1）输入含有交通标志的低照度场景图像，

S2）计算图像的HSV分量；对含有交通标志的低照度场景图像进行HSV变换，计算出图像的色调H、饱和度S、亮度V分量，色调H、饱和度S、亮度V的计算如下：

$H=\left\{\begin{array}{cc}\frac{(G-B)*60}{S}& v=R\\ 180+\frac{(B-R)*60}{S}& v=G\\ 240+\frac{(R-G)*60}{S}& v=B\end{array}\right.,$

$S=\frac{(v-\min (R,G,B)*255}{v},$

V=max(R,G,B)；

S3）计算低照度场景图像的饱和度积分直方图CulS_k和亮度积分直方图CulV_k，

$\mathrm{Cul}{S}_k=\frac{\mathrm{sum}(S(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}S(i,j)},$

$\mathrm{Cul}{V}_k=\frac{\mathrm{sum}(V(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}V(i,j)};$

其中，S(i,j)表示图像像素点(i,j)的饱和度分量，V(i,j)图像像素点(i,j)的亮度分量，k表示传统直方图的第k个bin，取值范围为：0~99；

S4）采用阈值法和数学形态学检测交通标志感兴趣区域；

根据表1设置的阈值进行区域检测；

表1三种交通标志的阈值

利用数学形态学，计算低照度场景图像的各个连通域，并分割出来，获得交通标志感兴趣区域，如图2所示；

S5）使用SIFT算法一次匹配，对经过步骤S4）得到的各个连通域图片分别使用SIFT算法进行一次匹配；计算其尺度不变特征点的描述子，并和预先建立的标准库中的交通标志图片进行匹配得到匹配点对；

S6）以步骤S5）得到的尺度不变特征点的坐标为图像中心点，取M*M的子图，在本实施例中，M=9；对取得的9*9子图进行HSV变换；

S7）对9*9子图计算融合了色调H、饱和度S和亮度V后的改进颜色量化直方图W_k及归一化的改进颜色直方图X′_k：

$W_k=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}\mathrm{\&eta;}(i,j,k)*S^{\&prime;}(i,j)*V^{\&prime;}(i,j),$

$S^{\&prime;}(i,j)=\exp (-\frac{{(S(i,j)/255-1)}^2}{2{\mathrm{\&sigma;}}^2}),$

$V^{\&prime;}(i,j)=\exp (-\frac{{(V(i,j)-1)}^2}{2{\mathrm{\&sigma;}}^2}),$

${X^{\&prime;}}_k=W_k/\underset{m=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{W}_m,$

其中：n表示对图像进行n次量化，n的取值范围为8~32；H(i,j)表示图像像素点(i,j)的色调分量，表示向下取整运算；2σ²是修正系数,修正系数2σ²的取值范围为：0~1。在本实施例中n=32，2σ²=0.3518。

根据步骤S7）的改进颜色直方图，计算步骤S5）得到的匹配点对中的两个匹配点的直方图的夹角；

S8）采用阈值法去除颜色差异过大的匹配点；在本实施例中去除夹角值大于数值TH1为30的匹配点对；

S9）去除非一一匹配的匹配点；

S10）计算特征点与图像中心的夹角；首先计算匹配点对中每个匹配点与其他匹配点匹配成功的匹配数，计算匹配数大于1的匹配点对中两个匹配点与图像中点的夹角；

S11）去除夹角差异过大的特征点；去除步骤S10）得到两个匹配点与图像中点的任一夹角值大于数值TH2为30的匹配点对；

S12）计算步骤S11）得到的匹配点数，根据匹配点数得出低照度场景下的户外交通标志识别结果，如图3所示。

Claims (9)

1.一种低照度场景下的户外交通标志识别方法，其特征在于包括以下步骤：

1）采集输入含有交通标志的低照度场景图片；

2）对含有交通标志的低照度场景图像进行HSV变换，计算低照度场景图像的积分直方图并检测交通标志感兴趣区域；

3）对步骤2）的交通标志感兴趣区域使用SIFT算法进行一次匹配，计算其尺度不变特征点的描述子，并和预先建立的标准库中的交通标志图像进行匹配得到匹配点对；

4）在步骤2）的交通标志感兴趣区域中以步骤3）得到的尺度不变特征点的坐标为图像中心点，取M*M的子图；

5）对M*M的子图分别计算融合了色调H、饱和度S和亮度V后的改进颜色量化直方图及归一化的改进颜色直方图；

6）根据改进颜色直方图，计算步骤3）得到的匹配点对中的两个匹配点的直方图的夹角；

7）去除夹角值大于数值为TH的匹配点对；去除无一一匹配的匹配点；

8）根据匹配点数获得低照度场景图片的交通标志识别结果；

所述步骤2）的检测交通标志感兴趣区域的检测包括以下步骤：

21）对含有交通标志的低照度场景图像进行HSV变换计算出低照度场景图像的色调H、饱和度S、亮度V的分量，色调H、饱和度S、亮度V的计算如下：

$H=\left\{\begin{array}{cc}\frac{(G-B)*60}{S}& v=R\\ 180+\frac{(B-R)*60}{S}& v=G\\ 240+\frac{R-G*60}{S}& v=B\end{array}\right.,$

$S=\frac{(v-\min )(R,G,B)*255}{v},$

V=max(R,G,B)，

22）计算低照度场景图像的饱和度积分直方图CulS_k和亮度积分直方图CulV_k；

${\mathrm{CulS}}_k=\frac{\mathrm{sum}(S(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}S(i,j)},$

${\mathrm{CulV}}_k=\frac{\mathrm{sum}(V(i,j)<k)}{\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}V(i,j)};$

其中，S(i,j)表示图像像素点(i,j)的饱和度分量，V(i,j)图像像素点(i,j)的亮度分量，k表示传统直方图的第k个bin，k的取值范围为：0～99；

23）进行区域检测；计算低照度场景图像的各个连通域，并分割出来，完成交通标志感兴趣区域的检测。

2.根据权利要求1所述低照度场景下的户外交通标志识别方法，其特征在于所述步骤23）采用阈值法进行区域检测，采用数学形态学计算低照度场景图像的各个连通域。

3.根据权利要求2所述低照度场景下的户外交通标志识别方法，其特征在于所述阈值法包括以下情况：

41）对于红色交通标志，色调Ｈ取值范围为：0～20和340～360；积分饱和度CulS_k取值范围为：0～1；积分亮度CulV_k取值范围为：0～1；

42）对于黄色交通标志，色调Ｈ取值范围为：25～65；积分饱和度CulS_k取值范围为：0.8～1；积分亮度CulV_k取值范围为：0.8～1；

43）对于黄色交通标志，色调Ｈ取值范围为：195～235；积分饱和度CulS_k取值范围为：0～1；积分亮度CulV_k取值范围为：0～1。

4.根据权利要求1所述低照度场景下的户外交通标志识别方法，其特征在于所述步骤4）的计算融合色调H、饱和度S和亮度V后的改进颜色量化直方图W_k及归一化的改进颜色直方图X'_k，其计算如下：

$W_k=\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}\mathrm{\&eta;}(i,j,k)*S^{\text{'}}(i,j)*V^{\text{'}}(i,j),$

$S^{\text{'}}(i,j)=\exp (-\frac{{(S(i,j)/255-1)}^2}{{2\mathrm{\&sigma;}}^2}),$

$V^{\text{'}}(i,j)=\exp (-\frac{{(V(i,j)-1)}^2}{{2\mathrm{\&sigma;}}^2}),$

${X^{\text{'}}}_k=W_k/\underset{m=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{W}_m,$

其中：n表示对图像进行n次量化，量化次数n的取值范围为：8～32；H(i,j)表示图像像素点(i,j)的色调分量，表示向下取整运算；2s²是修正系数；修正系数2s²的取值范围为：0～1。

5.根据权利要求1所述低照度场景下的户外交通标志识别方法，其特征在于所述步骤4）中M的取值范围为：3～9。

6.根据权利要求5所述低照度场景下的户外交通标志识别方法，其特征在于所述M的取值为9。

7.根据权利要求1所述低照度场景下的户外交通标志识别方法，其特征在于所述步骤7）采用阈值法去除夹角值大于数值为TH的匹配点。

8.根据权利要求7所述低照度场景下的户外交通标志识别方法，其特征在于所述步骤7）中的去除夹角值大于数值为TH的匹配点；并去除无一一匹配的匹配点的步骤如下：

81）根据步骤6）获得匹配点对中的两个匹配点的直方图的夹角，去除夹角值大于数值为TH1的匹配点对；

82）计算步骤81）获得的匹配点对中每个匹配点与其他匹配点匹配成功的匹配数；

83）提取步骤82）中匹配数大于1的匹配点对；

84）分别计算83）得到的匹配点对中的两个匹配点分别与图像中心点的夹角；

85）去除步骤84）中匹配点对中的两个匹配点与图像中心点的任一夹角值大于数值为TH2的匹配点对，计算匹配点数。

9.根据权利要求8所述低照度场景下的户外交通标志识别方法，其特征在于所述数值TH1的取值范围为：0～60度；数值TH2的取值范围为：0～60度。