CN103824081A - 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 - Google Patents

一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 Download PDF

Info

Publication number
CN103824081A
CN103824081A CN201410062277.7A CN201410062277A CN103824081A CN 103824081 A CN103824081 A CN 103824081A CN 201410062277 A CN201410062277 A CN 201410062277A CN 103824081 A CN103824081 A CN 103824081A
Authority
CN
China
Prior art keywords
traffic sign
region
mser
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410062277.7A
Other languages
English (en)
Other versions
CN103824081B (zh
Inventor
辛乐
房圣超
高江杰
陈阳舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HAIMEN HUANGHAI PIONEER PARK SERVICES CO., LTD.
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201410062277.7A priority Critical patent/CN103824081B/zh
Publication of CN103824081A publication Critical patent/CN103824081A/zh
Application granted granted Critical
Publication of CN103824081B publication Critical patent/CN103824081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,包括:建立多类交通标志的颜色直方图;生成基于多类直方图的概率图;提取基于MSER的交通标志候选区域;去除非交通标志区域。本发明构建不同光照下的多个颜色直方图,并基于多直方图反投影生成输入图像的概率图,将不同光照条件下的交通标志图像变换到统一条件下,对MSER特征区域进行一致性处理,提高了算法对于恶劣光照变化的鲁棒性,同时具有较快的检测速度。实验表明,在弱光照和强光照条件下,现有算法的检测准确率明显下降,而本发明的检测准确率依然保持在90%以上。本发明不仅可以提取红色、黄色、蓝色的交通标志,同时可以提取白色背景的交通标志。

Description

一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
技术领域
本发明属于机器视觉和图像处理技术领域,具体涉及一种针对室外恶劣光照条件下的快速鲁棒交通标志检测方法。
背景技术
随着社会的发展,机动车数量和出行人数大量增加,交通安全和交通拥堵已经成为日益严重的社会问题。智能交通系统被认为是解决这些问题的有效方法。国内外已经在智能交通系统方面投入了大量的人力和财力。基于视频图像的交通标志识别系统是智能交通系统的重要组成部分,它为驾驶员提供重要的警告和禁令信息,从而有效降低驾驶员复杂道路情况下繁重的工作负荷,最终为驾驶员安全驾驶提供保障,在主动避免交通事故及提高驾驶舒适性方面发挥了重要作用。
交通标志识别系统一般被分为检测和识别两个部分。准确快速的交通标志检测是交通标志能够被正确识别的前提。对于快速鲁棒的交通标志检测而言,其难点主要在于道路场景中恶劣的光照变化,这种恶劣的光照变化主要包括:剧烈的光照变化及必然存在的场景光照不均匀(强弱光照变化)、不同的天气条件(阴雨天气、黄昏等)、阴影遮挡以及强光照导致交通标志出现反光等一系列情况。为此,近年来国内外的学者就交通标志的快速鲁棒检测问题进行了大量的研究,主要方法分为三类:第一类是基于颜色信息分割的交通标志检测,如Gomez-Moreno H采用对光照变化鲁棒的归一化RGB颜色空间进行阈值分割以得到交通标志候选区域(Goal evaluation of segmentation algorithms for traffic sign recognition[J].IntelligentTransportation Systems,IEEE Transactions on,2010,11(4):917-930.)。这类方法速度快,准确率高,不足是需要根据经验来选取最优的阈值,难以自适应剧烈的光照变化,易出现漏检问题,而且基于颜色进行阈值分割的方法不能检测白色背景的交通标志。第二类方法为基于交通标志形状特征的,如Garcia等人在感兴趣区域内用霍夫变换检测圆形和三角形标志(Fast roadsign detection using hough transform for assisted driving of road vehicles[C].Proceedings of theEUROCAST Computer Aided Systems Theory,2005,3643:543-548.)。然而这类方法主要基于Hough变换,其算法耗时多,且当交通标志被部分遮挡或背景与交通标志颜色相似时,其算法的检测准确率下降明显。Greenhalgh J等人提出了另一种基于交通标志形状特征的方法(Real-Time Detection and Recognition of Road Traffic Signs[J].Intelligent TransportationSystems,IEEE Transactions on,2012,13(4):1498-1506.),该方法在红蓝图上提取MSER特征,取得了很好的检测效果,然而对恶劣光照条件的适应性较差,而且不能检测黄色的警告交通标志。第三类是基于机器学习方法,如支持向量机、神经网络等,Fang等人使用两层神经网络进行交通标志颜色的提取,取得了很好的检测效果(Road sign detection and tracking[J].Vehicular Technology,IEEE Transactions on,2003,52(5):1329-1341.)。然而这类方法计算复杂度高,很难满足实时检测的要求。综上所述,目前的算法一定程度上存在着对恶劣光照条件自适应能力差,较难满足实时检测的需要,并且由于算法本身的限制,很多算法不能够检测出所有类型的交通标志。
发明内容
为了解决交通标志检测算法在恶劣光照条件下检测准确率显著降低和目前算法难以满足实时性的问题,本发明提出了一种采用多类颜色直方图反投影建立概率图,并结合最大稳定极值区域(Maximally Stable Extremal Regions,MSER)进行特征提取的快速鲁棒交通标志检测方法。
一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,包括以下步骤:
步骤1,建立多类交通标志的颜色直方图。
步骤1.1,在不同光照条件下采集大量真实场景中含有交通标志的图像,手动抠取交通标志区域作为待训练的交通标志样本。
步骤1.2,按颜色和光照条件对交通标志训练样本进行分类。
共分为9类样本子集,分类方法如下:
(1)按颜色分类。按颜色分为红色、蓝色和黄色三类;
(2)按光照条件分类。按光照条件分为三类:白天正常光照;白天强烈光照或场景有强烈光源导致交通标志出现反光;弱光照,包括阴雨天气、黄昏、被阴影遮挡。对于某一类颜色,这三个子类中的交通标志数量基本相等,且三个子类中的标志数量不少于30张。
步骤1.3,建立多类颜色直方图。
首先,将每个图片样本归一化到同一尺寸,并从RGB颜色空间转换到HSI颜色空间,计算公式为:
H = θ , B ≤ G 360 - θ , B > G
θ = arccos { 1 2 [ ( R - G ) + ( R - B ) ] [ ( R - G ) 2 + ( R - B ) ( G - B ) ] 1 / 2 }
S = 1 - 3 R + G + B [ min ( R , G , B ) ]
I = 1 3 ( R + G + B )
其中,R、G、B是RGB颜色空间中红、绿、蓝三个分量的值,H、S、I是HSI颜色空间色调、饱和度、亮度三个分量的值;R、G、B在计算前归一化到[0,1]范围内。
然后,在各样本子集中建立H、S分量的颜色直方图。
每一个样本子集建立一个二维的直方图,其中x坐标为H分量,y坐标为S分量,而z坐标则为各种H、S分量组合的概率。设定H分量的取值范围为0~360,S分量的取值范围为0~255,本发明将H分量划分为30个等级,将S分量划分为32个等级,将xy(HS)平面划分为960个小区域,每个小区域称为一个bins。将z坐标的累加值归一化到0~255范围内,计算公式为:
f(b)=FLOOR(binsVal(b)*255/maxVal)
式中,f(b)表示对应bins归一化后的值,binsVal(b)表示归一化之前对应bins的累加值,maxVal表示所有bins中的最大值,FLOOR表示向下舍入取整运算。
步骤1.4,设定颜色直方图的统计范围,公式如下:
Figure BDA0000468868370000032
Figure BDA0000468868370000033
式中,Red(i,j)、Blue(i,j)、Yellow(i,j)分别表示任意像素点P(i,j)的红色、蓝色、黄色标签,H(i,j)、S(i,j)分别表示像素点P(i,j)的色调和饱和度分量的值。只有当像素点的H和S分量在满足要求的范围内,即相应的标签值等于True时才将该像素点进行颜色直方图的累加。
步骤2,生成基于多类直方图的概率图。
步骤2.1,将待检测图像从RGB颜色空间转换到HSI颜色空间,公式同步骤1.3。
步骤2.2,将HSI空间的待检测图像中的每一个像素点P(i,j)与步骤1中建立的颜色直方图按如下公式进行直方图反投影:
P(i,j)=max(fijk(b))
式中,fijk(b)表示坐标为(i,j)的像素点在第k个直方图中对应bins归一化之后的值,k=1,2,...,K,K=9为直方图数目,即步骤1得到的样本子集数目。
最后,遍历整幅图像的所有像素点,得到待检测图像对应的概率图。
步骤3,提取基于MSER的交通标志候选区域。
步骤3.1,提取白色背景的交通标志候选区域。
(1)图像灰度化:采用加权平均灰度化算法将待检测的原始数字图像中每个像素点的红、绿、蓝三分量赋以不同的权值进行加权平均,最终得到灰度图像,计算公式如下:
f(x,y)=0.212671R(x,y)+0.715160G(x,y)+0.072169B(x,y)
其中,f(x,y)为灰度化后(x,y)点的灰度值,R(x,y),G(x,y),B(x,y)分别为待检测的原始数字图像中(x,y)点的红、绿、蓝三分量的值。
(2)在生成的灰度图上提取图像中的MSER特征区域。
利用桶序(BinSort)算法将所有的像素点按照灰度值进行排序,其像素灰度值取值范围为0~255;将所有像素点排好序后,按照降序或者升序将这些像素点在图像中标记出来,在标记的过程中,采用联合-查找算法,保存一系列不断增大或者出现的连通区域和它们的面积,这些连通区域就是极值区域ε;在给定的阈值范围下,从ε中挑选出连通区域面积变化随阈值变化取得局部最小值的连通区域,得到MSER区域。为了提高算法的速度,本发明中阈值选取的范围为70~190,在此范围内对灰度图像进行24次阈值分割以提取候选的标志区域。
步骤3.2,提取彩色交通标志候选区域。
(1)按照步骤2所述方法对待检测的原始彩色图像建立概率图。
(2)采用3×3的模板对概率图像进行中值滤波,公式如下:
f 2 ( x , y ) = med f 1 ( x - 1 , y - 1 ) , f 1 ( x - 1 , y ) , f 1 ( x - 1 , y - 1 ) , f 1 ( x , y - 1 ) , f 1 ( x , y ) , f 1 ( x , y + 1 ) , f 1 ( x + 1 , y - 1 ) , f 1 ( x + 1 , y ) , f 1 ( x + 1 , y + 1 ) x > 0 , y > 0
其中,f2(x,y)为滤波后(x,y)点的灰度值,med表示求中值运算,f1(x,y)为灰度化后(x,y)点的灰度值;对于x=0或y=0的点,用灰度值f1(x,y)作为滤波后的灰度值f2(x,y)。
(3)对经过中值滤波的概率图像按照步骤3.1(2)所述方法进行MSER特征区域的提取,不同之处在于,阈值范围选择为140~230,在此范围内进行18次阈值分割以提取彩色交通标志的候选区域。
步骤4,去除非交通标志区域。
非交通标志去除包括在灰度图和概率图上根据提取的MSER区域形状特征进行非交通标志的去除,以及将最终得到的矩形边界框进行融合,最终得到交通标志的区域。
步骤4.1,去除彩色交通标志候选区域中的非交通标志区域。
(1)在步骤3.2中得到的彩色交通标志的候选区域上建立MSER特征区域矩形边界框。
(2)根据MSER区域形状特征去除非交通标志区域。
(3)当出现同一个交通标志被检测为多个符合条件的MSER区域时,如果两个MSER的矩形边界框所包含的面积70%以上重叠,则认为这两个MSER区域出现重叠,取多个MSER中最大的矩形边界框作为最终的交通标志区域。
(4)当一个MSER区域的矩形边界框中包含三个及以上不重叠的MSER区域时,则去除最外面的(即最大的)矩形边界框,保留各个小的MSER区域,并取各自的矩形边界框作为最终的交通标志区域。
这样做的目的是处理多个交通标志位置过于靠近出现被误检为一个MSER特征区域的情况,以及一块大的面板上包含多个交通标志的情况。
步骤4.2,去除白色背景交通标志候选区域中的非交通标志区域。
(1)在步骤3.1中得到的白色背景交通标志候选区域上建立MSER特征区域矩形边界框。
(2)按照步骤4.1(2)、(3)、(4)去除非交通标志,得到含交通标志的矩形边界框。
(3)对矩形框中每一个像素点进行彩色和非彩色分解,公式如下:
Figure BDA0000468868370000051
式中,Achr(i,j)表示任意像素点P(i,j)的非彩色标签,S(i,j)、I(i,j)分别表示该像素点P(i,j)的饱和度和亮度分量的值。
当像素点的S和I分量在满足要求的范围内,即相应的标签值等于True时,将该像素点的非彩色标签Achr(i,j)置1,遍历矩形框中所有像素点以得到所有像素点的标签值。当矩形框中标签为1的像素点的个数超过矩形框所有像素点个数的45%时,认为该MSER区域为白色背景的交通标志,否则去除该MSER区域。
步骤4.3,交通标志候选区域的融合及最终交通标志区域的检测。
将步骤4.1、4.2中最终提取的矩形边界框在原始图像上画出。当部分交通标志在灰度图和概率图上均被检测出时,如果两个矩形边界框的面积出现70%以上的重叠,则取步骤4.1中确定的边界框为最终包含交通标志的矩形边界框。
所述步骤4建立MSER特征区域矩形边界框的方法如下:
对于每一个MSER区域,找到它的最左边像素点向左3个像素点的位置,最右边像素点向右3个像素点的位置,最上边像素点向上3个像素点的位置和最下边像素点向下3个像素点的位置,根据得到的这4个位置即可得到包含该MSER区域的矩形边界框。
所述步骤4根据MSER区域形状特征去除的非交通标志区域为不满足以下条件的MSER区域:
(1)矩形边界框的宽度范围为30~210,高度范围为30~210,高度与宽度的比值范围为0.5~1.5;
(2)MSER特征区域的周长与其矩形边界框周长的比值范围为0.4~1.3;
(3)MSER区域的面积与其矩形边界框面积的比值范围为0.4~1.0。
与现有技术相比,本发明具有以下明显优势:
(1)本发明以光照条件为分类依据构建不同光照下的多个颜色直方图,并基于多直方图反投影生成输入图像的概率图,以此将不同光照条件下的交通标志图像变换到统一条件下,使后续对MSER特征区域可以进行一致性处理,提高了算法对于恶劣光照变化的鲁棒性,同时具有较快的检测速度。实验表明,在弱光照和强光照条件下,现有算法的检测准确率明显下降,而本发明的检测准确率依然可以保持在90%以上。
(2)本发明不依赖参数的选取,不需要根据经验设定最优的阈值参数。提高了本发明对不同光照条件的适应性,同时也使本发明适应工程应用。
(3)本发明通过对原始图像的概率图及灰度图分别进行处理,克服了现有检测方法能够检测的交通标志的颜色种类较少的缺点,不仅可以提取红色、黄色、蓝色的交通标志,同时可以提取白色背景的交通标志。
附图说明
图1本发明所涉及方法的流程图;
图2实施例获得的交通标志样本子集在不同光照条件下的颜色直方图,(a)、(b)、(c)三列分别对应红色、蓝色和黄色的交通标志。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
本发明实施例在安装VC2008和OpenCV2.3.1的PC机上实现。
本发明实施例检测方法的流程图如图1所示,包括以下步骤:
步骤1,建立多类交通标志的颜色直方图。
步骤1.1,采用行车记录仪采集不同光照条件下含交通标志的视频,视频的分辨率为640×480,每秒25帧。将含有交通标志的关键帧进行截图,共截取210幅含交通标志的图片。为了避免相机参数对颜色直方图统计的影响,在互联网上下载含有交通标志的图像48幅,采用手动方式抠取交通标志区域作为待训练的交通标志样本。
步骤1.2,按颜色和光照条件对交通标志训练样本进行分类。
共分为9类样本子集,分类方法如下:
(1)按颜色分为三类:红色、蓝色和黄色;
(2)按光照条件分为三类:白天正常光照;白天强烈光照或场景有强烈光源导致交通标志出现反光;弱光照(阴雨天气、黄昏、被阴影遮挡)。对于某一类颜色,这三个子类中的交通标志数量基本相等,且三个子类中的标志数量不少于30张。在本实施例中共选取红色交通标志在弱光照、正常光照和强光照下每类样本53个;蓝色交通标志每类48个;黄色交通标志每类55个,共计468个样本图片。将所有样本的尺寸归一化到40×40像素大小。
步骤1.3,建立多类颜色直方图。
步骤1.4,设定颜色直方图的统计范围。
各类交通标志样本子集的颜色直方图及一种颜色的交通标志在所有光照条件下的样本一起统计的直方图实验结果如附图2所示,图2(a)、(b)、(c)三列分别对应红色、蓝色和黄色的交通标志,从上到下各行分别对应弱光照、正常光照、强光照及同一种颜色所有样本(无论何种光照条件)下样本子集的颜色直方图。
步骤2,生成基于多类直方图的概率图。
步骤2.1,将待检测图像从RGB颜色空间转换到HSI颜色空间。
步骤2.2,将HSI空间待检测图像中每一个像素点P(i,j)与步骤1中建立的多个颜色直方图进行直方图反投影。
步骤3,提取基于MSER的交通标志候选区域。
步骤3.1,提取白色背景的交通标志候选区域。
步骤3.2,提取彩色交通标志候选区域。
步骤4,去除非交通标志区域。
步骤4.1,去除彩色交通标志候选区域中的非交通标志区域。
步骤4.2,去除白色背景交通标志候选区域中的非交通标志区域。
步骤4.3,交通标志候选区域的融合及最终交通标志区域的检测。
为了检测本发明所述方法对于光照变化的鲁棒性,选取的测试图片中:正常光照下50幅,包含交通标志105个,弱光照下51幅,包含交通标志121个,强光照下47幅,包含交通标志95个。所有选取的测试样本中不包含用于训练的样本图片。本实施例使用Core(TM)i32.13GHz PC,基于VS2008平台的OPENCV,平均运行时间为163.3ms,具有较快的检测速度。
为了进一步验证本发明的有效性,下面给出应用本发明与现有方法检测交通标志的查全率(Recall)和错误检测率(false detected rate,FDR)。现有方法采用背景技术中的两种交通标志检测算法:一是Gomez-Moreno H采用的基于归一化RGB颜色空间阈值分割的方法(Normalized RGB,简称NRGB);二是Greenhalgh J等人提出的基于红蓝图MSER特征提取的方法(Red/Blue image and MSER,简称RBM)。Recall和FDR的定义如下:
Recall = TP N
FDR = EP + FN N
其中,N为测试集中的交通标志个数,TP(true positives)为正确检测的交通标志个数,FN(false negatives)为没有被检测到的交通标志个数,FP(false positives)为背景被误检为交通标志的个数。
NRGB算法不能检测白色交通标志,RBM算法不能检测黄色的警告交通标志,而本发明所述方法既可以检测黄色的警告标志,也可以基于图像灰度图检测白色的交通标志。因此,RBM算法不对黄色禁令标志进行统计,NRGB算法不对白色交通标志进行统计。实验结果如表1~3所示。
表1正常光照下三种算法检测效果的比较
Figure BDA0000468868370000083
表2弱光照下三种算法检测效果的比较
Figure BDA0000468868370000084
表3强光照下三种算法检测效果的比较
Figure BDA0000468868370000085
由表1~3可以看出:在正常光照条件下,三种算法均有90%以上的检测准确率;在弱光照和强光照条件下,NRGB和RBM算法对于检测的准确率明显下降,基于单阈值分割的NRGB方法检测的准确率下降最大;本发明虽然检测的准确率也有所下降,但是下降的百分比较小,依然可以保持在90%以上检测准确率的较高水平。

Claims (7)

1.一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于包括以下步骤:
步骤1,建立多类交通标志的颜色直方图;
步骤1.1,在不同光照条件下采集大量真实场景中含有交通标志的图像,手动抠取交通标志区域作为待训练的交通标志样本;
步骤1.2,按颜色和光照条件对交通标志训练样本进行分类;
步骤1.3,建立多类颜色直方图;
步骤1.4,设定颜色直方图的统计范围;
步骤2,生成基于多类直方图的概率图;
步骤2.1,将待检测图像从RGB颜色空间转换到HSI颜色空间;
步骤2.2,将HSI空间的待检测图像中的每一个像素点P(i,j)与步骤1中建立的颜色直方图按如下公式进行直方图反投影:
P(i,j)=max(fijk(b))
式中,fijk(b)表示坐标为(i,j)的像素点在第k个直方图中对应bins归一化之后的值,k=1,2,...,K,K=9为直方图数目,即步骤1得到的样本子集数目;
遍历整幅图像的所有像素点,得到待检测图像对应的概率图;
步骤3,提取基于MSER的交通标志候选区域;
步骤3.1,提取白色背景的交通标志候选区域;
(1)图像灰度化:采用加权平均灰度化算法将待检测的原始数字图像中每个像素点的红、绿、蓝三分量赋以不同的权值进行加权平均,最终得到灰度图像,计算公式如下:
f(x,y)=0.212671R(x,y)+0.715160G(x,y)+0.072169B(x,y)
其中,f(x,y)为灰度化后(x,y)点的灰度值,R(x,y),G(x,y),B(x,y)分别为待检测的原始数字图像中(x,y)点的红、绿、蓝三分量的值;
(2)在生成的灰度图上提取图像中的MSER特征区域;
利用BinSort算法将所有的像素点按照灰度值进行排序,其像素灰度值取值范围为0~255;将所有像素点排好序后,按照降序或者升序将这些像素点在图像中标记出来,在标记的过程中,采用联合-查找算法,保存一系列不断增大或者出现的连通区域和它们的面积,这些连通区域就是极值区域ε;在给定的阈值范围下,从ε中挑选出连通区域面积变化随阈值变化取得局部最小值的连通区域,得到MSER区域;阈值选取的范围为70~190,在此范围内对灰度图像进行24次阈值分割以提取候选的标志区域;
步骤3.2,提取彩色交通标志候选区域;
步骤4,去除非交通标志区域;
步骤4.1,去除彩色交通标志候选区域中的非交通标志区域;
(1)在步骤3.2中得到的彩色交通标志的候选区域上建立MSER特征区域矩形边界框;
(2)根据MSER区域形状特征去除非交通标志区域;
(3)当出现同一个交通标志被检测为多个符合条件的MSER区域时,如果两个MSER的矩形边界框所包含的面积70%以上重叠,则认为这两个MSER区域出现重叠,取多个MSER中最大的矩形边界框作为最终的交通标志区域;
(4)当一个MSER区域的矩形边界框中包含三个及以上不重叠的MSER区域时,则去除最外面的矩形边界框,保留各个小的MSER区域,并取各自的矩形边界框作为最终的交通标志区域;
步骤4.2,去除白色背景交通标志候选区域中的非交通标志区域;
(1)在步骤3.1中得到的白色背景交通标志候选区域上建立MSER特征区域矩形边界框;
(2)按照步骤4.1(2)、(3)、(4)去除非交通标志,得到含交通标志的矩形边界框;
(3)对矩形框中每一个像素点进行彩色和非彩色分解,公式如下:
Figure FDA0000468868360000021
式中,Achr(i,j)表示任意像素点P(i,j)的非彩色标签,S(i,j)、I(i,j)分别表示该像素点P(i,j)的饱和度和亮度分量的值;
当像素点的S和I分量在满足要求的范围内,即相应的标签值等于True时,将该像素点的非彩色标签Achr(i,j)置1,遍历矩形框中所有像素点以得到所有像素点的标签值;当矩形框中标签为1的像素点的个数超过矩形框所有像素点个数的45%时,认为该MSER区域为白色背景的交通标志,否则去除该MSER区域;
步骤4.3,交通标志候选区域的融合及最终交通标志区域的检测;
将步骤4.1、4.2中最终提取的矩形边界框在原始图像上画出;当部分交通标志在灰度图和概率图上均被检测出时,如果两个矩形边界框的面积出现70%以上的重叠,则取步骤4.1中确定的边界框为最终包含交通标志的矩形边界框。
2.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤1.2按颜色和光照条件将交通标志训练样本分为9类样本子集,分类方法如下:
(1)按颜色分为红色、蓝色和黄色三类;
(2)按光照条件分为三类:白天正常光照;白天强烈光照或场景有强烈光源导致交通标志出现反光;弱光照,包括阴雨天气、黄昏、被阴影遮挡;对于某一类颜色,这三个子类中的交通标志数量基本相等,且三个子类中的标志数量不少于30张。
3.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤1.3建立多类颜色直方图的方法如下:
(1)将每个图片样本归一化到同一尺寸,并从RGB颜色空间转换到HSI颜色空间,计算公式为:
H = θ , B ≤ G 360 - θ , B > G
θ = arccos { 1 2 [ ( R - G ) + ( R - B ) ] [ ( R - G ) 2 + ( R - B ) ( G - B ) ] 1 / 2 }
S = 1 - 3 R + G + B [ min ( R , G , B ) ]
I = 1 3 ( R + G + B )
其中,R、G、B是RGB颜色空间中红、绿、蓝三个分量的值,H、S、I是HSI颜色空间色调、饱和度、亮度三个分量的值;R、G、B在计算前归一化到[0,1]范围内;
(2)在各样本子集中建立H、S分量的颜色直方图;
每一个样本子集建立一个二维的直方图,其中x坐标为H分量,y坐标为S分量,而z坐标则为各种H、S分量组合的概率;设定H分量的取值范围为0~360,S分量的取值范围为0~255,本发明将H分量划分为30个等级,将S分量划分为32个等级,将xy平面划分为960个小区域,每个小区域称为一个bins;将z坐标的累加值归一化到0~255范围内,计算公式为:
f(b)=FLOOR(binsVal(b)*255/maxVal)
式中,f(b)表示对应bins归一化后的值,binsVal(b)表示归一化之前对应bins的累加值,maxVal表示所有bins中的最大值,FLOOR表示向下舍入取整运算。
4.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤1.4设定颜色直方图统计范围的公式如下:
Figure FDA0000468868360000035
Figure FDA0000468868360000036
Figure FDA0000468868360000041
式中,Red(i,j)、Blue(i,j)、Yellow(i,j)分别表示任意像素点P(i,j)的红色、蓝色、黄色标签,H(i,j)、S(i,j)分别表示像素点P(i,j)的色调和饱和度分量的值;只有当像素点的H和S分量在满足要求的范围内,即相应的标签值等于True时才将该像素点进行颜色直方图的累加。
5.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤3.2提取彩色交通标志候选区域的方法如下:
(1)按照步骤2所述方法对待检测的原始彩色图像建立概率图;
(2)采用3×3的模板对概率图像进行中值滤波,公式如下:
f 2 ( x , y ) = med f 1 ( x - 1 , y - 1 ) , f 1 ( x - 1 , y ) , f 1 ( x - 1 , y - 1 ) , f 1 ( x , y - 1 ) , f 1 ( x , y ) , f 1 ( x , y + 1 ) , f 1 ( x + 1 , y - 1 ) , f 1 ( x + 1 , y ) , f 1 ( x + 1 , y + 1 ) x > 0 , y > 0
其中,f2(x,y)为滤波后(x,y)点的灰度值,med表示求中值运算,f1(x,y)为灰度化后(x,y)点的灰度值;对于x=0或y=0的点,用灰度值f1(x,y)作为滤波后的灰度值f2(x,y);
(3)对经过中值滤波的概率图像按照步骤3.1(2)所述方法进行MSER特征区域的提取,不同之处在于,阈值范围选择为140~230,在此范围内进行18次阈值分割以提取彩色交通标志的候选区域。
6.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤4建立MSER特征区域矩形边界框的方法如下:
对于每一个MSER区域,找到它的最左边像素点向左3个像素点的位置,最右边像素点向右3个像素点的位置,最上边像素点向上3个像素点的位置和最下边像素点向下3个像素点的位置,根据得到的这4个位置即可得到包含该MSER区域的矩形边界框。
7.根据权利要求1所述的一种室外恶劣光照条件下的快速鲁棒交通标志检测方法,其特征在于,所述步骤4根据MSER区域形状特征去除的非交通标志区域为不满足以下条件的MSER区域:
(1)矩形边界框的宽度范围为30~210,高度范围为30~210,高度与宽度的比值范围为0.5~1.5;
(2)MSER特征区域的周长与其矩形边界框周长的比值范围为0.4~1.3;
(3)MSER区域的面积与其矩形边界框面积的比值范围为0.4~1.0。
CN201410062277.7A 2014-02-24 2014-02-24 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 Active CN103824081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410062277.7A CN103824081B (zh) 2014-02-24 2014-02-24 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410062277.7A CN103824081B (zh) 2014-02-24 2014-02-24 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法

Publications (2)

Publication Number Publication Date
CN103824081A true CN103824081A (zh) 2014-05-28
CN103824081B CN103824081B (zh) 2017-02-08

Family

ID=50759133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410062277.7A Active CN103824081B (zh) 2014-02-24 2014-02-24 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法

Country Status (1)

Country Link
CN (1) CN103824081B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732211A (zh) * 2015-03-19 2015-06-24 杭州电子科技大学 一种基于自适应阈值的交通标志检测方法
CN105787475A (zh) * 2016-03-29 2016-07-20 西南交通大学 一种复杂环境下的交通标志检测与识别方法
CN105893960A (zh) * 2016-03-31 2016-08-24 杭州电子科技大学 基于相位对称性的道路交通标志检测方法
CN106919910A (zh) * 2016-05-12 2017-07-04 江苏科技大学 一种基于hog‑cth组合特征的交通标志识别方法
CN107240112A (zh) * 2017-06-28 2017-10-10 北京航空航天大学 一种复杂场景下个体x角点提取方法
CN107346413A (zh) * 2017-05-16 2017-11-14 北京建筑大学 一种街景影像中的交通标志识别方法和系统
CN107358572A (zh) * 2017-07-12 2017-11-17 杭州字节信息技术有限公司 一种改进型基于战术信息终端的环境光线自适应方法
CN109214434A (zh) * 2018-08-20 2019-01-15 上海萃舟智能科技有限公司 一种交通标志检测方法及装置
CN109409409A (zh) * 2018-09-21 2019-03-01 长沙理工大学 基于hog+cnn的交通标志的实时检测方法
CN109409191A (zh) * 2018-08-24 2019-03-01 广东智媒云图科技股份有限公司 一种基于机器学习的斑马线车辆避让检测方法及系统
CN109409247A (zh) * 2018-09-30 2019-03-01 百度在线网络技术(北京)有限公司 交通标志识别方法和装置
CN109448000A (zh) * 2018-10-10 2019-03-08 中北大学 一种交通指路标志图像的分割方法
CN110310239A (zh) * 2019-06-20 2019-10-08 四川阿泰因机器人智能装备有限公司 一种基于特性值拟合消除光照影响的图像处理方法
CN114782711A (zh) * 2022-06-20 2022-07-22 四川航天职业技术学院(四川航天高级技工学校) 一种基于图像识别的智能化风险检测方法及系统
CN114971285A (zh) * 2022-05-25 2022-08-30 福州大学 一种驾驶环境信息负荷的评价方法及装置、设备、介质
CN114971285B (zh) * 2022-05-25 2024-07-02 福州大学 一种驾驶环境信息负荷的评价方法及装置、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436252A (zh) * 2008-12-22 2009-05-20 北京中星微电子有限公司 一种车辆视频图像中车身颜色识别方法及系统
CN101800890A (zh) * 2010-04-08 2010-08-11 北京航空航天大学 一种高速公路监控场景下多车辆视频跟踪方法
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436252A (zh) * 2008-12-22 2009-05-20 北京中星微电子有限公司 一种车辆视频图像中车身颜色识别方法及系统
CN101800890A (zh) * 2010-04-08 2010-08-11 北京航空航天大学 一种高速公路监控场景下多车辆视频跟踪方法
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙光民等: "自然背景中交通标志的检测与识别", 《北京工业大学学报》 *
李伦波: "自然场景下交通标志检测与分类算法研究", 《哈尔滨工业大学学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732211B (zh) * 2015-03-19 2017-12-08 杭州电子科技大学 一种基于自适应阈值的交通标志检测方法
CN104732211A (zh) * 2015-03-19 2015-06-24 杭州电子科技大学 一种基于自适应阈值的交通标志检测方法
CN105787475A (zh) * 2016-03-29 2016-07-20 西南交通大学 一种复杂环境下的交通标志检测与识别方法
CN105893960A (zh) * 2016-03-31 2016-08-24 杭州电子科技大学 基于相位对称性的道路交通标志检测方法
CN106919910A (zh) * 2016-05-12 2017-07-04 江苏科技大学 一种基于hog‑cth组合特征的交通标志识别方法
CN106919910B (zh) * 2016-05-12 2023-03-24 江苏科技大学 一种基于hog-cth组合特征的交通标志识别方法
CN107346413A (zh) * 2017-05-16 2017-11-14 北京建筑大学 一种街景影像中的交通标志识别方法和系统
CN107240112B (zh) * 2017-06-28 2021-06-22 北京航空航天大学 一种复杂场景下个体x角点提取方法
CN107240112A (zh) * 2017-06-28 2017-10-10 北京航空航天大学 一种复杂场景下个体x角点提取方法
CN107358572A (zh) * 2017-07-12 2017-11-17 杭州字节信息技术有限公司 一种改进型基于战术信息终端的环境光线自适应方法
CN109214434A (zh) * 2018-08-20 2019-01-15 上海萃舟智能科技有限公司 一种交通标志检测方法及装置
CN109409191A (zh) * 2018-08-24 2019-03-01 广东智媒云图科技股份有限公司 一种基于机器学习的斑马线车辆避让检测方法及系统
CN109409409A (zh) * 2018-09-21 2019-03-01 长沙理工大学 基于hog+cnn的交通标志的实时检测方法
CN109409247A (zh) * 2018-09-30 2019-03-01 百度在线网络技术(北京)有限公司 交通标志识别方法和装置
CN109409247B (zh) * 2018-09-30 2022-05-13 阿波罗智联(北京)科技有限公司 交通标志识别方法和装置
CN109448000A (zh) * 2018-10-10 2019-03-08 中北大学 一种交通指路标志图像的分割方法
CN109448000B (zh) * 2018-10-10 2021-07-30 中北大学 一种交通指路标志图像的分割方法
CN110310239A (zh) * 2019-06-20 2019-10-08 四川阿泰因机器人智能装备有限公司 一种基于特性值拟合消除光照影响的图像处理方法
CN110310239B (zh) * 2019-06-20 2023-05-05 四川阿泰因机器人智能装备有限公司 一种基于特性值拟合消除光照影响的图像处理方法
CN114971285A (zh) * 2022-05-25 2022-08-30 福州大学 一种驾驶环境信息负荷的评价方法及装置、设备、介质
CN114971285B (zh) * 2022-05-25 2024-07-02 福州大学 一种驾驶环境信息负荷的评价方法及装置、设备、介质
CN114782711A (zh) * 2022-06-20 2022-07-22 四川航天职业技术学院(四川航天高级技工学校) 一种基于图像识别的智能化风险检测方法及系统

Also Published As

Publication number Publication date
CN103824081B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
DE112013001858B4 (de) Mehrfachhinweis-Objekterkennung und -Analyse
CN105373794B (zh) 一种车牌识别方法
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN101872416B (zh) 对道路图像进行车牌识别的方法和系统
Matas et al. Unconstrained licence plate and text localization and recognition
CN103605977B (zh) 一种车道线的提取方法及装置
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN108520516A (zh) 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN104050450A (zh) 一种基于视频的车牌识别方法
CN112712057B (zh) 交通信号识别方法、装置、电子设备及存储介质
CN102819728A (zh) 一种基于分类模板匹配的交通标志检测方法
Le et al. Real time traffic sign detection using color and shape-based features
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN102880863A (zh) 一种基于可变形部件模型的车牌及驾驶员人脸定位方法
CN103530640A (zh) 基于AdaBoost与SVM的无牌车辆检测方法
CN104182769A (zh) 一种车牌检测方法及系统
CN108664969A (zh) 基于条件随机场的路标识别方法
Do et al. Speed limit traffic sign detection and recognition based on support vector machines
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
CN102142090B (zh) 车辆检测方法和系统
Karungaru et al. Road traffic signs recognition using genetic algorithms and neural networks
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Sisi

Inventor before: Xin Le

Inventor before: Fang Shengchao

Inventor before: Gao Jiangjie

Inventor before: Chen Yangzhou

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170914

Address after: 300450 Binhai New China Trade Center, 923 Binhe Road, Binhai New Area, Tianjin, Tanggu

Patentee after: Li Sisi

Address before: 100124 Chaoyang District, Beijing Ping Park, No. 100

Patentee before: Beijing University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180408

Address after: 226156 Nantong Binhai New Area, Haimen City, Hong Kong West Road, No. 999, No.

Patentee after: HAIMEN HUANGHAI PIONEER PARK SERVICES CO., LTD.

Address before: 300450 Binhai New China Trade Center, 923 Binhe Road, Binhai New Area, Tianjin, Tanggu

Patentee before: Li Sisi