CN113989771A - 一种基于数字图像处理的交通信号灯识别方法 - Google Patents
一种基于数字图像处理的交通信号灯识别方法 Download PDFInfo
- Publication number
- CN113989771A CN113989771A CN202111250862.6A CN202111250862A CN113989771A CN 113989771 A CN113989771 A CN 113989771A CN 202111250862 A CN202111250862 A CN 202111250862A CN 113989771 A CN113989771 A CN 113989771A
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- image
- lamp
- traffic signal
- arrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 239000003086 colorant Substances 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000000903 blocking effect Effects 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 102000018884 Golgi Matrix Proteins Human genes 0.000 description 1
- 108010052778 Golgi Matrix Proteins Proteins 0.000 description 1
- 108010015780 Viral Core Proteins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Abstract
本发明公开了一种基于数字图像处理的交通信号灯识别方法，包括：构建车载前方图像采集系统；对待识别的图像进行预处理，进而二值化，定位出信号灯板和信号灯亮块；独立的信号灯块区域；标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域；在检测感兴趣区域中，删除干扰亮块，提取出信号灯灯块；采用阈值法对信号灯颜色进行分类；判断两类信号灯形状；对于圆形信号灯，结合颜色信息得出信号灯指示结果；对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终的信号灯指示结果。本发明有效提高了交通信号灯自动识别的精度和实时性。
Description
技术领域
本发明涉及一种交通信号灯的自动识别方法，具体涉及一种基于数字图像处理的交通信号灯识别方法。
背景技术
交通信号灯自动识别系统是智能道路运输安全系统的关键组成部分，同时也是无人驾驶技术能够安全可靠运行的主要保障之一。信号灯的检测与识别是交通信号灯自动识别系统的两大核心技术。针对该领域的研究现状，对信号灯检测与识别需要进行深入的分析与思考，设计出能够自动获取所在道路上交通信号灯指示信息的算法，从而使驾驶员将更多的精力投入到车辆驾驶上，同时也能帮助视觉较弱和色觉辨识度不高的群体享受开车的便利，因此，开展对该课题的研究具有十分重要的研究意义。
目前，国内外许多研究人员对交通信号灯的自动识别展开了广泛的研究，提出了多种交通信号灯自动识别的有效方法。谷明琴等人采用YCrCb彩色模型，在Cb和Cr通道下对交通信号灯进行阈值分割，通过统计像素点的数量判断信号灯的颜色，再采用最邻近分类器方法识别方向。该方法仅考虑信号灯灯体，未加入信号灯的面板作为约束条件，因此，该方法的误检率较高。四川大学的李佳阳等人以亮度特征作为约束条件，对信号灯进行分割和提取，结合最优阈值的思路，实现了对信号灯的定位。采用HIS彩色空间的H通道颜色信息的约束，进而确定信号灯的颜色信息。然后，进行形状匹配以此确定信号灯的形状特征，最终判定交通信号灯的状态。国外学者jin.Hyung Park等人提出了一种有效的信号灯识别算法，该算法首先在彩色空间的颜色通道中提取属于信号灯的像素点，然后，采用k均值方法(k-means)进行聚类实现信号灯灯块的定位，再对信号灯灯块区域进行形状检测。最后，加入交通信号灯的背板特征，用于排除其他干扰亮块。该方法的创新之处为其利用了帧间跟踪方法，对误删和漏检的信号灯块进行修正和补充，再利用算法的最优解公式计算出现最优结果，由此有效提高了信号灯的检测率。但是，该方法受周围环境和天气条件的影响比较大，信号灯的误检率较高，算法的鲁棒性有待提高。
综上所述，对交通信号灯的自动识别方法主要有两大类，即侧重于采用颜色特征或者侧重采用形状特征识别信号灯。由于交通信号灯的颜色与周围环境的颜色对比度较大，基于颜色特征的信号灯识别方法能够取得较好的识别效果，但是，该类方法受光照和天气条件的影响会导致信号灯颜色失真，无法应用在在复杂光照环境下的信号灯识别。基于形态特征的信号灯识别方法可以克服信号灯颜色失真等因素，但是，自然场景中存在很多与信号灯形状相似的干扰物体，或者信号灯的轮廓被遮挡无法完整检测时都将降低信号灯的识别率。
发明内容
本发明的目的在于克服现有技术的不足，提供一种交通信号灯的自动识别方法，在图像采集系统、图像增强和滤波降噪的预处理、信号灯灯板和灯块检测区域定位、基于颜色和形状特征的信号灯目标灯块提取的前提下，通过灯块的形状特征进行的箭头形信号灯的方向判定，并在此基础上结合颜色特征输出信号灯的指示结果，有效提高了交通信号灯自动识别的精度和实时性。
本发明的目的是通过以下技术方案来实现的：
一种基于数字图像处理的交通信号灯识别方法，包括以下步骤：
S1.构建车载前方图像采集系统；
S2.采集若干张包含交通信号灯的图像，对采集的待识别的图像进行预处理；
S3.对预处理后的图像进行二值化，定位出信号灯板和信号灯亮块；
S4.采用形态学方法提取独立的信号灯块区域，并设置为下一步信号灯检测的候选目标；
S5.基于摄像头的安装位置标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域；
S6.在检测感兴趣区域中，基于候选信号灯块的位置、最小外接矩形的形状、面积特征删除干扰亮块，提取出信号灯灯块；
S7.基于HSV彩色模式中，采用阈值法对信号灯颜色进行分类；
S8.基于信号灯块面积与最小外接矩形框面积的比值关系，判断两类信号灯形状，即圆形和箭头形；
S9.对于圆形信号灯，结合颜色信息得出信号灯指示结果；对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终信号灯指示结果。
本发明进一步的改进在于，步骤S1所述的图像采集系统的具体实现方法如下：
考虑到图像质量和检测系统的稳定性，选用型号为IMX274的模块相机作为系统的图像采集模块，采用吸盘固定在前挡风玻璃，摄像头外壳设置为可调整上下俯仰角和左右偏向角，摄像头的镜头选用可变焦镜头，且能够灵活调整拍摄图像的亮度和颜色的饱和度。
本发明进一步的改进在于，步骤S2所述的图像预处理的具体实现方法如下：
S201.采集若干张包含交通信号灯的图像，原图像为RGB图，由红、绿和蓝三基色组成，将原RGB图像转换为HSV颜色模式，转换过程表示如下：
R′＝R/255 (1)
G′＝G/255 (2)
B′＝B/255 (3)
Cmax＝max(R′,G′,B′) (4)
Cmin＝min(R′,G′,B′) (5)
Δ＝Cmax-Cmin (6)
V＝Cmax(9)
S202.将S201步得到的HSV彩色图进行三通道分离处理，即得到H、S和V三个分量的灰度图，将三个分量的灰度图直方图进行合成得到总直方图，采用限制对比度直方图均衡算法对上述得出的总直方图进行均衡化；
S203.采用中值滤波法进行去噪，将HSV颜色模式的图像进行三通道分离，对各个通道图像的所有像素点按矩形形状全搜索方式进行中值滤波，即将各像素点的值由其邻域的像素点通过累加取中值计算得出。
本发明进一步的改进在于，步骤S3所述的对预处理后的图像进行二值化，定位出交通信号灯板和信号灯灯块的具体实现方法如下：
S301.在S201～S203的基础上，提取HSV的亮度分量V，对V做分割处理；
S302.在V分量中，截取大量图像中交通信号灯灯板区域，统计此类区域的V分量直方图，得到交通信号灯灯板的分割阈值范围为[m1,m2]，其中，m1为最小阈值，m2为最大阈值；将V分量图像进行分割，落于阈值范围内的像素点归类为灯板目标点，置为255，落于阈值范围外的像素点为背景，置为0，由此得到以交通信号灯灯板为目标的二值图；
S303.将S302步骤得出的二值图做取反运算，得到交通信号灯板为黑色区域的二值图；
S304.将信号灯灯板分割二值图和灯块分割二值图求交集，得到灯块为白色像素点，信号灯板为黑色像素点的二值图。
本发明进一步的改进在于，步骤S4所述的采用形态学方法提取独立的信号灯块区域，并设置为下一步信号灯检测的候选目标的具体实现方法如下：
S401.由S301～S304得到目标二值图中，信号灯灯块区域经常出现中心处存在小孔的情况，对二值图做孔洞填充的形态学处理，方法为：先提取孔洞当中的一个点，然后不断地用结构元去膨胀，再和原图像的补集求交集，重复此过程，直至图形不再改变，最后再与原图求交集；
S402.由S301～S304得到目标二值图，对目标像素点进行连通标注，并提取每个连通区域的面积、周长、质心位置、最小外接矩形坐标等属性，将这类连通区域作为信号灯候选目标区域。
本发明进一步的改进在于，步骤S5所述的基于摄像头的安装位置标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域的具体实现方法如下：
选择任意一张包含交通信号灯的图像作为样本图，选取图像的交通信号灯灯板所在区域作为模板，对灯板及灯块区域所在矩形框的四个顶点的位置坐标进行标记，计算出灯板的宽高及灯块的中点位置，作为后期筛选候选信号灯块的参考阈值参数，根据灯板的标定位置作设定缩放得到信号灯块的检测感兴趣区域。
本发明进一步的改进在于，步骤S6所述的在检测感兴趣区域中，基于候选信号灯块的位置、最小外接矩形的形状、面积特征删除干扰亮块，提取出信号灯灯块的具体实现方法如下：
在信号灯块的检测感兴趣区域中，对候选信号灯块做筛选，将候选信号灯块的相关特征与预设阈值进行比较，判断候选信号灯块是否满足预设阈值：
若是，则归类为信号灯目标块；
若否，则归类为干扰区域，予以删除；
若所有候选信号灯块均不满足限制条件，则认为未识别到信号灯，返回步骤S2进行下一张待识别图像的预处理。
本发明进一步的改进在于，步骤S7所述的基于HSV彩色模式中，采用阈值法对信号灯颜色进行分类的具体实现方法如下：
S701.选择多张包含交通信号灯图像作为样本图，截取三种颜色信号灯的光源部分；
S702.按照S201～S202步骤，将光源图像从RGB通道转换为HSV彩色模型并进行图像增强；
S703.在HSV模型中，统计图像增强后的光源图像三通道的取值范围，即为该颜色信号灯的阈值，并统计多组数据，进行均值化处理，将均值作为判决信号灯颜色的阈值；
S704.逐个完成信号灯颜色提取之后，将三种颜色信号灯进行排序，按照从左至右的顺序排序，形成最后的颜色识别结果。
本发明进一步的改进在于，步骤S8所述的基于信号灯块面积与最小外接矩形框面积的比值关系，判断两类信号灯形状，即圆形和箭头形的具体实现方法如下：
圆形只包含颜色信息，箭头型则包含颜色和方向两种信息，根据得出的信号灯及其特征值，计算信号灯面积与其最小外接矩形面积的比值，与预设阈值比较，若满足限制条件，则归类为圆形灯体，反之，归类为箭头形灯体。
本发明进一步的改进在于，步骤S9所述的对于圆形信号灯，结合颜色信息得出信号灯指示结果，对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终信号灯指示结果的具体实现方法如下：
S901.若步骤S9得出的圆形信号灯，结合S7步骤得到的颜色信息，即可得出信号灯的指示结果；若步骤S9得出的箭头形信号灯，结合S7步骤得到的颜色信息，进一步对箭头的方向进行判别；
S902.构建箭头形信号灯几何模型，通过分析箭头形信号灯的二值图像，基于其边缘特征和外形条件，建立一个箭头形交通信号灯的几何模型；
S903.对箭头形信号灯的几何模型进行分块，截取交通信号灯的矩形图，将矩形图形态学处理后，再将交通信号灯的矩形部分分割为四个区域；
S904.对上述划分的四个区域内的白色像素点进行求和，通过对比四个区域的像素点关系判断箭头的指示方向；再结合信号灯的颜色信息，输出最终的信号灯指示结果，实现交通信号灯的自动识别功能。
本发明至少具有如下有益的技术效果：
本发明提出了一种基于数字图像处理的交通信号灯识别方法。交通信号灯作为用于指挥交通的工具，在日常生活中极为重要，不同地域选用的信号灯样式不尽相同，但其样式和安装方法都必须遵循一定的规定。基于数字图像处理的交通信号灯识别方法具有算法易于实现，实时性强，信号灯自动识别的精度高等特性，同时，视频采集系统具有价格低廉的优势，大大降低了信号灯自动识别系统的成本。
进一步，搭建了图像采集系统，对待识别图像进行了图像增强和滤波降噪的预处理，提高了图像的质量，基于HSV颜色模型中V分量提取信号灯灯板，由此定位出交通信号灯的检测区域，有效降低信号灯识别环节的干扰，提高了识别效率，在信号灯灯块提取的前提下，通过灯块的形状特征进行圆形和箭头形信号灯分类，以及箭头形信号灯的方向判定，并在此基础上结合颜色特征输出信号灯的指示结果，有效提高了交通信号灯自动识别的精度和实时性，有很好的工程应用价值。
附图说明
图1是本发明一个实施例的图像采集的原图；
图2是本发明一个实施例的图像增强后的效果图；
图3为本发明一个实施例的颜色模式转换后效果图；
图4为本发明一个实施例的V分量的中值滤波效果图；-
图5为本发明一个实施例在V通道下灯板的阈值统计图；
图6为本发明一个实施例在V通道下灯板阈值分割后的效果图；
图7为本发明一个实施例的V通道下灯块阈值分割后效果图；
图8为本发明一个实施例的灯板和灯块联合阈值分割二值图；
图9为本发明一个实施例的箭头形信号灯的几何模型图；
图10为本发明一个实施例的箭头形信号灯的分块模型图；
图11为本发明一个实施例的红灯识别结果图；
图12为本发明一个实施例的黄灯识别结果图；
图13为本发明一个实施例的绿灯识别结果图；
图14为本发明的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1和图14所示，本发明提供的一种基于数字图像处理的交通信号灯识别方法，包括以下步骤：
S1.构建车载前方图像采集系统；
S2.采集若干张包含交通信号灯的图像，对采集的待识别的图像进行预处理；
S3.对预处理后待识别的图像进行二值化，定位出信号灯板和信号灯亮块；
S4.采用形态学方法提取独立的信号灯块区域，并设置为下一步信号灯检测的候选目标；
S5.基于摄像头的安装位置标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域；
S6.在检测感兴趣区域中，基于候选信号灯块的位置、最小外接矩形的形状、面积等特征删除干扰亮块，提取出信号灯灯块；
S7.基于HSV彩色模式中，采用阈值法对信号灯颜色进行分类；
S8.基于信号灯块面积与最小外接矩形框面积的比值关系，判断两类信号灯形状，即圆形和箭头形；
S9.对于圆形信号灯，结合颜色信息得出信号灯指示结果；对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终信号灯指示结果。
在本申请的实施例中，所述步骤S1包括：
考虑到图像质量和检测系统的稳定性，选用型号为IMX274的模块相机作为系统的图像采集模块。采用吸盘固定在前挡风玻璃，摄像头外壳设置为可调整上下俯仰角和左右偏向角。摄像头的镜头选用可变焦镜头，可以灵活调整拍摄图像的亮度和颜色的饱和度。这种固定方法的优点是使摄像头的拍摄位置可调，摄像头的图片质量调整变得灵活简单，采集的图像效果如图1所示。
在本申请的实施例中，所述步骤S2包括：
S201.获取若干张包含交通信号灯的图像，原图像为RGB图，由红(R)、绿(G)、蓝(B)三基色组成，通过大量实验发现原图转换到HSV颜色模式的图像，图中交通信号灯的颜色的对比度更大，有利于后期提取交通信号灯感兴趣区域，因此，将原RGB图像转换为HSV颜色模式，转换过程表示如下：
R′＝R/255 (1)
G′＝G/255 (2)
B′＝B/255 (3)
Cmax＝max(R′,G′,B′) (4)
Cmin＝min(R′,G′,B′) (5)
Δ＝Cmax-Cmin (6)
V＝Cmax (9)
S202.将S201步得到的HSV彩色图进行三通道分离处理，即得到H、S、V三个分量的灰度图，将三个分量的灰度图直方图进行合成得到总直方图。采用限制对比度直方图均衡(CLAHE)算法对上述得出的总直方图进行均衡化。该方法可有效改进图像的局部对比度以及获得更多的图像细节，同时能够抑制噪音的增强，图像增强后的效果图如图2所示。
S203.在图像采集和传输过程中，受周围环境影响，采集的图像噪声多，严重的会导致图像部分特征丢失或改变，不利于交通信号灯目标识别方法的实现。为此，采用中值滤波法进行去噪，图3为颜色模式转换后的效果图，将HSV颜色模式的图像进行三通道分离，对各个通道图像的所有像素点按矩形形状全搜索方式进行中值滤波，即将各像素点的值由其邻域的像素点通过累加取中值计算得出，V分量的中值滤波效果图如图4所示。
在本申请的实施例中，所述步骤S3包括：
S301.在S201～S203的基础上，提取HSV的亮度分量V，对V做分割处理；
S302.在V分量中，截取大量图像中交通信号灯灯板区域，统计此类区域的V分量直方图如图5所示；得到交通信号灯灯板的分割阈值范围为[m1,m2]，其中，m1为最小阈值，m2为最大阈值。将V分量图像进行分割，落于阈值范围内的像素点归类为灯板目标点，置为255，落于阈值范围外的像素点为背景，置为0，由此得到以交通信号灯灯板为目标的二值图像，图6为V通道下灯板阈值分割后的效果图，图7为V通道下灯块阈值分割后效果图；
S303.将S302步骤得出的二值图做取反运算，得到交通信号灯板为黑色区域的二值图；
S304.将信号灯灯板分割二值图和灯块分割二值图求交集，得到灯块为白色像素点，信号灯板为黑色像素点的二值图，图8为信号灯板和信号灯块的分割效果图；
在本申请的实施例中，所述步骤S4包括：
S401.由S301～S304得到目标二值图中，信号灯灯块区域经常出现中心处存在小孔的情况，对二值图做孔洞填充的形态学处理，方法为：先提取孔洞当中的一个点，然后不断地用结构元去膨胀，再和原图像的补集求交集，重复此过程，直至图形不再改变，最后再与原图求交集；
S402.由S301～S304得到目标二值图，对目标像素点进行连通标注，并提取每个连通区域的面积、周长、质心位置、最小外接矩形坐标等属性，将这类连通区域作为信号灯候选目标区域。
在本申请的实施例中，所述步骤S5包括：
选择任意一张包含交通信号灯的图像作为样本图，选取图像的交通信号灯灯板所在区域作为模板。对灯板及灯块区域所在矩形框的四个顶点的位置坐标进行标记，计算出灯板的宽高及灯块的中点位置，作为后期筛选候选信号灯块的参考阈值参数。根据灯板的标定位置作一定缩放得到信号灯块的检测感兴趣区域。
在本申请的实施例中，所述步骤S6包括：
在信号灯块的检测感兴趣区域中，对候选信号灯块做筛选，将候选信号灯块的相关特征与预设阈值进行比较，判断候选信号灯块是否满足预设阈值：
若是，则归类为信号灯目标块；
若否，则归类为干扰区域，予以删除。
若所有候选信号灯块均不满足限制条件，则认为未识别到信号灯，返回步骤S2进行下一张待识别图像的预处理。
在本申请的实施例中，所述步骤S7包括：
S701.选择多张包含交通信号灯图像作为样本图，截取三种颜色信号灯的光源部分；
S702.按照S201～S202步骤，将光源图像从RGB通道转换为HSV彩色模型并进行图像增强；
S703.在HSV模型中，统计图像增强后的光源图像三通道的取值范围，即为该颜色信号灯的阈值，并统计多组数据，进行均值化处理，将均值作为判决信号灯颜色的阈值；
S704.逐个完成信号灯颜色提取之后，将三种颜色信号灯进行排序，按照从左至右的顺序排序，形成最后的颜色识别结果；
在本申请的实施例中，所述步骤S8包括：
圆形只包含颜色信息，箭头型则包含颜色和方向两种信息。经过以上步骤得出信号灯及其特征值，计算信号灯面积与其最小外接矩形面积的比值，与预设阈值比较，若满足限制条件，则归类为圆形灯体，反之，归类为箭头形灯体；
在本申请的实施例中，所述步骤S9包括：
S901.若步骤S9得出的圆形信号灯，结合S7步骤得到的颜色信息，即可得出信号灯的指示结果；若步骤S9得出的箭头形信号灯，结合S7步骤得到的颜色信息，还需进一步对箭头的方向进行判别。
S902.构建箭头形信号灯几何模型如图9所示，通过分析箭头形信号灯的二值图像，基于其边缘特征和外形条件，建立一个箭头形交通信号灯的几何模型；
S903.对箭头形信号灯的几何模型进行分块，分块模型图如图10所示，截取交通信号灯的矩形图，将矩形图形态学处理后，再将交通信号灯的矩形部分分割为四个区域；
S904.对上述划分的四个区域内的白色像素点进行求和，通过对比四个区域的像素点关系判断箭头的指示方向；再结合信号灯的颜色信息，输出最终的信号灯指示结果，实现交通信号灯的自动识别功能，信号灯识别效果分别如图11～13所示。
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于数字图像处理的交通信号灯识别方法，其特征在于，包括以下步骤：
S1.构建车载前方图像采集系统；
S2.采集若干张包含交通信号灯的图像，对采集的待识别的图像进行预处理；
S3.对预处理后的图像进行二值化，定位出信号灯板和信号灯亮块；
S4.采用形态学方法提取独立的信号灯块区域，并设置为下一步信号灯检测的候选目标；
S5.基于摄像头的安装位置标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域；
S6.在检测感兴趣区域中，基于候选信号灯块的位置、最小外接矩形的形状、面积特征删除干扰亮块，提取出信号灯灯块；
S7.基于HSV彩色模式中，采用阈值法对信号灯颜色进行分类；
S8.基于信号灯块面积与最小外接矩形框面积的比值关系，判断两类信号灯形状，即圆形和箭头形；
S9.对于圆形信号灯，结合颜色信息得出信号灯指示结果；对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终信号灯指示结果。
2.根据权利要求1所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S1所述的图像采集系统的具体实现方法如下：
考虑到图像质量和检测系统的稳定性，选用型号为IMX274的模块相机作为系统的图像采集模块，采用吸盘固定在前挡风玻璃，摄像头外壳设置为可调整上下俯仰角和左右偏向角，摄像头的镜头选用可变焦镜头，且能够灵活调整拍摄图像的亮度和颜色的饱和度。
3.根据权利要求1所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S2所述的图像预处理的具体实现方法如下：
S201.采集若干张包含交通信号灯的图像，原图像为RGB图，由红、绿和蓝三基色组成，将原RGB图像转换为HSV颜色模式，转换过程表示如下：
R′＝R/255 (1)
G′＝G/255 (2)
B′＝B/255 (3)
Cmax＝max(R′，G′，B′) (4)
Cmin＝min(R′，G′，B′) (5)
Δ＝Cmax-Cmin (6)
V＝Cmax (9)
S202.将S201步得到的HSV彩色图进行三通道分离处理，即得到H、S和V三个分量的灰度图，将三个分量的灰度图直方图进行合成得到总直方图，采用限制对比度直方图均衡算法对上述得出的总直方图进行均衡化；
S203.采用中值滤波法进行去噪，将HSV颜色模式的图像进行三通道分离，对各个通道图像的所有像素点按矩形形状全搜索方式进行中值滤波，即将各像素点的值由其邻域的像素点通过累加取中值计算得出。
4.根据权利要求3所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S3所述的对预处理后的图像进行二值化，定位出交通信号灯板和信号灯灯块的具体实现方法如下：
S301.在S201～S203的基础上，提取HSV的亮度分量V，对V做分割处理；
S302.在V分量中，截取大量图像中交通信号灯灯板区域，统计此类区域的V分量直方图，得到交通信号灯灯板的分割阈值范围为[m1，m2]，其中，m1为最小阈值，m2为最大阈值；将V分量图像进行分割，落于阈值范围内的像素点归类为灯板目标点，置为255，落于阈值范围外的像素点为背景，置为0，由此得到以交通信号灯灯板为目标的二值图；
S303.将S302步骤得出的二值图做取反运算，得到交通信号灯板为黑色区域的二值图；
S304.将信号灯灯板分割二值图和灯块分割二值图求交集，得到灯块为白色像素点，信号灯板为黑色像素点的二值图。
5.根据权利要求4所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S4所述的采用形态学方法提取独立的信号灯块区域，并设置为下一步信号灯检测的候选目标的具体实现方法如下：
S401.由S301～S304得到目标二值图中，信号灯灯块区域经常出现中心处存在小孔的情况，对二值图做孔洞填充的形态学处理，方法为：先提取孔洞当中的一个点，然后不断地用结构元去膨胀，再和原图像的补集求交集，重复此过程，直至图形不再改变，最后再与原图求交集；
S402.由S301～S304得到目标二值图，对目标像素点进行连通标注，并提取每个连通区域的面积、周长、质心位置、最小外接矩形坐标等属性，将这类连通区域作为信号灯候选目标区域。
6.根据权利要求5所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S5所述的基于摄像头的安装位置标定出信号灯板及信号灯的检测区域，设置为检测感兴趣区域的具体实现方法如下：
选择任意一张包含交通信号灯的图像作为样本图，选取图像的交通信号灯灯板所在区域作为模板，对灯板及灯块区域所在矩形框的四个顶点的位置坐标进行标记，计算出灯板的宽高及灯块的中点位置，作为后期筛选候选信号灯块的参考阈值参数，根据灯板的标定位置作设定缩放得到信号灯块的检测感兴趣区域。
7.根据权利要求6所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S6所述的在检测感兴趣区域中，基于候选信号灯块的位置、最小外接矩形的形状、面积特征删除干扰亮块，提取出信号灯灯块的具体实现方法如下：
在信号灯块的检测感兴趣区域中，对候选信号灯块做筛选，将候选信号灯块的相关特征与预设阈值进行比较，判断候选信号灯块是否满足预设阈值：
若是，则归类为信号灯目标块；
若否，则归类为干扰区域，予以删除；
若所有候选信号灯块均不满足限制条件，则认为未识别到信号灯，返回步骤S2进行下一张待识别图像的预处理。
8.根据权利要求7所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S7所述的基于HSV彩色模式中，采用阈值法对信号灯颜色进行分类的具体实现方法如下：
S701.选择多张包含交通信号灯图像作为样本图，截取三种颜色信号灯的光源部分；
S702.按照S201～S202步骤，将光源图像从RGB通道转换为HSV彩色模型并进行图像增强；
S703.在HSV模型中，统计图像增强后的光源图像三通道的取值范围，即为该颜色信号灯的阈值，并统计多组数据，进行均值化处理，将均值作为判决信号灯颜色的阈值；
S704.逐个完成信号灯颜色提取之后，将三种颜色信号灯进行排序，按照从左至右的顺序排序，形成最后的颜色识别结果。
9.根据权利要求8所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S8所述的基于信号灯块面积与最小外接矩形框面积的比值关系，判断两类信号灯形状，即圆形和箭头形的具体实现方法如下：
圆形只包含颜色信息，箭头型则包含颜色和方向两种信息，根据得出的信号灯及其特征值，计算信号灯面积与其最小外接矩形面积的比值，与预设阈值比较，若满足限制条件，则归类为圆形灯体，反之，归类为箭头形灯体。
10.根据权利要求9所述的一种基于数字图像处理的交通信号灯识别方法，其特征在于，步骤S9所述的对于圆形信号灯，结合颜色信息得出信号灯指示结果，对于箭头形信号灯，采用建立箭头形信号灯模型，对模型进行分块处理，再基于不同区域中目标像素点的分布情况进行方向的判断，结合前期颜色信息输出最终信号灯指示结果的具体实现方法如下：
S901.若步骤S9得出的圆形信号灯，结合S7步骤得到的颜色信息，即可得出信号灯的指示结果；若步骤S9得出的箭头形信号灯，结合S7步骤得到的颜色信息，进一步对箭头的方向进行判别；
S902.构建箭头形信号灯几何模型，通过分析箭头形信号灯的二值图像，基于其边缘特征和外形条件，建立一个箭头形交通信号灯的几何模型；
S903.对箭头形信号灯的几何模型进行分块，截取交通信号灯的矩形图，将矩形图形态学处理后，再将交通信号灯的矩形部分分割为四个区域；
S904.对上述划分的四个区域内的白色像素点进行求和，通过对比四个区域的像素点关系判断箭头的指示方向；再结合信号灯的颜色信息，输出最终的信号灯指示结果，实现交通信号灯的自动识别功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111250862.6A CN113989771A (zh) | 2021-10-26 | 2021-10-26 | 一种基于数字图像处理的交通信号灯识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111250862.6A CN113989771A (zh) | 2021-10-26 | 2021-10-26 | 一种基于数字图像处理的交通信号灯识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989771A true CN113989771A (zh) | 2022-01-28 |
Family
ID=79741968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111250862.6A Pending CN113989771A (zh) | 2021-10-26 | 2021-10-26 | 一种基于数字图像处理的交通信号灯识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989771A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631160A (zh) * | 2022-10-19 | 2023-01-20 | 武汉海微科技有限公司 | Led灯故障检测方法、装置、设备及存储介质 |
| CN116152785A (zh) * | 2023-04-24 | 2023-05-23 | 之江实验室 | 一种基于cbam结合hsb模式的交通信号灯检测方法和系统 |
-
2021
- 2021-10-26 CN CN202111250862.6A patent/CN113989771A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631160A (zh) * | 2022-10-19 | 2023-01-20 | 武汉海微科技有限公司 | Led灯故障检测方法、装置、设备及存储介质 |
| CN116152785A (zh) * | 2023-04-24 | 2023-05-23 | 之江实验室 | 一种基于cbam结合hsb模式的交通信号灯检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105809138B (zh) | 一种基于分块识别的道路警告标志检测与识别方法 | |
| CN111582216B (zh) | 一种无人驾驶车载交通信号灯识别系统及方法 | |
| CN109886896B (zh) | 一种蓝色车牌分割与矫正方法 | |
| CN108108761B (zh) | 一种基于深度特征学习的快速交通信号灯检测方法 | |
| CN109657632B (zh) | 一种车道线检测识别方法 | |
| CN109299674B (zh) | 一种基于车灯的隧道违章变道检测方法 | |
| CN111666834A (zh) | 一种基于图像识别技术的森林火灾自动监测识别系统及方法 | |
| CN110688907B (zh) | 基于夜间道路光源识别物体的方法及装置 | |
| CN113989771A (zh) | 一种基于数字图像处理的交通信号灯识别方法 | |
| CN109215364B (zh) | 交通信号识别方法、系统、设备和存储介质 | |
| CN102982350A (zh) | 一种基于颜色和梯度直方图的台标检测方法 | |
| CN106709412B (zh) | 交通标志检测方法和装置 | |
| CN107563301A (zh) | 基于图像处理技术的红灯信号检测方法 | |
| CN104408424A (zh) | 一种基于图像处理的多信号灯识别方法 | |
| CN110427979B (zh) | 基于K-Means聚类算法的道路水坑识别方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN111401364B (zh) | 一种基于颜色特征和模板匹配相结合的车牌定位算法 | |
| CN114241438B (zh) | 一种基于先验信息的交通信号灯快速精确的识别方法 | |
| CN107886033B (zh) | 识别圆形交通灯的方法、装置及车辆 | |
| CN111723805B (zh) | 一种信号灯的前景区域识别方法及相关装置 | |
| CN109766846B (zh) | 一种基于视频的自适应多车道车流检测方法及系统 | |
| CN109800641B (zh) | 基于阈值自适应二值化和连通域分析的车道线检测方法 | |
| CN107016343A (zh) | 一种基于贝尔格式图像的红绿灯快速识别方法 | |
| CN107507140A (zh) | 基于特征融合的高速公路露天场景车辆阴影干扰抑制方法 | |
| CN109800693B (zh) | 一种基于颜色通道混合特征的夜间车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |