CN108304813A - 一种智能识别圆形交通信号灯状态的方法 - Google Patents
一种智能识别圆形交通信号灯状态的方法 Download PDFInfo
- Publication number
- CN108304813A CN108304813A CN201810126429.3A CN201810126429A CN108304813A CN 108304813 A CN108304813 A CN 108304813A CN 201810126429 A CN201810126429 A CN 201810126429A CN 108304813 A CN108304813 A CN 108304813A
- Authority
- CN
- China
- Prior art keywords
- max
- color
- image
- traffic lights
- green
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013461 design Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 208000036693 Color-vision disease Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 201000007254 color blindness Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种智能识别圆形交通信号灯状态的方法,首先对道路图像序列进行预处理,重点是进行色彩分量滤波。随后利用字典学习获取的HSV颜色空间中合适阈值进行颜色分割,得到三张二值化图像,省略常规的灰度图像处理操作。其次,基于圆形交通灯的特征设计动态多级滤波器。进行动态滤波操作,快速筛选出交通灯候选连通区域。最后,运用黑体增长遮掩法在图像中标定信号灯图像,随后分析标定图像的颜色直方图,计算颜色判别系数并利用其规则得出交通信号灯状态。能快速的对交通灯实时状态进行有效的判定,有助于智能车辆对当前交通灯信息的读取,可用于智能驾驶中对交通灯显示状态的获取,在智能驾驶领域具有极大的应用价值。
Description
技术领域
本发明涉及交通道路信号灯图像处理方法,特别是一种智能识别圆形交通信号灯状态的方法。
背景技术
交通信号灯识别作为无人驾驶汽车辅助驾驶的重要组成部分,受到了广泛的关注。圆形交通信号灯是最常见的信号灯形式,实时、准确的识别圆形交通信号灯状态有利于汽车辅助驾驶系统的发展,乃至无人驾驶的发展。因此,圆形交通灯识别具有重要的研究价值与广泛的应用前景。其现实意义主要集中体现在以下三个方面:
1、为无人驾驶车辆提供实时的路口交通信息,是无人驾驶系统不可或缺的重要部分。
2、能够作为辅助驾驶工具给驾驶员提供及时的路口交通信息,避免驾驶人员因疲劳驾驶或者疏忽而对路面交通信号灯信息产生错误判断。
3、世界上的每100人中就有5人有患有色盲,圆形交通信号的智能识别可以使色弱、色盲人群驾驶汽车成为可能。
由于光照、相机的曝光率和城市环境的复杂度等因素的影响,很难找到统一的阈值来分割红绿黄交通信号灯的颜色。同时,复杂的城市道路中有许多干扰识别的因素,比如圆形的汽车尾灯,圆形的广告牌均会产生干扰。一些学者认为,应该基于车联网设计一种即时的信息交换技术,将当前的路口交通信息由各个路口安装的路基设备发送给智能车辆。但是路基设备的搭建需要耗费大量的人力物力,且后期仍需人员进行维护。因此基于图像处理的圆形交通信号灯识别还是一个较为现实可行的应用方法。目前大量的识别方法是利用模板匹配和支持向量机来进行分类操作,但这两种方法均有缺点。模板匹配识别对建立的模板异常敏感,识别对象稍有变化便可能导致模板匹配不成功,导致识别失败。训练样本的质量会限制支持向量机的性能,在复杂的识别场景下,当训练不够或样本质量不优时,可能会导致支持向量机丧失识别能力。
发明内容
针对上述现有方法存在的缺陷和不足,本发明的目的在于,提供一种智能识别圆形交通信号灯状态的方法。重点考虑利用路口图像中圆形交通灯的颜色和几何特征进行有效的识别。
为了实现上述任务,本发明采取如下技术解决方案:
一种智能识别圆形交通信号灯状态的方法,其特征在于,该方法首先对道路图像序列进行预处理,重点是进行色彩分量滤波;随后利用字典学习获取的HSV颜色空间中合适阈值进行颜色分割,得到三张二值化图像,省略常规的灰度图像处理操作;其次,基于圆形交通灯的特征设计动态多级滤波器,进行动态滤波操作,快速筛选出交通灯候选连通区域;最后,运用黑体增长遮掩法在图像中标定信号灯图像,随后分析标定图像的颜色直方图,计算颜色判别系数并利用其规则得出交通信号灯状态。
根据本发明,具体处理步骤如下:
1)图像预处理
设图像高度为high,以图像左上角作为坐标原点,取裁剪后图像高度得到裁剪图像;
随后进行颜色空间变换,将图像转换至HSV颜色空间
针对转换颜色空间后由非交通灯颜色干扰而引入的部分噪声,对得到的图像进行色彩分量滤波
在HSV颜色空间中利用色彩分量进行滤波,其处理步骤如下:
以标准红、黄、绿三色H分量均值hr,hy,hg进行下列的计算:
Hr_Min=hr-0.05×hr Hr_Max=hr+0.05×hr;
Hy_Min=hy-0.05×hy Hy_Max=hy+0.05×hy;
Hg_Min=hg-0.05×hg Hg_Max=hg+0.05×hg;
其中Hr_Min和Hr_Max是红色H分量保留在图中的最大值与最小值;Hy_Min和Hy_Max是黄色H分量保存在图中的最大值与最小值,Hg_Min和Hg_Max是绿色H分量保存在图中的最大值与最小值;
按上述参数进行设置,红色、黄色、绿色最大值与最小值取并列关系,即图中的剩余H分量满足H:
H=(Hr_Min||Hr_Max)||(Hy_Min||Hy_Max)||(Hg_Min||Hg_Max)
其中||表示并列;
对其余色彩分量符合H的保持不变,不符合的置为黑色。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量,有利于后续的颜色分割;
2)图像色彩处理
由于光照、相机的曝光率和城市环境的复杂度等因素的影响,很难找到统一的阈值来分割红黄绿交通信号灯的颜色,因此采用字典学习方法来获取最佳阈值,采用基于相关性的字典学习方法、采用奇异值分解法和秩1逼近相结合的方法来获取最佳解,进而,对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时,根据训练的字典获取相应的阈值;
记获取的红色的H通道阈值最小值为RH_min,最大值为RH_max,S通道阈值最小值RS_min,最大值RS_max。V通道阈值最大值为RV_min,最小值为RV_max。同理,设黄色各阈值为:YH_min,YH_max,YS_min,YS_max,YV_min,YV_max。绿色各阈值为:GH_min,GH_max,GS_min,GS_max,GV_min,GV_max。利用得到的阈值按红黄绿顺序对图像进行三次分割,采用如下三个关系:
Rstd=(RH_min&RH_max)&(RS_min&RS_max)&(RV_min&RV_max)
Ystd=(YH_min&YH_max)&(YS_min&YS_max)&(YV_min&YV_max)
Gstd=(GH_min&GH_max)&(GS_min&GS_max)&(GV_min&GV_max)
其中&表示逻辑“与”,分别按Rstd,Ystd,Gstd进行二值化颜色分割,符合的为像素点为白色,否则为黑色,得到三张二值化图像;
3)动态多级滤波器过滤
针对颜色分割后的二值化图像含有的噪声,采用构造动态多级滤波器的方法进行滤波,具体方法是:
首先经形态学过滤,然后利用圆形交通信号灯自身的特征,即面积、矩形度和圆形度设计各级分滤波器,从而实现对图像多级滤波;其动态性又体现在多级滤波器结构中引入一个“条件监测变量”—Condition,初始化Condition=0,经各个分滤波器后,统计图像中候选连通区域个数,若候选连通区域个数小于或等于1,则Condition置1,动态多级滤波器输出结果图像,否则继续进入各分级滤波器,继续进行滤波操作;
4)交通灯位置标定
基于黑体增长遮掩法的位置标定,将筛选出的候选连通区域进行色彩还原,即将二值化图像中白色候选连通区域作为黑体生长母体,但母体本身保持不变,使黑体在母体四周生长,利用二值化图像作为参考,比较当前生长到的像素点是否为黑色,如符合则黑体在裁剪图像中进行增长,否则黑体停止生长,从在图像中标定出交通灯区域,用于后续的状态分析;
5)交通灯显示状态判定
将标定图像进行色彩空间转换,分析该图像中红黄绿三色对应的色彩分量的上下限,运用颜色判别系数进行判定圆形交通灯的颜色状态。颜色判别系数Color计算规则如下:
Color=R_coefficient×100+R_coefficient×10+R_coefficient×1
其中:
R'min,R'max;Y'min,Y'max;G'min,G'max分别对应图像中红黄绿三色实际H分量的上下限值;Rmin,Rmax;Ymin,Ymax;Gmin,Gmax分别对应预置的红黄绿H分量的上下限值;
由颜色判别系数判定颜色信息规则如下:
若颜色判别系数为0,则说明该图像中交通灯区域为黑色,即无圆形交通灯;
若颜色判别系数(0,1),则说明该图像中圆形交通灯状态为绿色;
若颜色判别系数(1,10),则说明该图像中圆形交通灯状态为黄色;
若颜色判别系数(10,100),则说明该图像中圆形交通灯状态为红色;
利用上述的处理流程,智能驾驶车辆便能及时快速判断当前路口的交通灯实时状态,决定前进或者停止。
本发明的智能识别圆形交通信号灯状态的方法,能快速的对交通灯实时状态进行有效的判定,有助于智能车辆对当前交通灯信息的读取,可用于智能驾驶中对交通灯显示状态的获取,在智能驾驶领域具有极大的应用价值。
附图说明
图1是本发明的智能识别圆形交通信号灯状态的方法流程图;
图2是动态多级滤波器具体实现流程图;
图3是样例绿灯图像;
图4是裁剪后绿灯样例图像;
图5是色彩处理后二值化图像;其中,(a)图是被红色分割,(b)图是被黄色分割,(c)图是被绿色分割;
图6是形态学处理图像;其中,(a)图是被红色分割,(b)图是被黄色分割,(c)图是被绿色分割;
图7是动态多级滤波器最终输出图像;其中,(a)图是被红色分割,(b)图是被黄色分割,(c)图是被绿色分割;
图8是绿色圆形交通灯位置标定图像;其中,(a)图是被红色分割,(b)图是被黄色分割,(c)图是被绿色分割;
图9是H通道的颜色直方图,其中,(a)图是被红色分割,(b)图是被黄色分割,(c)图是被绿色分割。
下面结合附图和实施例对本发明作进一步的详细说明。
具体实施方式
本实施例给出一种圆形交通信号灯状态的快速识别方法,旨在识别圆形交通信号灯当前的显示状态(即交通灯的颜色信息)的方法。该方法首先对道路图像序列进行预处理,重点是进行色彩分量滤波。随后利用字典学习获取的HSV颜色空间中合适阈值进行颜色分割,得到三张二值化图像,省略常规的灰度图像处理操作。其次,基于圆形交通灯的特征设计动态多级滤波器。进行动态滤波操作,快速筛选出交通灯候选连通区域。最后,运用黑体增长遮掩法在图像中标定信号灯图像,随后分析标定图像的颜色直方图,计算颜色判别系数并利用其规则得出交通信号灯状态。
本实施例中,得到一张样例绿灯图像如图3所示,对图3进行预处理。由车载摄像头和交通灯安装的位置关系对图像进行适当的裁剪,减少干扰噪声,得到裁剪后图像如图4所示。随后进行颜色空间变换。对得到的图像进行色彩分量滤波。将图像中不符合交通灯颜色的色彩分量置为黑色,仅保留符合的区域。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量。有利于减少后续处理的数据量。
接下来对预处理图像进行色彩处理,本实施例采用基于相关性的字典学习方法获取最佳阈值。其中涉及到奇异值分解法和秩1逼近相结合。进而,对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时,根据训练的字典获取相应的阈值。对上步的预处理图像进行颜色分割的二值化处理。符合阈值的候选连通区域二值化为白色,不符合的置为黑色。得到红色,黄色,绿色交通灯对应的三张二值化图片,如图5(a),(b),(c)所示,从而使后续操作在二值化图像中进行,提高识别快速性。
再次,针对颜色分割后的二值化图像含有的噪声,采用构造动态多级滤波器的方法进行滤波。其步骤是:首先经形态学过滤,然后利用圆形交通信号灯自身的特征(面积,矩形度,圆形度等)设计各级分滤波器,从而实现对图像多级滤波。其动态性又体现在多级滤波器结构中引入一个“条件监测变量”—Condition。经各个分滤波器后,统计图像中候选连通区域个数,若候选连通区域个数小于或等于1,则Condition置1,动态多级滤波器输出结果图像,否则继续进入各分级滤波器,继续进行滤波操作。对图5所示的图像经动态多级滤波器输出后得到图7所示的图像。
当滤波结束后,采用黑体增长遮掩法的对滤波器输出图像进行交通灯位置标定。黑体增长遮掩法可以将筛选出的候选连通区域进行色彩还原。即将二值化图像中白色候选连通区域作为黑体生长母体,但母体本身保持不变,使黑体在母体四周生长,利用二值化图像作为参考,比较当前生长到的像素点是否为黑色,如符合则黑体在裁剪图像中进行增长,否则黑体停止生长。从在图像中标定出交通灯区域,用于后续的状态分析。对图7的图像进行标定处理,得到图8所示的标定图像。
最后,将标定图像进行色彩空间转换,分析该图像中红黄绿三色对应的色彩分量的上下限,并提出颜色判别系数,利用颜色系数计算公式和判别规则进行判定圆形交通灯的显示状态。
以下是发明人给出的具体实施例:
由车载摄像头采集视频,转换为一系列图像序列作为输入图像序列,以一幅含有绿灯的交通灯图像为例,给出具体处理流程。
如图1所示,由图可知,主要包含了图像预处理,图像色彩处理,动态多级滤波器过滤,交通灯位置标定和交通灯显示状态判定5个步骤,具体介绍如下:
1、图像预处理
针对如图3所示的样例绿灯图像,设图像高度为high,取裁剪后图像高度仅保留图的上半部分,得到图4所示裁剪图像。随后进行颜色空间变换,变换至HSV颜色空间。
针对转换颜色空间后由非交通灯颜色干扰而引入的部分噪声,对得到的颜色空间转换图像进行色彩分量滤波。
本实施例采用一种色彩分量滤波方法,在HSV颜色空间中利用色彩分量进行滤波。其处理步骤如下:
以标准红、黄、绿三色H分量均值hr,hy,hg进行下列的计算:
Hr_Min=hr-0.05×hr Hr_Max=hr+0.05×hr
Hy_Min=hy-0.05×hy Hy_Max=hy+0.05×hy
Hg_Min=hg-0.05×hg Hg_Max=hg+0.05×hg
其中,Hr_Min和Hr_Max是红色H分量保留在图中的最大值与最小值;Hy_Min和Hy_Max是黄色H分量保存在图中的最大值与最小值;Hg_Min和Hg_Max是绿色H分量保存在图中的最大值与最小值。
按上述参数进行设置,红色、黄色、绿色最大值与最小值取并列关系:即图中的剩余H分量满足H:
H=(Hr_Min||Hr_Max)||(Hy_Min||Hy_Max)||(Hg_Min||Hg_Max)
其中||表示并列。对符合的H保存不变,不符合的置为黑色。得到当前样例图像的预处理图像。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量。
2、图像色彩处理
针对预处理后的图像,由于光照、相机的曝光率和城市环境的复杂度等因素的影响,很难找到统一的阈值来分割红绿黄交通信号灯的颜色。因此本实施例采用字典学习方法来获取最佳阈值。
以红灯阈值为例,选取不同光照、不同相机的曝光率和不同城市环境的样本进行训练,给出一种基于相关性的字典进行样本训练。
字典学习的目的在于根据样本得到一个完备的字典然后,根据字典D对信号进行稀疏表示。对于给定的训练样本Y,可以通过目标函数得到字典D。
其中,为训练样本,为训练得到的字典,为训练样本在字典上的稀疏表示。
di表示字典D的第i个列向量,也称为原子,xj表示稀疏矩阵X的第j个列向量。s为稀疏度,||·||F表示矩阵的Frobenious范数,||·||0表示向量的l0范数。
通常,上式的解由稀疏编码和字典更新两个阶段逐步迭代得到。稀疏编码阶段为:
字典更新阶段为:
现有的方法中,每一次迭代过程的字典更新阶段,都会更新字典中所有的原子。而事实上,更新样本的稀疏表示只与部分原子有关。另一方面,稀疏度仅限于稀疏表示阶段。因此,我们在字典更新阶段,仅仅更新那些与样本相关的原子,同时将稀疏度也引入到字典更新阶段,大大提高了字典学习的效率。
为了提高字典学习的效率,本实施例给出一种基于相关性的字典学习方法,具体实现方法如下:
首先,确定与新样本稀疏表示相关的原子:
其中,yr为第r次迭代式更新的样本,xr为yr在当前训练字典上的稀疏表示,〈·〉表示向量的内积,Ω(yr)为编号的集合,表示第h个样本的稀疏编码与xr线性相关,Y(yr)为相应编号集合为Ω(yr)的样本集合,X(yr)为Y(yr)的稀疏表示。
紧接着,根据选定的样本Y(yr),可以确定与之相关的字典原子:
其中,D(yr)表示参与样本yr稀疏编码的原子。
然后,根据前面得到的D(yr),采用矩阵秩1逼近完成字典更新:
其中,xw表示稀疏矩阵X的第w行,Ew为去掉dw后的重构误差,即γ为正实数。第一部分表示矩阵的秩1逼近,第二部分用于保证xw的稀疏性。
至此,得到了与新样本稀疏表示相关的字典原子,同时,稀疏性也引入到字典更新阶段。接下来,采用奇异值分解法和秩1逼近相结合的方法来获取最优解。进而,对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时,根据训练的字典获取相应的阈值。
记获取的红色的H通道阈值最小值为RH_min,最大值为RH_max,S通道阈值最小值RS_min,最大值RS_max。V通道阈值最大值为RV_min,最小值为RV_max。
同理,设黄色各阈值为:YH_min,YH_max,YS_min,YS_max,YV_min,YV_max。
绿色各阈值为:GH_min,GH_max,GS_min,GS_max,GV_min,GV_max。
利用得到的阈值按红黄绿顺序对图像进行三次分割。采用如下三个关系:
Rstd=(RH_min&RH_max)&(RS_min&RS_max)&(RV_min&RV_max)
Ystd=(YH_min&YH_max)&(YS_min&YS_max)&(YV_min&YV_max)
Gstd=(GH_min&GH_max)&(GS_min&GS_max)&(GV_min&GV_max)
其中&表示逻辑“与”。
按Rstd,Ystd,Gstd进行二值化颜色分割,符合的为像素点为白色,否则为黑色。得到三张二值化图像,如图5(a),(b),(c)所示。
这种颜色分割模式的优势在于:在预先不知道圆形交通灯颜色信息的情况下,也可以利用交通信号灯只有三种颜色进行“验证性颜色分割”,跳过对灰值图像的处理。对红绿黄三种颜色都进行分割,所以得到三幅二值化图像,并分别记录每张二值化图像的分割颜色。颜色分割后的二值化图像中,只含有符合设置的阈值范围内的一种颜色。图5是按红、黄、绿的顺序设置阈值,进行颜色分割后得到的图像。
3、动态多级滤波器过滤
动态多级滤波器处理的是经色彩处理后的二值化图像。动态滤波器的具体处理流程如图2所示。设计动态多级滤波器首先设置“条件检测变量”Condition,然后将其初始化为0。然后进行下述处理:
(1)当Condition=0时,对输入的二值化图像按预先给定的阈值进行形态学的操作,具体步骤为先膨胀,后腐蚀,得到噪声更少,特征信息更加突出的图像。对形态学处理后的图像进行候选区域的统计,满足条件则变量Condition置1,动态多级滤波器输出图像,否则进行下一步过滤。针对图5进行形态学处理后得到如图6所示的形态学处理图像。
(2)当Condition=0时,对候选连通区域的面积进行过滤,将符合条件的候选连通区域保留,不符合条件的二值化为黑色。能有效地过滤掉呈圆形但面积不符合的干扰噪声。设一个候选交通灯区域的长度为length,宽度为width,本发明的候选连通区域面积定义为:
S=length×width;
设置合适面积阈值进行过滤,经面积过滤后,检测图像中剩余的候选连通区域,若个数大于1,Condition仍为0,继续进行矩形度滤波。否则Condition=1,动态多级滤波器输出图片。
(3)针对图像中其他通过面积过滤的区域,可以采用矩形度过滤。按上述的候选区域长宽定义,矩形度公式为:
设置合适矩形度阈值进行过滤,再次检测图像中剩余的候选连通区域个数,若大于1,Condition仍为0,继续进行后续过滤。否则Condition=1,动态多级滤波器输出图片。
(4)圆形度常用于对象特征的提取与描述。可以用来表征物体的与标准圆的接近程度。因此,将其引入动态多级滤波器,以进行圆形交通灯状态的识别,是具有极大的好处的。
圆形度的计算公式为:
其中s代表候选连通区域面积,c代表其周长。设置合适圆形度阈值进行滤波,经圆形度过滤后。动态多级滤波器将输出滤波图像。针对图5所示的图像进行滤波操作。得到如图7所示的动态多级滤波器输出滤波图像。
4、交通灯位置标定
对于动态多级滤波器输出的图片,利用黑体增长遮掩法进行位置标定。黑体增长遮掩法可以将筛选出的候选连通区域进行色彩还原。即将二值化图像中白色候选连通区域作为黑体生长母体,但母体本身保持不变,使黑体在母体四周生长,利用二值化图像作为参考,比较当前生长到的像素点是否为黑色,如符合则黑体在裁剪图像中进行增长,否则黑体停止生长。如图8便是对三张动态滤波器输出图片的位置标定结果,(a)图、(b)图是分别利用红色和黄色阈值进行分割的,因为图中没有交通灯,故均被黑体所覆盖。(c)图是按绿色阈值分割的滤波器输出图像,它表明在裁剪图像中复原绿灯交通灯后,其余位置被黑体所覆盖得到的图像。
5)交通灯显示状态判定
将位置标定图像重新转换至HSV空间,然后针对HSV颜色空间的H分量绘制颜色直方图。将每张颜色直方图的值不为0的范围进行记录,保存对应的横轴值。如图9是三张交通灯位置标定图像的H分量颜色直方图。
设图像中红黄绿对应的上下限值分别为:R'min,R'max,Y'min,Y'max,G'min,G'max,再利用预先设置好的圆形交通信号灯颜色阈值上下限值Rmin,Rmax,Ymin,Ymax,Gmin,Gmax。
求取颜色判别系数,颜色系数Color公式定义如下:
Color=R_coefficient×100+R_coefficient×10+R_coefficient×1
其中:
由所给公式知:颜色判别系数中的R_coefficient,R_coefficient,R_coefficient均在0到1之间。则给定如下颜色判别规则:
若颜色系数在为0,则说明该图像中无圆形交通灯;
若颜色判别系数(0,1),则说明该图像中圆形交通灯状态为绿色;
若颜色判别系数(1,10),则说明该图像中圆形交通灯状态为黄色;
若颜色判别系数(10,100),则说明该图像中圆形交通灯状态为红色;
依据上述规则判断交通灯位置标定图像中含有圆形交通灯的状态,即可判定当前样例图像中仅含有绿色交通灯,智能车辆可在当前路口继续通行。
Claims (2)
1.一种智能识别圆形交通信号灯状态的方法,其特征在于,该方法首先对道路图像序列进行预处理,重点是进行色彩分量滤波;随后利用字典学习获取的HSV颜色空间中合适阈值进行颜色分割,得到三张二值化图像,省略常规的灰度图像处理操作;其次,基于圆形交通灯的特征设计动态多级滤波器,进行动态滤波操作,快速筛选出交通灯候选连通区域;最后,运用黑体增长遮掩法在图像中标定信号灯图像,随后分析标定图像的颜色直方图,计算颜色判别系数并利用其规则得出交通信号灯状态。
2.如权利要求1所述的方法,其特征在于,具体处理步骤如下:
1)图像预处理
设图像高度为high,以图像左上角作为坐标原点,取裁剪后图像高度得到裁剪图像;
随后进行颜色空间变换,将图像转换至HSV颜色空间
针对转换颜色空间后由非交通灯颜色干扰而引入的部分噪声,对得到的图像进行色彩分量滤波
在HSV颜色空间中利用色彩分量进行滤波,其处理步骤如下:
以标准红、黄、绿三色H分量均值hr,hy,hg进行下列的计算:
Hr_Min=hr-0.05×hr Hr_Max=hr+0.05×hr;
Hy_Min=hy-0.05×hy Hy_Max=hy+0.05×hy;
Hg_Min=hg-0.05×hg Hg_Max=hg+0.05×hg;
其中,Hr_Min和Hr_Max是红色H分量保留在图中的最大值与最小值;Hy_Min和Hy_Max是黄色H分量保存在图中的最大值与最小值,Hg_Min和Hg_Max是绿色H分量保存在图中的最大值与最小值;
按上述参数进行设置,红色、黄色、绿色最大值与最小值取并列关系,即图中的剩余H分量满足H:
H=(Hr_Min||Hr_Max)||(Hy_Min||Hy_Max)||(Hg_Min||Hg_Max)
其中,||表示并列;
对其余色彩分量符合H的保持不变,不符合的置为黑色。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量,有利于后续的颜色分割;
2)图像色彩处理
由于光照、相机的曝光率和城市环境的复杂度等因素的影响,很难找到统一的阈值来分割红黄绿交通信号灯的颜色,因此采用字典学习方法来获取最佳阈值,采用基于相关性的字典学习方法、采用奇异值分解法和秩1逼近相结合的方法来获取最佳解,进而,对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时,根据训练的字典获取相应的阈值;
记获取的红色的H通道阈值最小值为RH_min,最大值为RH_max,S通道阈值最小值RS_min,最大值RS_max。V通道阈值最大值为RV_min,最小值为RV_max。同理,设黄色各阈值为:YH_min,YH_max,YS_min,YS_max,YV_min,YV_max。绿色各阈值为:GH_min,GH_max,GS_min,GS_max,GV_min,GV_max。利用得到的阈值按红黄绿顺序对图像进行三次分割,采用如下三个关系:
Rstd=(RH_min&RH_max)&(RS_min&RS_max)&(RV_min&RV_max)
Ystd=(YH_min&YH_max)&(YS_min&YS_max)&(YV_min&YV_max)
Gstd=(GH_min&GH_max)&(GS_min&GS_max)&(GV_min&GV_max)
其中&表示逻辑“与”,分别按Rstd,Ystd,Gstd进行二值化颜色分割,符合的为像素点为白色,否则为黑色,得到三张二值化图像;
3)动态多级滤波器过滤
针对颜色分割后的二值化图像含有的噪声,采用构造动态多级滤波器的方法进行滤波,具体方法是:
首先经形态学过滤,然后利用圆形交通信号灯自身的特征,即面积、矩形度和圆形度设计各级分滤波器,从而实现对图像多级滤波;其动态性又体现在多级滤波器结构中引入一个“条件监测变量”—Condition,初始化Condition=0,经各个分滤波器后,统计图像中候选连通区域个数,若候选连通区域个数小于或等于1,则Condition置1,动态多级滤波器输出结果图像,否则继续进入各分级滤波器,继续进行滤波操作;
4)交通灯位置标定
基于黑体增长遮掩法的位置标定,将筛选出的候选连通区域进行色彩还原,即将二值化图像中白色候选连通区域作为黑体生长母体,但母体本身保持不变,使黑体在母体四周生长,利用二值化图像作为参考,比较当前生长到的像素点是否为黑色,如符合则黑体在裁剪图像中进行增长,否则黑体停止生长,从在图像中标定出交通灯区域,用于后续的状态分析;
5)交通灯显示状态判定
将标定图像进行色彩空间转换,分析该图像中红黄绿三色对应的色彩分量的上下限,运用颜色判别系数进行判定圆形交通灯的颜色状态。颜色判别系数Color计算规则如下:
Color=R_coefficient×100+R_coefficient×10+R_coefficient×1
其中:
R'min,R'max;Y'min,Y'max;G'min,G'max分别对应图像中红黄绿三色实际H分量的上下限值;Rmin,Rmax;Ymin,Ymax;Gmin,Gmax分别对应预置的红黄绿H分量的上下限值;
由颜色判别系数判定颜色信息规则如下:
若颜色判别系数为0,则说明该图像中交通灯区域为黑色,即无圆形交通灯;
若颜色判别系数(0,1),则说明该图像中圆形交通灯状态为绿色;
若颜色判别系数(1,10),则说明该图像中圆形交通灯状态为黄色;
若颜色判别系数(10,100),则说明该图像中圆形交通灯状态为红色;
利用上述的处理流程,智能驾驶车辆便能及时快速判断当前路口的交通灯实时状态,决定前进或者停止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810126429.3A CN108304813B (zh) | 2018-02-08 | 2018-02-08 | 一种智能识别圆形交通信号灯状态的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810126429.3A CN108304813B (zh) | 2018-02-08 | 2018-02-08 | 一种智能识别圆形交通信号灯状态的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108304813A true CN108304813A (zh) | 2018-07-20 |
CN108304813B CN108304813B (zh) | 2021-07-23 |
Family
ID=62864466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810126429.3A Active CN108304813B (zh) | 2018-02-08 | 2018-02-08 | 一种智能识别圆形交通信号灯状态的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108304813B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636777A (zh) * | 2018-11-20 | 2019-04-16 | 广州方纬智慧大脑研究开发有限公司 | 一种交通信号灯的故障检测方法、系统及存储介质 |
CN110633635A (zh) * | 2019-08-08 | 2019-12-31 | 北京联合大学 | 一种基于roi的交通标志牌实时检测方法及系统 |
CN111027475A (zh) * | 2019-12-09 | 2020-04-17 | 南京富士通南大软件技术有限公司 | 一种基于视觉的实时交通信号灯识别方法 |
CN111666824A (zh) * | 2020-05-14 | 2020-09-15 | 浙江工业大学 | 移动机器人的基于颜色属性和机器学习的指示灯识别方法 |
CN111723614A (zh) * | 2019-03-20 | 2020-09-29 | 北京四维图新科技股份有限公司 | 交通信号灯识别方法及装置 |
CN112101107A (zh) * | 2020-08-11 | 2020-12-18 | 华南理工大学 | 一种智能网联模型车在环仿真交通信号灯智能识别方法 |
CN112396668A (zh) * | 2020-12-03 | 2021-02-23 | 北京百度网讯科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
CN113011251A (zh) * | 2021-02-03 | 2021-06-22 | 深圳大学 | 一种基于交通灯几何属性的行人交通灯识别方法 |
CN113763736A (zh) * | 2021-07-23 | 2021-12-07 | 北京佰才邦技术股份有限公司 | 交通信息分发方法、系统和电子设备 |
US11210571B2 (en) | 2020-03-13 | 2021-12-28 | Argo AI, LLC | Using rasterization to identify traffic signal devices |
CN114783192A (zh) * | 2022-03-24 | 2022-07-22 | 杭州海康威视数字技术股份有限公司 | 一种信号灯色彩的处理方法及设备 |
US11436842B2 (en) | 2020-03-13 | 2022-09-06 | Argo AI, LLC | Bulb mask representation for traffic light classification |
CN115631160A (zh) * | 2022-10-19 | 2023-01-20 | 武汉海微科技有限公司 | Led灯故障检测方法、装置、设备及存储介质 |
US11704912B2 (en) | 2020-06-16 | 2023-07-18 | Ford Global Technologies, Llc | Label-free performance evaluator for traffic light classifier system |
CN117893988A (zh) * | 2024-01-19 | 2024-04-16 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
CN118115984A (zh) * | 2024-04-30 | 2024-05-31 | 国网山东省电力公司青岛供电公司 | 变电站智能巡视指示灯识别精度优化方法及系统 |
CN118115984B (zh) * | 2024-04-30 | 2024-06-28 | 国网山东省电力公司青岛供电公司 | 变电站智能巡视指示灯识别精度优化方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009067240A (ja) * | 2007-09-13 | 2009-04-02 | Auto Network Gijutsu Kenkyusho:Kk | 発車報知装置 |
CN103489324A (zh) * | 2013-09-22 | 2014-01-01 | 北京联合大学 | 一种基于无人驾驶的实时动态红绿灯检测识别方法 |
CN103632559A (zh) * | 2013-12-05 | 2014-03-12 | 武汉烽火众智数字技术有限责任公司 | 基于视频分析的红绿灯状态检测方法 |
CN106909937A (zh) * | 2017-02-09 | 2017-06-30 | 北京汽车集团有限公司 | 交通信号灯识别方法、车辆控制方法、装置及车辆 |
CN107341806A (zh) * | 2017-06-02 | 2017-11-10 | 青岛克路德机器人有限公司 | 基于颜色及形状特征的室内指示灯检测及状态判别方法 |
CN107644538A (zh) * | 2017-11-01 | 2018-01-30 | 广州汽车集团股份有限公司 | 交通信号灯的识别方法及装置 |
-
2018
- 2018-02-08 CN CN201810126429.3A patent/CN108304813B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009067240A (ja) * | 2007-09-13 | 2009-04-02 | Auto Network Gijutsu Kenkyusho:Kk | 発車報知装置 |
CN103489324A (zh) * | 2013-09-22 | 2014-01-01 | 北京联合大学 | 一种基于无人驾驶的实时动态红绿灯检测识别方法 |
CN103632559A (zh) * | 2013-12-05 | 2014-03-12 | 武汉烽火众智数字技术有限责任公司 | 基于视频分析的红绿灯状态检测方法 |
CN106909937A (zh) * | 2017-02-09 | 2017-06-30 | 北京汽车集团有限公司 | 交通信号灯识别方法、车辆控制方法、装置及车辆 |
CN107341806A (zh) * | 2017-06-02 | 2017-11-10 | 青岛克路德机器人有限公司 | 基于颜色及形状特征的室内指示灯检测及状态判别方法 |
CN107644538A (zh) * | 2017-11-01 | 2018-01-30 | 广州汽车集团股份有限公司 | 交通信号灯的识别方法及装置 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109636777A (zh) * | 2018-11-20 | 2019-04-16 | 广州方纬智慧大脑研究开发有限公司 | 一种交通信号灯的故障检测方法、系统及存储介质 |
CN111723614A (zh) * | 2019-03-20 | 2020-09-29 | 北京四维图新科技股份有限公司 | 交通信号灯识别方法及装置 |
CN110633635A (zh) * | 2019-08-08 | 2019-12-31 | 北京联合大学 | 一种基于roi的交通标志牌实时检测方法及系统 |
CN111027475A (zh) * | 2019-12-09 | 2020-04-17 | 南京富士通南大软件技术有限公司 | 一种基于视觉的实时交通信号灯识别方法 |
US11436842B2 (en) | 2020-03-13 | 2022-09-06 | Argo AI, LLC | Bulb mask representation for traffic light classification |
US11670094B2 (en) | 2020-03-13 | 2023-06-06 | Ford Global Technologies, Llc | Using rasterization to identify traffic signal devices |
US11210571B2 (en) | 2020-03-13 | 2021-12-28 | Argo AI, LLC | Using rasterization to identify traffic signal devices |
CN111666824A (zh) * | 2020-05-14 | 2020-09-15 | 浙江工业大学 | 移动机器人的基于颜色属性和机器学习的指示灯识别方法 |
CN111666824B (zh) * | 2020-05-14 | 2023-12-15 | 浙江工业大学 | 移动机器人的基于颜色属性和机器学习的指示灯识别方法 |
US11704912B2 (en) | 2020-06-16 | 2023-07-18 | Ford Global Technologies, Llc | Label-free performance evaluator for traffic light classifier system |
CN112101107B (zh) * | 2020-08-11 | 2023-08-22 | 华南理工大学 | 一种智能网联模型车在环仿真交通信号灯智能识别方法 |
CN112101107A (zh) * | 2020-08-11 | 2020-12-18 | 华南理工大学 | 一种智能网联模型车在环仿真交通信号灯智能识别方法 |
CN112396668A (zh) * | 2020-12-03 | 2021-02-23 | 北京百度网讯科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
CN112396668B (zh) * | 2020-12-03 | 2024-05-07 | 阿波罗智联(北京)科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
CN113011251A (zh) * | 2021-02-03 | 2021-06-22 | 深圳大学 | 一种基于交通灯几何属性的行人交通灯识别方法 |
CN113011251B (zh) * | 2021-02-03 | 2024-06-04 | 深圳大学 | 一种基于交通灯几何属性的行人交通灯识别方法 |
CN113763736A (zh) * | 2021-07-23 | 2021-12-07 | 北京佰才邦技术股份有限公司 | 交通信息分发方法、系统和电子设备 |
CN114783192A (zh) * | 2022-03-24 | 2022-07-22 | 杭州海康威视数字技术股份有限公司 | 一种信号灯色彩的处理方法及设备 |
CN115631160A (zh) * | 2022-10-19 | 2023-01-20 | 武汉海微科技有限公司 | Led灯故障检测方法、装置、设备及存储介质 |
CN117893988A (zh) * | 2024-01-19 | 2024-04-16 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
CN117893988B (zh) * | 2024-01-19 | 2024-06-18 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
CN118115984A (zh) * | 2024-04-30 | 2024-05-31 | 国网山东省电力公司青岛供电公司 | 变电站智能巡视指示灯识别精度优化方法及系统 |
CN118115984B (zh) * | 2024-04-30 | 2024-06-28 | 国网山东省电力公司青岛供电公司 | 变电站智能巡视指示灯识别精度优化方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108304813B (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304813A (zh) | 一种智能识别圆形交通信号灯状态的方法 | |
CN113421269B (zh) | 一种基于双分支深度卷积神经网络的实时语义分割方法 | |
CN102496282B (zh) | 一种rgb颜色变换的交通路口信号灯状态识别方法 | |
CN103605977B (zh) | 一种车道线的提取方法及装置 | |
CN106651872A (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
CN109345547B (zh) | 基于深度学习多任务网络的交通车道线检测方法及装置 | |
CN110706239B (zh) | 融合全卷积神经网络与改进aspp模块的场景分割方法 | |
CN109360155A (zh) | 基于多尺度特征融合的单帧图像去雨方法 | |
CN110532961B (zh) | 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法 | |
CN108765443A (zh) | 一种自适应颜色阈值分割的标志增强处理方法 | |
CN110866593B (zh) | 一种基于人工智能的高速公路恶劣天气识别方法 | |
CN110276267A (zh) | 基于Spatial-LargeFOV深度学习网络的车道线检测方法 | |
CN104715239A (zh) | 一种基于去雾处理和权重分块的车辆颜色识别方法 | |
CN110717921B (zh) | 改进型编码解码结构的全卷积神经网络语义分割方法 | |
CN110728640B (zh) | 一种双通道单幅图像精细去雨方法 | |
CN110310241A (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
CN112733914B (zh) | 一种基于支持向量机的水下目标视觉识别分类方法 | |
CN110084302B (zh) | 一种基于遥感图像的裂缝检测方法 | |
CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
CN106373096A (zh) | 一种多特征权值自适应的阴影消除方法 | |
CN108564588A (zh) | 一种基于深度特征和图割法的建成区自动提取方法 | |
CN110399840A (zh) | 一种快速的草坪语义分割及边界检测方法 | |
CN110310238A (zh) | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 | |
CN102306276A (zh) | 基于分块聚类的视频车辆图像中车身颜色识别方法 | |
CN115063434A (zh) | 一种基于特征去噪的低弱光图像实例分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211224 Address after: 908, block a, floor 8, No. 116, Zizhuyuan Road, Haidian District, Beijing 100089 Patentee after: ZHONGZI DATA CO.,LTD. Patentee after: China Highway Engineering Consulting Group Co., Ltd. Address before: 710064 No. 126 central section of South Ring Road, Yanta District, Xi'an, Shaanxi Patentee before: CHANG'AN University |
|
TR01 | Transfer of patent right |