CN112330961A - 一种基于时序规律的交通指示红黄绿灯的图像识别方法 - Google Patents
一种基于时序规律的交通指示红黄绿灯的图像识别方法 Download PDFInfo
- Publication number
- CN112330961A CN112330961A CN202011208077.XA CN202011208077A CN112330961A CN 112330961 A CN112330961 A CN 112330961A CN 202011208077 A CN202011208077 A CN 202011208077A CN 112330961 A CN112330961 A CN 112330961A
- Authority
- CN
- China
- Prior art keywords
- candidate image
- light
- yellow
- green light
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005286 illumination Methods 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时序规律的交通指示红黄绿灯的图像识别方法：按一定时间间隔T逐帧采集行驶车辆前方的交通图像；根据给定的颜色阈值，分别获得每一帧图像中的红灯、黄灯和绿灯的候选图像区域；然后在一定的时间观察窗口W*T中按颜色统计分析所有相对应候选图像区域的点亮时序曲线，最后根据这些时序曲线的自身规律或/和相互关系来自动识别判断这些红灯、黄灯和绿灯的候选图像区域是否为红灯、黄灯和绿灯的目标图像。相比于现有各类交通指示灯的图像识别方法，本发明原理简单，算法效率高，当灯体存在局部缺陷或者部分被遮挡时，或者存在大量与灯体形似的干扰物时，都依然能够保持较高的识别准确率。
Description
技术领域
本发明涉及车辆的智能驾驶辅助及无人驾驶技术领域，更具体地，涉及一种基于时序规律的交通指示红黄绿灯的图像识别方法。
背景技术
红绿灯自动识别技术，是车辆安全驾驶辅助和无人驾驶的关键支撑技术之一，是车辆交通环境感知的重要组成部分。基于车载摄像头实时捕捉车辆行驶方向前方的环境图像，并利用数字图像处理技术自动识别判断环境图像中的交通指示灯情况，是广受关注的一个研究热点和潜在应用。现有红灯图像自动识别技术主要分为传统图像识别和基于深度学习的红灯识别两大类。前者多基于红灯的颜色、几何等特征提取红灯的候选图像区域，后者需要大量的图像样本进行模型的训练。然而，当交通指示灯的发光灯体存在局部缺陷或者部分被遮挡时，或者当图像中存在大量与灯体形似的干扰物时，例如夕阳、圆形红灯笼、圆形汽车尾灯和中文广告字“个”等，这些识别方法都极可能失败。这直接制约着基于车载视觉的交通指示灯的自动识别技术在智能驾驶辅助和无人驾驶领域中的应用。
CN201510208977.7公开的“一种应用于无人驾驶汽车的交通灯快速检测算法”，该方法根据上一帧图像中的红绿灯区域位置和传感器的数据，并结合红绿灯的高度范围，预测当前帧图像中红绿灯区域的位置，再识别当前帧图像中是否有相同形状和颜色的识别区域在预测区域之内，如果有，由判断该区别为红绿灯区域。该方法虽然可以缩小检测范围，但是必须依赖车载传感器获得车速、车转向角等数据，且不能识别处于变化状态的灯体，因此具有一定局限性。
发明内容
本发明所要解决的技术问题在于提供一种基于时序规律，从交通环境视频图像中自动识别判断红灯、黄灯和绿灯的方法。
为解决上述技术问题，本发明的技术解决方案是：
一种基于时序规律的交通指示红黄绿灯的图像识别方法：按一定时间间隔T逐帧采集行驶车辆前方的交通图像；根据给定的颜色阈值，分别获得每一帧图像中的红灯、黄灯和绿灯的候选图像区域；然后在一定的时间观察窗口W*T中按颜色统计分析所有相对应候选图像区域的点亮时序曲线，最后根据这些时序曲线的自身规律或/和相互关系来自动识别判断这些红灯、黄灯和绿灯的候选图像区域是否为红灯、黄灯和绿灯的目标图像。
优选地，所述图像识别方法包括如下步骤：
第一步：实时交通图像采样，根据一定的时间间隔T实时逐帧采集车辆行驶方向前方的交通图像，并记当前最新采集的图像为第k帧图像G(k)；
第二步：交通指示灯的候选图像区域分割，基于颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域，分别记为Rk{o}、Yk{p}和Gk{q}，其中o、p和q分别为G(k)中红灯、黄灯和绿灯的候选图像区域的个数；
第三步：基于特征匹配的候选图像观察窗内搜索，在一定时间长度W*T的时间观察窗内，按颜色根据特征匹配每一帧图像中的候选图像区域，各帧中相互匹配成功的候选图像区域被认定为同一灯体，根据该匹配的候选图像区域在各帧中出现与否设置点亮值；
第四步：基于上述点亮值绘制点亮时序变化曲线；
第五步：根据各相匹配的灯体候选图像区域的点亮时序曲线的自身规律或/和相互关系，判断其是否为交通指示红灯、黄灯或绿灯。
优选地，所述第二步：将图像G(k)从RGB色彩模式变换到HSV色彩模式，根据给定的HSV颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域。
优选地，所述第三步基于特征匹配的候选图像观察窗内搜索时，所提取的图像特征为同时满足旋转不变性和尺度不变性的Hu矩特征。
优选地，所述第三步具体为：
(1)利用第k-W+1帧图像G(k-W+1)至第k-1帧图像G(k-1)，构成时间长度为W*T的连续图像序列观察窗口，并记其中的所有红灯、黄灯和绿灯的候选图像区域集合为R{O}、Y{P}和G{Q}，其中O、P和Q分别为红灯、黄灯和绿灯的不同候选图像区域的总个数；
(2)遍历Rk{o}中的每一个红灯候选图像区域rk(i)，计算其图像特征，并与已有集合R{O}中的每一个红灯候选图像区域r(j)进行特征匹配；
如果匹配成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中已经存在，且就是图像区域r(j)，设置r(j)在第k帧图像中的点亮值vr(j,k)＝1；
如果匹配不成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素r(O+1)添加到集合R{O}中，并设置r(O+1)在第k帧图像中的点亮值vr(O+1,k)＝1，设置r(O+1)在第k帧图像之前的图像序列中的点亮值均为0；
遍历结束后，对于R{O}中未能被Rk{o}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0；
(3)同理，遍历Yk{p}中的每一个黄灯候选图像区域yk(m)和Gk{q}中的每一个绿灯候选图像区域gk(u)，完成上述第(2)相同步骤。
优选地，在进行下一帧循环识别判断之前，删除时序观察窗口中非灯体候选图像区域，即删除仅在时序观察窗口中首帧中出现其余各帧中均未出现的候选图像区域。
优选地，所述识别判断的原则为：如果某相匹配的候选图像区域的点亮时序不具有规律性，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种。
优选地，所述识别判断的原则为：如果某相匹配的候选图像区域在整个观察窗口期内始终为常亮状态无变化，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种。
优选地，所述识别判断的原则为：如果某相匹配的候选图像区域属于黄灯集合，在保持不点亮状态至t1秒时刻后，周期性闪烁x1次，然后再次恢复为不点亮状态；且期间红灯集合中有候选图像区域于约(t1+x1)秒时刻转变为点亮状态或恢复为不点亮状态；且对应绿灯集合中有候选图像区域于约(t1+x1)秒时刻恢复为不点亮状态或转变为点亮状态；则该组候选图像区域为黄灯、红灯和绿灯三者共同构成的一组协同工作的信号灯组。
优选地，所述识别判断的原则为：如果某相匹配的候选图像区域属于红灯或绿灯集合，在保持点亮状态至t2秒时刻后，周期性闪烁x2次，然后再次恢复为不点亮状态，且期间绿灯或红灯集合中有候选图像区域于约(t2+x2)秒时刻转变为点亮状态，则该组候选图像区域为红灯和绿灯二者构成的一组协同工作的信号灯组。
优选地，所述识别判断的原则为：如果某相匹配的候选图像区域属于红灯或绿灯集合，在保持不点亮状态至t4秒时刻后，周期性闪烁x4次，然后再次恢复为不点亮状态，且期间红灯或绿灯集合中有候选图像区域于约(t4+x4)秒时刻恢复为不点亮状态，且对应绿灯或红灯集合中有候选图像区域于约(t4+x4)秒时刻转变为点亮状态，则该组候选图像区域为红色或绿灯倒计时读秒灯、红灯和绿灯三者共同构成的一组协同工作的信号灯组。
采用上述方案后，相比于现有各类交通指示灯的图像识别方法，本发明原理简单，算法效率高，当灯体存在局部缺陷或者部分被遮挡时，或者存在大量与灯体形似的干扰物时，都依然能够保持较高的识别准确率。更为具体的，本发明具有如下有益效果：
1.本发明适用于现有交通指示红绿灯图像识别效果欠佳的场合，尤其适用于当灯体存在局部缺陷或者部分被遮挡时，或者存在大量与灯体形似的干扰物时。
2.本发明原理简单，算法效率高，鲁棒性和适应能力好，具有良好的应用价值。
3.本发明也可作为各类交通指示红、黄、绿灯图像识别的一个预处理方法，为各类更为复杂困难的算法和应用提供基础。
附图说明
图1是本发明的流程图；
图2是[(k-W+1)T,kT]时间窗内的典型点亮时序变化曲线图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详述。
本发明所揭示的是一种基于时序规律的交通指示红黄绿灯的图像识别方法，即：按一定时间间隔T逐帧采集行驶车辆前方的交通图像；根据给定的颜色阈值，分别获得每一帧图像中的红灯、黄灯和绿灯的候选图像区域；然后在一定的时间观察窗口W*T中按颜色统计分析所有相对应候选图像区域的点亮时序曲线，最后根据这些时序曲线的自身规律或/和相互关系来自动识别判断这些红灯、黄灯和绿灯的候选图像区域是否为红灯、黄灯和绿灯的目标图像。而该相对应候选图像区域即为出现在不同帧中的同一灯体图像。
如图1所示，为本发明具体可以采用如下步骤：
第一步：实时交通图像采样。根据一定的时间间隔T实时逐帧采集车辆行驶方向前方的交通图像，并记当前最新采集的图像为第k帧图像G(k)。所述时间间隔T优选为0.25秒。
第二步：交通指示灯的候选图像区域分割。基于颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域。
具体为：将图像G(k)从RGB色彩模式变换到HSV色彩模式，根据给定的HSV颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域，分别记为Rk{o}、Yk{p}和Gk{q}，其中o、p和q分别为G(k)中红灯、黄灯和绿灯的候选图像区域的个数。
而所述HSV颜色阈值可以从现有技术中获得，本发明为提高准确率，采用如下方法确定：
大量采集各种情况下含有交通信号灯的交通图像，人为分割出每个图像中的红灯、黄灯和绿灯图像区域，并从RGB色彩模式变换到HSV色彩模式，分别统计红灯图像、黄灯图像和绿灯图像的色度H、饱和度S和亮度V各自的相应概率(例如99.75％概率)的分布区间，该分布区间即为所述的HSV颜色阈值。
第三步：基于特征匹配的候选图像观察窗内搜索。在一定时间长度W*T的时间观察窗内，按颜色根据特征匹配每一帧图像中的候选图像区域，各帧中相互匹配成功的候选图像区域被认定为同一灯体，根据该匹配的候选图像区域在各帧中出现与否设置点亮值。所述时间长度W*T优选为120秒。所述特征为同时满足旋转不变性和尺度不变性的Hu矩特征。
具体步骤为：
(1)利用第k-W+1帧图像G(k-W+1)至第k-1帧图像G(k-1)，构成时间长度为W*T的连续图像序列观察窗口，并记其中的所有红灯、黄灯和绿灯的候选图像区域集合为R{O}、Y{P}和G{Q}，其中O、P和Q分别为红灯、黄灯和绿灯的不同候选图像区域的总个数。
(2)遍历Rk{o}中的每一个红灯候选图像区域rk(i)，计算其图像特征，并与已有集合R{O}中的每一个红灯候选图像区域r(j)进行特征匹配。
如果匹配成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中已经存在，且就是图像区域r(j)，设置r(j)在第k帧图像中的点亮值vr(j,k)＝1。
如果匹配不成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素r(O+1)添加到集合R{O}中，并设置r(O+1)在第k帧图像中的点亮值vr(O+1,k)＝1，设置r(O+1)在第k帧图像之前的图像序列中的点亮值均为0，即vr(O+1,k-1)＝vr(O+1,k-2)＝…＝vr(O+1,k-W+1)＝0。
遍历结束后，对于R{O}中未能被Rk{o}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0。
(3)同理，遍历Yk{p}中的每一个黄灯候选图像区域yk(m)，计算图像特征，并与已有集合Y{P}中的每一个黄灯候选图像区域y(n)进行特征匹配。
如果匹配成功，表明该黄灯候选图像区域yk(m)在图像序列观察窗口中已经存在，且就是图像区域y(n)，设置y(n)在第k帧图像中的点亮值vy(n,k)＝1。
如果匹配不成功，表明该黄灯候选图像区域yk(m)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素y(P+1)添加到集合Y{P}中，并设置y(P+1)在第k帧图像中的点亮值vy(P+1,k)＝1，设置y(P+1)在第k帧图像之前的图像序列中的点亮值均为0，即vy(P+1,k-1)＝vy(P+1,k-2)＝…＝vy(P+1,k-W+1)＝0。
遍历结束后，对于Y{P}中未能被Yk{p}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0。
(4)同理，遍历Gk{q}中的每一个绿灯候选图像区域gk(u)，计算图像特征，并与已有集合G{Q}中的每一个绿灯候选图像区域g(v)进行特征匹配。
如果匹配成功，表明该绿灯候选图像区域gk(u))在图像序列观察窗口中已经存在，且就是图像区域g(v)，设置g(v)在第k帧图像中的点亮值vg(v,k)＝1。
如果匹配不成功，表明该绿灯候选图像区域gk(u)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素g(Q+1)添加到集合G{Q}中，并设置g(Q+1)在第k帧图像中的点亮值vg(Q+1,k)＝1，设置g(Q+1)在第k帧图像之前的图像序列中的点亮值均为0，即vg(Q+1,k-1)＝vg(Q+1,k-2)＝…＝vg(Q+1,k-W+1)＝0。
遍历结束后，对于G{Q}中未能被Gk{q}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0。
第四步：基于上述点亮值绘制点亮时序变化曲线。具体地，基于第k-W+1帧至第k帧连续图像序列观察窗口内各相匹配的灯体候选图像区域的点亮值vr、vy和vg，绘制点亮时序变化曲线。部分典型的点亮时序变化曲线如图2所示。
第五步：根据各相匹配的灯体候选图像区域的点亮时序曲线的自身规律或/和相互关系，判断其是否为交通指示红灯、黄灯或绿灯。判断原则可根据客观实际来定，本发明具体判断原则可以依次如下：
(1)如果某相匹配的候选图像区域的点亮时序不具有规律性，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种，如图2所示R(5)。
(2)如果某相匹配的候选图像区域在整个观察窗口期内始终为常亮状态无变化，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种。如图2所示R(4)。
(3)如果某相匹配的候选图像区域属于集合Y{P}，在保持不点亮状态至t1秒时刻后，以约1秒的周期闪烁点亮x1次，然后再次恢复为不点亮状态；且期间集合R{O}中有r(j)于约(t1+x1)秒时刻转变为点亮状态或恢复为不点亮状态；且对应集合G(Q)中有g(v)于约(t1+x1)秒时刻恢复为不点亮状态或转变为点亮状态；则该组候选图像区域为黄灯、r(j)为红灯、g(v)为绿灯，三者共同构成一组协同工作的信号灯组。分别如图2所示Y(1)、R(3)和G(1)。优选地，x1取值为3。
(4)如果某相匹配的候选图像区域属于集合R{O}，在保持点亮状态至t2秒时刻后，以约1秒的周期闪烁点亮x2次，然后再次恢复为不点亮状态，且期间集合G{Q}中有g(v)于约(t2+x2)秒时刻转变为点亮状态，则该组候选图像区域为红灯、g(v)为绿灯，二者构成一组协同工作的信号灯组。如图2所示R(1)和G(1)。优选地，x2取值为3。
(5)与(4)相反，如果某候选图像区域属于集合G{Q}，在保持点亮状态至t3秒时刻后，以约1秒的周期闪烁点亮x3次，然后再次恢复为不点亮状态，且期间集合R{O}中有r(j)于约(t3+x3)秒时刻转变为点亮状态，则该组候选图像区域为绿灯、r(j)为绿灯，二者构成一组协同工作的信号灯组。优选地，x3取值为3。
(6)如果某相匹配的候选图像区域属于集合R{O}，在保持不点亮状态至t4秒时刻后，以约1秒的周期闪烁点亮x4次，然后再次恢复为不点亮状态，且期间集合R{O}中有r(j)于约(t4+x4)秒时刻恢复为不点亮状态，且对应集合G(Q)中有g(v)于约(t4+x4)秒时刻转变为点亮状态，则该组候选图像区域为红色倒计时读秒灯、r(j)为红灯、g(v)为绿灯，三者共同构成一组协同工作的信号灯组。分别如图2所示R(2)、R(3)和G(1)。优选地，x4取值为15。
(7)与(6)相反，如果某候选图像区域属于集合G(Q)，在保持不点亮状态至t5秒时刻后，以约1秒的周期闪烁点亮x5次，然后再次恢复为不点亮状态，且期间集合R{O}中有r(j)于约(t5+x5)秒时刻转变为点亮状态，且集合G(Q)中有g(v)于约(t5+x5)秒时刻恢复为不点亮状态，则该组候选图像区域为绿色倒计时读秒灯、r(j)为红灯、g(v)为绿灯，三者共同构成一组协同工作的信号灯组。优选地，x5取值为15。
第六步：为减少集合R{O}、Y{P}和G{Q}中非灯体候选图像区域的残留量，加快算法效率，及时对其中的一些灯体候选图像区域进行删除。即删除仅在时序观察窗口中首帧中出现其余各帧中均未出现的候选图像区域。具体做法为：删除集合R{O}中满足vr(k-W+1)＝1且vr(k-W+2)＝…＝vr(k)＝0条件的所有元素，删除Y{P}中满足vy(k-W+1)＝1且vy(k-W+2)＝…＝vy(k)＝0条件的所有元素；删除集合G{Q}中满足vg(k-W+1)＝1且vg(k-W+2)＝…＝vg(k)＝0条件的所有元素。
第七步：返回第一步，如此反复循环，直至停止识别。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的技术范围作任何限制，故但凡依本发明的权利要求和说明书所做的变化或修饰，皆应属于本发明专利涵盖的范围之内。
Claims (10)
1.一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于：按一定时间间隔T逐帧采集行驶车辆前方的交通图像；根据给定的颜色阈值，分别获得每一帧图像中的红灯、黄灯和绿灯的候选图像区域；然后在一定的时间观察窗口W*T中按颜色统计分析所有相对应候选图像区域的点亮时序曲线，最后根据这些时序曲线的自身规律或/和相互关系来自动识别判断这些红灯、黄灯和绿灯的候选图像区域是否为红灯、黄灯和绿灯的目标图像。
2.根据权利要求1所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于包括如下步骤：
第一步：实时交通图像采样，根据一定的时间间隔T实时逐帧采集车辆行驶方向前方的交通图像，并记当前最新采集的图像为第k帧图像G(k)；
第二步：交通指示灯的候选图像区域分割，基于颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域，分别记为Rk{o}、Yk{p}和Gk{q}，其中o、p和q分别为G(k)中红灯、黄灯和绿灯的候选图像区域的个数；
第三步：基于特征匹配的候选图像观察窗内搜索，在一定时间长度W*T的时间观察窗内，按颜色根据特征匹配每一帧图像中的候选图像区域，各帧中相互匹配成功的候选图像区域被认定为同一灯体，根据该匹配的候选图像区域在各帧中出现与否设置点亮值；
第四步：基于上述点亮值绘制点亮时序变化曲线；
第五步：根据各相匹配的灯体候选图像区域的点亮时序曲线的自身规律或/和相互关系，判断其是否为交通指示红灯、黄灯或绿灯。
3.根据权利要求2所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述第二步：将图像G(k)从RGB色彩模式变换到HSV色彩模式，根据给定的HSV颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域。
4.根据权利要求2所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述第三步基于特征匹配的候选图像观察窗内搜索时，所提取的图像特征为同时满足旋转不变性和尺度不变性的Hu矩特征。
5.根据权利要求2所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述第三步具体为：
(1)利用第k-W+1帧图像G(k-W+1)至第k-1帧图像G(k-1)，构成时间长度为W*T的连续图像序列观察窗口，并记其中的所有红灯、黄灯和绿灯的候选图像区域集合为R{O}、Y{P}和G{Q}，其中O、P和Q分别为红灯、黄灯和绿灯的不同候选图像区域的总个数；
(2)遍历Rk{o}中的每一个红灯候选图像区域rk(i)，计算其图像特征，并与已有集合R{O}中的每一个红灯候选图像区域r(j)进行特征匹配；
如果匹配成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中已经存在，且就是图像区域r(j)，设置r(j)在第k帧图像中的点亮值vr(j,k)＝1；
如果匹配不成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素r(O+1)添加到集合R{O}中，并设置r(O+1)在第k帧图像中的点亮值vr(O+1,k)＝1，设置r(O+1)在第k帧图像之前的图像序列中的点亮值均为0；
遍历结束后，对于R{O}中未能被Rk{o}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0；
(3)同理，遍历Yk{p}中的每一个黄灯候选图像区域yk(m)和Gk{q}中的每一个绿灯候选图像区域gk(u)，完成上述第(2)相同步骤。
6.根据权利要求1-5任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于：在进行下一帧循环识别判断之前，删除时序观察窗口中非灯体候选图像区域，即删除仅在时序观察窗口中首帧中出现其余各帧中均未出现的候选图像区域。
7.根据权利要求1-5任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述识别判断的原则为：如果某相匹配的候选图像区域的点亮时序不具有规律性，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种；或者，如果某相匹配的候选图像区域在整个观察窗口期内始终为常亮状态无变化，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种。
8.根据权利要求1-5任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述识别判断的原则为：如果某相匹配的候选图像区域属于黄灯集合，在保持不点亮状态至t1秒时刻后，周期性闪烁x1次，然后再次恢复为不点亮状态；且期间红灯集合中有候选图像区域于约(t1+x1)秒时刻转变为点亮状态或恢复为不点亮状态；且对应绿灯集合中有候选图像区域于约(t1+x1)秒时刻恢复为不点亮状态或转变为点亮状态；则该组候选图像区域为黄灯、红灯和绿灯三者共同构成的一组协同工作的信号灯组。
9.根据权利要求1-5任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述识别判断的原则为：如果某相匹配的候选图像区域属于红灯或绿灯集合，在保持点亮状态至t2秒时刻后，周期性闪烁x2次，然后再次恢复为不点亮状态，且期间绿灯或红灯集合中有候选图像区域于约(t2+x2)秒时刻转变为点亮状态，则该组候选图像区域为红灯和绿灯二者构成的一组协同工作的信号灯组。
10.根据权利要求1-5任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述识别判断的原则为：如果某相匹配的候选图像区域属于红灯或绿灯集合，在保持不点亮状态至t4秒时刻后，周期性闪烁x4次，然后再次恢复为不点亮状态，且期间红灯或绿灯集合中有候选图像区域于约(t4+x4)秒时刻恢复为不点亮状态，且对应绿灯或红灯集合中有候选图像区域于约(t4+x4)秒时刻转变为点亮状态，则该组候选图像区域为红色或绿灯倒计时读秒灯、红灯和绿灯三者共同构成的一组协同工作的信号灯组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011208077.XA CN112330961B (zh) | 2020-11-03 | 2020-11-03 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011208077.XA CN112330961B (zh) | 2020-11-03 | 2020-11-03 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330961A true CN112330961A (zh) | 2021-02-05 |
| CN112330961B CN112330961B (zh) | 2022-11-08 |
Family
ID=74324518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011208077.XA Expired - Fee Related CN112330961B (zh) | 2020-11-03 | 2020-11-03 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330961B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694112A (zh) * | 2022-02-22 | 2022-07-01 | 广州文远知行科技有限公司 | 交通信号灯的识别方法、装置及电子设备 |
| CN115468579A (zh) * | 2022-11-03 | 2022-12-13 | 广汽埃安新能源汽车股份有限公司 | 路径规划方法、装置、电子设备和计算机可读介质 |
| CN115984825A (zh) * | 2023-03-02 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 信号灯闪烁感知方法、车辆控制方法、设备、介质及车辆 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908271A (zh) * | 2010-06-28 | 2010-12-08 | 青岛海信网络科技股份有限公司 | 信号灯颜色识别方法及装置 |
| CN103324957A (zh) * | 2013-06-25 | 2013-09-25 | 东软集团股份有限公司 | 信号灯状态的识别方法及识别装置 |
| CN105279511A (zh) * | 2015-10-20 | 2016-01-27 | 浙江宇视科技有限公司 | 基于颜色时变特征的交通信号灯重定位方法及装置 |
| CN107749185A (zh) * | 2017-09-26 | 2018-03-02 | 同济大学 | 一种基于行车记录仪数据的红绿灯信号周期提取方法 |
| US20200042799A1 (en) * | 2018-07-31 | 2020-02-06 | Didi Research America, Llc | System and method for point-to-point traffic prediction |
| CN111292531A (zh) * | 2020-02-06 | 2020-06-16 | 北京百度网讯科技有限公司 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
-
2020
- 2020-11-03 CN CN202011208077.XA patent/CN112330961B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908271A (zh) * | 2010-06-28 | 2010-12-08 | 青岛海信网络科技股份有限公司 | 信号灯颜色识别方法及装置 |
| CN103324957A (zh) * | 2013-06-25 | 2013-09-25 | 东软集团股份有限公司 | 信号灯状态的识别方法及识别装置 |
| CN105279511A (zh) * | 2015-10-20 | 2016-01-27 | 浙江宇视科技有限公司 | 基于颜色时变特征的交通信号灯重定位方法及装置 |
| CN107749185A (zh) * | 2017-09-26 | 2018-03-02 | 同济大学 | 一种基于行车记录仪数据的红绿灯信号周期提取方法 |
| US20200042799A1 (en) * | 2018-07-31 | 2020-02-06 | Didi Research America, Llc | System and method for point-to-point traffic prediction |
| CN111292531A (zh) * | 2020-02-06 | 2020-06-16 | 北京百度网讯科技有限公司 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694112A (zh) * | 2022-02-22 | 2022-07-01 | 广州文远知行科技有限公司 | 交通信号灯的识别方法、装置及电子设备 |
| CN115468579A (zh) * | 2022-11-03 | 2022-12-13 | 广汽埃安新能源汽车股份有限公司 | 路径规划方法、装置、电子设备和计算机可读介质 |
| CN115984825A (zh) * | 2023-03-02 | 2023-04-18 | 安徽蔚来智驾科技有限公司 | 信号灯闪烁感知方法、车辆控制方法、设备、介质及车辆 |
| WO2024179134A1 (zh) * | 2023-03-02 | 2024-09-06 | 安徽蔚来智驾科技有限公司 | 信号灯闪烁感知方法、车辆控制方法、设备、介质及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330961B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330961B (zh) | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 | |
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| CN108765443B (zh) | 一种自适应颜色阈值分割的标志增强处理方法 | |
| CN103034836B (zh) | 道路标志检测方法和道路标志检测设备 | |
| CN102231236B (zh) | 车辆计数方法和装置 | |
| CN103208185B (zh) | 一种基于车灯识别的夜间车辆检测方法及系统 | |
| CN104751634B (zh) | 高速公路隧道行车图像采集信息的综合应用方法 | |
| CN107273896A (zh) | 一种基于图像识别的车牌检测识别方法 | |
| CN105185118B (zh) | 一种基于视频检测的违章车辆检测装置及其方法 | |
| CN107016362B (zh) | 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统 | |
| CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
| CN105913041A (zh) | 一种基于预先标定的信号灯识别方法 | |
| CN109460715A (zh) | 一种基于机器学习的交通灯自动识别实现方法 | |
| CN111832388B (zh) | 一种车辆行驶中交通标志检测与识别方法及系统 | |
| CN111881739B (zh) | 一种汽车尾灯状态识别方法 | |
| CN112818853B (zh) | 一种交通要素识别方法、装置、设备及储存介质 | |
| CN104408424A (zh) | 一种基于图像处理的多信号灯识别方法 | |
| CN111723805B (zh) | 一种信号灯的前景区域识别方法及相关装置 | |
| CN107563301A (zh) | 基于图像处理技术的红灯信号检测方法 | |
| CN111144301A (zh) | 一种基于深度学习的道路路面缺陷快速预警装置 | |
| CN111814751A (zh) | 基于深度学习目标检测和图像识别的车辆属性分析方法及系统 | |
| CN110969647A (zh) | 一种整合车辆的识别跟踪与车灯检测的方法 | |
| CN104866838B (zh) | 一种基于视觉的前方车辆自动检测方法 | |
| CN113034378A (zh) | 一种区分电动汽车与燃油汽车的方法 | |
| CN112669615A (zh) | 一种基于摄像头的停车位检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221108 |