CN108357418B - 一种基于尾灯识别的前车驾驶意图分析方法 - Google Patents
一种基于尾灯识别的前车驾驶意图分析方法 Download PDFInfo
- Publication number
- CN108357418B CN108357418B CN201810079076.6A CN201810079076A CN108357418B CN 108357418 B CN108357418 B CN 108357418B CN 201810079076 A CN201810079076 A CN 201810079076A CN 108357418 B CN108357418 B CN 108357418B
- Authority
- CN
- China
- Prior art keywords
- lamp
- vehicle
- tail lamp
- area
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 37
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000003708 edge detection Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于尾灯识别的前车驾驶意图分析方法,其包括如下步骤:步骤一、对前方车辆定位检测;步骤二、对步骤一中确认位置的前方车辆的车辆尾灯位置定位检测:提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性;步骤三、对步骤二中确认的车尾灯区域进行灯语识别:采用RGB颜色空间和CMY颜色空间中的相应通道值检测相应车尾灯区域的颜色和亮灭情况,通过车尾灯区域的灯语识别前车驾驶意图;本发明在车辆检测的基础上,对尾灯进行检测,针对车辆在城市道路上正常行驶时常用的刹车灯、转向灯和应急灯,构建灯语判别机制,通过对前方车辆的灯语进行分析,对前车驾驶意图进行预测。
Description
技术领域
本发明涉及一种基于尾灯识别的前车驾驶意图分析方法,其属于数字图像处理领域。
背景技术
前方车辆驾驶意图分析是主动安全驾驶领域的重要研究方向,也是智能辅助驾驶系统中的重要组成部分。针对前方车辆的驾驶意图分析是主动安全驾驶领域的重要研究方向。
现有的研究分析主要是通过雷达或红外传感器,与机器视觉的结合进行的前车运动状态检测,或基于驾驶者本人的驾驶动作和身体状态做出的驾驶意图研究,而国内针对基于尾灯检测和灯语识别技术进行前方车辆驾驶意图分析的研究不多。而灯语作为车辆间交流的重要途径,在车辆检测和尾灯检测的基础之上,通过对前方车辆的灯语进行分析,构建灯语识别规则,可对前车驾驶意图进行预测,并为驾驶者的行为决策提供必要的数据支持,增加驾驶者的反应时间,降低驾驶者变道的频率,从而提高驾驶者的驾驶流畅性和安全性,并可以保持道路交通的流畅度和减少交通拥堵情况的发生。
传统的尾灯检测方法大多数是针对夜间情况下的检测识别,由于夜间车辆尾灯区域较为明亮,与周围环境差异较大,显眼的前车尾灯是夜间车辆最显著的特征。而白天场景下,针对前车尾灯检测的研究则相对较少。
有学者提出利用尾灯对的对称性特点,设计了使用位置和面积约束条件进行尾灯配对验证的方法,利用帧之间车尾灯区域的位置信息进行尾灯的关联,实现对车尾灯稳定有效的检测,但是这种方法所需识别时间较长,并且白天车尾灯区域在HSV空间的颜色阈值会随着具体车型尾灯配置的不同而有所变化,会影响拟合出最佳的颜色分割阈值。
也有学者利用车辆尾灯的镜像特征设计车尾灯对匹配算法,并通过其与车底阴影之间的位置关系来检测车尾灯对以及辅助定位车辆位置,但是该方法缺乏考虑加入车辆识别的方法,以提高刹车灯和转向灯检测率与识别率。
也有学者把白天和夜间的算法统一起来,从而避免了昼夜算法切换时间点的选择问题,但这种方法在不同类型的公路和不同的气象条件下,并不稳定,夜间时由于饱和度问题可能造成检测系统的失效。
还有学者提出了24小时的前车尾灯检测和定位的方法,但其只能够通过亮度级不同检测出刹车灯与转向灯两种车灯状态。
此外的国内外多数实验和研究只用于前车尾灯区域检测与跟踪定位,对于灯语识别领域尚未做过深入研究。
灯语是道路环境中车辆间进行信息交互最直接和有效的方式之一,尤其在高速行车道路上,简明高效的灯语信息对于驾驶者本人和其他驾驶人的行驶安全更为重要。基于车辆之间的交流在城市交通环境中的安全驾驶领域起的作用越来越大,对前方车辆驾驶意图的研究也必将是安全驾驶研究的一个热点。
发明内容
本发明所要解决的技术问题是提供了一种对不同光照环境下的车尾灯状态均能够识别且检测正确率较高的基于尾灯识别的前车驾驶意图分析方法。
为解决上述技术问题,本发明采用了如下技术方案:
一种基于尾灯识别的前车驾驶意图分析方法,其包括如下步骤:
步骤一、对前方车辆进行定位检测;
步骤二、对步骤一中确认位置的前方车辆的车辆尾灯位置进行定位检测:
提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性;
步骤三、对步骤二中确认的车尾灯区域进行灯语识别:
采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图。
进一步的,所述步骤一、对前方车辆进行定位检测的方法如下:
首先,对图像进行灰度化和高斯滤波去噪处理;
然后,选取感兴趣区域并对车辆进行粗定位,选择水平均值分布曲线上部起第一个最小值所在的行作为天空和路面区域的分界线,即感兴趣区域的上边缘;选择水平均值曲线上部起第二个最小值所在的行作为感兴趣区域的下边缘,并根据车底阴影,对车辆进行粗定位,找到粗定位区域;
最后,利用Sobel算子对粗定位区域进行水平边缘检测和垂直边缘检测,根据得到的垂直的积分投影图像和水平的积分投影图像,将垂直的积分投影图像的局部峰值作为车辆的左右边缘,将水平的积分投影图像中第一条达到最大值一半的行作为水平上边缘,选择水平的积分投影图像上部起第二个最小值所在的行作为感兴趣区域的下边缘,从而精确定位前方车辆。
进一步的,所述步骤二中,提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性的具体方法如下:
(2-1)对车尾灯区域的RGB颜色空间或CMY颜色空间中和车尾灯主颜色相匹配的分量采用高斯滤波去除不必要的噪声点,利用Sobel算子进行边缘检测获取尾灯的轮廓,然后对图像进行形态学闭操作处理,消除尾灯区域中狭窄的间断和小空洞,填补轮廓线;再对图像进行开操作,平滑图像边界,得到车尾灯区域的边界;
(2-2)记左侧车尾灯区域为Q1,左侧车尾灯区域Q1的最大高度为Lh,质心位置为(Lx,Ly),右侧车尾灯区域为Q2,右侧车尾灯区域Q2的最大高度为Rh,质心位置为(Rx,Ry);利用车尾灯对的质心位置在y方向上的高度差判断待测区域是否为正确的车尾灯对,判断条件如下式(1)所示,若不正确则重新进行检测判定:
其中,D表示待测区域是否为正确的车尾灯对;
ture表示待测区域是正确的车尾灯对;
false表示待测区域不是正确的车尾灯对;
others表示除abs(Ly-Ry)≤max(Lh,Rh)×0.4之外的其他情况。
进一步的,所述步骤三中,采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图,具体方式是:采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况。
进一步的,在采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况之前,还进行了如下步骤:
选取背景帧和待测帧,设定动态阈值,并计算背景帧的像素均值、待测帧的像素均值:
所述背景帧的像素均值的计算方法为:选取前方车辆视频数据第i秒内的n帧目标区域图像,n大于等于1,设第m帧图像车尾灯区域的X通道像素值之和为ωm,像素值个数之和为km,求其平均值得到背景帧的像素均值为ε,则ε的计算公式如下式(2)所示:
其中,m=1,2,3……n;
所述背景帧按时更新;在车尾灯状态判断中检测到背景帧选择不合适的情况,则立刻进行背景帧更新;
所述X通道在利用RGB颜色空间时指代R通道,在利用CMY颜色空间时指代Y通道;
所述待测帧的像素均值的计算方法为:选取i+1秒的中间帧作为待测帧,同样采用式(2)求得其均值为ε′;
车尾灯区域在外界不同光照强度下本身亮度不同,据此车尾灯状态的判断阈值设定为动态阈值T,其计算公式如下式(3):
T=0.2*(255-ε) (3)
其中,ε表示背景帧的像素均值。
进一步的,所述步骤三中,在采用RGB颜色空间中的R通道值来检测刹车灯,具体方法如下:
计算背景帧的像素均值ε和待测帧的像素均值ε′,求其差值α,如下式(4):
α=ε′-ε (4)
通过比较差值α与动态阈值T的大小判定此时高位刹车灯是否亮起,判断规则如下:
当α≥T1时,表示刹车灯待测区域点亮,驾驶意图分析结果为刹车灯点亮;
当0≤α<T1时,表示刹车灯待测区域状态与背景状态一致,驾驶意图分析结果为刹车灯未点亮;
当α<0时,表示背景选择不合适,更新背景帧。
进一步的,上所述步骤三中,采用CMY颜色空间中的Y通道值来检测转向灯和应急灯,具体方法如下:
按车尾灯每闪烁一次的时长,连续取至少三段所述时长下的待测帧,来判断车尾灯是否处于闪烁状态,其判断方法如下:若三帧待测帧中至少有一帧的像素均值ε′与背景帧的像素均值ε的差值α大于动态阈值T则为闪烁状态;若检测到单侧闪亮则为转向灯状态,若双侧闪亮则为应急灯状态。
本发明的有益效果如下:
本发明在车辆检测的基础上,对尾灯进行检测,针对车辆在城市道路上正常行驶时常用的刹车灯、转向灯和应急灯,构建灯语判别机制,通过对前方车辆的灯语进行分析,对前车驾驶意图进行预测。
前车驾驶意图分析是智能辅助驾驶和无人驾驶中的重要内容,而对前车驾驶意图分析的最好的方法是识别前车尾灯的“灯语”,因为尾灯形状的不同和光线的干扰给灯语识别带来了极大的困扰。本发明通过分析最为关键的三种车尾灯点亮的特点,提出了一种基于尾灯识别的前车驾驶意图分析方法,结合使用RGB和CMY两种颜色空间对车尾灯点亮的不同状态进行检测。设定了动态阈值以消除光线对车尾灯颜色的干扰,建立灯语识别机制解析前车驾驶意图。通过实验,本发明对不同光照环境下的车尾灯状态均能够识别且检测正确率较高。
附图说明
图1为本发明中车尾灯区域检测得到平滑的边界图像。
图2为本发明中对检测到的车尾灯区域进行对称性验证的位置示意图。
图3为本发明的具体实施方式的流程图。
图4为本发明中车辆在逆光行驶时的背景帧图片。
图5为本发明中车辆在顺光行驶时的背景帧图片。
具体实施方式
下面结合图1-图5对本发明的具体实施例做进一步说明。
如图1-图5所示,本实施例涉及一种基于尾灯识别的前车驾驶意图分析方法,其包括如下步骤:
步骤一、对前方车辆进行定位检测;
步骤二、对步骤一中确认位置的前方车辆的车辆尾灯位置进行定位检测:
提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性;
步骤三、对步骤二中确认的车尾灯区域进行灯语识别:
采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图。
进一步的,所述步骤一、对前方车辆进行定位检测的方法如下:
首先,对图像进行灰度化和高斯滤波去噪处理;
然后,选取感兴趣区域并对车辆进行粗定位,选择水平均值分布曲线上部起第一个最小值所在的行作为天空和路面区域的分界线,即感兴趣区域的上边缘;选择水平均值曲线上部起第二个最小值所在的行作为感兴趣区域的下边缘,并根据车底阴影,对车辆进行粗定位,找到粗定位区域;
最后,利用Sobel算子对粗定位区域进行水平边缘检测和垂直边缘检测,根据得到的垂直的积分投影图像和水平的积分投影图像,将垂直的积分投影图像的局部峰值作为车辆的左右边缘,将水平的积分投影图像中第一条达到最大值一半的行作为水平上边缘,选择水平的积分投影图像上部起第二个最小值所在的行作为感兴趣区域的下边缘,从而精确定位前方车辆。
进一步的,所述步骤二中,提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性的具体方法如下:
(2-1)对车尾灯区域的RGB颜色空间或CMY颜色空间中和车尾灯主颜色相匹配的分量采用高斯滤波去除不必要的噪声点,利用Sobel算子进行边缘检测获取尾灯的轮廓,然后对图像进行形态学闭操作处理,消除尾灯区域中狭窄的间断和小空洞,填补轮廓线;再对图像进行开操作,平滑图像边界,得到车尾灯区域的边界;
(2-2)记左侧车尾灯区域为Q1,左侧车尾灯区域Q1的最大高度为Lh,质心位置为(Lx,Ly),右侧车尾灯区域为Q2,右侧车尾灯区域Q2的最大高度为Rh,质心位置为(Rx,Ry);利用车尾灯对的质心位置在y方向上的高度差判断待测区域是否为正确的车尾灯对,判断条件如下式(1)所示,若不正确则重新进行检测判定:
其中,D表示待测区域是否为正确的车尾灯对;
ture表示待测区域是正确的车尾灯对;
false表示待测区域不是正确的车尾灯对;
others表示除abs(Ly-Ry)≤max(Lh,Rh)×0.4之外的其他情况。
进一步的,所述步骤三中,采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图,具体方式是:采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况。
进一步的,在采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况之前,还进行了如下步骤:
选取背景帧和待测帧,设定动态阈值,并计算背景帧的像素均值、待测帧的像素均值:
所述背景帧的像素均值的计算方法为:选取前方车辆视频数据第i秒内的n帧目标区域图像,n大于等于1,设第m帧图像车尾灯区域的X通道像素值之和为ωm,像素值个数之和为km,求其平均值得到背景帧的像素均值为ε,则ε的计算公式如下式(2)所示:
其中,m=1,2,3……n;
所述背景帧按时更新;在车尾灯状态判断中检测到背景帧选择不合适的情况,则立刻进行背景帧更新;
所述X通道在利用RGB颜色空间时指代R通道,在利用CMY颜色空间时指代Y通道;
所述待测帧的像素均值的计算方法为:选取i+1秒的中间帧作为待测帧,同样采用式(2)求得其均值为ε′;
车尾灯区域在外界不同光照强度下本身亮度不同,据此车尾灯状态的判断阈值设定为动态阈值T,其计算公式如下式(3):
T=0.2*(255-ε) (3)
其中,ε表示背景帧的像素均值。
进一步的,所述步骤三中,在采用RGB颜色空间中的R通道值来检测刹车灯,具体方法如下:
计算背景帧的像素均值ε和待测帧的像素均值ε′,求其差值α,如下式(4):
α=ε′-ε (4)
通过比较差值α与动态阈值T的大小判定此时高位刹车灯是否亮起,判断规则如下:
当α≥T1时,表示刹车灯待测区域点亮,驾驶意图分析结果为刹车灯点亮;
当0≤α<T1时,表示刹车灯待测区域状态与背景状态一致,驾驶意图分析结果为刹车灯未点亮;
当α<0时,表示背景选择不合适,更新背景帧。
进一步的,所述步骤三中,采用CMY颜色空间中的Y通道值来检测转向灯和应急灯,具体方法如下:
按车尾灯每闪烁一次的时长,连续取至少三段所述时长下的待测帧,来判断车尾灯是否处于闪烁状态,其判断方法如下:若三帧待测帧中至少有一帧的像素均值ε′与背景帧的像素均值ε的差值α大于动态阈值T则为闪烁状态;若检测到单侧闪亮则为转向灯状态,若双侧闪亮则为应急灯状态。
本实施例的具体实施过程和原理如下:
(一)对前方车辆进行检测:包括对前方车辆位置的检测和对前方车辆车尾灯位置的检测;
1)对前方车辆位置的检测
本实施例采用陈戈珩的基于灰色模型的前方车辆检测与跟踪算法,完成车辆的检测。灰色系统理论无需假设目标规律和随机噪声参数即能估计预测目标。
首先对图像进行灰度化和高斯滤波去噪处理,提取出感兴趣区域;之后根据车底阴影,对车辆进行粗定位,利用Sobel算子对粗定位区域进行水平边缘检测和垂直边缘检测,根据得到的垂直的积分投影图像和水平的积分投影图像,将垂直的积分投影图像的局部峰值作为车辆的左右边缘,将水平的积分投影图像中第一条达到最大值一半的行为水平上边缘,选择水平积分投影图像上部起第二个最小值所在的行作为感兴趣区域的下边缘,从而精确定位前方车辆。
2)对前方车辆车尾灯位置的检测
汽车是通过尾灯来向后方车辆发送驾驶意图信号,因此判断驾驶意图中最重要的一步是尾灯检测。车尾灯对称分布在车辆的左右两侧,其颜色为大面积的红色和小部分白色组成,且具有某种形状。根据这些特点,本实施例提取RGB颜色空间中的R分量来检测车尾灯区域,采用其对称性验证检测的正确性。具体方法为:对车尾灯区域的R分量采用高斯滤波去除不必要的噪声点,利用Sobel算子进行边缘检测获取尾灯的轮廓,然后对图像进行形态学闭操作处理,消除尾灯区域中狭窄的间断和小空洞,填补轮廓线;再对图像进行开操作,平滑图像边界。检测结果如图1所示。
同一辆车的车尾灯应保持在一个水平线上,且车尾灯对称分布,根据这些特点对检测到的车尾灯进行对称性匹配。因此画出尾灯区域示意如图2所示,记左侧尾灯区域Q1的最大高度为Lh,质心位置为(Lx,Ly),右侧尾灯区域Q2的最大高度为Rh,质心位置为(Rx,Ry)。利用尾灯对的质心位置在y方向上的高度差判断待测区域是否为正确的尾灯对,判断条件如下式(1)所示,若不正确则重新进行检测判定:
其中,D表示待测区域是否为正确的车尾灯对;
ture表示待测区域是正确的车尾灯对;
false表示待测区域不是正确的车尾灯对;
others表示除abs(Ly-Ry)≤max(Lh,Rh)×0.4之外的其他情况。
(二)灯语识别及驾驶意图分析:
汽车尾灯一般包括刹车灯、应急灯、转向灯、后位灯、雾灯和倒车灯这六种灯光,其中在正常行驶路况下使用最为频繁的是刹车灯、转向灯和应急灯,本实施例主要对这三种情况进行灯语识别,三种情况下车尾灯的点亮状态如下表1所示。根据尾灯点亮时的颜色不同,本实施例采用RGB颜色空间来检测刹车灯,采用CMY颜色空间来检测转向灯和应急灯。其检测流程如图3所示。
表1三种尾灯表现形式
设定背景帧检测:
车灯处于什么状态,如何判定,均需要与一个背景帧进行对比,因此背景帧设定直接关系到是否能正确识别车灯状态。本实施例对背景帧的设定如图4和图5中所示,初始时,等间隔选取视频中1秒内的5帧目标区域图像,求其平均值作为背景帧,正常情况背景值10秒更新一次。但如果在车灯状态判断中检测到背景选取错误的情况,则立刻进行背景更新。
背景帧的像素均值的计算方法为:选取前方车辆视频数据第i秒内的n帧目标区域图像,n大于等于1,设第m帧图像车尾灯区域的X通道(RGB颜色空间为R通道,CMY颜色空间为Y通道)像素值之和为ωm,像素值个数之和为km,背景像素均值为ε,则ε的计算公式如式(2)所示:
其中,m=1,2,3……n;
所述X通道在利用RGB颜色空间时指代R通道,在利用CMY颜色空间时指代Y通道;
待测帧均值计算方法为:选取i+1秒的中间帧作为待测帧,同样采用式(2)求得其均值为ε′;
设定动态阈值T:
考虑到光照因素会对尾灯区域产生较大干扰,如汽车在顺光环境下行驶时,车灯未点亮时尾灯由于光照产生的反射光线较强,本身亮度就会较高,当尾灯亮起时,亮度变化比较微弱;而汽车在逆光环境下行驶时,尾灯区域受到光线干扰较小,尾灯亮起时变化就会比较明显。因此本实施例将尾灯状态的判断阈值设定为动态阈值T,背景帧的像素均值记为ε,则T=0.2(255-ε)。
刹车灯的状态检测与识别:
刹车灯点亮后为红色,状态为常亮,经实验分析,刹车状态下,RGB颜色空间中G通道和B通道对于车灯处于点亮状态的敏感程度远不如R通道,因此采用R通道进行计算。
采用式(2)计算背景像素均值ε和待测帧的像素均值ε′,求其差值α,如下式(3)。
α=ε′-ε (3)
设其动态阈值为T1=0.2(255-ε),通过比较差值与阈值的大小判定此时高位刹车灯是否亮起,判别规则如下表2所示:
表2高位刹车灯判别规则
应急灯和转向灯的检测与识别:
转向灯与应急灯亮起时为黄色,而RGB颜色空间对黄色并不敏感,而CMY颜色空间中的Y分量即为黄色分量,因此本实施例采用CMY颜色空间对应急灯与转向灯进行检测。采用下式(4)将RGB颜色空间转换到CMY颜色空间。
从状态上分析,应急灯为双侧闪烁,而转向灯为单侧闪烁,因此,在检测时不能单单提取一帧检测帧,这样容易造成误判。根据车尾灯频闪的频率为1Hz左右,即1秒钟闪烁一次,本文每秒内生成一帧检测帧,连续取三秒的检测帧,来判断尾灯是否处于闪烁状态。其判断方法为:若三帧检测帧中至少有一帧的均值与背景帧均值差大于动态阈值则为闪烁状态;若检测到单侧闪亮则为转向灯状态,若双侧闪亮则为应急灯状态。
提取CMY空间中的Y分量,采用上式(2)分别计算左、右尾灯区域的背景帧的像素均值εleft、εright和三帧待测帧像素均值εleft 1、εleft 2、εleft 3和εright 1、εright 2、εright 3。采用下式(5)求其差值:
αleft 1=εleft 1-εleft αright 1=εright 1-εright
αleft 2=εleft 2-εleft αright 2=εright 2-εright (5)
αleft 3=εleft 3-εleft αright 3=εright 3-εright
设定动态阈值T2L=0.2(255-εleft),T2R=0.2(255-εright),通过比较待测帧左、右尾灯区域的像素均值与背景像素均值来判断应急灯与转向灯状态,判别规则如下表3所示:
表3转向灯与应急灯判别规则
其中,表3中符号:“&”符号代表“与”运算,“|”符号代表“或”运算。
为验证本算法的有效性,采用Matlab2016为软件验证平台,拍摄不同车辆和不同尾灯状态的图片进行测试。通过Matlab2016为软件验证平台展示出尾灯的检测结果和车灯状态的识别结果,并给出实时的注意提示。
从真实道路环境中拍摄的连续视频中随机选取600帧图像作为测试图像库进行检测。其中刹车灯状态、转向灯状态和应急灯状态各200帧。各种车灯状态的实验识别结果准确率如下表4所示:
表4灯语识别准确率(%)
选取不同光线条件下(顺光和逆光)的真实道路环境图像进行检测,如图4和5所示,在前车处于逆光和顺光行驶时,均能正确的检测到点亮的车尾灯。实验结果表明本算法对不同光照环境下的尾灯状态均能够识别且检测正确率较高。
以上所述实施方式仅为本发明的优选实施例,而并非本发明可行实施的穷举。对于本领域一般技术人员而言,在不背离本发明原理和精神的前提下对其所作出的任何显而易见的改动,都应当被认为包含在本发明的权利要求保护范围之内。
Claims (5)
1.一种基于尾灯识别的前车驾驶意图分析方法,其特征在于:其包括如下步骤:
步骤一、对前方车辆进行定位检测;
步骤二、对步骤一中确认位置的前方车辆的车辆尾灯位置进行定位检测:提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性;
步骤三、对步骤二中确认的车尾灯区域进行灯语识别:
采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图;
其中,
在步骤三中,采用RGB颜色空间和CMY颜色空间中的相应通道值来检测相应车尾灯区域的颜色和亮灭情况,从而通过车尾灯区域的灯语识别前车驾驶意图,具体方式是:采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况;并且,
在采用RGB颜色空间中的R通道值来检测刹车灯的颜色和亮灭情况,并采用CMY颜色空间中的Y通道值来检测转向灯和应急灯的颜色和亮灭情况之前,还进行了如下步骤:
选取背景帧和待测帧,设定动态阈值,并计算背景帧的像素均值、待测帧的像素均值;
所述背景帧的像素均值的计算方法为:选取前方车辆视频数据第i秒内的n帧目标区域图像,n大于等于1,设第m帧图像车尾灯区域的X通道像素值之和为ωm,像素值个数之和为km,求其平均值得到背景帧的像素均值为ε,则ε的计算公式如下式(2)所示:
其中,m=1,2,3……n;
所述背景帧按时更新;在车尾灯状态判断中检测到背景帧选择不合适的情况,则立刻进行背景帧更新;
所述X通道在利用RGB颜色空间时指代R通道,在利用CMY颜色空间时指代Y通道;所述待测帧的像素均值的计算方法为:选取i+1秒的中间帧作为待测帧,同样采用式(2)求得其均值为ε′;
车尾灯区域在外界不同光照强度下本身亮度不同,据此车尾灯状态的判断阈值设定为动态阈值T,其计算公式如下式(3):
T=0.2×(255-ε) (3)
其中,ε表示背景帧的像素均值。
2.根据权利要求1所述的一种基于尾灯识别的前车驾驶意图分析方法,其特征在于:所述步骤一、对前方车辆进行定位检测的方法如下:
首先,对图像进行灰度化和高斯滤波去噪处理;
然后,选取感兴趣区域并对车辆进行粗定位,选择水平均值分布曲线上部起第一个最小值所在的行作为天空和路面区域的分界线,即感兴趣区域的上边缘;选择水平均值曲线上部起第二个最小值所在的行作为感兴趣区域的下边缘,并根据车底阴影,对车辆进行粗定位,找到粗定位区域;
最后,利用Sobel算子对粗定位区域进行水平边缘检测和垂直边缘检测,根据得到的垂直的积分投影图像和水平的积分投影图像,将垂直的积分投影图像的局部峰值作为车辆的左右边缘,将水平的积分投影图像中第一条达到最大值一半的行作为水平上边缘,选择水平的积分投影图像上部起第二个最小值所在的行作为感兴趣区域的下边缘,从而精确定位前方车辆。
3.根据权利要求1所述的一种基于尾灯识别的前车驾驶意图分析方法,其特征在于:步骤二中,提取RGB颜色空间和CMY颜色空间中和车尾灯主颜色相匹配的分量来检测车尾灯区域,并采用其对称性验证检测的正确性的具体方法如下:
(2-1)对车尾灯区域的RGB颜色空间或CMY颜色空间中和车尾灯主颜色相匹配的分量采用高斯滤波去除不必要的噪声点,利用Sobel算子进行边缘检测获取尾灯的轮廓,然后对图像进行形态学闭操作处理,消除尾灯区域中狭窄的间断和小空洞,填补轮廓线;再对图像进行开操作,平滑图像边界,得到车尾灯区域的边界;
(2-2)记左侧车尾灯区域为Q1,左侧车尾灯区域Q1的最大高度为Lh,质心位置为(Lx,Ly),右侧车尾灯区域为Q2,右侧车尾灯区域Q2的最大高度为Rh,质心位置为(Rx,Ry);利用车尾灯对的质心位置在y方向上的高度差判断待测区域是否为正确的车尾灯对,判断条件如下式(1)所示,若不正确则重新进行检测判定:
其中,D表示待测区域是否为正确的车尾灯对;
ture表示待测区域是正确的车尾灯对;
false表示待测区域不是正确的车尾灯对;
others表示除abs(Ly-Ry)≤max(Lh,Rh)×0.4之外的其他情况。
4.根据权利要求1所述的一种基于尾灯识别的前车驾驶意图分析方法,其特征在于:步骤三中,在采用RGB颜色空间中的R通道值来检测刹车灯,具体方法如下:
计算背景帧的像素均值ε和待测帧的像素均值ε′,求其差值α,如下式(4):
α=ε′-ε (4)
通过比较差值α与动态阈值T的大小判定此时高位刹车灯是否亮起,判断规则如下:
当α≥T1时,表示刹车灯待测区域点亮,驾驶意图分析结果为刹车灯点亮;
当0≤α<T1时,表示刹车灯待测区域状态与背景状态一致,驾驶意图分析结果为刹车灯未点亮;
当α<0时,表示背景选择不合适,更新背景帧。
5.根据权利要求1或4所述的一种基于尾灯识别的前车驾驶意图分析方法,其特征在于:
步骤三中,采用CMY颜色空间中的Y通道值来检测转向灯和应急灯,具体方法如下:
按车尾灯每闪烁一次的时长,连续取至少三段所述时长下的待测帧,来判断车尾灯是否处于闪烁状态,其判断方法如下:若三帧待测帧中至少有一帧的像素均值ε′与背景帧的像素均值ε的差值α大于动态阈值T则为闪烁状态;若检测到单侧闪亮则为转向灯状态,若双侧闪亮则为应急灯状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810079076.6A CN108357418B (zh) | 2018-01-26 | 2018-01-26 | 一种基于尾灯识别的前车驾驶意图分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810079076.6A CN108357418B (zh) | 2018-01-26 | 2018-01-26 | 一种基于尾灯识别的前车驾驶意图分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108357418A CN108357418A (zh) | 2018-08-03 |
CN108357418B true CN108357418B (zh) | 2021-04-02 |
Family
ID=63007320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810079076.6A Active CN108357418B (zh) | 2018-01-26 | 2018-01-26 | 一种基于尾灯识别的前车驾驶意图分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108357418B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109747638B (zh) * | 2018-12-25 | 2020-06-16 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆行驶意图识别方法及装置 |
CN112307833A (zh) * | 2019-07-31 | 2021-02-02 | 浙江商汤科技开发有限公司 | 识别智能行驶设备的行驶状态的方法及装置、设备 |
CN111275981A (zh) * | 2020-01-21 | 2020-06-12 | 长安大学 | 一种高速公路车辆开启制动灯和双闪灯的识别方法 |
US11577644B2 (en) * | 2020-06-18 | 2023-02-14 | Baidu Usa Llc | L3-level auto-emergency light system for ego vehicle harsh brake |
CN111815959B (zh) * | 2020-06-19 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种车辆违章的检测方法、装置以及计算机可读存储介质 |
CN112926476B (zh) * | 2021-03-08 | 2024-06-18 | 京东鲲鹏(江苏)科技有限公司 | 车辆识别方法、装置及存储介质 |
CN113516049A (zh) * | 2021-05-19 | 2021-10-19 | 江苏奥易克斯汽车电子科技股份有限公司 | 基于深度学习的安全带检测方法及装置 |
CN113345036B (zh) * | 2021-05-24 | 2022-09-27 | 广西电网有限责任公司电力科学研究院 | 基于hsv特征变换的指示灯状态识别方法 |
CN113743226B (zh) * | 2021-08-05 | 2024-02-02 | 武汉理工大学 | 一种日间前车灯语识别及预警方法及系统 |
CN114435355A (zh) * | 2022-02-28 | 2022-05-06 | 重庆长安汽车股份有限公司 | 一种基于前车尾灯识别的智能驾驶控制方法及存储介质 |
WO2024158359A1 (en) * | 2023-01-24 | 2024-08-02 | Konya Tekni̇k Üni̇versi̇tesi̇ | An emergency brake warning system to ensure the safety of a vehicle behind |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574960B (zh) * | 2014-12-25 | 2016-08-24 | 宁波中国科学院信息技术应用研究院 | 一种交通灯识别方法 |
KR102262577B1 (ko) * | 2015-02-17 | 2021-06-09 | 현대자동차주식회사 | 전방 또는 전전방 차량을 인식하는 방법 |
CN106650730A (zh) * | 2016-12-14 | 2017-05-10 | 广东威创视讯科技股份有限公司 | 汽车变道过程中的转向灯检测方法和系统 |
CN106845453B (zh) * | 2017-02-24 | 2019-10-15 | 太原理工大学 | 基于图像的尾灯检测与识别方法 |
CN107316010A (zh) * | 2017-06-13 | 2017-11-03 | 武汉理工大学 | 一种识别前方车辆尾灯及判断其状态的方法 |
-
2018
- 2018-01-26 CN CN201810079076.6A patent/CN108357418B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108357418A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108357418B (zh) | 一种基于尾灯识别的前车驾驶意图分析方法 | |
US7952490B2 (en) | Method for identifying the activation of the brake lights of preceding vehicles | |
US8064643B2 (en) | Detecting and recognizing traffic signs | |
CN102963294B (zh) | 一种夜间行驶车辆远光灯开启状态的判别方法 | |
US7949190B2 (en) | Real-time nighttime vehicle detection and recognition system based on computer vision | |
US9317757B2 (en) | Method and apparatus for detecting a rear vehicle light | |
O'Malley et al. | Vehicle detection at night based on tail-light detection | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
Gallen et al. | Nighttime visibility analysis and estimation method in the presence of dense fog | |
López et al. | Nighttime vehicle detection for intelligent headlight control | |
JP2014515893A (ja) | 車両のカメラによって撮影した画像を評価するための方法および画像評価装置 | |
US8315766B2 (en) | Process for detecting a phenomenon limiting the visibility for a motor vehicle | |
WO2012014735A1 (ja) | 車両用外界認識装置およびそれを用いた配光制御システム | |
CN109703460A (zh) | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 | |
KR20140104954A (ko) | 제동 상황의 식별 방법 및 장치 | |
CN102556021B (zh) | 一种汽车防闯红灯的控制装置 | |
JP2007293688A (ja) | 車載用車両前方環境検出装置および車両用照明装置 | |
CN106934808A (zh) | 一种视觉感知下汽车前灯尾灯识别跟踪方法 | |
US9764681B2 (en) | Method and device for grouping illumination units | |
JP2009043068A (ja) | 信号機認識装置 | |
US20140226349A1 (en) | Apparatus for detecting other vehicle lights and light control apparatus for vehicles | |
JP2012240530A (ja) | 画像処理装置 | |
JP2010512271A (ja) | カメラによる車両電灯の識別 | |
Lin et al. | Adaptive IPM-based lane filtering for night forward vehicle detection | |
CN110688907A (zh) | 基于夜间道路光源识别物体的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220822 Address after: Room 2502, Block A, Marriott Building, No. 176, Zhonghua South Street, Qiaoxi District, Shijiazhuang City, Hebei Province, 050000 Patentee after: Hebei Quantum Technology Co.,Ltd. Address before: 050000 26 Yuxiang Street, Shijiazhuang City, Hebei Province Patentee before: HEBEI University OF SCIENCE AND TECHNOLOGY |