CN102567705B - 检测和跟踪夜间行驶车辆的方法 - Google Patents

检测和跟踪夜间行驶车辆的方法 Download PDF

Info

Publication number
CN102567705B
CN102567705B CN201010602245.3A CN201010602245A CN102567705B CN 102567705 B CN102567705 B CN 102567705B CN 201010602245 A CN201010602245 A CN 201010602245A CN 102567705 B CN102567705 B CN 102567705B
Authority
CN
China
Prior art keywords
car light
target
vehicle
car
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010602245.3A
Other languages
English (en)
Other versions
CN102567705A (zh
Inventor
明安龙
马华东
吴晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201010602245.3A priority Critical patent/CN102567705B/zh
Publication of CN102567705A publication Critical patent/CN102567705A/zh
Application granted granted Critical
Publication of CN102567705B publication Critical patent/CN102567705B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种检测和跟踪夜间行驶车辆的方法,按照以下步骤实施:步骤1:前景检测,选取车灯亮度进行前景检测,通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域;步骤2:噪点消除,对步骤1得到的二值化图像去掉大部的噪点,较准确地得到前景目标;步骤3:车灯匹配:根据相应的原则进行两车灯配对,并找出其中的大前灯对,以大前灯对代表该车辆;步骤4:车灯对跟踪:按照上述的步骤完成车灯的配对后,再对车灯进行跟踪,从而实现对车辆的跟踪;步骤5:再次跟踪目标后进行车灯对匹配,最后得到需要检测的车辆。本发明的有益效果是:使用车灯这一特征对检测夜间车辆,本方法中的算法特征提取简单,车辆检测效果稳定。

Description

检测和跟踪夜间行驶车辆的方法
技术领域
本发明属于图像处理领域和计算机视觉领域的技术,涉及一种检测和跟踪夜间行驶车辆的方法。
背景技术
夜间车辆检测不像白天,白天车辆清晰可见,对比度明显,现有图像处理和视觉算法能有效检测出车辆。夜间情况大不相同,在不同的照明条件下,车辆的车体可见度不一样,在路面照明不足的情况下这种算法不能检测车体,而车体上的各种车灯及其路面反射光线非常明显,这种算法需要排除大面积的路面反射光的影响,而又要检测出相邻车辆的车灯,这是夜间车辆检测的难点。
在夜间车辆检测中,由于明亮的车灯的显著特征,无论道路上有没有路灯照明,无论天气情况如何,车辆前灯特征是相对稳定的。所以现在有的夜间车辆检测算法都一般都是以明亮的车灯作为特征来检测的。艾特锐视(Iteris)、皮克(Peek)等系统在夜间就是采用检测车辆前灯的方法检测。研究者R.Taktak和Rita Cucchiara也提出了基于车辆前灯的车辆检测。R.Taktak使用灰值形态学变换提取明亮的车灯,计算车灯的周长、面积、圆形度等形状特征,以及车灯之间的距离、形状特征比等参数,用这些参数作为属性,用样本训练决策树,用来寻找成对车灯,从而检测车辆[1]。Rita Cucchiara采用阈值法提取明亮车灯,利用动态信息排除静止光源,使用车灯形状特征初步配对车灯,然后比较车灯对对称轴方向与车流方向来排除一些错误配对,从而检测车辆[2]。
在夜晚这样的特殊的场景下,由于光照的不稳定,环境的复杂性,现有的前景检测算法都失效,并不能实现在夜晚的场景下车辆的检测。
上述引用的参考文献:
[1]R.Taktak,M.Dufaut,R.Husson.“Vehicle Detection at Night usingImage Processing and Pattern Recognition,”In:International Conference onImage Processing,Austin,Texas,USA,Nov.1994,pp:296-300。
[2]Cucchiara,R.,Piccardi,M.“Vehicle Detection under Day and NightIllumination,”Proc.of ISCS-IIA99,Special Session on Vehicle Traffic andSurveillance,1999,pp:789-794。
发明内容
本发明的目的在于,针对上述问题,一种检测和跟踪夜间行驶车辆的方法,为实现上述目的,本发明采用的技术方案是:具体按照以下步骤实施:
步骤1:前景检测,选取车灯亮度进行前景检测,
在检测之前把输入视频帧进行灰度化,再通过公式的运算,得到一个二值化的图像,通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域;
步骤2:噪点消除,
通过对步骤1得到的二值化图像进行形态学的开运算操作去掉大部的噪点,再通过基于车灯的形状消除掉一部分车灯在路面的投影,得到第一前景目标,根据先验知识,车灯是圆形的,如果不是步骤1所述的二值化图像,且联通区域不是圆形的,将此目标滤除掉,得到第二前景目标;
步骤3:车灯匹配,对车灯对的匹配应同时满足以下四条规则:
(1)两车灯之间的路面坐标距离小于最大车灯对宽度;
(2)正常行驶的车辆其车灯对连线应近似垂直于车道方向,变道车辆的车灯对连线斜率小于车灯对最大斜率;
(3)两车灯形状相似;
(4)一个车灯最多只能属于一个配对,当一个车灯与其他两个或两个以上的车灯都相似配对时,只取相似度最大的配对,而排除其他配对;
根据同一辆车的车灯的形状相近、运动特征相同这两个特点,首先求取各车灯的运动特征值,在运动特征值相同的一组车灯中求取每两个车灯的相似度值,根据相似度最大的原则进行两车灯配对,把属于同一辆车的大小前灯、装饰灯、车顶灯及它们的倒影归为一组,并找出其中的大前灯对,以大前灯对代表该车辆;
步骤4:车灯对跟踪:按照上述的步骤完成车灯的配对后,再对车灯进行跟踪,从而实现对车辆的跟踪,按照以下的方法实现:
首先分析帧间车灯对的相对位置,然后根据以下的帧间车灯对关联的规则跟踪车灯,
第一,帧间车灯对位置预测规则:
根据以下的步骤,采用卡尔曼滤波来预测车灯对的下一帧的位置,
(1)定义目标观测值,将目标初始化;
(2)通过预测下一时刻目标的目标位置预测目标的可能出现区域,然后在预测目标的可能出现区域内搜索目标的最佳匹配图像,得到观测值;(3)根据上一步的观测值采用更新公式更新目标状态的估计,得到最终的一个滤波结果;
(4)根据步骤(3)得到的目标状态的估计值再转到步骤(2)进行下一个时刻的滤波估计,最终得到一个表示目标状态的估计观测值的序列即卡尔曼滤波结果;
第二,帧间车灯对匹配规则:
(1)车灯对在下一帧可能出现的位置在当前帧的位置范围;
(2)根据前后帧车灯的特征向量值来匹配车灯,所述特征向量表示为:
Figure GDA0000409834230000031
其中,x,y分别表示为车灯对连线中点的坐标值,l表示车灯对连线的长度;
(3)建立当前帧的车灯对,从下一帧图像提取的车灯对中寻找可以与当前帧车灯对关联的车灯对,而不是从下一帧图像提取的大前灯对中选择;
第三,车灯对的分组规则:
将属于同一辆车的车灯对归为一组,按照以下规则找出其中的大前灯对:(1)这些车灯对分布在一定范围内;(2)大前灯对面积最大,
步骤5:再次跟踪目标后进行车灯对匹配:
为了弥补前面的方法的中匹配失败的车灯检测,按照以下的步骤完成对车辆的跟踪:
第一,按下述的步骤跟踪车灯,
(1)计算当前帧中各目标的特征向量;所述目标的特征向量为
Figure GDA0000409834230000041
x和y为目标的中心坐标,mGmB为目标在色彩空间上的G通道和B通道上的灰度均值;
(2)将当前帧中的各目标特征向量与目标链中的各目标的向量进行匹配;
(3)更新目标链;
第二,按下述的步骤跟踪车辆:
完成对车灯的检测跟踪后,将属于同一辆车的车灯归类,结合先验知识和车灯的运动信息,来减少车辆的误检和漏检测,通过以下方法实现对车辆的检测和跟踪:
(1)计算当前目标链中各个目标之间的距离,将满足一定条件的目标归为同一类;
(2)计算同一类目标中各个目标之间的运动差分向量,将满足一定条件的目标归为同一辆车;
当目标链中的目标全部合并完成以后,定义一个集合表示被检测的车辆,通过对集合中任一元素的跟踪对车辆进行跟踪,通过集合中所有元素的运动信息的均值来提取车辆的运动信息,最后得到需要检测的车辆。
进一步的,所述步骤1中的检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测前景的检测的公式为:
Figure GDA0000409834230000051
其中p(x,y)表示图像像素点(x,y)的像素值,T1表示一个预设的阈值,F(x,y)表
示一个二值化的图像,其中为1的点表示可能为车灯区域。
步骤2中的判断一个联通区域是否接近圆形的判定标采用如下公式:
cr = 4 * π * A P 2
其中,A表示联通区域的面积,P表示周长,若联通区域接近圆形,上述公式的cr值就越接近于1。
步骤4中第一个规则中的第(2)步采用如下的公式预测目标的可能出现区域,
x ^ - ( t ) = A * x ^ ( t - 1 ) + w ( t )
其中,t表示时间,W(t)表示过程激励噪声,A表示联通区域的面积,
Figure GDA0000409834230000054
表示目标状态先验估计值,
Figure GDA0000409834230000055
表示上一时刻目标状态后验估计值,则可预测出下一时刻目标的目标位置为
Figure GDA0000409834230000056
然后在
Figure GDA0000409834230000057
一定区域内搜索目标的最佳匹配图像,更新观测值的预估值Z(t),
第一个规则中的第(3)步中更新公式为:
x ^ ( t ) = α * x ^ - ( t ) + ( 1 - α ) * Z ( t )
其中,α为根据经验设定的一个滤波系数,
Figure GDA0000409834230000059
表示更新后目标状态位置。
步骤5中第一小步中的第(2)步将当前帧中的各目标向量与目标链中的各目标的向量进行匹配,匹配的判据为欧拉距离:
Figure GDA0000409834230000061
其中,
Figure GDA0000409834230000062
为当前帧目标链中的目标i的特征向量、
Figure GDA0000409834230000063
为目标链中的目标j的特征向量,
步骤5中的第二小步骤中的第(1)步按照以下的方法将满足下面条件的目标归为
同一类:
Figure GDA0000409834230000065
Figure GDA0000409834230000066
Figure GDA0000409834230000067
其中,
Figure GDA0000409834230000068
表示当前目标链中各个目标之间的横坐标距离和纵坐标距离,αxαy分别为横坐标和纵坐标的距离阈值,
第(2)步中按照以下的方法将满足下面条件的目标归为同一辆车:
|Mij|≤β
其中,Mij表示同一类目标中各个目标之间的运动差分向量,β定义为运动特征差分的阈值。
本发明的有益效果是:本发明提出使用车灯这一特征来进行夜间检测车辆,本方法中各步骤所用的算法特征提取简单,车辆检测效果稳定。
附图说明
图1为跟踪算法流程图。
其中,newlist表示当前帧中的检测出来的目标列表,Tracklist表示正在跟踪目标列表,Initiallist表示等待被跟踪的目标列表。
具体实施方式
以下结合附图对本发明的实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明的方法具体分为以下的五个步骤:
步骤1:前景检测,选取车灯亮度进行前景检测,
由于夜间车辆车灯这一特征,较其它特征都要明显、稳定,且容易检测,因此本发明通过车灯的检测来检测车辆。
由于夜间车灯的亮度特征极为明显,且与背景的亮度有较大的差分性,因此选取车灯亮度来检测前景,通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出前景。具体的检测的公式如下:
Figure GDA0000409834230000071
其中p(x,y)表示图像像素点(x,y)的像素值,T1表示一个预设的阈值,F(x,y)表示一个二值化的图像,其中为1的点表示可能为车灯区域。
由于本方法仅仅依赖于像素的亮度信息,所以在检测之前将输入视频帧进行灰度化,再进行公式(1)的运算。
[0018]经过公式(1)得到的前景图像,检测出了图像中明显高亮的区域,其中包括车灯区域和其他路边光源。
[0019]步骤2:噪点消除,
视频监控中,由于摄像机和场景的原因,会有一些噪声,特别是在夜间视频监控中,噪声更为明显。通过对上一步得到的二值化图像进行形态学的开运算操作去掉大部的噪点,消除了大量的椒盐颗粒噪声,再通过基于车灯的形状消除掉一部分车灯在路面的投影,可以较准确地得到前景目标。根据先验知识,车灯一般都是圆形的,如果不是前面得到的二值化图像中,联通区域若不是圆形的,则将其滤除掉,从而排除掉这个区域。判断一个联通区域是否接近圆形的判定标准如下:
Figure GDA0000409834230000081
其中,A表示联通区域的面积,P表示周长,若联通区域接近圆形,上述公式中的的cr值就越接近于1,通过这个步骤可以滤除大量的非车灯区域。
步骤3:车灯匹配,对车辆进行检测和跟踪,需要把属于同一辆车的车灯看成是一组,代表一辆车。车灯配对根据同一辆车的车灯的形状相近、运动特征相同这两个特点,首先用下面的公式求取各车灯的运动特征值,车灯的特征向量表示为,
Figure GDA0000409834230000082
其中,w,h分别表示车灯所在的矩形框的宽度和长度,
欧拉距离表示为,
Figure GDA0000409834230000083
dij表示车灯i和j的匹配程度,若dij越小,匹配程度越高,经过这种匹配后,基本实现了车灯的配对。
对车灯两两配对,把属于同一辆车的大小前灯、装饰灯、车顶灯及它们的倒影归为一组,并找出其中的大前灯对,以大前灯对代表车辆。
第一,车灯配对规则,
对车灯对匹配应同时满足以下四条规则:
(1)两车灯之间的路面坐标距离小于最大车灯对宽度;
(2)正常行驶的车辆其车灯对连线应近似垂直于车道方向,变道车辆的拐角也是很小的,此时车灯对连线斜率小于车灯对最大斜率;
(3)两车灯形状相似;
(4)一个车灯最多只能属于一个配对,即当一个车灯与其他两个或两个以上的车灯都相似配对时,只取相似度最大的配对,而排除其他配对。
步骤4:车灯对跟踪,
把车灯配对后,对车灯进行跟踪,从而实现对车辆的跟踪。首先分析帧间车灯对的相对位置,然后根据以下三条帧间车灯对关联的规则,利用这些规则跟踪车灯。
规则一:帧间车灯对位置预测规则,
采用简单的卡尔曼(Kalman)滤波来预测车灯对的下一帧的位置,具体步骤如下:
定义状态:X(t)=(x,y,dx,dy,θ)T
观测为y(t)=(x,y,θ)T
(1)初始化,
定义目标观测值Z,表示观察得到的目标实际位置,以及目标初始化状态x(0),
(2)目标观测值和特征更新过程,
预测目标的可能出现区域为,
x ^ - ( t ) = A * x ^ ( t - 1 ) + w ( t )
其中,t表示时间,W(t)表示过程激励噪声,A表示联通区域的面积,
Figure GDA0000409834230000092
表示目标状态
先验估计值,
Figure GDA0000409834230000093
表示上一时刻目标状态后验估计值,则可预测出下一时刻目标的目标位置为
Figure GDA0000409834230000094
然后在一定区域内搜索目标的最佳匹配图像,更新观测值的预估值Z(t),
(3)根据Z(t)值更新目标状态的估计,这里目标状态估计就是我们得到的最终滤波结果,其中更新公式如下:
x ^ ( t ) = α * x ^ - ( t ) + ( 1 - α ) * Z ( t )
其中,α为根据经验设定的一个滤波系数,
Figure GDA0000409834230000102
表示更新后目标状态位置。
(4)目标位置预测新过程得到
Figure GDA0000409834230000103
即得到时刻t的滤波结果,然后转(2)进行下一个时刻的滤波估计,最终得到
Figure GDA0000409834230000104
序列即为卡尔曼滤波结果。
规则二:帧间车灯对匹配规则,
(1)车灯对在下一帧可能出现的位置在当前帧的位置dx的范围;
(2)前后帧车灯的特征向量的欧拉距离最小;
特征向量表示为:
Figure GDA0000409834230000105
其中,x,y分别表示为车灯对连线中点的坐标值,l表示车灯对连线的长度。
欧拉距离表示为:
Figure GDA0000409834230000106
(3)当前帧建立了车灯对,那么从下一帧图像提取的车灯对中寻找可以与当前帧车灯对关联的车灯对,而不是从下一帧图像提取的大前灯对中选择。这样做的目的是为了增加车灯对关联的稳定性,以免因车灯在前后帧图像中表现发生变化而配对失败,从而引起关联失败。
规则三,车灯对的分组规则,
在夜间车辆检测中,经常会遇到这样的问题:即可能会先后产生了车灯倒影配成对,小前灯配成对,顶灯配成对,但在车辆跟踪中它们只能作为一个整体来表征一辆车的存在,因此在车灯跟踪后,应该把它们归为一组。分组规则为:车辆除了打开大前灯以外,还可能有小前灯、装饰灯及顶灯,这些车灯在车头上分布是对称的,因此需要将这些属于同一辆车的车灯对归为一组,按照以下的规则找出其中的大前灯对,
(1)这些车灯对分布在一定范围内;
(2)大前灯对面积最大。
具体的跟踪算法流程图参见附图1。
步骤5:先跟踪后匹配,
前面的方法是先对车灯配对后进行车辆的跟踪的方法,下面所述的是先跟踪车辆后配对车灯的方法,即先完成对车灯的跟踪,再完成车灯的归类,继而再完成对车辆的跟踪。进行这一步的目的是为了弥补前面的方法的中匹配失败的车灯检测。由于在现实场景中,因摄像机的角度的原因,造成车灯两边并不对称,在前面的步骤匹配失败,但是同一个车的运动特性相同。
第一,车灯的跟踪,
定义当前帧图像中的目标i的特征向量
Figure GDA0000409834230000111
x和y为目标i的中心坐标,mGmB为目标i在色彩空间上的G通道和B通道上的灰度均值,因到图像中各个目标在R通道上的灰度均值差别不大,所以不用考虑。跟踪步骤如下:
(1)计算当前帧中各目标的特征向量;
(2)将当前帧中的各目标向量与目标链中的各目标的向量进行匹配,匹配的判据为欧
拉距离:
Figure GDA0000409834230000112
其中,
Figure GDA0000409834230000113
为当前帧目标链中的目标i的特征向量、
Figure GDA0000409834230000114
为目标链中的目标j的特征向量。
[0033](3)更新目标链。
[0034]第二,车辆跟踪,
完成车灯的检测后,我们仍需将属于同一辆车的车灯归类,方便下一步车辆的跟踪,考虑以下两种情况:
(1)城市交通中存在各种类型的车辆,摩托车、小轿车、大卡车、公交巴士等,这些机动车的车灯数量各不一样,而且考虑到某些故障车辆可能会有坏了的车灯,所以机动车车灯并不是成对出现。
(2)在雨天,路面潮湿或有积水的情况下,路面会出现车影,这些车影也有可能被检测出来,为了解决上述问题,必须结合先验知识和车灯的运动信息,来减少车辆的误检和漏检测。
[0036]定义目标距离如下:
d x ij = | x i - x j |
d y ij = | y i - y j |
其中,xi、xj为目标i和目标j中心的横坐标,yi、yj为目标i和目标j中心的纵坐
标,定义目标运动特征差分向量如下:
M ij = ( | s i - s j | , | v i - v j | )
si、sj为目标i和目标j中心的位移矢量,vi、vj为目标i和目标j中心的速度矢量。
[0037]因为车灯及其倒影都是随着车辆做相同的运动,速度矢量和位移矢量的大小几乎相同,所以它们之间的运动差分向量趋近于零向量。
根据以上先验知识,就可以通过以下算法实现对车辆的检测和跟踪。
(1)计算当前目标链中各个目标之间的距离
Figure GDA0000409834230000124
将满足下面条件的目标归为同一类:
Figure GDA0000409834230000131
Figure GDA0000409834230000132
Figure GDA0000409834230000133
Figure GDA0000409834230000134
其中,αx、αy分别为横坐标和纵坐标的距离阈值,
(2)计算同一类目标中各个目标之间的运动差分向量Mij,将满足下面条件的目标归为同一辆车:|Mij|≤β其中β定义为运动特征差分的阈值。
当目标链中的目标全部合并完成以后,定义集合Ci=(i1,i2,KK,ik)表示被检测的车辆,对车辆的跟踪可以通过对集合中任一元素的跟踪来进行,车辆的运动信息提取可以通过集合中所有元素的运动信息的均值来完成,最后就得到了需要检测的车辆。
最后应说明的是:以上所述仅为本发明的实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本邻域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护的保护范围之内。

Claims (4)

1.一种检测和跟踪夜间行驶车辆的方法,通过车灯的检测来检测和跟踪车辆,其特征在于,具体按照以下步骤实施: 
步骤1:前景检测,选取车灯亮度进行前景检测, 
在检测之前把输入视频帧进行灰度化,再通过公式的运算,得到一个二值化的图像,通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域; 
步骤2:噪点消除, 
通过对步骤1得到的二值化图像进行形态学的开运算操作去掉大部的噪点,再通过基于车灯的形状消除掉一部分车灯在路面的投影,得到第一前景目标,根据先验知识,车灯是圆形的,如果不是步骤1所述的二值化图像,且联通区域不是圆形的,将此目标滤除掉,得到第二前景目标; 
步骤3:车灯匹配,对车灯对的匹配应同时满足以下四条规则: 
(1)两车灯之间的路面坐标距离小于最大车灯对宽度; 
(2)正常行驶的车辆其车灯对连线应近似垂直于车道方向,变道车辆的车灯对连线斜率小于车灯对最大斜率; 
(3)两车灯形状相似; 
(4)一个车灯最多只能属于一个配对,当一个车灯与其他两个或两个以上的车灯都相似配对时,只取相似度最大的配对,而排除其他配对; 
根据同一辆车的车灯的形状相近、运动特征相同这两个特点,首先求取各车灯的运动特征值,在运动特征值相同的一组车灯中求取每两个车灯的相似度值,根据相似度最大的原则进行两车灯配对,把属于同一辆车的大小前灯、装饰灯、车顶灯及它们的倒影归为一组,并找出其中的大前灯对,以大前灯对代表该车辆; 
步骤4:车灯对跟踪:按照上述的步骤完成车灯的配对后,再对车灯进行跟踪,从而实现对车辆的跟踪,按照以下的方法实现: 
首先分析帧间车灯对的相对位置,然后根据以下的帧间车灯对关联的规则跟踪车灯, 
第一,帧间车灯对位置预测规则: 
根据以下的步骤,采用卡尔曼滤波来预测车灯对的下一帧的位置, 
(1)定义目标观测值,将目标初始化; 
(2)通过预测下一时刻目标的目标位置预测目标的可能出现区域,然后在预测目标的可能出现区域内搜索目标的最佳匹配图像,得到观测值; 
(3)根据上一步的观测值采用更新公式更新目标状态的估计,得到最终的一个滤波结果;更新公式为:
Figure FDA0000409834220000021
其中,α为根据经验设定的一个滤波系数,
Figure FDA0000409834220000022
表示更新后目标状态位置,
Figure FDA0000409834220000023
表示目标状态先验估计值; 
(4)根据步骤(3)得到的目标状态的估计值再转到步骤(2)进行下一个时刻的滤波估计,最终得到一个表示目标状态的估计观测值的序列即卡尔曼滤波结果; 
第二,帧间车灯对匹配规则: 
(1)车灯对在下一帧可能出现的位置在当前帧的位置范围; 
(2)根据前后帧车灯的特征向量值来匹配车灯,所述特征向量表示为: 
其中,x,y分别表示为车灯对连线中点的坐标值,l表示车灯对连线的长度; 
(3)建立当前帧的车灯对,从下一帧图像提取的车灯对中寻找可以与当前帧车灯对关联的车灯对,而不是从下一帧图像提取的大前灯对中选择; 
第三,车灯对的分组规则: 
将属于同一辆车的车灯对归为一组,按照以下规则找出其中的大前灯对:(1)这些车灯对分布在一定范围内;(2)大前灯对面积最大, 
步骤5:再次跟踪目标后进行车灯对匹配: 
为了弥补前面的方法的中匹配失败的车灯检测,按照以下的步骤完成对车辆的跟踪: 
第一,按下述的步骤跟踪车灯, 
(1)计算当前帧中各目标的特征向量,所述目标的特征向量为 x和y为目标的中心坐标,mGmB为目标在色彩空间上的G通道和B通道上的灰度均值; 
(2)将当前帧中的各目标特征向量与目标链中的各目标的向量进行匹配; 
(3)更新目标链; 
第二,按下述的步骤跟踪车辆: 
完成对车灯的检测跟踪后,将属于同一辆车的车灯归类,结合先验知识和车灯的运动信息,来减少车辆的误检和漏检测,通过以下方法实现对车辆的检测和跟踪: 
(1)计算当前目标链中各个目标之间的距离,将满足一定条件的目标归为同一类; 
(2)计算同一类目标中各个目标之间的运动差分向量,将满足一定条件的目标归为同一辆车; 
当目标链中的目标全部合并完成以后,定义一个集合表示被检测的车辆,通过对集合中任一元素的跟踪对车辆进行跟踪,通过集合中所有元素的运动信息的均值来提取车辆的运动信息,最后得到需要检测的车辆; 
所述步骤5中第一小步中的第(2)步将当前帧中的各目标向量与目标链中的各目标的向量进行匹配,匹配的判据为欧拉距离: 
Figure FDA0000409834220000041
其中,
Figure FDA0000409834220000042
为当前帧目标链中的目标i的特征向量、
Figure FDA0000409834220000043
为目标链中的目标j的特征向量;
所述步骤5中的第二小步骤中的第(1)步按照以下的方法将满足下面条件的目标归为同一类:
Figure FDA0000409834220000044
Figure FDA0000409834220000046
且 
Figure FDA0000409834220000047
Figure FDA0000409834220000048
表示当前目标链中各个目标之间横坐标距离和纵坐标距离,αxαy分别为横坐标和纵坐标的距离阈值, 
所述步骤5中的第二小步骤中的第(2)步中按照以下的方法将满足下面条件的目标归为同一辆车: 
|Mij|≤β    (2) 
其中,Mij表示同一类目标中各个目标之间的运动差分向量,β定义为运动特征差分的阈值。 
2.根据权利要求1所述的检测和跟踪夜间行驶车辆的方法,其特征在于,所述步骤1中的检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测前景的检测的公式为: 
Figure FDA00004098342200000410
其中p(x,y)表示图像像素点(x,y)的像素值,T1表示一个预设的阈值,F(x,y)表示一个二值化的图像,其中为1的点表示可能为车灯区域。 
3.根据权利要求2所述的检测和跟踪夜间行驶车辆的方法,其特征在于,所述步骤2中的判断一个联通区域是否接近圆形的判定标采用如下公式: 
Figure FDA0000409834220000051
其中,A表示联通区域的面积,P表示周长,若联通区域接近圆形,公式(4)的cr值就越接近于1。 
4.根据权利要求3所述的检测和跟踪夜间行驶车辆的方法,其特征在于,所述步骤4中第一个规则中的第(2)步采用如下的公式预测目标的可能出现区域, 
Figure FDA0000409834220000052
其中,t表示时间,W(t)表示过程激励噪声,A表示联通区域的面积,
Figure FDA0000409834220000053
表示目标状态先验估计值,
Figure FDA0000409834220000054
表示上一时刻目标状态后验估计值,则可预测出下一时刻目标的目标位置为
Figure FDA0000409834220000055
然后在一定区域内搜索目标的最佳匹配图像,更新观测值的预估值Z(t)。 
CN201010602245.3A 2010-12-23 2010-12-23 检测和跟踪夜间行驶车辆的方法 Expired - Fee Related CN102567705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010602245.3A CN102567705B (zh) 2010-12-23 2010-12-23 检测和跟踪夜间行驶车辆的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010602245.3A CN102567705B (zh) 2010-12-23 2010-12-23 检测和跟踪夜间行驶车辆的方法

Publications (2)

Publication Number Publication Date
CN102567705A CN102567705A (zh) 2012-07-11
CN102567705B true CN102567705B (zh) 2014-01-15

Family

ID=46413086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010602245.3A Expired - Fee Related CN102567705B (zh) 2010-12-23 2010-12-23 检测和跟踪夜间行驶车辆的方法

Country Status (1)

Country Link
CN (1) CN102567705B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102887106B (zh) * 2012-10-31 2014-11-19 南京信息工程大学 一种用于警示机动车灯光刺眼的方法
CN103810696B (zh) * 2012-11-15 2017-03-22 浙江大华技术股份有限公司 一种目标对象图像检测方法及装置
CN103810695B (zh) * 2012-11-15 2017-03-22 浙江大华技术股份有限公司 一种光源定位方法及装置
CN103927762B (zh) * 2013-01-11 2017-03-22 浙江大华技术股份有限公司 一种目标车辆自动跟踪方法及装置
CN103050008B (zh) * 2013-01-14 2014-08-06 哈尔滨工程大学 夜间复杂交通视频中车辆检测方法
CN103116757B (zh) * 2013-01-30 2016-12-28 北京科技大学 一种三维信息复原提取的道路遗洒物识别方法
CN104680172B (zh) * 2013-11-28 2018-11-16 深圳市朗驰欣创科技有限公司 一种夜晚车辆视频抓拍方法及系统
CN103886292B (zh) * 2014-03-20 2017-02-08 杭州电子科技大学 一种基于机器视觉的夜间车辆目标稳定跟踪方法
CN103984917A (zh) * 2014-04-10 2014-08-13 杭州电子科技大学 一种基于机器视觉的多特征夜间车辆检测方法
CN105303160A (zh) * 2015-09-21 2016-02-03 中电海康集团有限公司 一种夜间车辆检测和跟踪的方法
CN105740834B (zh) * 2016-02-05 2018-11-02 广西科技大学 夜视环境下对前方车辆的高精度检测方法
CN105740835B (zh) * 2016-02-05 2018-11-02 广西科技大学 夜视环境下基于车载相机的前方车辆检测方法
JP7114965B2 (ja) * 2017-07-14 2022-08-09 富士通株式会社 ターゲット検出方法、装置及び画像処理装置
CN107644223B (zh) * 2017-08-03 2020-10-09 浙江浩腾电子科技股份有限公司 一种基于车灯匹配验证的夜间车辆检测方法
CN110020575B (zh) * 2018-01-10 2022-10-21 富士通株式会社 车辆检测装置及方法、电子设备
CN111476815B (zh) * 2020-04-03 2022-05-17 浙江大学 基于运动区域颜色概率的运动目标检测方法
CN113298141B (zh) * 2021-05-24 2023-09-15 北京环境特性研究所 基于多源信息融合的探测方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382997A (zh) * 2008-06-13 2009-03-11 青岛海信电子产业控股股份有限公司 夜间车辆的检测与跟踪方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503230B2 (ja) * 1994-12-15 2004-03-02 株式会社デンソー 夜間用車両認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382997A (zh) * 2008-06-13 2009-03-11 青岛海信电子产业控股股份有限公司 夜间车辆的检测与跟踪方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JP特开平8-166221A 1996.06.25
Rear-Lamp Vehicle Detection and Tracking in Low-Exposure Color Video for Night Conditions;Ronan O’Malley et al.;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20100630;第11卷(第2期);453-462 *
Ronan O’Malley et al..Rear-Lamp Vehicle Detection and Tracking in Low-Exposure Color Video for Night Conditions.《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》.2010,第11卷(第2期),453-462.
刘勃等.基于颜色和运动信息的夜间车辆检测方法.《中国图象图形学报》.2005,第10卷(第2期),187-191.
基于颜色和运动信息的夜间车辆检测方法;刘勃等;《中国图象图形学报》;20050225;第10卷(第2期);187-191 *

Also Published As

Publication number Publication date
CN102567705A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
CN102567705B (zh) 检测和跟踪夜间行驶车辆的方法
Narote et al. A review of recent advances in lane detection and departure warning system
CN105426864B (zh) 一种基于等距边缘点匹配的多车道线检测方法
CN107766821B (zh) 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
CN106934808B (zh) 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN107808392B (zh) 开放场景的安检车辆自动跟踪定位方法及系统
Chen et al. Nighttime vehicle detection for driver assistance and autonomous vehicles
WO2014017403A1 (ja) 車載用画像認識装置
Zou et al. Robust nighttime vehicle detection by tracking and grouping headlights
JP2017505946A (ja) 車両検出システムおよびその方法
Wu et al. A Real‐Time Embedded Blind Spot Safety Assistance System
Chen et al. Front vehicle detection and distance estimation using single-lens video camera
Sultana et al. Vision-based robust lane detection and tracking in challenging conditions
CN112666573A (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
FAN et al. Robust lane detection and tracking based on machine vision
Kim et al. An effective method of head lamp and tail lamp recognition for night time vehicle detection
CN104361317A (zh) 一种卡口式视频分析未系安全带行为检测系统及其方法
CN103996028A (zh) 一种车辆行为识别方法
Niknejad et al. Vehicle detection and tracking at nighttime for urban autonomous driving
Chen et al. Robust rear light status recognition using symmetrical surfs
CN113537147B (zh) 一种基于光照补偿的夜间车道线检测方法
Ha et al. A robust algorithm for vehicle detection and classification in intelligent traffic system
Vijverberg et al. High-level traffic-violation detection for embedded traffic analysis
Huang et al. Nighttime vehicle detection and tracking base on spatiotemporal analysis using RCCC sensor
Sonoda et al. Moving objects detection at an intersection by sequential background extraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140115

Termination date: 20141223

EXPY Termination of patent right or utility model