CN102867416A - 一种基于车辆部位特征的车辆检测与跟踪方法 - Google Patents

一种基于车辆部位特征的车辆检测与跟踪方法 Download PDF

Info

Publication number
CN102867416A
CN102867416A CN2012103401531A CN201210340153A CN102867416A CN 102867416 A CN102867416 A CN 102867416A CN 2012103401531 A CN2012103401531 A CN 2012103401531A CN 201210340153 A CN201210340153 A CN 201210340153A CN 102867416 A CN102867416 A CN 102867416A
Authority
CN
China
Prior art keywords
vehicle
car plate
light
pixel
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103401531A
Other languages
English (en)
Other versions
CN102867416B (zh
Inventor
田滨
李叶
李泊
孔庆杰
王飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhongke Intelligent System Co ltd
Jiangsu Zhongke Intelligent System Ltd By Share Ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Jiangsu China Sciences Intelligent Engineering Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu China Sciences Intelligent Engineering Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Jiangsu China Sciences Intelligent Engineering Co ltd
Priority to CN201210340153.1A priority Critical patent/CN102867416B/zh
Publication of CN102867416A publication Critical patent/CN102867416A/zh
Application granted granted Critical
Publication of CN102867416B publication Critical patent/CN102867416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于车辆部位特征的车辆检测与跟踪方法,该方法包括以下步骤:定位视频序列中所有的车牌位置;定位视频序列中所有的车辆尾灯位置;通过组合车辆部位构建车辆模型,从而获取车辆位置;对车辆进行跟踪从而获取车辆的运动轨迹。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点,可以用于电子警察系统中的上层智能交通服务,如车流量统计、车辆违章检测以及治安卡口等服务。

Description

一种基于车辆部位特征的车辆检测与跟踪方法
技术领域
本发明涉及图像处理、模式识别技术领域,尤其是一种基于车辆部位特征的车辆检测与跟踪方法,用于检测视频序列中的车辆目标,并跟踪其运动轨迹。
背景技术
随着视频监控技术的发展,视频摄像机已经被广泛用来对各种环境、区域和场所进行实时监控。随着视频摄像机和视频检测器数量的急剧增加,传统的人工被动监控已经远远无法满足监控任务的需要。因此,实现可以代替人眼的智能自动监控功能成为视频监控研究的目标。
传统的交通信息采集系统中,主要使用地磁线圈、微波、红外、超声等设备采集交通信息。其中,利用地磁线圈采集交通信息,以原理简单、精度高而得到了广泛的应用,但在布设和维护时都会破坏路面,受冰冻、盐碱、繁忙交通的影响大,寿命短,一般只有两年。其他采集系统,如微波、红外、超声等由于设备昂贵或易受环境干扰而未得到广泛应用。而利用视频摄像机等视频传感器采集交通信息,可同时获取多车道的交通参数。
利用视频摄像机进行车辆检测主要有两类实际应用的方法,一类是利用虚拟线圈的方法,在视频图像帧中设置虚拟线圈,利用背景消减的方法,检测运动目标。通过记录车辆的驶入与驶出,完成车辆计数及相关的上层交通服务。该类方法模拟了传统地感线圈的方法,存在地感线圈检测的所有缺点,在车辆遮挡、非机动车目标驶过等情况下,容易产生较为严重的误检。比如,在申请号为200810016988.5的中国专利申请中记载的车辆检测方法中,就利用了虚拟线圈的检测原理。第二类方法是以车辆为目标进行检测的方法,该方法可以实现车辆的跟踪,能够充分利用时间域和空间域信息,更加有效。本发明的方法属于上述第二类方法中的一种。
发明内容
本发明的目的在于克服现有技术的不足,提高识别率,从而提供一种基于车辆部位特征的车辆检测与跟踪方法,该方法能够适用于光照变化、车辆遮挡、车辆阴影、图像分辨率变化等复杂环境,准确的检测和跟踪车辆,获取车辆的运动轨迹。获取的运动轨迹,可以用于电子警察系统中的上层智能交通服务,如车流量统计、车辆违章检测以及治安卡口等服务。
为实现上述目的,本发明提出了一种基于车辆部位特征的车辆检测与跟踪方法。本发明首先定位视频图像中的车辆部位,包括车牌以及车灯,然后利用结构信息组合这些部位,定位车辆,最后实现了一种基于扩展卡尔曼滤波器的车辆跟踪方法。
所述基于车辆部位特征的车辆检测与跟踪方法,包括以下步骤:
步骤S1,对视频序列中所有的车牌位置进行定位;
步骤S2,对视频序列中所有的车辆尾灯位置进行定位;
步骤S3,利用车牌和车辆尾灯之间的结构关系构建车辆模型,从而从每一帧图像中检测得到车辆位置;
步骤S4,根据检测得到的车辆位置,对车辆进行跟踪从而获取车辆的运动轨迹;
所述步骤S1进一步包括以下步骤:
步骤S11,根据中国国标车牌的底色,获取视频序列每一帧图像的颜色灰度图像;
步骤S12,利用所述颜色灰度图像计算图像梯度,得到梯度图像;
步骤S13,在梯度图像中进行滑动窗口扫描,计算窗口内像素的平均梯度,以平均梯度值作为窗口中心像素点的像素值,得到该梯度图像对应的得分图像;
步骤S14,在所述得分图像上确定车辆所在的区域,并利用非极大值抑制方法在车辆区域范围内求得局部极大值,如果该局部极大值大于设定的得分阈值,则以所述局部极大值为中心点,根据国标车牌的尺寸信息得到一车牌区域,将该车牌区域作为候选车牌区域;
所述步骤S2进一步包括以下步骤:
步骤S21,根据车辆尾灯的颜色,即红色,获取视频序列每一帧图像的颜色灰度图像;
步骤S22,利用多阈值方法将所述颜色灰度图像分割为多幅二值化图像;
步骤S23,对所述多幅二值化图像分别做连通域分析,取长宽比、面积大小在一定范围内的连通域作为候选车辆尾灯区域;
步骤S24,对于出现重叠的候选车辆尾灯区域,保留其中面积最大的那个区域,最终得到检测出来的车辆尾灯区域。
本发明与现有技术相比的显著效果在于:可以自动检测视频序列中的车辆位置,并跟踪它们获取车辆运动轨迹,不需要对原始视频信号进行任何的预处理,而且对实际监控视频中所出现的车辆遮挡、车辆在强光条件下的阴影、光照变化、摄像机抖动、检测噪声等干扰同时具有较高的鲁棒性。由于克服了这些现有技术在实际工程应用方面难以解决的困难,因此本发明真正实现了视频中车辆目标的实时检测与跟踪。
本发明针对智能视频监控中目标检测和跟踪的需要,利用频域分析技术,实时检测和跟踪视频中的车辆目标,具有算法简单、精确度高、鲁棒性强等优点。特别是不需要对原始视频信号进行任何的预处理,自动实现了周期检测,克服了现有技术难以克服的难点,也消除了实现真正工程应用的主要障碍。本发明使用图像处理和模式识别技术,实现车辆目标的检测与跟踪,最终为智能交通监控的上层服务如流量统计、治安卡口、违章检测等提供可靠的基础。
附图说明
图1是本发明基于车辆部位特征的车辆检测与跟踪方法流程图。
图2是本发明车牌定位算法流程图。
图3是根据本发明实施例的车牌定位中间结果及最终结果图。
图4是本发明车辆尾灯定位算法流程图。
图5是根据本发明实施例的车辆尾灯定位中间结果及最终结果图。
图6是本发明标准的车辆模型示意图。
图7是根据本发明实施例的车辆跟踪结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1是本发明基于车辆部位特征的车辆检测与跟踪方法流程图,如图1所示,本发明基于车辆部位特征的车辆检测与跟踪方法包括以下步骤:
步骤S1,对视频序列中所有的车牌位置进行定位;
在本发明的一实施例中,选取一段监控摄像机拍摄的高清视频片断,分辨率为2592*1936,视频场景为覆盖三车道的交通路口,视频中车辆之间有可能存在部分遮挡。为了获取图像相关的物理参数,本发明使用OpenCV(Intel开源计算机视觉库)自带的摄像机标定程序对交通场景进行标定,实现图像坐标系与物理坐标系的相互转换,为本发明的算法提供标定结果。另外,采用OpenCV中的功能函数进行视频读取,把视频读入计算机。
图2是本发明车牌定位算法流程图,如图2所示,所述步骤S1进一步包括以下步骤:
步骤S11,根据中国国标车牌的底色,获取视频序列每一帧图像的颜色灰度图像;
中国国标车牌的底色包括蓝色、黄色、白色、黑色,下面以蓝底白字和黄底黑字车牌为例进行说明:图3(a)为视频序列中的某一帧图像,考虑到计算速度,使用下式来计算该图像中某一像素点x的颜色灰度值:
Color(x)=abs(B(x)-min{R(x),G(x)}),
其中,R(x)、G(x)、B(x)分别是像素x的红、绿、蓝通道的像素值,Color(x)为像素x变换后的灰度值,abs(B(x)-min{R(x),G(x)})为求取B(x)-min{R(x),G(x)}的绝对值。
蓝底白字和黄底黑字车牌可以用同一计算公式,因为蓝色的标准RGB值为(255,0,0),而黄色为(0,255,255),两者的颜色值是互补的,故可以用同一计算公式来计算。如果彩色图像某一像素的颜色越接近车牌底色-蓝色或黄色,则变换后的该像素的灰度值越大。
类似地,对于黑底白字和白底黑字车牌,直接采用其灰度图作为颜色灰度图像。
对于图3(a)所示的图像,计算得到的颜色灰度图像如图3(b)所示。
步骤S12,利用所述颜色灰度图像计算图像梯度,得到梯度图像;
本发明使用一种快速的梯度计算方法,即某一中间像素x的梯度值,为其邻域像素的最大值与最小值之差:
Gradient(x)=Max{Nb(x)}-Min(Nb(x)),
其中,Gradient(x)为像素x的梯度值,Nb(x)为x的邻域像素,在本发明的一实施例中,邻域的大小取为3x3。
利用图3(b)所示的颜色灰度图像计算得到的梯度图像如图3(c)所示,由于实际处理结果图片太暗,为了便于查看,图3(c)中的梯度图像对于实际处理结果中的每个灰度值均增加一个常数值60。
步骤S13,在梯度图像中进行滑动窗口扫描,计算窗口内像素的平均梯度,以平均梯度值作为窗口中心像素点的像素值,得到该梯度图像对应的得分图像,如图3(d)所示。
在本发明的一实施例中,滑动窗口的大小取为车牌的大小。由于实际处理结果图片太暗,为了便于查看,图3(d)中的得分图像对于实际处理结果中的每个灰度值均增加一个常数值60。
步骤S14,在所述得分图像上确定车辆所在的区域,并利用非极大值抑制方法在车辆区域范围内求得局部极大值,如果该局部极大值大于设定的得分阈值,则以所述局部极大值为中心点,根据国标车牌的尺寸信息得到一车牌区域,将该车牌区域作为候选车牌区域;
基于图3(d)的得分图像的车牌定位结果如图3(e)所示。
该步骤的重点是获取车牌的位置,即车牌的中心点位置,在接下来的步骤中需要使用车牌的中心点位置进行计算。
其中,在所述得分图像上确定车辆所在的区域进一步包括以下步骤:
步骤S141,根据与图像坐标系相应的物理坐标系获得得分图像中车牌所在区域的物理位置信息;
步骤S142,按照车辆与车牌的尺寸比例关系,得到该得分图像中车辆所在的区域。其中,车辆与车牌的尺寸比例关系为:车辆的宽度为车牌长度的4-5倍,车辆的长度为车牌长度的7-8倍。
根据《GA36-2007机动车号牌标准》,中国城市行驶的机动车号牌的尺寸主要为440mm×140mm、440mm×220mm两种,本发明的实施例中,采用的车牌的尺寸为440mm×140mm。
步骤S2,对视频序列中所有的车辆尾灯位置进行定位;
图4是本发明车辆尾灯定位算法流程图,如图4所示,所述步骤S2进一步包括以下步骤:
步骤S21,根据车辆尾灯的颜色,即红色,获取视频序列每一帧图像的颜色灰度图像;
图像中某一像素x的颜色灰度值按照下式来计算:
Color(x)=R(x)-max{G(x),B(x)}-abs(G(x)-B(x))*2,
其中,R(x)、G(x)、B(x)分别是像素x的红、绿、蓝通道的像素值,Color(x)为像素x变换后的灰度值,abs(G(x)-B(x))为求取G(x)-B(x)的绝对值。
图5(a)为视频序列中的某一帧图像,根据所述步骤21得到的该图像的颜色灰度图像如图5(b)所示。
步骤S22,利用多阈值方法将所述颜色灰度图像分割为多幅二值化图像;
本发明中分别选取了三个阈值对所述颜色灰度图像进行阈值分割,所述三个阈值分别为20、60、80,从而得到三幅二值化图像,如图5(c)-(e)所示。
步骤S23,对所述多幅二值化图像分别做连通域分析,取长宽比、面积大小在一定范围内的连通域作为候选车辆尾灯区域;
在本发明的一实施例中,所述长宽比范围为1∶3~3∶1,面积大小范围为400~15000像素。
步骤S24,对于出现重叠的候选车辆尾灯区域,保留其中面积最大的那个区域,最终得到检测出来的车辆尾灯区域。
基于图5(c)-(e)所示的二值化图像得到的车辆尾灯区域的检测结果如图5(f)所示。
其中,若两个车辆尾灯区域中心点之间的距离在1/4车身宽度(约0.5米)范围以内,则判断为重叠。
步骤S3,利用车牌和车辆尾灯之间的结构关系构建车辆模型,从而从每一帧图像中检测得到车辆位置;
本发明利用车牌和车辆尾灯之间的结构关系,将车牌和车辆尾灯组合为一个车辆模型,如图6所示,所述结构关系包括位置关系和角度关系。所述车辆模型中主要定义了两个车辆部位的结构关系:
①车牌与车辆尾灯之间的结构关系,记为约束1。经过统计结果得出,车辆的左侧尾灯与车牌之间的夹角为120度-240度,右侧尾灯与车牌之间的夹角为-60度-60度,尾灯与车牌之间的距离在0.5m到2.6m之间,即θPlate_Rwar-lamp∈[-60°,60°]∪[120°,240°],LPlate_Rear-lamp∈[0.5,2.6]。
②车辆尾灯与车辆尾灯之间的结构关系,记为约束2。经过统计结果得出,车辆尾灯与车辆尾灯之间的距离在1.5m到3m之间,两个车辆尾灯区域的中心点的连线与水平线之间呈一定的夹角,考虑到车辆姿态变化,该角度范围定为-60度到60度,即LRear-lamps∈[1.5,3],θRear-lamps∈[-60°,60°]。除此之外,两个车辆尾灯区域中心点连线的中垂线上还应存在车牌区域。
如果检测到的车辆部位满足所述车辆模型定义的约束1和约束2,即认为这几个车辆部位组成了一辆车,并以车牌中心点的位置作为车辆的位置,反之,则认为是误检。
步骤S4,根据检测得到的车辆位置,对车辆进行跟踪从而获取车辆的运动轨迹;
在本发明的一实施例中,使用扩展卡尔曼滤波方法进行车辆的跟踪,进而得到车辆的运动轨迹,在扩展卡尔曼滤波方法中,将车牌的中心位置及速度信息作为系统状态变量,即
Figure BDA00002136861000071
其中xposition和yposition分别为车辆的x和y坐标,xspeed和yspeed分别为x和y方向上的速度。
Kalman滤波器是一种递归估计方法,通常情况下分两步完成:预测和更新。
①预测
预测阶段,对状态变量及状态误差方差进行估计,计算公式如下:
x ^ k = F * x ^ k - 1 ,
其中,
Figure BDA00002136861000082
为上一时刻k-1的状态,F为状态转移矩阵,
Figure BDA00002136861000083
为预测的当前时刻k的状态,即为当前时刻的车辆预测位置和速度,也即预测值。
Pk=F*Pk-1*Ft+Q’
其中,Pk-1和Pk分别为上一时刻k-1和当前时刻k的状态误差协方差矩阵,Q是处理噪声协方差,Ft为状态转移矩阵F的转置,Kk为卡尔曼增益,H为观测矩阵。
②更新
在车辆跟踪过程中,将与当前时刻的预测位置距离最近、且距离小于一定阈值的观测目标位置作为观测值
Figure BDA00002136861000084
如果没有找到观测值,则跳过更新步骤,重新执行预测步骤。
为了对车辆的状态进行更新,首先按照下式计算卡尔曼增益Kk
Kk=Pk*Ht*(H*Pk*Ht+R)-1
其中,H为观测矩阵,其值为
1 0 0 0 0 1 0 0 ,
Ht为观测矩阵H的转置,R为观测噪声协方差矩阵。所述卡尔曼增益Kk的值越大,更新率越小,观测值的比重就越小,反之,观测值的比重就越大。
接着利用预测步骤得到的预测值和观测得到的观测值、以及计算得到的卡尔曼增益Kk,对当前时刻k的状态变量和误差协方差矩阵进行更新:
x ^ k = x ^ k + K k * ( y ^ k - H * x ^ k ) ,
Pk=(I-Kk*H)*Pk
至此就得到了目标车辆在当前位置更新的状态估计值
Figure BDA00002136861000087
也就实现了使用最小方差估计方法估计当前时刻k的车辆位置。以此类推,就能够得到目标车辆的运动轨迹。
然而,由于摄像机采集图像时的帧间隔经常变化,因此可以从相机端获取每帧图像的时标,在每个更新步骤中利用前后帧的时标间隔来更新状态转移矩阵F。
F = 1 0 0 0 0 1 0 0 0 0 d t 0 0 0 0 d t ,
其中,dt为摄像机的帧间隔,即当前时刻k与上一时刻k-1的时间间隔。
另外,考虑到车速不是均匀不变的,因此,还需要每次更新车速。考虑到车速测量的不准确性,本发明采用加权方法对车速进行更新,用于下一时刻的预测步骤:
xspeed_k=0.2*xspeed_measure+0.8*xspeed_k-1
yspeed_k=0.2*yspeed_measure+0.8*yspeed_k-1
其中,xspeed_measure、yspeed_measure分别为x和y方向上的车辆观测速度。
如果某个目标车辆驶出摄像机视场或丢失跟踪,连续三帧没有得到状态变量的匹配,则认为该目标已退出。根据本发明的一实施例得到的车辆跟踪结果如图7所示。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于车辆部位特征的车辆检测与跟踪方法,其特征在于,该方法包括以下步骤:
步骤S1,对视频序列中所有的车牌位置进行定位;
步骤S2,对视频序列中所有的车辆尾灯位置进行定位;
步骤S3,利用车牌和车辆尾灯之间的结构关系构建车辆模型,从而从每一帧图像中检测得到车辆位置;
步骤S4,根据检测得到的车辆位置,对车辆进行跟踪从而获取车辆的运动轨迹;
所述步骤S1进一步包括以下步骤:
步骤S11,根据中国国标车牌的底色,获取视频序列每一帧图像的颜色灰度图像;
步骤S12,利用所述颜色灰度图像计算图像梯度,得到梯度图像;
步骤S13,在梯度图像中进行滑动窗口扫描,计算窗口内像素的平均梯度,以平均梯度值作为窗口中心像素点的像素值,得到该梯度图像对应的得分图像;
步骤S14,在所述得分图像上确定车辆所在的区域,并利用非极大值抑制方法在车辆区域范围内求得局部极大值,如果该局部极大值大于设定的得分阈值,则以所述局部极大值为中心点,根据国标车牌的尺寸信息得到一车牌区域,将该车牌区域作为候选车牌区域;
所述步骤S2进一步包括以下步骤:
步骤S21,根据车辆尾灯的颜色,即红色,获取视频序列每一帧图像的颜色灰度图像;
步骤S22,利用多阈值方法将所述颜色灰度图像分割为多幅二值化图像;
步骤S23,对所述多幅二值化图像分别做连通域分析,取长宽比、面积大小在一定范围内的连通域作为候选车辆尾灯区域;
步骤S24,对于出现重叠的候选车辆尾灯区域,保留其中面积最大的那个区域,最终得到检测出来的车辆尾灯区域。
2.根据权利要求1所述的方法,其特征在于,所述步骤S11中,对于蓝底白字和黄底黑字车牌,使用下式来计算图像中某一像素点x的颜色灰度值:
Color(x)=abs(B(x)-min{R(x),G(x)}),
其中,R(x)、G(x)、B(x)分别是像素x的红、绿、蓝通道的像素值,Color(x)为像素x变换后的灰度值,abs(B(x)-min{R(x),G(x)})为求取B(x)-min{R(x),G(x)}的绝对值;
对于黑底白字和白底黑字车牌,直接采用其灰度图作为颜色灰度图像。
3.根据权利要求1所述的方法,其特征在于,所述步骤S12计算图像梯度时,某一中间像素x的梯度值,为其邻域像素的最大值与最小值之差:
Gradient(x)=Max{Nb(x)}-Min(Nb(x)),
其中,Gradient(x)为像素x的梯度值,Nb(x)为x的邻域像素。
4.根据权利要求1所述的方法,其特征在于,所述步骤S14中,在所述得分图像上确定车辆所在的区域进一步包括以下步骤:
步骤S141,根据与图像坐标系相应的物理坐标系获得得分图像中车牌所在区域的物理位置信息;
步骤S142,按照车辆与车牌的尺寸比例关系,得到该得分图像中车辆所在的区域。
5.根据权利要求4所述的方法,其特征在于,所述车辆与车牌的尺寸比例关系为:车辆的宽度为车牌长度的4-5倍,车辆的长度为车牌长度的7-8倍。
6.根据权利要求1所述的方法,其特征在于,所述步骤S21中,按照下式来计算图像中某一像素x的颜色灰度值:
Color(x)=R(x)-max{G(x),B(x)}-abs(G(x)-B(x))*2,
其中,R(x)、G(x)、B(x)分别是像素x的红、绿、蓝通道的像素值,Color(x)为像素x变换后的灰度值,abs(G(x)-B(x))为求取G(x)-B(x)的绝对值。
7.根据权利要求1所述的方法,其特征在于,所述结构关系包括位置关系和角度关系。
8.根据权利要求1所述的方法,其特征在于,所述车辆模型中包括两个车辆部位的结构关系:
(1),车牌与车辆尾灯之间的结构关系:车辆的左侧尾灯与车牌之间的夹角为120度-240度,右侧尾灯与车牌之间的夹角为-60度-60度,尾灯与车牌之间的距离在0.5m到2.6m之间;
(2),车辆尾灯与车辆尾灯之间的结构关系:车辆尾灯与车辆尾灯之间的距离在1.5m到3m之间,两个车辆尾灯区域的中心点的连线与水平线之间的夹角为-60度到60度,两个车辆尾灯区域中心点连线的中垂线上存在车牌区域。
9.根据权利要求8所述的方法,其特征在于,如果检测到的车辆部位满足所述车辆模型定义的车牌与车辆尾灯之间的所述结构关系和车辆尾灯与车辆尾灯之间的所述结构关系,即认为这几个车辆部位组成了一辆车,并以车牌中心点的位置作为车辆的位置,反之,则认为是误检。
10.根据权利要求1所述的方法,其特征在于,所述步骤S4中,使用扩展卡尔曼滤波方法进行车辆的跟踪,进而得到车辆的运动轨迹,在所述扩展卡尔曼滤波方法中,车牌的中心位置及速度信息为系统状态变量,即
Figure FDA00002136860900031
其中xposition和yposition分别为车辆的x和y坐标,xspeed和yspeed分别为x和y方向上的速度。
11.根据权利要求10所述的方法,其特征在于,所述扩展卡尔曼滤波方法包括预测步骤和更新步骤,其中:
在预测步骤中,使用下式对状态变量及状态误差方差进行估计:
x ^ k = F * x ^ k - 1 , P k = F * P k - 1 * F t + Q ,
其中,
Figure FDA00002136860900033
为上一时刻k-1的状态,F为状态转移矩阵,
Figure FDA00002136860900034
为预测的当前时刻k的状态,即为当前时刻的车辆预测位置和速度,Pk-1和Pk分别为上一时刻k-1和当前时刻k的状态误差协方差矩阵,Q是处理噪声协方差,Ft为状态转移矩阵F的转置,Kk为卡尔曼增益,H为观测矩阵;
在更新步骤中,使用下式计算卡尔曼增益Kk
Kk=Pk*Ht*(H*Pk*Ht+R)-1
其中,H为观测矩阵,Ht为观测矩阵H的转置,R为观测噪声协方差矩阵;
将与当前时刻的预测位置距离最近、且距离小于一定阈值的观测目标位置作为观测值
Figure FDA00002136860900035
使用下式更新当前时刻k的状态变量和误差协方差矩阵:
x ^ k = x ^ k + K k * ( y ^ k - H * x ^ k ) ,
Pk=(I-Kk*H)*Pk
使用下式更新状态转移矩阵F:
F = 1 0 0 0 0 1 0 0 0 0 d t 0 0 0 0 d t ,
其中,dt为摄像机的帧间隔,即当前时刻k与上一时刻k-1的时间间隔;
使用下式更新车速:
xspeed_k=0.2*xspeed_measure+0.8*xspeed_k-1
yspeed_k=0.2*yspeed_measure+0.8*yspeed_k-1
其中,xspeed_measure、yspeed_measuie分别为x和y方向上的车辆观测速度。
12.根据权利要求11所述的方法,其特征在于,如果没有找到观测值
Figure FDA00002136860900043
则跳过更新步骤,重新执行预测步骤。
13.根据权利要求11所述的方法,其特征在于,如果连续三帧没有得到某个目标车辆状态变量的匹配,则认为该目标已退出。
CN201210340153.1A 2012-09-13 2012-09-13 一种基于车辆部位特征的车辆检测与跟踪方法 Active CN102867416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210340153.1A CN102867416B (zh) 2012-09-13 2012-09-13 一种基于车辆部位特征的车辆检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210340153.1A CN102867416B (zh) 2012-09-13 2012-09-13 一种基于车辆部位特征的车辆检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN102867416A true CN102867416A (zh) 2013-01-09
CN102867416B CN102867416B (zh) 2014-08-06

Family

ID=47446268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210340153.1A Active CN102867416B (zh) 2012-09-13 2012-09-13 一种基于车辆部位特征的车辆检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN102867416B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310469A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
CN103473567A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于部分模型的车辆检测方法
CN103778786A (zh) * 2013-12-17 2014-05-07 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法
CN104019740A (zh) * 2014-05-22 2014-09-03 浙江吉利控股集团有限公司 用于采集车身外表面数据的方法及系统
WO2014205787A1 (zh) * 2013-06-28 2014-12-31 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
CN104778444A (zh) * 2015-03-10 2015-07-15 公安部交通管理科学研究所 道路场景下车辆图像的表观特征分析方法
CN105225494A (zh) * 2015-11-03 2016-01-06 中兴软创科技股份有限公司 基于电子警察数据的车辆轨迹跟踪方法与装置
CN105427615A (zh) * 2015-12-03 2016-03-23 杭州中威电子股份有限公司 一种低照度下鲁棒的闯红灯抓拍系统及方法
CN105957081A (zh) * 2016-04-28 2016-09-21 华北电力大学(保定) 一种玻璃绝缘子掉串故障检测方法
WO2016165150A1 (zh) * 2015-04-14 2016-10-20 深圳市润安科技发展有限公司 一种车辆闯红灯检测处罚方法和系统
CN106295528A (zh) * 2016-08-01 2017-01-04 长安大学 一种基于多部件空间位置关系gmm建模的车辆检测方法
WO2017008412A1 (zh) * 2015-07-16 2017-01-19 中兴通讯股份有限公司 违章车辆的报警方法和装置及系统
CN106651881A (zh) * 2016-12-28 2017-05-10 同方威视技术股份有限公司 车辆检查系统、车辆部位识别方法及系统
TWI585721B (zh) * 2014-12-31 2017-06-01 Nat Chung-Shan Inst Of Science And Tech A Method of Night Vehicle Count Based on Hybrid Particle Filter
CN106934808A (zh) * 2017-02-15 2017-07-07 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN107092855A (zh) * 2016-02-18 2017-08-25 日本电气株式会社 车辆部件识别方法和设备、车辆识别方法和设备
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
CN108021856A (zh) * 2016-10-31 2018-05-11 比亚迪股份有限公司 车辆尾灯识别方法、装置及车辆
CN108109394A (zh) * 2017-12-07 2018-06-01 重庆交通大学 基于矢量模型的单地磁车辆交通参数检测系统及方法
CN108629378A (zh) * 2018-05-10 2018-10-09 上海鹰瞳医疗科技有限公司 图像识别方法和设备
CN109543610A (zh) * 2018-11-22 2019-03-29 中国科学院长春光学精密机械与物理研究所 车辆检测跟踪方法、装置、设备及存储介质
CN109765397A (zh) * 2019-01-29 2019-05-17 天津美腾科技有限公司 测速方法、装置及系统
CN110021172A (zh) * 2019-05-06 2019-07-16 北京英泰智科技股份有限公司 一种车辆全要素特征采集方法和系统
CN110136453A (zh) * 2019-06-14 2019-08-16 内蒙古工业大学 基于lk局部差分光流法的车流量检测方法
CN110379174A (zh) * 2019-07-24 2019-10-25 中电科新型智慧城市研究院有限公司 一种基于5g定位和视频分析技术的交通管控系统
CN111709416A (zh) * 2020-05-15 2020-09-25 珠海亿智电子科技有限公司 车牌定位方法、装置、系统及存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383094A (zh) * 2008-10-21 2009-03-11 上海高德威智能交通系统有限公司 视频触发方法和装置
CN101408942A (zh) * 2008-04-17 2009-04-15 浙江师范大学 一种复杂背景下的车牌定位方法
JP2009087316A (ja) * 2007-09-11 2009-04-23 Hitachi Ltd 交通流計測システム
US20090299857A1 (en) * 2005-10-25 2009-12-03 Brubaker Curtis M System and method for obtaining revenue through the display of hyper-relevant advertising on moving objects
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090299857A1 (en) * 2005-10-25 2009-12-03 Brubaker Curtis M System and method for obtaining revenue through the display of hyper-relevant advertising on moving objects
JP2009087316A (ja) * 2007-09-11 2009-04-23 Hitachi Ltd 交通流計測システム
CN101408942A (zh) * 2008-04-17 2009-04-15 浙江师范大学 一种复杂背景下的车牌定位方法
CN101383094A (zh) * 2008-10-21 2009-03-11 上海高德威智能交通系统有限公司 视频触发方法和装置
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王枚等: "一众实用的夜间车牌目标定位方法", 《微计算机信息》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157320B2 (en) 2013-06-28 2018-12-18 Institute Of Automation, Chinese Academy Of Sciences Vehicle detection method based on hybrid image template
CN103310469A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
CN103310469B (zh) * 2013-06-28 2016-05-11 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
WO2014205787A1 (zh) * 2013-06-28 2014-12-31 中国科学院自动化研究所 一种基于混合图像模板的车辆检测方法
CN103473567A (zh) * 2013-08-27 2013-12-25 东莞中国科学院云计算产业技术创新与育成中心 一种基于部分模型的车辆检测方法
CN103473567B (zh) * 2013-08-27 2016-09-14 东莞中国科学院云计算产业技术创新与育成中心 一种基于部分模型的车辆检测方法
WO2015089867A1 (zh) * 2013-12-17 2015-06-25 东莞中国科学院云计算产业技术创新与育成中心 一种交通违章检测方法
CN103778786A (zh) * 2013-12-17 2014-05-07 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
CN104019740A (zh) * 2014-05-22 2014-09-03 浙江吉利控股集团有限公司 用于采集车身外表面数据的方法及系统
CN104019740B (zh) * 2014-05-22 2017-06-06 浙江吉利控股集团有限公司 用于采集车身外表面数据的方法及系统
CN104021676B (zh) * 2014-06-25 2016-08-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法
TWI585721B (zh) * 2014-12-31 2017-06-01 Nat Chung-Shan Inst Of Science And Tech A Method of Night Vehicle Count Based on Hybrid Particle Filter
CN104778444A (zh) * 2015-03-10 2015-07-15 公安部交通管理科学研究所 道路场景下车辆图像的表观特征分析方法
WO2016165150A1 (zh) * 2015-04-14 2016-10-20 深圳市润安科技发展有限公司 一种车辆闯红灯检测处罚方法和系统
WO2017008412A1 (zh) * 2015-07-16 2017-01-19 中兴通讯股份有限公司 违章车辆的报警方法和装置及系统
CN105225494A (zh) * 2015-11-03 2016-01-06 中兴软创科技股份有限公司 基于电子警察数据的车辆轨迹跟踪方法与装置
CN105427615A (zh) * 2015-12-03 2016-03-23 杭州中威电子股份有限公司 一种低照度下鲁棒的闯红灯抓拍系统及方法
CN105427615B (zh) * 2015-12-03 2018-03-16 杭州中威电子股份有限公司 一种低照度下鲁棒的闯红灯抓拍系统及方法
CN107092855A (zh) * 2016-02-18 2017-08-25 日本电气株式会社 车辆部件识别方法和设备、车辆识别方法和设备
CN105957081A (zh) * 2016-04-28 2016-09-21 华北电力大学(保定) 一种玻璃绝缘子掉串故障检测方法
CN105957081B (zh) * 2016-04-28 2019-01-08 华北电力大学(保定) 一种玻璃绝缘子掉串故障检测方法
CN106295528A (zh) * 2016-08-01 2017-01-04 长安大学 一种基于多部件空间位置关系gmm建模的车辆检测方法
CN108021856B (zh) * 2016-10-31 2020-09-15 比亚迪股份有限公司 车辆尾灯识别方法、装置及车辆
CN108021856A (zh) * 2016-10-31 2018-05-11 比亚迪股份有限公司 车辆尾灯识别方法、装置及车辆
CN106651881A (zh) * 2016-12-28 2017-05-10 同方威视技术股份有限公司 车辆检查系统、车辆部位识别方法及系统
CN106651881B (zh) * 2016-12-28 2023-04-28 同方威视技术股份有限公司 车辆检查系统、车辆部位识别方法及系统
CN106934808A (zh) * 2017-02-15 2017-07-07 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN106934808B (zh) * 2017-02-15 2020-05-15 江苏文光车辆附件有限公司 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN107103292A (zh) * 2017-04-12 2017-08-29 湖南源信光电科技股份有限公司 一种基于运动车辆跟踪的车流量统计方法
CN108109394B (zh) * 2017-12-07 2020-09-29 重庆交通大学 基于矢量模型的单地磁车辆交通参数检测系统及方法
CN108109394A (zh) * 2017-12-07 2018-06-01 重庆交通大学 基于矢量模型的单地磁车辆交通参数检测系统及方法
CN108629378A (zh) * 2018-05-10 2018-10-09 上海鹰瞳医疗科技有限公司 图像识别方法和设备
CN109543610A (zh) * 2018-11-22 2019-03-29 中国科学院长春光学精密机械与物理研究所 车辆检测跟踪方法、装置、设备及存储介质
CN109765397A (zh) * 2019-01-29 2019-05-17 天津美腾科技有限公司 测速方法、装置及系统
CN110021172A (zh) * 2019-05-06 2019-07-16 北京英泰智科技股份有限公司 一种车辆全要素特征采集方法和系统
CN110136453A (zh) * 2019-06-14 2019-08-16 内蒙古工业大学 基于lk局部差分光流法的车流量检测方法
CN110379174A (zh) * 2019-07-24 2019-10-25 中电科新型智慧城市研究院有限公司 一种基于5g定位和视频分析技术的交通管控系统
CN111709416A (zh) * 2020-05-15 2020-09-25 珠海亿智电子科技有限公司 车牌定位方法、装置、系统及存储介质
CN111709416B (zh) * 2020-05-15 2024-02-02 珠海亿智电子科技有限公司 车牌定位方法、装置、系统及存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质
CN115690767B (zh) * 2022-10-26 2023-08-22 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Also Published As

Publication number Publication date
CN102867416B (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN102867416B (zh) 一种基于车辆部位特征的车辆检测与跟踪方法
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
CN103778786B (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN108320510B (zh) 一种基于无人机航拍视频交通信息统计方法及系统
CN101739686B (zh) 运动目标跟踪方法及其系统
Lan et al. Vehicle speed measurement based on gray constraint optical flow algorithm
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN111563469A (zh) 一种不规范停车行为识别方法及装置
CN105844959A (zh) 车辆入位的判定方法、装置及车辆出位的判定方法、装置
CN103324913B (zh) 一种基于形状特征和轨迹分析的行人事件检测方法
CN106778593A (zh) 一种基于多地面标志融合的车道级定位方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN101872546A (zh) 一种基于视频的过境车辆快速检测方法
CN104200485A (zh) 一种面向视频监控的人体跟踪方法
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN110379168A (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN107563310A (zh) 一种违章变道检测方法
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
CN103440785B (zh) 一种快速的车道偏移警示方法
CN106778484A (zh) 交通场景下的运动车辆跟踪方法
CN103794050A (zh) 一种实时的交通车辆检测与跟踪方法
CN205680289U (zh) 一种停车入位检测系统
CN105574502A (zh) 一种自助发卡机违章行为自动检测方法
CN104267209B (zh) 一种基于虚拟线圈的高速公路视频测速方法及系统
CN107067752A (zh) 基于无人机航拍图像的车速估算系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Co-patentee after: JIANGSU ZHONGKE INTELLIGENT SYSTEM Co.,Ltd.

Patentee after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Co-patentee before: Jiangsu Zhongke intelligent system Limited by Share Ltd.

Patentee before: Institute of Automation, Chinese Academy of Sciences

Address after: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Co-patentee after: Jiangsu Zhongke intelligent system Limited by Share Ltd.

Patentee after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Co-patentee before: JIANGSU CHINA SCIENCES INTELLIGENT ENGINEERING CO.,LTD.

Patentee before: Institute of Automation, Chinese Academy of Sciences

CP01 Change in the name or title of a patent holder