CN105868700A - 一种基于监控视频的车型识别与跟踪方法及系统 - Google Patents

一种基于监控视频的车型识别与跟踪方法及系统 Download PDF

Info

Publication number
CN105868700A
CN105868700A CN201610178264.5A CN201610178264A CN105868700A CN 105868700 A CN105868700 A CN 105868700A CN 201610178264 A CN201610178264 A CN 201610178264A CN 105868700 A CN105868700 A CN 105868700A
Authority
CN
China
Prior art keywords
image
background
vehicle
tracking
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610178264.5A
Other languages
English (en)
Inventor
张海军
李正琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201610178264.5A priority Critical patent/CN105868700A/zh
Publication of CN105868700A publication Critical patent/CN105868700A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于监控视频的车型识别与跟踪方法及系统,所述方法包括:A、背景建模和前景检测:将视频序列中相对静止不动的部分作为背景与包含运动物体的前景分离开;B、车辆图像特征提取:提取图像中的局部特征描述符,采用SIFT特征描述符,因为该算法能较好的表达图像的内容及特点,对图像噪声和仿射变化有一定的稳定性;C、车辆图像特征编码:将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;D、车辆图像识别:选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;E、车辆图像跟踪:对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别系统的运行速度。

Description

一种基于监控视频的车型识别与跟踪方法及系统
技术领域
本发明属于图像识别领域,尤其涉及一种基于监控视频的车型识别与跟踪方法及系统,所述方法及系统使用局部特征描述符作为最原始输入。
背景技术
智能交通系统(Intelligent Transportation System,ITS)是综合运用信息技术、通讯技术以及计算机技术等对交通运输进行全方位、高效、实时、准确的监控。于上世纪80年代被提出,最初用于车辆导流系统。随着社会经济和城镇化的快速发展,人们生活收入水平得到明显提高,私家车逐渐成为出行的必备工具。这对交通运输管理带来了压力,追尾、超车、闯红灯等交通事故越来越多,汽车排放的大量尾气对城市空气造成了严重影响,因此对ITS的研发具有越来越重要的实用价值。世界主要发达国家陆续开始对ITS的研发,协助城市管理者进行车流疏导,以改善城市交通拥挤的现状。目前,随着其他一些国家和地区的加入,智能交通系统作为交通运输学科的前沿领域正逐步发展为一个新的ITS产业。新世纪以来,国民经济得到飞速发展的情况下,我国人均车辆拥有量得到稳步提高。机动车的大量增加,也带来了很多交通问题,如:超载、汽车超速、闯红灯甚至出现一些车毁人亡的悲剧,给国家和人民带来了重大的生命和财产损失。于是,国家开始逐步重视ITS的研发与应用,随着国家经济的发展,政府的大力投入,同时社会城市化发展,我国智能交通技术的应用前景广阔潜力巨大。
车型识别作为ITS的关键组成部分,有着非常广泛的应用,如:自动收费系统,在公路和停车场收费领域,车型识别与车牌识别相结合,不仅可以提高识别的准确率,而且还可以防止“倒卡,换卡”等逃避收费的行为。在公安刑事监控和侦查中,可以结合车型识别来快速点位嫌疑车辆的位置和行踪,帮助追捕嫌犯。车型与车牌识别相结合将有助于建立更加高效车辆管理系统。车型识别也可以应用于车辆的防盗管理系统,防止不法分子盗取车辆。使用车型识别对公路交通流量的统计与分析,做到对道路状况的实时监控和调度,防止交通堵塞、交通事故的出现。自动停车系统也可以利用车型识别,对停车位作更好地规划与运用等。同时也可以用于自动或辅助安全驾驶领域。车型识别技术和车牌识别一样图像识别领域的学术问题,但它也是一个具有很强实用价值的课题,在公共安全和城市交通管理等方面有很广阔的应用潜力。
由于基于监控视频的车型识别问题,很大程度上受到监控环境的影响。当监控环境恶劣时,视频图像的质量就会降低,这可能使前景物体检测和识别出现错误。另一图像处理算法方面存在的缺陷,也是基于监控视频车型识别的发展的重要瓶颈。但是随着近年来新的背景建模和图像识别算法的提出,以及计算机性能和速度的提升,使得基于监控视频的车型识别系统推广于工业应用的可能性有了很大提高。所以基于监控视频的检测和识别技术必将在ITS领域得到广泛应用。基于新的背景建模和识别算法的视频车型检测与识别算法已引起国内外学者的广泛关注,也形成了很多研究热点。
发明内容
本发明的目的在于提供一种基于监控视频的车型识别与跟踪方法及系统,旨在解决现有技术中存在的问题。
本发明通过以下技术方案实现:一种基于监控视频的车型识别与跟踪方法,所述方法包括以下步骤:
A、背景建模和前景检测:将视频序列中相对静止不动的部分作为背景,将所述背景与包含运动物体的前景分离开;
B、车辆图像特征提取:提取图像中的局部特征描述符,所述方法采用SIFT特征描述符,因为该算法能较好的表达图像的内容及特点,对图像噪声和仿射变化有一定的稳定性;
C、车辆图像特征编码:将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;
D、车辆图像识别:选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;
E、车辆图像跟踪:对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别与跟踪系统的运行速度。
作为本发明的进一步改进,所述背景建模与前景检测步骤包括以下步骤:
A1、背景模型的初始化:根据第一帧图像选取像素点周围的像素作为该点的初始背景样本集;
A2、前景检测:将新的像素值与该点的背景样本集比较,若像素值的空间邻域和颜色值邻域,在背景样本集中的点超过第一阈值,则判断其为背景,否则为前景;
A3、背景模型更新:当一个像素值被判定为背景时,它有一定的概率替换该像素点及其邻域的像素点的背景样本集,对于一个一直判定为前景的像素点,当计数大于第二阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。
作为本发明的进一步改进,所述车辆图像特征提取与编码步骤包括以下步骤:
B1、连通分量分析:对图像中前景物体不是一个连通区域的情形,使用多项式拟合或者凸包拟合的方法,得到一个包含前景物体的联通区域;
B2、提取图像的局部特征描述符,所述方法采用SIFT特征描述符,即首先进行特征点检测,然后对得到的特征点计算梯度向量,作为该区域的描述;
B3、对提取到的128维SIFT特征向量降维至80维;
B4、利用混合高斯模型拟合训练集上所有的SIFT特征描述符的分布;具体求解算法使用最大化期望算法;
B5、求得的混合高斯模型关于模型参数权重、均值和方差的梯度向量;
B6、对得到的梯度向量进行归一化处理,并保存混合高斯模型的相关参数,确保对新来的测试集采用同样的编码方式。
作为本发明的进一步改进,所述车辆图像识别与跟踪步骤包括以下步骤:
C1、利用线性核的支持向量机,学习训练集上编码后的特征向量模型;
C2、保存学习到的模型,对于新来的图像,加载训练时期保存的混合高斯模型参数,并将新测试图像提取SIFT局部特征描述符编码为定长向量;
C3、加载支持向量机模型,对新测试图像的特征向量进行分类识别;
C4、将识别为某车型的新的前景区域作为跟踪器的初始区域;
C5、计算得到一个目标的置信图;
C6、对于新的视频帧,利用前一帧的上下文信息,卷积图像得到一个目标的置信图,值最大的位置就是我们的目标所在地。
作为本发明的进一步改进,所述方法采用的局部特征描述符,对角度很好的稳定性。
本发明的另一目的在于提供一种基于监控视频的车型识别与跟踪系统,所述车型识别与跟踪系统包括:
背景建模和前景检测模块,用于将视频序列中相对静止不动的部分作为背景,将所述背景与包含运动物体的前景分离开;
车辆图像特征提取模块,用于提取图像中的局部特征描述符,所述装置法采用SIFT特征描述符;
车辆图像特征编码模块,用于将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;
车辆图像识别模块,用于选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;
车辆图像跟踪模块,用于对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别与跟踪系统的运行速度。
作为本发明的进一步改进,所述背景建模和前景检测模块包括:
背景模型初始子模块,用于对像素点空间邻域的像素值随机采样,来生成该像素点的初始背景样本集;
前景检测子模块,用于将新的像素值与该点的背景样本集比较,若像素值的空间邻域和颜色值邻域,在背景样本集中的点超过第一阈值,则判断其为背景,否则为前景;
背景模型更新子模块,用于当一个像素值被判定为背景时,它有一定的概率替换该像素点及其邻域的像素点的背景样本集,对于一个一直判定为前景的像素点,当计数大于第二阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。
作为本发明的进一步改进,所述车辆图像特征提取与编码模块包括:
连通分量分析子模块,用于采用凸包或者多项式拟合的方式,对非连通的前景区域进行分块;
车辆图像局部描述符提取子模块,用于进行图像尺度空间极值检测,筛选极值点,计算特征点主方向,最后根据这个主方向进行特点描述,得到SIFT特性描述符;
车辆图像特征编码子模块,用于利用混合高斯模型拟合训练集上所有SIFT特征描述符分布,求得到的模型关于模型参数权值、均值和协方差的梯度向量,将其作为图像的特征向量。
作为本发明的进一步改进,所述车辆图像识别与跟踪模块包括:
支持向量机(SVM)的训练与保存子模块,用于选择线性核的SVM,并设置合适的SVM参数进行交叉训练得到最好的模型,将训练好的SVM模型保存到指定文件;
新前景区域的识别子模块,用于将进行特征提取和编码,输入到SVM中进行识别;
车辆图像跟踪子模块,用于对识别为某一车型的图像持续跟踪,并更新其在新一帧中的位置,直至车辆离开监控视频区域。
作为本发明的进一步改进,所述系统采用前景检测与跟踪同时决定车辆在新一帧中的位置。
本发明的有益效果是:本发明提供的车型识别与跟踪系统,同时考虑到了背景模型更新和系统实时性的要求。对于给定监控视频,该系统能够自动检测并识别出现在视频中运动的物体是否为车辆图像,且具体为哪种车型。对于判定为车辆的运动物体会不断的跟踪,直至其离开监控区域。在跟踪过程中,可能会更改所跟踪物体的车型类别。对于视频背景建模,本发明设计了一种改进的背景更新方法。该方法增加了背景模型的鲁棒性,能够有效的去除前景检测中存在的噪声,且对于缓慢移动的物体有较好的稳定性。对于运动物体识别部分,选择使用图像局部特征描述符,并用Fisher向量和具有局部性约束的编码算法编码为定长向量,最后使用线性核的支持向量机分类器进行分类。
附图说明
图1是本发明的基于监控视频的车型识别与跟踪方法的流程图;
图2是本发明的基于监控视频的车型识别与跟踪系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明的基于监控视频的车型识别与跟踪方法及系统。本发明的主要创新的工作为以下两个部分:1)监控视频背景建模;2)车辆图像编码与识别。第一部分使得前景检测有了较好结果,为后续的车辆图像识别与跟踪,提供很好的原始输入。第二部分车辆图像编码与识别,融合了两种典型的编码算法使得识别效果有所提升,一定程度上提高了系统的识别精度。
图1示出了本发明提供的基于监控视频的车型识别与跟踪方法的流程图,其详述如下:
步骤S1,背景建模与前景检测:将背景分割当做一个分类问题,为每个背景像素保存一个样本集,所述样本集保存了像素点邻域和其过去出现过的颜色值,将像素点的当前颜色值与样本集中距离最近的样本进行比较,来判断是否背景。具体步骤如下:
(S11)定义v(x)为点x的的颜色值,vi为背景样本集中第i个样本值,则点x处的背景模型样本集表示为:M(x)={v1,v2,...,vN},样本集的大小为N,根据M(x)将v(x)进行分类,假设SR(v(x))是像素点x的像素值邻近半径为R的圆内的像素值集合。通过计算SR(v(x))与M(x)中共同样本值的个数,同时考虑当前帧空间邻域半径R2圆内的像素值集合在背景样本集中的个数。并与给定的阈值#min比较,如果大于则判定为背景,否则为前景。形式定义如下:
v ( x ) = f o r e g r o u n d , # { { S R 2 ( v ( x ) ∪ S R ( v ( x ) } ∩ M ( x ) ) } ≤ # min b a c k g r o u n d , # { { S R 2 ( v ( x ) ∪ S R ( v ( x ) } ∩ M ( x ) ) } ≥ # min
(S12)模型初始化,对某个像素点周围像素点的颜色值进行随机采样,来生成该像素点的初始背景样本集。假定t=0时刻位于点x的像素空间邻域为NG(x),则有:
M0(x)={v0(y|y∈NG(x))}
其中坐标y是随机选择的。
(S13)模型的更新策略,对于一个判定为背景的样本值有一定的概率替换背景样本集中的某个值,同时为了保证像素值具有空间传播的特性,新判定为背景的点也有一定的概率替换其邻域空间中的某些像素的背景样本集,对于一个一直判定为前景的像素点,当计数大于某个阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。当一个像素点被用来替换其邻域像素点背景样本集时,考虑像素点空间距离和背景样本集分布的差异性。具体替换规则如下所示:
p ( y | x ) = λ d ( y , x ) K L ( y | | x ) + μ
其中:
d ( y , x ) = exp ( d i s t ( y , x ) σ )
K L ( y | | x ) = Σ i = 0 255 ( p y ( i ) + μ ) l o g ( ( p y ( i ) + μ ) ( p x ( i ) + μ ) )
其中,p(y|x)表示像素点x替换像素点y中背景样本集中像素值的概率,d(y,x)表示像素点x与像素点y的距离,λ是调节因子。dist(y,x)表示两点之间的欧式距离,σ是用于调节局部性约束的权重。KL(y||x)表示像素点x与像素点y的样本集中样本值分布的差异,px(i)表示像素点px(i)i出现的频率,拉普拉斯平滑因子μ是一个小常数,避免分子分母为零的情况。
步骤S2,车辆图像特征提取与编码,对于一幅给定的图像通常需要提取一些低层的图像局部描述特征,然后不同图像得到的数量不等的局部描述特征统一编码为能够表达图像整体信息的定长特征向量。同时要确保在编码过程中尽量保留图像局部特征中蕴含的信息,使用尽量简单的分类器实现图像的分类与识别。具体的车辆图像特征提取与编码步骤如下:
(S21)对于图像特征提取使用SIFT特征描述符,即通过尺度空间极值检测,筛选稳定的极值点,计算每个极值点主方向和梯度,最后对计算每个极值点邻域16个子区域的梯度直方图,得到一个128维的特征向量。对得到的SIFT特征进行PCA降维,通常可以为60或80维。
(S22)生成视觉词典,对于给定的图像数据集中的每张图片都应用步骤S21,提取若干个SIFT描述符,在整个数据集上所有局部描述符进行K均值聚类,每个聚类中心可以认为是类似于文档词典中的关键字,组合所有聚类中心就形成一个词典。
(S23)特征编码,将每个SIFT特征描述符投影到距离该描述符比较接近的关键字上,具体是解如下的最优化问题:
min C Σ i = 1 N | | x i - Bc i | | 2 + λ | | d i · c i | | 2 s . t . 1 T c i = 1 , ∀ i
其中,di·ci表示按向量的逐个元素相差,就是引入的局部性约束子,对于给定的描述符xi,根据其距离的远近,给不同的基向量以不同的自由度,di的显示定义如下:
d i = exp ( d i s t ( x i , B ) σ )
其中,dist(xi,B)=[dist(xi,b1),...,dist(xi,bM)]T,dist(xi,bi)表示局部描述符xi和基向量bi的距离,σ用于调节局部性约束子的权重。通常用max(dist(xi,B))除以di,将其归一化为(0,1],限制条件1Tci=1能保证编码的平移不变性。该最优化问题存在解析解,训练速度很快。
(S24)另外对于一幅图像,假设有T个特征描述符(如尺度不变特征变换SIFT,Scale-invariant feature transform),表示为X={xt,t=1...T}。假设这些特征描述符是独立同分布的,并用K个混合高斯分布去逼近它。于是有
u λ ( x ) = Σ k = 1 K ω k u k ( x )
其中,混合高斯模型参数λ={ωkkk,k=1,...,k},uk为第k个高斯成分且有假设协方差矩阵是一个对角阵,通过EM算法得到模型参数,则最终归一化后的导数为:
ζ α k X = 1 ω k Σ t = 1 T ( γ t ( t ) - ω k )
ζ μ k X = 1 ω k Σ t = 1 T γ t ( k ) ( x t - μ k σ k )
ζ σ k X = 1 ω k Σ t = 1 T γ t ( k ) 1 2 ( ( x t - μ k ) 2 σ k 2 - 1 )
(S25)训练分类器并对新样本进行分类,组合步骤S23和步骤S24中得到的向量作为图像最终的特征向量,并将其作为输入向量输入到如SVM分类器中进行训练,得到分类车辆图像的模型。对于新来的图像使用同样的编码算法对其进行编码,然后使用训练好的SVM模型进行分类预测。
步骤S3,车辆图像跟踪,当某个前景物体被判定为车辆时,就需要新建一个跟踪其对其进行跟踪,以免后续帧的重复识别。主要思想是通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模,得到目标和其周围区域低级特征的统计相关性。然后综合这一时空关系评估新的一帧中目标出现位置的置信图,置信最大的位置就是新的一帧的目标位置。另外,时空模型的学习和目标的检测都是通过FFT(傅里叶变换)来实现。具体车辆跟踪步骤如下:
(S31)t帧:在该帧目标(第一帧由人工指定)已经知道的情况下,计算得到一个目标的置信图(Confidence Map,也就是目标的似然)。通过生物视觉系统上的视觉焦点特性可以得到另一张概率图(先验概率)。通过对这两个概率图的傅里叶变换做除再反傅里叶变换,就可以得到建模目标和周围背景的空间相关性的空间上下文模型(条件概率)。然后用这个模型去更新跟踪下一帧需要的时空上下文模型。
(S32)t+1帧:利用t帧的上下文信息(时空上下文模型),卷积图像得到一个目标的置信图,值最大的位置就是我们的目标所在地。或者理解为图像各个地方对该上下文信息的响应,响应最大的地方自然就是满足这个上下文的地方,也就是目标了。
图2示出了一种基于监控视频的车型识别与跟踪系统,所述车型识别系统包括:
背景建模和前景检测模块,用于将视频序列中相对静止不动的部分作为背景,将所述背景与包含运动物体的前景分离开;
车辆图像特征提取模块,用于提取图像中的局部特征描述符,所述装置法采用SIFT特征描述符;
车辆图像特征编码模块,用于将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;
车辆图像识别模块,用于选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;
车辆图像跟踪模块,用于对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别与跟踪系统的运行速度。
所述背景建模和前景检测模块包括:
背景模型初始子模块,用于对像素点空间邻域的像素值随机采样,来生成该像素点的初始背景样本集;
前景检测子模块,用于将新的像素值与该点的背景样本集比较,若像素值的空间邻域和颜色值邻域,在背景样本集中的点超过第一阈值,则判断其为背景,否则为前景;
背景模型更新子模块,用于当一个像素值被判定为背景时,它有一定的概率替换该像素点及其邻域的像素点的背景样本集,对于一个一直判定为前景的像素点,当计数大于第二阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。
所述车辆图像特征提取与编码模块包括:
连通分量分析子模块,用于采用凸包或者多项式拟合的方式,对非连通的前景区域进行分块;
车辆图像局部描述符提取子模块,用于进行图像尺度空间极值检测,筛选极值点,计算特征点主方向,最后根据这个主方向进行特点描述,得到SIFT特性描述符;
车辆图像特征编码子模块,用于利用混合高斯模型拟合训练集上所有SIFT特征描述符分布,求得到的模型关于模型参数权值、均值和协方差的梯度向量,将其作为图像的特征向量。
所述车辆图像识别与跟踪模块包括:
支持向量机(SVM)的训练与保存子模块,用于选择线性核的SVM,并设置合适的SVM参数进行交叉训练得到最好的模型,将训练好的SVM模型保存到指定文件;
新前景区域的识别子模块,用于将进行特征提取和编码,输入到SVM中进行识别;
车辆图像跟踪子模块,用于对识别为某一车型的图像持续跟踪,并更新其在新一帧中的位置,直至车辆离开监控视频区域。
本发明的主要贡献有以下三点:首先,对于背景建模部分,本系统使用了改进的背景建模与更新算法。使得背景模型算法不仅具有占用内存少,速度快等优点,且对于噪声和缓慢运动的物体有更好的鲁棒性。二,对于车辆图像编码与识别部分,为了提高算法的识别精度,且使系统对于监控角度和条件的要求尽量小。本发明选择使用局部特征描述符,使其对复杂的形变和光照变化具有较强的适应性,对监控图像的投射、扭曲和噪声具有很好的鲁棒性,对视角变化也保持一定程度的稳定性。同时计算速度比较快、定位精度比较高。同时使用Fisher向量和具有局部性约束的线性编码算法,对提取到的图像局部特征描述符进行编码。同时使用线性核的支持向量即进行分类,大大减少了分类器训练和测试所需时间。三、对于判断车型在新一帧视频图像中的位置,本发明结合前景检测和跟踪器综合判断,其最可能出现的位置,即首先将新的视频图像灰度化,输入到背景建模与前景检测模块,得到一些可能的车辆前景区域。同时将图像输入到跟踪器模块中,根据STC跟踪器的计算,同时也得到一个新图像车辆最可能出现区域。对两个模块得到的区域进行组合合并,得到最优的图像跟踪区域。试验表明该方法有效提高了算法的跟踪效果。当一种方法效果较差时,另一种方法可以作为其补充,修正一些明显的偏差。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于监控视频的车型识别与跟踪方法,其特征在于:所述方法包括以下步骤:
A、背景建模和前景检测:将视频序列中相对静止不动的部分作为背景,将所述背景与包含运动物体的前景分离开;
B、车辆图像特征提取:提取图像中的局部特征描述符,所述方法采用SIFT特征描述符;
C、车辆图像特征编码:将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;
D、车辆图像识别:选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;
E、车辆图像跟踪:对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别与跟踪系统的运行速度。
2.根据权利要求1所述的车型识别与跟踪方法,其特征在于:所述步骤A包括以下步骤:
A1、背景模型的初始化:根据第一帧图像选取像素点周围的像素作为该点的初始背景样本集;
A2、前景检测:将新的像素值与该点的背景样本集比较,若像素值的空间邻域和颜色值邻域,在背景样本集中的点超过第一阈值,则判断其为背景,否则为前景;
A3、背景模型更新:当一个像素值被判定为背景时,它有一定的概率替换该像素点及其邻域的像素点的背景样本集,对于一个一直判定为前景的像素点,当计数大于第二阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。
3.根据权利要求1所述的车型识别与跟踪方法,其特征在于:所述步骤B包括以下步骤:
B1、连通分量分析:对图像中前景物体不是一个连通区域的情形,使用多项式拟合或者凸包拟合的方法,得到一个包含前景物体的联通区域;
B2、提取图像的局部特征描述符,所述方法采用SIFT特征描述符,即首先进行特征点检测,然后对得到的特征点计算梯度向量,作为该区域的描述;
B3、对提取到的128维SIFT特征向量降维至80维。
4.根据权利要求1所述的车型识别与跟踪方法,其特征在于,所述步骤C包括以下步骤:
C1、利用混合高斯模型拟合训练集上所有的SIFT特征描述符的分布;具体求解算法使用最大化期望算法;
C2、求得的混合高斯模型关于模型参数权重、均值和方差的梯度向量;
C3、对得到的梯度向量进行归一化处理,并保存混合高斯模型的相关参数,确保对新来的测试集采用同样的编码方式。
5.根据权利要求1所述的车型识别与跟踪方法,其特征在于,所述步骤D包括以下步骤:
D1、利用线性核的支持向量机,学习训练集上编码后的特征向量模型;
D2、保存学习到的模型,对于新来的图像,加载训练时期保存的混合高斯模型参数,并将新测试图像提取SIFT局部特征描述符编码为定长向量;
D3、加载支持向量机模型,对新测试图像的特征向量进行分类识别。
6.根据权利要求1所述的车型识别与跟踪方法,其特征在于,所述步骤E包括以下步骤:
E1、将识别为某车型的新的前景区域作为跟踪器的初始区域;
E2、计算得到一个目标的置信图;
E3、对于新的视频帧,利用前一帧的上下文信息,卷积图像得到一个目标的置信图,值最大的位置就是我们的目标所在地。
7.一种基于监控视频的车型识别与跟踪系统,其特征在于,所述车型识别与跟踪系统包括:
背景建模和前景检测模块,用于将视频序列中相对静止不动的部分作为背景,将所述背景与包含运动物体的前景分离开;
车辆图像特征提取模块,用于提取图像中的局部特征描述符,所述装置法采用SIFT特征描述符;
车辆图像特征编码模块,用于将图像上得到的数量不等的局部特征描述符编码为定长向量,以适合于分类器的输入;
车辆图像识别模块,用于选择和设计合适的分类器对图像的特征向量进行分类,最后达到识别的目的;
车辆图像跟踪模块,用于对识别为某一车型识别图像区域进行跟踪,避免重复的前景检测和识别,提高车型识别与跟踪系统的运行速度。
8.根据权利要求7所述的车型识别与跟踪系统,其特征在于:所述背景建模和前景检测模块包括:
背景模型初始子模块,用于对像素点空间邻域的像素值随机采样,来生成该像素点的初始背景样本集;
前景检测子模块,用于将新的像素值与该点的背景样本集比较,若像素值的空间邻域和颜色值邻域,在背景样本集中的点超过第一阈值,则判断其为背景,否则为前景;
背景模型更新子模块,用于当一个像素值被判定为背景时,它有一定的概率替换该像素点及其邻域的像素点的背景样本集,对于一个一直判定为前景的像素点,当计数大于第二阈值就将其强制设定为背景,同时该像素值也有机会去更新其背景和邻域像素的背景样本集。
9.根据权利要求7所述的车型识别与跟踪系统,其特征在于:所述车辆图像特征提取与编码模块包括:
连通分量分析子模块,用于采用凸包或者多项式拟合的方式,对非连通的前景区域进行分块;
车辆图像局部描述符提取子模块,用于进行图像尺度空间极值检测,筛选极值点,计算特征点主方向,最后根据这个主方向进行特点描述,得到SIFT特性描述符;
车辆图像特征编码子模块,用于利用混合高斯模型拟合训练集上所有SIFT特征描述符分布,求得到的模型关于模型参数权值、均值和协方差的梯度向量,将其作为图像的特征向量。
10.根据权利要求7-9任一项所述的车型识别与跟踪系统,其特征在于:所述车型识别与跟踪系统中采用前景检测与跟踪同时决定车辆在新一帧中的位置。
CN201610178264.5A 2016-03-25 2016-03-25 一种基于监控视频的车型识别与跟踪方法及系统 Pending CN105868700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610178264.5A CN105868700A (zh) 2016-03-25 2016-03-25 一种基于监控视频的车型识别与跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610178264.5A CN105868700A (zh) 2016-03-25 2016-03-25 一种基于监控视频的车型识别与跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN105868700A true CN105868700A (zh) 2016-08-17

Family

ID=56625981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610178264.5A Pending CN105868700A (zh) 2016-03-25 2016-03-25 一种基于监控视频的车型识别与跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN105868700A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504542A (zh) * 2016-09-30 2017-03-15 北京中星微电子有限公司 车速智能监控方法和系统
CN106778473A (zh) * 2016-11-20 2017-05-31 南宁市浩发科技有限公司 一种车型识别方法
CN106778517A (zh) * 2016-11-25 2017-05-31 河南高速公路驻信段改扩建工程有限公司 一种监控视频序列图像车辆再识别的方法
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN107273634A (zh) * 2017-07-03 2017-10-20 湖南工业大学 一种实时在线验证复杂交通控制方法
CN108647720A (zh) * 2018-05-10 2018-10-12 上海扩博智能技术有限公司 商品图像的迭代循环识别方法、系统、设备及存储介质
CN108898842A (zh) * 2018-07-02 2018-11-27 武汉大学深圳研究院 一种多源监控视频的高效编码方法及其系统
CN109190444A (zh) * 2018-07-02 2019-01-11 南京大学 一种基于视频的收费车道车辆特征识别系统的实现方法
CN109284781A (zh) * 2018-09-10 2019-01-29 湖北工业大学 基于流形学习的图像分类算法和系统
CN109887266A (zh) * 2019-02-26 2019-06-14 合肥学院 一种车辆用室外定位追踪方法
CN110168625A (zh) * 2017-05-03 2019-08-23 华为技术有限公司 一种应急车辆的识别方法及装置
CN110313183A (zh) * 2017-02-23 2019-10-08 奈飞公司 用于对视频内容进行编码的迭代技术
CN110458031A (zh) * 2019-07-15 2019-11-15 邱玉枝 车辆违章的识别方法及装置
CN111027499A (zh) * 2019-12-17 2020-04-17 北京慧智数据科技有限公司 一种基于卷积神经网络的货车低排放限行识别方法
CN111178184A (zh) * 2019-12-17 2020-05-19 北京智芯原动科技有限公司 基于背景建模的车位区域车辆检测方法及装置
CN111273050A (zh) * 2020-02-12 2020-06-12 清华大学 信号采集处理方法及装置
CN111274843A (zh) * 2018-11-16 2020-06-12 上海交通大学 基于监控视频的货车超载监测方法及系统
CN113409587A (zh) * 2021-06-16 2021-09-17 北京字跳网络技术有限公司 异常车辆的检测方法、装置、设备及存储介质
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US11444999B2 (en) 2017-02-23 2022-09-13 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
CN116193666A (zh) * 2022-12-28 2023-05-30 深圳市威赛环境照明有限公司 一种led灯控制方法及系统
US11910039B2 (en) 2017-07-18 2024-02-20 Netflix, Inc. Encoding technique for optimizing distortion and bitrate

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101084527A (zh) * 2004-10-28 2007-12-05 英国电讯有限公司 用于处理视频数据的方法及系统
US20100290709A1 (en) * 2009-05-12 2010-11-18 Industrial Technology Research Institute Method and apparatus for recognizing types of vehicles
CN102025981A (zh) * 2010-12-23 2011-04-20 北京邮电大学 一种监控视频中的前景检测的方法
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101084527A (zh) * 2004-10-28 2007-12-05 英国电讯有限公司 用于处理视频数据的方法及系统
US20100290709A1 (en) * 2009-05-12 2010-11-18 Industrial Technology Research Institute Method and apparatus for recognizing types of vehicles
CN102025981A (zh) * 2010-12-23 2011-04-20 北京邮电大学 一种监控视频中的前景检测的方法
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙百伟: ""视频中运动目标跟踪算法研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李伟生: ""基于时空背景模型的自适应运动目标检测方法"", 《计算机应用》 *
杨江峰: ""基于视频的人体动作分析与识别研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504542A (zh) * 2016-09-30 2017-03-15 北京中星微电子有限公司 车速智能监控方法和系统
CN106778473A (zh) * 2016-11-20 2017-05-31 南宁市浩发科技有限公司 一种车型识别方法
CN106778517A (zh) * 2016-11-25 2017-05-31 河南高速公路驻信段改扩建工程有限公司 一种监控视频序列图像车辆再识别的方法
CN110313183A (zh) * 2017-02-23 2019-10-08 奈飞公司 用于对视频内容进行编码的迭代技术
CN110313183B (zh) * 2017-02-23 2021-11-12 奈飞公司 用于对视频内容进行编码的迭代技术
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US11184621B2 (en) 2017-02-23 2021-11-23 Netflix, Inc. Techniques for selecting resolutions for encoding different shot sequences
US11758146B2 (en) 2017-02-23 2023-09-12 Netflix, Inc. Techniques for positioning key frames within encoded video sequences
US11818375B2 (en) 2017-02-23 2023-11-14 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US11871002B2 (en) 2017-02-23 2024-01-09 Netflix, Inc. Iterative techniques for encoding video content
US11870945B2 (en) 2017-02-23 2024-01-09 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US11444999B2 (en) 2017-02-23 2022-09-13 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
CN107066953B (zh) * 2017-03-22 2019-06-07 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN107066953A (zh) * 2017-03-22 2017-08-18 北京邮电大学 一种面向监控视频的车型识别、跟踪及矫正方法和装置
CN110168625A (zh) * 2017-05-03 2019-08-23 华为技术有限公司 一种应急车辆的识别方法及装置
CN107273634A (zh) * 2017-07-03 2017-10-20 湖南工业大学 一种实时在线验证复杂交通控制方法
US11910039B2 (en) 2017-07-18 2024-02-20 Netflix, Inc. Encoding technique for optimizing distortion and bitrate
CN108647720A (zh) * 2018-05-10 2018-10-12 上海扩博智能技术有限公司 商品图像的迭代循环识别方法、系统、设备及存储介质
CN109190444B (zh) * 2018-07-02 2021-05-18 南京大学 一种基于视频的收费车道车辆特征识别系统的实现方法
CN109190444A (zh) * 2018-07-02 2019-01-11 南京大学 一种基于视频的收费车道车辆特征识别系统的实现方法
CN108898842A (zh) * 2018-07-02 2018-11-27 武汉大学深圳研究院 一种多源监控视频的高效编码方法及其系统
CN109284781A (zh) * 2018-09-10 2019-01-29 湖北工业大学 基于流形学习的图像分类算法和系统
CN111274843A (zh) * 2018-11-16 2020-06-12 上海交通大学 基于监控视频的货车超载监测方法及系统
CN111274843B (zh) * 2018-11-16 2023-05-02 上海交通大学 基于监控视频的货车超载监测方法及系统
CN109887266A (zh) * 2019-02-26 2019-06-14 合肥学院 一种车辆用室外定位追踪方法
CN110458031A (zh) * 2019-07-15 2019-11-15 邱玉枝 车辆违章的识别方法及装置
CN111178184B (zh) * 2019-12-17 2023-08-18 北京智芯原动科技有限公司 基于背景建模的车位区域车辆检测方法及装置
CN111178184A (zh) * 2019-12-17 2020-05-19 北京智芯原动科技有限公司 基于背景建模的车位区域车辆检测方法及装置
CN111027499A (zh) * 2019-12-17 2020-04-17 北京慧智数据科技有限公司 一种基于卷积神经网络的货车低排放限行识别方法
CN111273050A (zh) * 2020-02-12 2020-06-12 清华大学 信号采集处理方法及装置
CN113409587A (zh) * 2021-06-16 2021-09-17 北京字跳网络技术有限公司 异常车辆的检测方法、装置、设备及存储介质
CN113409587B (zh) * 2021-06-16 2022-11-22 北京字跳网络技术有限公司 异常车辆的检测方法、装置、设备及存储介质
CN116193666A (zh) * 2022-12-28 2023-05-30 深圳市威赛环境照明有限公司 一种led灯控制方法及系统
CN116193666B (zh) * 2022-12-28 2023-12-26 深圳市威赛环境照明有限公司 一种led灯控制方法及系统

Similar Documents

Publication Publication Date Title
CN105868700A (zh) 一种基于监控视频的车型识别与跟踪方法及系统
Weihong et al. Research on license plate recognition algorithms based on deep learning in complex environment
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Puranic et al. Vehicle number plate recognition system: a literature review and implementation using template matching
Abedin et al. License plate recognition system based on contour properties and deep learning model
CN102509091B (zh) 一种飞机尾号识别方法
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN105930791A (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
CN106384345B (zh) 一种基于rcnn的图像检测以及流量统计方法
Shujuan et al. Real-time vehicle detection using Haar-SURF mixed features and gentle AdaBoost classifier
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
Fan et al. Improving robustness of license plates automatic recognition in natural scenes
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
Zhang et al. DetReco: Object‐Text Detection and Recognition Based on Deep Neural Network
Prabhu et al. Recognition of Indian license plate number from live stream videos
Do et al. Speed limit traffic sign detection and recognition based on support vector machines
Habeeb et al. Deep‐Learning‐Based Approach for Iraqi and Malaysian Vehicle License Plate Recognition
Soon et al. Malaysian car number plate detection and recognition system
CN112347967A (zh) 一种复杂场景下融合运动信息的行人检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN111178158B (zh) 一种骑车人检测方法及系统
Shine et al. Comparative analysis of two stage and single stage detectors for anomaly detection
Sathya et al. Vehicle license plate recognition (vlpr)
Sufiun et al. Automatic bengali number plate detection and authentication using yolo-v4 and yolo-v5

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817