CN103679214A - 基于在线面积估计和多特征决策融合的车辆检测方法 - Google Patents

基于在线面积估计和多特征决策融合的车辆检测方法 Download PDF

Info

Publication number
CN103679214A
CN103679214A CN201310712226.XA CN201310712226A CN103679214A CN 103679214 A CN103679214 A CN 103679214A CN 201310712226 A CN201310712226 A CN 201310712226A CN 103679214 A CN103679214 A CN 103679214A
Authority
CN
China
Prior art keywords
vehicle
prospect agglomerate
prospect
agglomerate
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310712226.XA
Other languages
English (en)
Other versions
CN103679214B (zh
Inventor
秦华标
黄兆楠
管伟祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310712226.XA priority Critical patent/CN103679214B/zh
Publication of CN103679214A publication Critical patent/CN103679214A/zh
Application granted granted Critical
Publication of CN103679214B publication Critical patent/CN103679214B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了基于在线面积估计和多特征决策融合的车辆检测方法。该方法包括步骤:图像的预处理、车辆感兴趣区域(ROI)的提取、分类判别模型的建立、车辆的检测判别。对摄像机采集的道路交通视频图像序列进行预处理,再将图像前背景分离,提取到初步的运动前景团块,接着在提取的前景团块中进行前景团块筛选,得到最终的前景ROI,再基于多特征决策融合的车辆检测方法得到最终检测结果。本发明能够有效的滤除环境及光线噪声的影响,提高在复杂背景环境下车辆提取ROI的鲁棒性,并且在保证实时性的要求下能够很好的提高车辆检测的准确率。

Description

基于在线面积估计和多特征决策融合的车辆检测方法
技术领域
       本发明涉及智能交通系统中的车辆识别检测技术,具体涉及基于在线面积估计和多特征决策融合的车辆检测方法。
背景技术
    随着社会经济的不断发展以及全球范围内的城市化进程不断地向前推进,近年来参与道路交通的汽车数量急速增长,汽车也已经成为人们生活中不可缺少的交通工具。据统计,中国已经成为了全球少数几个汽车数量超过千万级别的国家之一。但是,与此同时,无论是欧美等发达国家还是中国等发展中国家,伴随着汽车数量的不断攀升,都将会面临随之而来的道路交通拥堵、道路交通环境恶化以及道路交通事故频发等日趋严重的社会问题。道路交通拥堵问题不仅给人们的出行造成了极大的时间上的浪费,造成了大量能源的浪费,同时也更加加剧了堆环境的污染和破坏。现在我国许多城市,如北京、上海、广州等交通拥堵问题已经引起了社会的广泛关注,为社会造成了巨大的经济损失。同时汽车的行驶速度缓慢以及大量尾气的排放,也进一步加剧了城市空气质量的进一步恶化。同时道路交通安全问题也日趋凸显出来,根据世界卫生组织在道路交通事故的统计报告中指出:全球平均每年死于道路交通事故的的人数高达120万,因交通事故而受伤的人数高达5000万,造成的直接经济损失约125亿美元。近几年来,中国每年也有超过10万人数死于道路交通事故。毫无疑问,汽车数量剧增带来的道路交通拥堵、道路交通环境恶化以及道路交通安全等问题已经成为了阻碍我国社会和谐稳定发展的核心问题之一。
    由于有限的土地资源、可用能源以及资金与日益增多的出行车辆之间的矛盾,使得道路交通问题已经不能够完全靠新建更多的基础交通设施等传统手段来解决了。因此,智能交通系统(Intelligent Transportation System,简称ITS)这个运用多科技手段来实现对现有道路交通进行统筹管理以提高道路交通的利用率和通信能力的方法开始成为了世界上各个国家在交通领域开发和研究的热点。而车辆检测系统是智能交通系统的基础核心系统之一,它能够为智能交通系统提供实时道路交通信息等基础数据支持,也是世界各国研究人员开发和研究的重点领域。传统的车辆检测技术包括环形磁感线圈、红外线检测、超声波检测、光电式检测、微波雷达检测、气动导管检测等。但是,它们也都普遍的存在着系统的安装、调试、维护以及升级困难,同时较好的传感器价格昂贵,且可监控范围小以及功能单一等缺陷,无法满足在智能交通系统中的应用。
    在交通智能化的大背景下,基于视频感知的车辆检测技术逐渐成为了该领域的研究重点。它是通过道路交通中固定的摄像机采集道路交通视频并通过计算机应用、图像处理技术以及模式分类技术模拟人眼的功能实现对视频场景中车辆的检测。与传统的车辆检测技术相对比,基于视频感知的车辆检测技术具有下面几点明显的优势:首先,设备易于安装、调试及维护,并且费用较低,同时支持在线软件更新,具有良好的可拓展性;其次,基于视频感知方法的监控范围广,可实现长距离、多车道监控;最后,能够获取到更加全面和准确的道路交通信息。由于视频车辆检测技术的先进性,该技术日益成为了智能交通系统领域中最具潜力和优势的检测方法,具有广阔的应用前景,同时,目前存在的视频车辆检测系统存在着许多的不足,无法得到更加广泛的应用,因此,对基于视频感知的车辆检测系统的研究具有极其重要的意义和价值。
发明内容
       本发明的目的是克服现有方法存在的上述的缺陷,提供基于视频感知的车辆检测方法,可实现有效的滤除环境及光线噪声的影响,提高在复杂背景环境下车辆提取ROI的鲁棒性,提高车辆检测的准确率并满足实时性的要求。本发明通过如下技术方案实现。
基于在线面积估计和多特征决策融合的车辆检测方法,包括以下步骤:(1)道路交通图像采集;(2)对采集到的图像进行预处理;其特征在于还包括如下步骤:(3)车辆感兴趣区域(ROI)的提取:对采集到的道路交通图像序列,首先采用基于尺度映射的混合高斯背景模型法进行前景和背景分离,得到二值化前景图像,然后在得到的二值化前景图像中提取前景团块,获取相应的前景团块属性信息,包括前景团块质心纵坐标、前景团块面积、前景团块的外接矩形的左顶点坐标和长宽,定义本文算法开始运行之后的一段时间Tinit为训练期,并将在该训练期内所提取到的前景团块属性信息将输入在线面积估计模型的训练模块,通过训练得到合适在线面积估计模型,然后利用该模型对训练期后提取到的前景团块进行筛选,最后将筛选通过的前景团块逆映射回原图像,便可得到车辆ROI;(4)基于多特征决策融合的车辆检测:构建多个车辆特征分类器,利用这多个车辆特征分类器对步骤(3)中得到的车辆ROI分别进行车辆检测,然后将各个车辆特征分类器的检测结果进行决策融合,从而得到最终的检测结果。
所述的基于在线面积估计和多特征决策融合的车辆检测方法中的基于尺度映射的混合高斯背景模型法包括:首先对采集到的道路交通图像序列中每一帧图像进行一次下采样得到一个较低分辨率的图像序列,将得到的较低分辨率的图像序列进行混合高斯背景模型建模,并进行前景和背景分离,得到二值化前景图像,并进行前景团块提取,然后再经过后续的在线面积估计模型进行前景团块的筛选之后,再对筛选得到的前景团块进行尺度逆映射以得到最终的车辆ROI。
所述的基于在线面积估计和多特征决策融合的车辆检测方法中的在线面积估计模型的训练模块包括:首先将训练期内获取到的前景团块属性信息中的前景团块质心纵坐标以及前景团块面积这两个属性信息以键值对的形式进行组织,前景团块质心纵坐标为键,前景团块面积为值,且允许一个键同时对应多个值,从而得到一个初步的训练样本集合,再利用均值-方差法对该初步的训练样本集合进行在线样本自动筛选,从而得到最终的训练样本集合,然后利用最小二乘法进行在线面积估计模型训练,从而得到在线面积估计模型。
所述的基于在线面积估计和多特征决策融合的车辆检测方法中的在线面积估计模型对前景团块进行筛选包括:首先获取前景团块属性信息中的前景团块质心纵坐标y和前景团块面积Sreal,然后利用在线面积估计模型计算得到在前景团块质心纵坐标为y的情况下的前景团块面积的估计值Sest,然后利用公式|Sreal - Sest| < 3DTi进行筛选,其中                                                
Figure 706877DEST_PATH_IMAGE001
为阈值,其中
Figure 357301DEST_PATH_IMAGE002
为上述经过自动筛选之后剩下的前景团块中前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标对应的前景团块面积的方差,满足该公式的前景团块通过筛选。
所述的在线面积估计模型的训练模块中的均值-方差法进行初步训练样本在线自动筛选包括以下步骤:(1)分别统计训练样本集合中每一个前景团块质心纵坐标所对应的所有前景团块面积的均值和E(s|yi)方差D(s|yi),其中s表示前景团块面积,yi表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标;(2)根据公式Ub(yi) = E(s|yi) + D(s|yi)和
Figure 15816DEST_PATH_IMAGE003
 分别确定出每一个前景团块质心纵坐标所对应的前景团块面积的上限值
Figure 915639DEST_PATH_IMAGE004
和下限值
Figure 950591DEST_PATH_IMAGE005
;(3)对训练样本集合的每一个前景团块纵坐标所对应的所有前景团块面积进行自动滤除,即所有前景团块面积不在区域
Figure 471833DEST_PATH_IMAGE006
中的值则认为不具有较强代表性,将其从样本集合中剔除,从而得到了一个新的训练样本集合。针对得到的新的训练样本集合,循环执行步骤(1)至步骤(3),直至满足公式DTi < DTH或者满足公式Times > MaxTimes二者之一,其中DTH表示方差阈值,Times表示循环的次数,MaxTimes表示最大的循环次数。
所述的基于在线面积估计和多特征决策融合的车辆检测方法中的基于多特征决策融合的车辆检测包括:首先利用Adaboost分类算法分别建立基于HOG特征、LBP特征以及Haar特征的车辆特征分类器,然后利用三个车辆特征分类器分别对最终的车辆ROI进行检测判别,得到三个检测结果,然后采用改进的多数投票法将这三个检测结果联合起来,进行决策融合,从而得到最终的车辆检测结果。
所述的基于多特征决策融合的车辆检测方法中的改进多数投票法包括:根据三个车辆特征分类器对于车辆样本和非车辆样本的检测率,为它们分配不同的权重,包括Ahog_car和Ahog_nocar分别为基于HOG特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Albp_car和Albp_nocar分别为基于LBP特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Ahaar_car和Ahaar_nocar分别基于Haar特征车辆分类器对车辆和非车辆样本检测判别的对应的权值,然后利用下面的公式Pcar = P11 x Ahog_car + P21 x Albp_car + P31 x Ahaar_car和公式Pnocar = P12 x Ahog_nocar + P22 x Albp_npcar + P32 x Ahaar_nocar分别计算输入的ROI图像中存在车辆的概率Pcar和不存在车辆的概率Pnocar,最后根据Pcar和Pnocar的大小进行判决,若Pcar > Pnocar,则存在车辆,否则,不存在车辆。    
与现有技术相比,本发明具有如下优点和效果:本发明是一种快速、准确的实现车辆检测判别的方法。能够有效的滤除环境及光线噪声的影响,提高在复杂背景环境下车辆提取ROI的鲁棒性,提高车辆检测的准确率并满足实时性的要求,能够获取到更加全面和准确的道路交通信息;本发明在车辆ROI的提取方法有了很大的改进,解决了传统的基于视频感知的车辆检测技术中,由于产生环境噪声的原因的复杂性和高质量背景模型建立需要的大量计算导致的实时性下降的问题;本发明在车辆检测判别的方法上有了较大的改进,综合三种不同车辆特征的优点,较好的提高了车辆检测的准确率;本发明同时兼顾准确率与速率,在保证检测准确性的前提下还满足了实时性的要求。
附图说明
        图1 是本发明主要算法流程图。
        图2 是本发明实施方式中的车辆ROI提取方法流程图。
        图3 是本发明具体实施方式中在线车辆面积估计模型算法流程图。
        图4 是本发明实施方式中基于在线面积估计和多特征决策融合的车辆检测方法流程图。
具体实施方式
        下面结合附图对本发明的具体实施方式做进一步说明。
       基于在线面积估计和多特征决策融合的车辆检测方法包括车辆ROI的提取和车辆检测判别两部分,如图1所示。ROI区域提取,在实际应用系统中,尤其是在车辆检测系统中,周围环境光线变化复杂,目标物体阴影问题影响同时伴可能伴随着背景区域的微运动(如风吹树叶动),导致ROI区域的提取的准确性大大的降低。而不准确的ROI区域将为后续的车辆检测的准确性引入不必要的误差,同时还可能会影响到整个系统检测的实时性。本发明使用基于在线面积估计模型的方法,保证了ROI提取的实时性和在复杂环境下的鲁棒性。车辆分类判别模型基于多特征决策融合的车辆检测方法。分别对HAAR特征、HOG特征以及LBP特征进行提取,选择了基于Adaboost算法的分类器分别建立最优模型,之后利用自动权值统计方法,建立基于多特征决策融合的车辆分类判别模型,提高车辆检测的准确性。
       如图2所示,是本发明具体实施方式中的车辆ROI提取方法流程图。首先,对输入的视频图像序列中的每一帧图像I(x,y) (尺寸大小为X*Y)进行一次下采样,得到一个长宽均为原图像1/k倍大小的映射图像:
D(x,y) = I(kx,ky’)
       其中,为下采样之后得到的图像,且上式满足x∈(0,x/k),y∈(0,y/k),k∈(1,∞)。
       接着利用映射得到的图像
Figure 157209DEST_PATH_IMAGE007
序列,进行混合高斯背景模型进行前景与背景分离,然后提取该前景二值化图像中的所有前景团块,获取所有团块的相关信息(如前景团块面积,前景团块质心纵坐标以及前景团块外接矩形的左顶点坐标以及长宽)。
定义本文算法开始运行之后的一段时间Tinit为训练期,并将在该训练期内所提取到的前景团块属性信息将输入在线面积估计模型的训练模块,通过训练得到合适在线面积估计模型,接着利用在线面积估计模型进行前景团块的筛选,最终能够得到一个称为“可能存在车辆的区域”的列表(S1,S2,..Si,…),该列表为前景团块的外接矩形信息列表作为在线面积估计模型的初步训练样本,该列表的元素为Si[x,y,w,h],其中(x,y)为矩形左上角顶点坐标,w和h分别为矩形的宽和高。
       最后利用下面的逆映射公式组将该列表的矩形信息逆映射回到源图像中,便可得到更为准确的车辆ROI的矩形信息列表(D1,D2,..Di,…),该列表的元素为Di[x,y’,w’,h’],其中
Figure 995852DEST_PATH_IMAGE008
为矩形左上角顶点坐标,w分别为矩形的宽和高。
                                                 
Figure 401612DEST_PATH_IMAGE010
                                                                                                
Figure 416972DEST_PATH_IMAGE011
                                               
                                                 
Figure 807109DEST_PATH_IMAGE012
                                       
                                                 
Figure 817790DEST_PATH_IMAGE013
                                       
       其中,X’和Y分别为图像D(x,y)的宽和高,ew和eh表示映射时所要进行的前景团块外接矩形宽和高的扩展的大小。
       如图3所示,是本发明的具体实施方式中在线面积估计模型建立流程图。在线样本采集是针对上诉步骤中描述的前背景分离方法得到的二值化前景图像,然后提取该前景二值化图像中的所有前景团块,获取所有前景团块相应的质心的纵坐标yi和其面积si这两个属性信息,其中yi 表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标,si表示所有前景团块中前景团块质心纵坐标为yi的前景团块面积,然后将这两个属性信息以键值对的形式保存在一个内存结构中,其中,以团块质心纵坐标yi为键,以团块面积si为值,且同时允许同一个键对应存在多个值。利用视频开始的一段时间作为训练器,在该期间对每一帧图像进行上述步骤进行样本采样,从而能够得到一个较为庞大的粗步的样本集合。
但是,由于环境噪声和光照变化等复杂因素的影响,所提取到的前景团块样本中可能存在着大量的噪声样本,如果直接利用这些样本进行车辆面积估计模型的参数训练,那么必然大大的加大车辆面积估计模型的误差。所以本发明中中采用均值-方差的方法进行在线的样本自动筛选。根据上述步骤所采集到的粗样本集存在这样的特性:即同一个键(同一质心纵坐标位置处),可能采集到了许多面积不同的前景团块。根据这个特性,其具体算法流程如下:
(1)分别统计训练样本集合中每一个前景团块质心纵坐标所对应的所有前景团块面积的均值和E(s|yi)方差D(s|yi),其中s表示前景团块面积,yi表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标;
(2)根据公式Ub(yi) = E(s|yi) + D(s|yi)和
Figure 254588DEST_PATH_IMAGE014
 分别确定出每一个前景团块质心纵坐标所对应的前景团块面积的上限值和下限值
Figure 531165DEST_PATH_IMAGE016
(3)对训练样本集合的每一个前景团块纵坐标所对应的所有前景团块面积进行自动滤除,即所有前景团块面积不在区域中的值则认为不具有较强代表性,将其从样本集合中剔除,从而得到了一个新的训练样本集合。针对得到的新的训练样本集合,循环执行步骤(1)至步骤(3),直至满足公式DTi < DTH或者满足公式Times > MaxTimes二者之一,其中DTH表示方差阈值,Times表示循环的次数,MaxTimes表示最大的循环次数。
通过上述样本在线的自动筛选机制,能够得到较准确且较有代表性的训练样本集合。
由于透视的原理,在任意摄像头角度下,均有当车辆远离摄像头时(即车辆所在图像中位置的纵坐标在变小时),其表现出来的前景团块的长和宽均在同时变小,反之,当车辆在靠近摄像头时(即车辆所在图像中位置的纵坐标在变大时),其表现出来的前景团块的长和宽均在同时变大。根据以上信息,运动车辆表现出来的前景团块的长和宽与车辆所在图像中的位置的纵坐标均呈现线性正相关关系,由此,在误差允许的条件下,本方法假设图像中车辆前景团块的面积与其质心纵坐标的平方呈现线性关系,且同一距离位置上所有不同车辆的面积都是围绕在某一个特定的值上下波动,从而将相对复杂的二次函数关系降阶为一阶函数,如下式:
       
Figure 4052DEST_PATH_IMAGE018
                                                                         
       从而,对参数
Figure 400529DEST_PATH_IMAGE019
的估计,可以采用下面两个公式所示最小二乘法进行估计:
       
Figure 104360DEST_PATH_IMAGE021
                                                                     
Figure 882960DEST_PATH_IMAGE022
                                                                        
       其中,为样本集合的大小,
Figure 725200DEST_PATH_IMAGE024
表示前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标的平方,
Figure 564980DEST_PATH_IMAGE025
表示前景团块质心纵坐标为
Figure 514482DEST_PATH_IMAGE026
时的前景团块的面积,
Figure 806923DEST_PATH_IMAGE027
表示所有前景团块质心纵坐标的平方的均值,
Figure 132862DEST_PATH_IMAGE028
表示所有前景团块面积的均值。
在得到在线采集和筛选得到的样本数据集后,采用上述算法进行车辆面积估计模型参数的训练,从而得到合适该视频场景的车辆面积估计模型。
在车辆面积估计模型确定之后,便可以使用该模型对提取到的前景团块进行筛选和滤除:对于每一个提取到的前景团块,获取其质心的纵坐标y和真实团块面积Sreal,然后利用提取到的前景团块的质心纵坐标进行对应的面积估计,得到该质心纵坐标值处的面积估计值Sest,由于不同车型的车辆在同一距离位置的面积将在某一个特定的值上下波动,所以可以利用下面的筛选规则进行团块筛选:
Figure 827149DEST_PATH_IMAGE029
其中,其中为阈值,其中
Figure 992868DEST_PATH_IMAGE002
为上述经过自动筛选之后剩下的前景团块中前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标对应的前景团块面积的方差。满足上诉公式的前景团块则可以成为“可能存在车辆的区域”,并且再进行尺度逆映射即可以逆映射回到原图像中,成为车辆ROI。
       如图4所示,是本发明具体实施方式中基于多特征决策融合的车辆检测方法流程图。首先利用Adaboost分类模型算法对提取到的车辆HOG特征、LBP特征以及Haar特征分别建立最优的车辆特征分类器,得到HOG特征分类器,LBP特征分类器以及Haar特征分类器,然后利用特征权重自动学习机制对各个特征对正负样本检测分类的权重进行自动学习,在进行车辆检测的时候,将前面章节中提取到的车辆ROI图像分别进行各个特征的提取,并输入到对应的车辆特征分类器模型中,分别得到了三个相应车辆特征分类器的判别结果,然后分别对这三个车辆特征分类器的分类效果进行测试,然后根据这三个特征分类器的不同表现,对它们进行取长补短,综合其优点构建一个基于多特征决策融合的分类判别模型。
多数投票法是一种简单且有效的数据决策级的融合算法,它是通过统计多个分类器的分类判别结果,然后将最终的输出结果定义与多数分类器的分类判别结果相同的一类,即它是多数分类器投票产生的结果,对于二类问题,该算法的公式如下:
Figure 388077DEST_PATH_IMAGE030
                                                                      
       其中
Figure 153514DEST_PATH_IMAGE031
Figure 241556DEST_PATH_IMAGE032
二类问题的分类结果,
Figure 977431DEST_PATH_IMAGE033
Figure 832123DEST_PATH_IMAGE034
分别代表两种类别的投票票数,其公式如下:
                 
Figure 235423DEST_PATH_IMAGE035
                
       其中为标识函数, n表示分类器个数,
Figure 717537DEST_PATH_IMAGE037
表示第k个分类器的分类结果,它与i具有相同的定义域
Figure 923390DEST_PATH_IMAGE038
。公式(4-12)中,每一个分类器的分类结果都具有相同的权重,不同分类器享有相同的投票权。但是在实际应用系统中,不同的分类器对于不同的分类会有不同的表现,多数投票数没有考虑到这个不同。为了使得分类判别表现更加的分类器在最终的决策投票中具有更大的发言权,本文中提出了一种改进的加权多数投票算法,通过对公式做了修改,在原有的多数投票法中引进了加权机制:
Figure 446775DEST_PATH_IMAGE039
                          
       其中
Figure 345461DEST_PATH_IMAGE040
表示第k个分类器判别结果为i时,其所具有的权重。
       本方法中采用上述改进的加权多数投票法实现基于多特征的决策融合,当有新的车辆ROI图像需要进行最终的车辆检测时,首先采用滑动窗口(窗口尺寸由小直到ROI图像尺寸大小)的方法,进行HOG特征的提取,然后输入到HOG特征分类器中进行检测判别,得到车辆和非车辆分类检测结果,接着同样采用相同的滑动窗口的方法,进行LBP特征的提取,然后输入到LBP特征分类器中进行检测判别,得到车辆和非车辆的分类检测结果
Figure 862210DEST_PATH_IMAGE042
,最后在滑动窗口的基础上进行Haar特征的的提取,然后输入Haar特征分类器进行检测判别,得到车辆和非车辆的分类检测结果
Figure 725255DEST_PATH_IMAGE043
。将这三个分类检测结果利用多数投票法联合起来,进行决策融合,得到检测结果的车辆与非车辆的可行度
Figure 60422DEST_PATH_IMAGE044
Figure 258185DEST_PATH_IMAGE045
,如下式所示:
     
Figure 336999DEST_PATH_IMAGE046
                                      
Figure 303818DEST_PATH_IMAGE047
                               
       最后,算法将根据   
Figure 809886DEST_PATH_IMAGE048
Figure 494945DEST_PATH_IMAGE049
的大小,得到最终车辆ROI图像的检测结果。其中的参数
Figure 377450DEST_PATH_IMAGE050
分别为HOG特征分类器的车辆和非车辆检测判别的对应的权值;
Figure 448044DEST_PATH_IMAGE051
分别为LBP特征分类器的车辆和非车辆检测判别的对应的权值;
Figure 390592DEST_PATH_IMAGE052
分别为Haar特征分类器的车辆和非车辆检测判别的对应的权值。这六个权重参数将通过下面公式进行学习并归一化得到:
Figure 562947DEST_PATH_IMAGE053
                                                                                
Figure 983564DEST_PATH_IMAGE054
                                                                           
其中
Figure 659396DEST_PATH_IMAGE055
的取值为{ hog, haar, lbp},
Figure 507266DEST_PATH_IMAGE056
表示某一种特征分类器对车辆样本进行检测时锁检测出的车辆样本数量,
Figure 901339DEST_PATH_IMAGE057
表示三种特征对车辆样本检测是所检测出的车辆样本总数,
Figure 125647DEST_PATH_IMAGE058
表示某一种特征分类器对非车辆样本进行检测时所检测出的非车辆样本的数量,
Figure 993586DEST_PATH_IMAGE059
表示三种特征对非车辆样本进行检测时所检测出的非车辆样本的总数。

Claims (7)

1.基于在线面积估计和多特征决策融合的车辆检测方法,包括以下步骤:(1)道路交通图像采集;(2)对采集到的图像进行预处理;其特征在于还包括如下步骤:
(3)车辆感兴趣区域(ROI)的提取:对采集到的道路交通图像序列,首先采用基于尺度映射的混合高斯背景模型法进行前景和背景分离,得到二值化前景图像,然后在得到的二值化前景图像中提取前景团块,获取相应的前景团块属性信息,包括前景团块质心纵坐标、前景团块面积、前景团块的外接矩形的左顶点坐标和长宽,定义检测方法开始运行之后的设定时间Tinit为训练期,并将在该训练期内所提取到的前景团块属性信息输入在线面积估计模型的训练模块,通过训练得到合适在线面积估计模型,然后利用该模型对训练期后提取到的前景团块进行筛选,最后将筛选通过的前景团块逆映射回原图像,便可得到车辆ROI;
(4)基于多特征决策融合的车辆检测:构建多个车辆特征分类器,利用这多个车辆特征分类器对步骤(3)中得到的车辆ROI分别进行车辆检测,然后将各个车辆特征分类器的检测结果进行决策融合,从而得到最终的检测结果。
2.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法,其特征在于步骤(3)中基于尺度映射的混合高斯背景模型法包括:首先对采集到的道路交通图像序列中每一帧图像进行一次下采样得到一个较低分辨率的图像序列,将得到的较低分辨率的图像序列进行混合高斯背景模型建模,并进行前景和背景分离,得到二值化前景图像,并进行前景团块提取,然后再经过后续的在线面积估计模型进行前景团块的筛选之后,再对筛选得到的前景团块进行尺度逆映射以得到最终的车辆ROI。
3.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法,其特征在于步骤(3)中所述在线面积估计模型的训练模块用于:首先将训练期内获取到的前景团块属性信息中的前景团块质心纵坐标以及前景团块面积这两个属性信息以键值对的形式进行组织,前景团块质心纵坐标为键,前景团块面积为值,且允许一个键同时对应多个值,从而得到一个初步的训练样本集合,再利用均值-方差法对该初步的训练样本集合进行在线样本自动筛选,从而得到最终的训练样本集合,然后利用最小二乘法进行在线面积估计模型训练,从而得到在线面积估计模型。
4.根据权利要求1中所述的基于在线面积估计和多特征决策融合的车辆检测方法,其特征在于步骤(3)中在线面积估计模型对前景团块进行筛选包括:首先获取前景团块属性信息中的前景团块质心纵坐标y和前景团块面积Sreal,然后利用在线面积估计模型计算得到在前景团块质心纵坐标为y的情况下的前景团块面积的估计值Sest,然后利用公式|Sreal - Sest| < 3DTi进行筛选,其中                                                为阈值,其中
Figure 80761DEST_PATH_IMAGE002
为上述经过自动筛选之后剩下的前景团块中前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标对应的前景团块面积的方差,满足该公式的前景团块通过筛选。
5.根据权利要求3中所述的基于在线面积估计和多特征决策融合的车辆检测方法,其特征在于所述的均值-方差法进行初步训练样本在线自动筛选包括以下步骤: 
(1)分别统计训练样本集合中每一个前景团块质心纵坐标所对应的所有前景团块面积的均值和E(s|yi)方差D(s|yi),其中s表示前景团块面积,yi表示所有前景团块质心纵坐标按升序排序时第i个前景团块质心纵坐标;
(2)根据公式Ub(yi) = E(s|yi) + D(s|yi)和
Figure 201310712226X100001DEST_PATH_IMAGE003
 分别确定出每一个前景团块质心纵坐标所对应的前景团块面积的上限值
Figure 276863DEST_PATH_IMAGE004
和下限值
(3)对训练样本集合的每一个前景团块纵坐标所对应的所有前景团块面积进行自动滤除,即所有前景团块面积不在区域
Figure 56600DEST_PATH_IMAGE006
中的值则认为不具有较强代表性,将其从样本集合中剔除,从而得到了一个新的训练样本集合;
针对得到的新的训练样本集合,循环执行步骤(1)至步骤(3),直至满足公式DTi < DTH或者满足公式Times > MaxTimes二者之一,其中DTH表示方差阈值,Times表示循环的次数,MaxTimes表示最大的循环次数。
6.根据权利要求1所述的基于在线面积估计和多特征决策融合的车辆检测方法,其特征在于所述步骤(4)中基于多特征决策融合的车辆检测包括:首先利用Adaboost分类算法分别建立基于HOG特征、LBP特征以及Haar特征的车辆特征分类器,然后利用三个车辆特征分类器分别对最终的车辆ROI进行检测判别,得到三个检测结果,然后采用改进的多数投票法将这三个检测结果联合起来,进行决策融合,从而得到最终的车辆检测结果。
7.根据权利要求6所述的基于多特征决策融合的车辆检测方法,其特征在于所述的改进多数投票法包括:根据三个车辆特征分类器对于车辆样本和非车辆样本的检测率,为它们分配不同的权重,包括Ahog_car和Ahog_nocar分别为基于HOG特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Albp_car和Albp_nocar分别为基于LBP特征车辆分类器对车辆和非车辆样本检测判别所对应的权值;Ahaar_car和Ahaar_nocar分别基于Haar特征车辆分类器对车辆和非车辆样本检测判别的对应的权值,然后利用下面的公式
Pcar = P11 x Ahog_car + P21 x Albp_car + P31 x Ahaar_car
Pnocar = P12 x Ahog_nocar + P22 x Albp_npcar + P32 x Ahaar_nocar
分别计算输入的ROI图像中存在车辆的概率Pcar和不存在车辆的概率Pnocar,其中,P11和P12分别为基于HOG特征的车辆分类器的车辆和非车辆的判别结果概率,P21和P22分别为基于LBP特征的车辆分类器的车辆和非车辆的判别结果概率,P31和P32分别为基于Haar特征的车辆分类器的车辆和非车辆的判别结果概率,最后根据Pcar和Pnocar的大小进行判决,若Pcar > Pnocar,则存在车辆,否则,不存在车辆。
CN201310712226.XA 2013-12-20 2013-12-20 基于在线面积估计和多特征决策融合的车辆检测方法 Expired - Fee Related CN103679214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310712226.XA CN103679214B (zh) 2013-12-20 2013-12-20 基于在线面积估计和多特征决策融合的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310712226.XA CN103679214B (zh) 2013-12-20 2013-12-20 基于在线面积估计和多特征决策融合的车辆检测方法

Publications (2)

Publication Number Publication Date
CN103679214A true CN103679214A (zh) 2014-03-26
CN103679214B CN103679214B (zh) 2017-10-20

Family

ID=50316702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310712226.XA Expired - Fee Related CN103679214B (zh) 2013-12-20 2013-12-20 基于在线面积估计和多特征决策融合的车辆检测方法

Country Status (1)

Country Link
CN (1) CN103679214B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760815A (zh) * 2016-01-26 2016-07-13 南京大学 基于第二代身份证人像和视频人像的异构人脸核实方法
CN107784309A (zh) * 2017-11-01 2018-03-09 深圳汇生通科技股份有限公司 一种对车型识别的实现方法及系统
CN109620262A (zh) * 2018-12-12 2019-04-16 华南理工大学 一种基于可穿戴手环的情绪识别系统及方法
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN110378321A (zh) * 2019-08-12 2019-10-25 乌鲁木齐明华智能电子科技有限公司 一种基础深度神经网络的车辆识别与抓拍技术
CN111081027A (zh) * 2019-12-17 2020-04-28 浙江大华技术股份有限公司 一种车牌识别方法及装置、计算机装置及可读存储介质
TWI703510B (zh) * 2018-09-18 2020-09-01 香港商阿里巴巴集團服務有限公司 車輛損壞識別方法、裝置及計算設備

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310445B2 (en) * 2003-11-26 2007-12-18 International Business Machines Corporation Classification of image blocks by region contrast significance and uses therefor in selective image enhancement in video and image coding
CN102289948A (zh) * 2011-09-02 2011-12-21 浙江大学 高速公路场景下一种多特征融合的多车辆视频跟踪方法
CN102915453A (zh) * 2012-08-30 2013-02-06 华南理工大学 一种实时反馈更新的车辆检测方法
CN103295003A (zh) * 2013-06-07 2013-09-11 北京博思廷科技有限公司 一种基于多特征融合的车辆检测方法
CN103336973A (zh) * 2013-06-19 2013-10-02 华南理工大学 多特征决策融合的眼状态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310445B2 (en) * 2003-11-26 2007-12-18 International Business Machines Corporation Classification of image blocks by region contrast significance and uses therefor in selective image enhancement in video and image coding
CN102289948A (zh) * 2011-09-02 2011-12-21 浙江大学 高速公路场景下一种多特征融合的多车辆视频跟踪方法
CN102915453A (zh) * 2012-08-30 2013-02-06 华南理工大学 一种实时反馈更新的车辆检测方法
CN103295003A (zh) * 2013-06-07 2013-09-11 北京博思廷科技有限公司 一种基于多特征融合的车辆检测方法
CN103336973A (zh) * 2013-06-19 2013-10-02 华南理工大学 多特征决策融合的眼状态识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张玲增: ""基于多特征的前方车辆检测与跟踪方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
曹磊等: ""一种融合区域化多特征的车辆检测方法"", 《计算机工程与科学》 *
欧晓丹: ""多车粘连情况下的车辆跟踪算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760815A (zh) * 2016-01-26 2016-07-13 南京大学 基于第二代身份证人像和视频人像的异构人脸核实方法
CN107784309A (zh) * 2017-11-01 2018-03-09 深圳汇生通科技股份有限公司 一种对车型识别的实现方法及系统
TWI703510B (zh) * 2018-09-18 2020-09-01 香港商阿里巴巴集團服務有限公司 車輛損壞識別方法、裝置及計算設備
CN109620262A (zh) * 2018-12-12 2019-04-16 华南理工大学 一种基于可穿戴手环的情绪识别系统及方法
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN110378321A (zh) * 2019-08-12 2019-10-25 乌鲁木齐明华智能电子科技有限公司 一种基础深度神经网络的车辆识别与抓拍技术
CN111081027A (zh) * 2019-12-17 2020-04-28 浙江大华技术股份有限公司 一种车牌识别方法及装置、计算机装置及可读存储介质

Also Published As

Publication number Publication date
CN103679214B (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN101729872B (zh) 一种基于视频监控图像自动判别道路交通状态的方法
CN103679214A (zh) 基于在线面积估计和多特征决策融合的车辆检测方法
CN103258213B (zh) 一种用于智能交通系统中的动态车辆车型识别方法
Nie et al. Pavement Crack Detection based on yolo v3
CN108074244B (zh) 一种融合深度学习与背景差法的平安城市车流统计方法
CN111444821A (zh) 一种城市道路标志自动识别方法
CN110751099B (zh) 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN108509954A (zh) 一种实时交通场景的多车牌动态识别方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
CN102867183B (zh) 一种车辆遗撒物检测方法、装置及智能交通监控系统
CN109190444A (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN104268528A (zh) 一种人群聚集区域检测方法和装置
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN104978567A (zh) 基于场景分类的车辆检测方法
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN113327248B (zh) 一种基于视频的隧道车流量统计方法
CN114049572A (zh) 识别小目标的检测方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN105404858A (zh) 一种基于深度费舍尔网络的车型识别方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN105335758A (zh) 一种基于视频费舍尔向量描述符的车型识别方法
CN104331708A (zh) 一种人行横道线自动检测分析方法及系统
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020

Termination date: 20211220