CN106462762A - 基于增强反透视变换的车辆检测、跟踪和定位 - Google Patents

基于增强反透视变换的车辆检测、跟踪和定位 Download PDF

Info

Publication number
CN106462762A
CN106462762A CN201680001279.2A CN201680001279A CN106462762A CN 106462762 A CN106462762 A CN 106462762A CN 201680001279 A CN201680001279 A CN 201680001279A CN 106462762 A CN106462762 A CN 106462762A
Authority
CN
China
Prior art keywords
vehicle
image
rsf
fluoroscopy images
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680001279.2A
Other languages
English (en)
Other versions
CN106462762B (zh
Inventor
李海良
雷志斌
刘扬
赵文友
吴康恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/267,875 external-priority patent/US9928426B1/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN106462762A publication Critical patent/CN106462762A/zh
Application granted granted Critical
Publication of CN106462762B publication Critical patent/CN106462762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一种用于车辆管理系统的方法,所述系统包括一个透视视图相机,其生成车辆在交通方向上的透视图像,所述方法包括:对透视图像进行反透视变换;沿着相对于交通方向的径向方向和切向方向中的一个方向,将每个反透视图像分割成多个子图像;使用一种帧差方法,测量一个图像里多个位置上的每个车辆的尺寸,确定每个子图像的缩放因子,然后使用子图像对应的缩放因子,对每个子图像进行缩放变换;将每个车辆的每个缩放变换的子图像,合并成相应的增强反透视图像;根据合并的增强反透视图像,对每个车辆进行车辆检测,其中因为增强反透视图像确定了一个优化的检测方框尺寸的范围,跟踪功能得以增强;并根据合并后的增强反透视图像,对每个车辆进行车辆跟踪,其中因为增强反透视图像确定一个优化的检测方框尺寸的范围,检测功能也得以增强。

Description

基于增强反透视变换的车辆检测、跟踪和定位
【技术领域】
本发明涉及交通信息,特别涉及实时车辆检测、对一扭曲失真目标进行跟踪和定位。
【背景技术】
交通视频监控是一种图像获取应用,通过使用相机、传输、控制、显示和其它设备以及控制软件,对固定区域进行监控、跟踪,是对信息进行处理的一种交通管理信息系统,包括视频传输和视频处理。这种基于点对点(P2P)传输的监控被看作是现代智能城市规划的一个重要方面。P2P网络结构能够确保传输效率及稳定性。
车辆检测是之后应用的一个准备步骤,如车辆识别或分类,以及车速估计。当捕捉到公路上行驶车辆的图像时,通常捕获的图像是透视视图,车辆一般都会有变形和失真。失真的车辆图像会给随后的检测、定位、分类或识别操作增加困难。为了检测透视图里失真的车辆图像,需要训练一个检测器来检测变形车辆图像的轮廓外形(profile faces),但是这需要收集相当多的轮廓外形训练样本,会使检测器比现在的更大且更复杂。
检测效率是另一个需要处理的问题,因为每个车辆的尺寸会相对图像视角而发生变化,这将会在车辆检测或跟踪过程期间导致误判。应该注意到,车辆跟踪对于车辆计数和其它操作来说是一个关键运算,目标追踪算法会经常面临比较大的目标变形问题,例如,当车辆行驶通过相机时,车辆看上去比实际尺寸大10倍。
最近,通常使用相机拍摄目标车辆的车牌来进行识别,特别是在公路、停车场或其它地方的车辆入口或出口处。在此情况下,目标车辆通常低速行驶,使得拍摄的图像足够清晰用于识别和检查。另一种情况,在公路上,车辆高速行驶,识别车牌图像(如数字和字母)是一项很困难的工作,特别是小型车辆。在公路上相机所拍摄的图像,不管是视频还是不同的静止图像(统称图像),要么小要么模糊。因此,很难精确地看清楚视频或静止图像。
【发明内容】
本发明实施例用于解决以上和/或其它问题,本发明的一个典型特征,就是将相机视图里的车辆形状和尺寸标准化,将相机图像转换到一个增强的反透视域,从而能够实现具有稳健追踪性能的实时检测。
本发明的另外的特征和优点将在接下来的描述中阐述,其中一部分从下述描述中可以显而易见地看出,或也可从本发明的实施例中获悉。
【附图说明】
从下文结合附图的具体实施方式,将更清楚地理解本发明的上述及其它目的、特征及其它优点。其中:
图1是一个本发明一个实施例的智能交通监控系统的示意图。
图2是一个实施例的生成增强的反透视图像用于车辆检测、追踪和定位的方法流程图。
图3是一个由相机拍摄的高速公路上车流图像的透视图。
图4是一个实施例的缩放变换方法示意图。
图5描述生成增强反透视图像用于检测公路上车辆的优点。
图6描述生成增强反透视图像用于跟踪公路上车辆的优点。
图7a-7b是一个使用特征点定位方法进行车辆识别的例子。
图8是一个实施例的通过使用特征映射函数和线性投影对车辆进行特征点定位的方法。
图9是一个通过使用特征点定位方法定位公路上车辆车牌的例子。
图10是一个实施例的生成超分辨率模型以识别车辆车牌的方法。
图11显示一种基于车牌检测和车牌颜色提取算法的二阶段方案。
【具体实施方式】
根据本发明实施例,即使目标物体的图像有失真或变形的问题,检测或跟踪公路上以正常速度行驶的车辆也是可能的。
图1是一个实施例的监控道路上(如公路上)车辆交通的智能交通监控系统10。IP相机12拍摄公路上车辆沿一个特定方向行驶的视频(可以是视频或一系列静止图像)。公路可能有1、3、6或更多车道,或任何数目的车道。IP相机12连接到通信网络14,如互联网或其它类型的网络。图像(视频)通过通信网络14发送到一个处理中心16,其执行诸如车辆检测、车辆正面特征点检测、车牌检测的算法以及其它算法,这些稍后会有描述。处理中心16可以是一个监控管理中心,其包括一个或多个计算机/计算设备。处理中心16连接到数据中心18。控制中心20是由个人操作,用来控制智能监控系统10,并连接到处理中心16和数据中心18。
车辆检测器32、车辆正面特征点检测器34、和车牌检测器36安装在处理中心16的一个或多个计算机上,用来执行稍后描述的相应算法。
在一个实施例里,用来执行车辆检测器32、车辆正面特征点检测器34、车牌检测器36的操作的指令集合代码,或执行上述算法的的任何其它方法,都可以存储在一个非临时性计算机可读介质上,并能与任何可兼容的硬件元件一起使用。这些元件包括各种单元,包括反透视变换单元、缩放因子确定单元、增强反透视变换单元、车辆检测器、车辆跟踪器、车辆定位器和颜色识别器。
图2是一个生成增强反透视图像用于车辆检测、追踪和定位的方法流程图。参见图2,处理中心16执行的将一个透视图像108转换成一个增强反透视图像112的方法100,主要有3个步骤,即“步骤102:反透视变换”,“步骤104:确定缩放因子”和“步骤106:缩放变换”。如检测方框尺寸的优化分布116所示,检测方框尺寸的初始分布114里的噪声可以减少。如图2所示,车辆检测器32(与传统人脸检测的人脸检测器一样)可以在众多不同车辆尺寸中(即所测车辆的不同边框尺寸)检测到所要车辆,众多不同车辆尺寸符合一个分布(如24~120像素尺寸)。在反透视变换102之后,车辆检测器32在一个相当窄的范围内(如60~110像素尺寸)检测一个反透视(变换)图像110里的车辆,其意味着尺寸范围分布缩窄到一半。根据尺寸范围的分布,可以设定一个最优检测范围,这可以提高2倍以上的检测速度(如从14.86帧/秒到31.64帧/秒)。设定检测尺寸范围和获得尺寸分布是一个鸡和蛋的问题,因此,刚开始时,如在获得所测汽车尺寸的首500个样本时,设定一个相对较大的范围,如20~150像素尺寸。一旦获得了500个样本,根据这500个样本的分布,可以获得新的(相对窄的)范围,如60~110像素尺寸。接着,可以设定一个保守估计范围:55~115(60-5,110+5)像素尺寸。根据这个新的范围,再收集新样本,然后再根据新样本更新该范围。
在图2的步骤102,对于视频图像,反透视变换是2D缩放、旋转和平移变换的组合,其可以表示为:
在此,矩阵系数可以分成4个部分。用作线性变换,如缩放、剪切和旋转。[gh]用作平移,而[c f]T用作生成一个透视变换。
如果w≠1,那么可以选择q=1。投影映射的通式是一种有理线性映射(rationallinear mapping):
首先,对循环标记(k=0;1;2;3)的顶点,进行对应映射:(uk;vk)T到(xk;yk)T。假设所有坐标是实数(有限的)。为了计算前向映射矩阵,假设i=1,能够生成8个等式,有8个未知a-h:
k=0;1;2;3。可以将其重写为一个8×8系统:
使用高斯消除或者其它方法,能够解出这个线性系统的前向映射系数a-h。
在图2的步骤104,确定缩放因子(SF)包括相对交通方向的径向缩放因子(RSF)和切向缩放因子(TSF)。在这个例子里,仅使用RSF,因为相机12安装在交通方向的径向方向上。如果相机没有安装在交通方向的径向或切向方向上(而是在一个透视方向),如图3所示,那么应该使用RSF和TSF。计算RSF和TSF的方法是相同的,在对应方向上。图4是一种计算RSF的方法。可以独立计算RSF和TSF。可以通过经验或通过计算对它们进行设置。根据反透视变换102的输出,即反透视图像110,可以计算缩放因子。
在反透视变换102之后,反透视图像110被分成n个部分(P1,P2…Pn)。当n是偶数时,RSFn/2-1=1。当n是奇数时,RSF(n+1)/2=1。这n个部分的尺寸可以相同也可以不同。
在图2的步骤106,缩放变换106接收反透视图像110,并输出增强反透视图像112,根据车辆拍摄方向,缩放变换106包括径向缩放变换和切向缩放变换。如上所述,径向缩放变换和切向缩放变换的方法是一样的。对每个子图像Pi(在此例子里,i=1…,7),Pi在径向方向上被扩展RSFi。在此例子里,不使用切向缩放变换(即TSFi=1,i=1…,7)。
图4描述一种缩放变换方法120。参见图4,由于该例子里交通方向仅是径向方向,在以下描述里将使用RSF进行说明。经过反透视变换步骤102之后的图像被分成n个部分(P1,P2…Pn)。当n是偶数时,RSFn/2-1=1。当n是奇数时,RSF(n+1)/2=1。这n个部分的尺寸可以相同也可以不同,中间的RSF总是被设置为1。但是,对其它部分,根据计算(如当前范例所示)或根据经验的人工设置,RSF值不等于1。
当仅有一个目标在车辆视图里移动时,获得帧差结果。当目标的后部处于Pi内时,车辆(目标)长度Li是以像素来测量的。如果n是偶数,当n+1>i>n/2,RSFi=Li/Ln/2-1,当n/2>i>0时,RSFi=Ln/2-1/Li。如果n是奇数,当n+1>i>(n+1)/2时,RSFi=Li/L(n+1)/2,当(n+1)/2>i>0时,RSFi=L(n+1)/2/Li。在这个例子里,如图4所示,RSF1等于0.5;RSF2等于0.6;RSF3等于0.8;RSF4等于1;RSF5等于1.2;RSF6等于1.8;RSF7等于2.2。对每个子图像(在该例子里,i=1…,7),Pi在径向方向上扩展RSFi。在该例子里,不使用切向缩放变换(即TSFi=1,i=1…,7)。
图5描述生成增强反透视图像用于检测公路上车辆的优点。如在检测方框尺寸的最优分布116里看到的(参见图2和5),其被缩窄到初始范围的一半,因此检测方框尺寸的初始分布114里的噪声能够减少。
图6描述从初始透视图像170生成增强透视图像172用于跟踪公路上车辆的优点。随着跟踪时间的增加,将有更大的机会识别出车辆类型和细节。
图7a-7b描述一个通过特征点定位方法进行车辆识别的例子,该方法是基于车辆正面特征点检测器34的输入的,其中将提取所测目标的特征进行分析。参见图7a-7b,利用特征点定位方法,能够更准确地提取特征,如根据车辆正面特征点检测器34的输入的车牌180和车辆名牌位置。这种方法能够有助于车辆识别过程,将在以下段落描述。
图8描述一个实施例的使用特征映射函数和线性投影的车辆特征点定位方法130。主要是由于透视图像108,当前检测和定位算法很难处理严重的图像变形情况。一旦车辆图像108转换成反透视图像,一些快速定位方法(如一个利用局部特征的随机森林回归算法),就能够有效地进行车辆特征点定位,这可以简化其后阶段的车辆分类或识别。参见图8,假设一个车辆图像I,有一个地面真实(ground truth)形状S 130对应该车辆图像。训练t个森林(用几棵二叉树)以获得每棵树的特征映射函数Φt(I,St-1)132,从而生成局部特征134。这里,t也意味着要训练t个阶段,在每个阶段里训练n个森林(在此n个森林等于n个专家)。从地面真实形状和前一个阶段估计的形状St-1,计算最后阶段的误差ΔSt,也被定义为目标形状增量{ΔSt=S-St-1}。形状误差ΔS与形状索引(shape-indexed)特征有关。形状索引特征用来构建一个二叉树,然后从二叉树的叶子产生局部特征。训练一个线性投影矩阵Wt136,以获得在局部二进制特征和由线性回归获得的形状误差ΔS之间的特征映射。在图8,学习的线性投影(回归)矩阵Wt被描述为可视化矩阵(元素138)。可视化矩阵里的所有元素都是来自线性回归过程的学习权重。从可视化矩阵,可以得到估计形状St-1和地面真实形状S。
图9描述一个例子160:通过使用特征点定位方法确定车牌位置区域162,而定位公路上车辆的车牌。相机拍摄多于6个车道的车辆图像,检测公路上以正常速度行驶车辆的车牌是有挑战性的。此外,在一个大图像里定位小且模糊的车辆车牌164是很耗时间的。按照图8所示的特征点定位130,与现有技术相比,计算时间能够被降低到1/10。另一方面,在定位车辆车牌的过程中,建立一个误报166是另一个挑战。例如,如果车辆风扇靠近车辆车牌,就可能触发误报166。所以,车辆车牌区域的特征点定位,能够提供一个更稳健的尺度来定位车辆车牌,这意味着在所有检测的潜在目标中间,更靠近特征点定位区域的那个将会是最好的。
图10描述一种用于生成超分辨率模型来识别车辆车牌的方法180。在反透视域里,目标物体,如车辆车牌,能够被迅速地锁定,并被归一化到一个相似的尺寸,这有助于将目标物体配准(registration)到此后超分辨率的车牌图像里。鉴于多个低分辨率图像可能在几何变化、灯光(光度)变换、相机模糊(点扩散功能)和图像量化以及噪声时有所不同,但仍然有可能生成一个估计的高分辨率车辆车牌,可以用作识别和其它目的。
参见图10,为了方便说明,假设车辆车牌可以被分成4个部分,低分辨率图像x1182可以通过图像处理方法w1进行处理,例如,配准、均匀光线、去模糊等。同样,低分辨率图像x2184可以通过图像处理方法w2,进行处理,低分辨率图像x3186可以通过图像处理方法w3进行处理,低分辨率图像x4188可以通过图像处理方法w4进行处理。然后,可以通过生成高分辨率图像y。
图11显示一个基于车牌检测和车牌颜色提取算法的二阶段方法。1:输入:一个来自交通监控系统的所摄视频帧图像(1920x1080RGB),一个Adaboost+HOG训练的车辆检测器Dvehicle32,同样一个Adaboost+HOG训练的车牌检测器Dvehicle-plate36,一个随机森林训练的车辆正面特征点定位器Lvehicle-face;2:对每个输入图像,车辆检测器Dvehicle32用于检测图像里的任何潜在车辆;3:对每个检测车辆,车牌检测器Dvehicle-plate36用于检测车辆下半部分(因为有很大可能性车牌被安置在那个地方)的任何潜在车牌,;4:对每个检测车辆,车辆正面特征点定位器Lvehicle-face能够提取特征点,其中能够获得潜在车牌位置;5:比较车牌检测器Dvehicle-plate36获得的所有车牌候选,那个获得最大重叠区域的车牌候选将是最近似的;6:对所提取的模糊车牌,使用一种轮廓纹理分解算法来提取轮廓部分,其中我们能够提取RGB颜色直方图以通过一个训练的SVM分类器确定颜色类型;7:输出:一个提取的模糊车牌的颜色类型。
结果,前述系统和算法,对车辆检测、跟踪和定位有所改进,特别是在有众多车辆并且以高速行驶(如在公路上)的情况下。
尽管已经显示并描述了本发明的一些实施例,但本领域技术人员应该理解,在不脱离本发明的原则和精神的情况下,可以对这些实施例作出各种改变,本发明范围及其等同物是由权利要求定义的。

Claims (17)

1.一种用于车辆管理系统的方法,所述系统包括一个透视视图相机,其生成车辆在交通方向上的透视图像,所述方法包括:
对所述透视图像进行反透视变换;
沿着相对于所述交通方向的径向方向和切向方向中的一个方向,将每个反透视图像分割成多个子图像;
使用一种帧差方法,测量一个图像里在多个位置上每个车辆的尺寸,然后确定每个子图像的缩放因子;使用子图像对应的缩放因子,对每个子图像进行缩放变换;
将每个车辆的每个缩放变换的子图像,合并成相应的增强反透视图像;
基于合并的增强反透视图像,对每个车辆进行车辆检测,其中因为所述增强反透视图像确定一个优化的检测方框尺寸的范围,检测功能得以增强;
基于合并的增强反透视图像,对每个车辆进行车辆跟踪,其中因为所述增强反透视图像确定一个优化的检测方框尺寸的范围,跟踪功能也得以增强。
2.根据权利要求1所述的方法,还包括:
通过集成同一车辆的每个检测和/或跟踪结果,对每个车辆进行车辆定位。
3.根据权利要求1所述的方法,还包括:
根据至少一个检测和跟踪结果,对每个车辆执行特征点定位以确定车牌区域的位置;和
根据所述特征点定位,确定在每个车辆车牌区域周围的车牌。
4.根据权利要求2所述的方法,还包括:
根据至少一个检测和跟踪结果,执行特征点定位以确定每个车辆车牌区域的位置;和
根据所述特征点定位,确定在每个车辆车牌区域的车牌。
5.根据权利要求3所述的方法,还包括:根据定位车牌的图像,生成更高分辨率的图像。
6.根据权利要求4所述的方法,还包括:根据定位车牌的图像,生成更高分辨率的图像。
7.根据权利要求1所述的方法,其中对所述透视图像进行反透视变换包括:
执行二维缩放、旋转和平移变换组合的反透视变换,其被描述为:
x y w = a b c d e f g h i u v q
矩阵系数被分成4部分,用作线性变换,包括缩放、剪切和旋转;[g h]用作平移;[c f]T用作生成一次透视变换,
其中:
如果w≠1,则选择q=1,一般格式的投影映射是一个合理线性映射:
x = a u + b v + c g u + h v + i y = d u + e v + f g u + h v + i
对循环编号k=0;1;2;3的顶点,将(uk;vk)T对应映射到(xk;yk)T
假设所有坐标是实数;
计算前向映射矩阵,假设i=1,产生8个未知a-h的8个等式:
x k = au k + bv k + c gu k + hv k + 1 ⇒ au k + bv k + c - gu k x k - hv k x k = x k
y k = du k + ev k + f gu k + hv k + 1 ⇒ du k + ev k + f - gu k y k - hv k y k = y k
其中k=0;1;2;3,这可以被重写为一个8×8系统:
u 0 v 0 1 0 0 0 - u 0 x 0 - v 0 x 0 u 1 v 1 1 0 0 0 - u 1 x 1 - v 1 x 1 u 2 v 2 1 0 0 0 - u 2 x 2 - v 2 x 2 u 3 v 3 1 0 0 0 - u 3 x 3 - v 3 x 3 0 0 0 u 0 v 0 1 - u 0 y 0 - v 0 y 0 0 0 0 u 1 v 1 1 - u 1 y 1 - v 1 y 1 0 0 0 u 2 v 2 1 - u 2 y 2 - v 2 y 2 0 0 0 u 3 v 3 1 - u 3 y 3 - v 3 y 3 a b c d e f g h = x 0 x 1 x 2 x 3 y 0 y 1 y 2 y 3
使用高斯消除或其它方法,可以解出所述线性系统的所述前向映射系数a-h。
8.根据权利要求1所述的方法,其中对每个子图像进行缩放变换包括:
将每个反透视图像分割成n个部分(P1,P2…Pn);其中当n是偶数时,RSFn/2-1=1;当n是奇数时,RSF(n+1)/2=1;这n个部分的尺寸可以相同也可以不同;
当仅有一个车辆在相机视图里移动时,获得帧差结果;其中当所述车辆的后部处于Pi内时,车辆长度Li是以像素测量的,如果n是偶数,当n+1>i>n/2,RSFi=Li/Ln/2-1,当n/2>i>0时,RSFi=Ln/2-1/Li;如果n是奇数,当n+1>i>(n+1)/2时,RSFi=Li/L(n+1)/2,当(n+1)/2>i>0时,RSFi=L(n+1)/2/Li
9.根据权利要求7所述的方法,其中对每个子图像进行缩放变换包括:
将每个反透视图像分割成n个部分(P1,P2…Pn);其中当n是偶数时,RSFn/2-1=1;当n是奇数时,RSF(n+1)/2=1;这n个部分的尺寸可以相同也可以不同;
当仅有一个车辆在相机视图里移动时,获得帧差结果;其中当所述车辆的后部处于Pi内时,车辆长度Li是以像素测量的,如果n是偶数,当n+1>i>n/2,RSFi=Li/Ln/2-1,当n/2>i>0时,RSFi=Ln/2-1/Li;如果n是奇数,当n+1>i>(n+1)/2时,RSFi=Li/L(n+1)/2,当(n+1)/2>i>0时,RSFi=L(n+1)/2/Li
10.根据权利要求2所述的方法;其中对每个车辆进行车辆定位包括:
假设一个车辆图像I,有一个地面真实形状S对应所述车辆图像,训练t个森林以获得每棵二叉树的特征映射函数Φt(I,St-1),从而生成局部特征,其中t表示t个阶段被训练,在每个阶段有n个森林被训练,n个森林等于n个专家;
从地面真实形状S和前一个阶段估计的形状St-1,计算最近阶段的误差ΔSt,也被定义为目标形状增量{ΔSt=S-St-1},其中所述形状误差ΔS是与形状索引的特征有关;所述形状索引特征用于构造一棵二叉树,然后从二叉树的叶子产生局部特征;
训练一个线性投影矩阵Wt,得到所述局部二进制特征与形状误差ΔS之间的通过线性回归获得的特征映射。
11.根据权利要求4所述的方法,其中对每个车辆进行车辆定位包括:
假设一个车辆图像I,有一个地面真实形状S对应所述车辆图像,训练t个森林以获得每棵二叉树的特征映射函数Φt(I,St-1),从而生成局部特征,其中t表示有t个阶段被训练,在每个阶段有n个森林被训练,n个森林等于n个专家;
从地面真实形状S和前一个阶段估计的形状St-1,计算最后阶段的误差ΔSt,其也被定义为目标形状增量{ΔSt=S-St-1},其中所述形状误差ΔS是有关形状索引的特征;所述形状索引特征用于构造一棵二叉树,然后从二叉树的叶子产生局部特征;
训练一个线性投影矩阵Wt,得到所述局部二进制特征与形状误差ΔS之间的通过线性回归获得的特征映射。
12.根据权利要求3所述的方法,还包括:根据所述定位车牌的图像,识别所述定位车牌的颜色。
13.根据权利要求4所述的方法,还包括:根据所述定位车牌的图像,识别所述定位车牌的颜色。
14.一个用于车辆管理的智能交通监控系统,其中透视视图相机生成车辆在交通方向上的透视图像,所述系统包括:
一个反透视变换单元,其对所述透视图像进行反透视变换,沿着相对于所述交通方向的径向方向和切向方向中的一个方向,将每个反透视图像分割成子图像;
一个缩放因子确定单元,其使用一种帧差方法,测量一个图像里多个位置上每个车辆的尺寸,确定每个子图像的缩放因子;使用子图像对应的缩放因子,对每个子图像进行缩放变换;
一个增强反透视变换单元,其将每个车辆的每个缩放变换的子图像,合并成相应的增强反透视图像;
一个车辆检测器,根据合并的增强反透视图像,对每个车辆进行车辆检测,其中因为所述增强反透视图像确定一个个优化的检测方框尺寸的范围,检测功能得以增强;和
一个车辆跟踪器,根据合并的增强反透视图像,对每个车辆进行车辆跟踪,其中因为所述增强反透视图像确定一个优化的检测盒尺寸范围,跟踪功能得以增强。
15.根据权利要求14所述的交通监控系统,还包括:
一个车辆定位器,其通过集成同一车辆的每个检测和/或跟踪结果,对每个车辆进行车辆定位。
16.根据权利要求15所述的交通监控系统,其中所述车辆定位器:
根据至少一个检测和跟踪结果,执行特征点定位来定位每个车辆的车牌区域;
根据所述特征点定位,定位每个车辆车牌区域的车牌。
17.根据权利要求16所述的交通监控系统,还包括一个颜色识别器,其根据定位车牌的图像识别定位车牌的颜色。
CN201680001279.2A 2016-09-16 2016-10-10 基于增强反透视变换的车辆检测、跟踪和定位 Active CN106462762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/267,875 2016-09-16
US15/267,875 US9928426B1 (en) 2016-09-16 2016-09-16 Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
PCT/CN2016/101702 WO2018049704A1 (en) 2016-09-16 2016-10-10 Vehicle detection, tracking and localization based on enhanced anti-perspective transformation

Publications (2)

Publication Number Publication Date
CN106462762A true CN106462762A (zh) 2017-02-22
CN106462762B CN106462762B (zh) 2019-07-19

Family

ID=58215743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680001279.2A Active CN106462762B (zh) 2016-09-16 2016-10-10 基于增强反透视变换的车辆检测、跟踪和定位

Country Status (1)

Country Link
CN (1) CN106462762B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921060A (zh) * 2018-06-20 2018-11-30 安徽金赛弗信息技术有限公司 基于深度学习的机动车未按规定使用示廓灯智能识别方法
CN113807274A (zh) * 2021-09-23 2021-12-17 山东建筑大学 一种基于图像反透视变换的人群计数方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458871A (zh) * 2008-12-25 2009-06-17 北京中星微电子有限公司 一种智能交通分析系统及其应用系统
CN102221358A (zh) * 2011-03-23 2011-10-19 中国人民解放军国防科学技术大学 基于逆透视投影变换的单目视觉定位方法
CN102254318A (zh) * 2011-04-08 2011-11-23 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法
US20130050492A1 (en) * 2011-08-26 2013-02-28 Michael Lehning Method and Apparatus for Identifying Motor Vehicles for Monitoring Traffic
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统
CN103196418A (zh) * 2013-03-06 2013-07-10 山东理工大学 一种弯道车距测量方法
US8760472B2 (en) * 2008-04-01 2014-06-24 Apple Inc. Pixel transforms
CN104809437A (zh) * 2015-04-28 2015-07-29 无锡赛睿科技有限公司 一种基于实时视频的车辆检测与跟踪方法
CN105740826A (zh) * 2016-02-02 2016-07-06 大连楼兰科技股份有限公司 一种基于双尺度的车道标识二值化检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760472B2 (en) * 2008-04-01 2014-06-24 Apple Inc. Pixel transforms
CN101458871A (zh) * 2008-12-25 2009-06-17 北京中星微电子有限公司 一种智能交通分析系统及其应用系统
CN102221358A (zh) * 2011-03-23 2011-10-19 中国人民解放军国防科学技术大学 基于逆透视投影变换的单目视觉定位方法
CN102254318A (zh) * 2011-04-08 2011-11-23 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法
US20130050492A1 (en) * 2011-08-26 2013-02-28 Michael Lehning Method and Apparatus for Identifying Motor Vehicles for Monitoring Traffic
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统
CN103196418A (zh) * 2013-03-06 2013-07-10 山东理工大学 一种弯道车距测量方法
CN104809437A (zh) * 2015-04-28 2015-07-29 无锡赛睿科技有限公司 一种基于实时视频的车辆检测与跟踪方法
CN105740826A (zh) * 2016-02-02 2016-07-06 大连楼兰科技股份有限公司 一种基于双尺度的车道标识二值化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIRALI JAZAYERI等: "《Vehicle Detection and Tracking in Car Video Based on Motion Model》", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
SAYANAN SIVARAMAN: "《Looking at Vehicles on the Road: A Survey of Vision-Based Vehicle Detection, Tracking,and Behavior Analysis》", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
SAYANAN SIVARAMAN等: "《Integrated Lane and Vehicle Detection, Localization,and Tracking: A Synergistic Approach》", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
刘瑞芝等: "《基于三维垂直逆投影面的枚举车速检测算法》", 《电子设计工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921060A (zh) * 2018-06-20 2018-11-30 安徽金赛弗信息技术有限公司 基于深度学习的机动车未按规定使用示廓灯智能识别方法
CN113807274A (zh) * 2021-09-23 2021-12-17 山东建筑大学 一种基于图像反透视变换的人群计数方法及系统
CN113807274B (zh) * 2021-09-23 2023-07-04 山东建筑大学 一种基于图像反透视变换的人群计数方法及系统

Also Published As

Publication number Publication date
CN106462762B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
Zhang et al. Vision-based parking-slot detection: A DCNN-based approach and a large-scale benchmark dataset
US9542609B2 (en) Automatic training of a parked vehicle detector for large deployment
Marin et al. Learning appearance in virtual scenarios for pedestrian detection
Hoang et al. Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning
WO2012139228A1 (en) Video-based detection of multiple object types under varying poses
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN103324958B (zh) 一种复杂背景下基于投影法和svm的车牌定位方法
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Chau et al. Object tracking in videos: Approaches and issues
CN106462762B (zh) 基于增强反透视变换的车辆检测、跟踪和定位
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
Hasan et al. Comparative analysis of vehicle detection in urban traffic environment using Haar cascaded classifiers and blob statistics
Choi et al. Vehicle tracking using template matching based on feature points
Adaimi et al. Traffic perception from aerial images using butterfly fields
Nejadasl et al. Optical flow based vehicle tracking strengthened by statistical decisions
Vrtagić et al. Video Data Extraction and Processing for Investigation of Vehicles' Impact on the Asphalt Deformation Through the Prism of Computational Algorithms.
Mir et al. Automated speed limit identification for efficient driving system
Raikar et al. Development of vehicle speed estimation technique using image processing
EP3392797B1 (en) Device for determining vehicle navigation information
Abbas et al. Saudi Arabia license plate detection based on ANN and objects analysis
Asy'ari et al. Parking Space Availability Detections from Two Overlapping Cameras Using YOLOv5 and Image Stitching Methods.
García et al. Improved detection of small objects in road network sequences
Nakamura et al. A stereo cameras setup for pedestrian detection enhancement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant