CN103810505A

CN103810505A - 基于多层描述子的车辆标识方法与系统

Info

Publication number: CN103810505A
Application number: CN201410055852.0A
Authority: CN
Inventors: 田永鸿; 陈佳秋; 王耀威
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2014-02-19
Filing date: 2014-02-19
Publication date: 2014-05-21
Anticipated expiration: 2034-02-19
Also published as: CN103810505B

Abstract

本发明公开了一种基于多层描述子的车辆标识方法与系统。其方法包括以下步骤：(1)车辆全局特征提取；（2）车辆奇异区域提取特征提取；（3）多层描述子构造；（4）基于多层描述子的车辆标识，在综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果。本发明并在所述方法的基础上，开发了基于多层特征的车辆标识系统；并且在该系统的基础架构上，还发明了一些具体的车辆标识的系统。本发明的车辆标识方法运用多层描述子对车辆进行描述，并且利用多种匹配策略来保证多层描述子之间的匹配精度与匹配速度，使得该方法能在不同领域的车辆标识运用中取得较好的效果。

Description

基于多层描述子的车辆标识方法与系统

技术邻域

本发明属于数字图像与视频处理领域，具体涉及智能交通中的车辆标识领域。

背景技术

社会经济的发展，车辆的数目的激增，使得如何高效地管理车辆，规划交通成为交通监管部门的一大挑战。由于各种主观或客观原因导致的交通事故，违法行为，不仅影响了正常的交通秩序，更是对国民经济、社会发展以及人们的生命财产安全造成了极大的威胁。单纯的靠传统的人力来完成各种需求已经越来越难以满足日益剧增的监管需求。近年来，智能交通的概念被引入到交通监管领域，并且在人们的生产生活中发挥越来越大的作用。

车辆标识是智能交通中的重要领域。在很多重要的交通监管领域都发挥着重要作用，例如套牌车辆检测，一车多牌检测，车辆追踪，车辆检索等。套牌车辆检测：套牌车辆就是非法套用他人机动车的车牌，以致犯罪行为剧增，严重扰乱了正常的社会秩序。车辆标识能通过车辆本身的特征唯一标识一辆车，从而能很好的检测套牌车辆；一车多牌检测：车辆在行驶过程中，使用不同的车牌，从而可以逃避因超速、闯红灯、逆行等违章行为，车辆标识可以通过车辆特征唯一标识出车辆来检测这种行为；车辆检索：从车辆数据库中检索当前车辆，并或得当前车辆的各种信息，车辆标识能从车辆数据库中检索出相对应的车辆。

现有的车辆标识方法主要是依赖车牌与车标，但是这种方法当发生套牌行为以后就会失去方法原来的功效，从而导致车辆标志的结果不正确；还有一些方法通过检测车辆的颜色和一些其他特征，比如sift，surf来标识车辆，但是这些方法一般都会把所有的特征都用一遍，增加了算法的复杂度。对此，本发明提出了基于多层特征的车辆标识方法，先用简单的特征进行初步筛选，可以剔除大量完全不匹配的目标；然后再用复杂的局部特征进行精确匹配从而使在节约了时间的情况下还能保证车辆标识的准确性。

发明内容

由于现有的车辆标识算法的上述缺陷，本发明提出了一种基于多层描述子的车辆标识方法，并且在该方法的基础上开发了基于多层描述子的车辆标识系统。

本发明能很好的克服现有车辆标识方法上的缺陷，同时考虑车辆的全局信息及奇异区域局部信息，构成能够准确表征车辆特性的多层描述子，并且采用多种匹配策略对多层描述子进行匹配，不仅减少了算法复杂度，而且提高的车辆标识的准确性，使得车辆标识有更高的准确性，本发明包括以下步骤，如图1所示：

1、车辆全局特征提取，得到整个车身的全局特征；

2、车辆奇异区域局部特征提取，提取车辆的奇异区域，并提取奇异区域的局部特征；

3、多层描述子构造，利用车辆的全局特征、奇异区域的局部特征、车辆的先验知识以及某些语义信息来构造车辆的多层描述子；

4、基于多层描述子的车辆标识，综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果。

下面具体说明上述步骤：

1、车辆全局特征提取

车辆的全局特征是指综合考虑整个车辆的信息之后产生的能表征车辆的特征。经过量化之后的车辆全局描述子与车辆的尺寸、大小、分辨率关系都不是很大，每一幅车辆图像对应相同维度的车辆全局描述子，这里介绍一些常用的车辆全局特征：

a）颜色直方图特征是一种很常用的全局特征。该特征能够有效地抵御翻转、旋转等对于像素点之间相对位置发生改变的变形。颜色直方图可以在不同的颜色空间得到，比如：RGB颜色空间、HSV颜色空间、Lab颜色空间等。颜色直放图提取的一般步骤如下：

(i)将彩色图像拆分成三个通道；

(ii)统计每个通道所有像素的像素值的直方图；

(iii)把三个直方图合成一个直放图，作为全局特征。

b）离散余弦变换(DCT):DCT特征可以有效地抵御一些的视觉变形，比如压缩、Gamma变换和加噪等。此外，它还具有紧凑性好、提取与检索效率高的优点，DCT特征提取的一般步骤如下：

(i)将彩色图片转换成灰度图，并且把图片的尺寸设置到某一固定大小；

(ii)把图片划分成一系列小的子块，对每个子块进行DCT，并且得到子块对应的系数举证；

(iii)计算每个子块对用的系数矩阵的前4个子带能量，然后把所有子块的前4个子带能量写成一个向量，作为全局的DCT特征。

2、车辆奇异区域局部特征提取

车辆奇异区域的提取模块的作用在于提取车辆特征明显的区域，这些区域包括：车标、车牌、车头、车辆车顶、车窗玻璃等。本发明提出的检测方法可以但不局限于以下方法：

a）基于视觉显著的方法：该方法可以通过图像中能量分布来确定我们需要的显著区域的位置，一般显著区域为能量较为集中的区域；

b）具体区域的定位的方法：比如车牌的定位、车标的定位，可以通过先验知识或训练好的模型来获取目标的相应位置。

c）基于特征点的方法：通过现有的特征点检测算法来获得特征点，寻找特征点相对集中的区域作为车辆的奇异区域。

d）基于轮廓的方法：一般情况下，特征较明显区域一般会有更多的边缘轮廓，通过检测多轮廓的区域来获取车辆的奇异区域。

e）基于时域相关与同类比较的凸区域划分方法：将车辆划分为若干个凸区域，用时域上特征比较稳定的凸区域与其他车辆的特征进行相比，选取差异明显的区域作为指定车辆的奇异区域。

在实际运用中可以从实际需求出发去选取相应的车辆奇异区域检测的方法。只有全局信息不能完整的标识车辆本身，还需要车辆的局部特征来对车辆做进一步的标识，这里介绍一些常用的局部特征：

a)局部二值模式(LBP):LBP是一种常用的纹理特征，能很好的表征局部区域内图像的纹理特征，现阶段有很多不同版本的LBP算法，这些算法的一般步骤如下：

(i)计算感兴趣区域内所有像素点的LBP编码值；

(ii)把所有的LBP值都编码成所有模式中的一种(不同的LBP方法，编码的方式不一样)；

(iii)统计感兴趣区域内所有模式的直方图，作为该感兴趣区域的LBP特征。

b)尺度不变特征转换(SIFT):SIFT特征是一种常用的图像局部特征，目前被广泛应用在图像识别、分析、检索的各个领域，提取SIFT的一般步骤如下：

(i)运用DOG(差分高斯)构建尺度空间，检测极值点；

(ii)以极值点为中心，统计领域内像素的梯度方向的直方图，并以此方向作为主方向；

(iii)旋转坐标轴到主方向，考虑极值点点周围的16个小区域，每个区域内为一个记录梯度方向的8维的直放图；

(iv)把所有小区域的直方图合成一个128维的直方图作为该极值点的SIFT特征。

c)快速鲁棒特征(SURF):SURF是一种跟SIFT类似的局部特征描述子，区别在于SIFT用DoG的方式去寻找而SURF运用Hession矩阵和积分图像来加速极值点的寻找算法；并且在后面的描述子提取中，SURF不同于SIFT的梯度，运用的是Haar小波得到的特征值。SURF描述子提取的其他步骤跟SIFT基本相同。

d)DCSift:DCsift是一种密集型的局部描述子，它包含了一定的颜色特征。对物体的匹配有很好的效果，但是由于算子本身的密集度比较高，所以提取的速度相对比较慢，提取步骤如下：

(i)把彩色图像分解成L、A、B三个颜色通道图像；

(ii)提取每个通道图像的HoG特征，每个通道为72维；

(iii)把三个通道的HoG特征合成最终的DCSift特征，为72x3=216维。

e)局部颜色直方图：局部颜色直方图与全局颜色直方图提取方法相似。不同之处在于局部特色直方图的提起基于奇异区域而不是目标整体。

3、多层描述子构造

描述子一般由某个或者多个特征共同得到，具有更全面更鲁棒的表征物体特性的特性，常用的方式有通过码本的方式以及降维的方式。

a）码本的方式

码本方式一般通过把现有的特征量化到一定数量上，并且对量化后的结果进行相应的编码，最常用的码本方式为：词袋模型。

词袋方法（bag of word，BoW）：BOW最先由Josef等基于自然语言处理模型提出，类比一篇文章可以由很多文字（texture words）组成，认为一张图像可以由很多视觉单词（visual words）组成，就能将之前用于文本检索中的技术直接应用与图像检索领域中。

BOW一般用于基于特征点的特征的降维上，一张图像的BOW的过程大致如下：

（i）获得图像关键点；

（ii）得到每个关键点的特征；

（iii）通过聚类把每个特征聚成所有word中的一类；

（iv）统计整张图，每个word出现的直方图。

BoW经常用在sift，dcsift，surf等点特征的应用上。

b）降维的方式

在降维的方式中，一般把不同的特征进行线性或者非线性的组合，然后再进行降维操作，常用的降维方法如下：

（i）主成分分析

主成分分析（Principal components analysis，PCA）由卡尔·皮尔逊于1901年发明，是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。主要步骤如下：

1）把所有样本变成一个矩阵，矩阵的行数等于特征的维数，列数为样本的个数；

2）得到矩阵的协方差矩阵；

3）求解所得协方差矩阵的特征值以及特征向量；

4）取需要保留的主成分，如需保留K个主成分则保留前K个特征向量。

(ii)线性判别分析

线性判别分析（Linear Discriminant AnalysisLin,LDA）由Ronald Fisher在1936年发明，所以也被称为Fisher’s Linear Discriminant。LDA是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分。LDA的原理是，将带上标签的数据通过投影的方法，投影到维度更低的空间中，并且使得投影后的点会形成按类别区分，一簇一簇的情况。类别相同的点，将会在投影空间中更接近。

LDA通过寻找映射向量使得数据样本保持以下两种性质：

1）相同类别的数据样本尽可能的接近；

2）不同类别的数据样本尽可能的分开；

在得到映射矩阵后，通过求映射矩阵的前K个特征向量作为把数据从高维空间映射到低维空间的映射矩阵。

(iii)局部线性嵌入方法

局部线性嵌入方法（Locally linear embedding，LLE）是一种非线性降维算法，它能够使降维后的数据较好地保持原有流形结构。在实际运用中LLE对于分布于非闭合球面或者椭球面上的数据有较好的降维效果。LLE算法认为：每个数据样本都可以由其相近的一些样本进行加权得到，LLE的主要计算不熟如下：

1）为每个样本寻找和它距离相近的K个样本；

2）通过找到的Ｋ个距离最近的样本计算出每个样本的局部重建权值矩阵；

3)通过每个样本的局部重建权值矩阵以及在步骤1）中得到的K个相近的样本将数据降维到低维空间。

4、基于多层描述子的车辆标识

本发明利用多种匹配策略对得到的多层描述子进行匹配，主要包括并行匹配策略与top-down匹配策略，可根据具体得到的描述子的构成及实际需求选择需要的匹配策略。

在并行匹配策略中，每一层的描述子都被用于匹配，从而得出最终结果。图2为并行匹配策略的大致流程图，假设共有k层描述子，每一层描述子同时进行相似度的计算，最终的匹配结果由k个匹配结果共同得到。

top-down匹配策略中，逐层对描述子进行匹配，并且在得到需要的结果后停止后面层的匹配操作。图3为top-down匹配策略的大致流程图，假设共有k层描述子，首先计算最上面层的描述子之间的匹配度，如果得到的匹配度不满足预先规定的值，则不进行后面多层的匹配过程直接认为两描述子描述的是不同的物体；如果低层的描述子之间匹配则继续进行后面高层之间的匹配，直到得到最终结果。这种策略在很多时候可以节省匹配时间。

下面介绍几种具体的相似度的计算方式：

a）欧式距离：最常见的距离，公式如下：

D (P, Q) = \sqrt{Σ_{i = 1}^{n} {(p_{i} - q_{i})}^{2}} - - - (1)

b）城区距离：城区距离是欧式距离的简化，跟欧式距离相比复杂度更低，公式如下：

D (P, Q) = Σ_{i = 1}^{n} | p_{i} - q_{i} | - - - (2)

c）汉明距离：一般用于特征值只有0或者1的情况，具体计算过程如下：

第一步：计算P和Q之间的异或；

第二步：计算异或结果中1的位数，作为最终的距离。

d）直方图交集：对于0-1之间数组成的直方图，可以用如下方式来求两个直方图之间的交集，最为最后的距离：

D (P, Q) = Σ_{i = 1}^{n} \min (p_{i}, q_{i}) - - - (3)

e）树形索引：常用的树形索引有k-均值树；在k-均值树中，每个父节点都有K个孩子节点，知道每个子类的数目小于某个阈值，则停止分裂的行为。树形索引一次平均时间开销为log(n)，n为数据库中数据的个数。

f）倒排索引：在倒排索引中常以量化编码后的特征作为索引的关键字，在Bow这种，每个WordId都是对应的关键字，倒排索引比树形索引平均的花费时间更少，一次平均的时间开销为常数T。

在实际运用中需要用何种距离函数作为相似度，根据具体需求进行选取，比如颜色直放图可选取直方图交集，DCT则可用汉明距离。一些建立了索引的数据则可以通过查询索引表的方式进行相似度的计算。而对于一些特殊的描述子，例如：车牌、车标，则可以使用字符串的匹配作为相似度的计算函数。

本发明在发明了基于多层描述子的方法的基础上，有发明了基于多层描述子的车辆表示系统，整个系统由下列模块构成，系统流程图如图4所示：

1、车辆全局特征提取模块，得到整个车身的全局特征；

2、车辆奇异区域局部特征提取模块，提取车辆的奇异区域，并提取奇异区域的局部特征；

3、多层描述子构造模块，利用车辆的全局特征、奇异区域的局部特征、车辆的先验知识以及某些语义信息来构造车辆的多层描述子；

4、基于多层描述子的车辆标识模块，综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果。

在该系统的基础架构上，本发明还发明了一些具体的车辆标识的系统，包括：套牌车辆检测系统、卡口图片车辆检索系统、一车多牌/多车一牌检测系、指定车辆目标的跨摄像头跟踪系统。

1、套牌车辆检测系统

该系统的包括如下主要模块，图5为具体流程图：

a）车辆全局特征提取模块，提取车辆整体的特征；

b）奇异区域特征提取模块，主要对车辆进行车牌的定位与识别，检测其他一些奇异区域，并且提取奇异区域的特征；

c）多层描述子构成模块，利用车辆的全局信息、车牌号、奇异区域特征及先验与语义信息来构成车辆的多层描述子；

d）相同车牌号车辆检索模块，以车牌号码作为关键词搜索车辆数据库，得到与当前车辆车牌号码相同的车辆；

e）套牌车辆检测模块，匹配当前车辆与数据库中搜索到的车辆的多层描述子，并且通过多层描述子的匹配结果得出是否为套牌车辆的结论。

2、卡口图片车辆检索系统

该系统的包括如下主要模块，图6为具体流程图：

a）车辆全局特征提取模块，提取车辆整体的特征；

b）奇异区域特征提取模块，提取车头、车身、车标等相关的特征；

c）多层描述子构造模块，利用车辆的全局特征、奇异区域特征及先验与语义信息来构成车辆的多层描述子；

d）卡口车辆检索模块，利用建立的索引，以多层描述子为关键字检索整个车辆数据库，根据相似度得到相应的检索结果。

3、一车多牌/多车一牌检测系统

该系统的包括如下主要模块，图7为具体流程图：

a）车辆全局特征提取模块，提取车辆整体的特征；

e）多车一牌/一车多牌检测模块，当检测到的数据库中的与当前车辆车牌号相同的车的数量大于1时则认为发生了多车一牌现象；当车牌号相同的车只有1，但是通过多层描述子的匹配后发现相似度极其高的车辆的数目超过1，则认为发生了一车多牌现象。

4、指定车辆目标的跨摄像头跟踪系统

该系统包括如下主要模块，图8为具体流程图：

a）指定目标的跟踪模块，当指定目标在当前摄像头消失之后，获得指定目标在当前摄像头下的跟踪序列和其他车辆目标。

b）指定车辆全局特征提取模块，主要是在提取车辆整体的特征。

c）奇异区域特征提取模块，主要把车辆划分为若干个在时域上稳定的凸区域，并且通过与其他车辆目标相比，提取差异较大的区域；

d）多层描述子构成模块，利用车辆的全局特征，奇异区域位置，奇异区域特征建立多层描述子；

e）跨头跟踪模块，利用多层描述子匹配其他临近摄像头的新出现的车辆目标与指定的车辆目标。

附图说明

图1总体的实施流程图。

图2多层描述子并行匹配策略流程图。

图3多层描述子top-down匹配策略流程图。

图4基于多层特征的车辆标识系统流程图。

图5套牌车辆检测系统流程图。

图6卡口车辆检索系统流程图。

图7一车多牌/多车一牌检测系统流程图。

图8指定车辆目标的跨摄像头跟踪系统流程图。

具体实施方式

下面对本方法的具体实施方法做进一步介绍。实施环境为基于opencv2.4.2，vs2008。

实施例一：套牌车辆的检测系统

套牌车辆的检测具体模块如下：

1、全局特征提取模块

在本实施例中提取的全局特征为：颜色直方图，颜色直放图的提取,主要步骤如下：

a）将输入图像转换为RGB三通道的彩色图像；

b）对RGB三通道图像每个像素点的R、G、B值进行直方图统计，R、G、B各自分别对应15个bin；

c）将R、G、B对应的15个bin拼接成45维的颜色直方图特征。

2、奇异区域的特征提取模块

在本实施例中，奇异区域主要表现为，车牌区域、车头区域以及车标区域。车牌区域主要通过车牌的定位得到，车头和车标区域的位置通过车牌区域进行推测。主要的步骤如下：

a）车牌的定位与识别，识别结果为字符串；

b）基于车牌位置信息的车标定位与车标识别，识别结果为字符串，具体代表了具体车标库中的一种车标；

c）车头区域的定位，车头区域同样是根据车牌位置然后进行推测得到；得到车头区域的DCSift特征：

(i)把车头区域图像分离成L、A、B三个通道；

(ii)在每个通道上，以21x21为基本的图像块提取DCSift特征，具体方法为：把21x21的区域分成9个7x7的区域；在每个7x7的区域上提取HOG特征，并且量化为8个方向上的直方图；把所有9个子区域的直放图写成一个向量，则得到每一个通道上72维的特征；

(iii)把三个通道上的特征写成一个向量，则得到72x3=216维的具体向量。

3、多层描述子的构造模块

在本实施例中，总共构成了四个层次的描述子：

第一层：直接车牌识别得到的车牌号码作为第一层描述子；

第二层：由于在本实施例中使用的全局颜色特征已经非常简单，所以直接把得到的15维直方图作为第二层描述子；

第三层：直接把车标识别得到的车标作为第三层描述子；

第四层：使用BoW对216维的DCSift特征进行降维，最终降维成一个WordId，即用一个整数标识一个DCSift特征。在实施中，所有的Sift特征被1000个WordId标识。

4、相同车牌号车辆检索模块

车牌相对于车而言是唯一的标识附，但是由于套牌车辆的存在使得车牌在很多时候不能正确标识车辆。在该系统中，我们认为如果车辆没有发生套牌现象，那么同一车牌的车辆应该具有相同的全局特征和局部特征；如果发生了套牌现象，那么车牌号完全相同的车辆也有着不同的车辆全局和局部特征。具体的匹配过程如下：

通过输入车辆的车牌号码，在车管所的数据库中寻找与输入车辆车牌号相同的车辆，具体的匹配为字符串之间的匹配，要求每个字符都相等，当每个字符都相等时，则认为找到了匹配的车辆。

5、套牌车辆检测模块

当在数据库中找到该对应的车牌号时，匹配两辆车之间的多层描述子；

a）颜色匹配：颜色直方图的匹配利用公式（3），并且认为当公式（3）的结果大于某阈值时（在实际操作中设置的阈值为0.7），两车辆之间的相似性很大，在颜色上可以被标识为相同的车辆，继续进行局部特征的匹配；如果小于该阈值则认为发生了套牌现象；

b）车标匹配：车标的匹配跟车牌的相似，车标特征最后用字符串标识，通过匹配当前车辆目标与数据库中对应车牌的车辆的车标是否一致来判定是否发生了套牌。当两者之间的车标不一样时，则认为发生了套牌现象；如果车标一致则进行DCSift特征的匹配；

c）DCSiftt匹配：同样用公式（3）计算两辆车车头区域的相似性，当相似性大于某阈值时（在实际操作中设置的阈值为0.85），则标识为同一辆车，没发生套牌现象；当相似性小于该阈值时则认为发生了套牌现象。

实施例二：卡口车辆检索系统

卡口车辆检索系统的具体步骤如下：

1、车辆全局特征提取模块

本系统中，车辆的全局描述子，即为简单的颜色直方图构成。我们提取了整个车辆图像的15维颜色直方图作为全局描述子与实施例一中相似。

2、车辆奇异区域特征提取模块

在该实施例中，车辆的奇异区域通过人为指定，由于车辆的车头部分往往包含了整个车身的大部分纹理与边缘信息，所以在该实施例中，我们把车辆的车头制定为车辆的奇异区域，并且提取车头区域的sift特征。

a）在车头区域检测关键点；

b）以关键点为中心取16x16的邻域作为采样窗口，并且把它分成4x4的4个子区域，在每个子区域内将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，则一共有16分小区域，每个区域8维，最后获得128维的特征描述子。

3、多层描述子构成模块

在本实施例中，总共构成了两个个层次的描述子：

第一层：由于在本实施例中使用的全局颜色特征已经非常简单，所以直接把得到的15维直方图作为第一层描述子；

第二层：使用BoW对128维的Sift特征进行降维，最终降维成一个WordId，即用一个整数标识一个Sift特征。在实施中，所有的Sift特征被1000个WordId标识。

4、卡口车辆检索模块

车辆检索即从数据库中找到跟输入车辆相似度最高的一些车辆图片进行输出，我们利用先用全局颜色描述子进行初步筛选，再用BoW描述子进行精确匹配：

a）颜色特征匹配：颜色直方图的匹配利用公式（3），并且认为当公式（3）的结果大于某阈值时（在实际操作中设置的阈值为0.7），两车辆之间的相似性很大，在颜色上可以被标识为相同的车辆，继续进行局部特征的匹配；如果小于该阈值则认为数据库中的该车辆与输入车辆不是同一辆车；

b）Siftt特征匹配：由于Sift的匹配速度较慢，所以在此实施例中，我们运用倒排索引的方式进行相似度的计算，具体的倒排索引结构如下所示：

假设P1、P2、P3三张图片，P1图包含的特征点Word ID为(1,2,2,3)，P2图包含的特征点Word ID为(1,2,3,3)，P3图包含的特征点Word ID为(2,2)，则倒排索引如下所示：

表1图像倒排索引表

Word ID	图片和特征点出现次数
		1	(P1,1)(P2,1)
2	(P1,2)(P2,1)(P3,2)
		3	(P1,1)(P2,2)

现有P4图包含特征点Word ID(1,1,2,2)，则只需要查询Word ID为1、2的表项对应的图片和特征点数目，从而加快公式（3）的计算速度。

实施例三：一车多牌/多车一牌检测系统

一车多牌/多车一牌检测系统具体模块如下：

1、全局特征提取模块

a）将输入图像转换为RGB三通道的彩色图像；

c）将R、G、B对应的15个bin拼接成45维的颜色直方图特征。

2、奇异区域的特征提取模块

a）车牌的定位与识别，识别结果为字符串；

(i)把车头区域图像分离成L、A、B三个通道；

3、多层描述子的构造模块

在本实施例中，总共构成了四个层次的描述子：

第一层：直接车牌识别得到的车牌号码作为第一层描述子；

第三层：直接把车标识别得到的车标作为第三层描述子；

4、相同车牌号车辆检索模块

5、一车多牌/多车一牌检测模块

根据得到的相同的车牌号的车辆的数量进行两种不同的策略。

a）当得到的匹配车辆的数量大于1时，则说明有相同车牌的车辆不止一辆，则一定是发生了多车一牌的现象。

b）当得到的匹配车辆的数目等于1时，则进行以下的匹配过程：

(i)颜色匹配：颜色直方图的匹配利用公式（3），并且认为当公式（3）的结果大于某阈值时（在实际操作中设置的阈值为0.8），两车辆之间的相似性很大；

(ii)车标匹配：车标的匹配跟车牌的相似，车标特征最后用字符串标识，通过匹配当前车辆目标与数据库中对应车牌的车辆的车标是否一致来判定，如果一致则认为可能为同一辆汽车；

(iii)DCSiftt匹配：同样用公式（3）计算两辆车车头区域的相似性，当相似性大于某阈值时（在实际操作中设置的阈值为0.85），则认为可能为相同的车辆。

当颜色、车标、DCsift都匹配时，则认为可能发生了一车多牌的现象。

实施例四：指定车辆的跨头跟踪系统

指定车辆的跨头跟踪系统如下：

1、指定目标的跟踪模块

在本实施例中对指定目标在当前摄像头下进行跟踪（比如粒子滤波器或者onlineboost），直到目标消失。

2、指定车辆全局特征提取模块

在本实施例中提取的全局特征为：全局颜色直方图与SIFT特征。全局颜色直方图与SIFT特征提取方法如实施例1所示。

3、奇异区域的特征提取模块

在本实施例中，奇异区域主要表现为，指定车辆与其他车辆相比有明显特征差异的区域。主要的步骤如下：

a）在当前摄像头下跟踪指定车辆，获得该车辆在时域上的跟踪序列以及其他车辆目标。

b）将指定车辆划分为若干个区域，选取在时域上比较稳定的区域，记录这些区域在车辆目标中的位置。

c）将这些时域稳定的区域与其他车辆目标相比，根据差异程度为每个区域赋权重，差异越大，权重越大。选取权重大于一定阈值的区域作为奇异区域。

4、多层描述子的构造模块

在本实施例中，总共构成了三个层次的描述子：

第一层：直接将全局颜色直方图作为第一层描述子；

第二层：使用BoW对128维的全局Sift特征进行降维，最终降维成一个WordId，即用一个整数标识一个Sift特征。在实施中，所有的Sift特征被1000个WordId标识。

第三层：提取奇异区域的特征，奇异区域在目标中的位置以及权重作为第三层描述子。奇异区域的特征包括颜色直方图和sift特征。对于颜色直方图，直接利用颜色直方图特征作为描述子。对于sift特征，利用BOW进行降维，作为描述子（降维过程与第二层相似）。

5、指定车辆目标跨摄像头跟踪模块

a）当指定目标从当前摄像头消失之后，在临近摄像头检测新出现的车辆目标。

b）对新目标提取全局和奇异区域（该特征区域指原指定目标的特征区域）的特征描述子，与原指定目标的特征描述子进行匹配。

c）当新目标与原目标的匹配相似度大于一定阈值时，对该新目标在新的摄像头下进行跟踪。

Claims

1.一种基于多层描述子的车辆标识方法，该方法利用车辆的全局特征和基于奇异区域的局部特征构成车辆的多层描述子，并且在综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果；该方法主要包括以下步骤：

（1）车辆全局特征提取，得到整个车身的全局特征；

（2）车辆奇异区域局部特征提取，提取车辆的奇异区域，并提取奇异区域的局部特征；

（3）多层描述子构造，利用车辆的全局特征、奇异区域的局部特征、车辆的先验知识以及某些语义信息来构造车辆的多层描述子；

（4）基于多层描述子的车辆标识，综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果。

2.根据权利要求1所述的方法，其特征在于，步骤（2）中所述的车辆奇异区域主要指车辆特性独特的局部区域，包括但不限于：车辆的车标、车牌、车头、车辆车顶、车窗玻璃的明显特征以及与其他车辆有明显特征差异的区域。

3.根据权利要求1或2所述的方法，其特征在于，步骤（2）中所述的车辆奇异区域的检测，可以运用多种检测方法，具体方法包括但不仅限于：

（a）基于视觉显著的方法：通过图像中能量分布来确定我们需要的显著区域的位置，显著区域为能量较为集中的区域；

（b）基于轮廓的方法：通过检测图像中的多轮廓的区域来获取车辆的奇异区域；

（c）基于特征点的方法：通过现有的特征点检测算法来获取图像中特征点，寻找特征点相对集中的区域作为车辆的奇异区域；

（d）基于凸区域划分的方法：将车辆划分为若干个凸区域，用时域上特征比较稳定的凸区域与其他车辆的特征进行相比，选取差异明显的区域作为指定车辆的奇异区域；

（e）具体区域的定位的方法：通过先验知识或训练好的模型来获取定位目标的相应位置。

4.根据权利要求1所述的方法，其特征在于，步骤（3）中所述的多层描述子，其构造方法是：通过把高维空间的特征映射到低维空间，用低维空间的精简表示来描述原来的高维特征，主要包括码本和降维的方法；所述码本方法是指：把得到的视觉特征用一种编码方式进行表示；所述降维方法是指：把通过一些方法提取特征中特性比较显著的那些维度，去掉特征没有区分性的那些维度；多层描述子的具体构造方法包括但不仅限于：词袋方法、主成分分析、线性判别分析、局部线性嵌入方法。

5.根据权利要求1所述的方法，其特征在于：步骤（4）中所述的基于多层描述子的车辆标识中所涉及的多种匹配策略，主要包括并行匹配策略与自顶向下匹配策略，可根据具体得到的描述子的构成及实际需求选择需要的匹配策略；在并行匹配策略中，每一层的描述子都被用于匹配，从而得出最终结果；自顶向下匹配策略中，逐层对描述子进行匹配，并且在得到需要的结果后停止后面层的匹配操作。

6.一种基于多层描述子的车辆标识系统，该系统主要包括以下模块：

（1）车辆全局特征提取模块，得到整个车身的全局特征；

（2）车辆奇异区域局部特征提取模块，提取车辆的奇异区域，并提取奇异区域的局部特征；

（3）多层描述子构造模块，利用车辆的全局特征、奇异区域的局部特征、车辆的先验知识以及某些语义信息来构造车辆的多层描述子；

（4）基于多层描述子的车辆标识模块，综合考虑匹配精度与匹配速度的情况下，利用多种匹配策略获得最终车辆标识的结果。

7.根据权利要求6所述的车辆标识系统，其特征在于，所述的模块具体可构成套牌车辆检测系统，套牌车辆检测系统主要包括以下模块：

（1）车辆全局特征提取模块，提取车辆整体的特征；

（2）奇异区域特征提取模块，主要对车辆进行车牌的定位与识别，检测其他一些奇异区域，并且提取奇异区域的特征；

（3）多层描述子构成模块，利用车辆的全局信息、车牌号、奇异区域特征及先验与语义信息来构成车辆的多层描述子；

（4）相同车牌号车辆检索模块，以车牌号码作为关键词搜索车辆数据库，得到与当前车辆车牌号码相同的车辆；

（5）套牌车辆检测模块，匹配当前车辆与数据库中搜索到的车辆的多层描述子，并且通过多层描述子的匹配结果得出是否为套牌车辆的结论。

8.根据权利要求6所述的车辆标识系统，其特征在于，所述的模块具体可构成卡口车辆检索系统，卡口车辆检索系统主要包括以下模块：

（1）车辆全局特征提取模块，提取车辆整体的特征；

（2）奇异区域特征提取模块，提取车头、车身、车标，与其他目标有明显差异的凸区域等相关的特征；

（3）多层描述子构造模块，利用车辆的全局特征、奇异区域特征及先验与语义信息来构成车辆的多层描述子；

（4）卡口车辆检索模块，利用建立的索引，以多层描述子为关键字检索整个车辆数据库，根据相似度得到相应的检索结果。

9.根据权利要求6所述的车辆标识系统，其特征在于，所述的模块具体可构成多车一牌/一车多牌检测系统，多车一牌/一车多牌检测系统主要包括以下模块：

（1）车辆全局特征提取模块，提取车辆整体的特征；

（5）多车一牌/一车多牌检测模块，当检测到的数据库中的与当前车辆车牌号相同的车的数量大于1时则认为发生了多车一牌现象；当车牌号相同的车只有1，但是通过多层描述子的匹配后发现相似度极其高的车辆的数目超过1，则认为发生了一车多牌现象。

10.根据权利要求6所述的车辆标识系统，其特征在于，所述的模块具体可构成指定车辆的跨摄像头跟踪系统，指定车辆的跨摄像头跟踪系统包括以下模块：

（1）指定目标的跟踪模块，当指定目标在当前摄像头消失之后，获得指定目标在当前摄像头下的跟踪序列和其他非指定车辆目标；

（2）指定车辆全局特征提取模块，主要是提取指定车辆整体的特征；

（3）奇异区域特征提取模块，主要把车辆划分为若干个在时域上稳定的凸区域，并且通过与其他车辆目标相比，提取差异较大的区域；

（4）多层描述子构成模块，利用车辆的全局特征，奇异区域位置，奇异区域特征建立多层描述子；

（5）跨头跟踪模块，利用多层描述子匹配其他临近摄像头新出现的车辆目标与指定的车辆目标，然后跟踪相似度较高的新目标。