CN104239898B - 一种快速卡口车辆比对和车型识别方法 - Google Patents

Abstract

本发明涉及一种快速卡口车辆比对和车型识别方法。本发明首先由高清卡口摄像机采集标准的抓拍车辆图像，对图像进行前景车辆检测提取车辆区域；而后对车辆区域预处理检测特征点，计算sift特征描述子，使用查询树进行查询实现车型粗匹配获取候选车型数据图像集合，再次使用sift特征描述子对候选车型图像进行精确匹配，通过几何信息进行几何验证，重新排序得到最终车型比对结果输出。本发明采用了基于多尺度sift特征作为图像的描述子，sift特征是图像的局部特征，不仅对图像旋转，尺度缩放，亮度变化保持不变性，对视角变化，放射变换，噪声也保持一定的稳定性。

Description

一种快速卡口车辆比对和车型识别方法

技术领域

本发明属于图像识别技术领域，具体涉及一种快速卡口车辆比对车型识别方法。

背景技术

智能交通系统(Intelligent Transportation System,ITS)是交通运输领域广泛关注的课题，而汽车识别是ITS应用基础，一个关键组成部分。汽车识别一般包括汽车车牌识别，颜色识别，车型识别，车标识别等，其中最为成熟的是车牌识别。而在公安案件侦破，尤其是嫌疑犯的追踪中，单纯的依靠车牌识别，颜色识别或是车标识别可靠性不高，干扰较多，如套牌，遮挡，偏色，换标等情况；车型识别技术则显得尤为重要，其在交通智能领域的需求也在不断的扩大。

车型识别的方法很多，目前国内外主要采用的方法：电磁感应线圈检测法，雷达识别法/超声波检测法，红外线识别法，基于视频图像处理的车型识别方法。电磁感应线圈检测是最传统的交通检测器，其优点在于稳定，精度高，不受环境影响，但其设备维护成本就高，且在实际应用时车辆在线圈上方改变速度货停止时，易影响识别的准确率。雷达识别法/超声波检测法和红外线检测法原理简单且物理概念清晰明了，但硬件系统较复杂，环境适应力较差，所以不利于使用于实际场景。而基于视频图像的车型识别技术与其他方法相比有很大的优势，图像信息量大，不易造成车辆信息的丢失；硬件检测设备安装简便，且易于维护调整，成本较低。

目前国内外基于图像处理的车型识别研究的主要方向为：特征匹配算法的车型识别，神经网络的车型识别，以及支持向量的车型识别。基于神经网络的车型识别算法较多，其首先对图像进行预处理后提取车辆特征，而后利用BP神经网络来实现车型识别。此方法的有点在于BP神经网络具有较好的泛化性，运算速度较快，但缺点是学习过程容易陷入误差函数的局部极值点，如初始权系数设置不当，则会出现学习过程收敛缓慢甚至不收敛等问题。与传统的神经网络方法相比较，支持向量机的车型识别方法具有性能优良，结构简单等优点，其主要是以图像处理为基础，对图像中的车型的特征进行描述，提取，然后结合SVM对车辆进行分类，将SVM与最邻近法相结合以提高SVM分类速度，并结合动态Boosting算法以提高分类的准确性，但缺点是计算量较大，所需要的硬件设施也较为复杂，使用性也较差。基于特征匹配的车型识别在大部分天气情况下，识别准确，计算量小，鲁棒性好，识别速度快，但其算法在复杂环境下识别率易受影响。

发明内容

本发明的目的是提供一种快速卡口车辆比对和识别的方法，包括了车辆检测，预处理特征提取，车型粗匹配比对，车型精确匹配比对以及车型识别结果映射输出，其特点在于提取稀疏特征后使用Bag of Words的思想，使用HIKM算法聚类形成查询树(词汇树)建立倒排索引(Inverted index)比对车型数据库匹配输出粗略候选车型图像组；而后进入车型精确匹配对比阶段对候选车型原始特征匹配比对，经过几何校验方法删选匹配点得出各候选车型的匹配分数，而后整合排序查询输出最高三个匹配车型结果(车型名称，年份)。

本发明解决技术问题所采取的技术方案为：

本发明首先由高清卡口摄像机采集标准的抓拍车辆图像，对图像进行前景车辆检测提取车辆区域；而后对车辆区域预处理检测特征点，计算sift特征描述子，使用查询树进行查询实现车型粗匹配获取候选车型数据图像集合，再次使用sift特征描述子对候选车型图像进行精确匹配，通过几何信息进行几何验证，重新排序得到最终车型比对结果输出。

本发明有益效果：

1.采用了基于多尺度sift特征作为图像的描述子，sift特征是图像的局部特征，不仅对图像旋转，尺度缩放，亮度变化保持不变性，对视角变化，放射变换，噪声也保持一定的稳定性；对于获取的sift特征向量描述子集合采用了分层k-means聚类方法构建词汇树，不仅聚类速度快，且有有较好的可伸缩性。

2.采用了visual words特征概念实现图片搜索完成本发明的图像粗匹配阶段，将高维SIFT特征向量依据预先训练得到的词汇树量化为visual words特征，并结合TF-IDF模型得出待识别图像与车型库中图像相似度的评测分数，选择最优组合集定义为候选车型集合，得出粗匹配结果，其优点在于大量数据集合下降低了其匹配上的耗时，更加适用于实际应用中。

3.对粗匹配后获取的候选车型图像，使用其原始sift特征描述子进一步进行了匹配，结合使用特征点几何信息进行几何验证，进行重排序。其优点在于能够更精确的计算出待识别图像与候选车型图像的匹配分数，得出匹配车型结果。在特征点几何信息验证时，本发明弃用了opencv中的ransac几何构建方式，而是采用了优化后的ransac方法，大大缩短了构建模型的计算量。

4.系统在精匹配阶段采用了并行计算处理方式，大大提高了计算速度。

附图说明

图1为本发明方法流程图；

图2为车型特征库以及查询树的构建示意图。

具体实施方式

以下结合实施例对本发明作进一步说明：

一种快速卡口车辆比对和识别方法，包括以下步骤，首先由高清卡口摄像机采集标准的抓拍车辆图像(标准的抓拍图像均为正面图像，角度变化不大)，对图像进行前景车辆检测提取车辆区域；而后对车辆区域预处理检测特征点，计算特征描述子，使用查询树(词汇树)进行查询实现车型粗匹配获取候选车型数据图像集合，再次使用sift特征描述子对候选车型图像进行精确匹配，通过几何信息进行几何验证，重新排序得到最终车型比对结果输出。

本发明采用的技术之前需要预先对样本图像集进行训练构建查询树(词汇树)，以及车型数据库(车型库对应图像特征)，具体方法是对样本集中的每张图像进行特征点检测，计算sift特征描述子提取得到一个特征集合F＝{f_i}，然后对特征集合F进行了分层k-means聚类，生成的每一个簇集定义为一个单词(visual words)，它的优点在于聚类速度快，且有较好的可伸缩性，这个过程是一个无监督的训练过程；随后根据获取的词汇树将车型库中每张图像的特征描述子量化成visual words特征并将这些特征以及sift描述子保存至车型数据库。

所述的分层k-means聚类方法，是将特征集合F分成k份{F_i|1≤i≤k}，计算每个簇集F_i的平均值作为聚类中心向量C_i；根据聚类中心将每个特征赋给距离其最近的类，其距离度量方法定义为

d＝||f_i-C_i|| (1)

式(1)当中f_i表示训练集合中的某一特征向量，C_i表示聚类中心向量；类似地，对新产生的簇集利用kmeans再分成k个簇集，不断重复执行上述步骤，直到树的深度达到预先设定的L值收敛。树中的节点的数目为它们都是对特征聚类产生的簇集被称为单词(visual words)。

在查询图进行检索完成车型粗匹配过程中，用权值(weight)来描述单词与图像的相关程度，依据IF-IDF的原理定义图像权值。如假设用F_i表示单词(visual words特征)，d_i表示图像，w_i,j≥0为二元组(F_i,d_j)的权值；图像d_i可以表示用以下的权值向量表示：

d_j＝{w_1,j,w_2,j,w_3,j,...,w_t,j} (2)

其中t表示图像特征单词的个数，那么F＝{F₁,F₂,F₃,...,F_t}表示图像的所有特征单词集合，即表示分层聚类所形成的所有的簇集，此时的单词数目而w_i,j则用来描述单词F_i与图像d_i的相关程度，可以用如下的矩阵表示：

w_i,j可以定义为

其中N表示车型数据库中图像个数，m_i,j表示单词F_i在图像d_i当中出现的次数，如果单词F_i不出现在图像d_i中，则m_i,j＝0。n_i表示包含单词F_i的图像数目，则定义频率将这个原理应用的查询图像计算出查询图像的权值向量表示为：

q＝{w₁,w₂,w₃,...,w_t}，比较查询图像与车型数据库图像的权值向量d_j＝{w_1,j,w_2,j,w_3,j,...,w_t,j}之间的差异程度，选取差异程度最小的值作为查询结果返回，得出候选车型图像集合。

下面通过实施例，对本发明的技术方案作进一步具体的说明。

如图1所示，一种快速卡口车辆比对和识别的方法，其流程如下：

1.获取高清卡口摄像机采集的标准抓拍图像；

采集一高清卡口超速抓拍图像，其车型对应车型库车型标注为铃木_E，且对应具体车型为铃木北斗星。

2.依据车辆特征提取抓拍图像的车辆前景区域CarROI。

3.检测车辆前景区域CarROI的图像特征点计算其sift特征描述子

CarROI图像进行特征点检测之前，对图像进行了图像增强平滑处理，以便提高特征提取的准确性。将计算所得的图像sift特征描述子依据词汇树量化为visual word单词特征，记为vwfeat1。

4.使用查询树进行查询

利用TF-ID模型，输入查询图像特征vwfeat1与车型数据库建立倒排表，对车型库中图像的相似度进行评测，输出相似度排列靠前的车型库图像对应的ID号以及图像个数coarseMatchCount(＝40)

5.使用特征点集合信息进行结合验证，进行排序

将之前获取的候选车型库图像逐个与查询图像进行sift特征匹配。查询图像sift特征描述子记为Feat1，一个车型库图像特征描述子为记为Feat2，根据sift特征匹配得出两幅图像的具体特征以及对应位置信息保存至matches，集合这些特征信息使用ransac的方法构建透视变换模型，如下所示：

3*3的透视模型矩阵＝{1.02 0.01 -1.34；

-0.01 1.07 42.57；

-0.00 0.00 0.99}；

对于得到的透视模型矩阵使用查询图像与这一车型库图像的角点透视映射进行验证，如不符合透视模型映射条件，则将此图像与查询图像的匹配分数置为0；如匹配符合一定条件，则可依据获取的透视模型矩阵验证查询图与车型库图像的已匹配上的点是否符合此透视模型，删除不符合的匹配点得出最终车型图像的匹配分数，如下表所示：

车型库图像名称	匹配分数
		铃木_E_7.jpg	56.00
雪佛兰_E_8.jpg	10.00
		铃木_D_9.jpg	10.00
.....

随之，将所有候选车型库图像逐一匹配得出匹配分数由高至低进行排序,选择最优三组结果输出，结果为：0 name：铃木_E(56.00)

1 name:铃木_D(18.00)

2 name:雪佛兰_E(12.00)

6.输入匹配结果至车型名称链表输出对应车型结果

根据车型名称链表信息将结果对应的车型以具体信息输出，包括品牌，系列，以及大致出产年份来完成车型识别，如结果所示：

Rank 1：铃木_E(铃木北斗星(2007～2010款))

Rank 2：铃木_D(铃木北斗星(2002～2005款))

Rank 3：雪佛兰_E(雪佛兰乐风(2009～2010款))

如图2所示，为车型特征库以及查询树(词汇树)的构建方式，其流程如下：

1.接收车型抓拍图像，整理车型数据库集合。

2.检测每张车型数据库图像中的前景车辆区域。

3.提取每张车辆区域图像的特征点，并计算其sift特征描述子，汇集成特征集合F＝{fi}，以及相应的图片ID集合ID＝{id_i}，其表示提取到的第i个特征出现在ID为id_i的图像中。

4.将车型数据图像中的获取的特征集合F进行分层k-means聚类(这里选择树形结构层次depth＝6，叶节点数k＝6)，构建查询树，并保存为tree.bin文件。

5.基于查询树(词汇树)，将特征描述子向量量化为visual word特征，此过程不需要遍历所有的单词，极大的缩短了查询时间；将车型数据库图像所有原始特征向量以及对应的量化的单词特征存入车型特征库中。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (3)

1.一种快速卡口车辆比对和车型识别方法，其特征在于该方法具体是：

首先由高清卡口摄像机采集标准的抓拍车辆图像，对图像进行前景车辆检测提取车辆区域；而后对车辆区域预处理检测特征点，计算sift特征描述子，使用查询树进行查询实现车型粗匹配获取候选车型数据图像集合，再次使用sift特征描述子对候选车型图像进行精确匹配，通过几何信息进行几何验证，重新排序得到最终车型比对结果输出；

使用查询树进行查询实现车型粗匹配中，用权值来描述单词与图像的相关程度，依据IF-IDF的原理定义图像权值；设用F_i表示单词，d_i表示图像，w_i,j≥0为二元组(F_i,d_j)的权值；图像d_i用以下的权值向量表示：

d_j＝{w_1,j,w_2,j,w_3,j,...,w_t,j}

其中t表示图像特征单词的个数，那么F＝{F₁,F₂,F₃,...,F_t}表示图像的所有特征单词集合；而w_i,j则用来描述单词F_i与图像d_i的相关程度，用如下的矩阵表示：

w_i,j可以定义为：

$w_{i,j}=m_{i,j}\×\lg \frac{N}{n_i}$

其中N表示车型数据库中图像个数，m_i,j表示单词F_i在图像d_i当中出现的次数，如果单词F_i不出现在图像d_i中，则m_i,j＝0；n_i表示包含单词F_i的图像数目；将这个原理应用的查询图像计算出查询图像的权值向量表示为：

q＝{w₁,w₂,w₃,...,w_t}

比较查询图像与车型数据库图像的权值向量d_j＝{w_1,j,w_2,j,w_3,j,...,w_t,j}之间的差异程度，选取差异程度最小的值作为查询结果返回，得出候选车型图像集合。

2.根据权利要求1所述的一种快速卡口车辆比对和车型识别方法，其特征在于：采用样本图像集进行训练来构建查询树，具体是：对样本图像集中的每张图像进行特征点检测，计算sift特征描述子提取得到一个特征集合F＝{f_i}，然后对特征集合F进行分层k-means聚类，生成的每一个簇集定义为一个单词，随后根据获取的词汇树将车型库中每张图像的特征描述子量化成单词特征并将这些特征以及sift描述子保存至车型数据库。

3.根据权利要求2所述的一种快速卡口车辆比对和车型识别方法，其特征在于：所述的分层k-means聚类方法，是将特征集合F分成k份{F_i|1≤i≤k}，计算每个簇集F_i的平均值作为聚类中心向量C_i；根据聚类中心将每个特征赋给距离其最近的类，其距离度量定义为：

d＝||f_i-C_i||

式中f_i表示训练集合中的某一特征向量，C_i表示聚类中心向量；类似地，对新产生的簇集利用k-means再分成k个簇集，不断重复执行直到树的深度达到预先设定的L值收敛。