CN106384100A

CN106384100A - 一种基于部件的精细车型识别方法

Info

Publication number: CN106384100A
Application number: CN201610860838.7A
Authority: CN
Inventors: 胡瑞敏; 王�琦; 肖晶; 肖骏; 邵梦灵; 胡柳依; 阮威健
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2017-02-08

Abstract

本发明涉及一种基于部件的精细车型识别方法，首先，使用强监督可变部件模型对目标车辆进行检测和部件定位；然后，使用基于部件的特征表示，分别将车辆的方向梯度直方图（HOG）特征和各部件的卷积神经网络（CNN）特征作为车辆的全局特征和局部特征进行初步识别；最后，使用基于各部件及其特征的区分力的投票机制得到最终的精细识别结果。本发明可以实现对道路监控中的车辆进行精细车型识别，从而有效解决目前车型识别粒度不足的问题，对实现智能交通管理和智慧城市建设有重要意义。

Description

一种基于部件的精细车型识别方法

技术领域

本发明属于模式识别技术领域，特别是涉及一种基于部件的精细车型识别方法。

背景技术

随着城市车辆数目逐年攀升，在大型安防项目的积极推进下，高清监控逐渐普及，道路交通中的车型识别成为城市交通管理和公共安全管理的重要手段。传统的车型识别主要将车辆分为轿车，越野车，卡车，货车等基本类型，这样粗粒度的识别只能应用于某些特定的场景中，比如停车场或高速路出入口收费。然而更多的应用场景下，比如在刑事侦查中搜寻和跟踪嫌疑车辆，需要更精确的识别。相较于粗粒度识别，精细车型识别对于交通管理和城市建设有更为深远的意义。

精细识别的最大挑战性在于子类间的大体轮廓高度相似，而其区别非常微妙。目前对于精细识别的研究主要分为两类。

一方面，许多研究专注于开发细粒度的特征来描述细节。Razavian等人利用在ImageNet分类任务上预训练获得的OverFeat网络提取特征，来处理一系列的识别问题，并认为从CNN获得的特征应该作为大多数视觉识别任务的首选特征。Yang等人利用微调的OverFeat模型特征的提取方法来处理车型验证。Sünderhauf验证了使用第一个或第二个完全连接层的有效性，并在植物分类上取得了显著的成果。所有这些方法都认为，CNN可以从像素级提取特征信息，并将整个对象作为CNN的输入。然而，当输入高分辨率图片时，可能会丢失很多的细节，因为CNN网络的输入需要被归一化到较小的固定尺寸。同时使用整个对象作为输入可能引入冗余甚至干扰特征，因为子类的大多数部件是高度相似的。

另一方面，一些研究主要针对特定的具有区分力的部件，利用这些部件可以更容易区分子类类别。通过检测和描述特定部件进行基于部件的表达是细粒度识别中常见有效的方法。Zhang等人利用强监督可变部件模型的语义特性研究细粒度识别的描述子。Krause提出了使用分割的方法来生成部件，来解决部件标注对于特定领域的极大的依赖性。这些方法都是尝试用不同的方式去识别和选择有区分度的部件。然而，在利用这些部件进行识别的时候，这些部件并没有被有区别地对待。也就是说，他们只是选择所谓的“有区分力的部件”，但是无论这些部件是具有高度区分力还是一般的区分力，都没有差别对待。

因此为实现车型精细识别，迫切地需要一种方法能够区分不同车型之间集中于特定部件的微妙差别。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种基于部件的精细车型识别方法。

一种基于部件的精细车型识别方法，其特征在于，对车辆前脸部件进行定义，包括七个语义性部件，分别是：车顶，左后视镜，挡风玻璃，右后视镜，左车头灯，进气口，右车头灯，且各部件间存在重叠区域，具体包括以下步骤：

步骤1：对车辆进行特征提取，包括全局特征提取以及局部特征提取，其中，全局特征提取基于HOG特征来表示车辆的整体特征，局部特征提取基于CNN网络从像素级提取特征信息，描述车辆细节特征；

步骤2：基于步骤1中提取的车辆特征信息对车辆进行初步识别，采用一对一的支持向量机(SVM)进行识别；

步骤3：基于步骤2得到的初步识别结果进行精细识别，具体是根据不同部件的区分力再使用SVM训练权重，将单个特征和部件的初步识别结果结合起来，得到最终的精细识别结果。

本发明通过全面学习特征和研究不同部件的区分力来改进细粒度车型识别。首先，我们使用强监督可变部件模型来检测和定位预先已定义的部件；然后，我们分别提取整个车辆的HOG特征和各个部件的CNN特征来进行初步识别。最后我们提出了投票机制来权衡上一步中初步识别的结果的权重，最大化利用不同部件的区分力。除此之外，考虑到目前并没有可以用于细粒度车型识别的数据集，我们建立了包含50种常见车型的精细车型数据库，共有4584张高清监控图片。同时我们用xml文件提供了对车辆和各部件的人工标定。

在上述基于部件的精细车型识别方法，对车辆前脸部件进行定义的具体方法是：

步骤2.1:为实现精确的部件定位，在可变部件模型(DPM)的基础上加入了部件级的监督；使用自建数据集对SSDPM进行了训练，正样本数据为已标注车辆外框和部件外框的图像数据，负样本数据为正样本数据以外的图像数据；训练所得到的车辆检测模型由一个根滤波器和部件滤波器组成，具体表现形式为通过最大化即模型β在图像I中的得分取决于模型部件的定位p和可见状态V；其中β为检测模型(F₀,P₁,...,P_n,b)，F₀代表的是根滤波器，P_i代表的是第_i个部件滤波器，b是一个偏置系数；

步骤2.2：使用潜在支持向量机训练模型参数：定义z＝(p₁,p₂...p_n)的得分表明目标部件初步的位置；整个训练过程循环，在所有初步的位置输出最大得分通过统计梯度下降和优化参数最后得到最终的模型。

在上述基于部件的精细车型识别方法，所述步骤1中，对车辆进行特征提取的具体方法包括：

步骤3.1，全局特征提取：在部件定位的过程中，SSDPM已提取了车辆的HOG特征进行定位，直接采用HOG特征来表达车辆的整体特征，使用经典HOG描述子的实现，具体是：

步骤3.11，把样本图像分割为若干个像素的单元，把梯度方向平均划分为多个区间，在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个多维的特征向量；

步骤3.12，每相邻的单元构成一个区间，把一个区间内的特征向量联起来得到多维的特征向量；用区间对样本图像进行扫描，扫描步长为一个单元；

步骤3.13，将所有块的特征串联起来，得到整个样本图像的HOG特征；其中R-HOG使用的区间为矩形区间；

步骤3.2，局部特征提取：CNN网络可以从像素级提取特征信息，描述细节特征；利用Caffe提取各个部件的fc 7特征，即第7个全连接层的特征；每个部件的CNN特征表达了目标车辆各个部件的局部特征，用于表达类内的差异。

在上述基于部件的精细车型识别方法，在步骤2中，对提取的全局和局部特征分别进行初步识别，即采用一对一的支持向量机(SVM)进行识别，即针对多分类，每两类建立一个分类器，每个分类器对待识别样本进行投票，票数最多的类别作为最终的识别结果；由此对于每个待识别样本除了返回识别结果，还返回一个概率性向量，这一概率向量反映了该样本属于各个类别的概率；对于使用各个部件的特征分别进行分类，返回一个概率性矩阵D；D是一个M×N矩阵,每一列表示使用单个部件单个特征在初步识别中得到的可能性向量，M为可识别类别数，N为所使用的特征数量。

在上述基于部件的精细车型识别方法，所述步骤3中，使用投票机制来最大化的利用不同部件不同特征的区分力；在步骤2中，分别使用各个部件和整体轮廓的特征进行初步识别，并且在SVM分类其中得到了概率矩阵；在步骤3中，根据不同部件的区分力使用SVM训练权重w＝(w₀,w₁,...,w_m)，将单个特征和部件的识别结果结合起来P＝w·D；P＝(P₁,P₂,...,P_i)表示属于所有类别的可能性，P_i表示目标物体属于第i个类别的可能性；所得到的识别的类别l是在P中得到最高值的元素的下标:l＝argmax_kP_k。

在上述基于部件的精细车型识别方法，在部件定位中加入了部件级监督和对称性约束，来实现目标车辆及其各部件的精确定位；最终得到检测模型为(F₀,P₁,...,P_n,b)，其中F₀代表的是根滤波器，P_i代表的是第_i个部件滤波器，b是一个偏置系数。

在上述基于部件的精细车型识别方法，所述步骤3.2中，使用预训练的CNN，将各个部件作为输入来提取其细节特征，而不是将整个目标车辆作为输入；这样防止在CNN归一化输入的高清图片时丢失细节，避免对高度相似的无关部件进行特征提取。

在上述基于部件的精细车型识别方法，所述步骤3中，利用初步识别时SVM所得到的概率矩阵D，判别单个部件及其特征的区分力，D是一个M×N矩阵,每一列表示使用单个部件单个特征从初步识别中得到的可能性向量，M为可识别类别数，N为所使用的特征数量；以此训练权重w＝(w₀,w₁,...,w_m)将初步识别的结果结合起来，即P＝w·D，其中P＝(P₁,P₂,...,P_i)表示属于所有类别的可能性，P_i表示目标物体属于第i个类别的可能性；所得到的识别的类别l是在P中得到最高值的元素的下标:l＝argmax_kP_k。

因此，本发明具有如下优点：本发明可以实现对道路监控中的车辆进行精细车型识别，从而有效解决目前车型识别粒度不足的问题，对实现智能交通管理和智慧城市建设有重要意义。

附图说明

图1为本发明基于部件的精细车型识别流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本实例采用采用MATLAB作为仿真实验平台，在自建数据集上进行测试。我们选取几个交通流量较大视野较开阔的地点采集道路监控，建立了包含8个品牌，50种常见车型的精细车型数据库，每个品牌大约有5-9种车型，每个车型至少包含40张图片，共有4584张高清监控图片。以下针对精细车型识别实例对本发明作进一步阐述，本发明流程包括：

步骤1：部件定位

根据对道路监控数据的长期观察并且借助相关领域的专业知识，我们对车辆前脸定义了七个语义性部件：车顶，左后视镜，挡风玻璃，右后视镜，左车头灯，进气口，右车头灯。这些部件几乎包含了所有可以用来识别车辆品牌和型号的信息，为了保证不遗漏细节，各部件间存在重叠区域。

步骤1.1:为实现精确的部件定位，我们在可变部件模型(DPM)的基础上加入了部件级的监督。使用自建数据集对SSDPM进行了训练，正样本数据为已标注车辆外框和部件外框的图像数据，负样本数据为正样本数据以外的图像数据。训练所得到的车辆检测模型由一个根滤波器和部件滤波器组成，具体表现形式为通过最大化即模型β在图像I中的得分取决于模型部件的定位p和可见状态V。其中β为检测模型(F₀,P₁,...,P_n,b)，F₀代表的是根滤波器，P_i代表的是第_i个部件滤波器，b是一个偏置系数。

步骤2.2：使用潜在支持向量机训练模型参数。假设z＝(p₁,p₂...p_n)的得分表明了目标部件可能的位置。整个训练过程循环，在所有可能的位置输出最大得分通过统计梯度下降和优化参数最后得到最终的模型。

步骤2：特征提取

步骤2.1：全局特征提取。

在部件定位的过程中，SSDPM已提取了车辆的HOG特征进行定位，因此为节省算法复杂度和特征的重用，我们仍使用HOG特征来表达车辆的整体特征。这里我们使用了经典HOG描述子的实现：把样本图像分割为若干个像素的单元，把梯度方向平均划分为多个区间，在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个多维的特征向量，每相邻的单元构成一个区间，把一个区间内的特征向量联起来得到多维的特征向量，用区间对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，得到整个样本图像的HOG特征。其中R-HOG使用的区间为矩形区间，特征使用参数如下：128×64的检测窗，16×16的块，8×8的块步长，8×8的单元大小，9个方向。整个车辆的HOG特征表示了目标车辆的整体特征，用于表达类间的差异。

步骤2.2：局部特征提取。

CNN网络可以从像素级提取特征信息，描述细节特征。伯克利大学视觉学习中心提出的Caffe框架提供了C++库还有Python和MATLAB接口，是一个完备的可修改的CNN框架。其中Caffe还提供了一个预训练模型，该模型在ILSCRC12中使用的ImageNet数据集上训练，其中训练集包含1281167张图片，验证集为50000张，测试集为100000张。在预处理时，将所有图片归一化为256×256，并减去均值。模型共包含650，000个神经元，分为8层，前5层为卷积层，后3层为全连接层。在NVIDIA Tesla K20上训练需耗时两周，测试所得正确率为57.7％。在此我们利用Caffe提取各个部件的fc 7特征，即第7个全连接层的特征。每个部件的CNN特征表达了目标车辆各个部件的局部特征，用于表达类内的差异。

步骤3：初步识别

我们使用步骤2中提取的全局和局部特征分别进行初步识别，我们采用一对一的支持向量机(SVM)进行识别。SVM为二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略是间隔最大化，最终可转化为一个凸二次规划问题的求解。一对一的SVM针对多分类问题，每两类建立一个分类器，每个分类器对待识别样本进行投票，票数最多的类别作为最终的识别结果。由此对于每个待识别样本除了返回识别结果，还可返回一个概率性向量，这一概率向量反映了该样本属于各个类别的概率。对于使用各个部件的特征分别进行分类，可返回一个概率性矩阵D。D是一个M×N矩阵,每一列表示使用单个部件单个特征从初步识别中得到的可能性向量，M为可识别类别数，N为所使用的特征数量。

步骤4：投票机制进行精细识别

不同的部件在识别过程中的重要性不同。不同粒度的特征同样也反映不同的特性。因此我们提出了一个投票机制来最大化地利用不同部件不同特征的区分力。在步骤3中，我们分别使用各个部件和整体轮廓的特征进行初步识别，并且在SVM分类器中得到了概率矩阵。在这里我们根据不同部件的区分力再使用SVM训练权重w＝(w₀,w₁,...,w_m)，将单个特征和部件的识别结果结合起来P＝w·D。P＝(P₁,P₂,...,P_i)表示属于所有类别的可能性，P_i表示目标物体属于第i个类别的可能性。所得到的识别的类别l是在P中得到最高值的元素的下标:l＝argmax_kP_k。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于部件的精细车型识别方法，其特征在于，对车辆前脸部件进行定义，包括七个语义性部件，分别是：车顶，左后视镜，挡风玻璃，右后视镜，左车头灯，进气口，右车头灯，且各部件间存在重叠区域，具体包括以下步骤：

2.根据权利要求1所述基于部件的精细车型识别方法，其特征在于：对车辆前脸部件进行定义的具体方法是：

步骤2.1:为实现精确的部件定位，在可变部件模型(DPM)的基础上加入了部件级的监督；使用自建数据集对SSDPM进行了训练，正样本数据为已标注车辆外框和部件外框的图像数据，负样本数据为正样本数据以外的图像数据；训练所得到的车辆检测模型由一个根滤波器和部件滤波器组成，具体表现形式为通过最大化即模型β在图像I中的得分取决于模型部件的定位p和可见状态V；其中β为检测模型(F₀,P₁,...,P_n,b)，F₀代表的是根滤波器，P_i代表的是第i个部件滤波器，b是一个偏置系数；

3.根据权利要求2所述基于部件的精细车型识别方法，其特征在于：所述步骤1中，对车辆进行特征提取的具体方法包括：

步骤3.1，全局特征提取：在部件定位的过程中，SSDPM已提取了车辆的HOG特征进行定位，于是直接采用HOG特征来表达车辆的整体特征，使用经典HOG描述子的实现，具体是：

4.根据权利要求1所述基于部件的精细车型识别方法，其特征在于：在步骤2中，对提取的全局和局部特征分别采用一对一的支持向量机(SVM)进行初步识别，，即针对多分类，每两类建立一个分类器，每个分类器对待识别样本进行投票，票数最多的类别作为最终的识别结果；由此对于每个待识别样本除了返回识别结果，还返回一个概率性向量，这一概率向量反映了该样本属于各个类别的概率；对于使用各个部件的特征分别进行分类，返回一个概率性矩阵D；D是一个M×N矩阵,每一列表示使用单个部件单个特征从初步识别中得到的可能性向量，M为可识别类别数，N为所使用的特征数量。

5.根据权利要求1所述基于部件的精细车型识别方法，其特征在于：所述步骤3中，使用一个投票机制来最大化的利用不同部件不同特征的区分力；在步骤2中，分别使用各个部件和整体轮廓的特征进行初步识别，并且在SVM分类其中得到了概率矩阵；在步骤3中，根据不同部件的区分力再使用SVM训练权重w＝(w₀,w₁,...,w_m)，将单个特征和部件的识别结果结合起来P＝w·D；P＝(P₁,P₂,...,P_i)表示属于所有类别的可能性，P_i表示目标物体属于第i个类别的可能性；所得到的识别的类别l是在P中得到最高值的元素的下标:l＝argmax_kP_k。

6.根据权利要求1所述基于部件的精细车型识别方法，其特征在于：在部件定位中加入了部件级监督和对称性约束，来实现目标车辆及其各部件的精确定位；最终得到检测模型为(F₀,P₁,...,P_n,b)，其中F₀代表的是根滤波器，P_i代表的是第i个部件滤波器，b是一个偏置系数。

7.根据权利要求3所述基于部件的精细车型识别方法，其特征在于：所述步骤3.2中，使用预训练的CNN，将各个部件作为输入来提取其细节特征，而不是将整个目标车辆作为输入；这样防止在CNN归一化输入的高清图片时丢失细节，避免对高度相似的无关部件进行特征提取。

8.根据权利要求1所述基于部件的精细车型识别方法，其特征在于：所述步骤3中，利用初步识别时SVM所得到的概率矩阵D，判别单个部件及其特征的区分力，D是一个M×N矩阵,每一列表示使用单个部件单个特征从初步识别中得到的可能性向量，M为可识别类别数，N为所使用的特征数量；以此训练权重w＝(w₀,w₁,...,w_m)将初步识别的结果结合起来，即P＝w·D，其中P＝(P₁,P₂,...,P_i)表示属于所有类别的可能性，P_i表示目标物体属于第i个类别的可能性；所得到的识别的类别l是在P中得到最高值的元素的下标:l＝argmax_kP_k。