CN109583305A - 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 - Google Patents

Abstract

本发明提供了一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，包括以下步骤：步骤1，对于给定的测试图像，通过改进的Faster R‑CNN获得车辆、车牌和车辆标志的区域；步骤2，如果测试图像的车牌被定位并且车牌字符被改进的端到端AlexNet网络识别，则对其进行识别和比较；步骤3，若识别出车辆标志，细粒度的车辆重识别方法使用除了不同车辆标志的图像外的测试集，否则，它将使用整个测试集；步骤4，在细粒度方法的基础上，利用紧凑双线性池来提取紧凑特征；步骤5，通过k‑倒数编码，将紧凑特征与k‑倒数特征相结合，对车辆重识别结果进行重新排序，本发明具有更好的车辆重识别率，具有准确识别车牌和区分细微差别的类似车辆的更强能力。

Description

一种基于关键部件识别和细粒度分类的车辆重识别的先进 方法

技术领域

本发明涉及车辆识别技术领域，具体为一种基于关键部件识别和细粒度分类的车辆重识别的先进方法。

背景技术

车辆识别不仅是智能城市交通的核心，也是计算机视觉研究的热点之一，并在车辆检测、车辆分类、车辆分割等各个领域已经得到了越来越广泛的应用。车辆重识别(本文简称Re-ID)，作为这个研究领域中一个新的具有挑战性和特殊性的课题，近年来吸引了越来越多的研究者。车辆重识别技术旨在不同复杂的环境中识别相同的车辆。在智能视频识别中它起着重要作用并且在许多领域有着广泛的应用。

随着世界各国对智慧城市建设的关注，监控摄像机在智能安全化的城市中得到了广泛的应用。同时，车辆重新识别问题也激起了相关领域人们的兴趣。随着研究的不断深入，车辆重识别在公共安全系统大规模监控视频的处理上提供了越来越多的帮助。

车辆重识别在视频识别的广泛应用中起着重要的作用，现有的方法大部分都使用简单而粗糙的特征，并且无法识别子类别里具有细微差别的车辆。在现有的车辆重识别的方法中很少有使用具有关键部件的特征，比如车牌和车标志。

发明内容

本发明的目的在于提供一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，包括以下步骤：

步骤1，对于给定的测试图像，通过改进的Faster R-CNN获得车辆、车牌和车辆标志的区域，并对车牌和车辆标志的错误候选项进行筛选；

步骤2，如果测试图像的车牌被定位并且车牌字符被改进的端到端AlexNet网络识别，则对测试集中的车牌字符进行识别和比较，确定测试图像的车牌字符是否与测试集中的车牌字符相同；

步骤3，若识别出车辆标志，细粒度的车辆重识别方法使用除了不同车辆标志的图像外的测试集，否则，它将使用整个测试集；

步骤4，在细粒度方法的基础上，利用紧凑双线性池来提取紧凑特征；

步骤5，通过k-倒数编码，将紧凑特征与k-倒数特征相结合，对车辆重识别结果进行重新排序。

进一步的，所述改进的Faster R-CNN为基于使用高斯混合聚类的改进的FasterR-CNN方法，为了得到车辆，车牌和车辆标志的最佳区域，高斯混合聚类被用来获得三个相对最优比值(宽长比)，利用最优比值得到候选框，将其与Faster R-CNN相结合来检测出车辆关键部件的最佳区域。

进一步的，在高斯混合聚类中，某数据集中的所有样本都可以用K高斯混合分布近似表示，从两个车辆数据集CompCars_logo和PKU_10K中提取一组样本V＝(v₁，v₂，...，v_m)，假设样本是二维数据v_j＝(w_j，h_j)^T，v_j从第(i＝1，2…k)产生的高斯分布的概率定义在式(1)中：

μ是一个二维向量和，∑是一个2×2的协方差矩阵，高斯混合分布定义为：

分布由k个分量组成，每个分量对应一个高斯分布，p_i＝{(α_i，μ_i，∑_i)|1≤i≤k}为第i个高斯混合的参数，而α_i(α_i＞0)为相应的混合系数，其中

参数的质量影响聚类结果，采用EM算法对高斯混合参数进行求值，在EM算法的每次迭代中，根据E步中的当前参数计算每个样本在K高斯分布上的后验概率，模型参数在M步中更新，重复这个过程，直到迭代次数达到最大值或者概率函数增长很少，用于估计高斯混合参数的EM算法包括以下两个步骤：E步和M步；

在E步中，根据公式(3)进行计算：

其中，l＝1...，k，i＝1，...，k；

在M步中，根据公式(4)、(5)、(6)进行计算：

其中，i＝1，...，k；由第i个高斯分量生成R_ji表示样本v_j的后验概率。

进一步的，所述Faster R-CNN的概述如下，对于一张图像，特征图由全卷积神经网络RPN进行处理，通过结合高斯混合区域，然后得到关键部件的候选框，最后，对车辆标志和车牌进行分类；

Faster R-CNN模型中的RPN网络，向CNN添加分类层和回归层，分类层将前景和背景分开，而回归层帮助预测候选框的位置和大小；

Faster R-CNN的损失函数为：

式中，i为小批量候选框的指标，p_i为第i个候选框中车辆关键部件的预测概率，如果候选框为正，则值为1，否则值为0，t_i表示预测框的4个参数坐标，表示正候选框对应的接地真值框的坐标向量，分类损失L_cls是两类目标和非目标的对数损失。

进一步的，所述改进的端到端AlexNet网络有8层结构，前两层均由卷积层、最大池层和归一化层组成，改进的端到端AlexNet网络从第三层到第四层使用相同的卷积层，第五层使用卷积层和最大池层，第六层是一个完全的连接层，第七、八层是7个平行的全连接层，用来识别车牌的每个字符；

改进的端到端AlexNet网络使用Softmax函数进行分类，Softmax函数为：

这里，g表示分类的数量，d是g的函数，每个d对应一个向量。

进一步的，所述细粒度的车辆重识别是区分子类别中有细微差别的车辆，双线性池的计算方法为：

其中s表示一系列空间位置，x_s是SIFT、HOG或卷积神经网络输出的局部描述符，并且B(X)的维数是c²；

对于两组局部描述符X和Y，使用线性核分类，使用公式(10)进行如下推导：

由上式(10)可知，比较算子等价于二阶多项式核，双线性汇聚方法具有一个二阶核机判别能力的线性分类器，车辆的双线性特征是高维的，为了减小维度，利用两个紧凑的双线性表示来提取微妙的车辆特征；

利用k(x，y)来表示二阶多项式核函数，当d＜＜c²时，寻找一些低维投影函数φ(x)∈R^d，即使维数降为d，(10)的内积近似等于原式(11)的内积，原式(11)的公式为：

其中

C(X)是紧线性特征，任何多项式核的低维都可以近似用作紧双线性池。

进一步的，所述重新排序方法在原有外观特征的基础上，将细粒度的车辆特征与k-倒数特征相结合，计算出最终距离，它用于获取排名列表；

原距离公式为：

其中，x_p和是探测车辆p的细粒度特征和查询图像集G＝{g_i|i＝1，2，...，N}中的元素之一，M是正定矩阵；

R(p，k)表示定义为式(14)的k-倒数最近邻：

R(p，k)＝{g_i|(g_i∈N(p，k))∧(p∈N(g_i，k))) (14)

为了解决在所有特殊情况下都不存在正像的问题，根据公式(15)中定义的条件，将R(p，k)中每个候选项的1/2k-倒数最近邻加到一个更大的集合R^*(p，k)中：

Jaccard距离用公式(16)计算：

最终距离由加权原始距离和Jaccard距离得到，如式(17)所定义：

d^*(p，g_i)＝(1-λ)d_J(p，g_i)+λd(p，g_i) (17)

在最终的分拣表中，按升序排序得到车辆排序表。

与现有技术相比，本发明的有益效果是：

本发明提出了一种针对关键部分进行预识别的方法，这种方法结合了高斯混合聚类和Faster R-CNN模型，可以定位出关键部件的最佳区域并减少误检；并通过改进的端对端的AlexNet网络来识别车牌字符，可以提高识别的准确度；还提出了一种基于紧双线性池并利用k-倒数编码重新排序的细粒度车辆重识别方法，从而提取更细微的特征来区分相似车辆；本发明具有更好的车辆重识别率，具有准确识别车牌和区分细微差别的类似车辆的更强能力。

附图说明

图1为本发明车辆重识别的先进方法整体框架图；

图2为本发明基于使用高斯混合聚类的Faster R-CNN的关键部件定位方法图；

图3为本发明类似车牌或车辆标志的物体图；

图4为本发明识别出一辆车的车辆标志图；

图5为本发明改进的端到端AlexNet网络框架图；

图6为本发明细粒度车辆重识别方法的体系结构图；

图7为本发明CompCars的车辆标志分类图；

图8为本发明每个类别的车辆标志数量实例图；

图9为本发明5种方法的CMC曲线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

本发明提供一种技术方案：一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其整体框架如图1所示，包括以下步骤：

步骤1，对于给定的测试图像，通过改进的Faster R-CNN获得车辆、车牌和车辆标志的区域，并对车牌和车辆标志的错误候选项进行筛选；

步骤2，如果测试图像的车牌被定位并且车牌字符被改进的端到端AlexNet网络识别，则对测试集中的车牌字符进行识别和比较，确定测试图像的车牌字符是否与测试集中的车牌字符相同；

步骤3，若识别出车辆标志，细粒度的车辆重识别方法使用除了不同车辆标志的图像外的测试集，否则，它将使用整个测试集；

步骤4，在细粒度方法的基础上，利用紧凑双线性池来提取紧凑特征；

步骤5，通过k-倒数编码，将紧凑特征与k-倒数特征相结合，对车辆重识别结果进行重新排序。

进一步的，所述改进的Faster R-CNN为基于使用高斯混合聚类的改进的FasterR-CNN方法，为了得到车辆，车牌和车辆标志的最佳区域，高斯混合聚类被用来获得三个相对最优比值(宽长比)，利用最优比值得到候选框，将其与Faster R-CNN相结合来检测出车辆关键部件的最佳区域，其方法概述如图2所示。

进一步的，在高斯混合聚类中，某数据集中的所有样本都可以用K高斯混合分布近似表示，从两个车辆数据集CompCars_logo和PKU_10K中提取一组样本V＝(v₁，v₂，...，v_m)，假设样本是二维数据v_j＝(w_j，h_j)¹，v_j从第(i＝1，2…k)产生的高斯分布的概率定义在式(1)中：

μ是一个二维向量和，∑是一个2×2的协方差矩阵，高斯混合分布定义为：

分布由k个分量组成，每个分量对应一个高斯分布，pi＝{(α_i，μ_i，∑_i)|1≤i≤k}为第i个高斯混合的参数，而α_i(α_i＞0)为相应的混合系数，其中

参数的质量影响聚类结果，采用EM算法对高斯混合参数进行求值，在EM算法的每次迭代中，根据E步中的当前参数计算每个样本在K高斯分布上的后验概率，模型参数在M步中更新，重复这个过程，直到迭代次数达到最大值或者概率函数增长很少，用于估计高斯混合参数的EM算法包括以下两个步骤：E步和M步；

在E步中，根据公式(3)进行计算：

其中，l＝1...，k，i＝1，...，k；

在M步中，根据公式(4)、(5)、(6)进行计算：

其中，i＝1，...，k；由第i个高斯分量生成R_ji表示样本v_j的后验概率。

通过实验，取k的值为3，三个不同的方向的比为(1.06，1.91，2.7)。经过部分舍入后，高宽比为(1，2，3)。基准候选框尺寸为8*8，尺度为(16，24，40)，聚类结果生成的9个候选框如图2所示。

现有的Faster R-CNN模型主要基于VOC2007上20个常用对象类的预训练模型，但不包括车牌和车辆标志，所以需要得到合适的数据库。首先，对CompCars_logo和PKU_10K两个车辆数据集中的车牌和车辆标志区域进行了标注。然后通过这两个数据集来微调FasterR-CNN。最后，得到了各车辆关键部件的候选区域。

进一步的，所述Faster R-CNN的概述如下，对于一张图像，特征图由全卷积神经网络RPN进行处理，通过结合高斯混合区域，然后得到关键部件的候选框，最后，对车辆标志和车牌进行分类；

Faster R-CNN模型中的RPN网络，向CNN添加分类层和回归层，分类层将前景和背景分开，而回归层帮助预测候选框的位置和大小；

Faster R-CNN的损失函数为：

式中，i为小批量候选框的指标，p_i为第i个候选框中车辆关键部件的预测概率，如果候选框为正，则值为1，否则值为0，t_i表示预测框的4个参数坐标，表示正候选框对应的接地真值框的坐标向量，分类损失L_cls是两类目标和非目标的对数损失，采用FasterR-CNN框架下的VGG网络对车牌进行定位和分类。

本发明为解决图3所示的类似车牌或车辆标志的道路物体被识别成车牌或车辆标志的错误检测问题，提出了关键部件识别的预识别方法。采用改进的基于高斯混合聚类的Faster R-CNN方法识别车辆、车牌和车辆标志区域，判断车牌和车辆标志的每个识别区域是否在一个识别区域内；如果是，则该区域有效，否则该区域无效。

一些现有的车辆重识别方法使用特殊的标记，如一些定制的油漆、最喜欢的装饰或划痕来识别车辆，但它们只适用于少数车辆，并不通用。本发明提出的方法使用车辆标志来帮助区分有细微的差别相似的车辆，小尺寸的车辆标志可能会导致较低的识别率。由于交通标志、交通灯等物体可能被误认为车辆标志，本发明改进后的对车辆标志识别的基于高斯混合聚类和预识别的Faster R-CNN方法可以提高小目标定位的准确性并减少误检。如图4所示，本发明成功的识别出一辆车的车辆标志，并且可以过滤掉带有与其不同标识的车辆，缩小数据库的搜索范围，然后使用细粒度的车辆重识别方法识别这些车辆，否则，需要搜索数据库中的所有车辆来识别相似的车辆。

为了提高车牌字符识别的准确率，减少传统算法中车牌字符分割错误对车牌字符识别的影响，本发明提出了一种改进的端到端AlexNet网络来进行车牌字符识别。虽然AlexNet网络在对象分类方面做得很好，但在车牌字符识别方面却做得不好。

进一步的，所述改进的端到端AlexNet网络有8层结构，前两层均由卷积层、最大池层和归一化层组成，改进的端到端AlexNet网络从第三层到第四层使用相同的卷积层，第五层使用卷积层和最大池层，第六层是一个完全的连接层，第七、八层是7个平行的全连接层，用来识别车牌的每个字符；其整体框架如图5所示。

改进的端到端AlexNet网络使用Softmax函数进行分类，Softmax函数为：

这里，g表示分类的数量，d是g的函数，每个d对应一个向量。

为了准确识别两幅图像是否是同一辆车的图像，双线性CNN模型在细粒度分类方面表现突出。但是，双线性特征具有高维性和较高的计算代价。此外，现有的车辆相关数据集也相对较少。许多重新排序方法无需额外的训练样本即可实现。

本发明提出了一种用于细粒度车辆重识别的方法。首先，使用先前的车辆标志对整个数据集进行预处理。当成功识别出车辆的车辆标志时，将通过以下过滤过程获得一个优化的数据集作为输入。整个数据集包括两种微小的数据集。第一种类型是成功地识别了车辆标志的微小的数据集。第二种类型是车辆标识无法清楚地识别的微小的数据集。如果无法检测到车辆标志样本，则使用整个数据集作为输入。然后，使用基于紧凑双线性池化的细粒度方法从上述优化数据集中提取出只有几千维的紧凑特征，其识别率与全双线性特征相同。最后，利用k-倒数编码方法，将压缩特征与k-倒数特征相结合来对车辆重识别结果进行重新排序。使用XQDA方法学习鲁棒的最终距离，其将原距离与Jaccard距离结合计算，从而得到排序列表。由于基于细粒度的紧凑特征代表了原始车辆外观特征，因此它提高了车辆重新识别的精度。图6显示了本发明提出的细粒度车辆重识别方法的体系结构。绿色和红色框分别对应于样本和错误匹配。

进一步的，细粒度车辆识别的主要挑战是区分子类别中有细微差别的车辆。在微妙的车辆特征提取方面，人们已经提出了双线性CNN模型，这种模型在细粒度分类中非常有效，双线性池的计算方法为：

其中s表示一系列空间位置，x_s是SIFT、HOG或卷积神经网络输出的局部描述符，并且B(X)的维数是c²；

对于两组局部描述符X和Y，使用线性核分类，使用公式(10)进行如下推导：

由上式(10)可知，比较算子等价于二阶多项式核，双线性汇聚方法具有一个二阶核机判别能力的线性分类器，车辆的双线性特征是高维的，为了减小维度，利用两个紧凑的双线性表示来提取微妙的车辆特征；

利用k(x，y)来表示二阶多项式核函数，当d＜＜c²时，寻找一些低维投影函数φ(x)∈R^d，即使维数降为d，(10)的内积近似等于原式(11)的内积，原式(11)的公式为：

其中

C(X)是紧线性特征，本发明推断任何多项式核的低维都可以近似用作紧双线性池。

因此，本发明利用两个紧双线性表示的判别能力作为全双线性表示来成功地获得了细粒度的车辆特征。

现有的车辆重识别方法都是为了达到较高的精度。重新排序对最终结果起着至关重要的作用。一些解决方案通过公制学习提取了一些低级车辆特征。然而，被提取的特性在不同的环境和车辆中并不固定。相反，复杂的车辆特性会增加处理时间。本发明提出了一种通过结合只有几千个维度的细粒度车辆特性新的重新排序方法来解决上述问题。

进一步的，所述重新排序方法在原有外观特征的基础上，将细粒度的车辆特征与k-倒数特征相结合，计算出最终距离，它用于获取排名列表；

原距离公式为：

其中，x_p和是探测车辆p的细粒度特征和查询图像集G＝{g_i|i＝1，2，...，N}中的元素之一，M是正定矩阵；

R(p，k)表示定义为式(14)的k-倒数最近邻：

R(p，k)＝{g_i|(g_i∈N(p，k))∧(p∈N(g_i，k))} (14)

为了解决在所有特殊情况下都不存在正像的问题，根据公式(15)中定义的条件，将R(p，k)中每个候选项的1/2k-倒数最近邻加到一个更大的集合R^*(p，k)中：

Jaccard距离用公式(16)计算：

最终距离由加权原始距离和Jaccard距离得到，如式(17)所定义：

d^*(p，g_i)＝(1-λ)d_J(p，g_i)+λd(p，g_i) (17)

最后，在最终的分拣表中，按升序排序得到车辆排序表。在排序表的顶部可能是同一辆车。因此，该方法在车辆识别中是非常有效的。

车辆标志和车牌是重要的特征。汽车标志可以帮助从相似车辆中识别出汽车制造商。车牌是识别汽车的唯一标志。CompCars的车辆标识分类如图7所示。

本发明是使用车辆上的车标和车牌来辅助车辆重识别。但是，这些特性在数据集CompCars中没有注释。为了研究更多与汽车相关的问题，不仅仅是车型分类、车型验证和属性预测，本发明对CompCars中的所有车辆标识和车辆进行了仔细的标注，考虑到CompCar里的车牌号是不可获得的，还对车辆数据集PKU里的车牌号上做了标注。

在丢弃掉没有包含车辆标志的图像后，本发明的新基准数据集包含了71334个图像。虽然本发明将CompCars中的所有车辆标志都作了标注，但是在不同类别的数量上仍然存在不平衡。这是不可避免的，因为CompCars中不同车型的数量是不平衡的。图8显示了每个类别的实例。

在这个新的基准数据集中，保留了超过1000个实例的类。这就剩下16个类要分类。本发明将这个总共有30169张图片的新数据集命名为CompCars_logo。为了增加车牌的数据量，通过在范围[-5，5]内的角度旋转将只有4000张图像的车辆数据集PKU扩展。因此，形成了一个12000张图像的新数据集“PKU_10K车辆数据集”。

1、关键部件检测实验：

为了验证本发明的有效性，通过平均精度(MAP)来评估“Faster R-CNN+GMM”框架的性能。对比实验采用了三种方法，“Faster R-CNN”，“YOLOv3”和“SSD”。数据集上的车辆标识尺寸非常小，这可能会影响到模型的最终测试准确度。因此，本发明使用CompCars_logo中的28655幅图像和PKU_10K车辆数据集中的8902幅图像进行模型训练，其余3740幅图像作为测试数据。现实中，交通标志、交通灯等小物体与汽车标志、车牌等关键部件非常相似，容易造成错误的识别。因此，本发明将在获得候选对象后要进行判断。如果对象出现在车辆区域内，确定该候选对象是车辆关键部件，否则不是车辆关键部件。

在定位任务中，由于训练数据充足，Faster R-CNN+GMM框架的损失函数收敛很快。与其他三种方法相比，本发明在所有测试数据集上都达到了最好的效果，如表1所示。本发明对车牌和车辆标志的识别度分别达到98.69％和66.52％。

表1关键部分定位测试图(％)

2、车牌字符识别实验：

为了验证车牌字符识别的有效性，本发明比较了不同车牌识别方法在PKU_10K车辆数据集上的结果。车牌识别结果如表2所示。在这里，召回率和精确度的计算使用公式(18)，(19)。

TP(True Positive)表示识别车牌字符是正确的。FN(False Negative)表示将车牌字符识别为其他字符是错误的。FP(False Positive)显示它识别其他字符作为车牌字符。

表2不同方法的比较

从表2中可以看出，本发明在车牌识别过程中具有较强的竞争性能，并且在召回和精度上有了较好的提高。

3、细粒度分类实验：

为了验证本发明的性能，本发明在重识别的大型城市监控车辆数据集VeRi上进行了实验。VeRi数据集包含了776辆车辆，这些车辆包含了大约9000条不同观点的轨道。数据集分为576辆用于培训的车辆和200辆用于测试的车辆。此外，该数据集还具有用于评估的查询图像。

为了支持细粒度车辆重识别的技术水平，本发明比较了构建的VeRi-776数据集上的其他方法。在这个数据集中，除了使用细粒度、LOMO和IDE特性外，还使用了FACT和BOW-CN。IDE的特性包括ResNet-50。对比试验结果见表3。

表3 Veri-776数据集上不同方法的比较

下面介绍了不同的车辆重识别方法：

(1)LOMO，这种先进的方法可以在复杂的环境下检测到个体重识别的区域特征。

(2)BOW-CN，Bag-of-Words是通过搜寻颜色名称描述符来重新标识个体的外观特征，这是一种手工方法。

(3)FACT，该方法融合了低层次的色彩、纹理和纹理手工制作的特征。

(4)PROVID，它是一种综合方法，包括了FACT，Plate-SNN，and spatiotemporalrelations(STR)的相似点。

(5)IDE(ResNet_50)，该方法利用ResNet模型0作为特征提取器，获得高层次特征。

(6)Softmax Loss VGGM，在深度神经网络的基础上，它使匹配对与不匹配对之间的相对距离最大化。

(7)本发明(粒度+XQDA+重新排序)，本发明包括两部分。它需要训练。在本发明实验中，通过细粒度网络提取特征，这是一个8046维的向量。

根据上述方法对Rank1和mAP的结果，本发明取得了更好的性能。另外，对VeRi数据集执行的top-5 Re-ID方法的CMC曲线如图9所示。可以发现LOMO，BOW-CN在车辆重识别方面都不如其他方法。与FACT相比，PROVID模型得到了进一步的改进。在车辆重识别方面，基于外观模型与Plate-SNN模型的逐步结合使mAP提高了10.03％，Rank1提高了11.09％。FACT包括颜色和纹理的低层次特征。PROVD方法在车辆重识别中应用了基于FACT的粗滤波、基于车牌特征的搜索和基于时空属性的车辆重新排序。特别地，本发明在有三重损失的深度网络中学习车牌特征。由于IDE(ResNet_50)和Softmax Loss VGGM在提取阶段使用了更多的特性，因此在车辆重识别中具有很好的表现。

与以前的方法相比，本发明有了很大的改进。总的来说，本发明在mAP上的改进达到了3.70％且在Rank1的改进达到了4.32％。如图9所示，可以观察到Softmax Loss VGGM和本发明比其他三种方法的匹配率更高。虽然Softmax Loss VGGM在VeRi数据集上取得了很好的性能，但从总体趋势来看，本发明的性能仍然略高于它。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：包括以下步骤：

步骤1，对于给定的测试图像，通过改进的Faster R-CNN获得车辆、车牌和车辆标志的区域，并对车牌和车辆标志的错误候选项进行筛选；

步骤2，如果测试图像的车牌被定位并且车牌字符被改进的端到端AlexNet网络识别，则对测试集中的车牌字符进行识别和比较，确定测试图像的车牌字符是否与测试集中的车牌字符相同；

步骤3，若识别出车辆标志，细粒度的车辆重识别方法使用除了不同车辆标志的图像外的测试集，否则，它将使用整个测试集；

步骤4，在细粒度方法的基础上，利用紧凑双线性池来提取紧凑特征；

步骤5，通过k-倒数编码，将紧凑特征与k-倒数特征相结合，对车辆重识别结果进行重新排序。

2.根据权利要求1所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：所述改进的Faster R-CNN为基于使用高斯混合聚类的改进的Faster R-CNN方法，为了得到车辆，车牌和车辆标志的最佳区域，高斯混合聚类被用来获得三个相对最优比值(宽长比)，利用最优比值得到候选区域，将其与Faster R-CNN相结合来检测出车辆关键部件的最佳区域。

3.根据权利要求2所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：在高斯混合聚类中，某数据集中的所有样本都可以用K高斯混合分布近似表示，从两个车辆数据集CompCars_logo和PKU_10K中提取一组样本V＝(v₁，v₂，...，v_m)，假设样本是二维数据v_j＝(w_j，h_j)^T，v_j从第(i＝1，2…k)产生的高斯分布的概率定义在式(1)中：

μ是一个二维向量和，∑是一个2×2的协方差矩阵，高斯混合分布定义为：

分布由k个分量组成，每个分量对应一个高斯分布，pi＝{(α_i，μ_i，∑_i)|1≤i≤k}为第i个高斯混合的参数，而α_i(α_i＞0)为相应的混合系数，其中

参数的质量影响聚类结果，采用EM算法对高斯混合参数进行求值，在EM算法的每次迭代中，根据E步中的当前参数计算每个样本在K高斯分布上的后验概率，模型参数在M步中更新，重复这个过程，直到迭代次数达到最大值或者概率函数增长很少，用于估计高斯混合参数的EM算法包括以下两个步骤：E步和M步；

在E步中，根据公式(3)进行计算：

其中，l＝1...，k，i＝1，...，k；

在M步中，根据公式(4)、(5)、(6)进行计算：

其中，i＝1，...，k；由第i个高斯分量生成R_ji表示样本v_j的后验概率。

4.根据权利要求2所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：所述Faster R-CNN的概述如下，对于一张图像，特征图由全卷积神经网络RPN进行处理，通过结合高斯混合区域，然后得到关键部件的候选框，最后，对车辆标志和车牌进行分类；

Faster R-CNN模型中的RPN网络，向CNN添加分类层和回归层，分类层将前景和背景分开，而回归层帮助预测候选框的位置和大小；

Faster R-CNN的损失函数为：

式中，i为小批量候选框的指标，p_i为第i个候选框中车辆关键部件的预测概率，如果候选框为正，则值为1，否则值为0，t_i表示预测框的4个参数坐标，表示正候选框对应的接地真值框的坐标向量，分类损失L_cls是两类目标和非目标的对数损失。

5.根据权利要求1所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：所述改进的端到端AlexNet网络有8层结构，前两层均由卷积层、最大池层和归一化层组成，改进的端到端AlexNet网络从第三层到第四层使用相同的卷积层，第五层使用卷积层和最大池层，第六层是一个完全的连接层，第七、八层是7个平行的全连接层，用来识别车牌的每个字符；

改进的端到端AlexNet网络使用Softmax函数进行分类，Softmax函数为：

这里，g表示分类的数量，d是g的函数，每个d对应一个向量。

6.根据权利要求1所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：所述细粒度的车辆重识别是区分子类别中有细微差别的车辆，双线性池的计算方法为：

其中s表示一系列空间位置，x_s是SIFT、HOG或卷积神经网络输出的局部描述符，并且B(X)的维数是c²；

对于两组局部描述符X和Y，使用线性核分类，使用公式(10)进行如下推导：

由上式(10)可知，比较算子等价于二阶多项式核，双线性汇聚方法具有一个二阶核机判别能力的线性分类器，车辆的双线性特征是高维的，为了减小维度，利用两个紧凑的双线性表示来提取微妙的车辆特征；

利用k(x，y)来表示二阶多项式核函数，当d＜＜c²时，寻找一些低维投影函数φ(x)∈R^d，即使维数降为d，(10)的内积近似等于原式(11)的内积，原式(11)的公式为：

其中

C(X)是紧线性特征，任何多项式核的低维都可以近似用作紧双线性池。

7.根据权利要求1所述的一种基于关键部件识别和细粒度分类的车辆重识别的先进方法，其特征在于：所述重新排序方法在原有外观特征的基础上，将细粒度的车辆特征与k-倒数特征相结合，计算出最终距离，它用于获取排名列表；

原距离公式为：

其中，x_p和是探测车辆p的细粒度特征和查询图像集G＝{g_i|i＝1，2，...，N}中的元素之一，M是正定矩阵；

R(p，k)表示定义为式(14)的k-倒数最近邻：

R(p，k)＝{g_i|(g_i∈N(p，k))∧(p∈N(g_i，k))} (14)

为了解决在所有特殊情况下都不存在正像的问题，根据公式(15)中定义的条件，将R(p，k)中每个候选项的1/2k-倒数最近邻加到一个更大的集合R^*(p，k)中：

Jaccard距离用公式(16)计算：

最终距离由加权原始距离和Jaccard距离得到，如式(17)所定义：

d^*(p，g_i)＝(1-λ)d_J(p，g_i)+λd(p，g_i) (17)

在最终的分拣表中，按升序排序得到车辆排序表。