CN111797700B - 一种基于细粒度判别网络与二阶重排序的车辆重识别方法 - Google Patents

Abstract

本发明提供了一种基于细粒度判别网络与二阶重排序的车辆重识别方法，所述方法主要由两个部分组成：细粒度判别网络和二阶段重排序算法；所述细粒度判别网络的整个网络架构采用多元损失来监督，由两部分组成：孪生网络和细粒度网络；所述二阶段重排序算法融合两部分的深度特征向量来计算最终的融合特征，并将其分为两个阶段。在本发明中，细粒度判别网络可用于提取更多细微特征并改进重排序方法。首先，将孪生网络和细粒度网络结合以提取融合特征。提取的特征具有更强的判别细微差异的能力。应用二阶段重排序算法来获得样本均值特征，然后将其添加到最终距离度量中，使得匹配列表中的前k个候选样本所包含的正样本数量增加了。

Description

一种基于细粒度判别网络与二阶重排序的车辆重识别方法

技术领域

本发明涉及车辆重识别技术领域，具体为一种基于细粒度判别网络与二阶重排序的车辆重识别方法。

背景技术

重识别的目的是在不同的拍摄场景和时间内识别相同的目标，它是计算机视觉中的一个重要领域分支，其中车辆重识别是热门的话题之一。一个最直接的方式是通过识别车牌来区分车辆是否对应于同一车型。若能准确识别车牌字符，车辆重识别则能获得很好的效果。然而监控录像的分析仍然存在着车牌缺省、图像分辨率模糊和光照也可能会因视角和相机性质而不同等问题。来自不同相机的监控视频也使得车辆重识别任务充满了挑战。

车辆重识别往往被认为是比行人重识别更加困难的检索任务，由于相同车型只能由细微差异区分出来。先前的几种方法主要聚焦于车辆的外观属性，比如颜色、形状、和车型。然而不同的车辆ID在特定情况下可能对应相同的车型，且同一相机捕获的不同车辆之间可能只存在较小的细微差异。不同车辆图像之间细微的实例间差异和同一车辆图像之间较大的实例内差异阻碍了车辆再识别性能的提高。很难根据简单的外观属性来区分车辆。导致较大的实例内与实例间的差异。

在对象关联中经常考虑到时空关系。一些方法结合时空和位置数据来估计每对车辆图像之间的关系，以改善重识别结果。然而缺少具有时空信息的数据集是一个关键问题，这也会产生额外的计算成本。细粒度分类也与重识别问题紧密相关。但是值得注意的是较小的视觉差异可能影响排名列表的准确性。

发明内容

本发明提供一种基于细粒度判别网络与二阶重排序的车辆重识别方法，旨在准确区分有着相似外观的不同ID的车辆，并获取更高质量的检索排名表。因此提出了一种混合架构来解决考虑到的车辆重识别问题。

为实现上述目的，本发明提供如下技术方案：一种基于细粒度判别网络与二阶重排序的车辆重识别方法，所述方法主要由两个部分组成：细粒度判别网络和二阶段重排序算法；

所述细粒度判别网络的整个网络架构采用多元损失来监督，由两部分组成：孪生网络和细粒度网络；首先，所述孪生网络将同步学习图像的深度特征，并通过鉴别损失和验证损失将图像对投射到欧几里得空间进行相似度映射；之后，所述细粒度网络应用细粒度分类损失来鉴别车辆间的细微差异；

所述二阶段重排序算法融合两部分的深度特征向量来计算最终的融合特征，并将其分为两个阶段；在第一阶段，从融合特征中获取k-倒数特征；在第二阶段，通过提取k-倒数最近邻的均值中心来计算样本均值特征；最终距离由马氏距离、欧氏距离和杰卡德距离加权获得，用于获取排名列表。

进一步的，所述孪生网络主要包含两个相同架构的子网络，它们在训练期间共享权重，共享的卷积神经网络同时结合鉴别损失和验证损失；

鉴别模型将重识别视为多分类任务，该模型在强标签信息的基础上通过监督学习获取深度网络表征；通过使用交叉熵损失，鉴别损失函数的定义与传统的softmax损失函数类似，可写成如下形式：

其中K表示训练集中的样本数；C表示总类数；

是目标车辆的正确概率；w＝[w₁,w₂,...,w_C]是预测车辆概率矩阵；w_t表示正确的车辆标签矩阵；f表示相应的提取特征；

反过来，验证模型将这问题作为二分类相似回归任务来解决，分析输入到网络中的图像对，预测它们是否对应同一类，孪生深度网络能够通过鉴别监督来学习欧氏空间中的相似度量；交叉熵损失仍然适用于训练验证模型，其公式如下:

其中G是图片对总数，

表示对应同一目标的图像对，当被检测图像对匹配同一目标时，

否则

添加了一个正方形层来融合从孪生网络中提取的特征，这两个输入特征向量由(f₁-f₂)²计算，然后得到融合特征；w_s代表正确检测到的车辆标签的矩阵。

进一步的，所述细粒度网络使用紧凑的双线性池化方法获得细粒度特征，用紧凑双线性池化层取代原始池化层，并添加了signed square-root层

且使用L2正则化层执行归一化步骤；通过使用紧凑双线性层提取全局图像描述符如下公式所示：

其中S表示一系列空间位置，X＝(x₁,...,x_|S|)表示一系列局部描述符，X_S是从HOG、SIFT或者通过基于卷积神经网络的前向反馈的局部描述符；

所述细粒度网络在训练过程中被细粒度损失所监督学习，使用softmax损失函数作为细粒度损失函数，可以将其定义为：

其中K表示训练集中的样本数；C表示总类数；

表示目标车辆的正确率，w＝[w₁,w₂,...,w_C]是预测车辆的概率矩阵，w_t表示正确车辆标签矩阵；f表示对应提取的细粒度特征；且λ是L2正则化的参数；

在强辨别力的细粒度网络的两个分支网络中提取特征，然后将它们合并，融合方法是基于简单的维度叠加，计算公式如下：

f_all＝[f₁,f₂,...,f_N] (5)

其中N表示子网数，且f_N是第N个被提取出的特征向量。

进一步的，所述二阶段重排序算法在第一阶段，采用k-reciprocal编码方法获取k-reciprocal特征，假设定义N张图像的gallery测试集为G＝{g_i|i＝1,2,...N}，H(p,k)＝{g₁,g₂,···,g_k}是相似度前k个的样本集，根据公式(6)定义；N(g_i,k)表示g_i的前k个相似样本集，假设两个集合相似，它们的交集则是与候选目标p最相似；

H(p,k)＝{g_i|(g_i∈N(p,k))∩(p∈N(g_i,k))} (6)

添加每个候选对象的1/2k-reciprocal最近邻到一个更鲁棒的集合中，使得更多的积极样本集在匹配列表的前面：

排名靠前的样本的置信度往往受到邻近样本的影响；

在第二阶段，在使用融合特征计算H(p,k)后，定义p的置信度项

来增强正样本的置信度以检索排名列表，这个选择策略是选取前k个样本之间的均值候选样本，根据如下公式(8)获得：

鲁棒集合

由目标车辆p的均值候选样本

计算而来；

应用杰卡德距离来测量两个集合的差异，若两张图片相似，它们的k-reciprocal最近邻集合就会有更多的重叠样本区域，p与g_i的杰卡德距离计算如下：

最终距离d^*由马氏距离、欧氏距离和杰卡德距离加权而得，定义如下：

其中d_M(p,g_i)表示p与g_i间的欧氏距离；d_E(p,g_i)是p与g_i间的马氏距离；d_J(y,g_i)是y与g_i间的杰卡德距离；y包含p和

与现有技术相比，本发明的有益效果是：

在本发明中，提出了一种基于细粒度判别网络与二阶重排序的车辆重识别方法。细粒度判别网络可用于提取更多细微特征并改进重排序方法。首先，将孪生网络和细粒度网络结合以提取融合特征。由于验证损失，鉴别损失和细粒度损失的综合影响，提取的特征具有更强的判别细微差异的能力。应用二阶段重排序算法来获得样本均值特征，然后将其添加到最终距离度量中，使得匹配列表中的前k个候选样本所包含的正样本数量增加了。

附图说明

图1为与车辆重识别相关挑战图；

图2为本发明结构框架图；

图3为细微特征信息对车辆重新识别的影响图；

图4为重排序的第二阶段中候选的选择和鲁棒集的定义过程示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

现有重识别方法的挑战在于相同车型的车辆之间的细微差异以及缺少高排名的正确样本。图1(a)-(d)展示了几个有着相似外观的不同ID的车辆之间的细微差异的样例，这些样例来自两个基准数据集，分别叫做VeRi-776和VehicleID。图1(a)和(b)展示的车辆外观十分相似，因此它们可以通过特殊标记来区分，例如汽车引擎盖和挡风玻璃上的贴纸。相同车型的车辆只能通过部分细微差异来区分。再举个例子，图1(c)可以通过判断在两个车顶上是否有接收天线设备，和图1(d)中轮毂样式是否相同来进行区别。匹配列表的重排序方法在重识别中也是至关重要的。图1(e)展示了一个待识别车辆样本的前十排名相似样本的候选图像。虚线框代表一个错误样本，实线框对应一个正确样本。

本发明一种基于细粒度判别网络与二阶重排序的车辆重识别方法，其结构框架如图2所示，主要由两个部分组成：细粒度判别网络和二阶段重排序算法。所提出的细粒度判别网络作为第一个部分。细粒度判别网络的流程如图2的左侧所示。整个网络架构采用多元损失来监督。它由两部分组成：孪生网络和细粒度网络。首先，孪生网络将同步学习图像的深度特征，并通过鉴别损失和验证损失将图像对投射到欧几里得空间进行相似度映射。之后，细粒度网络应用细粒度分类损失来鉴别车辆间的细微差异。所提出的二阶段重排序方法如图2的右侧所示。它意味着融合两部分的深度特征向量来计算最终的融合特征，并将其分为两个阶段。在第一阶段，我们从融合特征中获取k-倒数特征。在第二阶段，通过提取k-倒数最近邻的均值中心来计算样本均值特征。最终距离由马氏距离、欧氏距离和杰卡德距离加权获得，用于获取排名列表。

图2提出的车辆再识别架构概述。首先，将数据集输入到网络中。然后细粒度判别网络部分包括图上半部分的孪生网络和下半部分的细粒度网络。最后，对两个子网进行二阶重排序算法被用于合并两个子网络的特征向量，通过两阶段的计算得到最终距离。

在图2左侧所示，引入孪生网络。该网络主要包含两个相同架构的子网络，它们在训练期间共享权重。共享的卷积神经网络同时结合鉴别损失和验证损失。因此，两个卷积神经网络能由验证监督共同监督管理，又能由鉴定监督分别管理。

鉴别模型将重识别视为多分类任务。该模型在强标签信息的基础上通过监督学习获取深度网络表征。通过使用交叉熵损失，鉴别损失函数的定义与传统的softmax损失函数类似，可写成如下形式：

其中K表示训练集中的样本数；C表示总类数；

是目标车辆的正确概率；w＝[w₁,w₂,...,w_C]是预测车辆概率矩阵；w_t表示正确的车辆标签矩阵；f表示相应的提取特征。

反过来，验证模型将这问题作为二分类相似回归任务来解决。分析输入到网络中的图像对，预测它们是否对应同一类。孪生深度网络能够通过鉴别监督来学习欧氏空间中的相似度量。更值得注意到的是对比损失的存在可能导致数据大小有过拟合的风险。因此交叉熵损失仍然适用于训练验证模型，其公式如下:

其中G是图片对总数，

表示对应同一目标的图像对。当被检测图像对匹配同一目标时，

否则

在目前的研究中，添加了一个正方形层来融合从孪生网络中提取的特征。这两个输入特征向量由(f₁-f₂)²计算，然后得到融合特征。w_s代表正确检测到的车辆标签的矩阵。

尽管鉴别损失和验证损失可以以相当可观的区别能力来促进特征提取，可是仍然存在一些缺陷。首先，很多输入的积极样本对存在着细微的差异使得网络不能有效地学习细微特征。在车辆重识别的问题中，相似外观的车辆可能属于不同的ID。然而，属于同一类ID的车辆由于各种各样的角度和光照条件的原因，也会被错误匹配。图3说明了这种现象，鉴于角度和相似外观因素，人们经常误判图中的车辆A和B，并将他们看作是同一目标。实际上，车辆A和车辆C才属于同一车辆。为了缓解这个问题，可以将深度网络应用于提取精确和可区分的特征当中。目前，在图像分类中采用细粒度网络获取优异的性能。然而提取的特征是高维的，可能达到数百万的级别，这使得计算负荷过大且难以处理。

基于先前的车辆重识别效果，本发明使用紧凑的双线性池化方法获得细粒度特征。涉及的分支网络是基于VGC-16模型。该模型用紧凑双线性池化层取代原始池化层，并添加了signed square-root层

且使用L2正则化层执行归一化步骤。通过使用紧凑双线性层提取全局图像描述符如下公式所示：

其中S表示一系列空间位置，X＝(x₁,...,x_|S|)表示一系列局部描述符。X_S是从HOG、SIFT或者通过基于卷积神经网络的前向反馈的局部描述符。

使用细粒度分类网络的主要挑战是是否能有效地从图像中检测和提取重要的局部区域信息。这些特定地信息区域对于识别车辆图像间的细微差异至关重要。从上述得出结论，紧凑双线性层可以成功地用于组合与图像不同局部位置地对应特征，从而获得有区分的全局表征向量来表示细粒度特征。此外，归一化步骤被执行，其中紧凑双线性向量将通过signedsquare-root层和L2正则化层。

图2的左下部分展示了这种特别添加的网络结构。为了提取车辆的细粒度特征，该子分支网络在训练过程中被细粒度损失所监督学习。还使用softmax损失函数作为细粒度损失函数，可以将其定义为：

其中K表示训练集中的样本数；C表示总类数；

表示目标车辆的正确率。w＝[w₁,w₂,...,w_C]是预测车辆的概率矩阵，w_t表示正确车辆标签矩阵；f表示对应提取的细粒度特征；且λ是L2正则化的参数。

在强辨别力的细粒度网络的两个分支网络中提取特征，然后将它们合并。融合方法是基于简单的维度叠加，计算公式如下：

f_all＝[f₁,f₂,...,f_N] (5)

其中N表示子网数，且f_N是第N个被提取出的特征向量。

公式(5)的计算方法虽然简明；但它能够有效地保留强辨别力的特征。图2右方展示12288维的融合特征向量，包含由孪生网络和细粒度网络部分获取的4096和8192维的输出特征。

本发明提出了一种基于车辆重识别的两阶段重排序算法，用于确定车辆之间的特性和差异。

在第一阶段，采用k-reciprocal编码方法获取k-reciprocal特征。假设定义N张图像的gallery测试集为G＝{g_i|i＝1,2,...N}。H(p,k)＝{g₁,g₂,···,g_k}是相似度前k个的样本集，根据公式(6)定义。N(g_i,k)表示g_i的前k个相似样本集。假设两个集合相似，它们的交集则是与候选目标p最相似；

H(p,k)＝{g_i|(g_i∈N(p,k))∩(p∈N(g_i,k))} (6)

由于光照、姿态、视角等一系列变化，正样本可能会被排除到排序列表外，通过添加每个候选对象的1/2k-reciprocal最近邻到一个更鲁棒的集合中，这样使得更多的积极样本集在匹配列表的前面：

排名靠前的样本的置信度往往受到邻近样本的影响。

在第二阶段，在使用融合特征计算H(p,k)后，定义p的置信度项p来增强正样本的置信度以检索排名列表。这个选择策略是选取前k个样本之间的均值候选样本，可以根据如下公式(8)获得：

鲁棒集合

由目标车辆p的均值候选样本

计算而来。图4展示了

的形成过程。首先，设置图像Q作为目标车辆，且图像C是图4第一行中H(Q,20)的均值样本。然后，在第二行得到H(C,20)。最后，再将H(C,20)中候选的1/2k-reciprocal最近邻添加到图4第三行和第四行的H^*(C,20)中。H^*(C,20)比H(Q,20)拥有更多正样本。相应地，均值候选样本

的k-reciprocal最近邻可以更好地反应出目标车辆p的匹配列表中很难辨别的正样本。

应用杰卡德距离来测量两个集合的差异。若两张图片相似，它们的k-reciprocal最近邻集合就会有更多的重叠样本区域。p与g_i的杰卡德距离计算如下：

最终距离d^*由原始距离(马氏距离和欧氏距离)和杰卡德距离加权而得，定义如下：

其中d_M(p,g_i)表示p与g_i间的欧氏距离；d_E(p,g_i)是p与g_i间的马氏距离；d_J(y,g_i)是y与g_i间的杰卡德距离；y包含p和

表1、2展示了本发明提出的方法与现有方法的对比实验结果。对VeRi-7767上的结果，可以看出，在所有提及的车辆重新识别方法中，本发明所提出的方法均取得了最佳结果。LOMO和BOW-CN就手工特征而言表现不佳。采用深度网络学习语义特征的FACT和孪生-虚拟达到可接受的性能。XVGAN和VAMI通过生成多视图表示改善了车辆重识别的结果。它们专注于利用多视图信息获取全局特征，而不是提取细粒度特征。然而它们无法准确地区分车辆的细微差别，因为在相同视点中捕获的相同型号车辆的外观仍然相似。由于结合了孪生网络中的验证和识别，DLCNN的性能优于上述方法。相较于DLCNN，本发明提出的方法在mAP方面获得了11.97％的收益，在rank-1准确性上提高了5.72％。与在VeRi-776上的结果相似，VGG+CCL和MixedDiff+CCL也证明了利用改进的损失函数的卷积神经网络来提取VehicleID中的语义特征的有效性。然而，它们不能精确区分车辆间的细微差异。在小规模测试数据集的情况下，与次优方法(DLCNN)相比，本发明所提出的方法的rank-1准确率提高了4.01％的，rank-5准确率提高了2.34％。在中规模和大型测试数据集的情况下，本发明所提出的方法的rank-1的准确率也分别提高了5.31％和5.29％，rank-5的准确率也分别提高了3.75％和5.25％。通过评估VeRi-776和VehicleID，我们可以观察到通过提取细粒度特征可以显着提高性能。这表明，与其他考虑的最新方法相比，本发明所提出的方法可以更好地区分相似的车辆。

表1 VeRI-776数据集上的各算法的实验结果

表2 VehicleID数据集上的各算法的实验结果

应用重排序方法也能改进车辆重识别的结果。因此，我们利用两个重排序方法来评估上述数据集。表3和4展示了在VeRi-776和VehicleID数据集上的结果。“Base”表示提出的细粒度判别网络，“Base+TR”对应使用两阶段重排方法的整个网络。Zhong等人提出了k-reciprocal编码方法来改善行人重识别的结果，Zhong中描述的方法允许在提出的基本模型上获得其他改进。然而，与Zhong中提出的方法相比，TR方法具有更好的性能。因此，与其他两种方法相比，本发明可以更有效地改进重新排名结果。

表3 VeRi-776数据集中有无度量方法的比较结果

表4 VehicleID数据集中有无度量方法的比较结果

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于细粒度判别网络与二阶重排序的车辆重识别方法，其特征在于：所述方法主要由两个部分组成：细粒度判别网络和二阶段重排序算法；

所述细粒度判别网络的整个网络架构采用多元损失来监督，由两部分组成：孪生网络和细粒度网络；首先，所述孪生网络将同步学习图像的深度特征，并通过鉴别损失和验证损失将图像对投射到欧几里得空间进行相似度映射；之后，所述细粒度网络应用细粒度分类损失来鉴别车辆间的细微差异；

所述孪生网络主要包含两个相同架构的子网络，它们在训练期间共享权重，共享的卷积神经网络同时结合鉴别损失和验证损失；

鉴别模型将重识别视为多分类任务，该模型在强标签信息的基础上通过监督学习获取深度网络表征；通过使用交叉熵损失，鉴别损失函数的定义为如下形式：

其中K表示训练集中的样本数；C表示总类数；

是目标车辆的正确概率；w＝[w₁,w₂,...,w_C]是预测车辆概率矩阵；w_t表示正确的车辆标签矩阵；f表示相应的提取特征；

反过来，验证模型将这问题作为二分类相似回归任务来解决，分析输入到网络中的图像对，预测它们是否对应同一类，孪生深度网络能够通过鉴别监督来学习欧氏空间中的相似度量；交叉熵损失仍然适用于训练验证模型，其公式如下:

其中G是图片对总数，

表示对应同一目标的图像对，当被检测图像对匹配同一目标时，

否则

添加了一个正方形层来融合从孪生网络中提取的特征，这两个输入特征向量由(f₁-f₂)²计算，然后得到融合特征；w_s代表正确检测到的车辆标签的矩阵；

所述细粒度网络使用紧凑的双线性池化方法获得细粒度特征，用紧凑双线性池化层取代原始池化层，并添加了signed square-root层

且使用L2正则化层执行归一化步骤；通过使用紧凑双线性层提取全局图像描述符如下公式所示：

其中S表示一系列空间位置，X＝(x₁,...,x_|S|)表示一系列局部描述符，X_S是从HOG、SIFT或者通过基于卷积神经网络的前向反馈的局部描述符；

所述细粒度网络在训练过程中被细粒度损失所监督学习，使用softmax损失函数作为细粒度损失函数，其定义为：

其中K表示训练集中的样本数；C表示总类数；

表示目标车辆的正确率，w＝[w₁,w₂,...,w_C]是预测车辆的概率矩阵，w_t表示正确车辆标签矩阵；f表示对应提取的细粒度特征；且λ是L2正则化的参数；

在强辨别力的细粒度网络的两个分支网络中提取特征，然后将它们合并，融合方法是基于简单的维度叠加，计算公式如下：

f_all＝[f₁,f₂,...,f_N] (5)

其中N表示子网数，且f_N是第N个被提取出的特征向量；

所述二阶段重排序算法融合两部分的深度特征向量来计算最终的融合特征，并将其分为两个阶段；在第一阶段，从融合特征中获取k-倒数特征；在第二阶段，通过提取k-倒数最近邻的均值中心来计算样本均值特征；最终距离由马氏距离、欧氏距离和杰卡德距离加权获得，用于获取排名列表；

所述二阶段重排序算法在第一阶段，采用k-reciprocal编码方法获取k-reciprocal特征，假设定义N张图像的gallery测试集为G＝{g_i|i＝1,2,...N}，H(p,k)＝{g₁,g₂,···,g_k}是相似度前k个的样本集，根据公式(6)定义；N(g_i,k)表示g_i的前k个相似样本集，假设两个集合相似，它们的交集则是与候选目标p最相似；

H(p,k)＝{g_i|(g_i∈N(p,k))∩(p∈N(g_i,k))} (6)

添加每个候选对象的1/2k-reciprocal最近邻到一个更鲁棒的集合中，使得更多的积极样本集在匹配列表的前面：

排名靠前的样本的置信度受到邻近样本的影响；

在第二阶段，在使用融合特征计算H(p,k)后，定义p的置信度项p来增强正样本的置信度以检索排名列表，这个选择策略是选取前k个样本之间的均值候选样本，根据如下公式(8)获得：

鲁棒集合

由目标车辆p的均值候选样本

计算而来；

应用杰卡德距离来测量两个集合的差异，若两张图片相似，它们的k-reciprocal最近邻集合就会有更多的重叠样本区域，p与g_i的杰卡德距离计算如下：

最终距离d^*由马氏距离、欧氏距离和杰卡德距离加权而得，定义如下：

其中d_M(p,g_i)表示p与g_i间的欧氏距离；d_E(p,g_i)是p与g_i间的马氏距离；d_J(y,g_i)是y与g_i间的杰卡德距离；y包含p和

Images