CN112966736B - 一种基于多视角匹配与局部特征融合的车辆再识别方法 - Google Patents

Abstract

本发明提供了一种基于多视角匹配与局部特征融合的车辆再识别方法，包括：首先利用生成对抗网络，训练不同视角相互转化的生成器，分别利用生成器对数据集中的图像单一视角生成多视角图像；然后，对生成后的图像进行特征可靠性分析，根据原始图像和生成图像的判别性特征，按照生成图像下特征提取策略进行局部显著特征提取；最后，设计多视角融合算法，按照视角的重要程度分配权重，得到包含丰富视角信息的特征向量，实现车辆的精准再识别。本发明所提出的基于多视角匹配与局部特征融合的车辆再识别方法解决了跨时空场景下同一目标不同视角图像的相互匹配问题，有效提高了车辆再识别精度。

Description

一种基于多视角匹配与局部特征融合的车辆再识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于多视角匹配与局部特征融合的车辆再识别方法。

背景技术

公共安全是人民群众基本的需求。由于视频侦查在案件侦破、治安态势预警、大规模群体事件感知和预防等方面发挥着不可取代的重要作用，国家和社会对监控视频智能分析技术提出了更高的要求。车辆监控是视频监控的核心之一，是实现智慧交通和智能安防的基础，单纯依靠人力来识别跨摄像头下的车辆不能够满足城市交通管理和视频监控安防的需求，且会消耗大量的人力和财力。因此，基于计算机视觉技术的车辆再识别方法应运而生，车辆再识别技术成为一个热点问题，吸引了计算机视觉和人工智能领域的广泛关注。

车辆再识别技术针对图像中显著信息较少的情况，充分利用车体信息，提取视觉特征，判断不同场景下出现的车辆是否属于同一辆车，为视频监控以及公共安全提供可靠的依据，能够为未来的公路智能交通系统提供关键的技术支持。

当前车辆再识别领域采取的主要方法为根据深度神经网络，学习车辆的外观属性(颜色，纹理，形状，种类)，对提取的图像车辆特征向量进行分析，选取特定的损失函数，训练分类器模型。然而，视频监控设备采集的单一角度车辆的外观信息总是有限的，对于同一型号不同ID的车判断效果不佳。针对于上述问题，为了改进单一的只用视觉信息的再识别方法，国内外学者提出了自适应特征学习技术构造一系列候选视觉-时空路径来查询图像的起始和结束状态，确定车辆身份，来减轻测试环境中标记视频的要求。但是数据集的时空信息较少，采集较为麻烦，虽然能在一定程度上提高识别精度，但不适用于大规模复杂场景。

车辆再识别技术最近几年虽然取得较大进步，但精度仍然无法达到令人满意程度，主要存在时空信息难以获得、车辆多视角信息难以生成、车辆局部特征提取效果不好等问题，严重阻碍了车辆再识别算法性能的提升。

因此，如何克服多视角难以匹配问题，提高车辆再识别的识别精度是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于多视角匹配与局部特征融合的车辆再识别方法，本发明所提出的基于多视角匹配的车辆再识别方法解决了不同视角图像的相互匹配问题，能够有效提高车辆再识别精度，大规模时空场景中能够高效识别不同拍摄角度下属于同一车辆的图像。

为了实现上述目的，本发明采用如下技术方案：

一种基于多视角匹配与局部特征融合的车辆再识别方法，包括如下步骤：

步骤1：随机选取车辆再识别数据集中的多张图像进行视角标注，利用预训练的深度残差神经网络，训练视角分类模型，然后利用训练后的视角分类模型对车辆再识别数据集中的所有图像进行视角分类；

步骤2：根据所述步骤1中的视角分类结果，利用生成对抗网络，训练通过单一视角图像生成其他视角图像的视角生成器，训练判别生成视角图像正确性的判别器，然后对车辆再识别数据集中的所有图像生成对应的不同视角图像；

步骤3：对所述步骤2中生成的视角图像进行特征分析与检测，提取可靠特征和不可靠特征，对原单一视角图像提取通用特征和强特征，然后根据所有不同视角图像和特征定义，利用目标检测工具进行局部显著特征检测；

步骤4：设计局部特征融合网络，将所述S2中的包含所有视角的车辆图像和所述S3中的局部显著特征分别输入到卷积神经网络中，选取三元组损失函数，训练车辆再识别模型，提取包含视角信息和局部信息的特征向量，按照多视角匹配规则算法，计算特征相似度。

优选的，所述车辆再识别数据集存储多个车辆监控设备获取的图像，每张所述图像为单一视角图像，所述车辆再识别数据集包括同一车辆的不同的单一视角图像。

优选的，所述步骤1中进行所述车辆视角分类具体包括如下步骤：

步骤11：随机选取所述车辆再识别数据集中的多张图像，对所述图像进行车头、车尾、侧面、尾-侧、头-侧五种视角的标注，且每张图片被赋予一个视角标注，将标注后图像输入至所述深度残差神经网络，训练视角分类模型。

步骤12：根据训练完成的视角分类模型，对所述车辆再识别数据集中的所有图像进行视角分类，得到所有图像的视角标注。

优选的，所述步骤2中进行车辆不同视角图像的生成具体包括如下步骤：

步骤21：根据所述步骤12中的视角分类结果，将当前视角标注的图像输入至生成对抗神经网络，标签是图像中目标生成的视角，即所述步骤12中得到的所有图像的视角标注；使用循环生成网络损失函数，训练得到通过当前单一视角图像生成其他视角图像的视角生成器，训练得到判别所生成视角图像正确性的判别器；

步骤22：根据所述视角生成器，分别对车辆再识别数据集中的单一视角图像进行其他视角图像生成，获得每个车辆对应多张视角图像的车辆再识别数据集；

步骤23：得到生成视角图像两两对应的视角生成器和判别器，包括车头图像生成车尾图像、车尾图像生成车头图像、车尾图像生成车侧图像、车侧图像生成车尾图像。

优选的，所述步骤3中进行图像特征分析与检测包括步骤：

步骤31：对所述步骤22中的生成图像提取可靠特征和不可靠特征，其中，车头和车尾包含可靠特征区域和不可靠特征区域，侧面包含不可靠特征区域；

步骤32：对所述步骤1中车辆再识别数据集中的原单一视角图像提取通用特征和强特征；

步骤33：对所述步骤31-32中的所有特征，利用目标检测工具进行局部显著特征检测，获得图像的局部显著特征的位置坐标。

优选的，所述步骤33具体包括如下步骤：

步骤331：对不同视角的车辆图像的特征区域进行标注，然后利用这些图像作为训练集，利用目标检测工具训练特征区域检测模型；

步骤332：利用所述特征区域检测模型获得挡风玻璃和车灯的位置，由挡风玻璃和车灯的位置，推断出车标和天窗的位置。

优选的，所述步骤4具体包括如下步骤：

步骤41：选择基于Batch hard的三元组损失函数，从所述步骤3获得的所有不同视角图像及对应的局部显著特征中，其中，所述所有不同视角图像包括原单一视角图像和生成视角图像，确定目标识别图像，并选取离在目标识别图像距离最近的负样本图像，和离所述目标识别图像距离最远的正样本图像，所述目标识别图像、所述正样本图像和所述负样本图像组成三元组，将所述三元组输入到采用所述三元组损失函数的深度残差神经网络中，提取图像的所述全局和局部特征向量并进行加权拼接，作为特征向量，训练车辆再识别模型；

步骤42：对所述步骤41中的所述深度残差神经网络设置参数batch size、epoches、设置学习率和输入图像大小，对所述车辆再识别模型进行测试评估，调整训练参数；

步骤43：使用所述步骤42中的车辆再识别模型，提取所述车辆再识别数据集中图像的特征向量，然后针对特征可靠性问题，按照多视角匹配规则算法进行性能修正。

优选的，所述步骤4之后还包括：

步骤5：根据所述步骤4中特征向量提取方法，按照多视角匹配规则算法，对车辆再识别数据集中的所有图像提取特征向量，然后计算待查询图像与候选图像集中图像的特征相似度。其中，候选图像集中包含原始图像对应的目标视角图像，也包含不同车辆ID的图像。

经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：

本发明公开提供了一种基于多视角匹配与局部特征融合的车辆再识别方法，本方法利用生成对抗网络，训练车头生成车尾、车尾生成车头等不同视角相互转化的生成器，分别利用这两个生成器对数据集中的图像单一视角生成多视角图像；然后，对生成后的图像进行特征可靠性分析，对原始图像和生成图像的判别性特征进行定义和权重分配，按照生成图像下特征提取策略进行特征提取；最后，设计多视角融合算法，按照视角的重要程度分配权重，得到包含丰富视角信息的特征向量，实现车辆的精准再识别。本发明所提出的基于多视角匹配与局部特征融合的车辆再识别方法解决了不同视角图像的相互匹配问题，能够有效提高车辆再识别精度，大规模时空场景中能够高效识别不同拍摄角度下属于同一车辆的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；

图1为本发明实施例提供的一种基于多视角匹配与局部特征融合的车辆再识别方法的流程图；

图2为本发明实施例提供的VeRi-776数据集上进行车辆再识别的TopN 效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于多视角匹配与局部特征融合的车辆再识别方法，在车辆再识别之前引入车辆多视角生成模型，丰富车辆再识别数据集图像的视角信息，对生成特征的可靠性进行分析，能够有效提高车辆再识别精度，具有较强的稳定性和鲁棒性，在大规模时空场景中能够高效识别不同拍摄背景中属于同一车辆的图像。

参见图1，为本实施例公开的一种基于多视角匹配与局部特征融合的车辆再识别方法的流程图。首先利用生成对抗网络，训练车头生成车尾、车尾生成车头等不同视角相互转化的生成器，分别利用这两个生成器对数据集中的图像单一视角生成多视角图像；然后，对生成后的图像进行特征可靠性分析，对原始图像和生成图像的判别性特征进行定义和权重分配，按照生成图像下特征提取策略进行特征提取；最后，设计多视角融合算法，按照视角的重要程度分配权重，得到包含丰富视角信息的特征向量，实现车辆的精准再识别。包括如下步骤：

S1：随机选取车辆再识别数据集中的多张图像进行视角标注，利用预训练的深度残差神经网络，训练视角分类模型，然后利用训练后的视角分类模型对车辆再识别数据集中的所有图像进行视角分类。

在一个实施例中，S1具体执行步骤包括：

S11：随机选取车辆再识别数据集中的多张图像，对图像进行车头、车尾、侧面、尾-侧、头-侧五种视角的标注，且每张图片被赋予一个视角标注，将标注后图像输入至深度残差神经网络，训练视角分类模型。

本实施例中，随机选取所述车辆再识别数据集中的图像，对车头、车尾、侧面、尾-侧、头-侧五种角度分别标注500张图像，90％的数据作为训练集， 10％的数据作为测试集，选取所述深度残差神经网络，训练五分类模型，调整所述模型参数。车辆再识别数据集存储多个车辆监控设备获取的图像，每张图像为单一视角图像，车辆再识别数据集包括同一车辆的不同的单一视角图像。

S12：根据训练完成的视角分类模型，对车辆再识别数据集中的所有单一视角图像进行视角分类，得到所有图像的视角标注，获得包含丰富视角信息的车辆再识别数据集。

S2：根据步骤1中的视角分类结果，利用生成对抗网络，训练通过单一视角图像生成其他视角图像的视角生成器，训练判别生成视角图像正确性的判别器，然后对车辆再识别数据集中的所有图像生成对应的不同视角图像。

在一个实施例中，S2具体执行步骤包括：

S21：根据S12中的视角分类结果，将当前视角标注的图像输入至生成对抗神经网络，标签是图像中目标生成的视角，即所述步骤12中得到的所有图像的视角标注；使用循环生成网络损失函数，训练得到通过当前单一视角图像生成其他视角图像的视角生成器，训练得到判别所生成视角图像正确性的判别器；

S22：根据视角生成器，分别对车辆再识别数据集中的单一视角图像进行其他视角图像生成，获得每个车辆对应多张视角图像的车辆再识别数据集；

S23：得到生成视角图像两两对应的视角生成器和判别器，包括车头图像生成车尾图像、车尾图像生成车头图像、车尾图像生成车侧图像、车侧图像生成车尾图像。

S3：对步骤2中生成的视角图像进行特征分析与检测，提取可靠特征和不可靠特征，对原单一视角图像提取通用特征和强特征，然后根据所有不同视角图像和特征定义，利用目标检测工具进行局部显著特征检测。

在一个实施例中，S3具体执行步骤包括：

S31：对S22中的生成图像定义可靠特征区域和不可靠特征区域，其中，车头和车尾包含可靠特征区域和不可靠特征区域，侧面包含不可靠特征区域。

S32：对S1中车辆再识别数据集中的原单一视角图像提取通用特征和强特征。

提取局部特征如下表所示。

由上表所示，生成图片的局部特征分为可靠特征(Reliable)和不可靠特征(UnReliable)两部分；原始图片的局部特征分为通用特征和强特征两部分，通用特征涉及更为普遍的特征，强特征为既能一票否决，又能强烈支持的特征。

其中，由于原始图像中的所有信息都是真实的，所以车灯车标等对于同一款车都是通用的，只有车内外的物品饰品等每个车的个性化部分才能更具区分性，因此这些称为强特征，对再识别更有用。

而对于生成图像，由于车体车灯等能根据已有数据生成，其具有可信度较高的利用价值，而车内外的物品饰品等每个车个性化部分为并不具有数据支持，因此为不可靠特征。

S33：对S31-32中的所有特征，利用目标检测工具进行局部显著特征检测，获得图像的局部显著特征的位置坐标。

不同视角下局部显著特征定义如下表所示。

视角	局部显著特征
		车头	可靠特征+部分不可靠特征1、2、3
车尾	可靠特征+部分不可靠特征1、2、3
		侧面	部分不可靠特征4、5、6

在实施例中，定义可靠特征和通用特征的特征范围一样，不可靠特征和强特征的特征范围一样。

本实施例中，S33具体执行步骤包括：

S331：随机选取1000张不同视角的车辆图像，对不同视角的车辆图像的特征区域进行标注，然后利用这些图像作为训练集，利用Yolov3目标检测工具训练特征区域检测模型；

利用目标检测工具对符合局部显著特征要求的通用特征和强特征进行筛选检测，获得原始图像的局部显著特征的位置坐标；

利用目标检测工具对符合局部显著特征要求的可靠特征和不可靠特征进行筛选检测，获得生成图像的局部显著特征的位置坐标。

S332：利用特征区域检测模型获得挡风玻璃和车灯的位置，由挡风玻璃和车灯的位置，推断出车标和天窗的位置。本实施例中通过位置函数和局部- 整体的比例关系，使用经验数学公式，由挡风玻璃和车灯的位置，定位出车标和天窗的位置。

S4：设计局部特征融合网络，将S2中的包含所有视角的车辆图像和S3 中的局部显著特征分别输入到卷积神经网络中，本步骤中选择两分支卷积神经网络，输入车辆图像及其对应的局部显著特征选取三元组损失函数，按照视角的重要程度分配权重，训练车辆再识别模型，提取包含视角信息和局部信息的特征向量，按照多视角匹配规则算法，计算特征相似度。

在一个实施例中，S4具体执行步骤包括：

S41：选择基于Batch hard的三元组损失函数，从S3获得的所有不同视角图像及对应的局部显著特征中，其中，所有不同视角图像包括原单一视角图像和生成视角图像，确定目标识别图像，并选取离在目标识别图像距离最近的负样本图像，和离目标识别图像距离最远的正样本图像，目标识别图像、正样本图像和负样本图像组成三元组，将三元组输入到采用三元组损失函数的深度残差神经网络中，提取图像的全局和局部特征向量并进行加权拼接，作为特征向量，不断拉近所述目标识别图像特征向量和所述正样本图像之间的距离，拉远所述目标识别图像和所述负样本图像之间的距离，训练车辆再识别模型；

其中，P为正样本集，K为负样本集，f为输入图像的所述特征向量，L 代表函数损失，a为随机选取的一张图像，p为所述正样本图像，n为所述负样本图像，D为两图像之间的距离，m为学习参数，i为正样本图像编号，j 为负样本图像编号，X为包含不同视角特征的图片集，θ代表深度残差神经网络的参数，L_BH中的B H为Batch hard的简写。

S42：对S41中的深度残差神经网络设置参数batch size、epoches、设置学习率和输入图像大小，对车辆再识别模型进行测试评估，调整训练参数；

S43：使用S42中的车辆再识别模型，提取车辆再识别数据集中图像的特征向量，然后针对特征可靠性问题，按照多视角匹配规则算法进行性能修正。

性能修正算法如下：

S5：根据S4中特征向量提取方法，按照多视角匹配规则算法，对车辆再识别数据集中的所有图像提取特征向量，然后计算待查询图像与候选图像集中图像的特征相似度。

实施例

利用cycleGAN，训练车头生成车尾、车尾生成车头等不同视角相互转化的生成器，分别利用这两个生成器对数据集中的图像单一视角生成多视角图像，如图1所示；然后，对生成后的图像进行特征可靠性分析，对原始图像和生成图像的判别性特征进行定义和权重分配，利用Yolov3目标检测工具定位局部特征，按照生成图像下特征提取策略进行特征提取；最后，设计多视角融合算法，按照视角的重要程度分配权重，得到包含丰富视角信息的特征向量，实现车辆的精准再识别。将Veri776、VehicleID、Vehicle-1M等数据库用于车辆再识别图像数据集。

某一固定视角下的车辆图像的其余视角生成具体过程如下：

随机选取所述车辆再识别数据集中的图像，对车头、车尾、侧面、尾-侧、头-侧五种角度分别标注500张图像，90％的数据作为训练集，10％的数据作为测试集，选取所述深度残差神经网络，训练五分类模型或者二分类模型。根据训练的视角分类模型，对VeRi-776、VehicleID、Vehicle-1M等车辆再识别数据集中的所有图像进行视角分类；

根据视角分类结果，利用cycleGAN生成对抗神经网络，输入数据为任意单一视角，标签是目标生成视角，使用循环生成网络损失函数，训练通过单一角度可以生成其他视角的生成器，训练判别所生成视角正确性的判别器；然后根据训练的视角生成器，分别对车辆再识别数据集中的单一视角进行视角生成，获得包含丰富视角信息的车辆再识别数据集。

特征检测与可靠性分析具体过程如下：

对生成图像定义可靠特征和不可靠特征，对辆再识别数据集中的原图像定义通用特征和强特征，可靠特征由车灯、车标、天窗、车标志等组成，不可靠特征由车内物品、外部装饰等组成，可靠特征包含范围等同于通用特征，不可靠特征包含范围等同于强特征。车头和车尾包含可靠特征和部分不可靠特征，侧面包含部分不可靠特征，不同视角下局部特征定义如下表所示。

随机选取1000张不同视角的车辆图像，对这些图像的局部特征进行标注，然后利用这些图像作为训练集，利用Yolov3目标检测工具训练局部区域检测模型。利用局部区域检测模型获得挡风玻璃和车灯的位置，由挡风玻璃和车灯的位置，推断出车标和天窗的位置。

如图1特征融合网络所示，深度残差网络和损失函数训练过程如下：

选择基于Batch hard的三元组损失函数，从车辆再识别图像中选取离目标识别图像，选取离目标识别图像最近的负样本图像，选取离目标识别图像最远的正样本图像，组成三元组。将三元组输入到深度残差神经网络中，提取图像特征，不断拉近目标识别图像和正样本图像之间的距离，拉远目标识别图像和负样本图像之间的距离，训练生成车辆再识别模型。

对深度残差神经网络设置参数batch size为72，每个模型包含300个 epoches，设置学习率2*10^4，输入图像大小256*256；对车辆再识别模型进行评估优化。

给定一张目标车辆图像和待识别车辆图像库，利用上述训练的车辆再识别模型进行特征向量的生成；

最后，利用车辆再识别模型生成的图像特征向量，利用图1所示的多视角匹配算法，按照原有目标车辆图像和待识别车辆图像特征向量的相似度进行排序，最终完成跨设备下的车辆再识别。

如图2所示，本实施例在VeRi-776数据集上的TopN效果展示情况。按照车型、视角等不同，随机选取了五辆车辆图片，每行的第一张图片代表该行原始视角车辆图片，绿色框代表识别出的与原始视角车辆图片为同一辆车，红色框代表识别出的不同车辆，每一行是按照与该行的原始视角图片的特征距离进行排序的结果，展示了距离排序top10的识别效果很好。由上图可以看出，本发明方法性能已经可以和人的判别性能相当，对于上图判别错误的图片，人的肉眼也难以区分。

以上对本发明所提供的基于多视角匹配与局部特征融合的车辆再识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，包括如下步骤：

步骤1：随机选取车辆再识别数据集中的多张图像进行视角标注，利用预训练的深度残差神经网络，训练视角分类模型，然后利用训练后的视角分类模型对车辆再识别数据集中的所有图像进行视角分类；

步骤2：根据所述步骤1中的视角分类结果，利用生成对抗网络，训练通过单一视角图像生成其他视角图像的视角生成器，训练判别生成视角图像正确性的判别器，然后对车辆再识别数据集中的所有图像生成对应的不同视角图像；

步骤3：对所述步骤2中生成的视角图像进行特征分析与检测，提取可靠特征和不可靠特征，对原单一视角图像提取通用特征和强特征，然后根据所有不同视角图像和特征定义，利用目标检测工具进行局部显著特征检测；

步骤4：设计局部特征融合网络，将所述步骤2中的包含所有视角的车辆图像和所述步骤3中的局部显著特征分别输入到卷积神经网络中，选取三元组损失函数，训练车辆再识别模型，提取包含视角信息和局部信息的特征向量，按照多视角匹配规则算法，计算特征相似度。

2.根据权利要求1所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述车辆再识别数据集存储多个车辆监控设备获取的图像，每张所述图像为单一视角图像，所述车辆再识别数据集包括同一车辆的不同的单一视角图像。

3.根据权利要求1所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤1中进行所述车辆视角分类具体包括如下步骤：

步骤11：随机选取所述车辆再识别数据集中的多张图像，对所述图像进行车头、车尾、侧面、尾-侧、头-侧五种视角的标注，且每张图片被赋予一个视角标注，将标注后图像输入至所述深度残差神经网络，训练视角分类模型；

步骤12：根据训练完成的视角分类模型，对所述车辆再识别数据集中的所有图像进行视角分类，得到所有图像的视角标注。

4.根据权利要求3所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤2中进行车辆不同视角图像的生成具体包括如下步骤：

步骤21：根据所述步骤12中的视角分类结果，将当前视角标注的图像输入至生成对抗神经网络，标签是图像中目标生成的视角；使用循环生成网络损失函数，训练得到通过当前单一视角图像生成其他视角图像的视角生成器，训练得到判别所生成视角图像正确性的判别器；

步骤22：根据所述视角生成器，分别对车辆再识别数据集中的单一视角图像进行其他视角图像生成，获得每个车辆对应多张视角图像的车辆再识别数据集；

步骤23：得到生成视角图像两两对应的视角生成器和判别器，包括车头图像生成车尾图像、车尾图像生成车头图像、车尾图像生成车侧图像、车侧图像生成车尾图像。

5.根据权利要求4所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤3中进行图像特征分析与检测包括步骤：

步骤31：对所述步骤22中的生成图像提取可靠特征和不可靠特征，其中，车头和车尾包含可靠特征区域和不可靠特征区域，侧面包含不可靠特征区域；

步骤32：对所述步骤1中车辆再识别数据集中的原单一视角图像提取通用特征和强特征；

步骤33：对所述步骤31和步骤32中的所有特征，利用目标检测工具进行局部显著特征检测，获得图像的局部显著特征的位置坐标。

6.根据权利要求5所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤33具体包括如下步骤：

步骤331：对不同视角的车辆图像的特征区域进行标注，然后利用这些图像作为训练集，利用目标检测工具训练特征区域检测模型；

步骤332：利用所述特征区域检测模型获得挡风玻璃和车灯的位置，由挡风玻璃和车灯的位置，推断出车标和天窗的位置。

7.根据权利要求1所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤4具体包括如下步骤：

步骤41：选择基于Batchhard的三元组损失函数，从所述步骤3获得的所有不同视角图像及对应的局部显著特征中，其中，所述所有不同视角图像包括原单一视角图像和生成视角图像，确定目标识别图像，并选取离在目标识别图像距离最近的负样本图像，和离所述目标识别图像距离最远的正样本图像，所述目标识别图像、所述正样本图像和所述负样本图像组成三元组，将所述三元组输入到采用所述三元组损失函数的深度残差神经网络中，提取图像的全局和局部特征向量并进行加权拼接，作为特征向量，训练车辆再识别模型；

步骤42：对所述步骤41中的所述深度残差神经网络设置参数batchsize、epoches、设置学习率和输入图像大小，对所述车辆再识别模型进行测试评估，调整训练参数；

步骤43：使用所述步骤42中的车辆再识别模型，提取所述车辆再识别数据集中图像的特征向量，然后针对特征可靠性问题，按照多视角匹配规则算法进行性能修正。

8.根据权利要求1所述的基于多视角匹配与局部特征融合的车辆再识别方法，其特征在于，所述步骤4之后还包括：

步骤5：根据所述步骤4中特征向量提取方法，按照多视角匹配规则算法，对车辆再识别数据集中的所有图像提取特征向量，然后计算待查询图像与候选图像数据集中图像的特征相似度。

Images