CN114022869A - 一种基于级联网络的车辆重识别方法及装置 - Google Patents

Abstract

本发明提供一种基于级联网络的车辆重识别方法及装置，所述方法包括：对目标车辆图像和各候选车辆图像进行特征提取，得到目标车辆图像的图像特征和各候选车辆图像的图像特征；基于车型识别模型，分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；基于目标车辆图像的图像特征和目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；基于目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定目标车辆，得到车辆重识别结果。本发明能够进一步提高车辆重识别精度。

Description

一种基于级联网络的车辆重识别方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于级联网络的车辆重识别方法及装置。

背景技术

在给定探测车辆图像的情况下，车辆重识别的任务是在数据库中搜索包含由多个摄像机捕获的相同车辆的图像。车辆重识别在视频监控，智能交通和城市计算方面具有普遍应用，可以在大型监控视频中快速发现，定位和跟踪目标车辆。

目前，多通过从待识别的目标车辆图像和监控视频图像中提取目标车辆图像特征和多个候选车辆图像特征，然后基于目标车辆图像特征与各候选车辆图像特征，从各候选车辆中确定对应的目标车辆。然而，在存在多个候选车辆与目标车辆外观相似的时，即各候选车辆对应的全局信息均与目标车辆相似，导致无法准确从各候选车辆中确定目标车辆，进而影响车辆重识别的精度。

发明内容

本发明提供一种基于级联网络的车辆重识别方法及装置，用以解决现有技术中车辆识别精度较低的缺陷。

本发明提供一种基于级联网络的车辆重识别方法，包括：

确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；

基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；

基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；

基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征，包括：

对所述目标车辆图像的图像特征和所述目标车辆车型特征进行特征相减，得到目标车辆识别特征，并基于车辆身份识别模型，对所述目标车辆识别特征进行高层特征提取，得到目标车辆身份特征；

对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征；

所述车辆身份识别模型基于第二样本车辆图像以及所述第二样本车辆图像的身份标签训练得到。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述基于车辆身份识别模型，对所述目标车辆识别特征进行高层特征提取，得到目标车辆身份特征，包括：

将所述目标车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对所述目标车辆识别特征进行语义识别，得到第一目标车辆语义特征；

将所述第一目标车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对所述第一目标车辆语义特征进行注意力计算，得到所述目标车辆身份特征；

所述对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征，包括：

将各候选车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对各候选车辆识别特征进行语义识别，得到对应的第一候选车辆语义特征；

将各第一候选车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对各第一候选车辆语义特征进行注意力计算，得到各候选车辆身份特征。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果，包括：

对所述目标车辆身份特征以及所述目标车辆车型特征进行拼接，得到目标车辆拼接特征；

对各候选车辆身份特征以及各候选车辆车型特征进行拼接，得到各候选车辆拼接特征；

基于所述目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定所述目标车辆，得到所述车辆重识别结果。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述基于所述目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定所述目标车辆，得到所述车辆重识别结果，包括：

基于所述目标车辆拼接特征以及各候选车辆拼接特征，确定目标车辆与各候选车辆之间的车辆相似度；

基于所述目标车辆与各候选车辆之间的车辆相似度，从各候选车辆中确定所述目标车辆，确定所述车辆重识别结果。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征，包括：

将所述目标车辆图像的图像特征和各候选车辆图像的图像特征输入至所述车型识别模型的车型语义识别层，由所述车型语义识别层分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行语义识别，得到第二目标车辆语义特征和对应的第二候选车辆语义特征；

将所述第二目标车辆语义特征和各第二候选车辆语义特征输入至所述车型识别模型的车型注意力层，由所述车型注意力层分别对所述第二目标车辆语义特征和各第二候选车辆语义特征进行注意力计算，得到所述目标车辆车型特征和各候选车辆车型特征。

根据本发明提供的一种基于级联网络的车辆重识别方法，所述确定待识别的目标车辆图像和多个候选车辆图像，包括：

获取初始目标车辆图像和多个初始候选车辆图像；

分别对所述初始目标车辆图像和所述多个初始候选车辆图像进行目标检测，得到所述目标车辆图像和所述多个候选车辆图像。

本发明还提供一种基于级联网络的车辆重识别装置，包括：

图像确定单元，用于确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；

车型提取单元，用于基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；

身份提取单元，用于基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；

车辆识别单元，用于基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于级联网络的车辆重识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于级联网络的车辆重识别方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于级联网络的车辆重识别方法的步骤。

本发明提供的基于级联网络的车辆重识别方法及装置，基于目标车辆图像的图像特征和目标车辆车型特征，可以确定用于表征目标车辆身份信息的目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，可以确定用于表征各候选车辆身份信息的各候选车辆身份特征，从而基于目标车辆身份特征以及各候选车辆身份特征，可以准确从各候选车辆中确定目标车辆，得到高精度的车辆重识别结果。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于级联网络的车辆重识别方法的流程示意图；

图2是本发明提供的又一基于级联网络的车辆重识别方法的流程示意图；

图3是本发明提供的基于级联网络的车辆重识别装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，多通过从待识别的目标车辆图像和监控视频图像中提取目标车辆图像特征和多个候选车辆图像特征，然后基于目标车辆图像特征与各候选车辆图像特征，从各候选车辆中确定对应的目标车辆。然而，图像特征用于表征车辆的全局信息，在存在多个候选车辆与目标车辆外观相似的时，即各候选车辆对应的全局信息均与目标车辆相似，导致无法准确从各候选车辆中确定目标车辆，进而影响车辆重识别的精度。例如，监控视频图像中存在多个与目标车辆型号相同的候选车辆，也即目标车辆与多个候选车辆的外观差异较小，从而无法准确从多个候选车辆中确定对应的目标车辆。

对此，本发明提供一种基于级联网络的车辆重识别方法。图1是本发明提供的基于级联网络的车辆重识别方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110、确定待识别的目标车辆图像和多个候选车辆图像，并对目标车辆图像和各候选车辆图像进行特征提取，得到目标车辆图像的图像特征和各候选车辆图像的图像特征。

此处，待识别的目标车辆即需要进行定位跟踪的车辆，目标车辆图像可以是通过相机或者带有相机的智能终端拍摄得到，也可以是扫描得到，还可以是通过互联网传输或者下载得到。多个候选车辆中包含有目标车辆和其它车辆，多个候选车辆图像可以是从监控视频中获取包含多个候选车辆的图像帧，并对图像帧进行目标检测后得到的。

图像特征用于表征车辆的全局信息，如车辆的外观信息、车辆的身份信息等。在确定目标车辆图像后，可以基于目标车辆图像的语义信息，对目标车辆图像进行特征提取，得到目标车辆的图像特征。同理，在确定各候选车辆图像后，可以基于各候选车辆图像的语义信息，对各候选车辆图像进行特征提取，得到各候选车辆的图像特征。其中，在对目标车辆图像和各候选车辆图像进行特征提取时，可以采用特征提取模型对目标车辆图像和各候选车辆图像进行特征提取，还可以采用特征提取算法进行特征提取，本发明实施例对此不作具体限定。

步骤120、基于车型识别模型，分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；车型识别模型基于第一样本车辆图像以及第一样本车辆图像的车型标签训练得到。

具体地，车型特征用于表征车辆的外观信息，如车辆的尺寸、颜色、形状等。在确定目标车辆图像的图像特征和各候选车辆图像的图像特征后，通过车型识别模型，可以分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，从而得到用于表征目标车辆外观信息的目标车辆车型特征，以及用于表征各候选车辆外观信息的候选车辆车型特征。

此外，在基于车型识别模型，分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取之前，还可以预先训练得到车型识别模型，具体可以通过执行如下步骤实现：首先，收集大量第一样本车辆图像，通过人工标注确定第一样本车辆图像的车型标签。随即，基于第一样本车辆图像以及第一样本车辆图像的车型标签对初始模型进行训练，从而得到车型识别模型。

步骤130、基于目标车辆图像的图像特征和目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征。

具体地，由于目标车辆图像的图像特征中包含有目标车辆的外观信息和目标车辆的身份信息，目标车辆车型特征中包含有目标车辆的外观信息，从而在对目标车辆图像的图像特征和目标车辆车型特征进行特征相减后，得到的目标车辆身份特征中包含有目标车辆的身份信息；其中，目标车辆的身份信息可以是目标车辆的车牌号、车架号等。

同理，由于各候选车辆图像的图像特征中包含有各候选车辆的外观信息和各候选车辆的身份信息，各候选车辆车型特征中包含有各候选车辆的外观信息，从而在对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减后，得到的各候选车辆身份特征中包含有各候选车辆的身份信息；其中，各候选车辆的身份信息可以是各候选车辆的车牌号、车架号等。

步骤140、基于目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定目标车辆，得到车辆重识别结果。

具体地，由于身份特征用于表征车辆的身份信息，且各车辆的身份信息是唯一的，因此基于身份特征可以对车辆进行区分，也就是对于两个同型号外观相似的车辆，由于其身份信息不同，从而基于包含有身份信息的身份特征可以对两个车辆进行区分。

可选地，在确定目标车辆身份特征以及各候选车辆身份特征后，可以计算目标车辆身份特征分别与各候选车辆身份特征之间的相似度，相似度越高，表明对应的候选车辆为目标车辆的概率越大；相似度越低，表明对应的候选车辆为目标车辆的概率越小。由此可见，在确定目标车辆身份特征分别与各候选车辆身份特征之间的相似度后，可以确定各候选车辆为目标车辆的概率，进而可以将各候选车辆为目标车辆的概率作为车辆重识别结果，也可以将最大概率对应的候选车辆作为目标车辆，并以对应的候选车辆作为车辆重识别结果。

相较于传统方法中基于用于表征车辆全局信息的图像特征进行车辆重识别，本发明实施例能够在存在与目标车辆外观相似的多个候选车辆的情况下，基于目标车辆身份特征以及各候选车辆身份特征准确从各候选车辆中确定目标车辆，提高车辆重识别精度。

本发明实施例提供的基于级联网络的车辆重识别方法，基于目标车辆图像的图像特征和目标车辆车型特征，可以确定用于表征目标车辆身份信息的目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，可以确定用于表征各候选车辆身份信息的各候选车辆身份特征，从而基于目标车辆身份特征以及各候选车辆身份特征，可以准确从各候选车辆中确定目标车辆，得到高精度的车辆重识别结果。

基于上述实施例，基于目标车辆图像的图像特征和目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征，包括：

对目标车辆图像的图像特征和目标车辆车型特征进行特征相减，得到目标车辆识别特征，并基于车辆身份识别模型，对目标车辆识别特征进行高层特征提取，得到目标车辆身份特征；

对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征；

车辆身份识别模型基于第二样本车辆图像以及第二样本车辆图像的身份标签训练得到。

具体地，目标车辆的图像特征用于表征目标车辆的全局信息，如目标车辆的外观信息、目标车辆的身份信息以及其它信息等。目标车辆车型特征用于表征目标车辆的外观信息。在对目标车辆的图像特征和目标车辆车型特征进行特征相减后，得到的目标车辆识别特征中滤除了目标车辆的外观信息，包含有目标车辆的身份信息以及其它信息。

由于目标车辆识别特征中滤除了目标车辆的外观信息，从而可以避免外观信息对提取身份信息的干扰（如外观相似的两个车辆，具有相同的外观信息，这会给区分两个车辆的身份带来干扰），即基于车辆身份识别模型对目标车辆的识别特征进行高层特征提取时，能够准确提取得到用于表征目标车辆身份信息的目标车辆身份特征。

同理，各候选车辆的图像特征用于表征各候选车辆的全局信息，如各候选车辆的外观信息、各候选车辆的身份信息以及其它信息等。各候选车辆车型特征用于表征各候选车辆的外观信息。在对各候选车辆的图像特征和各候选车辆车型特征进行特征相减后，得到的各候选车辆识别特征中滤除了各候选车辆的外观信息，包含有各候选车辆的身份信息以及其它信息。

由于各候选车辆识别特征中滤除了各候选车辆的外观信息，从而可以避免外观信息对提取身份信息的干扰，即基于车辆身份识别模型对各候选车辆的识别特征进行高层特征提取时，能够准确提取得到用于表征各候选车辆身份信息的各候选车辆身份特征。

此外，在基于车辆身份识别模型，对目标车辆识别特征或各候选车辆识别特征进行高层特征提取之前，还可以预先训练得到车辆身份识别模型，具体可以通过执行如下步骤实现：首先，收集大量第二样本车辆图像，通过人工标注确定第二样本车辆图像的身份标签。随即，基于第二样本车辆图像以及第二样本车辆图像的身份标签对初始模型进行训练，从而得到车辆身份识别模型。

需要说明的是，本发明实施例对目标车辆识别特征和各候选车辆识别特征进行高层提取得到对应对的身份特征，而不是直接对目标车辆图像的图像特征和各候选车辆图像的图像特征进行身份特征提取的原因在于：图像特征用于表征车辆的全局信息，若基于图像特征进行身份特征提取，则提取得到的身份特征中会包含除身份信息以外的信息（如外观信息），进而会影响车辆重识别结果的精度。然而，识别特征中滤除了车型特征，即滤除了外观信息的干扰，从而能够基于识别特征精确提取得到车辆的细节身份信息，进而能够进一步提高车辆重识别结果的精度。

例如，目标车辆在T1时刻没有开车灯，但在T2时刻打开了车灯，若基于目标车辆的图像特征进行身份特征提取，则提取得到的身份特征中可能包含T1时刻和T2时刻车头灯状态不同的信息，进而容易误判T1时刻和T2时刻对应的是不同车辆。

基于上述任一实施例，基于车辆身份识别模型，对目标车辆识别特征进行高层特征提取，得到目标车辆身份特征，包括：

将目标车辆识别特征输入至车辆识别模型的车辆语义识别层，由车辆语义识别层对目标车辆识别特征进行语义识别，得到第一目标车辆语义特征；

将第一目标车辆语义特征输入至车辆识别模型的车辆注意力层，由车辆注意力层对第一目标车辆语义特征进行注意力计算，得到目标车辆身份特征；

对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征，包括：

将各候选车辆识别特征输入至车辆识别模型的车辆语义识别层，由车辆语义识别层对各候选车辆识别特征进行语义识别，得到对应的第一候选车辆语义特征；

将各第一候选车辆语义特征输入至车辆识别模型的车辆注意力层，由车辆注意力层对各第一候选车辆语义特征进行注意力计算，得到各候选车辆身份特征。

具体地，在得到目标车辆识别特征后，由车辆语义识别层对目标车辆识别特征进行语义识别，得到第一目标车辆语义特征。然后，基于车辆注意力层对第一目标车辆语义特征进行注意力计算，关注重要度较高的特征，从而能够准确提取得到用于表征目标车辆身份信息的目标车辆身份特征。

同理，在得到各候选车辆识别特征后，由车辆语义识别层对各候选车辆识别特征进行语义识别，得到第一各候选车辆语义特征。然后，基于车辆注意力层对第一各候选车辆语义特征进行注意力计算，关注重要度较高的特征，从而能够准确提取得到用于表征各候选车辆身份信息的候选车辆身份特征。

基于上述任一实施例，基于目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定目标车辆，得到车辆重识别结果，包括：

对目标车辆身份特征以及目标车辆车型特征进行拼接，得到目标车辆拼接特征；

对各候选车辆身份特征以及各候选车辆车型特征进行拼接，得到各候选车辆拼接特征；

基于目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定目标车辆，得到车辆重识别结果。

具体地，目标车辆身份特征用于表征目标车辆的细节身份信息，目标车辆车型特征用于表征目标车辆的外观信息，从而在对两者进行拼接后得到的目标车辆拼接特征可以用于表征目标车辆的身份信息以及外观信息。

同理，各候选车辆身份特征用于表征各候选车辆的细节身份信息，各候选车辆车型特征用于表征各候选车辆的外观信息，从而在对两者进行拼接后得到的各候选车辆拼接特征可以用于表征各候选车辆的身份信息以及外观信息。

由于拼接特征中包含车辆外观信息和身份信息，即拼接特征能够更加准确表征车辆的细节信息，进而可以基于目标车辆拼接特征与各候选车辆拼接特征，确定两者之间的车辆相似度，车辆相似度越高，表明对应候选车辆为目标车辆的概率越高；车辆相似度越低，表明对应候选车辆为目标车辆的概率越低。

基于上述任一实施例，基于目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定目标车辆，得到车辆重识别结果，包括：

基于目标车辆拼接特征以及各候选车辆拼接特征，确定目标车辆与各候选车辆之间的车辆相似度；

基于目标车辆与各候选车辆之间的车辆相似度，从各候选车辆中确定目标车辆，确定车辆重识别结果。

具体地，拼接特征中包含车辆外观信息和身份信息，即拼接特征能够更加准确表征车辆的细节信息，进而可以基于目标车辆拼接特征与各候选车辆拼接特征，确定两者之间的车辆相似度，车辆相似度越高，表明对应候选车辆为目标车辆的概率越高；车辆相似度越低，表明对应候选车辆为目标车辆的概率越低。

可以理解的是，基于车辆相似度，可以确定各候选车辆为目标车辆的概率，进而可以将各候选车辆为目标车辆的概率作为车辆重识别结果，也可以将最大概率对应的候选车辆作为目标车辆，并以该候选车辆作为车辆重识别结果，本发明实施例对此不作具体限定。

基于上述任一实施例，基于车型识别模型，分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征，包括：

将目标车辆图像的图像特征和各候选车辆图像的图像特征输入至车型识别模型的车型语义识别层，由车型语义识别层分别对目标车辆图像的图像特征和各候选车辆图像的图像特征进行语义识别，得到第二目标车辆语义特征和对应的第二候选车辆语义特征；

将第二目标车辆语义特征和各第二候选车辆语义特征输入至车型识别模型的车型注意力层，由车型注意力层分别对第二目标车辆语义特征和各第二候选车辆语义特征进行注意力计算，得到目标车辆车型特征和各候选车辆车型特征。

具体地，在确定目标车辆图像的图像特征后，由车型语义识别层对目标车辆图像的图像特征进行语义识别，得到第二目标车辆语义特征。然后，基于车型注意力层对第二目标车辆语义特征进行注意力计算，关注重要度较高的特征，从而能够准确提取得到用于表征目标车辆外观信息的目标车辆车型特征。

同理，在确定各候选车辆图像的图像特征后，由车型语义识别层对各候选车辆图像的图像特征进行语义识别，得到第二候选车辆语义特征。然后，基于车型注意力层对各第二候选车辆语义特征进行注意力计算，关注重要度较高的特征，从而能够准确提取得到用于表征各候选车辆外观信息的各候选车辆车型特征。

基于上述任一实施例，确定待识别的目标车辆图像和多个候选车辆图像，包括：

获取初始目标车辆图像和多个初始候选车辆图像；

分别对初始目标车辆图像和多个初始候选车辆图像进行目标检测，得到目标车辆图像和多个候选车辆图像。

具体地，初始目标车辆图像和多个初始候选车辆图像中可能包含车辆图像信息以及背景图像信息，为了避免背景图像信息对车辆重识别的干扰，本发明实施例分别对初始目标车辆图像和各初始候选车辆图像进行目标检测，从而可以从初始目标车辆图像中滤除背景图像信息，得到目标车辆图像，以及从各初始候选车辆图像中滤除背景图像信息，得到多个候选车辆图像。

基于上述任一实施例，本发明还提供一种基于级联网络的车辆重识别方法，如图2所示，该方法包括：

基于VIT（Vision Transformer）网络对目标车辆图像和各候选车辆图像进行图像特征提取，得到目标车辆图像的图像特征以及各候选车辆图像的图像特征。

将目标车辆图像的图像特征和各候选车辆图像的图像特征输入至车型识别模型，由车型识别模型对目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征。其中，车型识别模型可以基于Tranformer构建得到，其是基于第一样本车辆图像以及第一样本车辆图像的车型标签训练得到。

对目标车辆图像的图像特征和目标车辆车型特征进行特征相减，得到目标车辆识别特征，并基于车辆身份识别模型，对目标车辆识别特征进行高层特征提取，得到目标车辆身份特征；对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征；其中，车辆身份识别模型可以基于Tranformer构建得到，其是基于第二样本车辆图像以及所述第二样本车辆图像的身份标签训练得到。

接着，对目标车辆身份特征以及目标车辆车型特征进行拼接，得到目标车辆拼接特征；对各候选车辆身份特征以及各候选车辆车型特征进行拼接，得到各候选车辆拼接特征；基于目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定目标车辆，得到车辆重识别结果。

下面对本发明提供的基于级联网络的车辆重识别装置进行描述，下文描述的基于级联网络的车辆重识别装置与上文描述的基于级联网络的车辆重识别方法可相互对应参照。

基于上述任一实施例，本发明提供一种基于级联网络的车辆重识别装置，如图3所示，该装置包括：

图像确定单元310，用于确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；

车型提取单元320，用于基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；

身份提取单元330，用于基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；

车辆识别单元340，用于基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定目标车辆，得到车辆重识别结果。

基于上述任一实施例，所述身份提取单元330，包括：

目标车辆身份提取单元，用于对所述目标车辆图像的图像特征和所述目标车辆车型特征进行特征相减，得到目标车辆识别特征，并基于车辆身份识别模型，对所述目标车辆识别特征进行高层特征提取，得到目标车辆身份特征；

候选车辆身份提取单元，用于对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征；

所述车辆身份识别模型基于第二样本车辆图像以及所述第二样本车辆图像的身份标签训练得到。

基于上述任一实施例，所述目标车辆身份提取单元，包括：

第一语义提取单元，用于将所述目标车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对所述目标车辆识别特征进行语义识别，得到第一目标车辆语义特征；

第一注意力单元，用于将所述第一目标车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对所述第一目标车辆语义特征进行注意力计算，得到所述目标车辆身份特征；

所述候选车辆身份提取单元，包括：

第二语义提取单元，用于将各候选车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对各候选车辆识别特征进行语义识别，得到对应的第一候选车辆语义特征；

第二注意力单元，用于将各第一候选车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对各第一候选车辆语义特征进行注意力计算，得到各候选车辆身份特征。

基于上述任一实施例，所述车辆识别单元340，包括：

目标特征拼接单元，用于对所述目标车辆身份特征以及所述目标车辆车型特征进行拼接，得到目标车辆拼接特征；

候选特征拼接单元，用于对各候选车辆身份特征以及各候选车辆车型特征进行拼接，得到各候选车辆拼接特征；

重识别单元，用于基于所述目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定所述目标车辆，得到所述车辆重识别结果。

基于上述任一实施例，所述重识别单元，包括：

相似度确定单元，用于基于所述目标车辆拼接特征以及各候选车辆拼接特征，确定目标车辆与各候选车辆之间的车辆相似度；

重识别子单元，用于基于所述目标车辆与各候选车辆之间的车辆相似度，从各候选车辆中确定所述目标车辆，确定所述车辆重识别结果。

基于上述任一实施例，所述车型提取单元320，包括：

第三语义提取单元，用于将所述目标车辆图像的图像特征和各候选车辆图像的图像特征输入至所述车型识别模型的车型语义识别层，由所述车型语义识别层分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行语义识别，得到第二目标车辆语义特征和对应的第二候选车辆语义特征；

第三注意力单元，用于将所述第二目标车辆语义特征和各第二候选车辆语义特征输入至所述车型识别模型的车型注意力层，由所述车型注意力层分别对所述第二目标车辆语义特征和各第二候选车辆语义特征进行注意力计算，得到所述目标车辆车型特征和各候选车辆车型特征。

基于上述任一实施例，所述图像确定单元310，包括：

获取单元，用于获取初始目标车辆图像和多个初始候选车辆图像；

检测单元，用于分别对所述初始目标车辆图像和所述多个初始候选车辆图像进行目标检测，得到所述目标车辆图像和所述多个候选车辆图像。

图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、存储器(memory)420、通信接口(Communications Interface)430和通信总线440，其中，处理器410，存储器420，通信接口430通过通信总线440完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行基于级联网络的车辆重识别方法，该方法包括：确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

此外，上述的存储器420中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于级联网络的车辆重识别方法，该方法包括：确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于级联网络的车辆重识别方法，该方法包括：确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于级联网络的车辆重识别方法，其特征在于，包括：

确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；

基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；

基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；

基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

2.根据权利要求1所述的基于级联网络的车辆重识别方法，其特征在于，所述基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征，包括：

对所述目标车辆图像的图像特征和所述目标车辆车型特征进行特征相减，得到目标车辆识别特征，并基于车辆身份识别模型，对所述目标车辆识别特征进行高层特征提取，得到目标车辆身份特征；

对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征；

所述车辆身份识别模型基于第二样本车辆图像以及所述第二样本车辆图像的身份标签训练得到。

3.根据权利要求2所述的基于级联网络的车辆重识别方法，其特征在于，所述基于车辆身份识别模型，对所述目标车辆识别特征进行高层特征提取，得到目标车辆身份特征，包括：

将所述目标车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对所述目标车辆识别特征进行语义识别，得到第一目标车辆语义特征；

将所述第一目标车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对所述第一目标车辆语义特征进行注意力计算，得到所述目标车辆身份特征；

所述对各候选车辆图像的图像特征和各候选车辆车型特征进行特征相减，得到各候选车辆识别特征，并基于车辆身份识别模型，对各候选车辆识别特征进行高层特征提取，得到各候选车辆身份特征，包括：

将各候选车辆识别特征输入至所述车辆识别模型的车辆语义识别层，由所述车辆语义识别层对各候选车辆识别特征进行语义识别，得到对应的第一候选车辆语义特征；

将各第一候选车辆语义特征输入至所述车辆识别模型的车辆注意力层，由所述车辆注意力层对各第一候选车辆语义特征进行注意力计算，得到各候选车辆身份特征。

4.根据权利要求1所述的基于级联网络的车辆重识别方法，其特征在于，所述基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果，包括：

对所述目标车辆身份特征以及所述目标车辆车型特征进行拼接，得到目标车辆拼接特征；

对各候选车辆身份特征以及各候选车辆车型特征进行拼接，得到各候选车辆拼接特征；

基于所述目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定所述目标车辆，得到所述车辆重识别结果。

5.根据权利要求4所述的基于级联网络的车辆重识别方法，其特征在于，所述基于所述目标车辆拼接特征以及各候选车辆拼接特征，从各候选车辆中确定所述目标车辆，得到所述车辆重识别结果，包括：

基于所述目标车辆拼接特征以及各候选车辆拼接特征，确定目标车辆与各候选车辆之间的车辆相似度；

基于所述目标车辆与各候选车辆之间的车辆相似度，从各候选车辆中确定所述目标车辆，确定所述车辆重识别结果。

6.根据权利要求1至5任一项所述的基于级联网络的车辆重识别方法，其特征在于，所述基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征，包括：

将所述目标车辆图像的图像特征和各候选车辆图像的图像特征输入至所述车型识别模型的车型语义识别层，由所述车型语义识别层分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行语义识别，得到第二目标车辆语义特征和对应的第二候选车辆语义特征；

将所述第二目标车辆语义特征和各第二候选车辆语义特征输入至所述车型识别模型的车型注意力层，由所述车型注意力层分别对所述第二目标车辆语义特征和各第二候选车辆语义特征进行注意力计算，得到所述目标车辆车型特征和各候选车辆车型特征。

7.根据权利要求1至5任一项所述的基于级联网络的车辆重识别方法，其特征在于，所述确定待识别的目标车辆图像和多个候选车辆图像，包括：

获取初始目标车辆图像和多个初始候选车辆图像；

分别对所述初始目标车辆图像和所述多个初始候选车辆图像进行目标检测，得到所述目标车辆图像和所述多个候选车辆图像。

8.一种基于级联网络的车辆重识别装置，其特征在于，包括：

图像确定单元，用于确定待识别的目标车辆图像和多个候选车辆图像，并对所述目标车辆图像和各候选车辆图像进行特征提取，得到所述目标车辆图像的图像特征和各候选车辆图像的图像特征；

车型提取单元，用于基于车型识别模型，分别对所述目标车辆图像的图像特征和各候选车辆图像的图像特征进行特征提取，得到目标车辆车型特征和各候选车辆车型特征；所述车型识别模型基于第一样本车辆图像以及所述第一样本车辆图像的车型标签训练得到；

身份提取单元，用于基于所述目标车辆图像的图像特征和所述目标车辆车型特征，确定目标车辆身份特征，以及基于各候选车辆图像的图像特征和各候选车辆车型特征，确定各候选车辆身份特征；

车辆识别单元，用于基于所述目标车辆身份特征以及各候选车辆身份特征，从各候选车辆中确定所述目标车辆，得到车辆重识别结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于级联网络的车辆重识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于级联网络的车辆重识别方法的步骤。

Images