CN109063768B - 车辆重识别方法、装置及系统 - Google Patents

Abstract

本发明提供了一种车辆重识别方法、装置及系统，涉及车辆重识别技术领域，该方法包括：获取待识别的目标车辆图像；其中，目标车辆图像携带有关键点信息和方向信息；将目标车辆图像输入至预先训练得到的特征提取模型，以使特征提取模型基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征；根据目标车辆图像的车辆特征，基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像；其中，车辆特征集包含有多张车辆图像经特征提取模型提取出的车辆特征。本发明能够较好地提高车辆重识别的准确性。

Description

车辆重识别方法、装置及系统

技术领域

本发明涉及车辆重识别技术领域，尤其是涉及一种车辆重识别方法、装置及系统。

背景技术

车辆重识别(Vehicle Re-identification，Reid)能够在图像库或者视频流中找到与待识别车辆图像相同的其它车辆图像。车辆重识别可广泛应用于车辆检索、车辆追踪等安防领域，诸如，在刑侦应用中，能够根据待追踪车辆的一张图像在城市庞大的摄像头网络所采集的各车辆图像中找到该车辆。现有技术大多基于车辆的整体外形特征进行车辆重识别，由于大部分车辆的整体外形大同小异，致使重识别准确率不高。

发明内容

有鉴于此，本发明的目的在于提供一种车辆重识别方法、装置及系统，能够较好地提高车辆重识别的准确性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种车辆重识别方法，包括：获取待识别的目标车辆图像；其中，所述目标车辆图像携带有关键点信息和方向信息；将所述目标车辆图像输入至预先训练得到的特征提取模型，以使所述特征提取模型基于所述目标车辆图像的关键点信息和方向信息提取所述目标车辆图像的车辆特征；根据所述目标车辆图像的车辆特征，基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像；其中，所述车辆特征集包含有多张车辆图像经所述特征提取模型提取出的车辆特征。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，所述特征提取模型包括局部特征提取网络和方向特征提取网络，以及分别与所述局部特征提取网络和所述方向特征提取网络连接的特征拼接网络。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，所述特征提取模型的训练步骤包括：获取多张车辆训练图像；每张所述车辆训练图像携带有关键点信息、方向信息和车辆编码；将各所述车辆训练图像以及对应的关键点信息输入至所述局部特征提取网络，通过所述局部特征提取网络提取各所述车辆训练图像的局部特征；将各所述车辆训练图像以及对应的方向信息输入至所述方向特征提取网络，通过所述方向特征提取网络提取各所述车辆训练图像的多方向融合特征；将各所述车辆训练图像的局部特征和多方向融合特征通过所述特征拼接网络拼接形成各所述车辆训练图像的车辆特征；结合各所述车辆训练图像的车辆特征，通过损失函数对所述特征提取模型进行训练。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，所述结合各所述车辆训练图像的车辆特征，通过损失函数对所述特征提取模型进行训练的步骤，包括：将各所述车辆训练图像的车辆特征均输入至第一损失函数，以及将各所述车辆训练图像的车辆特征均通过外接分类网络输入至第二损失函数；基于所述第一损失函数的值和所述第二损失函数的值训练所述特征提取模型，直至所述第一损失函数的值收敛至第一预设阈值，且所述第二损失函数的值均收敛至第二预设阈值时停止训练；其中，当训练结束时，同一车辆编码对应的多张车辆训练图像的车辆特征之间的间距小于预设间距值。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，所述获取多张车辆训练图像的步骤，包括：获取多个车辆对应的车辆训练图像；其中，每个所述车辆对应有多张方向信息不同的车辆训练图像。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，所述通过所述局部特征提取网络提取各所述车辆训练图像的局部特征的步骤，包括：通过所述局部特征提取网络基于各所述车辆训练图像对应的关键点信息确定各所述车辆训练图像的目标区域，并提取各所述车辆训练图像的目标区域的局部特征；其中，所述关键点信息包括所述目标区域的多个边界坐标；所述目标区域包括车窗区域和车标识区域；所述车标识区域包含有车灯、车牌和车标中的多种。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，所述通过所述方向特征提取网络提取各所述车辆训练图像的多方向融合特征的步骤，包括：通过所述方向特征提取网络基于各所述车辆训练图像对应的方向信息提取各所述车辆训练图像的多个方向特征，并将多个所述方向特征融合为各所述车辆训练图像的多方向融合特征。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，所述方向特征提取网络包括多个子提取网络，以及与多个所述子提取网络相连的融合层；其中，每个所述子提取网络对应一种车辆方向；每个所述子提取网络用于提取各所述车辆训练图像的方向特征，并将提取的所述方向特征传递给所述融合层；所述融合层用于对各所述车辆训练图像的多种所述方向特征进行特征融合，得到多方向融合特征。

进一步，本发明实施例提供了第一方面的第八种可能的实施方式，所述对各所述车辆训练图像的多种所述方向特征进行特征融合，得到多方向融合特征的步骤，包括：根据各所述车辆训练图像的方向信息，以及各所述子提取网络对应的车辆方向，确定与各所述子提取网络匹配的车辆训练图像；保留与各所述子提取网络匹配的车辆训练图像的方向特征，并将与各所述子提取网络不匹配的车辆训练图像的方向特征置零；对于每张所述车辆训练图像，均将各所述子提取网络提取的该所述车辆训练图像的方向特征融合形成该所述车辆训练图像的多方向融合特征。

进一步，本发明实施例提供了第一方面的第九种可能的实施方式，所述基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像的步骤，包括：计算所述目标车辆图像的车辆特征与已有的车辆特征集中各所述车辆图像的车辆特征之间的特征间距值；从计算得到的多个所述特征间距值中找到最小特征间距值；判断所述最小特征间距值是否低于预设特征间距阈值；如果是，将所述最小特征间距值对应的所述车辆特征集中的车辆图像确定与所述目标车辆图像相匹配。

第二方面，本发明实施例还提供一种车辆重识别装置，包括：图像获取模块，用于获取待识别的目标车辆图像；其中，所述目标车辆图像携带有关键点信息和方向信息；模型输入模块，用于将所述目标车辆图像输入至预先训练得到的特征提取模型，以使所述特征提取模型基于所述目标车辆图像的关键点信息和方向信息提取所述目标车辆图像的车辆特征；识别模块，用于根据所述目标车辆图像的车辆特征，基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像；其中，所述车辆特征集包含有多张车辆图像经所述特征提取模型提取出的车辆特征。

第三方面，本发明实施例提供了一种车辆重识别系统，包括：图像采集装置、处理器和存储装置；所述图像采集装置，用于采集图像信息；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的方法的步骤。

本发明实施例提供了一种车辆重识别方法、装置及系统，能够将待识别的目标车辆图像输入至预先训练得到的特征提取模型，该特征提取模型能够基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征，进而基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像。这种车辆重识别方式在进行车辆特征提取时考虑了车辆关键点和车辆方向，通过车辆关键点和方向等细节较好地提升了车辆重识别的准确度。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明实施例的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种车辆重识别方法流程图；

图3示出了本发明实施例所提供的一种带有关键点的正向车辆示意图；

图4示出了本发明实施例所提供的一种带有关键点的背向车辆示意图；

图5示出了本发明实施例所提供的一种特征提取模型的结构示意图；

图6示出了本发明实施例所提供的另一种特征提取模型的结构示意图；

图7示出了本发明实施例所提供的一种目标检测装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术大多基于车辆的整体外形特征进行车辆重识别，诸如基于车型、车辆颜色等信息进行车辆匹配，重识别准确率不高，为改善此问题，本发明实施例提供的一种车辆重识别方法、装置及系统，该技术可应用于车辆重识别技术，适用于诸如需要进行车辆检索、车辆追踪等场合，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的车辆重识别方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108 以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器02可以采用数字信号处理器(DSP)、现场可编程门阵列 (FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/ 或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM) 和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的车辆重识别方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。

实施例二：

参见图2所示的一种车辆重识别方法流程图，该方法可由前述实施例提供的电子设备执行，该方法具体包括如下步骤：

步骤S202，获取待识别的目标车辆图像；其中，目标车辆图像携带有关键点信息和方向信息。其中，关键点信息可以理解为关键点标签，方向信息可以理解为方向标签。

上述方向信息可以为目标车辆图像上的车辆方向(又可称为车辆姿态)，诸如正向、背向或侧向等，在实际应用中，可以仅简单划分为正向和背向，也可以将车辆的偏转角度进行细分，得到多种偏转方向。方向信息又可以称为姿态信息，不同的车辆方向表征不同的姿态。上述关键点信息可以包括目标车辆图像上的多个关键点坐标，具体表征多个关键点在目标车辆图像上的位置。多个关键点可以构成目标车辆图像上的目标区域，每个关键点都可以为目标区域的一个顶点。目标区域通常可用于区分车辆。在一种实施方式中，目标区域可以为包括车窗区域和车标识区域；所述车标识区域包含有车灯、车牌和车标中的多种。车窗区域可以体现出车窗的形状，还可以体现出车窗上的装饰、年检标志等车辆独特的信息，车标识区域可以体现出车灯形状、车灯颜色、车牌号、商标等车辆独特的信息。

为便于理解，可参见图3所示的一种带有关键点的正向车辆示意图，该正向车辆示意图中示意出8个关键点(标注点)，其中，1234围成前车窗区域，5678围成包含有前车灯、车牌和车标的车标识区域；参见图4所示一种带有关键点的背向车辆示意图，该背向车辆示意图中示意出8个关键点(标注点)，其中，1234围成后车窗区域，5678围成包含有后车灯和车牌的车标识区域。在实际应用中，关键点的个数可以灵活设置，在此不进行限制。

关键点信息和方向信息可以采用人工标注，也可以分别采用相关技术中的关键点标注网络和方向标注网络确定，在此不进行赘述，本实施例获取的目标检测图像均已经过预处理(关键点标注和方向标注)，并携带有关键点信息和方向信息。

步骤S204，将目标车辆图像输入至预先训练得到的特征提取模型，以使特征提取模型基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征。

在一种实施方式中，参见图5所示的一种特征提取模型的结构示意图，该特征提取模型包括局部特征提取网络和方向特征提取网络，以及分别与局部特征提取网络和方向特征提取网络连接的特征拼接网络。其中，局部特征提取网络可以根据关键点信息提取车辆图像的局部特征，方向特征提取网络可以根据方向信息提取车辆图像的多方向融合特征，特征拼接网络可以将局部特征与多方向融合特征进行拼接处理，最终得到车辆特征。

步骤S206，根据目标车辆图像的车辆特征，基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像；其中，车辆特征集包含有多张车辆图像经特征提取模型提取出的车辆特征。

在一种实施方式中，可以计算目标车辆图像的车辆特征与已有的车辆特征集中各车辆图像的车辆特征之间的特征间距值；然后从计算得到的多个特征间距值中找到最小特征间距值，再判断最小特征间距值是否低于预设特征间距阈值；如果是，将最小特征间距值对应的车辆特征集中的车辆图像确定与目标车辆图像相匹配。其中，特征间距阈值可以预先根据同一车辆的两张车辆图像之间的特征间距值而设定，其可以为经过大量数据统计而得到的经验值，如果两张车辆图像的车辆特征之间的特征间距值低于该特征间距阈值，则可表明这两张车辆图像对应同一辆车。特征间距值越小，说明两张车辆图像越近似，对应同一车辆的可能性就越大。通过这种方式，可以对某一摄像头采集的某车辆图像在所有数据库中进行查找，识别出该车辆图像相同的车辆，从而实现车辆检索或车辆追踪。当然，也可以同时向特征提取模型输入一批车辆图像，确定该批车辆图像的车辆特征，并基于车辆特征查找到该批车辆图像中相同的车辆。本实施例提供的上述方式，可以将数据库中的车辆图像经过特征提取模型提取的车辆特征存储于车辆特征集，在待匹配的车辆图像需要匹配时可直接应用，无需每次重识别都将数据库中的车辆图像和待匹配的车辆图像都输入至特征提取模型进行特征提取，相比之下，本实施例提供的上述方式更加便捷高效。

本发明实施例提供的上述车辆重识别方法，能够将待识别的目标车辆图像输入至预先训练得到的特征提取模型，该特征提取模型能够基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征，进而基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像。这种车辆重识别方式在进行车辆特征提取时考虑了车辆关键点和车辆方向，通过车辆关键点和方向等细节较好地提升了车辆重识别的准确度。

为了使特征提取模型可以直接应用于车辆重识别方法，输出较为可靠准确的结果，需要事先训练该特征提取模型，具体的，上述车辆重识别方法还包括对识别网络的训练过程，结合图6所示的一种特征提取模型的结构示意图，对该特征提取模型的训练步骤详细阐明如下：

(1)获取多张车辆训练图像；每张车辆训练图像携带有关键点信息、方向信息和车辆编码。在实际应用中，可以获取多个车辆对应的车辆训练图像；每个车辆对应有多张方向信息不同的车辆训练图像。诸如，输入60 辆车的车辆图像，每辆车对应四张图像，诸如可以为两张正面图像，两张背面图像；也即一共获取240张车辆图像。当然，还可以一辆车也可以对应多张方向不同(完全正面、完全侧面、多个偏转角度不同的侧面)的图像，在此不进行限制。

(2)将各车辆训练图像以及对应的关键点信息输入至局部特征提取网络，通过局部特征提取网络提取各车辆训练图像的局部特征。

其中，关键点信息包括目标区域的多个边界坐标，每个边界坐标即为一个关键点。如图3和图4所示，边界坐标可以选用目标区域的顶点坐标。目标区域包括车窗区域和车标识区域两个部分。对于正向车辆，车窗区域为前车窗区域，车标识区域为包含前车灯、车牌和车标的区域。对于背向车辆，车窗区域为后车窗区域，车标识区域为包含后车灯和车牌的区域。在一种实施方式中，可以通过局部特征提取网络基于各车辆训练图像对应的关键点信息确定各车辆训练图像的目标区域，并提取各车辆训练图像的目标区域的局部特征。

图6示意出局部特征提取网络包括CNN层、ROI pooling层和FC层；其中，CNN(Convolutional Neural Network，卷积神经网络)层用于对车辆训练图像进行特征初提取，ROI pooling层为ROI(Region of Interest,感兴趣的区域)池化层，用于根据关键点信息以及CNN层初步提取的特征对车辆训练图像上的目标区域进行特征再提取，分别生成两个对应的区域特征，并将两个区域特征进行合并，然后通过FC层(也即，全连接层)生成局部特征。

(3)将各车辆训练图像以及对应的方向信息输入至方向特征提取网络，通过方向特征提取网络提取各车辆训练图像的多方向融合特征。

在一种实施方式中，方向特征提取网络可以基于各车辆训练图像对应的方向信息提取各车辆训练图像的多个方向特征，并将多个方向特征融合为各车辆训练图像的多方向融合特征。

具体实施时，方向特征提取网络可以包括多个子提取网络，以及与多个子提取网络相连的融合层；其中，每个所述子提取网络对应一种车辆方向；每个子提取网络用于提取各所述车辆训练图像的方向特征，并将提取的方向特征传递给融合层；融合层用于对各所述车辆训练图像的多种方向特征进行特征融合，得到多方向融合特征(combinedfeature)。在具体实施时，车辆图像可以先进入全部的子提取网络分别提取方向特征，后续再由融合层进行特征融合处理(feature aggregation)，将子提取网络得到的与车辆图像的方向不对应的方向特征置零，仅保留与各子提取网络对应方向一致的方向特征。

具体的，融合层能够根据各车辆训练图像的方向信息，以及各子提取网络对应的车辆方向，确定与各子提取网络匹配的车辆训练图像；保留与各子提取网络匹配的车辆训练图像的方向特征，并将与各子提取网络不匹配的车辆训练图像的方向特征置零；对于每张车辆训练图像，均将各子提取网络提取的该车辆训练图像的方向特征融合形成该车辆训练图像的多方向融合特征。诸如某车辆训练图像为A车正面图像，A车正面图像同时进入两支子提取网络(第一支子提取网络对应的车辆方向为车辆正面，第二支子提取网络对应的车辆方向为车辆背面)，第一支子提取网络和第二支子提取网络分别提取了A车正面图像的方向特征，并将提取的方向特征传递给融合层，融合层保留第一支子提取网络传递的A车正面图像的方向特征，并将第二支子提取网络传递的A车正面图像的方向特征置为零，将两支子提取网络经处理后的方向特征融合，即得到A车正面图像的多方向融合特征，该多方向融合特征也即A车正面图像的正面特征。通过这种方式，达到了不同的子提取网络对应提取不同的方向特征的效果。

图6简单示意出方向特征提取网络包括两支CNN层(也即，子提取网络)，以及分别与两支CNN网络层相连接的融合层。(也即，feature aggregation融合层)。当然，在实际应用中，方向特征提取网络可以包括两支以上的CNN层，在此仅以最简单的两支CNN层为例进行说明，上支CNN 层用于提取正面特征，下支CNN层用于提取背面特征。融合层对两支CNN网络层发送的方向特征进行融合处理，并通过FC层输出多方向融合特征。

进一步，本实施例给出一种上支CNN层提取正面特征，下支CNN层提取背面特征的具体实现方式，车辆图像同时进入上支CNN层和下支CNN 层，融合层在对各CNN层提取的方向特征进行特征融合时，根据各车辆图像的方向标签，保留各CNN层对应的方向特征(简称为本方向特征)，并删除本方向之外的方向特征(简称为异向特征)，来保证各CNN层可以提取到相应的方向特征。诸如，上支CNN层只保留正面车辆的方向特征，而背面车辆的方向特征被置零。具体实现时，可以将输入的车辆图像所携带的方向标签进行维度扩展，将方向标签的维度扩展到与当前车辆图像的特征维度相同，诸如，当前车辆图像的特征维度是7*7*512，则方向标签的维度也扩展为7*7*512，假设方向标签分为正面标签和背面标签，正面标签以1表征，背面标签设置以0表征，则背面标签被扩展为7*7*512个0，也即上支CNN层的所有背面特征均置零。同理，下支CNN层只保留背面车辆的方向特征，正面车辆的方向特征被置零。具体实现时，可以让所有的方向标签取反后按位加1，也即，可将背面标签(0按位取反加1)变成 1，而正面标签(1按位取反加1)变成0，之后方向特征再按位相乘，实现特征融合，得到多方向融合特征。

在对特征提取模型进行训练的反传过程中，各CNN层只会针对当前方向上的特征进行梯度下降，从而仅提升当前方向上的有效特征提取能力。

(4)将各车辆训练图像的局部特征和多方向融合特征通过特征拼接网络拼接形成各车辆训练图像的车辆特征。

如图6所示，特征拼接网络主要采用神经网络的concat层实现，concat 层可以对局部特征和多方向融合特征进行拼接处理，诸如，[1,2,3]concat [4,5,6]即为[1,2,3,4,5,6]。

(5)结合各车辆训练图像的车辆特征，通过损失函数对特征提取模型进行训练。

具体的，可以将各车辆训练图像的车辆特征均输入至第一损失函数，以及将各车辆训练图像的车辆特征均通过外接分类网络输入至第二损失函数。基于第一损失函数的值和第二损失函数的值训练特征提取模型，直至第一损失函数的值收敛至第一预设阈值，且第二损失函数的值均收敛至第二预设阈值时停止训练；其中，当训练结束时，同一车辆编码对应的多张车辆训练图像的车辆特征之间的间距小于预设间距值。

如图6所示，concat层拼接得到的车辆特征一部分送入Tripletloss损失函数(也即，第一损失函数)进行度量学习，以减少类内距离，增大类间距离，诸如，减少同一辆车的两张图像的车辆特征距离，并增大不同车辆的图像的车辆特征距离；一部分经过分类网络(主要由FC层实现)进行分类，将分类结果送入SoftmaxwithLoss损失函数进行损失计算。其中，分类网络为特征提取模型的外接网络，用于在训练特征提取模型时，对特征提取模型提取出的车辆特征进行分类，具体方式是比对各车辆图像对应的车辆特征，将特征间距值小的车辆图像分类一类，作为同一辆车的多张图像。

Tripletloss损失函数和SoftmaxwithLoss损失函数共同监督特征提取模型，以使特征提取模型在训练结束后，输出的同一辆车对应的多张图像的车辆特征最为相近，从而实现车辆匹配，较好地提升车辆重识别的准确率。损失函数仅用于在测试阶段和训练阶段对特征提取模型进行监督，在特征提取模型的实际应用阶段不再需要损失函数。

本实施例提供的车辆重识别方法强调了车辆的局部区域之间进行匹配。如果两张车辆图像的目标区域(包含有车辆的主要特征，置信度较高) 相似，则可能为同一辆车。基于此，上述方式单独提取出可用于进行车辆图像匹配的目标区域，通过提取目标区域的特征，然后和整张车辆图像通过CNN提取出的全局特征进行融合，更有利于执行多张车辆图像的匹配操作。而现有技术中的车辆重识别方法，基本未单独提取目标区域的特征，也即大多将目标区域的特征模糊化，仅通过车辆图像的全局特征进行车辆匹配。相比之下，本实施例提供的上述特征提取模型，在提取车辆特征时，能够充分考虑到车辆关键点对应的局部特征，利用局部特征提升车辆重识别效果。

实施例三：

对于实施例二中所提供的车辆重识别方法，本发明实施例提供了一种车辆重识别装置，参见图7所示的一种目标检测装置的结构框图，包括：

图像获取模块702，用于获取待识别的目标车辆图像；其中，目标车辆图像携带有关键点信息和方向信息；

模型输入模块704，用于将目标车辆图像输入至预先训练得到的特征提取模型，以使特征提取模型基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征；

识别模块706，用于根据目标车辆图像的车辆特征，基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像；其中，车辆特征集包含有多张车辆图像经特征提取模型提取出的车辆特征。

本发明实施例提供的上述车辆重识别装置，能够将待识别的目标车辆图像输入至预先训练得到的特征提取模型，该特征提取模型能够基于目标车辆图像的关键点信息和方向信息提取目标车辆图像的车辆特征，进而基于已有的车辆特征集识别与目标车辆图像匹配的车辆图像。这种车辆重识别方式在进行车辆特征提取时考虑了车辆关键点和车辆方向，通过车辆关键点和方向等细节较好地提升了车辆重识别的准确度。

在一种实施方式中，特征提取模型包括局部特征提取网络和方向特征提取网络，以及分别与局部特征提取网络和方向特征提取网络连接的特征拼接网络。

本实施例还包括模型训练模块，用于：

获取多张车辆训练图像；每张车辆训练图像携带有关键点信息、方向信息和车辆编码；

将各车辆训练图像以及对应的关键点信息输入至局部特征提取网络，通过局部特征提取网络提取各车辆训练图像的局部特征；

将各车辆训练图像以及对应的方向信息输入至方向特征提取网络，通过方向特征提取网络提取各车辆训练图像的多方向融合特征；

将各车辆训练图像的局部特征和多方向融合特征通过特征拼接网络拼接形成各车辆训练图像的车辆特征；

结合各车辆训练图像的车辆特征，通过损失函数对特征提取模型进行训练。

模型训练模块进一步用于：将各车辆训练图像的车辆特征均输入至第一损失函数，以及将各车辆训练图像的车辆特征均通过外接分类层输入至第二损失函数；基于第一损失函数的值和第二损失函数的值训练特征提取模型，直至第一损失函数的值收敛至第一预设阈值，且第二损失函数的值均收敛至第二预设阈值时停止训练；其中，当训练结束时，同一车辆编码对应的多张车辆训练图像的车辆特征之间的间距小于预设间距值。

模型训练模块进一步用于：获取多个车辆对应的车辆训练图像；其中，每个车辆对应有多张方向信息不同的车辆训练图像。

模型训练模块进一步用于：通过局部特征提取网络基于各车辆训练图像对应的关键点信息确定各车辆训练图像的目标区域，并提取各车辆训练图像的目标区域的局部特征；其中，关键点信息包括目标区域的多个边界坐标；目标区域包括车窗区域和车标识区域；车标识区域包含有车灯、车牌和车标中的多种。

模型训练模块进一步用于：通过方向特征提取网络基于各车辆训练图像对应的方向信息提取各车辆训练图像的多个方向特征，并将多个方向特征融合为各车辆训练图像的多方向融合特征。

在一种实施方式中，方向特征提取网络包括多个子提取网络，以及与多个子提取网络相连的融合层；其中，每个子提取网络对应一种车辆方向；每个子提取网络用于提取各车辆训练图像的方向特征，并将提取的方向特征传递给融合层；不同的子提取网络对应的方向特征不同；融合层用于对各车辆训练图像的多种方向特征进行特征融合，得到多方向融合特征。

在一种实施方式中，对各车辆训练图像的多种方向特征进行特征融合，得到多方向融合特征的步骤，包括：根据各车辆训练图像的方向信息，以及各子提取网络对应的车辆方向，确定与各子提取网络匹配的车辆训练图像；保留与各子提取网络匹配的车辆训练图像的方向特征，并将与各子提取网络不匹配的车辆训练图像的方向特征置零；对于每张车辆训练图像，均将各子提取网络提取的该车辆训练图像的方向特征融合形成该车辆训练图像的多方向融合特征。

在一种实施方式中，识别模块进一步用于：计算目标车辆图像的车辆特征与已有的车辆特征集中各车辆图像的车辆特征之间的特征间距值；从计算得到的多个所述特征间距值中找到最小特征间距值；判断所述最小特征间距值是否低于预设特征间距阈值；如果是，将所述最小特征间距值对应的所述车辆特征集中的车辆图像确定与所述目标车辆图像相匹配。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

本实施例提供了一种车辆重识别系统，包括：图像采集装置、处理器和存储装置；

图像采集装置，用于采集图像信息；

存储装置上存储有计算机程序，计算机程序在被处理器运行时执行实施例二所提供的车辆重识别方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

进一步，本实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例二所提供的方法的步骤。

本发明实施例所提供的车辆重识别方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种车辆重识别方法，其特征在于，包括：

获取待识别的目标车辆图像；其中，所述目标车辆图像携带有关键点信息和方向信息；所述关键点信息表征多个关键点在所述目标车辆图像上的位置，多个所述关键点构成所述目标车辆图像上的目标区域；所述目标区域用于区分车辆；所述方向信息为所述目标车辆图像上的车辆方向；

将所述目标车辆图像输入至预先训练得到的特征提取模型，以使所述特征提取模型基于所述目标车辆图像的关键点信息和方向信息提取所述目标车辆图像的车辆特征；其中，所述特征提取模型包括局部特征提取网络和方向特征提取网络，以及分别与所述局部特征提取网络和所述方向特征提取网络连接的特征拼接网络；所述局部特征提取网络根据所述关键点信息提取车辆图像的局部特征，所述方向特征提取网络根据所述方向信息提取车辆图像的多方向融合特征，所述特征拼接网络将所述局部特征与所述多方向融合特征进行拼接处理，得到车辆特征；

根据所述目标车辆图像的车辆特征，基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像；其中，所述车辆特征集包含有多张车辆图像经所述特征提取模型提取出的车辆特征。

2.根据权利要求1所述的方法，其特征在于，所述特征提取模型的训练步骤包括：

获取多张车辆训练图像；每张所述车辆训练图像携带有关键点信息、方向信息和车辆编码；

将各所述车辆训练图像以及对应的关键点信息输入至所述局部特征提取网络，通过所述局部特征提取网络提取各所述车辆训练图像的局部特征；

将各所述车辆训练图像以及对应的方向信息输入至所述方向特征提取网络，通过所述方向特征提取网络提取各所述车辆训练图像的多方向融合特征；

将各所述车辆训练图像的局部特征和多方向融合特征通过所述特征拼接网络拼接形成各所述车辆训练图像的车辆特征；

结合各所述车辆训练图像的车辆特征，通过损失函数对所述特征提取模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述结合各所述车辆训练图像的车辆特征，通过损失函数对所述特征提取模型进行训练的步骤，包括：

将各所述车辆训练图像的车辆特征均输入至第一损失函数，以及将各所述车辆训练图像的车辆特征均通过外接分类网络输入至第二损失函数；

基于所述第一损失函数的值和所述第二损失函数的值训练所述特征提取模型，直至所述第一损失函数的值收敛至第一预设阈值，且所述第二损失函数的值均收敛至第二预设阈值时停止训练；

其中，当训练结束时，同一车辆编码对应的多张车辆训练图像的车辆特征之间的间距小于预设间距值。

4.根据权利要求2所述的方法，其特征在于，所述获取多张车辆训练图像的步骤，包括：

获取多个车辆对应的车辆训练图像；其中，每个所述车辆对应有多张方向信息不同的车辆训练图像。

5.根据权利要求2所述的方法，其特征在于，所述通过所述局部特征提取网络提取各所述车辆训练图像的局部特征的步骤，包括：

通过所述局部特征提取网络基于各所述车辆训练图像对应的关键点信息确定各所述车辆训练图像的目标区域，并提取各所述车辆训练图像的目标区域的局部特征；

其中，所述关键点信息包括所述目标区域的多个边界坐标；所述目标区域包括车窗区域和车标识区域；所述车标识区域包含有车灯、车牌和车标中的多种。

6.根据权利要求2所述的方法，其特征在于，所述通过所述方向特征提取网络提取各所述车辆训练图像的多方向融合特征的步骤，包括：

通过所述方向特征提取网络基于各所述车辆训练图像对应的方向信息提取各所述车辆训练图像的多个方向特征，并将多个所述方向特征融合为各所述车辆训练图像的多方向融合特征。

7.根据权利要求6所述的方法，其特征在于，所述方向特征提取网络包括多个子提取网络，以及与多个所述子提取网络相连的融合层；其中，每个所述子提取网络对应一种车辆方向；

每个所述子提取网络用于提取各所述车辆训练图像的方向特征，并将提取的所述方向特征传递给所述融合层；所述融合层用于对各所述车辆训练图像的多种所述方向特征进行特征融合，得到多方向融合特征。

8.根据权利要求7所述的方法，其特征在于，所述对各所述车辆训练图像的多种所述方向特征进行特征融合，得到多方向融合特征的步骤，包括：

根据各所述车辆训练图像的方向信息，以及各所述子提取网络对应的车辆方向，确定与各所述子提取网络匹配的车辆训练图像；

保留与各所述子提取网络匹配的车辆训练图像的方向特征，并将与各所述子提取网络不匹配的车辆训练图像的方向特征置零；

对于每张所述车辆训练图像，均将各所述子提取网络提取的该所述车辆训练图像的方向特征融合形成该所述车辆训练图像的多方向融合特征。

9.根据权利要求1所述的方法，其特征在于，所述基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像的步骤，包括：

计算所述目标车辆图像的车辆特征与已有的车辆特征集中各所述车辆图像的车辆特征之间的特征间距值；

从计算得到的多个所述特征间距值中找到最小特征间距值；

判断所述最小特征间距值是否低于预设特征间距阈值；

如果是，将所述最小特征间距值对应的所述车辆特征集中的车辆图像确定与所述目标车辆图像相匹配。

10.一种车辆重识别装置，其特征在于，包括：

图像获取模块，用于获取待识别的目标车辆图像；其中，所述目标车辆图像携带有关键点信息和方向信息；所述关键点信息表征多个关键点在所述目标车辆图像上的位置，多个所述关键点构成所述目标车辆图像上的目标区域；所述目标区域用于区分车辆；所述方向信息为所述目标车辆图像上的车辆方向；

模型输入模块，用于将所述目标车辆图像输入至预先训练得到的特征提取模型，以使所述特征提取模型基于所述目标车辆图像的关键点信息和方向信息提取所述目标车辆图像的车辆特征；其中，所述特征提取模型包括局部特征提取网络和方向特征提取网络，以及分别与所述局部特征提取网络和所述方向特征提取网络连接的特征拼接网络；所述局部特征提取网络根据所述关键点信息提取车辆图像的局部特征，所述方向特征提取网络根据所述方向信息提取车辆图像的多方向融合特征，所述特征拼接网络将所述局部特征与所述多方向融合特征进行拼接处理，得到车辆特征；

识别模块，用于根据所述目标车辆图像的车辆特征，基于已有的车辆特征集识别与所述目标车辆图像匹配的车辆图像；其中，所述车辆特征集包含有多张车辆图像经所述特征提取模型提取出的车辆特征。

11.一种车辆重识别系统，其特征在于，包括：图像采集装置、处理器和存储装置；

所述图像采集装置，用于采集图像信息；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至9任一项所述的方法的步骤。

Images