CN115880650B - 跨视域车辆重识别模型及其构建方法、装置及应用 - Google Patents

Abstract

本方案提出了一种跨视域车辆重识别模型的构建方法、装置及应用，包括以下步骤：构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成，获取至少一标记车辆的待识别车辆图像以及多视角信息；将待识别车辆图像以及多视角信息输入到跨域特征生成模块中得到跨域特征；对待识别车辆图像进行特征提取后输入到空间特征增强模块中得到增强车辆特征；当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。本方案可以根据输入的待识别车辆图像在不同的光照、亮度的条件下进行高准确率的重识别。

Description

跨视域车辆重识别模型及其构建方法、装置及应用

技术领域

本申请涉及图像处理、机器学习领域，特别涉及一种跨视域车辆重识别模型及其构建方法、装置及应用。

背景技术

车辆在行驶过程中经常会出现各种违章行为，传统的处理方法依靠交通管理部门巡查，管理人员发现违章行为后给车辆贴罚单并发送处罚短信，整个过程耗费大量人力资源且效率较低。为了提高交通管理部门的违章行为处罚效率，现有技术中存在通过车辆重识别来进行违章复核的方法，但是这种方法常常由于失误判定前后车辆不一致便自动结案，从而没有很好的对违章行为进行处罚。

由于失误判定前后车辆不一致主要有以下原因：1.在进行重识别时由于光线、天气、视角、颜色等变化导致认为原违章车辆不存在；2.在进行重识别时车辆的位置、停车的方向、车门或者后备箱处于打开状态或被其他遮挡物（行人、物品等）遮挡导致重识别失败；3.重识别时通过车牌号来判断同一辆车，当车牌被遮挡或者由于视角问题在重识别时拍摄不到车牌等原因会导致重识别失败。

综上所述，亟需一种可以在不同的拍摄角度以及存在光线、天气等干扰的情况下可以进行准确重识别的方法。

发明内容

本申请方案提供一种跨视域车辆重识别模型及其构建方法、装置及应用，可以在不同光照情况，不同天气情况下对车辆进行准确重识别。

第一方面，本申请提供一种跨视域车辆重识别模型的构建方法，包括：

获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息；

构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；

对所述待识别图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。

第二方面，本申请提供一种车辆重识别方法，包括：

获取待重识别车辆图像，将所述带重识别车辆图像输入到如上构建的跨视域车辆重识别模型中，所述跨视域车辆重识别模型会根据待重识别车辆图像在目标库中查找与待重识别车辆图像中的车辆特征相同的目标车辆，并将所述目标车辆作为重识别结果进行输出。

第三方面，本申请提供一种跨视域车辆重识别模型的构建装置，包括：

获取模块：获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息；

构建模块：构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

跨域特征生成模块：训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；

增强车辆特征生成模块：对所述待识别图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

完成模块：当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。

第四方面，本申请提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种跨视域车辆重识别模型的构建方法或一种车辆重识别方法。

第五方面，本申请提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种跨视域车辆重识别模型的构建方法或一种车辆重识别方法。

相较现有技术，本技术方案具有以下特点和有益效果：

本方案根据多视角信息结合待识别车辆图像来进行跨域特征的生成，使得模型具有预测不同监控角度下的车辆的能力，且在生成跨域特征的过程中，通过对待识别车辆图像的特征进行RGB通道的分离进行预测拼接，使得所述跨视域车辆重识别模型可以在不同亮度、不同天气下具有更好的预测结果；本方案使用空间特征增强的方式对所述待识别车辆图像进行特征增强得到增强车辆特征，并使用增强车辆特征来与所述跨域特征进行损失函数的判断使得生成跨域特征的相似度更高，从而使得模型的预测结果更加准确。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种跨视域车辆重识别模型的构建方法的流程图；

图2是根据本申请实施例的一种跨视域车辆重识别模型的结构示意图；

图3是根据本申请实施例的跨域特征生成模块的结构示意图；

图4是根据本申请实施例的空间特征增强模块的结构示意图；

图5是根据本申请实施例的一种跨视域车辆重识别模型的构建装置的结构框图；

图6是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请方案提供了一种跨视域车辆重识别模型的构建方法，参考图1，所述方法包括：

获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息；

构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；对所述待识别图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。

在一些实施例中，所述跨视域车辆重识别模型的结构如图2所示，其中跨视域车辆重识别模型包括所述跨域特征生成模块和所述空间特征生成模块，将待识别车辆图像进行特征提取得到待识别车辆特征之后送入所述空间特征增强模块得到增强车辆特征，对待识别车辆图像进行通道特征提取得到通道特征，将通道特征、车辆身份编码信息、多视角信息送入所述跨域特征生成模块中得到跨域特征。

在一些具体实施例中，所述多视角信息包含不同的拍摄角度信息，所述拍摄角度信息为摄像头的拍摄角度，示例性，所述拍摄角度信息为可以拍摄车辆正面、侧面或背面的图像的拍摄角度信息，本方案之所以引入多视角信息的目的在于：在进行重识别时避免收到拍摄角度的影响从而导致重识别错误。

进一步的，在“将所述待识别车辆图像进行通道特征提取得到通道特征”步骤中，将所述待识别车辆图像进行通道分离得到R通道图像、G通道图像以及B通道图像，并分别对R通道图像、G通道图像、B通道图像进行通道特征提取得到R通道特征、G通道特征、B通道特征。这样做的好处在于：使用通道特征来对模型进行训练可以在进行重识别是避免因天气、光照等外界因素导致的重识别错误。

在“将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征”步骤中，对所述通道特征进行线性映射变换使得所述通道特征的维度与所述多视角信息的维度相同，将所述通道特征与多视角信息拼接后进行卷积得到角度卷积结果，将所述多视角信息进行卷积得到第一卷积结果，计算所述第一卷积结果以及角度卷积结果之间的KL散度得到第一偏差结果，另一方面，将所述通道特征与车辆身份编码信息拼接扣进行卷积得到身份卷积结果，将所述车辆身份编码信息进行卷积得到第三卷积结果，计算所述第三卷积结果以及身份卷积结果之间的KL散度得到第二偏差结果，使用所述多视角信息对所述第一偏差结果进行先验融合得到跨视域特征分布，使用所述车辆身份编码信息对所述第二偏差结果进行先验融合得到车辆身份特征分布，将所述跨视域特征分布与所述车辆身份特征分布输入到第四卷积网络中得到跨域通道特征，所述跨域通道特征的数量与通道特征相同，将多个跨域通道特征进行拼接融合得到跨域特征。

在一些实施例中，如图3所示，所述跨域特征生成模块中包含并行的第一卷积网络、第二卷积网络、第三卷积网络，所述第一卷积网络获取所述多视角信息之间的区分度作为第一卷积结果，所述第二卷积网络存在两个输入，第一输入为多视角信息与通道特征的拼接结果，第一输入对应的输出结果为角度卷积结果，第二输入为车辆身份编码信息与通道特征的拼接结果，第二输入对应的输出为身份卷积结果，所述第三卷积网络获取所述车辆身份编码信息的特征得到第三卷积结果，在并行的第一卷积网络、第二卷积网络、第三卷积网络之后连接两个并行的第一散度计算模块、第二散度计算模块，所述第一散度计算模块计算所述第一卷积结果以及角度卷积结果之间的KL散度得到第一偏差结果，所述第二散度计算模块计算所述第三卷积结果以及所述身份卷积结果之间的KL散度得到第二偏差结果，再使用所述多视角信息对所述第一偏差结果进行先验融合得到跨视域特征分布，使用所述车辆身份编码信息对所述第二偏差结果进行先验融合得到车辆身份特征分布，将所述跨视域特征分布与所述车辆身份特征分布输入到第四卷积网络中得到跨域通道特征。

具体的，所述第一卷积网络获取所述多视角信息之间的区分度作为第一卷积结果，所述多视角信息之间的区分度表明在不同的监控角度下待识别车辆图像中的车辆应该存在的区别。所述第二卷积模块是将所述多视角信息以及通道特征进行卷积融合，将所述车辆身份编码信息与通道特征进行卷积融合，分别得到角度卷积结果以及身份卷积结果，将所述多视角信息以及通道特征进行卷积融合的好处在于：可以使得模型可以更好的学习到车辆在不同监控角度下的特征表示，将所述车辆身份编码信息与通道特征进行卷积融合的好处在于使得跨视域车辆重识别模型可以更好的区分不同的车辆特征。

具体的，计算所述第一卷积结果与所述角度卷积结果之间的KL散度得到第一偏差结果，所述第一偏差结果表明了所述第一卷积结果与所述角度卷积结果两者特征信息之间的偏差，通过两者特征信息之间的偏差使得模型更好的学习跨视域的特征。

计算所述第三卷积结果以及所述身份卷积结果之间的KL散度得到第二偏差结果，所述第二偏差结果表明了所述第三卷积结果与所述身份卷积结果两个特征信息之间的偏差，通过所述第三卷积结果与所述身份卷积结果两个特征信息之间的偏差可以使得模型更好的判断车辆的身份信息。

具体的，所述KL散度可以用来衡量两个分布之间的差异程度，若两者差异越小，KL散度越小，反之亦反，当两个分布一致时，其KL散度为0，在本方案中，所述KL散度用来衡量所述第一卷积结果与所述角度卷积结果之间的差异程度，以及用来衡量所述第三卷积结果与所述身份卷积结果之间的差异程度。

具体的，使用所述多视角信息以及车辆身份编码信息进行先验融合的目的是防止所述生成的跨域特征与所述多视角信息、待识别车辆图像中的车辆特征以及车辆身份编码信息的差别过大使得模型学习的结果不准确，从而导致重识别成功的准确率下降，在本方案中，所述先验融合就是利用所述多视角信息以及车辆编码信息对跨域特征进行的一种约束行为。

在一些具体实施例中，所述通道特征为R通道特征、G通道特征以及B通道特征，分别将所述通道特征中的R通道特征、G通道特征、B通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到R跨域通道特征、G跨域通道特征、B跨域通道特征，将所述R跨域通道特征、G跨域通道特征、B跨域通道特征进行拼接得到跨域特征。

具体的，在将所述R跨域通道特征、G跨域通道特征、B跨域通道特征进行拼接时，使用矩阵求和的操作进行拼接以实现不同通道特征的融合。

此时，在“将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征”步骤之前，对所述通道特征进行线性映射变换使得所述通道特征的维度与所述多视角信息的维度相同，当所述通道特征为R通道特征、G通道特征、B通道特征时，分别对所述R通道特征、G通道特征、B通道特征进行线性映射变换使得R通道特征、G通道特征、B通道特征的维度与所述多视角信息的维度相同。

具体的，将所述待识别车辆图像进行通道分离后再分别与多视角信息进行特征生成目的是为了使得生成的跨域特征更好的适应不同情况的天气因素，如在不同的光照、亮度的天气因素下，车辆的特征可能不同，将所述待识别车辆图像进行通道分离后便可以使得生成的跨域特征更好的适应这些影响，生成的跨域特征也会更加符合实际情况。

进一步的，所述跨域特征生成模块会生成多个跨域通道特征，将多个跨域通道特征进行拼接融合得到跨域特征。

在一些具体实施例中，当输入所述跨域特征生成模块的通道特征为R通道特征时，则得到的跨域通道特征为R跨域通道特征，当输入所述跨域特征生成模块的通道特征为G通道特征时，则得到的跨域通道特征为G跨域通道特征，当输入所述跨域特征生成模块的通道特征为B通道特征时，则得到的跨域通道特征为B跨域通道特征，将所述R跨域通道特征与所述G跨域通道特征进行拼接得到RG跨域通道特征，将所述G跨域通道特征与所述B跨域通道特征进行拼接得到GB跨域通道特征，再将所述RG通道特征与所述GB通道特征进行拼接得到跨域特征。

具体的，将所述R跨域通道特征、G跨域通道特征、B跨域通道特征进行拼接后获得的跨域特征可以使得所述跨视域车辆重识别模型在重识别时可以更好的适应不同的光照情况、不同的亮度情况等影响因素，增强重识别的准确率。

在一些实施例中，在所述跨视域车辆重识别模型中添加特征提取模块，所述特征提取模块用来对输入到所述跨视域车辆重识别模型的待识别图像进行特征提取以得到待识别车辆特征。

在一些具体实施例中，本方案的待识别车辆图像的大小为224×224，所述特征提取模块采用卷积神经网络来进行特征提取。

在一些实施例中，所述空间特征增强模块的结构示意图如图4所示，在“所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵”步骤中，所述矩阵子模块由第一池化层、矩阵卷积层、第二池化层、激活函数层顺序串联组成，所述第一池化层对所述待识别车辆特征进行均值池化得到第一池化结果，所述矩阵卷积层对所述第一池化结果进行卷积操作得到矩阵卷积结果，所述第二池化层对所述矩阵卷积结果进行池化得到第二池化结果，在所述激活函数层使用激活函数将所述第二池化结果进行输出得到系数矩阵。

具体的，所述第一池化层对所述待识别车辆特征进行均值最大运算得到一个通道数为2的特征图，所述矩阵卷积层采用3×3的卷积操作进行卷积得到矩阵卷积结果，将所述矩阵卷积结果进行池化后通过Sigmoid激活函数进行输出得到系数矩阵。

在一些实施例中，在“所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数”步骤中，所述权重子模块由通道分离层、权重卷积层、通道拼接层、池化输出层组成，所述通道分离层对所述待识别车辆特征进行通道分离得到第一分离结果和第二分离结果，所述权重卷积层分别对所述第一分离结果和所述第二分离结果进行卷积得到第一权重卷积结果和第二权重卷积结果，将所述第一权重卷积结果以及第二权重卷积结果在通道拼接层进行拼接得到通道拼接结果，再使用所述池化输出层对所述通道拼接结果进行均值池化后输出得到权重系数。

具体的，所述权重卷积层分别采用1×3的矩形卷积核3×1的矩形卷积对所述第一分离结果和所述第二分离结果进行卷积，目的是更好的提取第一分离结果和第二分离结果上的细粒度特征，对所述拼接结果进行卷积计算后再通过所述池化输出层进行均值池化计算所述拼接结果中的重要性权重系数。

具体的，为了防止浅层网络提取的重要信息丢失，所述空间特征增强模块不在所述跨视域车辆重识别模型的浅层结构上。

具体的，使用所述权重系数以及所述系数矩阵对所述待识别车辆特征进行加权运算得到增强车辆特征。

在一些实施例中，在“当所述跨视域车辆重识别模型之间的损失函数最小时，完成所述跨视域车辆重识别模型的训练”步骤中，所述损失函数用来判断所述跨域特征与所述增强车辆特征之间的分布差距，当所述分布差距最小时完成所述跨视域车辆重识别模型的训练。

具体的，所述损失函数为交叉熵损失函数，当所述分布差距最小时认为所述跨域特征与所述增强车辆特征为同一车辆特征。

具体的，训练好的所述跨视域车辆重识别模型可以根据输入的待识别车辆快速判断不同监控角度下的车辆特征，从而进行快速重识别。

实施例二

一种车辆重识别方法，包括：

获取待重识别车辆图像，将所述待重识别车辆图像输入到实施例一构建的跨视域车辆重识别模型中，所述跨视域车辆重识别模型会根据待重识别车辆图像在目标库中查找与待重识别车辆图像中的车辆特征相同的目标车辆，并将所述目标车辆作为重识别结果进行输出。

具体的，所述目标库指的是在车辆重识别时进行比对的数据库，可以是某一范围内的道路监控视频等。

实施例三

一种违停车辆主动复核方法，包括：

获取一个监控图像以及所述监控图像的监控范围，使用开源的目标检测算法获取所述监控图像中的违停车辆，并记录每一违停车辆的位置信息作为第一位置信息，在第一设定时间后使用训练好的跨视域车辆重识别模型在监控范围内对每一违停车辆进行重识别得到重识别结果，获取每一重识别结果的位置信息作为第二位置信息，所述第一位置信息与所述第二位置信息表示违停车辆目标框的位置，根据第一位置信息与第二位置信息计算每一违停车辆与对应的重识别结果的目标框的重叠度，当所述重叠度大于第一设定阈值时，认为该车辆为违停车辆，并进行上报处理。

具体的，记录监控图像的左上角坐标左上角坐标(,)，右下角左边(,)，根据监控图像的左上角坐标以及右下角坐标得到监控图像的监控范围。

具体的，当使用阈值判断法获取每一违停车辆的重识别结果时，由于阈值筛选的问题，每一违停车辆会得到多个重识别结果，需要使用违停车辆目标框与对应每一重识别结果目标框的重叠度对每一重识别结果进行加权计算，得到每一重识别结果相对于对应违停车辆的阈值，如果该阈值大于所述第一设定阈值时，认为对应的重识别结果为违停车辆，进行上报处理。

实施例四

基于相同构思，参考图5，本申请还提出了一种跨视域车辆重识别模型的构建装置，包括：

获取模块：获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息；

构建模块：构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

跨域特征生成模块：训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；

增强车辆特征生成模块：对所述待识别图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

完成模块：当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。

实施例五

本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项跨视域车辆重识别模型的构建方法以及车辆重识别方法的实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种跨视域车辆重识别模型的构建方法以及车辆重识别方法的实施过程。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是待识别车辆图像等，输出的信息可以是跨域特征、增强车辆特征等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

S101、获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息；

S102、构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

S103、训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；

S104、对所述待识别图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

S105、当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图6中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种跨视域车辆重识别模型的构建方法，其特征在于，包括：

获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息，所述多视角信息包含不同的拍摄角度信息，所述拍摄角度信息为摄像头的拍摄角度；

构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征；

对所述待识别车辆图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练，所述损失函数用来判断所述跨域特征与所述增强车辆特征之间的分布差距，当所述分布差距最小时完成所述跨视域车辆重识别模型的训练。

2.根据权利要求1所述的一种跨视域车辆重识别模型的构建方法，其特征在于，在“将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征”步骤之前，对所述通道特征进行线性映射变换使得所述通道特征的维度与所述多视角信息的维度相同。

3.根据权利要求1所述的一种跨视域车辆重识别模型的构建方法，其特征在于，所述跨域特征生成模块中包含并行的第一卷积网络、第二卷积网络、第三卷积网络，所述第一卷积网络获取所述多视角信息之间的区分度作为第一卷积结果，所述多视角信息之间的区分度表明在不同的监控角度下待识别车辆图像中的车辆存在的区别，所述第二卷积网络存在两个输入，第一输入为多视角信息与通道特征的拼接结果，第一输入对应的输出结果为角度卷积结果，第二输入为车辆身份编码信息与通道特征的拼接结果，第二输入对应的输出为身份卷积结果，所述第三卷积网络获取所述车辆身份编码信息的特征得到第三卷积结果，在并行的第一卷积网络、第二卷积网络、第三卷积网络之后连接两个并行的第一散度计算模块、第二散度计算模块，所述第一散度计算模块计算所述第一卷积结果以及角度卷积结果之间的KL散度得到第一偏差结果，所述第二散度计算模块计算所述第三卷积结果以及所述身份卷积结果之间的KL散度得到第二偏差结果，再使用所述多视角信息对所述第一偏差结果进行先验融合得到跨视域特征分布，使用所述车辆身份编码信息对所述第二偏差结果进行先验融合得到车辆身份特征分布，将所述跨视域特征分布与所述车辆身份特征分布输入到第四卷积网络中得到跨域通道特征，对跨域通道特征进行拼接得到跨域特征。

4.根据权利要求1所述的一种跨视域车辆重识别模型的构建方法，其特征在于，所述通道特征为R通道特征、G通道特征以及B通道特征，分别将所述通道特征中的R通道特征、G通道特征、B通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到R跨域通道特征、G跨域通道特征、B跨域通道特征，将所述R跨域通道特征、G跨域通道特征、B跨域通道特征进行拼接得到跨域特征。

5.根据权利要求4所述的一种跨视域车辆重识别模型的构建方法，其特征在于，将所述R跨域通道特征与所述G跨域通道特征进行拼接得到RG跨域通道特征，将所述G跨域通道特征与所述B跨域通道特征进行拼接得到GB跨域通道特征，再将所述RG跨域通道特征与所述GB跨域通道特征进行拼接得到跨域特征。

6.根据权利要求1所述的一种跨视域车辆重识别模型的构建方法，其特征在于，在“所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵”步骤中，所述矩阵子模块由第一池化层、矩阵卷积层、第二池化层、激活函数层顺序串联组成，所述第一池化层对所述待识别车辆特征进行均值池化得到第一池化结果，所述矩阵卷积层对所述第一池化结果进行卷积操作得到矩阵卷积结果，所述第二池化层对所述矩阵卷积结果进行池化得到第二池化结果，在所述激活函数层使用激活函数将所述第二池化结果进行输出得到系数矩阵。

7.根据权利要求1所述的一种跨视域车辆重识别模型的构建方法，其特征在于，在“所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数”步骤中，所述权重子模块由通道分离层、权重卷积层、通道拼接层、池化输出层组成，所述通道分离层对所述待识别车辆特征进行通道分离得到第一分离结果和第二分离结果，所述权重卷积层分别对所述第一分离结果和所述第二分离结果进行卷积得到第一权重卷积结果和第二权重卷积结果，将所述第一权重卷积结果以及第二权重卷积结果在通道拼接层进行拼接得到通道拼接结果，再使用所述池化输出层对所述通道拼接结果进行均值池化后输出得到权重系数。

8.一种车辆重识别方法，其特征在于，包括：

获取待重识别车辆图像，将所述待重识别车辆图像输入到权利要求1-7任一所述的方法构建的跨视域车辆重识别模型中，所述跨视域车辆重识别模型会根据待重识别车辆图像在目标库中查找与待重识别车辆图像中的待识别车辆特征相同的目标车辆，并将所述目标车辆作为重识别结果进行输出。

9.一种跨视域车辆重识别模型的构建装置，其特征在于，包括：

获取模块：获取至少一标记车辆的待识别车辆图像以及多视角信息，所述车辆对应设有车辆身份编码信息，所述多视角信息包含不同的拍摄角度信息，所述拍摄角度信息为摄像头的拍摄角度；

构建模块：构建跨视域车辆重识别模型，所述跨视域车辆重识别模型由跨域特征生成模块以及空间特征增强模块组成；

跨域特征生成模块：训练所述跨视域车辆重识别模型，将所述待识别车辆图像进行通道特征提取得到通道特征，将所述通道特征与所述车辆身份编码信息以及多视角信息输入到所述跨域特征生成模块中得到跨域特征，所述跨域特征为不同视角下的待识别车辆特征；

增强车辆特征生成模块：对所述待识别车辆图像进行特征提取得到待识别车辆特征，将所述待识别车辆特征输入到所述空间特征增强模块中，所述空间特征增强模块由矩阵子模块以及权重子模块组成，所述矩阵子模块对所述待识别车辆特征进行池化卷积操作得到系数矩阵，所述权重子模块对所述待识别车辆特征进行分离卷积操作得到权重系数，将所述待识别车辆特征与系数矩阵以及权重系数进行加权运算得到增强车辆特征；

完成模块：当所述跨视域车辆重识别模型的损失函数最小时，完成所述跨视域车辆重识别模型的训练，所述损失函数用来判断所述跨域特征与所述增强车辆特征之间的分布差距，当所述分布差距最小时完成所述跨视域车辆重识别模型的训练。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的一种跨视域车辆重识别模型的构建方法或权利要求8所述的一种车辆重识别方法。

11.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到7任一所述的一种跨视域车辆重识别模型的构建方法或权利要求8所述的一种车辆重识别方法。

Images