CN113792686A - 基于视觉表征跨传感器不变性的车辆重识别方法 - Google Patents

Abstract

本发明公开了基于视觉表征跨传感器不变性的车辆重识别方法，包括步骤：获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、关系感知的全局注意力模块、第三卷积层、关系感知的全局注意力模块和第四卷积层；第四卷积层将处理结果依次输入关系感知的全局注意力模块、第五卷积层、关系感知的全局注意力模块和BNNECK，还依次输入全尺度模块、全尺度模块和BNNECK；本发明从局部和全局两个角度区分车辆，缓解视角变化带来的影响，获取判别性更高的局部特征；全尺度分支通过四个不同大小的感受野对不同尺度的特征进行融合，获取判别性最高的特征组合，本发明在数据集上取得了令人满意的表现。

Description

基于视觉表征跨传感器不变性的车辆重识别方法

技术领域

本发明属于车辆识别技术领域，尤其涉及基于视觉表征跨传感器不变性的车辆重识别方法。

背景技术

遥感图像视觉表征的跨传感器不变性即在多传感器感影像数据中不随传感器变化的特征。通过捕捉多传感器遥感影像数据中不随传感器变化的特征，可以提高多种遥感应用技术的服务。受限于实验数据和设施，本章通过遥感图像的重识别问题说明提取不随传感器变化的特征将有效地提升重识别精度。

利用视觉信息的重识别任务就是从不同的摄像机网络捕捉到的图像中识别目标。重识别任务可以分为行人重识别和车辆重识别两种。车辆重识别作为跨传感器追踪任务中的一个重要研究方向，其目的是将目标车辆将车辆图像与已经捕获的车辆图像进行匹配，来确定车辆的从属。

当前车辆重识别任务存在的两个主要问题就是视角变化和尺度变化。同一车辆目标在不同的成像视角下形态相差很大。在不同的尺度下，车辆数据提供的信息也不尽相同。

发明内容

随着无人机技术的发展，无人机遥感摄像技术已经成为了智能交通领域的一个重要的数据获取途径。无人机视角下的车辆重识别任务也受到了越来越来多的关注。跨传感器追踪任务一直是遥感研究领域的一个重要研究任务，一个重要的思路就是通过挖掘具有跨传感器不变性的特征进行判别。车辆重识别作为跨传感器追踪任务中的一个重要应用，其根本思想是捕捉具有跨传感器不变性的特征。因此可以用无人机视角下的车辆重识别任务探究遥感图像视觉表征跨传感器不变性。无人机视角下的车辆重识别任务的关键点在于提取图片中不随角度变化和尺度变化的特征。有鉴于此，本发明提出了基于视觉表征跨传感器不变性的车辆重识别方法(GASNet)，重点考虑了无人机视角下的车辆重识别任务存在的最主要的两个问题，即丰富的视角变化和尺度变化，通过在网络中引入全局关系感知的注意力机制捕获具有全局信息的局部特征，这种局部特征对于视角变化有很好的鲁棒性。通过一个全尺度分支关联同尺度或不同尺度的特征以便找到特征区分度最大的组合，全尺度分支对不同尺度的车辆图片有很好的鲁棒性。GASNet在VRU数据集上取得了令人满意的表现。

本发明公开的基于视觉表征跨传感器不变性的车辆重识别方法，包括以下步骤：

获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、第一关系感知的全局注意力模块、第三卷积层、第二关系感知的全局注意力模块和第四卷积层；

所述第四卷积层将处理结果依次输入第三关系感知的全局注意力模块、第五卷积层、第四关系感知的全局注意力模块和第一BNNECK，所述第四卷积层还将处理结果依次输入第一全尺度模块、第二全尺度模块和第二BNNECK；

其中所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块生成具有全局感知的空间注意力权重和具有全局信息的通道注意力权重，所述第一全尺度模块和第二全尺度模块根据输入图像的特性分配不同的权重给不同尺度的图像特征，所述第一BNNECK和第二BNNECK分别输出ID损失函数和三元组损失函数；

将训练后的图像特征进行车辆重识别。

进一步地，所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块由全局感知的空间注意力机制和全局感知的通道注意力机制组成。

进一步地，所述全局感知的空间注意力机制如下：

对于通过卷积层得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道维度的特征向量作为一个特征节点展开，得到N＝H×W个维度特征节点，计算每一个维度特征节点与其他维度特征节点之间的相关性后，得到一个大小为N×N的关联矩阵；

对所述关联矩阵中的每个维度特征节点进行注意力学习，得到空间关系感知特征y_i，其计算公式如下：

其中X_i为第i个维度特征节点的特征，r_i为第i个维度特征节点与其它维度特征节点的相关性，ψ_s表示将原始局部特征映射到特征空间内，

表示将关系感知映射到特征空间内，ψ_s和

均为一个1×1的卷积操作之后接上一个BN层，再使用ReLU激活，pool_c()表示全局平均池化操作，利用该操作将通道维度缩小到1；

通过y_i生成具有全局感知的空间注意力权重a_i，其计算公式如下：

其中W₁和W₂都表示一个1×1的卷积操作之后接上一个BN层的操作，W₁缩小通道维度，W₂将通道维度降为1，Sigmoid和ReLU为激活函数。4.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的通道注意力机制如下所示：

对于通过卷积模块得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道处的d＝H×W的特征图作为一个特征节点展开，得到G＝C×C个特征图节点；计算一个特征图节点与其他特征图节点之间的相关性；

对每个特征图节点进行注意力学习，得到通道关系感知特征z_i，其计算公式如下：

其中Y_i为第i个特征图节点的特征，r_i为第i个特征图节点与其它特征图节点的相关性，ψ_s表示将原始局部特征映射到特征空间内，

表示将关系感知映射到特征空间内，ψ_s和

均为一个1×1的卷积操作之后接上一个BN层，再使用ReLU激活，pool_c()表示全局平均池化操作，利用该操作将通道维度缩小到1；

通过z_i生成具有全局信息的通道注意力权重b_i，其计算公式如下：

其中W₃和W₄都表示一个1×1的卷积操作之后接上一个BN层的操作，W₃缩小通道维度，W₄将通道维度降为1，Sigmoid和ReLU为激活函数。5.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一全尺度模块和第二全尺度模块分别包含两个动态全卷积结构，所述第一全尺度模块和第二全尺度模块关联不同尺度的特征，获取具有高判别性的特征。

进一步地，所述动态全卷积结构包括输入层、1×1卷积层、多个轻量卷积模块、1×1卷积层和输出层，其中多个轻量卷积模块形成4个并行卷积核，4个卷积核分别由1个轻量卷积模块、2个轻量卷积模块、3个轻量卷积模块和4个轻量卷积模块组成。

进一步地，所述第一全尺度模块和第二全尺度模块使用全尺度残差

可以用公式表示：

其中t为轻量卷积层数量，G(x^t)是依赖于数据的向量，其长度跨越输入x^t的整个通道维度，⊙表示Hadamard积。

进一步地，G是通过一个迷你网络来实现，所述迷你网络包含一个非参数化的全局平均池化层和一个多层感知器，所述多层感知器由一个带RELU激活函数的隐藏层和一个sigmoid激活函数构成。

进一步地，所述ID损失函数为交叉熵损失函数，所述三元组损失函数定义如下：

其中x_a，x_p，x_n分别代表锚点，正样本和负样本的特征，α是手工设定的阈值。

本发明的有益效果如下：

1)本发明通过在网络中引入全局关系感知的注意力机制捕获具有全局信息的局部特征，通过一个全尺度分支关联同尺度或不同尺度的特征以便找到特征区分度最大的组合。全局关系感知的注意力模块包含有空间注意力模块和通道注意力模块。该模块可以赋予局部特征全局信息，使得模型可以从局部和全局两个角度区分车辆，缓解视角变化带来的影响。对于无人机视角下的车辆重识别任务中的多视角问题，该模块可以获取判别性更高的局部特征。

2)全尺度分支通过四个不同大小的感受野对不同尺度的特征进行融合，从而获取判别性最高的特征组合，为了减轻网络的参数，全尺度分支使用轻量卷积层。GASNet在VRU数据集上取得了令人满意的表现。

附图说明

图1本发明的基于视觉表征跨传感器不变性的车辆重识别方法示意图；

图2为本发明的全局感知的空间注意力机制；

图3为本发明的全局感知的通道注意力机制；

图4为本发明的全尺度卷积；

图5为本发明的动态全卷积结构示意图；

图6为本发明在VRU数据集上的可视化结果。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

GASNet使用ResNet50作为骨架网络，从第二个卷积层开始插入全局关系感知的注意力模块，在第四个卷积层后接入全尺度分支网络。在主干网络和分支网络的最后均接入一个BNNeck结构，用于优化特征分布，更快更好的完成对整个网络的训练。全局关系感知的注意力模块包含有空间注意力模块和通道注意力模块。该模块可以赋予局部特征全局信息。全局关系感知的注意力模块首先两两计算特征之间的相关性。之后根据相关性将特征按一定的顺序进行叠加，用以表示该特征节点的全局信息。生成的全局特征结构既保持了原来的特征结构，又可以生成全局的注意力权重，由此可以得到具有全局信息的局部特征。对于无人机视角下的车辆重识别任务中的多视角问题，该模块可以获取判别性更高的局部特征。全尺度分支通过四个不同大小的感受野对不同尺度的特征进行融合，从而获取判别性最高的特征组合，为了减轻网络的参数，全尺度分支使用轻量卷积层。GASNet的整体结构如图1所示，第一卷积层、第二卷积层、关系感知的全局注意力模块、第三卷积层、关系感知的全局注意力模块和第四卷积层依次连接，第四卷积层连接两个分支，一个分支依次连接关系感知的全局注意力模块、第五卷积层、关系感知的全局注意力模块和BNNECK，另一个分支依次连接全尺度模块、全尺度模块和BNNECK，两个分支都输出ID损失函数和三元组损失函数。

三元组损失函数(triplet loss)通过构建由一个随机选定的锚点样本，一个与锚点样本类别相同的样本(正样本)和一个与锚点样本类别不同的样本(负样本)的三元组来优化神经网络以得到更好的映射。其表达式如下：

其中x_a，x_p，x_n分别代表锚点，正样本和负样本的特征，α是手工设定的阈值。关系感知的全局注意力模块

神经网络在某种程度上可以认为是以一种简单的方式模仿人类大脑的行为来进行学习。注意力机制也是一种模仿人类视觉行为的结构，这种结构通过增减权重的方式使神经网络聚焦于与任务相关的事物，而忽略其他的无关信息。注意力机制根据其学习到的注意力权重可以分为局部注意力和全局注意力。局部注意力聚焦于目标的局部显著性区域，但是忽略了目标的整体信息；全局注意力把握了目标的整体信息，但是对局部显著性区域关注不足。无人机视角下的车辆重识别任务面临的一个主要问题就是车辆视角变化更多，姿态更加丰富，为了解决这一问题，引入了关系感知的全局注意模块。该模块将特征图上任意一个的位置的特征作为一个节点，通过强调节点间的对称关系来挖掘全局范围的相关性和语义信息。

关系感知的全局注意力模块由全局感知的空间注意力机制和全局感知的通道注意力机制组成，其中全局感知的空间注意力机制如图2所示。对于通过卷积模块得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道维度的特征向量作为一个特征节点展开，得到N＝H×W个特征节点，计算一个特征节点与其他特征节点之间的相关性。对于特征节点X_i，其与特征节点X_j计算相似性的公式如下

其中θ_s和

分别表示两个嵌入函数，即一个1×1的卷积操作之后接上一个BN层，最后使用ReLU激活。

同理可以使用同样的方法得到对于特征节点X_j，其与X_i之间的相似性。使用(r_i,j，r_j,i)来表示一对特征节点的相似性。对所有的特征节点计算相似度，得到一个大小为N×N的关联矩阵。为了学习第i个特征节点的注意力，除了两两关系项r_i,j外，还应包括特征本身X_i，以利用与该特征相关的全局信息和局部原始信息。考虑到这两种信息不在相同的特征域内，对它们分别进行嵌入操作并连接在一起，得到空间关系感知特征y_i。其计算公式如下：

其中ψ_s表示将原始局部特征映射到特征空间内，

表示将关系感知映射到特征空间内，这两个映射操作均为一个1×1的卷积操作之后接上一个BN层，最后使用ReLU激活，pool_c()表示全局平均池化操作，利用该操作将通道维度缩小到1。最后通过y_i生成具有全局感知的空间注意力权重a_i,其计算公式如下：

其中W₁和W₂都表示一个1×1的卷积操作之后接上一个BN层的操作，W₁缩小通道维度，W₂将通道维度降为1。

全局感知的通道注意力机制如图3所示。对于通过卷积模块得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道处的d＝H×W的特征图作为一个特征节点展开，得到G＝C×C个特征节点。与计算空间相似度相似，计算一个特征节点与其他特征节点之间的相关性。对于特征节点X_i，其与特征节点X_j计算相似性的公式如下

其中θ_s和

分别表示两个嵌入函数，即一个1×1的卷积操作之后接上一个BN层，最后使用ReLU激活。

最后通过利用与公式(2)，公式(3)相似的操作生成具有全局信息的通道注意权重。

全尺度模块

无人机视角下的车辆重识别数据集有着丰富的尺度变化。提取具有尺度不变性的高判别性特征对重识别模型的精度有很大影响。

为此，引入了一种全尺度的卷积结构，如图4所示，R表示视野域大小。全尺度的卷积结构由多个不同视野域大小的卷积数据流组成，每个流所关注的特征尺度不尽相同，这些不同尺度的特征信息流最终通过一个共享的聚合门动态融合得到多尺度的特征图。这样就可以类似注意力机制，得到每个尺度特征所对应的权重。因为聚合门是一种跨所有流共享参数的子网络，其参数可以通过训练来学习。这种新颖的聚合门设计为全尺度特征学习提供了极大的灵活性：根据特定的输入图像聚合门可以通过为特定的流/尺度分配高权重来聚焦于单个尺度；或者可以选择并混合多个尺度的特征。该结构不仅能够关联同尺度的特征，还能关联不同尺度的特征，以便找到特征区分度最大的组合。

为了实现轻量级网络的目标，全尺度分支采用纵向可分离卷积，其基本思想是将一个核为ω∈R^{k×k×c×c′}的卷积层RELU(ω*x)分为两个独立的网络层，

其中u∈R^{k×k×1×c′}表示纵向卷积而v∈R^{1×1×c×c′}表示逐点卷积，*表示卷积，k为卷积核的尺寸，c为输入通道宽度，c′为输出通道宽度。给定一个具有高度h和宽度w的输入张量x∈R^{h ×w×c}，计算成本将从h·w·k²·c·c′降低到h·w·(k²+c)·c′，而参数数量则从k²·c·c′降低到(k²+c)·c′。上述纵向可分卷积称之为轻量卷积层。

全尺度卷积结构的基础构建块是如图5所示。给定一个输入x，该残差结构的目标是学出一个由映射函数F输出的残差

满足

而

其中F表示一个能够学习单尺度特征的轻量卷积层。为了实现多尺度特征学习，通过引入新参数t来表示特征尺度，从而拓展残差函数F。F^t(t>1)相当于叠加了t个轻量卷积层，会形成大小为(2t+1)×(2t+1)的感受野。那么，学出的残差

是增量尺度之和。公式表示为

为了凸显更有区分度的尺度特征，全尺度分支使用动态方式组合不同尺度的特征，即根据输入图像的特性分配不同的权重给不同尺度的图像特征。在式(5)中，动态尺度的融合是通过一个聚合门AG(一种可学习的神经网络)实现的。设x^t表示F^t(x)，则全尺度残差

可以用公式表示。

其中G(x^t)是依赖于数据的向量，其长度跨越输入x^t的整个通道维度，⊙表示Hadamard积。G是通过一个迷你网络来实现的，该网络包含一个非参数化的全局平均池化层和一个多层感知器MLP(由一个带RELU激活函数的隐藏层和随后的一个sigmoid激活函数构成)。为了减少参数开销，减少了MLP的隐藏维度，减少比率为16。

全尺度分支由两个全尺度卷积层构成，第一个全尺度卷积层包含两个动态全卷积结构，第二个全尺度卷积层同样包含两个动态全卷积结构。全尺度分支利用两个全尺度卷积层关联不同尺度的特征，获取具有高判别性的特征。

实验与结果分析

评价指标和实现细节

车辆重识别的主要评价指标是累积匹配曲线(CMC)和mAP。CMC指标将车辆重识别任务转化成排序任务，即计算在图库集中检索查询集中的车辆目标时，前r个检索图片中包含有正确目标图片的比率。使用Rank1表示模型给出的最匹配的结果与所查询的目标正好属于同类的概率。使用Rank 5表示模型给出的前5个匹配的结果中存在所查询的目标正好属于同类的概率。CMC指标只能评测某个长度的候选匹配结果的精度，当图库集中只有存在一个车辆与待查询的车辆同属一个车辆实例时其可以准确表示模型的重识别能力。构建的VRU数据集中，三个测试集的图库集都只包含有查询集中的车辆实例的唯一目标图片，因此选用CMC指标。

除了CMC指标之外，使用mAP指标统计对个车辆实例的平均分类精度。其中AP的计算公式为：

其中n代表查询集中一个车辆实例需要被查询的次数；N_gt表示图库集中与查询集中车辆实例相同的车辆图片个数，在VRU数据集中，该值为1；P(k)表示模型认为第k个查询车辆是否与被查询车辆实例相同，相同时P(k)值为1，不同时P(k)为0，当模型分类正确时，G(k)值为1，分类错误时G(k)为0。因为VRU数据集中图库集仅有一张图像与待查询图像同属一类，因此使用mAP来统计模型对查询集中所有车辆实例的重识别能力。mAP的计算公式如下：

其中Q代表查询集的图片数量。

本发明以Tesla A100显卡驱动，使用PyTorch框架训练和测试。学习率设定为0.00035，采用Adam优化，使用三元组损失函数和交叉熵损失函数对网络进行约束，所有实验均进行了60轮训练。GASNet网络相关实验使用在Imagenet上预训练好的模型进行训练

全尺度分支消融实验

为了验证全尺度分支对网络的提升，本节设计了全尺度分支的消融实验。在保留其他实验条件不变的情况下，测试了有全尺度分支的模型与没有全尺度分支的模型在VRU数据集上的表现。本部分设置了不同大小的输入批次。将只添加BNNeck的模型作为基线模型，用FS代表全尺度分支。表1、表2、表3、表4分别展示了输入批次为32，64，96和128的时基线模型和添加了全尺度分支的模型在VRU数据集的三个测试集上的表现。

表1输入批次为32的基线模型和添加全尺度分支模型在VRU数据集上的测试结果

从表1可以看出，当输入批次为32时，基线模型在VRU的三个测试集上的Rank1精度分别为88.25％，83.17％和70.23％，mAP的值分别为92.98％，89.41％，79.77％。添加了全尺度分支结构的模型在VRU的三个测试集上的Rank1精度分别为90.55％，90.33％和82.24％，mAP的值分别为96.17％，93.98％，88.21％。添加全尺度分支的模型在各个测试集上的表现都要好于基线模型。

表2输入批次为64的基线模型和添加全尺度分支模型在VRU数据集上的测试结果

从表2可以看出，当输入批次为64时，基线模型在VRU的三个测试集上的Rank1精度分别为94.24％，90.56％，82.78％，mAP的值分别为96.78％，94.34％，89.00％。添加了全尺度分支结构的模型在VRU的三个测试集上的Rank1精度分别为95.87％，93.70％和87.91％，mAP的值分别为97.61％，96.18％，92.21％。

可以看到，在增大了输出批次之后，基线模型和添加全尺度分支的模型在各个测试集上的表现相较于输入批次为32时都有了明显提升。添加全尺度分支的模型在各个测试集上的Rank1和mAP都要好于基线模型，当测试集较小时，两个模型的Rank5精度相差不大，但是在大测试集上，添加全尺度分支的模型的表现更加出色。

表3输入批次为96的基线模型和添加全尺度分支模型在VRU数据集上的测试结果

从表3可以看出，当输入批次为96时，基线模型在VRU的三个测试集上的Rank1精度分别为95.38％，92.86％，85.10％，mAP的值分别为97.33％，95.77％，90.70％。添加了全尺度分支结构的模型在VRU的三个测试集上的Rank1精度分别为96.55％，94.39％和88.84％，mAP的值分别为97.95％，96.53％，92.92％。

可以看到，在将输出批次增大到96之后，基线模型和添加全尺度分支的模型在各个测试集上的表现相较于输入批次为64仍有提升但是提升幅度降低，说明增大输入批次会在一定程度上提升模型的重识别能力，但是一味的只增大输入批次对模型效果的提升会逐步减缓。添加全尺度分支的模型在各个测试集上的Rank1和mAP都要好于基线模型。在将输入批次增大到96之后，两个模型在VRU数据集的小测试集和中测试集上统计得到的Rank5精度相差不大，但是在大测试集上，添加全尺度分支的模型依然表现更加出色。

表4输入批次为128的基线模型和添加全尺度分支模型在VRU数据集上的测试结果

从表4可以看出，当输入批次为128时，基线模型在VRU的三个测试集上的Rank1精度分别为96.08％，93.33％，86.86％，mAP的值分别为97.74％，96.02％，91.85％。添加了全尺度分支结构的模型在VRU的三个测试集上的Rank1精度分别为96.43％，94.76％和89.38％，mAP的值分别为97.89％，96.76％，93.27％。

可以看到，在将输出批次增大到128之后，基线模型和添加全尺度分支的模型在小测试集和中测试集上的表现相较于输入批次为96几乎没有大的差别，但是在大测试集上仍有小范围提升，这说明了增加输入批次可以帮助模型提取到具有全局信息的特征，因此在大型测试集上表现更佳。添加全尺度分支的模型在各个测试集上的Rank1和mAP都要好于基线模型。与输入批次为96时相同，在将输入批次增大到128之后，两个模型在VRU数据集的小测试集和中测试集上统计得到的Rank5精度相差不大，但是在大测试集上，添加全尺度分支的模型依然表现更加出色。

上述实验有效验证了添加全尺度分支之后网络模型在不同的输入批次上都优于基线模型，尤其是在当实验设施受限，无法使用大的显存和内存进行大输入批次训练而使用小的输入批次时，添加全尺度分支带来的性能提高更为明显。同时可以看到在一定范围内增大输入批次，对于网络的精度提升有很大的帮助，根据模型在三个大小不同的测试集上表现猜测，大的输入批次会帮助模型更好地提取具有全局信息的判别性特征。

关系感知的全局注意模块消融实验

为了验证关系感知的全局注意模块对网络的提升，本部分设计关系感知的全局注意模块的消融实验。在保留其他实验条件不变的情况下，测试了添加关系感知的全局注意模块的模型与基线模型在VRU数据集上的表现。同时根据Luo等^[124]验证的不同大小的批次会对实验结果产生较大的影响，本节依旧设置了不同大小的输入批次。与全尺度分支消融实验的设置相同，将只添加BNNeck的模型作为基线模型，用GA代表关系感知的全局注意模块。表5、表6、表7和表8分别展示了输入批次大小为32，64，96和128时基线模型和添加关系感知的全局注意模块的模型在VRU数据集的三个测试集上的表现。

表5输入批次为32的基线模型和添加GA的模型在VRU数据集上的测试结果

从表5可以看出，当输入批次为32时，基线模型在VRU的三个测试集上的Rank1精度分别为88.25％，83.17％和70.23％，mAP的值分别为92.98％，89.41％，79.77％。添加了关系感知的全局注意模块的模型在VRU的三个测试集上的Rank1精度分别为95.24％，92.84％和86.00％，mAP的值分别为97.28％，95.68％，91.04％。添加关系感知的全局注意模块的模型在各个测试集上的表现都要好于基线模型。

从表可以看出，当输入批次为64时，基线模型在VRU的三个测试集上的Rank1精度分别为94.24％，90.56％，82.78％，mAP的值分别为96.78％，94.34％，89.00％。添加了关系感知的全局注意模块的模型在VRU的三个测试集上的Rank1精度分别为96.19％，94.28％和88.32％，mAP的值分别为97.61％，96.59％，92.63％。

表6输入批次为64的基线模型和添加GA的模型在VRU数据集上的测试结果

从表6可以看到，在增大了输出批次为64之后添加关系感知的全局注意模块的模型在各个测试集上的表现相较于输入批次为32时都有提升，但是提升幅度较小，可以看到添加关系感知的全局注意模块的模型受输入批次的影响非常小。添加关系感知的全局注意模块的模型在各个测试集上的Rank1和mAP都要好于基线模型。

表7输入批次为96的基线模型和添加GA的模型在VRU数据集上的测试结果

从表7可以看出，当输入批次为96时，基线模型在VRU的三个测试集上的Rank1精度分别为95.38％，92.86％，85.10％，mAP的值分别为97.33％，95.77％，90.70％。添加了关系感知的全局注意模块的模型在VRU的三个测试集上的Rank1精度分别为96.40％，94.92％和88.99％，mAP的值分别为97.95％，96.92％，93.11％。

可以看到，在将输出批次增大到96之后，添加关系感知的全局注意模块的模型在各个测试集上的表现相较于输入批次为64基本相同，进一步验证了添加关系感知的全局注意模块的模型由于可以更好的捕捉全局信息，受输入批次的影响非常小。将输入批次增大到96之后，两个模型在VRU数据集的小测试集和中测试集上统计得到的Rank5精度相差不大，但是在大测试集上，添加关系感知的全局注意模块的模型依然表现更加出色。

从表8可以看出，当输入批次为128时，基线模型在VRU的三个测试集上的Rank1精度分别为96.08％，93.33％，86.86％，mAP的值分别为97.74％，96.02％，91.85％。添加了关系感知的全局注意模块的模型在VRU的三个测试集上的Rank1精度分别为96.93％，94.62％和88.97％，mAP的值分别为98.20％，96.70％，93.09％。在三个大小不同的测试集上，添加关系感知的全局注意模块的模型依然表现更加出色。

同时通过对比输入批次为64、96以及128的添加关系感知的全局注意模块的模型在VRU的三个测试集上的表现，可以很明显的看出，在添加关系感知的全局注意模块之后，模型提取的具有全局信息的特征会减少对输入批次提供的多样信息的依赖，因为模型可以在一个小的输入批次上学习到具有全局信息的高判别性特征。

表8输入批次为128的基线模型和添加GA的模型在VRU数据集上的测试结果

上述实验有效验证了添加关系感知的全局注意模块之后网络模型在不同的输入批次上都优于基线模型，同时添加关系感知的全局注意模块之后网络模型可以在输入批次较小时依然可以有非常出色的表现。

GASNet模型结果可视化

本节利用GASNet网络在VRU数据集上的训练并测试结果，设置的输入批次为128。其结果如表9所示。从表9可以看出，GASNet对VRU数据集的三个不同大小的测试集均有良好的表现，相比于基线模型，GASNet在VRU的三个测试集上的Rank1精度分别为97.45％，95.59％和90.29％，mAP的值分别为98.51％，97.31％，93.93％。

表9输入批次为128的基线模型和GASNet在VRU数据集上的测试结果

为了更加直观的展示GASNet网路的性能，可视化了部分结果。图6展示了GASNet网络在VRU数据集上的结果可视化，其中第一列为要查询的车辆，后面十列为与待查询车辆相相似度排名前十的车辆图片，红框代表与待查询车辆为同一车辆，蓝框代表与待查询车辆不为同一车辆。从图6可以看出，GASNet方法对不同尺度，视角和光照条件下的车辆图片，均有很好的重识别性能。GASNet方法不仅对小型车辆有很好的重识别性能，对于货车等大型车辆的重识别性能也非常优秀。

性能对比实验

为了体现所提出的GASNet的性能，本节在VRU数据集将所提出的方法与其他的重识别方法进行对比，选取的对比方法为MGN和SCAN。MGN关注车辆的局部特征，其通过一个主干网络提取车辆的全局特征，利用另外的两个分支网络提取车辆的局部特征，最后在对特征进行融合来提升重识别精度；SCAN利用通道注意力机制和空间注意力机制来优化模型权重，迫使模型关注高判别性区域，以此提高模型的重识别性能。

根据前面的两个消融实验的结果。所提出的GASNet训练和测试时使用的输入批次为128，以确保模型可以发挥出最大的性能。与MGN和SCAN方法在VRU数据集上比较实验结果如表10所示。

表10性能实验结果

从表10可以看到，当输入批次为128时，GASNet在VRU的三个测试集上的Rank1精度分别为97.45％，95.59％，90.20％，mAP的值分别为98.51％，97.31％，93.93％。GASNet在三个不同大小的测试集上的结果都由于MGN和SCAN。相比于只添加了全尺度分支的模型或者只添加了关系感知的全局注意模块的模型，GASNet在VRU上三个不同大小的测试集上的表现都是最优的。性能实验的结果有效验证了GASNet网络的性能。

本发明的有益效果如下：

1)本发明通过在网络中引入全局关系感知的注意力机制捕获具有全局信息的局部特征，通过一个全尺度分支关联同尺度或不同尺度的特征以便找到特征区分度最大的组合。全局关系感知的注意力模块包含有空间注意力模块和通道注意力模块。该模块可以赋予局部特征全局信息，使得模型可以从局部和全局两个角度区分车辆，缓解视角变化带来的影响。对于无人机视角下的车辆重识别任务中的多视角问题，该模块可以获取判别性更高的局部特征。

2)全尺度分支通过四个不同大小的感受野对不同尺度的特征进行融合，从而获取判别性最高的特征组合，为了减轻网络的参数，全尺度分支使用轻量卷积层。GASNet在VRU数据集上取得了令人满意的表现。

上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，包括以下步骤：

获取遥感图像，依次输入神经网络的第一卷积层、第二卷积层、第一关系感知的全局注意力模块、第三卷积层、第二关系感知的全局注意力模块和第四卷积层；

所述第四卷积层将处理结果依次输入第三关系感知的全局注意力模块、第五卷积层、第四关系感知的全局注意力模块和第一BNNECK，所述第四卷积层还将处理结果依次输入第一全尺度模块、第二全尺度模块和第二BNNECK；

其中所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块生成具有全局感知的空间注意力权重和具有全局信息的通道注意力权重，所述第一全尺度模块和第二全尺度模块根据输入图像的特性分配不同的权重给不同尺度的图像特征，所述第一BNNECK和第二BNNECK分别输出ID损失函数和三元组损失函数；

将训练后的图像特征进行车辆重识别。

2.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一关系感知的全局注意力模块、第二关系感知的全局注意力模块、第三关系感知的全局注意力模块和第四关系感知的全局注意力模块由全局感知的空间注意力机制和全局感知的通道注意力机制组成。

3.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的空间注意力机制如下：

对于通过卷积层得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道维度的特征向量作为一个特征节点展开，得到N＝H×W个维度特征节点，计算每一个维度特征节点与其他维度特征节点之间的相关性后，得到一个大小为N×N的关联矩阵；

对所述关联矩阵中的每个维度特征节点进行注意力学习，得到空间关系感知特征y_i，其计算公式如下：

其中X_i为第i个维度特征节点的特征，r_i为第i个维度特征节点与其它维度特征节点的相关性，ψ_s表示将原始局部特征映射到特征空间内，

表示将关系感知映射到特征空间内，ψ_s和

均为一个1×1的卷积操作之后接上一个BN层，再使用ReLU激活，pool_c()表示全局平均池化操作，利用该操作将通道维度缩小到1；

通过y_i生成具有全局感知的空间注意力权重a_i，其计算公式如下：

其中W₁和W₂都表示一个1×1的卷积操作之后接上一个BN层的操作，W₁缩小通道维度，W₂将通道维度降为1，Sigmoid和ReLU为激活函数。

4.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述全局感知的通道注意力机制如下所示：

对于通过卷积模块得到的特征X∈R^C×H×W，其中C代表通道数，H代表特征的高，W代表特征的宽，将每一个通道处的d＝H×W的特征图作为一个特征节点展开，得到G＝C×C个特征图节点；计算每个特征图节点与其他特征图节点之间的相关性；

对每个特征图节点进行注意力学习，得到通道关系感知特征z_i，其计算公式如下：

其中Y_i为第i个特征图节点的特征，r_i为第i个特征图节点与其它特征图节点的相关性，ψ_s表示将原始局部特征映射到特征空间内，

表示将关系感知映射到特征空间内，ψ_s和

均为一个1×1的卷积操作之后接上一个BN层，再使用ReLU激活，pool_c()表示全局平均池化操作，利用该操作将通道维度缩小到1；

通过z_i生成具有全局信息的通道注意力权重b_i，其计算公式如下：

其中W₃和W₄都表示一个1×1的卷积操作之后接上一个BN层的操作，W₃缩小通道维度，W₄将通道维度降为1，Sigmoid和ReLU为激活函数。

5.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一全尺度模块和第二全尺度模块分别包含两个动态全卷积结构，所述第一全尺度模块和第二全尺度模块关联不同尺度的特征，获取具有高判别性的特征。

6.根据权利要求5所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述动态全卷积结构包括输入层、1×1卷积层、多个轻量卷积模块、1×1卷积层和输出层，其中多个轻量卷积模块形成4个并行卷积核，4个卷积核分别由1个轻量卷积模块、2个轻量卷积模块、3个轻量卷积模块和4个轻量卷积模块组成。

7.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述第一全尺度模块和第二全尺度模块使用全尺度残差

可以用公式表示：

其中t为轻量卷积层数量，G(x^t)是依赖于数据的向量，其长度跨越输入x^t的整个通道维度，⊙表示Hadamard积。

8.根据权利要求7所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，G是通过一个迷你网络来实现，所述迷你网络包含一个非参数化的全局平均池化层和一个多层感知器，所述多层感知器由一个带RELU激活函数的隐藏层和一个sigmoid激活函数构成。

9.根据权利要求1所述的基于视觉表征跨传感器不变性的车辆重识别方法，其特征在于，所述ID损失函数为交叉熵损失函数，所述三元组损失函数定义如下：

其中x_a，x_p，x_n分别代表锚点，正样本和负样本的特征，α是手工设定的阈值。

Images