CN114821249B - 一种基于分组聚合注意力和局部关系的车辆重识别方法 - Google Patents

Abstract

本发明涉及计算机视觉中的车辆重识别技术领域，具体地涉及一种基于分组聚合注意力和局部关系的车辆重识别方法，基于分组聚合注意力机制和局部关系模块实现，其中分组聚合注意力机制是将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用聚合方式来实现跨组局部信息交互，并利用不同全局关系来有效地推断通道的注意权重。其次，本发明对注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性信息并抑制噪声信息，提高网络识别同一车辆的能力；所述局部关系模块旨在挖掘更多有价值的部位间关系以区分相应部位具有相似属性的不同身份的车辆，能够快速、准确的识别出同一车辆。

Description

一种基于分组聚合注意力和局部关系的车辆重识别方法

技术领域

本发明涉及计算机视觉中的车辆重识别技术领域，具体地涉及一种基于分组聚合注意力和局部关系的车辆重识别方法。

背景技术

车辆重识别(Re-ID)旨在从非重叠摄像头拍摄的一组图像中找到同一辆车，它在城市安全监控和智能交通系统中显示出了广泛的应用前景。近年来，深度神经网络的兴起，使车辆重识别得到了快速的发展。但是由于视角、光照和相似的外观引起的类内差异性和类间相似性给研究人员带来了巨大挑战。为了解决以上问题，本发明设计了一种基于分组聚合注意力和局部关系的车辆重识别方法。

发明内容

本发明的目的在于克服现有技术存在的缺点，提出设计一种基于分组聚合注意力和局部关系的车辆重识别方法，旨在挖掘出具有鉴别性的全局级特征和具有鲁棒性的局部级特征，从而准确的识别出同一车辆。

本发明解决其技术问题所采取的技术方案是：

一种基于分组聚合注意力和局部关系的车辆重识别方法，包括以下步骤：

步骤1、采用Resnet50作为骨干网络，在res_conv4_1(ResNet-50的第4层的第1个块)残差块之后，Resnet50骨干网络被划分为两个分支；

步骤2、移除两个分支中的res_conv5_1(ResNet-50的第5层的第1个块)块的空间下采样操作，以丰富特征的粒度；

步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；

步骤4、利用全局平均池化层(GAP)将全局级特征和局部级特征池化到大小为2048×1×1的特征图，以用于训练中三元组损失的计算；

步骤5、通过降维模块将2048维特征降到256维特征，每个256维的特征输入到一个全连接层(FC)中，以用于训练中交叉熵损失的计算。

进一步的，所述降维模块由一个1×1卷积和一个批量归一化层BN组成。

进一步的，在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示，该特征结合了全局和局部信息从而拥有更强有力的鉴别性。

进一步的，所述分组聚合注意力机制的完整架构为：

(2-1)特征图x∈R^C×H×W作为分组聚合注意力机制的输入，其中C代表了通道的数量，H、W分别表示张量的高度和宽度；特征图x首先输入到一个分组数为d的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为d组，每组独立地输入到特征增强模块中，以得到强化后的特征图；

(2-2)对于特征增强模块，将特征图x_i作为该模块的输入，其中

在特征增强模块中，特征图x_i首先同时经过两个嵌入函数α(x)和β(x)分别得到张量A和B，其中这两个嵌入函数的结构相同，都由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成；然后，将张量A和B的尺寸分别变形为(C/d)×HW和HW×(C/d)，为了获得由通道间关系组成的矩阵

将A和B进行矩阵乘法，x^r的计算公式为

式中，

为矩阵乘法符号；

(2-3)对矩阵x^r进行关系融合操作，即对x^r的每一行求均值，从而得到组内全局通道关系向量R。另外，由于x^r中的值是由两个元素个数都为HW的向量通过点积操作得到的，因此为了防止H和W数值过大导致模型性能下降，本申请对向量R进行缩放点积操作，即将R中的每个元素除以

向量R中的第i个元素的计算公式如下：

(2-4)紧接着，向量R通过一个全局关系交互操作得到一个新的通道向量R′。因为考虑R′中每个关系及其k个临近关系来捕获局部跨关系交互信息可以更有效的推断通道的权重。具体来说，该全局关系交互操作通过一个卷积核大小为k、边缘填充(padding)圈数为2的快速1D卷积来实现，其中k作为一个超参数，代表了局部跨关系交互的覆盖率；

(2-5)然后通过一个sigmoid函数来得到通道注意力图x^p∈R^C/d；另外，为了促使注意力模块提取到最具鉴别性的特征，本申请设计了一个注意力增强约束L_AE，通过让该约束变大来进一步增强有用信息并削弱背景等噪声信息，该约束的计算表达式如下：

其中

代表了x^p的第i个元素。

(2-6)最后将注意力图x^p的尺寸变形为

并和输入特征x_i进行元素点乘操作，得到最终的输出特征

表达式如下：

式中，

为元素点乘符号；

(2-7)将

在通道维度进行拼接，得到一个尺寸为C×H×W的特征图x′。最后，将x′经过聚合函数f(x)实现组间全局通道信息交互并得到最终的输出特征图x^z，其中f(x)由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成。

进一步的，为了减少参数量，所用到的d个特征增强模块共享嵌入函数α(x)和β(x)中的1×1卷积。

进一步的，所述局部关系模块用于挖掘部位之间的联系，其结构为：

(3-1)特征图x∈R^C×H×W作为该模块的输入，经过三个1×1分组卷积得到三个特征图(x^e，x^f，x^g)且x^e和x^f的通道数被降维至C′以减少计算复杂度。然后将x^e、x^f和x^g的尺寸分别变形为N×C′、C′×N和C×N，其中N＝H×W；

(3-2)特征图x^e和x^f通过矩阵乘法得到空间位置关系矩阵S∈R^N×N，矩阵S中的元素表示了位置点之间的关系；关系矩阵S被均匀地划分为四个小块，其中矩阵S的左上角S₁和右下角S₄部分中的位置点分别属于上半车身和下半车身。而右上角S₂和左下角S₃部分中既有属于上半车身的位置点又有属于下半车身的位置点。由于一个部件区域内的位置联系更紧密一些，因此为了获得更多车身部位之间的关联，引入一个掩码M∈R^N×N与S进行点乘得到新的关系矩阵S′。其中，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1；

(3-3)矩阵S′经过softmax函数之后和特征图x^g进行矩阵相乘得到关系特征图x^h，x^h的计算公式如下：

式中，“⊙”是元素点乘符号、

是矩阵乘法符号；

(3-4)最后将x^h和原特征x相加获得最终的特征x^z，则该特征被划分后的两个局部块中既包含了部位本身的局部信息又引入了大量部位间的关系信息，从而更好地区分相应部位具有相似属性的不同身份的车辆。

进一步的，所述x^h的上半部分特征为

考虑了大量的上半车身和下半车身间的关系，下半部分特征为

考虑了大量的下半车身和上半车身间的关系。

本发明的技术效果：

与现有技术相比，本发明的一种基于分组聚合注意力和局部关系的车辆重识别方法，通过两分支的网络从车辆图像中提取有效的全局级和局部级特征，从而提高车辆重识别任务的检索精度。本发明首先设计了一个分组聚合注意力机制来提取有区别的特征并抑制噪声信息。具体来说，该机制将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用一种简单的聚合方式来实现跨组局部信息交互；对于特征增强，为了确定一个通道的重要性水平，利用适当的不同全局关系来有效地推断通道的注意权重；其次，本发明对特征增强模块中产生的注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性特征并抑制噪声信息，进而提高网络识别同一车辆的能力；最后本发明提出了一个局部关系模块，它在提取局部信息的同时考虑了大量的车辆部位之间的联系，使每个部分级特征都包含相应部位本身和与其密切相关的其他部位的信息，从而进一步提升了网络的性能。

附图说明

图1是本发明的车辆重识别方法的神经网络框架图；

图2是本发明的分组聚合注意力机制结构图；

图3是本发明的特征增强模块结构图；

图4是本发明的局部关系模块结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例：

本实施例涉及的一种基于分组聚合注意力和局部关系的车辆重识别方法，包括以下步骤：

步骤1、采用Resnet50作为骨干网络，在res_conv4_1(ResNet-50的第4层的第1个块)残差块之后，Resnet50骨干网络被划分为两个分支；

步骤2、移除两个分支中的res_conv5_1(ResNet-50的第5层的第1个块)块的空间下采样操作，以丰富特征的粒度；

步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；

步骤4、利用全局平均池化层(GAP)将一个全局级特征和两个局部级特征池化到大小为2048×1×1的特征图，以用于训练中三元组损失的计算；

步骤5、通过由一个1×1卷积和一个批量归一化层BN组成的降维模块将三个2048维特征降到256维特征，每个256维的特征输入到一个全连接层(FC)中，以用于训练中交叉熵损失的计算；在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示，该特征结合了全局和局部信息从而拥有更强有力的鉴别性。

如图2所示，所述分组聚合注意力机制的完整架构为：

(2-1)特征图x∈R^C×H×W作为组注意力模块的输入，其中C代表了通道的数量，H、W分别表示张量的高度和宽度。特征图x首先输入到一个分组数为d的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为d组，本实施例取d的值为2；每组独立地输入到特征增强模块中，以得到强化后的特征图；

(2-2)对于特征增强模块，将特征图x_i作为该模块的输入，其中

如图3所示，在特征增强模块中，特征图x_i首先同时经过两个嵌入函数α(x)和β(x)分别得到张量A和B，其中这两个嵌入函数的结构相同，都由一个1×1卷积、一个批量归一化(BN)和一个ReLU激活函数组成；然后，将张量A和B的尺寸分别变形为(C/2)×HW和HW×(C/2)，为了获得由通道间关系组成的矩阵

将A和B进行矩阵乘法，x^r的计算公式为

式中，

为矩阵乘法符号；(2-3)对矩阵x^r进行关系融合操作，即对x^r的每一行求均值，从而得到组内全局通道关系向量R。另外，由于x^r中的值是由两个元素个数都为HW的向量通过点积操作得到的，因此为了防止H和W数值过大导致模型性能下降，本申请对向量R进行缩放点积操作，即将R中的每个元素除以

向量R中的第i个元素的计算公式如下：

(2-4)紧接着，向量R通过一个全局关系交互操作得到一个新的通道向量R′。因为考虑R中每个关系及其k个临近关系来捕获局部跨关系交互信息可以更有效的推断通道的权重。具体来说，该全局关系交互操作通过一个卷积核大小为k、边缘填充(padding)圈数为2的快速1D卷积来实现，其中k作为一个超参数，代表了局部跨关系交互的覆盖率，本实施例取k的值为5；

(2-5)然后通过一个sigmoid函数来得到通道注意力图x^p∈R^C/d；另外，为了促使注意力模块提取到最具鉴别性的特征，本申请设计了一个注意力增强约束L_AE，通过让注意力增强约束变大来进一步增强有用信息并削弱背景等噪声信息，该约束的计算表达式如下：

其中

代表了x^p的第i个元素。

(2-6)最后将注意力图x^p的尺寸变形为

并和输入特征x_i进行元素点乘操作，得到最终的输出特征

表达式如下：

式中，“⊙”为元素点乘符号。

需要说明的是，为了减少参数量，x₁和x₂所用到的两个特征增强模块共享嵌入函数α(x)和β(x)中的1×1卷积；

(2-7)将

和

在通道维度进行拼接，得到一个尺寸为C×H×W的特征图x′。最后，将x′经过聚合函数f(x)实现组间全局通道信息交互并得到最终的输出特征图x^z，其中f(x)由一个1×1卷积、一个批量归一化(BN)和一个ReLU激活函数组成。

所述局部关系模块用于挖掘部位之间的联系，其结构如图4所示：

(3-1)特征图x∈R^C×H×W作为该模块的输入，经过三个1×1分组卷积得到三个特征图(x^e，x^f，x^g)且x^e和x^f的通道数被降维至C′以减少计算复杂度。然后将x^e、x^f和x^g的尺寸分别变形为N×C′、C′×N和C×N，其中N＝H×W。

(3-2)特征图x^e和x^f通过矩阵乘法得到空间位置关系矩阵S∈R^N×N。矩阵S中的元素表示了位置点之间的关系。如图3所示，关系矩阵S被均匀地划分为四个小块，其中矩阵S的左上角S₁和右下角S₄部分中的位置点分别属于上半车身和下半车身。而右上角S₂和左下角S₃部分中既有属于上半车身的位置点又有属于下半车身的位置点。由于一个部件区域内的位置联系更紧密一些，因此为了获得更多车身部位之间的关联，引入一个掩码M∈R^N×N与S进行点乘得到新的关系矩阵S′。其中，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1。

(3-3)矩阵S′经过softmax函数之后和特征图x^g进行矩阵相乘得到关系特征图x^h，x^h的上半部分特征

考虑了大量的上半车身和下半车身间的关系，下半部分特征

则考虑了大量的下半车身和上半车身间的关系。这两种位置成对关系是不同的、非对称性的。x^h的计算公式如下：

式中，“⊙”是元素点乘符号、

是矩阵乘法符号。

(3-4)最后将x^h和原特征x相加获得最终的特征x^z，则该特征被划分后的两个局部块中既包含了部位本身的局部信息又引入了大量部位间的关系信息，从而更好地区分相应部位具有相似属性的不同身份的车辆。

本发明基于分组聚合注意力机制和局部关系模块实现，所述的分组聚合注意力机制是将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用一种简单的聚合方式来实现跨组局部信息交互。对于特征增强，为了确定一个通道的重要性水平，本发明利用适当的不同全局关系来有效地推断通道的注意权重。其次，本发明对注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性特征并抑制噪声信息，进而提高网络识别同一车辆的能力；所述的局部关系模块旨在挖掘更多有价值的部位间关系以区分相应部位具有相似属性的不同身份的车辆。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。

Claims (5)

1.一种基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，包括以下步骤：

步骤1、以车辆图像作为输入数据，采用Resnet50作为骨干网络，在res_conv4_1残差块之后，Resnet50骨干网络被划分为两个分支；

步骤2、移除两个分支中的res_conv5_1块的空间下采样操作；

步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；

步骤4、利用全局平均池化层将全局级特征和局部级特征池化到大小为2048×1×1的特征图，以用于三元组损失的计算；

步骤5、通过降维模块将2048维特征降到256维特征，每个256维的特征输入到一个全连接层中，以用于交叉熵损失的计算；基于以上得到的结果进行车辆重识别；

所述分组聚合注意力机制的完整架构为：

(2-1)特征图x∈R^C×H×W作为分组聚合注意力机制的输入，其中C代表通道的数量，H、W分别表示张量的高度和宽度；特征图x首先输入到一个分组数为d的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为d组，每组独立地输入到特征增强模块中，以得到强化后的特征图；

(2-2)对于特征增强模块，将特征图x_i作为该模块的输入，其中

在特征增强模块中，特征图x_i首先同时经过两个嵌入函数α(x)和β(x)分别得到张量A和B；然后，将张量A和B的尺寸分别变形为(C/d)×HW和HW×(C/d)，为了获得由通道间关系组成的矩阵

将A和B进行矩阵乘法，x^r的计算公式为

式中，

为矩阵乘法符号；

(2-3)对矩阵x^r进行关系融合操作，即对x^r的每一行求均值，从而得到组内全局通道关系向量R；对向量R进行缩放点积操作，即将R中的每个元素除以

向量R中的第i个元素的计算公式如下：

(2-4)紧接着，向量R通过一个全局关系交互操作得到一个新的通道向量R′；该全局关系交互操作通过一个卷积核大小为k、边缘填充圈数为2的快速1D卷积来实现，其中k作为一个超参数，代表局部跨关系交互的覆盖率；

(2-5)然后通过一个sigmoid函数来得到通道注意力图x^p∈R^C/d；设计一个注意力增强约束L_AE，通过让注意力增强约束变大来进一步增强有用信息并削弱背景噪声信息，该约束的计算表达式如下：

其中

代表了x^p的第i个元素；

(2-6)最后将注意力图x^p的尺寸变形为

并和输入特征x_i进行元素点乘操作，得到最终的输出特征

表达式如下：

式中，

为元素点乘符号；

(2-7)将

在通道维度进行拼接，得到一个尺寸为C×H×W的特征图x′；最后，将x′经过聚合函数f(x)实现组间全局通道信息交互并得到最终的输出特征图x^z，其中f(x)由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成；

所述局部关系模块用于挖掘部位之间的联系，其结构为：

(3-1)特征图x∈R^C×H×W作为该模块的输入，经过三个1×1分组卷积得到三个特征图(x^e，x^f，x^g)且x^e和x^f的通道数被降维至C′以减少计算复杂度；然后将x^e、x^f和x^g的尺寸分别变形为N×C′、C′×N和C×N，其中N＝H×W；

(3-2)特征图x^e和x^f通过矩阵乘法得到空间位置关系矩阵S∈R^N×N，矩阵S中的元素表示了位置点之间的关系；引入掩码M∈R^N×N与S进行点乘得到新的关系矩阵S′，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1；

(3-3)矩阵S′经过softmax函数之后和特征图x^g进行矩阵相乘得到关系特征图x^h，x^h的计算公式如下：

式中，“⊙”是元素点乘符号、

是矩阵乘法符号；

(3-4)最后将x^h和原特征x相加获得最终的特征x^z。

2.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，步骤5中，所述降维模块由一个1×1卷积和一个批量归一化层BN组成。

3.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示。

4.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所用到的d个特征增强模块共享嵌入函数α(x)和β(x)中的1×1卷积。

5.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所述x^h的上半部分特征为

下半部分特征为

Images