CN113822246A - 一种基于全局参考注意力机制的车辆重识别方法 - Google Patents

一种基于全局参考注意力机制的车辆重识别方法 Download PDF

Info

Publication number
CN113822246A
CN113822246A CN202111385133.1A CN202111385133A CN113822246A CN 113822246 A CN113822246 A CN 113822246A CN 202111385133 A CN202111385133 A CN 202111385133A CN 113822246 A CN113822246 A CN 113822246A
Authority
CN
China
Prior art keywords
global
branch
feature
attention
global reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111385133.1A
Other languages
English (en)
Other versions
CN113822246B (zh
Inventor
王成
姜刚武
郑艳丽
田鑫
庞希愚
周厚仁
郑美凤
孙珂
李曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202111385133.1A priority Critical patent/CN113822246B/zh
Publication of CN113822246A publication Critical patent/CN113822246A/zh
Application granted granted Critical
Publication of CN113822246B publication Critical patent/CN113822246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于计算机视觉中的车辆重识别技术领域，是一种基于全局参考注意力机制的车辆重识别方法，包括全局参考注意力机制和抑制操作。所述全局参考注意力机制通过特征点与一个具有全局特征信息的参考点之间的关系来构建空间或通道维度上的注意力；基于全局参考注意力机制，分别构建空间维度和通道维度的注意力模块，并将它们合并在一个卷积神经网络中；另外，所述的抑制操作是为了让网络模型中不同分支上的全局参考空间注意力模块所关注的车辆图像位置不同，从而获取更多区域上的对车辆重识别有用的显著信息。本发明通过一个全局参考注意力机制让网络从车辆图像上提取更多有用的鉴别性信息，进而提高车辆重识别任务的性能。

Description

一种基于全局参考注意力机制的车辆重识别方法
技术领域
本发明属于计算机视觉中的车辆重识别技术领域，是一种基于全局参考注意力机制的车辆重识别方法。
背景技术
车辆重识别旨在从一个大的图像库中检索某一个车辆的图像，该车辆通常被不同地方的摄像机所拍摄，这些摄像机的视角一般不同。当车辆的车牌被遮蔽、模糊、损坏的时候，通过车辆重识别能够快速识别车辆特征。由于其在构建智能交通和城市监控系统方面的重要性，车辆重识别在近几年受到了越来越多的关注。
过去的车辆重识别技术实现方法可分为两类：一类是在原有的车辆ID（身份）标签基础上再借助车辆图像的额外属性标签（如方向，颜色，时间，摄像头）来一起训练神经网络，提高重识别的匹配准确率；另一种是借助图像分割网络把车辆图像划分成多个部分来提取细粒度的特征，以改善重识别效果。这些实现方法虽然对车辆重识别有帮助，但也会产生额外的计算成本。
使用现有的神经网络（如ResNet-50）直接提取车辆的特征会包含大量的噪声，而且缺少车辆的一些重要细节。因此，为了更好地提取特征并提高车辆重识别的性能，有必要提出一种基于全局参考注意力机制的车辆重识别方法。
发明内容
本发明为解决上述技术问题，提供一种基于全局参考注意力机制的车辆重识别方法，旨在利用多个注意力模块来挖掘更多有区分力的特征，通过构建一个全局参考点与特征图中所有点的关系来强化基础神经网络提取的特征图，从而让网络更好地区分不同ID的车辆。
本发明解决其技术问题所采取的技术方案为：
一种基于全局参考注意力机制的车辆重识别方法，包括以下步骤：
步骤1、使用卷积神经网络ResNet-50前部分的残差层提取输入图像的基础特征，并将获得的车辆特征图分别送入三条相互独立且内嵌结构不同的全局参考注意力模块的分支中，以提取关于车辆不同方面的鉴别性特征；
步骤2、对于第一条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考通道注意力模块中，得到经通道注意力强化之后的特征图；
步骤3、对于第二条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考空间注意力模块中，得到经空间注意力强化之后的特征图，同时输出空间全局关系图，该关系图用于下一个分支中的抑制操作；
步骤4、为了让第三条分支上的全局参考空间注意力模块与第二条分支的注意力模块关注的空间位置不同，第三条分支的注意力模块在结构上比第二条分支的注意力模块多了一个抑制操作；对于第三条分支，以该分支残差层输出的特征图作为输入，将其送入被抑制的全局参考空间注意力模块，得到空间注意力强化后的特征图，该特征图与第二条分支注意力模块所生成的特征图对车辆图像关注的位置不同；
步骤5、每个分支在得到注意力强化后的特征图后，经过全局平均池化层和卷积降维层输出一个特征向量，该向量用于网络训练过程中损失的计算；以交叉熵损失和批量硬性三元组损失作为目标函数，对整个网络进行多次训练直至收敛。
进一步的，所述步骤5中，每个特征图各自经过一个全局平均池化层GAP后通过一个由1×1卷积、批量归一化层BN和ReLU激活函数组成的卷积降维层Reduce进行降维，降维后的特征向量用于训练中三元组损失的计算；除此之外，每个降维后的特征向量后面跟一个全连接层FC，以用于训练中交叉熵损失的计算。
与现有技术相比，本发明的优点和积极效果是：
本发明设计合理，其通过三个分支提取到三种关于车辆不同方面的全局特征，特别是利用每个分支包含的全局参考注意力模块可以获取重要的鉴别性信息，同时可以减少噪声的干扰，从而提高车辆重识别任务的检索精度。本发明设计了两种类型的全局参考注意力模块，全局参考通道注意力模块在通道维度上利用通道全局参考特征点与各个通道之间的关系来构建通道注意力，全局参考空间注意力模块可以捕获空间上每个位置与空间全局参考点之间的关系来构建空间注意力，从而获得更好的特征表示和重识别结果。同时本发明又在全局参考空间注意力模块基础上加入抑制操作设计出一个被抑制的全局参考空间注意力模块来用于第三分支，此设计可以增大这两个全局参考空间注意力模块所输出的特征图之间的差异性，进一步提升整个网络的特征提取能力。
附图说明
图1为本发明车辆重识别方法的神经网络框架图；
图2为本发明全局参考通道注意力（GRA-C）模块结构图；
图3为本发明全局参考空间注意力（GRA-S）模块结构图；
图4为本发明被抑制的全局参考空间注意力（SGRA-S）模块结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。。
一种基于全局参考注意力机制车辆重识别方法，如图1所示，包括以下步骤：
步骤1、使用卷积神经网络ResNet-50前部分的残差层提取输入图像的基础特征，并将获得的车辆特征图分别送入三条相互独立且内嵌结构不同的全局参考注意力模块的分支中，以提取关于车辆不同方面的鉴别性特征。
步骤1的具体实施方法如下：
以ResNet-50前部分的残差层（res1~res4_1）作为骨干网，将ResNet-50后部分的残差层 （res4_2~res5）复制为三个相同结构的分支，每个分支在残差层后依次加入一个基于全局参考注意力机制设计的模块、全局平均池化层（GAP）、卷积降维层（Reduce）和全连接层（FC）。把所有输入网络的图像的尺寸缩放成一致尺寸（如本实施例缩放成256×256）并输入到骨干网；通过骨干网和三个分支的残差层，得到三个不同的特征图。
步骤2、对于第一条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考通道注意力模块中，得到经通道注意力强化之后的特征图，如图2所示。
步骤2的具体实施方法如下：
2-1）、对于第一条分支的全局参考通道注意力模块，该分支残差层输出的特征图X是其输入量，其中
Figure 26064DEST_PATH_IMAGE001
，C、H、W分别是特征图X的通道数、空间高度、宽度；首先对输入特征图X取通道维度的平均值以将其压平，得到通道的全局参考点，即特征向量
Figure 867026DEST_PATH_IMAGE002
，其中
Figure 780755DEST_PATH_IMAGE003
。
2-2）、使用1×1卷积降维函数
Figure 914933DEST_PATH_IMAGE004
把X的通道数从C变成C/c（如本实施例中c=4）,把得到的张量划分成C/c个d维的特征向量，每个特征向量表示为
Figure 246820DEST_PATH_IMAGE005
，其中
Figure 519669DEST_PATH_IMAGE006
。
2-3）、计算每个特征向量
Figure 779749DEST_PATH_IMAGE007
与通道参考特征向量
Figure 452039DEST_PATH_IMAGE008
的内积，得到通道关系向量rc，rc内元素
Figure 746754DEST_PATH_IMAGE009
的计算公式如下：
Figure 82183DEST_PATH_IMAGE010
，
式中，
Figure 750930DEST_PATH_IMAGE011
是向量内积符号。
2-4）、得到通道关系向量rc后，先使用由1×1卷积层、批量归一化层（BN）和ReLU激活层组成的转换函数T(x)，将r的维数由 C/c恢复到C，同时得到通道全局关系图Ac；然后使用sigmoid函数来激活
Figure 836698DEST_PATH_IMAGE012
，并将结果的尺寸广播至与特征图X的尺寸相同，再与原特征图X进行元素相乘，得到经通道注意力掩码的特征图XC，其计算公式如下：
Figure 612018DEST_PATH_IMAGE013
，
式中，
Figure 226670DEST_PATH_IMAGE014
是元素相乘符号，在图2中用“
Figure 382714DEST_PATH_IMAGE015
”符号表示。
步骤3、对于第二条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考空间注意力模块中，得到经空间注意力强化之后的特征图，同时输出空间全局关系图，该关系图用于下一个分支中的抑制操作，如图3所示。
本步骤的具体实施方法如下：
3-1）、对于第二条分支的全局参考空间注意力模块，以该分支残差层输出的特征图X作为输入量；首先对特征图X进行全局平均池化得到特征向量
Figure 898271DEST_PATH_IMAGE016
，再通过1×1卷积嵌入函数
Figure 42945DEST_PATH_IMAGE017
，将其通道维数从C降低到C/s（如本实施例中s=2），得到空间的全局参考点，即特征向量
Figure 953132DEST_PATH_IMAGE018
。
3-2）、使用1×1卷积嵌入函数
Figure 65313DEST_PATH_IMAGE019
把X的通道数从C变成C/s, 并将得到的张量划分成N个C/s维的特征向量，其中
Figure 227304DEST_PATH_IMAGE020
，每个特征向量表示为
Figure 977217DEST_PATH_IMAGE021
，其中
Figure 199251DEST_PATH_IMAGE022
；计算每个特征向量
Figure 267570DEST_PATH_IMAGE023
与空间参考特征向量
Figure 656088DEST_PATH_IMAGE024
的内积，得到空间关系向量rs，rs内元素
Figure 306512DEST_PATH_IMAGE025
的计算公式如下：
Figure 948715DEST_PATH_IMAGE026
，
式中，
Figure 51800DEST_PATH_IMAGE011
是向量内积符号。
3-3）、把得到的空间关系向量rs重塑成尺寸为
Figure 306326DEST_PATH_IMAGE027
的空间全局关系图
Figure 280099DEST_PATH_IMAGE028
，使用sigmoid函数来激活
Figure 827623DEST_PATH_IMAGE028
，并将结果的维数广播至
Figure 621267DEST_PATH_IMAGE029
，再与原特征图对应元素相乘，得到经空间注意力掩码后的特征图XS，其计算公式如下：
Figure 956782DEST_PATH_IMAGE030
，
式中，
Figure 706432DEST_PATH_IMAGE014
是元素相乘符号，在图3中用“
Figure 300225DEST_PATH_IMAGE015
”符号表示。
3-4）、把生成的空间全局关系图
Figure 581164DEST_PATH_IMAGE028
记作
Figure 911914DEST_PATH_IMAGE031
，
Figure 594699DEST_PATH_IMAGE031
用于第三条分支中的抑制操作。
步骤4、为了让第三条分支上的全局参考空间注意力模块与第二条分支的注意力模块关注的空间位置不同，第三条分支的注意力模块在结构上比第二条分支的注意力模块多了一个抑制操作；对于第三条分支，以该分支残差层输出的特征图作为输入，将其送入被抑制的全局参考空间注意力模块，得到空间注意力强化后的特征图，该特征图与第二条分支注意力模块所生成的特征图对车辆图像关注的位置不同，如图4所示。
本步骤的具体实施方法如下：
4-1）、第三条分支中的被抑制的全局参考空间注意力模块，是由一个全局参考空间注意力模块和一个抑制操作组成的。首先，按照步骤3具体实施方法，将第三条分支残差层输出的特征图X输入第三条分支的全局参考空间注意力模块得到全局关系图
Figure 749606DEST_PATH_IMAGE028
。
4-2）、将得到的全局关系图
Figure 642475DEST_PATH_IMAGE028
与第二条分支的注意力模块所生成的全局关系图
Figure 26183DEST_PATH_IMAGE031
进行抑制操作。
抑制操作的具体实施是：计算第三条分支所生成的空间全局关系图
Figure 579787DEST_PATH_IMAGE028
与第二条分所生成的空间全局关系图
Figure 390748DEST_PATH_IMAGE031
的对应元素之差并求绝对值，得到新的空间全局关系图
Figure 505334DEST_PATH_IMAGE032
，其计算公式如下：
Figure 207580DEST_PATH_IMAGE033
，
式中的减号在图4中用“㊀”表示。当
Figure 22215DEST_PATH_IMAGE034
和
Figure 800815DEST_PATH_IMAGE035
在某一位置的值都较大时，这种操作使得
Figure 527331DEST_PATH_IMAGE036
在该处的值较小，它可以增大第二条分支注意力模块与第三条分支注意力模块所关注位置的差异性，从而让整个网络能挖掘到更多区域上的显著特征。
4-3）、新的空间全局关系图
Figure 518421DEST_PATH_IMAGE032
使用sigmoid函数激活，并将结果的维数广播至
Figure 46616DEST_PATH_IMAGE037
，再与原特征图对应元素相乘，得到经空间注意力掩码后的特征图XSS，其计算公式如下：
Figure 464960DEST_PATH_IMAGE038
。
步骤5、每个分支在得到注意力强化后的特征图后，经过全局平均池化层和卷积降维层输出一个特征向量，该向量用于网络训练过程中损失的计算。以交叉熵损失和批量硬性三元组损失作为目标函数，对整个网络进行多次训练直至收敛。
本步骤的具体实施方法如下：
每个分支得到的经注意力模块强化后的特征图，尺寸都是2048×8×8。每个特征图各自经过一个全局平均池化层（GAP）后变成一个2048维的特征向量，通过一个由1×1卷积、批量归一化层（BN）和ReLU激活函数组成的卷积降维层（Reduce），把每个特征向量的维数从2048降至1024，降维后的特征向量用于训练中三元组损失的计算；除此之外，每个1024维的特征向量后面跟一个全连接层（FC），以用于训练中交叉熵损失的计算。
本发明通过三个分支提取到三种关于车辆不同方面的全局特征，特别是利用每个分支包含的全局参考注意力模块可以获取重要的鉴别性信息，同时可以减少噪声的干扰，从而提高车辆重识别任务的检索精度。

Claims (6)

1.一种基于全局参考注意力机制的车辆重识别方法，其特征在于，包括以下步骤：
步骤1、使用卷积神经网络ResNet-50前部分的残差层提取输入图像的基础特征，并将获得的车辆特征图分别送入三条相互独立且内嵌结构不同的全局参考注意力模块的分支中，以提取关于车辆不同方面的鉴别性特征；
步骤2、对于第一条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考通道注意力模块中，得到经通道注意力强化之后的特征图；
步骤3、对于第二条分支，以该分支残差层输出的特征图作为输入，将其送入全局参考空间注意力模块中，得到经空间注意力强化之后的特征图，同时输出空间全局关系图，该关系图用于下一个分支中的抑制操作；
步骤4、对于第三条分支，以该分支残差层输出的特征图作为输入，将其送入被抑制的全局参考空间注意力模块，得到空间注意力强化后的特征图，该特征图与第二条分支注意力模块所生成的特征图对车辆图像关注的位置不同；
步骤5、每个分支在得到注意力强化后的特征图后，经过全局平均池化层和卷积降维层输出一个特征向量，该向量用于网络训练过程中损失的计算；以交叉熵损失和批量硬性三元组损失作为目标函数，对整个网络进行多次训练直至收敛。
2.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法，其特征在于，步骤1的具体方法为：以ResNet-50前部分的残差层res1~res4_1作为骨干网，将ResNet-50后部分的残差层 res4_2~res5复制为三个相同结构的分支，每个分支在残差层后依次加入一个基于全局参考注意力机制设计的模块、全局平均池化层GAP、卷积降维层Reduce和全连接层FC；将所有输入网络的图像的尺寸缩放成一致尺寸并输入到骨干网；通过骨干网和三个分支的残差层，得到三个不同的特征图。
3.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法，其特征在于，步骤2的具体方法为：
2-1）、对于第一条分支的全局参考通道注意力模块，该分支残差层输出的特征图X是其输入量，其中
Figure 941818DEST_PATH_IMAGE001
，C、H、W分别是特征图X的通道数、空间高度、宽度；首先对输入特征图X取通道维度的平均值以将其压平，得到通道的全局参考点，即特征向量
Figure 471020DEST_PATH_IMAGE002
，其中，
Figure 853722DEST_PATH_IMAGE003
；
2-2）、使用1×1卷积降维函数
Figure 177387DEST_PATH_IMAGE004
把X的通道数从C变成C/c,把得到的张量划分成C/c个d维的特征向量，每个特征向量表示为
Figure 753862DEST_PATH_IMAGE005
，其中
Figure 70442DEST_PATH_IMAGE006
；
2-3）、计算每个特征向量
Figure 822498DEST_PATH_IMAGE007
与通道参考特征向量
Figure 56078DEST_PATH_IMAGE008
的内积，得到通道关系向量rc，rc内元素
Figure 260794DEST_PATH_IMAGE009
的计算公式如下：
Figure 381066DEST_PATH_IMAGE010
，
式中，
Figure 581103DEST_PATH_IMAGE011
为向量内积符号；
2-4）、得到通道关系向量rc后，先使用由1×1卷积层、批量归一化层BN和ReLU激活层组成的转换函数T(x)，将r的维数由 C/c恢复到C，同时得到通道全局关系图Ac；然后使用sigmoid函数来激活
Figure 512150DEST_PATH_IMAGE012
，并将结果的尺寸广播至与特征图X的尺寸相同，再与原特征图X进行元素相乘，得到经通道注意力掩码的特征图XC，其计算公式如下：
Figure 689316DEST_PATH_IMAGE013
，
式中，
Figure 364011DEST_PATH_IMAGE014
是元素相乘符号。
4.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法，其特征在于，步骤3的具体方法为：
3-1）、对于第二条分支的全局参考空间注意力模块，以该分支残差层输出的特征图X作为输入量；首先对特征图X进行全局平均池化得到特征向量
Figure 684133DEST_PATH_IMAGE015
，再通过1×1卷积嵌入函数
Figure 35349DEST_PATH_IMAGE016
，将其通道维数从C降低到C/s，得到空间的全局参考点，即特征向量
Figure 949079DEST_PATH_IMAGE017
；
3-2）、使用1×1卷积嵌入函数
Figure 912618DEST_PATH_IMAGE018
把X的通道数从C变成C/s, 并将得到的张量划分成N个C/s维的特征向量，其中
Figure 962613DEST_PATH_IMAGE019
,每个特征向量表示为
Figure 360097DEST_PATH_IMAGE020
，其中
Figure 744810DEST_PATH_IMAGE021
；计算每个特征向量
Figure 26887DEST_PATH_IMAGE022
与空间参考特征向量
Figure 682122DEST_PATH_IMAGE023
的内积，得到空间关系向量rs，rs内元素
Figure 391452DEST_PATH_IMAGE024
的计算公式如下：
Figure 263462DEST_PATH_IMAGE025
，
式中，
Figure 942705DEST_PATH_IMAGE011
是向量内积符号；
3-3）、把得到的空间关系向量rs重塑成尺寸为
Figure 967292DEST_PATH_IMAGE026
的空间全局关系图
Figure 598256DEST_PATH_IMAGE027
，使用sigmoid函数来激活
Figure 708295DEST_PATH_IMAGE027
，并将结果的维数广播至
Figure 315862DEST_PATH_IMAGE028
，再与原特征图对应元素相乘，得到经空间注意力掩码后的特征图XS，其计算公式如下：
Figure 460536DEST_PATH_IMAGE029
，
式中，
Figure 370723DEST_PATH_IMAGE014
是元素相乘符号；
3-4）、把生成的空间全局关系图
Figure 984369DEST_PATH_IMAGE030
记作
Figure 146360DEST_PATH_IMAGE030
，
Figure 660387DEST_PATH_IMAGE031
用于第三条分支中的抑制操作。
5.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法，其特征在于，步骤4的具体方法为：
4-1）、第三条分支中的被抑制的全局参考空间注意力模块，是由一个全局参考空间注意力模块和一个抑制操作组成的；首先，按照步骤3具体实施方法，将第三条分支残差层输出的特征图X输入第三条分支的全局参考空间注意力模块得到全局关系图
Figure 351263DEST_PATH_IMAGE032
；
4-2）、将得到的全局关系图
Figure 452205DEST_PATH_IMAGE030
与第二条分支的注意力模块所生成的全局关系图
Figure 417887DEST_PATH_IMAGE031
进行抑制操作；抑制操作的具体实施是：计算第三条分支所生成的空间全局关系图
Figure 786420DEST_PATH_IMAGE030
与第二条分所生成的空间全局关系图
Figure 913776DEST_PATH_IMAGE033
的对应元素之差并求绝对值，得到新的空间全局关系图
Figure 236435DEST_PATH_IMAGE034
，其计算公式如下：
Figure 474650DEST_PATH_IMAGE035
；
4-3）、新的空间全局关系图
Figure 573056DEST_PATH_IMAGE036
使用sigmoid函数激活，并将结果的维数广播至
Figure 386160DEST_PATH_IMAGE037
，再与原特征图对应元素相乘，得到经空间注意力掩码后的特征图XSS，其计算公式如下：
Figure 445383DEST_PATH_IMAGE038
。
6.根据权利要求1所述的基于全局参考注意力机制的车辆重识别方法，其特征在于，步骤5的具体方法为：每个特征图各自经过一个全局平均池化层GAP后通过一个由1×1卷积、批量归一化层BN和ReLU激活函数组成的卷积降维层Reduce进行降维，降维后的特征向量用于训练中三元组损失的计算；除此之外，每个降维后的特征向量后面跟一个全连接层FC，以用于训练中交叉熵损失的计算。
CN202111385133.1A 2021-11-22 2021-11-22 一种基于全局参考注意力机制的车辆重识别方法 Active CN113822246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111385133.1A CN113822246B (zh) 2021-11-22 2021-11-22 一种基于全局参考注意力机制的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111385133.1A CN113822246B (zh) 2021-11-22 2021-11-22 一种基于全局参考注意力机制的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN113822246A true CN113822246A (zh) 2021-12-21
CN113822246B CN113822246B (zh) 2022-02-18

Family

ID=78918070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111385133.1A Active CN113822246B (zh) 2021-11-22 2021-11-22 一种基于全局参考注意力机制的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN113822246B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005078A (zh) * 2021-12-31 2022-02-01 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN114663861A (zh) * 2022-05-17 2022-06-24 山东交通学院 一种基于维度解耦和非局部关系的车辆重识别方法
CN116311105A (zh) * 2023-05-15 2023-06-23 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116665019A (zh) * 2023-07-31 2023-08-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116704453A (zh) * 2023-08-08 2023-09-05 山东交通学院 用于车辆重识别的自适应划分和先验强化部位学习网络

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
US20200218888A1 (en) * 2017-07-18 2020-07-09 Vision Semantics Limited Target Re-Identification
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision
CN113221911A (zh) * 2021-04-09 2021-08-06 华南理工大学 一种基于双重注意力机制的车辆重识别方法及系统
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113420742A (zh) * 2021-08-25 2021-09-21 山东交通学院 一种用于车辆重识别的全局注意力网络模型

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200218888A1 (en) * 2017-07-18 2020-07-09 Vision Semantics Limited Target Re-Identification
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110516583A (zh) * 2019-08-21 2019-11-29 中科视语(北京)科技有限公司 一种车辆重识别方法、系统、设备及介质
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision
CN113221911A (zh) * 2021-04-09 2021-08-06 华南理工大学 一种基于双重注意力机制的车辆重识别方法及系统
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113420742A (zh) * 2021-08-25 2021-09-21 山东交通学院 一种用于车辆重识别的全局注意力网络模型

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUANGWEI LIU ET AL: "Adversarially Erased Learning for Person Re-identification by Fully Convolutional Networks", 《2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
TSAI-SHIEN CHEN ET AL: "Viewpoint-aware Channel-wise Attentive Network for Vehicle Re-identification", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS(CVPRW)》 *
林秋丽: "基于多属性融合的渐进式车辆重识别算法研究与实现", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005078A (zh) * 2021-12-31 2022-02-01 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN114663861A (zh) * 2022-05-17 2022-06-24 山东交通学院 一种基于维度解耦和非局部关系的车辆重识别方法
CN116311105A (zh) * 2023-05-15 2023-06-23 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116311105B (zh) * 2023-05-15 2023-09-19 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116665019A (zh) * 2023-07-31 2023-08-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116665019B (zh) * 2023-07-31 2023-09-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116704453A (zh) * 2023-08-08 2023-09-05 山东交通学院 用于车辆重识别的自适应划分和先验强化部位学习网络
CN116704453B (zh) * 2023-08-08 2023-11-28 山东交通学院 一种采用自适应划分和先验强化部位学习网络进行车辆重识别的方法

Also Published As

Publication number Publication date
CN113822246B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN113822246B (zh) 一种基于全局参考注意力机制的车辆重识别方法
Chen et al. Partition and reunion: A two-branch neural network for vehicle re-identification.
Shen et al. End-to-end deep kronecker-product matching for person re-identification
Abbas et al. A comprehensive review of recent advances on deep vision systems
Lin et al. Cascaded feature network for semantic segmentation of RGB-D images
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN115240121B (zh) 一种用于增强行人局部特征的联合建模方法和装置
Yang et al. Diffusion model as representation learner
Tang et al. Multi-modal metric learning for vehicle re-identification in traffic surveillance environment
CN110751018A (zh) 一种基于混合注意力机制的群组行人重识别方法
CN110765841A (zh) 基于混合注意力机制的群组行人重识别系统及终端
CN115063717A (zh) 一种基于重点区域实景建模的视频目标检测与跟踪方法
CN115661611A (zh) 一种基于改进Yolov5网络的红外小目标检测方法
CN113657225B (zh) 一种目标检测方法
Munir et al. Resolution based feature distillation for cross resolution person re-identification
CN114663861B (zh) 一种基于维度解耦和非局部关系的车辆重识别方法
CN112926549B (zh) 基于时间域-空间域特征联合增强的步态识别方法与系统
Han et al. Multi-target tracking based on high-order appearance feature fusion
Li et al. Universal Organizer of SAM for Unsupervised Semantic Segmentation
Ruiqiang et al. Optimization of small object detection based on generative adversarial networks
Ştefan et al. Deep learning-based person search with visual attention embedding
CN108256572B (zh) 一种基于改进朴素贝叶斯的室内视觉特征分类方法
Cao et al. Visible and Clear: Finding Tiny Objects in Difference Map
Gao et al. Contrastive Pedestrian Attentive and Correlation Learning Network for Occluded Person Re-Identification
Murtaza et al. TAB: Temporally aggregated bag-of-discriminant-words for temporal action proposals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant