CN114821249A - 一种基于分组聚合注意力和局部关系的车辆重识别方法 - Google Patents

一种基于分组聚合注意力和局部关系的车辆重识别方法 Download PDF

Info

Publication number
CN114821249A
CN114821249A CN202210776264.0A CN202210776264A CN114821249A CN 114821249 A CN114821249 A CN 114821249A CN 202210776264 A CN202210776264 A CN 202210776264A CN 114821249 A CN114821249 A CN 114821249A
Authority
CN
China
Prior art keywords
attention
local
relationship
global
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776264.0A
Other languages
English (en)
Other versions
CN114821249B (zh
Inventor
田鑫
王成
庞希愚
姜刚武
郑艳丽
李曦
周厚仁
孙珂
郑美凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202210776264.0A priority Critical patent/CN114821249B/zh
Publication of CN114821249A publication Critical patent/CN114821249A/zh
Application granted granted Critical
Publication of CN114821249B publication Critical patent/CN114821249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉中的车辆重识别技术领域，具体地涉及一种基于分组聚合注意力和局部关系的车辆重识别方法，基于分组聚合注意力机制和局部关系模块实现，其中分组聚合注意力机制是将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用聚合方式来实现跨组局部信息交互，并利用不同全局关系来有效地推断通道的注意权重。其次，本发明对注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性信息并抑制噪声信息，提高网络识别同一车辆的能力；所述局部关系模块旨在挖掘更多有价值的部位间关系以区分相应部位具有相似属性的不同身份的车辆，能够快速、准确的识别出同一车辆。

Description

一种基于分组聚合注意力和局部关系的车辆重识别方法
技术领域
本发明涉及计算机视觉中的车辆重识别技术领域，具体地涉及一种基于分组聚合注意力和局部关系的车辆重识别方法。
背景技术
车辆重识别（Re-ID）旨在从非重叠摄像头拍摄的一组图像中找到同一辆车，它在城市安全监控和智能交通系统中显示出了广泛的应用前景。近年来，深度神经网络的兴起，使车辆重识别得到了快速的发展。但是由于视角、光照和相似的外观引起的类内差异性和类间相似性给研究人员带来了巨大挑战。为了解决以上问题，本发明设计了一种基于分组聚合注意力和局部关系的车辆重识别方法。
发明内容
本发明的目的在于克服现有技术存在的缺点，提出设计一种基于分组聚合注意力和局部关系的车辆重识别方法，旨在挖掘出具有鉴别性的全局级特征和具有鲁棒性的局部级特征，从而准确的识别出同一车辆。
本发明解决其技术问题所采取的技术方案是：
一种基于分组聚合注意力和局部关系的车辆重识别方法，包括以下步骤：
步骤1、采用Resnet50作为骨干网络，在res_conv4_1（ResNet-50的第4层的第1个块）残差块之后，Resnet50骨干网络被划分为两个分支；
步骤2、移除两个分支中的res_conv5_1（ResNet-50的第5层的第1个块）块的空间下采样操作，以丰富特征的粒度；
步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；
步骤4、利用全局平均池化层（GAP）将全局级特征和局部级特征池化到大小为2048×1×1的特征图，以用于训练中三元组损失的计算；
步骤5、通过降维模块将2048维特征降到256维特征，每个256维的特征输入到一个全连接层（FC）中，以用于训练中交叉熵损失的计算。
进一步的，所述降维模块由一个1×1卷积和一个批量归一化层BN组成。
进一步的，在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示，该特征结合了全局和局部信息从而拥有更强有力的鉴别性。
进一步的，所述分组聚合注意力机制的完整架构为：
（2-1）特征图
Figure 589110DEST_PATH_IMAGE001
作为分组聚合注意力机制的输入，其中
Figure 274170DEST_PATH_IMAGE002
代表了通道的数量，
Figure 891096DEST_PATH_IMAGE003
、
Figure 978000DEST_PATH_IMAGE004
分别表示张量的高度和宽度；特征图
Figure 389390DEST_PATH_IMAGE005
首先输入到一个分组数为
Figure 561745DEST_PATH_IMAGE006
的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为
Figure 982363DEST_PATH_IMAGE006
组，每组独立地输入到特征增强模块中，以得到强化后的特征图；
（2-2）对于特征增强模块，将特征图
Figure 658194DEST_PATH_IMAGE007
作为该模块的输入，其中
Figure 506065DEST_PATH_IMAGE008
；在特征增强模块中，特征图
Figure 165716DEST_PATH_IMAGE009
首先同时经过两个嵌入函数
Figure 124445DEST_PATH_IMAGE010
和
Figure 185942DEST_PATH_IMAGE011
分别得到张量
Figure 204713DEST_PATH_IMAGE012
和
Figure 817573DEST_PATH_IMAGE013
，其中这两个嵌入函数的结构相同，都由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成；然后，将张量
Figure 579993DEST_PATH_IMAGE012
和
Figure 495996DEST_PATH_IMAGE013
的尺寸分别变形为
Figure 685669DEST_PATH_IMAGE014
和
Figure 319912DEST_PATH_IMAGE015
，为了获得由通道间关系组成的矩阵
Figure 620444DEST_PATH_IMAGE016
，将
Figure 125374DEST_PATH_IMAGE012
和
Figure 485949DEST_PATH_IMAGE013
进行矩阵乘法，
Figure 341909DEST_PATH_IMAGE017
的计算公式为
Figure 446131DEST_PATH_IMAGE018
，式中，“
Figure 336727DEST_PATH_IMAGE019
”为矩阵乘法符号；
（2-3）对矩阵
Figure 602623DEST_PATH_IMAGE017
进行关系融合操作，即对
Figure 945880DEST_PATH_IMAGE017
的每一行求均值，从而得到组内全局通道关系向量
Figure 588214DEST_PATH_IMAGE020
。另外，由于
Figure 333316DEST_PATH_IMAGE017
中的值是由两个元素个数都为
Figure 35693DEST_PATH_IMAGE021
的向量通过点积操作得到的，因此为了防止
Figure 866246DEST_PATH_IMAGE022
和
Figure 312270DEST_PATH_IMAGE023
数值过大导致模型性能下降，本申请对向量
Figure 177458DEST_PATH_IMAGE020
进行缩放点积操作，即将
Figure 785157DEST_PATH_IMAGE020
中的每个元素除以
Figure 837427DEST_PATH_IMAGE024
。向量
Figure 87142DEST_PATH_IMAGE020
中的第
Figure 806837DEST_PATH_IMAGE025
个元素的计算公式如下：
Figure 851016DEST_PATH_IMAGE026
；
（2-4）紧接着，向量
Figure 390582DEST_PATH_IMAGE020
通过一个全局关系交互操作得到一个新的通道向量
Figure 178409DEST_PATH_IMAGE027
。因为考虑
Figure 752610DEST_PATH_IMAGE028
中每个关系及其
Figure 967691DEST_PATH_IMAGE029
个临近关系来捕获局部跨关系交互信息可以更有效的推断通道的权重。具体来说，该全局关系交互操作通过一个卷积核大小为
Figure 9201DEST_PATH_IMAGE029
、边缘填充（padding）圈数为2的快速1D卷积来实现，其中
Figure 335140DEST_PATH_IMAGE029
作为一个超参数，代表了局部跨关系交互的覆盖率；
（2-5）然后通过一个
Figure 29427DEST_PATH_IMAGE030
函数来得到通道注意力图
Figure 415409DEST_PATH_IMAGE031
；另外，为了促使注意力模块提取到最具鉴别性的特征，本申请设计了一个注意力增强约束
Figure 929567DEST_PATH_IMAGE032
，通过让该约束变大来进一步增强有用信息并削弱背景等噪声信息，该约束的计算表达式如下：
Figure 59197DEST_PATH_IMAGE033
；
其中
Figure 607990DEST_PATH_IMAGE034
代表了
Figure 164873DEST_PATH_IMAGE035
的第
Figure 900748DEST_PATH_IMAGE036
个元素。
（2-6）最后将注意力图
Figure 834069DEST_PATH_IMAGE037
的尺寸变形为
Figure 237368DEST_PATH_IMAGE038
,并和输入特征
Figure 965153DEST_PATH_IMAGE039
进行元素点乘操作，得到最终的输出特征
Figure 453903DEST_PATH_IMAGE040
，表达式如下：
Figure 190915DEST_PATH_IMAGE041
；
式中，“
Figure 448721DEST_PATH_IMAGE019
”为元素点乘符号；
（2-7）将
Figure 81828DEST_PATH_IMAGE042
、
Figure 57874DEST_PATH_IMAGE043
、…、
Figure 332997DEST_PATH_IMAGE044
在通道维度进行拼接，得到一个尺寸为
Figure 445310DEST_PATH_IMAGE045
的特征图
Figure 780476DEST_PATH_IMAGE046
。最后，将
Figure 978239DEST_PATH_IMAGE047
经过聚合函数
Figure 57054DEST_PATH_IMAGE048
实现组间全局通道信息交互并得到最终的输出特征图
Figure 758294DEST_PATH_IMAGE049
，其中
Figure 264361DEST_PATH_IMAGE048
由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成。
进一步的，为了减少参数量，所用到的
Figure 949421DEST_PATH_IMAGE050
个特征增强模块共享嵌入函数
Figure 566347DEST_PATH_IMAGE051
和
Figure 653251DEST_PATH_IMAGE052
中的1×1卷积。
进一步的，所述局部关系模块用于挖掘部位之间的联系，其结构为：
（3-1）特征图
Figure 330220DEST_PATH_IMAGE053
作为该模块的输入，经过三个1×1分组卷积得到三个特征图
Figure 234067DEST_PATH_IMAGE054
且
Figure 654684DEST_PATH_IMAGE055
和
Figure 596095DEST_PATH_IMAGE056
的通道数被降维至
Figure 443965DEST_PATH_IMAGE057
以减少计算复杂度。然后将
Figure 103617DEST_PATH_IMAGE058
、
Figure 62346DEST_PATH_IMAGE056
和
Figure 123842DEST_PATH_IMAGE059
的尺寸分别变形为
Figure 611456DEST_PATH_IMAGE060
、
Figure 758403DEST_PATH_IMAGE061
和
Figure 520823DEST_PATH_IMAGE062
，其中
Figure 436826DEST_PATH_IMAGE063
；
（3-2）特征图
Figure 626499DEST_PATH_IMAGE064
和
Figure 729584DEST_PATH_IMAGE065
通过矩阵乘法得到空间位置关系矩阵
Figure 30116DEST_PATH_IMAGE066
，矩阵
Figure 66205DEST_PATH_IMAGE067
中的元素表示了位置点之间的关系；关系矩阵
Figure 426779DEST_PATH_IMAGE067
被均匀地划分为四个小块，其中矩阵
Figure 282739DEST_PATH_IMAGE067
的左上角
Figure 386962DEST_PATH_IMAGE068
和右下角
Figure 11978DEST_PATH_IMAGE069
部分中的位置点分别属于上半车身和下半车身。而右上角
Figure 543454DEST_PATH_IMAGE070
和左下角
Figure 886710DEST_PATH_IMAGE071
部分中既有属于上半车身的位置点又有属于下半车身的位置点。由于一个部件区域内的位置联系更紧密一些，因此为了获得更多车身部位之间的关联，引入一个掩码
Figure 529044DEST_PATH_IMAGE072
与
Figure 274146DEST_PATH_IMAGE067
进行点乘得到新的关系矩阵
Figure 976523DEST_PATH_IMAGE073
。其中，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1；
（3-3）矩阵
Figure 541497DEST_PATH_IMAGE073
经过
Figure 987521DEST_PATH_IMAGE074
函数之后和特征图
Figure 587130DEST_PATH_IMAGE075
进行矩阵相乘得到关系特征图
Figure 463338DEST_PATH_IMAGE076
，
Figure 515607DEST_PATH_IMAGE076
的计算公式如下：
Figure 765323DEST_PATH_IMAGE077
；
式中，“
Figure 219438DEST_PATH_IMAGE078
”是元素点乘符号、“
Figure 263618DEST_PATH_IMAGE019
”是矩阵乘法符号；
（3-4）最后将
Figure 68763DEST_PATH_IMAGE079
和原特征
Figure 856590DEST_PATH_IMAGE080
相加获得最终的特征
Figure 430791DEST_PATH_IMAGE081
，则该特征被划分后的两个局部块中既包含了部位本身的局部信息又引入了大量部位间的关系信息，从而更好地区分相应部位具有相似属性的不同身份的车辆。
进一步的，所述
Figure 645872DEST_PATH_IMAGE076
的上半部分特征为
Figure 672733DEST_PATH_IMAGE082
，考虑了大量的上半车身和下半车身间的关系，下半部分特征为
Figure 998672DEST_PATH_IMAGE083
，考虑了大量的下半车身和上半车身间的关系。
本发明的技术效果：
与现有技术相比，本发明的一种基于分组聚合注意力和局部关系的车辆重识别方法，通过两分支的网络从车辆图像中提取有效的全局级和局部级特征，从而提高车辆重识别任务的检索精度。本发明首先设计了一个分组聚合注意力机制来提取有区别的特征并抑制噪声信息。具体来说，该机制将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用一种简单的聚合方式来实现跨组局部信息交互；对于特征增强，为了确定一个通道的重要性水平，利用适当的不同全局关系来有效地推断通道的注意权重；其次，本发明对特征增强模块中产生的注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性特征并抑制噪声信息，进而提高网络识别同一车辆的能力；最后本发明提出了一个局部关系模块，它在提取局部信息的同时考虑了大量的车辆部位之间的联系，使每个部分级特征都包含相应部位本身和与其密切相关的其他部位的信息，从而进一步提升了网络的性能。
附图说明
图1是本发明的车辆重识别方法的神经网络框架图；
图2是本发明的分组聚合注意力机制结构图；
图3是本发明的特征增强模块结构图；
图4是本发明的局部关系模块结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例：
本实施例涉及的一种基于分组聚合注意力和局部关系的车辆重识别方法，包括以下步骤：
步骤1、采用Resnet50作为骨干网络，在res_conv4_1（ResNet-50的第4层的第1个块）残差块之后，Resnet50骨干网络被划分为两个分支；
步骤2、移除两个分支中的res_conv5_1（ResNet-50的第5层的第1个块）块的空间下采样操作，以丰富特征的粒度；
步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；
步骤4、利用全局平均池化层（GAP）将一个全局级特征和两个局部级特征池化到大小为2048×1×1的特征图，以用于训练中三元组损失的计算；
步骤5、通过由一个1×1卷积和一个批量归一化层BN组成的降维模块将三个2048维特征降到256维特征，每个256维的特征输入到一个全连接层（FC）中，以用于训练中交叉熵损失的计算；在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示，该特征结合了全局和局部信息从而拥有更强有力的鉴别性。
如图2所示，所述分组聚合注意力机制的完整架构为：
（2-1）特征图
Figure 427380DEST_PATH_IMAGE084
作为组注意力模块的输入，其中
Figure 78941DEST_PATH_IMAGE085
代表了通道的数量，
Figure 593099DEST_PATH_IMAGE086
、
Figure 457150DEST_PATH_IMAGE087
分别表示张量的高度和宽度。特征图
Figure 5943DEST_PATH_IMAGE088
首先输入到一个分组数为
Figure 562826DEST_PATH_IMAGE089
的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为
Figure 564280DEST_PATH_IMAGE089
组，本实施例取
Figure 497601DEST_PATH_IMAGE089
的值为2；每组独立地输入到特征增强模块中，以得到强化后的特征图；
（2-2）对于特征增强模块，将特征图
Figure 635321DEST_PATH_IMAGE090
作为该模块的输入，其中
Figure 363106DEST_PATH_IMAGE091
，
Figure 851856DEST_PATH_IMAGE092
；如图3所示，在特征增强模块中，特征图
Figure 323289DEST_PATH_IMAGE093
首先同时经过两个嵌入函数
Figure 581095DEST_PATH_IMAGE010
和
Figure 745360DEST_PATH_IMAGE094
分别得到张量
Figure 721406DEST_PATH_IMAGE095
和
Figure 730950DEST_PATH_IMAGE013
，其中这两个嵌入函数的结构相同，都由一个1×1卷积、一个批量归一化（BN）和一个ReLU激活函数组成；然后，将张量
Figure 840333DEST_PATH_IMAGE095
和
Figure 909920DEST_PATH_IMAGE013
的尺寸分别变形为
Figure 373263DEST_PATH_IMAGE014
和
Figure 186498DEST_PATH_IMAGE015
，为了获得由通道间关系组成的矩阵
Figure 418896DEST_PATH_IMAGE096
，将
Figure 659385DEST_PATH_IMAGE095
和
Figure 344444DEST_PATH_IMAGE013
进行矩阵乘法，
Figure 961370DEST_PATH_IMAGE017
的计算公式为
Figure 48275DEST_PATH_IMAGE018
，式中，“
Figure 725244DEST_PATH_IMAGE097
”为矩阵乘法符号；
（2-3）对矩阵
Figure 897599DEST_PATH_IMAGE017
进行关系融合操作，即对
Figure 787058DEST_PATH_IMAGE017
的每一行求均值，从而得到组内全局通道关系向量
Figure 994048DEST_PATH_IMAGE098
。另外，由于
Figure 841918DEST_PATH_IMAGE017
中的值是由两个元素个数都为
Figure 501570DEST_PATH_IMAGE021
的向量通过点积操作得到的，因此为了防止
Figure 460299DEST_PATH_IMAGE022
和
Figure 256216DEST_PATH_IMAGE023
数值过大导致模型性能下降，本申请对向量
Figure 274988DEST_PATH_IMAGE098
进行缩放点积操作，即将
Figure 421935DEST_PATH_IMAGE098
中的每个元素除以
Figure 918776DEST_PATH_IMAGE024
。向量
Figure 834779DEST_PATH_IMAGE098
中的第
Figure 758873DEST_PATH_IMAGE025
个元素的计算公式如下：
Figure 393117DEST_PATH_IMAGE099
；
（2-4）紧接着，向量
Figure 693648DEST_PATH_IMAGE098
通过一个全局关系交互操作得到一个新的通道向量
Figure 729737DEST_PATH_IMAGE100
。因为考虑
Figure 559153DEST_PATH_IMAGE098
中每个关系及其
Figure 680692DEST_PATH_IMAGE101
个临近关系来捕获局部跨关系交互信息可以更有效的推断通道的权重。具体来说，该全局关系交互操作通过一个卷积核大小为
Figure 784915DEST_PATH_IMAGE102
、边缘填充（padding）圈数为2的快速1D卷积来实现，其中
Figure 401142DEST_PATH_IMAGE102
作为一个超参数，代表了局部跨关系交互的覆盖率，本实施例取
Figure 932618DEST_PATH_IMAGE103
的值为5；
（2-5）然后通过一个
Figure 275874DEST_PATH_IMAGE104
函数来得到通道注意力图
Figure 918208DEST_PATH_IMAGE105
；另外，为了促使注意力模块提取到最具鉴别性的特征，本申请设计了一个注意力增强约束
Figure 663310DEST_PATH_IMAGE106
，通过让注意力增强约束变大来进一步增强有用信息并削弱背景等噪声信息，该约束的计算表达式如下：
Figure 365687DEST_PATH_IMAGE107
；
其中
Figure 196240DEST_PATH_IMAGE108
代表了
Figure 642265DEST_PATH_IMAGE109
的第
Figure 241873DEST_PATH_IMAGE110
个元素。
（2-6）最后将注意力图
Figure 115151DEST_PATH_IMAGE037
的尺寸变形为
Figure 433000DEST_PATH_IMAGE111
,并和输入特征
Figure 151557DEST_PATH_IMAGE039
进行元素点乘操作，得到最终的输出特征
Figure 871252DEST_PATH_IMAGE040
，表达式如下：
Figure 915431DEST_PATH_IMAGE041
；
式中，“
Figure 720576DEST_PATH_IMAGE112
”为元素点乘符号。
需要说明的是，为了减少参数量，
Figure 508404DEST_PATH_IMAGE113
和
Figure 82604DEST_PATH_IMAGE114
所用到的两个特征增强模块共享嵌入函数
Figure 297685DEST_PATH_IMAGE115
和
Figure 324547DEST_PATH_IMAGE052
中的1×1卷积；
（2-7）将
Figure 650486DEST_PATH_IMAGE042
和
Figure 79193DEST_PATH_IMAGE043
在通道维度进行拼接，得到一个尺寸为
Figure 465175DEST_PATH_IMAGE045
的特征图
Figure 244912DEST_PATH_IMAGE116
。最后，将
Figure 374542DEST_PATH_IMAGE116
经过聚合函数
Figure 392177DEST_PATH_IMAGE048
实现组间全局通道信息交互并得到最终的输出特征图
Figure 214640DEST_PATH_IMAGE049
，其中
Figure 216094DEST_PATH_IMAGE048
由一个1×1卷积、一个批量归一化（BN）和一个ReLU激活函数组成。
所述局部关系模块用于挖掘部位之间的联系，其结构如图4所示：
（3-1）特征图
Figure 149415DEST_PATH_IMAGE117
作为该模块的输入，经过三个1×1分组卷积得到三个特征图
Figure 284205DEST_PATH_IMAGE054
且
Figure 277569DEST_PATH_IMAGE118
和
Figure 500740DEST_PATH_IMAGE119
的通道数被降维至
Figure 972172DEST_PATH_IMAGE120
以减少计算复杂度。然后将
Figure 229979DEST_PATH_IMAGE118
、
Figure 394244DEST_PATH_IMAGE119
和
Figure 104711DEST_PATH_IMAGE121
的尺寸分别变形为
Figure 379834DEST_PATH_IMAGE122
、
Figure 757726DEST_PATH_IMAGE123
和
Figure 827313DEST_PATH_IMAGE062
，其中
Figure 25076DEST_PATH_IMAGE063
。
（3-2）特征图
Figure 838311DEST_PATH_IMAGE118
和
Figure 70710DEST_PATH_IMAGE119
通过矩阵乘法得到空间位置关系矩阵
Figure 311198DEST_PATH_IMAGE066
。矩阵
Figure 261837DEST_PATH_IMAGE124
中的元素表示了位置点之间的关系。如图3所示，关系矩阵
Figure 613183DEST_PATH_IMAGE124
被均匀地划分为四个小块，其中矩阵
Figure 700088DEST_PATH_IMAGE124
的左上角
Figure 377057DEST_PATH_IMAGE125
和右下角
Figure 549413DEST_PATH_IMAGE069
部分中的位置点分别属于上半车身和下半车身。而右上角
Figure 704450DEST_PATH_IMAGE126
和左下角
Figure 645862DEST_PATH_IMAGE127
部分中既有属于上半车身的位置点又有属于下半车身的位置点。由于一个部件区域内的位置联系更紧密一些，因此为了获得更多车身部位之间的关联，引入一个掩码
Figure 228153DEST_PATH_IMAGE128
与
Figure 887804DEST_PATH_IMAGE124
进行点乘得到新的关系矩阵
Figure 846533DEST_PATH_IMAGE129
。其中，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1。
（3-3）矩阵
Figure 908030DEST_PATH_IMAGE129
经过
Figure 926801DEST_PATH_IMAGE130
函数之后和特征图
Figure 73749DEST_PATH_IMAGE121
进行矩阵相乘得到关系特征图
Figure 570589DEST_PATH_IMAGE131
，
Figure 223943DEST_PATH_IMAGE131
的上半部分特征
Figure 413616DEST_PATH_IMAGE082
考虑了大量的上半车身和下半车身间的关系，下半部分特征
Figure 47860DEST_PATH_IMAGE083
则考虑了大量的下半车身和上半车身间的关系。这两种位置成对关系是不同的、非对称性的。
Figure 348391DEST_PATH_IMAGE131
的计算公式如下：
Figure 118901DEST_PATH_IMAGE132
；
式中，“
Figure 479475DEST_PATH_IMAGE133
”是元素点乘符号、“
Figure 335436DEST_PATH_IMAGE134
”是矩阵乘法符号。
（3-4）最后将
Figure 174079DEST_PATH_IMAGE079
和原特征
Figure 64674DEST_PATH_IMAGE080
相加获得最终的特征
Figure 596150DEST_PATH_IMAGE135
，则该特征被划分后的两个局部块中既包含了部位本身的局部信息又引入了大量部位间的关系信息，从而更好地区分相应部位具有相似属性的不同身份的车辆。
本发明基于分组聚合注意力机制和局部关系模块实现，所述的分组聚合注意力机制是将特征图沿通道方向均匀划分为多个组，对每个组独立地进行特征增强，然后利用一种简单的聚合方式来实现跨组局部信息交互。对于特征增强，为了确定一个通道的重要性水平，本发明利用适当的不同全局关系来有效地推断通道的注意权重。其次，本发明对注意力图施加一个注意力增强约束，该约束可以自适应调整通道的权重值，从而进一步增强鉴别性特征并抑制噪声信息，进而提高网络识别同一车辆的能力；所述的局部关系模块旨在挖掘更多有价值的部位间关系以区分相应部位具有相似属性的不同身份的车辆。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。

Claims (7)

1.一种基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，包括以下步骤：
步骤1、采用Resnet50作为骨干网络，在res_conv4_1残差块之后，Resnet50骨干网络被划分为两个分支；
步骤2、移除两个分支中的res_conv5_1块的空间下采样操作；
步骤3、对于全局分支，将分组聚合注意力机制添加到res_conv5块后，以增强显著信息并抑制噪声信息，该全局分支用于学习有效的全局级特征；对于局部分支，将res_conv5块产生的特征图输入到局部关系模块中，以获得更具鉴别性的局部级特征；
步骤4、利用全局平均池化层将全局级特征和局部级特征池化到大小为2048×1×1的特征图，以用于训练中三元组损失的计算；
步骤5、通过降维模块将2048维特征降到256维特征，每个256维的特征输入到一个全连接层中，以用于训练中交叉熵损失的计算。
2.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，步骤5中，所述降维模块由一个1×1卷积和一个批量归一化层BN组成。
3.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，在测试阶段，所有被减少到256维的特征拼接到一起作为最终的特征表示。
4.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所述分组聚合注意力机制的完整架构为：
（2-1）特征图
Figure 670348DEST_PATH_IMAGE001
作为分组聚合注意力机制的输入，其中
Figure 312682DEST_PATH_IMAGE002
代表通道的数量，
Figure 57784DEST_PATH_IMAGE003
分别表示张量的高度和宽度；特征图
Figure 760161DEST_PATH_IMAGE004
首先输入到一个分组数为
Figure 590714DEST_PATH_IMAGE005
的1×1分组卷积中，然后将得到的特征图沿通道方向均匀划分为
Figure 505580DEST_PATH_IMAGE005
组，每组独立地输入到特征增强模块中，以得到强化后的特征图；
（2-2）对于特征增强模块，将特征图
Figure 370768DEST_PATH_IMAGE006
作为该模块的输入，其中
Figure 244046DEST_PATH_IMAGE007
；在特征增强模块中，特征图
Figure 561895DEST_PATH_IMAGE008
首先同时经过两个嵌入函数
Figure 280452DEST_PATH_IMAGE009
和
Figure 147DEST_PATH_IMAGE010
分别得到张量
Figure 44326DEST_PATH_IMAGE011
和
Figure 849471DEST_PATH_IMAGE012
；然后，将张量
Figure 637298DEST_PATH_IMAGE011
和
Figure 945920DEST_PATH_IMAGE012
的尺寸分别变形为
Figure 161001DEST_PATH_IMAGE013
和
Figure 922283DEST_PATH_IMAGE014
，为了获得由通道间关系组成的矩阵
Figure 513802DEST_PATH_IMAGE015
，将
Figure 676930DEST_PATH_IMAGE011
和
Figure 62912DEST_PATH_IMAGE012
进行矩阵乘法，
Figure 842649DEST_PATH_IMAGE016
的计算公式为
Figure 972279DEST_PATH_IMAGE017
，式中，“
Figure 255493DEST_PATH_IMAGE018
”为矩阵乘法符号；
（2-3）对矩阵
Figure 77955DEST_PATH_IMAGE016
进行关系融合操作，即对
Figure 79409DEST_PATH_IMAGE016
的每一行求均值，从而得到组内全局通道关系向量
Figure 478642DEST_PATH_IMAGE019
；对向量
Figure 881941DEST_PATH_IMAGE019
进行缩放点积操作，即将
Figure 875305DEST_PATH_IMAGE019
中的每个元素除以
Figure 832897DEST_PATH_IMAGE020
；向量
Figure 569909DEST_PATH_IMAGE019
中的第
Figure 827715DEST_PATH_IMAGE021
个元素的计算公式如下：
Figure 726401DEST_PATH_IMAGE022
；
（2-4）紧接着，向量
Figure 702447DEST_PATH_IMAGE023
通过一个全局关系交互操作得到一个新的通道向量
Figure 711991DEST_PATH_IMAGE024
；该全局关系交互操作通过一个卷积核大小为
Figure 824304DEST_PATH_IMAGE025
、边缘填充圈数为2的快速1D卷积来实现，其中
Figure 159470DEST_PATH_IMAGE025
作为一个超参数，代表局部跨关系交互的覆盖率；
（2-5）然后通过一个
Figure 357233DEST_PATH_IMAGE026
函数来得到通道注意力图
Figure 436048DEST_PATH_IMAGE027
；设计一个注意力增强约束
Figure 668446DEST_PATH_IMAGE028
，通过让注意力增强约束变大来进一步增强有用信息并削弱背景噪声信息，该约束的计算表达式如下：
Figure 643355DEST_PATH_IMAGE029
；
其中
Figure 593994DEST_PATH_IMAGE030
代表了
Figure 210920DEST_PATH_IMAGE031
的第
Figure 32245DEST_PATH_IMAGE032
个元素；
（2-6）最后将注意力图
Figure 443635DEST_PATH_IMAGE033
的尺寸变形为
Figure 615990DEST_PATH_IMAGE034
，并和输入特征
Figure 36608DEST_PATH_IMAGE035
进行元素点乘操作，得到最终的输出特征
Figure 712439DEST_PATH_IMAGE036
，表达式如下：
Figure 560310DEST_PATH_IMAGE037
；
式中，“
Figure 219961DEST_PATH_IMAGE038
”为元素点乘符号；
（2-7）将
Figure 178690DEST_PATH_IMAGE039
、
Figure 240187DEST_PATH_IMAGE040
、…、
Figure 996309DEST_PATH_IMAGE041
在通道维度进行拼接，得到一个尺寸为
Figure 877677DEST_PATH_IMAGE042
的特征图
Figure 640097DEST_PATH_IMAGE043
；最后，将
Figure 556100DEST_PATH_IMAGE043
经过聚合函数
Figure 745773DEST_PATH_IMAGE044
实现组间全局通道信息交互并得到最终的输出特征图
Figure 380017DEST_PATH_IMAGE045
，其中
Figure 414969DEST_PATH_IMAGE044
由一个1×1卷积、一个批量归一化和一个ReLU激活函数组成。
5.根据权利要求4所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所用到的
Figure 185479DEST_PATH_IMAGE046
个特征增强模块共享嵌入函数
Figure 280474DEST_PATH_IMAGE047
和
Figure 136434DEST_PATH_IMAGE048
中的1×1卷积。
6.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所述局部关系模块用于挖掘部位之间的联系，其结构为：
（3-1）特征图
Figure 240657DEST_PATH_IMAGE049
作为该模块的输入，经过三个1×1分组卷积得到三个特征图
Figure 865673DEST_PATH_IMAGE050
且
Figure 397148DEST_PATH_IMAGE051
和
Figure 740405DEST_PATH_IMAGE052
的通道数被降维至
Figure 382739DEST_PATH_IMAGE053
以减少计算复杂度；然后将
Figure 127841DEST_PATH_IMAGE054
、
Figure 830218DEST_PATH_IMAGE052
和
Figure 395191DEST_PATH_IMAGE055
的尺寸分别变形为
Figure 841216DEST_PATH_IMAGE056
、
Figure 706404DEST_PATH_IMAGE057
和
Figure 314103DEST_PATH_IMAGE058
，其中
Figure 366373DEST_PATH_IMAGE059
；
（3-2）特征图
Figure 616088DEST_PATH_IMAGE051
和
Figure 335783DEST_PATH_IMAGE052
通过矩阵乘法得到空间位置关系矩阵
Figure 114383DEST_PATH_IMAGE060
，矩阵
Figure 651019DEST_PATH_IMAGE061
中的元素表示了位置点之间的关系；引入掩码
Figure 438846DEST_PATH_IMAGE062
与
Figure 13047DEST_PATH_IMAGE061
进行点乘得到新的关系矩阵
Figure 962549DEST_PATH_IMAGE063
，该掩码的左上角和右下角部分的值都为0，剩余两部分的值都为1；
（3-3）矩阵
Figure 254990DEST_PATH_IMAGE063
经过
Figure 580929DEST_PATH_IMAGE064
函数之后和特征图
Figure 275215DEST_PATH_IMAGE065
进行矩阵相乘得到关系特征图
Figure 661197DEST_PATH_IMAGE066
，
Figure 909776DEST_PATH_IMAGE066
的计算公式如下：
Figure 39406DEST_PATH_IMAGE067
；
式中，“
Figure 588199DEST_PATH_IMAGE068
”是元素点乘符号、“
Figure 879503DEST_PATH_IMAGE038
”是矩阵乘法符号；
（3-4）最后将
Figure 880957DEST_PATH_IMAGE069
和原特征
Figure 814278DEST_PATH_IMAGE070
相加获得最终的特征
Figure 217578DEST_PATH_IMAGE071
。
7.根据权利要求6所述的基于分组聚合注意力和局部关系的车辆重识别方法，其特征在于，所述
Figure 945362DEST_PATH_IMAGE072
的上半部分特征为
Figure 434112DEST_PATH_IMAGE073
，下半部分特征为
Figure 171124DEST_PATH_IMAGE074
。
CN202210776264.0A 2022-07-04 2022-07-04 一种基于分组聚合注意力和局部关系的车辆重识别方法 Active CN114821249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776264.0A CN114821249B (zh) 2022-07-04 2022-07-04 一种基于分组聚合注意力和局部关系的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776264.0A CN114821249B (zh) 2022-07-04 2022-07-04 一种基于分组聚合注意力和局部关系的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN114821249A true CN114821249A (zh) 2022-07-29
CN114821249B CN114821249B (zh) 2022-09-20

Family

ID=82523044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776264.0A Active CN114821249B (zh) 2022-07-04 2022-07-04 一种基于分组聚合注意力和局部关系的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN114821249B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311105A (zh) * 2023-05-15 2023-06-23 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116644788A (zh) * 2023-07-27 2023-08-25 山东交通学院 一种用于车辆重识别的局部细化和全局强化网络
CN116665019A (zh) * 2023-07-31 2023-08-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116704453A (zh) * 2023-08-08 2023-09-05 山东交通学院 用于车辆重识别的自适应划分和先验强化部位学习网络

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902658A (zh) * 2019-03-15 2019-06-18 百度在线网络技术（北京）有限公司 行人特征识别方法、装置、计算机设备和存储介质
CN112801235A (zh) * 2021-04-12 2021-05-14 四川大学 模型训练方法、预测方法、装置、重识别模型及电子设备
WO2021120157A1 (en) * 2019-12-20 2021-06-24 Intel Corporation Light weight multi-branch and multi-scale person re-identification
CN113792686A (zh) * 2021-09-17 2021-12-14 中南大学 基于视觉表征跨传感器不变性的车辆重识别方法
CN114495170A (zh) * 2022-01-27 2022-05-13 重庆大学 一种基于局部抑制自注意力的行人重识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902658A (zh) * 2019-03-15 2019-06-18 百度在线网络技术（北京）有限公司 行人特征识别方法、装置、计算机设备和存储介质
WO2021120157A1 (en) * 2019-12-20 2021-06-24 Intel Corporation Light weight multi-branch and multi-scale person re-identification
CN112801235A (zh) * 2021-04-12 2021-05-14 四川大学 模型训练方法、预测方法、装置、重识别模型及电子设备
CN113792686A (zh) * 2021-09-17 2021-12-14 中南大学 基于视觉表征跨传感器不变性的车辆重识别方法
CN114495170A (zh) * 2022-01-27 2022-05-13 重庆大学 一种基于局部抑制自注意力的行人重识别方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311105A (zh) * 2023-05-15 2023-06-23 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116311105B (zh) * 2023-05-15 2023-09-19 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116644788A (zh) * 2023-07-27 2023-08-25 山东交通学院 一种用于车辆重识别的局部细化和全局强化网络
CN116644788B (zh) * 2023-07-27 2023-10-03 山东交通学院 一种用于车辆重识别的局部细化和全局强化网络
CN116665019A (zh) * 2023-07-31 2023-08-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116665019B (zh) * 2023-07-31 2023-09-29 山东交通学院 一种用于车辆重识别的多轴交互多维度注意力网络
CN116704453A (zh) * 2023-08-08 2023-09-05 山东交通学院 用于车辆重识别的自适应划分和先验强化部位学习网络
CN116704453B (zh) * 2023-08-08 2023-11-28 山东交通学院 一种采用自适应划分和先验强化部位学习网络进行车辆重识别的方法

Also Published As

Publication number Publication date
CN114821249B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN114821249A (zh) 一种基于分组聚合注意力和局部关系的车辆重识别方法
Kim et al. San: Learning relationship between convolutional features for multi-scale object detection
CN111310773A (zh) 一种高效的卷积神经网络的车牌定位方法
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN111738303B (zh) 一种基于层次学习的长尾分布图像识别方法
CN109753959B (zh) 基于自适应多尺度特征融合的路面交通标志检测方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN116883726B (zh) 基于多分支与改进的Dense2Net的高光谱图像分类方法及系统
CN112861605A (zh) 基于时空混合特征的多人步态识别方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN118134952B (zh) 一种基于特征交互的医学图像分割方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN114913379A (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN114332544A (zh) 一种基于图像块评分的细粒度图像分类方法和装置
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
CN117333459A (zh) 基于双阶注意力和边缘监督的图像篡改检测方法及系统
CN110188864B (zh) 基于分布表示和分布度量的小样本学习方法
Ge et al. WGI-Net: A weighted group integration network for RGB-D salient object detection
CN117649581A (zh) 一种多任务边缘增强的图像伪造检测方法及装置
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN116645562A (zh) 一种细粒度伪造图像的检测方法及其模型训练方法
CN105718858A (zh) 一种基于正负广义最大池化的行人识别方法
CN109902720A (zh) 基于子空间分解进行深度特征估计的图像分类识别方法
CN113392786B (zh) 基于归一化和特征增强的跨域行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant