CN114005078B - 一种基于双关系注意力机制的车辆重识别方法 - Google Patents

一种基于双关系注意力机制的车辆重识别方法 Download PDF

Info

Publication number
CN114005078B
CN114005078B CN202111654128.6A CN202111654128A CN114005078B CN 114005078 B CN114005078 B CN 114005078B CN 202111654128 A CN202111654128 A CN 202111654128A CN 114005078 B CN114005078 B CN 114005078B
Authority
CN
China
Prior art keywords
attention
branch
dimensional
relation
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111654128.6A
Other languages
English (en)
Other versions
CN114005078A (zh
Inventor
王成
郑艳丽
姜刚武
田鑫
庞希愚
李曦
孙珂
郑美凤
周厚仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202111654128.6A priority Critical patent/CN114005078B/zh
Publication of CN114005078A publication Critical patent/CN114005078A/zh
Application granted granted Critical
Publication of CN114005078B publication Critical patent/CN114005078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理、计算机视觉及模式识别技术领域，具体涉及一种基于双关系注意力机制的车辆重识别方法，该方法利用双关系注意力机制来获取用于车辆重识别的大量显著性信息。所述方法主要由两部分组成：双关系注意力机制和非相似性约束。所述的双关系注意力机制是通过“关系”来构建特征图上点的三维注意力，即同时构建某一点在空间维度和通道维度的重要性，来全面衡量该点的重要性；非相似性约束使得网络不同的分支关注不同的鉴别性信息，以捕获丰富的具有可区分性的显著性信息，从而提高车辆重识别任务的效率和准确度。

Description

一种基于双关系注意力机制的车辆重识别方法
技术领域
本发明属于图像处理、计算机视觉及模式识别技术领域，具体涉及一种用于车辆信息重识别的方法。
背景技术
车辆重识别作为智能交通和城市监控系统的重要组成部分，近年来受到越来越多的关注。车辆重识别任务目的是从多个不同位置的摄像机获取图像或者视频序列，从中检索出特定的车辆，即给定一个查询车辆的图片，能够从图库中找到由不同的摄像机从不同方向不同场景下拍摄的车辆进行匹配。
由于在城市监控和智能交通中的广泛应用，车辆重识别在过去的几年中得到了迅速的关注。其中，车辆重识别的最新进展来自三个方面：1）利用额外的属性信息提高识别能力；2）利用深度学习的模型提取有用的车辆特征；3）将车辆重识别视为一个度量学习问题，设计一系列度量损失用于深度特征嵌入，以达到更高的性能。
由于背景环境杂乱、遮挡、分辨率低、视角变化等因素影响，使得车辆重识别成为一个非常具有挑战性的任务。其中，不同的车辆在相同视角下的图像可能看起来非常相似，尤其是同一或不同制造商生产的汽车可能有相似的颜色和形状。因此，为了区分极其相似的车辆图像，需要捕获大量具有可区分性的显著的信息，以提高车辆重识别任务的效率和准确度。而注意力机制能够捕捉用于车辆识别的关键性信息并且排除掉干扰性信息，但现有注意力机制大多是利用特征节点本身的信息来衡量其重要性，或仅考虑了特征节点在某一维度（通道、空间）的重要性，具有一定的局限性。
发明内容
为了解决上述现有技术存在的问题，本发明的目的在于提供一种基于双关系注意力机制的车辆重识别方法，利用点与点之间的“关系”来衡量该特征节点的重要性，能够进一步提升车辆重识别性能。
为了达到上述目的，本发明采用如下的技术方案：
一种基于双关系注意力机制的车辆重识别方法，包括如下步骤：
步骤1、使用ResNet-50作为主干网络，并把ResNet-50分裂为三个分支，即全局分支G1、全局分支G2和全局分支G3，图像输入到主干网络中，通过三个分支分别提取车辆的不同特征；
步骤2、G1分支保留ResNet-50原有的特征结构，提取全局的特征表示，如图1所示；G2分支和G3分支将经过卷积后的最终特征图送入双关系注意力模块DRAM中，提取互补的显著信息；
步骤3、在G2分支和G3分支中，经所有卷积层后得到的最终特征图
Figure 359372DEST_PATH_IMAGE001
被送入双关系注意力模块；该模块能够同时构建某一点在空间和通道维度的重要性，即通过通道间的关系构建该点在通道维度的重要性，并通过空间位置与位置之间的关系构建该点在空间维度的重要性，并进一步建模该点在三维空间的注意力。
步骤4、通过G2分支和G3分支中注意力图间的非相似性约束，强制G2分支和G3分支提取不同的显著性信息；计算由双关系注意力模块得到的两个注意力图的夹角余弦，使用夹角余弦作为两个注意力图的非相似性约束，将非相似性约束作为损失函数对网络进行训练，缩小夹角余弦的值，强制缩小两个注意力图之间的相似度，以使G2分支和G3分支提取不相似的特征；
步骤5、对网络进行训练时，除采用非相似性约束外，还采用交叉熵损失和三元组损失作为目标函数对整体网络进行训练，得到基于双关系注意力机制的车辆重识别的模型。
进一步的，所述步骤1的具体实现方法为：以ResNet-50卷积神经网络架构作为主干网络，并且将ResNet-50的后半部分分裂为三个分支，ResNet-50的后半部分是指ResNet-50第4层的第2块及之后的部分，ResNet-50的前半部分是指ResNet-50第4层的第1块及之前的部分。将图像缩放至统一尺寸256×256，输入到主干网络中，通过三个分支（G1、G2和G3）分别提取车辆的不同特征。
与现有技术相比，本发明取得的技术效果为：本发明利用双关系注意力机制（DRAM，Dual-Relational Attention Module）来获取车辆的细粒度的显著性信息。本发明所述方法主要由两部分组成：双关系注意力机制和非相似性约束。所述的双关系注意力机制是通过“关系”来构建某一点的三维注意力，即同时构建该点在空间和通道维度的重要性，来全面衡量该点的重要性；非相似性约束是计算经过两注意力模块之后得到的注意力掩码之间的相似度，来提取不相似的特征，能够优化类间相似度，获得良好的性能，提高了车辆重识别任务的效率和准确度。
附图说明
图1是本发明的车辆重识别方法原理图；
图2是本发明双关系注意力模块的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合说明书附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例：
如图1所示，本实施例涉及的一种基于双关系注意力机制的车辆重识别方法，包括以下步骤：
步骤1、使用ResNet-50作为主干网络，并把ResNet-50分裂为三个分支（全局分支G1、全局分支G2和全局分支G3），图像输入到主干网络中，通过三个分支分别提取车辆的不同特征。
步骤1的具体方法为：如图1所示，以ResNet-50卷积神经网络架构作为主干网络，并且将ResNet-50的后半部分分裂为三个分支，ResNet-50的后半部分是指ResNet-50第4层的第2块及之后的部分，ResNet-50的前半部分是指ResNet-50第4层的第1块及之前的部分。将图像缩放至统一尺寸256×256，输入到主干网络中，通过三个分支（G1、G2和G3）分别提取车辆的不同特征。
步骤2、G1分支保留ResNet-50原有的特征结构，提取全局的特征表示，如图1所示；G2和G3分支将经过卷积后的最终特征图送入双关系注意力模块DRAM中，提取大量互补的显著信息。
步骤2的具体方法为：在G1中，res_conv5_1块使用步长为2的下采样卷积层，res_conv5_1是ResNet-50的第5层的第1个块，然后对最后相应输出的特征图进行全局平均池化操作，得到2048维特征ZG1，并使用具有BN（BatchNormal）层和ReLU函数的1*1卷积将2048维特征ZG1降到256维特征RG1，从而提供紧凑的特征表示；在G2和G3分支中res_conv5_1块中不使用下采样操作，能够增大感受野，为后面的注意力机制提供更大的空间视图。经所有卷积层后的最终特征图记为
Figure 353873DEST_PATH_IMAGE002
，其中，
Figure 635949DEST_PATH_IMAGE003
和
Figure 602768DEST_PATH_IMAGE004
分别是张量的高度和宽度，
Figure 374415DEST_PATH_IMAGE005
是通道数，在本实施例中，
Figure 793895DEST_PATH_IMAGE003
为16，
Figure 941980DEST_PATH_IMAGE004
为16，
Figure 746994DEST_PATH_IMAGE005
为2048；
Figure 158383DEST_PATH_IMAGE001
被送入到双关系注意力模块DRAM中；对经过注意力模块后得到的特征图进行全局平均池化操作，使用具有BN（BatchNormal）层和ReLU函数的1*1卷积将2048维特征减少到256维特征，以捕获大量显著的鉴别性信息。
步骤3、在G2和G3分支中，经所有卷积层后得到的最终特征图
Figure 861897DEST_PATH_IMAGE001
被送入双关系注意力模块；该模块能够同时构建某一点在空间和通道维度的重要性，即通过通道间的关系构建该点在通道维度的重要性，并通过空间位置与位置之间的关系构建该点在空间维度的重要性，并进一步建模该点在三维空间的注意力。双关系注意力模块的结构图如图2所示，
Figure 485777DEST_PATH_IMAGE001
是双关系注意力模块的输入；
Figure 223926DEST_PATH_IMAGE006
和
Figure 275058DEST_PATH_IMAGE007
分别是张量的空间高度和宽度；
Figure 465868DEST_PATH_IMAGE005
指的是通道数，其中
Figure 408285DEST_PATH_IMAGE008
和
Figure 938624DEST_PATH_IMAGE009
都是1*1卷积（带有BN层和ReLU函数）；
Figure 488554DEST_PATH_IMAGE010
等于
Figure 104343DEST_PATH_IMAGE011
；“
Figure 132342DEST_PATH_IMAGE012
”表示元素和，“
Figure 517187DEST_PATH_IMAGE012
”表示矩阵乘法，“
Figure 238018DEST_PATH_IMAGE013
”表示元素乘法。
步骤3的具体方法为：
（1）将特征图
Figure 853020DEST_PATH_IMAGE014
经过一个
Figure 622393DEST_PATH_IMAGE015
函数及矩阵乘操作构建特征图上所有通道与通道之间的关系；采用1*1卷积
Figure 924061DEST_PATH_IMAGE016
和
Figure 753477DEST_PATH_IMAGE017
将通道
Figure 406175DEST_PATH_IMAGE005
减少至
Figure 979239DEST_PATH_IMAGE018
（本实施例中，
Figure 587944DEST_PATH_IMAGE019
），并分别将得到的张量重塑为
Figure 650578DEST_PATH_IMAGE020
和
Figure 462676DEST_PATH_IMAGE021
，得到两个形状为
Figure 901748DEST_PATH_IMAGE020
和
Figure 115691DEST_PATH_IMAGE021
的矩阵；然后对这两个矩阵做乘法运算，得到
Figure 349227DEST_PATH_IMAGE022
的矩阵，该矩阵表示了所有通道与通道之间的关系。
（2）利用通道与通道之间的关系，构建特征图上的点在通道维度上的重要性；将步骤（1）得到的
Figure 914200DEST_PATH_IMAGE022
矩阵重塑成一个关系向量
Figure 812755DEST_PATH_IMAGE023
，其中
Figure 209101DEST_PATH_IMAGE024
。接着使用一个1*1的卷积
Figure 551221DEST_PATH_IMAGE025
将该向量的通道维数从
Figure 400228DEST_PATH_IMAGE026
恢复至
Figure 853206DEST_PATH_IMAGE027
，其中
Figure 307321DEST_PATH_IMAGE028
，得到
Figure 882659DEST_PATH_IMAGE029
的向量
Figure 405913DEST_PATH_IMAGE030
，向量
Figure 724899DEST_PATH_IMAGE030
的计算公式如下：
Figure 767941DEST_PATH_IMAGE031
；
利用一个Sigmoid函数来归一化向量
Figure 514181DEST_PATH_IMAGE030
，得到通道维度的注意力图
Figure 275463DEST_PATH_IMAGE032
，注意力图
Figure 335823DEST_PATH_IMAGE032
的计算公式如下：
Figure 295689DEST_PATH_IMAGE033
；
（3）构建特征图上的点在通道维度上的重要性的同时，对其在空间维度上的重要程度建模。具体来说，采用1*1卷积
Figure 402710DEST_PATH_IMAGE034
和
Figure 713605DEST_PATH_IMAGE035
将通道
Figure 312077DEST_PATH_IMAGE036
减少至
Figure 126449DEST_PATH_IMAGE037
（本实施例中，
Figure 683332DEST_PATH_IMAGE038
），并分别将得到的张量重塑为
Figure 153628DEST_PATH_IMAGE039
和
Figure 352528DEST_PATH_IMAGE040
。接着，对这两个矩阵做乘法运算，得到
Figure 473937DEST_PATH_IMAGE041
的矩阵，该矩阵表示了所有位置与位置之间的关系。
（4）将步骤（3）得到的大小为
Figure 998459DEST_PATH_IMAGE042
的位置关系矩阵重塑为
Figure 690471DEST_PATH_IMAGE043
，得到一个三维张量；为了便于学习某一特征点在三维空间上的重要性和减少计算的复杂度，通过1*1卷积
Figure 161904DEST_PATH_IMAGE009
将张量
Figure 950869DEST_PATH_IMAGE044
变为
Figure 318396DEST_PATH_IMAGE045
，得到一个降维后的三维位置关系张量
Figure 825601DEST_PATH_IMAGE046
，张量
Figure 84413DEST_PATH_IMAGE046
的计算公式如下：
Figure 665567DEST_PATH_IMAGE047
；
三维位置关系张量
Figure 531891DEST_PATH_IMAGE046
的通道数与注意力图
Figure 198496DEST_PATH_IMAGE048
的维数相等。
（5）利用通道维度的注意力图
Figure 11731DEST_PATH_IMAGE048
和三维位置关系张量
Figure 775288DEST_PATH_IMAGE046
计算特征图上点的注意力权重；将注意力图
Figure 733886DEST_PATH_IMAGE048
与三维张量
Figure 215683DEST_PATH_IMAGE046
对应元素相乘，然后利用1*1卷积
Figure 301450DEST_PATH_IMAGE049
将通道数由
Figure 919513DEST_PATH_IMAGE050
恢复至
Figure 799745DEST_PATH_IMAGE051
，并且经过一个Sigmoid函数，得到最终的三维注意力图
Figure 503259DEST_PATH_IMAGE052
，三维注意力图
Figure 392717DEST_PATH_IMAGE053
的计算公式如下：
Figure 338324DEST_PATH_IMAGE054
；
其中，“
Figure 717353DEST_PATH_IMAGE055
”表示矩阵对应位置的元素相乘，
Figure 111425DEST_PATH_IMAGE049
为具有BN（BatchNormal）层和ReLU函数的1*1卷积；需要说明的是，本发明将
Figure 538996DEST_PATH_IMAGE030
归一化后的值与
Figure 334913DEST_PATH_IMAGE046
直接相乘，这样可以将
Figure 884843DEST_PATH_IMAGE030
较大的数值转换成较小的数值，以避免增加学习的难度；
（6）三维空间注意力图
Figure 484321DEST_PATH_IMAGE052
与原始特征图
Figure 777899DEST_PATH_IMAGE056
对应位置元素相乘，两者相乘之后再一次与原始特征图
Figure 162744DEST_PATH_IMAGE057
相加，得到双关系注意力模块DRAM的输出特征图
Figure 86838DEST_PATH_IMAGE058
，特征
Figure 252240DEST_PATH_IMAGE058
的计算公式如下：
Figure 21613DEST_PATH_IMAGE059
；
“
Figure 323281DEST_PATH_IMAGE055
”表示矩阵对应位置的元素相乘，为了使最后得到的特征能够保留原始特征，加入了残差操作，得到最终特征
Figure 667544DEST_PATH_IMAGE058
。
步骤4、通过G2和G3分支中注意力图间的非相似性约束，强制G2和G3分支提取不同的显著性信息；计算由双关系注意力模块得到的两个注意力图的夹角余弦，使用夹角余弦作为两个注意力图的非相似性约束，将非相似性约束作为损失函数对网络进行训练，让夹角余弦的值尽可能地小，强制两个注意力图之间的相似度尽可能小，以让G2和G3分支提取不相似的特征。
所述相似度计算公式如下：
Figure 992346DEST_PATH_IMAGE060
；
其中，
Figure 627726DEST_PATH_IMAGE061
是经过G2分支得到的注意力图，
Figure 252743DEST_PATH_IMAGE062
是经过G3分支得到注意力图，“
Figure 253060DEST_PATH_IMAGE063
”表示向量的内积运算，这里表示
Figure 580005DEST_PATH_IMAGE061
和
Figure 753497DEST_PATH_IMAGE062
相应位置元素相乘求和；通过非相似性约束，G2分支和G3分支可以捕获大量互补且不同的显著性信息，从而提高车辆重识别任务的性能。
步骤5、对网络进行训练时，除了采用非相似性约束外，还采用交叉熵损失和三元组损失作为目标函数对整体网络进行训练。
步骤5的具体方法为：对各分支最后的全连接层得到的特征计算交叉熵损失函数；通过锚样本，正样本和负样本来计算三元组损失函数；批处理的大小设置为64，（P=16，K=4），即在每一小批量中随机抽取P辆车，从训练集中随机抽取每辆车的K个图像；网络训练完成之后，使用平均精度（MAP）、Rank-1和Rank-5衡量其车辆再识别性能。
（1）通过经全局平均池化后进行压缩后的特征（
Figure 967441DEST_PATH_IMAGE064
）计算三元组损失；
（2）三元组损失计算公式如下：
Figure 404238DEST_PATH_IMAGE065
；
式中：
Figure 765950DEST_PATH_IMAGE066
分别表示锚样本、正样本和负样本的特征向量；
Figure 680816DEST_PATH_IMAGE067
是间隔阈值，表示用来约束样本对间距离的阈值；
（3）交叉熵损失计算公式如下：
Figure 77162DEST_PATH_IMAGE068
；
其中
Figure 671479DEST_PATH_IMAGE069
表示类的数量，
Figure 458170DEST_PATH_IMAGE070
是ID的真实标签，
Figure 239044DEST_PATH_IMAGE071
是类
Figure 427580DEST_PATH_IMAGE072
的ID预测概率。
本发明在两条加了注意力的分支间加了一个非相似性约束，该约束旨在使两条分支能够提取到多样化的特征。
本发明基于一个事物的重要性可以由该事物与其他事物的关系来度量，以此延伸到通过“关系“来构建某一点三维注意力，即同时构建特征图上的点在空间维度和通道维度的重要性，以全面衡量该点的重要性。具体来说，本发明即通过通道间的关系构建该点在通道维度的重要性，并通过空间位置与位置之间的关系构建该点在空间维度的重要性，进而建模该点在三维空间的注意力，最终得到了一个双关系注意力模块。同时，本发明还是一个带有三条分支的网络，所提出的非相似性约束能强制三条分支提取到大量的有区别性的特征，以捕获大量具有可区分性的显著的信息，提高车辆重识别任务的效率和准确度。

Claims (4)

1.一种基于双关系注意力机制的车辆重识别方法，其特征在于，包括以下步骤：
步骤1、以ResNet-50卷积神经网络架构作为主干网络，并且将ResNet-50的后半部分分裂为三个分支，即全局分支G1、全局分支G2和全局分支G3，将图像缩放至统一尺寸256×256，输入到主干网络中，通过三个分支G1、G2和G3分别提取车辆的不同特征；
步骤2、G1分支保留ResNet-50原有的特征结构，提取全局的特征表示；G2分支和G3分支将经过卷积后的最终特征图送入双关系注意力模块DRAM中，提取互补的显著信息；
步骤3、在G2分支和G3分支中，经所有卷积层后得到的最终特征图
Figure 283614DEST_PATH_IMAGE001
被送入双关系注意力模块，其中，
Figure 515137DEST_PATH_IMAGE002
和
Figure 184016DEST_PATH_IMAGE003
分别是张量的高度和宽度，
Figure 974117DEST_PATH_IMAGE004
是通道数；该模块能够同时构建某一点在空间和通道维度的重要性，即通过通道间的关系构建该点在通道维度的重要性，并通过空间位置与位置之间的关系构建该点在空间维度的重要性，并进一步建模该点在三维空间的注意力；具体实现方法，包括以下步骤：
（1）将特征图
Figure 994026DEST_PATH_IMAGE005
经过一个
Figure 262196DEST_PATH_IMAGE006
函数及矩阵乘操作构建特征图上所有通道与通道之间的关系；采用1*1卷积
Figure 51161DEST_PATH_IMAGE007
和
Figure 746584DEST_PATH_IMAGE008
将通道
Figure 253789DEST_PATH_IMAGE004
减少至
Figure 60071DEST_PATH_IMAGE009
，并分别将得到的张量重塑为
Figure 234700DEST_PATH_IMAGE010
和
Figure 835446DEST_PATH_IMAGE011
，得到两个形状为
Figure 829947DEST_PATH_IMAGE010
和
Figure 774392DEST_PATH_IMAGE012
的矩阵；然后对这两个矩阵做乘法运算，得到
Figure 537949DEST_PATH_IMAGE013
的矩阵，该矩阵表示了所有通道与通道之间的关系；
（2）利用通道与通道之间的关系，构建特征图上的点在通道维度上的重要性；将步骤（1）得到的
Figure 575175DEST_PATH_IMAGE013
矩阵重塑成一个关系向量
Figure 56972DEST_PATH_IMAGE014
，其中
Figure 470636DEST_PATH_IMAGE015
；接着使用一个1*1的卷积
Figure 88699DEST_PATH_IMAGE016
将该向量的通道维数从
Figure 562406DEST_PATH_IMAGE017
恢复至
Figure 265920DEST_PATH_IMAGE018
，其中
Figure 217695DEST_PATH_IMAGE019
，得到
Figure 955844DEST_PATH_IMAGE020
的向量
Figure 69293DEST_PATH_IMAGE021
，向量
Figure 27147DEST_PATH_IMAGE021
的计算公式如下：
Figure 517035DEST_PATH_IMAGE022
；
利用一个Sigmoid函数来归一化向量
Figure 375269DEST_PATH_IMAGE021
，得到通道维度的注意力图
Figure 925199DEST_PATH_IMAGE023
，注意力图
Figure 868884DEST_PATH_IMAGE023
的计算公式如下：
Figure 896883DEST_PATH_IMAGE024
；
（3）构建特征图上的点在通道维度上的重要性的同时，对其在空间维度上的重要程度建模；具体来说，采用1*1卷积
Figure 344045DEST_PATH_IMAGE025
和
Figure 64876DEST_PATH_IMAGE026
将通道
Figure 230279DEST_PATH_IMAGE027
减少至
Figure 61968DEST_PATH_IMAGE028
，并分别将得到的张量重塑为
Figure 363637DEST_PATH_IMAGE029
和
Figure 520949DEST_PATH_IMAGE030
；接着，对这两个矩阵做乘法运算，得到
Figure 672182DEST_PATH_IMAGE031
的矩阵，该矩阵表示了所有位置与位置之间的关系；
（4）将步骤（3）得到的大小为
Figure 41983DEST_PATH_IMAGE031
的位置关系矩阵重塑为
Figure 463737DEST_PATH_IMAGE032
，得到一个三维张量；通过1*1卷积
Figure 791951DEST_PATH_IMAGE033
将张量
Figure 666366DEST_PATH_IMAGE032
变为
Figure 105437DEST_PATH_IMAGE034
，得到一个降维后的三维位置关系张量
Figure 381698DEST_PATH_IMAGE035
，张量
Figure 615233DEST_PATH_IMAGE035
的计算公式如下：
Figure 976944DEST_PATH_IMAGE036
；
三维位置关系张量
Figure 688548DEST_PATH_IMAGE037
的通道数与注意力图
Figure 350474DEST_PATH_IMAGE038
的维数相等；
（5）利用通道维度的注意力图
Figure 754910DEST_PATH_IMAGE039
和三维位置关系张量
Figure 603918DEST_PATH_IMAGE037
计算特征图上点的注意力权重；将注意力图
Figure 119213DEST_PATH_IMAGE040
与三维张量
Figure 871530DEST_PATH_IMAGE041
对应元素相乘，然后利用1*1卷积
Figure 446868DEST_PATH_IMAGE042
将通道数由
Figure 783171DEST_PATH_IMAGE043
恢复至
Figure 102157DEST_PATH_IMAGE027
，并且经过一个Sigmoid函数，得到最终的三维注意力图
Figure 473096DEST_PATH_IMAGE044
，三维注意力图
Figure 219335DEST_PATH_IMAGE044
的计算公式如下：
Figure 777355DEST_PATH_IMAGE045
；
其中，
Figure 900032DEST_PATH_IMAGE046
表示矩阵对应位置的元素相乘，
Figure 859898DEST_PATH_IMAGE042
为具有BN层和ReLU函数的1*1卷积；
（6）三维空间注意力图
Figure 777038DEST_PATH_IMAGE044
与原始特征图
Figure 87934DEST_PATH_IMAGE047
对应位置元素相乘，两者相乘之后再一次与原始特征图
Figure 748722DEST_PATH_IMAGE047
相加，得到双关系注意力模块DRAM的输出特征图
Figure 828674DEST_PATH_IMAGE048
，特征
Figure 182295DEST_PATH_IMAGE048
的计算公式如下：
Figure 213442DEST_PATH_IMAGE049
，
其中，
Figure 412343DEST_PATH_IMAGE050
表示矩阵对应位置的元素相乘；
步骤4、通过G2分支和G3分支中注意力图间的非相似性约束，强制G2分支和G3分支提取不同的显著性信息；计算由双关系注意力模块得到的两个注意力图的夹角余弦，使用夹角余弦作为两个注意力图的非相似性约束，将非相似性约束作为损失函数对网络进行训练，缩小夹角余弦的值，强制缩小两个注意力图之间的相似度，以使G2分支和G3分支提取不相似的特征；
步骤5、对网络进行训练时，除了采用非相似性约束外，还采用交叉熵损失和三元组损失作为目标函数对整体网络进行训练。
2.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法，其特征在于，所述步骤2的具体实现方法为：在G1中，res_conv5_1块使用步长为2的下采样卷积层，然后对最后输出的特征图进行全局平均池化操作，得到2048维特征ZG1，并使用具有BN层和ReLU函数的1*1卷积将2048维特征ZG1降到256维特征RG1，从而提供紧凑的特征表示；在G2分支和G3分支中res_conv5_1块中不使用下采样操作，能够增大感受野，为注意力机制提供更大的空间视图；经所有卷积层后的最终特征图记为
Figure 346801DEST_PATH_IMAGE001
，其中，
Figure 871323DEST_PATH_IMAGE051
和
Figure 625652DEST_PATH_IMAGE052
分别是张量的高度和宽度，
Figure 159402DEST_PATH_IMAGE027
是通道数；
Figure 948366DEST_PATH_IMAGE001
被送入到双关系注意力模块DRAM中；对经过注意力模块后得到的特征图进行全局平均池化操作，使用具有BN层和ReLU函数的1*1卷积将2048维特征减少到256维特征。
3.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法，其特征在于，所述步骤4中，相似度计算公式如下：
Figure 378210DEST_PATH_IMAGE053
；
其中，
Figure 885415DEST_PATH_IMAGE054
是经过G2分支得到的注意力图，
Figure 691697DEST_PATH_IMAGE055
是经过G3分支得到注意力图。
4.根据权利要求1所述的基于双关系注意力机制的车辆重识别方法，其特征在于，所述步骤5的具体实现方法包括以下步骤：
（1）通过经全局平均池化后进行压缩后的特征计算三元组损失；
（2）三元组损失计算公式如下：
Figure 335168DEST_PATH_IMAGE056
；
式中：
Figure 201493DEST_PATH_IMAGE057
，
Figure 195994DEST_PATH_IMAGE058
，
Figure 805967DEST_PATH_IMAGE059
分别表示锚样本、正样本和负样本的特征向量；
Figure 70988DEST_PATH_IMAGE060
是间隔阈值，表示用来约束样本对间距离的阈值；
（3）交叉熵损失计算公式如下：
Figure 842635DEST_PATH_IMAGE061
；
其中
Figure 324432DEST_PATH_IMAGE062
表示类的数量，
Figure 472517DEST_PATH_IMAGE063
是ID的真实标签，
Figure 90580DEST_PATH_IMAGE064
是类
Figure 298707DEST_PATH_IMAGE065
的ID预测概率。
CN202111654128.6A 2021-12-31 2021-12-31 一种基于双关系注意力机制的车辆重识别方法 Active CN114005078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111654128.6A CN114005078B (zh) 2021-12-31 2021-12-31 一种基于双关系注意力机制的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111654128.6A CN114005078B (zh) 2021-12-31 2021-12-31 一种基于双关系注意力机制的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN114005078A CN114005078A (zh) 2022-02-01
CN114005078B true CN114005078B (zh) 2022-03-29

Family

ID=79932427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111654128.6A Active CN114005078B (zh) 2021-12-31 2021-12-31 一种基于双关系注意力机制的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN114005078B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663861B (zh) * 2022-05-17 2022-08-26 山东交通学院 一种基于维度解耦和非局部关系的车辆重识别方法
CN116311105B (zh) * 2023-05-15 2023-09-19 山东交通学院 一种基于样本间上下文指导网络的车辆重识别方法
CN116704453B (zh) * 2023-08-08 2023-11-28 山东交通学院 一种采用自适应划分和先验强化部位学习网络进行车辆重识别的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111860681A (zh) * 2020-07-30 2020-10-30 江南大学 一种双注意力机制下的深度网络困难样本生成方法及应用
CN113610144A (zh) * 2021-08-02 2021-11-05 合肥市正茂科技有限公司 一种基于多分支局部注意力网络的车辆分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051962B (zh) * 2019-12-26 2022-11-04 四川大学 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法
US11694319B2 (en) * 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN113642571B (zh) * 2021-07-12 2023-10-10 中国海洋大学 一种基于显著性注意力机制的细粒度图像识别方法
CN113822246B (zh) * 2021-11-22 2022-02-18 山东交通学院 一种基于全局参考注意力机制的车辆重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN110610129A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种基于自注意力机制的深度学习人脸识别系统及方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111860681A (zh) * 2020-07-30 2020-10-30 江南大学 一种双注意力机制下的深度网络困难样本生成方法及应用
CN113610144A (zh) * 2021-08-02 2021-11-05 合肥市正茂科技有限公司 一种基于多分支局部注意力网络的车辆分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Scene Segmentation With Dual Relation-Aware Attention Network;Jun Fu 等，;《IEEE Transactions on Neural Networks and Learning Systems》;20210630;第32卷(第6期);第2547-2560页 *
基于多分区注意力的行人重识别方法;薛丽霞 等，;《光电工程》;20201115;第47卷(第11期);第1-10页 *

Also Published As

Publication number Publication date
CN114005078A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN114005078B (zh) 一种基于双关系注意力机制的车辆重识别方法
Zhu et al. Vehicle re-identification using quadruple directional deep learning features
CN112084868B (zh) 一种基于注意力机制的遥感图像中目标计数方法
CN111582044B (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN112149504A (zh) 混合卷积的残差网络与注意力结合的动作视频识别方法
CN112419317B (zh) 一种基于自编码网络的视觉回环检测方法
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN111738363A (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN115578426A (zh) 一种基于稠密特征匹配的室内服务机器人重定位方法
CN113283525A (zh) 一种基于深度学习的图像匹配方法
CN116311105B (zh) 一种基于样本间上下文指导网络的车辆重识别方法
CN115019147A (zh) 一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型
CN115830637B (zh) 一种基于姿态估计和背景抑制的遮挡行人重识别方法
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN114663861B (zh) 一种基于维度解耦和非局部关系的车辆重识别方法
CN114663974A (zh) 一种融入位置感知注意力的行人重识别方法
CN114187569A (zh) 一种皮尔森系数矩阵与注意力融合的实时目标检测方法
Mo et al. Cascaded hierarchical context-aware vehicle re-identification
CN117994823B (zh) 一种基于掩码先验和分层聚合Transformer的遮挡行人重识别方法
CN116486107B (zh) 一种光流计算方法、系统、设备及介质
CN116486203B (zh) 一种基于孪生网络和在线模板更新的单目标跟踪方法
CN117523657A (zh) 一种基于RPE-I相对位置编码的RPEPose关节点检测模型
CN118172387A (zh) 一种基于注意力机制的轻量级多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant