CN113158739A - 基于注意力机制的孪生网络解决换装行人重识别的方法 - Google Patents
基于注意力机制的孪生网络解决换装行人重识别的方法 Download PDFInfo
- Publication number
- CN113158739A CN113158739A CN202110116022.4A CN202110116022A CN113158739A CN 113158739 A CN113158739 A CN 113158739A CN 202110116022 A CN202110116022 A CN 202110116022A CN 113158739 A CN113158739 A CN 113158739A
- Authority
- CN
- China
- Prior art keywords
- attention
- pedestrian
- features
- map
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007246 mechanism Effects 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 55
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000037237 body shape Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 210000004209 hair Anatomy 0.000 claims description 5
- 208000020442 loss of weight Diseases 0.000 claims description 4
- 238000012856 packing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101000611614 Homo sapiens Proline-rich protein PRCC Proteins 0.000 description 2
- 102100040829 Proline-rich protein PRCC Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的孪生网络解决换装行人重识别的方法，包括由视觉流和轮廓流组成的双流孪生网络结构，所述方法包括以下步骤：分别输入原始图和轮廓图；分别对原始图和轮廓图采用ResNet‑50作为骨干网络提取特征；将提取到的特征分别送入注意力分支和全局分支进行处理；将两个经过处理后的流的总输出进行特征融合，获得最后的输出。其中，整个过程受损失函数模块引导和约束。本发明优势在于整个网络架构是一个双流体系结构，同时利用视觉特征和轮廓特征，并利用视觉特征和轮廓特征相结合，去学习既具有区别性又鲁棒稳定的特征，在换装行人重识别领域中非常有价值。
Description
技术领域
本发明属于行人重识别研究技术领域，特别涉及基于注意力机制 的孪生网络解决换装行人重识别的方法。
技术背景
针对特定行人活动轨迹的跟踪、定位和检索是视频侦查中的关键 技术，是模式识别及计算机视觉中重要的研究课题，受到国内外学者 的广泛关注。分布式多摄像机监视系统的基本任务是把出现在不同位 置和时刻的行人关联起来，我们把这种跨摄像头下针对特定行人对象 的视频内容识别检索任务称为行人重识别，即判断某个摄像头下出现 的行人是否出现在其他摄像头下。随着智能视频监控的发展，行人重 识别已成为热门研究主题，近年来取得了长足的进步。研究人员提出 了许多方法来改善该技术的性能，包括通过度量学习，手工特征和深 度学习的应用。随着深层网络的发展和大规模行人重识别相关数据集 的出现，该领域的发展在技术上取得了令人瞩目的突破。但是，现有 的研究基于行人在不同摄像设备上穿着相同衣服的假设。此假设可能 无法在实际应用中使用。由于某些原因，一个人在不相交的监视设备 上移动时可能会改变其穿着。例如，一个人可能因为天气的突然变化 而穿衣服/脱衣服。随着时间流逝，人们显然会对衣服着装进行更换。
换装行人重识别，是行人重识别领域近两年新出现的一个分支研 究方向。与传统的行人重识别任务不同，换装行人重识别任务判断的 是换装后的行人是否出现在其他摄像头下。由于换装行人重识别任务 是近几年兴起的的研究方向，针对该问题的研究和方法并不多。Wan et al.通过强调人脸并将全局信息与部分特征相结合来解决。Li et al. 提出了一种利用生成对抗网络提取人的身体形态特征的方法。Qian et al.通过消除对模型对衣服信息的依赖性，并使用身体形状嵌入模块获 取人体结构性特征来解决。Yang etal.引入了基于学习的空间极坐标 变换层，以从极坐标空间中的人体轮廓中学习身体特征，从而解决问 题。
如果仅使用面部特征很弱，因为在许多情况下(例如低分辨率或 高曝光)面部可能会变得模糊，从而大大降低方法的使用性能。如果 仅使用轮廓图像提取特征，或者仅使用人体形状特征，尽管草图轮廓 特征和身体形状特征对于交叉衣服的变化是不变的，但遗漏了视觉颜 色信息，这会导致方法在传统行人重识别(行人衣着不变)的使用性 能较差。此外，原始视觉图像包含丰富的判别信息，完全忽略这些信 息也会对判别带来不好的影响，从而造成性能一定程度上的降低
发明内容
鉴于现有技术的缺陷，本发明旨在于提供一种基于注意力机制的 孪生网络解决换装行人重识别的方法，缓解行人重识别中行人换衣服 问题的同时，保持与行人身份相关的特征。
为了实现上述目的，本发明采用的技术方案如下：
基于注意力机制的孪生网络解决换装行人重识别的方法，包括由 视觉流和轮廓流组成的双流孪生网络结构，所述方法包括以下步骤：
S1分别输入原始图和轮廓图；
S2分别对原始图和轮廓图采用ResNet-50作为骨干网络提取特 征；
S3将提取到的特征分别送入注意力分支和全局分支进行处理；
S4将两个经过处理后的流的总输出进行特征融合，获得最后的 输出。
其中，整个过程受损失函数模块引导和约束。
需要说明的是，所述原始图的特征包括对象的其他身体部位，面 部和头发等的颜色信息特征；所述轮廓图的特征包括行人轮廓的身体 形状特征。
需要说明的是，所述注意力分支由位置注意力模块和通道注意力 模块组成，将把ResNet-50的第五层输出经过一个还原层的结果作为 输入，分别送进位置注意力模块和通道注意力模块；最后把位置注意 力模块和通道注意力模块的输出与输入进行特征融合作为整个注意 力分支的总输出。
需要说明的是，所述还原层由线性层，Batch Normalization层， ReLU激活层和dropout层构成。
需要说明的是，所述位置注意力模块包括：对提取特征后的原始 输入特征图A，经过由Batch Normalization层和ReLU激活层组成卷 积层得到特征图B,特征图C,特征图D。分别对特征图B,特征图C,特 征图D进行重组，然后对特征图B进行转置；再将特征图B和特征 图C进行一次矩阵乘法后，经过Softmax运算得到位置注意力图S， 将注意力图S与特征图D进行一次矩阵乘法得到基于注意力的权重 图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图 E。
需要说明的是，所述通道注意力模块包括：对提取特征后的原始 输入特征图A进行重组，然后对重组特征图A以及重组转置特征图A进 行一次矩阵乘法，经过Softmax运算得到注意力图X；将注意力图X与特 征图A进行一次矩阵乘法得到基于注意力的权重图，将权重图与原 始输入进行逐元素求和运算得到最终的输出特征图E1。
需要说明的是，所述损失函数模块包括交叉熵损失，换装一致性 约束以及权重的正则化损失；其中，交叉熵损失与标签平滑处理结合 起来作为一个损失函数，与引导网络学习更具区分性的特征。
需要说明的是，所述换装一致性约束为缩小换衣服时从同一行人 提取的特征之间的距离；其中，换装一致性约束计算如下：
其中，采用余弦约束来缩小跨衣服差异并学习跨衣服不变表示； f代表着行人i在穿着不同衣服A,衣服B时的特征；N代表的是类 的总数：
需要说明的是，还包括在整个网络对权重进行正交正则化，以减 少跨不同层的特征相关性并增强深度网络的表达能力；整个网络的总 损失函数由交叉熵损失，换装一致性约束损失和权重正则化损失组成， 表示如下：
L＝αLxent+βLO.W+γLCCIC
其中，α，β，γ在公式中作为超参数调整每个损失函数的权重和 影响。
本发明的有益效果在于：整个网络架构是一个双流体系结构，包 括视觉流和草图流，可同时利用视觉特征和轮廓特征。原始视觉输入 图像包含丰富的信息，用于提取针对不同行人的判别特征，而轮廓草 图中包含的轮廓信息对于更换的衣服是不变的。因此，将视觉特征和 轮廓特征相结合，去学习既具有区别性又鲁棒稳定的特征，在换装行 人重识别领域中非常有价值。此外，还将注意力模块整合到网络中， 使得网络更加关注包含与身份相关的特征的区域，这些特征随衣服的 变化而不变，而忽略了受衣服影响的特征。值得注意的是，本发明引 入了位置注意力模块和通道注意力模块的注意力机制来学习广泛的注意力信息。最后，提出了一种新颖的换装一致性约束，以缩小穿着 不同衣服的行人特征之间的差异；同时，实验结果证明，该方法可有 效改善换装行人重识别模型的性能，并且优于最新方法。
附图说明
图1为本发明方法的网络结构图；
图2为本发明注意力分支的框架图；
图3为图2中位置注意力模块的结构示意图；
图4为图2中通道注意力模块的结构示意图；
图5为本发明实际应用时的分析参考图。
具体实施例
以下将结合附图对本发明作进一步的描述，需要说明的是，本实 施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程， 但本发明的保护范围并不限于本实施例。
如图1所示，本发明为基于注意力机制的孪生网络解决换装行人 重识别的方法，包括由视觉流和轮廓流组成的双流孪生网络结构，所 述方法包括以下步骤：
S1分别输入原始图和轮廓图；
S2分别对原始图和轮廓图采用ResNet-50作为骨干网络提取特 征；
S3将提取到的特征分别送入注意力分支和全局分支进行处理；
S4将两个经过处理后的流的总输出进行特征融合，获得最后的 输出。
其中，整个过程受损失函数模块引导和约束。
需要说明的是，所述原始图的特征包括对象的其他身体部位，面 部和头发等的颜色信息特征；所述轮廓图的特征包括行人轮廓的身体 形状特征。
需要说明的是，所述注意力分支由位置注意力模块和通道注意力 模块组成，将把ResNet-50的第五层输出经过一个还原层的结果作为 输入，分别送进位置注意力模块和通道注意力模块；最后把位置注意 力模块和通道注意力模块的输出与输入进行特征融合作为整个注意 力分支的总输出。
需要说明的是，所述还原层由线性层，Batch Normalization层， ReLU激活层和dropout层构成。
需要说明的是，所述位置注意力模块包括：对提取特征后的原始 输入特征图A，经过由Batch Normalization层和ReLU激活层组成卷 积层得到特征图B,特征图C,特征图D。分别对特征图B,特征图C,特 征图D进行重组，然后对特征图B进行转置；再将特征图B和特征 图C进行一次矩阵乘法后，经过Softmax运算得到位置注意力图S， 将注意力图S与特征图D进行一次矩阵乘法得到基于注意力的权重 图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图 E。
需要说明的是，所述通道注意力模块包括：对提取特征后的原始 输入特征图A进行重组，然后对重组特征图A以及重组转置特征图 A进行一次矩阵乘法，经过Softmax运算得到注意力图X；将注意力 图X与特征图A进行一次矩阵乘法得到基于注意力的权重图，将权 重图与原始输入进行逐元素求和运算得到最终的输出特征图E1。
需要说明的是，所述损失函数模块包括交叉熵损失，换装一致性 约束以及权重的正则化损失；其中，交叉熵损失与标签平滑处理结合 起来作为一个损失函数，与引导网络学习更具区分性的特征。
需要说明的是，所述换装一致性约束为缩小换衣服时从同一行人 提取的特征之间的距离；其中，换装一致性约束计算如下：
其中，采用余弦约束来缩小跨衣服差异并学习跨衣服不变表示； f代表着行人i在穿着不同衣服A,衣服B时的特征；N代表的是类 的总数：
需要说明的是，还包括在整个网络对权重进行正交正则化，以减 少跨不同层的特征相关性并增强深度网络的表达能力；整个网络的总 损失函数由交叉熵损失，换装一致性约束损失和权重正则化损失组成， 表示如下：
L＝αLxent+βLO.W+γLCCIC
其中，α，β，γ在公式中作为超参数调整每个损失函数的权重和 影响。
实施例
如图1所示，整个网络是一个双流的孪生网络结构，由视觉流和 轮廓流组成。对于两种不同的输入，分别采用ResNet-50作为骨干网 络提取特征。此外，还对权重进行了正交正则化。提取到的特征分别 送入两个分支：注意力分支和全局分支，然后将两个分支的输出进行 融合。最后将两个流的总输出进行特征融合，得到最后的输出。整个 训练过程受损失函数模块引导和约束。
换装行人重识别问题的主要挑战在于因换衣服引起的行人外观 穿着变化。换装后行人的视觉特征会变得很不同，这就导致了传统的 行人重识别模型方法性能大大下降。因为这些方法更加关注衣服相关 的视觉线索信息，像衣服的颜色和条纹等。因此网络将轮廓图像作为 输入图像之一，以提取鲁棒的身体形状特征嵌入，因为轮廓特征对于 颜色变化是不变的。尽管轮廓特征对衣服或颜色的变化具有鲁棒性， 但是轮廓草图中缺少许多与身份相关的特征，例如，身体的颜色，而 这对于提取辨别特征非常重要。此外，颜色信息对于传统的行人重识 别任务至关重要。仅使用轮廓图像作为输入对于学习传统行人重识别的具有区别性特征是不全面的。因为通用模型应该既适用于换装行人 重识别，也要在常规的行人重识别(衣服不变)有较好的性能效果。 考虑到上述分析，采用原始视觉图像作为另一种流(即视觉流)的输 入，以学习与身份相关的特征，包括其他身体部位，面部和头发等的 特征。因为轮廓特征和视觉特征是互补的，所以可以通过将这些特征 集成到统一的双流网络体系结构中来获得更强大的特征表示。
如图2所示，整个注意力模块主要是分成三个支路，分别由位置 注意力模块和通道注意力模块组成。把ResNet-50的第五层输出经过 一个还原层的结果作为输入，分别送进位置注意力分支和通道注意力 分支。还原层由由线性层，Batch Normalization层，ReLU激活层和 dropout层构成。最后把两个分支的输出与输入进行特征融合作为整 个注意力分支的总输出。
作为共识，深度卷积神经网络提取的特征包含语义信息。在换装 行人重识别问题中，人在很大程度上被衣服覆盖，这意味着行人的大 多数特征在空间范围上都与衣服有关。衣服中的像素共享相似的语义 上下文，例如颜色，纹理，形状等。为消除衣服的影响，我们采用位 置注意力模块来捕获和收敛具有相似语义信息的像素，以便网络可以 专注于从中提取特征与衣服无关的区域。图3是位置注意力模块的 结构示意图。对于输入特征图A，经过由Batch Normalization层和 ReLU激活层组成卷积层得到特征图B,C,D。分别对B,C,D进行重 组，然后对B进行转置。B和C进行一次矩阵乘法后，经过一次Softmax 运算得到位置注意力图S，计算公式如下：
注意力图S中的每个元素代表的是不同位置像素(j,i)之间的 影响。从某称程度上来说，可以把注意力图S看作是像素关联矩阵。 注意力图S与D进行一次矩阵乘法得到基于注意力的权重图，将权重 图与原始输入进行逐元素求和运算得到最终的输出特征图E，计算如 下：
α是一个可学习的权重超参数，在网络训练过程中调整注意力模 块的影响。
与位置注意力模块相类似，通道注意力模块是用来聚合不同通道 中那些具有相似语义信息的特征。它的结构也与上面的位置模块相类 似，详见图4。不同的是，直接用原始输入的特征图计算注意力图X。 对输入特征图A进行重组，然后对重组特征图A以及重组转置特征图 A进行一次矩阵乘法，就能得到注意力图X，计算公式如下：
注意力图X代表的是每个通道(j,i)两两之间的影响，相当于 一个通道关联矩阵。最终的输出特征E的计算公式如下：
β是一个可学习的权重超参数，在训练过程中调整通道注意力模 块对网络的影响。
进一步的技术方案：损失函数模块整个损失函数模块主要由三个 损失函数构成，分别是：交叉熵损失，换装一致性约束以及权重的正 则化损失。通过这三个损失函数的引导和约束，整个模型学习到的特 征更具区分性以及鲁棒性。
本发明将交叉熵损失与标签平滑处理结合起来作为一个损失函 数，与引导网络学习更具区分性的特征。与直接使用交叉熵损失不同， 对于正样本，结合标签平滑的损失给出的预测值不再是1，对于负样 本的预测值也不再是简单的0，而是受一个小的正数∈影响和控制。 正样本的预测值为∈，负样本的为1-∈。
y表示输入图像的Softmax输出，N代表的是类的总数，即行人 的数。
不同衣服之间的视觉差异是换装行人重识别的主要挑战。为了解 决上述问题，我们设计了一种新颖的约束条件，称为换装一致性约束 (CCIC，Cross-Clothes InvariantConstraint)，以缩小换衣服时 从同一行人提取的特征之间的距离。约束旨在使从同一行人提取的具 有不同衣服的特征在特征空间中尽可能地接近。在这里，我们采用余 弦约束来缩小跨衣服差异并学习跨衣服不变表示。f代表着行人i在 穿着不同衣服A,衣服B时的特征，换装一致性约束计算如下：
本发明在整个网络对权重进行正交正则化，以减少跨不同层的特 征相关性并增强深度网络的表达能力。因此，整个网络的总损失函数 由交叉熵损失，换装一致性约束损失和权重正则化损失组成，表示如 下：
L＝αLxent+βLO.W+γLCCIC
α，β，γ在公式中作为超参数调整每个损失函数的权重和影响。
仿真实验：
PRCC是换装行人重识别的一个大规模数据集。它包含由三台摄 像机捕获的221个行人的33698张图像，这些图像在衣服，照明，遮 挡姿势和视点方面都有变化。此外，PRCC还包含了与原始输入图相 应的轮廓草图图像。数据集分为训练集和测试集，分别包括150人和 71人特别地，测试集包含三个部分：A集，B集和C集，其中A集 为查询集，而B，C集为图库集。B组包含不换衣服的图像，而C组 包含换衣服的图像。
本发明提出的方法在这个数据集上的实验结果和性能与前人的 方法相比较，达到了当前最优的结果。如下表所示，最后一行为本文 提出解决方案。Rank-k，是一个测试指标，代表在第k次以内命中。 行人重识别任务中，意味着与目标行人最相似的k个人脸中，成功命 中(找到正确行人)的概率(和)。可以看到，不仅在换装行人重识 别任务(下表中Cross Clothes结果)中，性能表现最好，而且在传 统的行人重识别任务(下表中SameClothes结果)也有着很不错的 表现。
进一步的，如图5所示，(a)，(b)和(c)分别是可视化的三个 例子，三个不同的行人。对于每一个行人，Original代表的是原始 的输入图像，即查询图像。Baseline代表的是基于ResNet-50没有 引入注意力机制以及换装一致性约束的模型。AGS-Net则是本发明提出的有机结合原始输入图和轮廓图，基于注意力机制的模型方法。可 以看到，由于行人在换装行人重识别问题中进行了衣服更换， baseline网络更加注意背景。虽然不受换装的影响，但是背景不包 含任何身份信息，这会导致模型的分类性能不佳。而本发明提出的方 法模型(AGS-Net)，引入了注意力机制，使得模型更加关注于包含 丰富的身份信息的区域。这些信息例如衣服的腿部，手臂，头部，头 发和身体形状等，对于衣物的更换具有鲁棒性，不受换装的影响。此 外，本发明减少了对衣服的关注，并减轻了背景区域的影响。因此， 所提出的方法在忽略衣服和背景的影响的同时，强调了与身份相关和 换装不变的特征，性能表现更优。
对于本领域的技术人员来说，可以根据以上的技术方案和构思， 给出各种相应的改变，而所有的这些改变，都应该包括在本发明权利 要求的保护范围之内。
Claims (9)
1.基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，包括由视觉流和轮廓流组成的双流孪生网络结构，所述方法包括以下步骤：
S1分别输入原始图和轮廓图；
S2分别对原始图和轮廓图采用ResNet-50作为骨干网络提取特征；
S3将提取到的特征分别送入注意力分支和全局分支进行处理；
S4将两个经过处理后的流的总输出进行特征融合，获得最后的输出。
其中，整个过程受损失函数模块引导和约束。
2.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述原始图的特征包括对象的其他身体部位，面部和头发等的颜色信息特征；所述轮廓图的特征包括行人轮廓的身体形状特征。
3.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述注意力分支由位置注意力模块和通道注意力模块组成，将把ResNet-50的第五层输出经过一个还原层的结果作为输入，分别送进位置注意力模块和通道注意力模块；最后把位置注意力模块和通道注意力模块的输出与输入进行特征融合作为整个注意力分支的总输出。
4.根据权利要求3所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述还原层由线性层，Batch Normalization层，ReLU激活层和dropout层构成。
5.根据权利要求4所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述位置注意力模块包括：对提取特征后的原始输入特征图A，经过由BatchNormalization层和ReLU激活层组成卷积层得到特征图B,特征图C,特征图D。分别对特征图B,特征图C,特征图D进行重组，然后对特征图B进行转置；再将特征图B和特征图C进行一次矩阵乘法后，经过Softmax运算得到位置注意力图S，将注意力图S与特征图D进行一次矩阵乘法得到基于注意力的权重图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图E。
6.根据权利要求4所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述通道注意力模块包括：对提取特征后的原始输入特征图A进行重组，然后对重组特征图A以及重组转置特征图A进行一次矩阵乘法，经过Softmax运算得到注意力图X；将注意力图X与特征图A进行一次矩阵乘法得到基于注意力的权重图，将权重图与原始输入进行逐元素求和运算得到最终的输出特征图E1。
7.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述损失函数模块包括交叉熵损失，换装一致性约束以及权重的正则化损失；其中，交叉熵损失与标签平滑处理结合起来作为一个损失函数，与引导网络学习更具区分性的特征。
8.根据权利要求7所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，所述换装一致性约束为缩小换衣服时从同一行人提取的特征之间的距离；其中，换装一致性约束计算如下：
其中，采用余弦约束来缩小跨衣服差异并学习跨衣服不变表示；f代表着行人i在穿着不同衣服A,衣服B时的特征；N代表的是类的总数。
9.根据权利要求1所述的基于注意力机制的孪生网络解决换装行人重识别的方法，其特征在于，还包括在整个网络对权重进行正交正则化，以减少跨不同层的特征相关性并增强深度网络的表达能力；整个网络的总损失函数由交叉熵损失，换装一致性约束损失和权重正则化损失组成，表示如下：
L＝αLxent+βLO.W+γLCCIC
其中，α，β，γ在公式中作为超参数调整每个损失函数的权重和影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116022.4A CN113158739B (zh) | 2021-01-28 | 2021-01-28 | 基于注意力机制的孪生网络解决换装行人重识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116022.4A CN113158739B (zh) | 2021-01-28 | 2021-01-28 | 基于注意力机制的孪生网络解决换装行人重识别的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158739A true CN113158739A (zh) | 2021-07-23 |
| CN113158739B CN113158739B (zh) | 2024-01-05 |
Family
ID=76878828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110116022.4A Active CN113158739B (zh) | 2021-01-28 | 2021-01-28 | 基于注意力机制的孪生网络解决换装行人重识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158739B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837048A (zh) * | 2021-09-17 | 2021-12-24 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN117612112A (zh) * | 2024-01-24 | 2024-02-27 | 山东科技大学 | 一种基于语义一致性的换装行人重识别方法 |
| CN118113884A (zh) * | 2024-04-29 | 2024-05-31 | 数据空间研究院 | 一种基于矛盾纠纷数据的知识图谱构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN111368815A (zh) * | 2020-05-28 | 2020-07-03 | 之江实验室 | 一种基于多部件自注意力机制的行人重识别方法 |
| CN111539370A (zh) * | 2020-04-30 | 2020-08-14 | 华中科技大学 | 一种基于多注意力联合学习的图像行人重识别方法和系统 |
| CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及系统 |
-
2021
- 2021-01-28 CN CN202110116022.4A patent/CN113158739B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN111539370A (zh) * | 2020-04-30 | 2020-08-14 | 华中科技大学 | 一种基于多注意力联合学习的图像行人重识别方法和系统 |
| CN111368815A (zh) * | 2020-05-28 | 2020-07-03 | 之江实验室 | 一种基于多部件自注意力机制的行人重识别方法 |
| CN111931624A (zh) * | 2020-08-03 | 2020-11-13 | 重庆邮电大学 | 基于注意力机制的轻量级多分支行人重识别方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837048A (zh) * | 2021-09-17 | 2021-12-24 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN113837048B (zh) * | 2021-09-17 | 2023-08-01 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN117612112A (zh) * | 2024-01-24 | 2024-02-27 | 山东科技大学 | 一种基于语义一致性的换装行人重识别方法 |
| CN117612112B (zh) * | 2024-01-24 | 2024-04-30 | 山东科技大学 | 一种基于语义一致性的换装行人重识别方法 |
| CN118113884A (zh) * | 2024-04-29 | 2024-05-31 | 数据空间研究院 | 一种基于矛盾纠纷数据的知识图谱构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158739B (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Transferable attention for domain adaptation | |
| Yang et al. | Towards rich feature discovery with class activation maps augmentation for person re-identification | |
| CN113158739A (zh) | 基于注意力机制的孪生网络解决换装行人重识别的方法 | |
| CN109508663A (zh) | 一种基于多层次监督网络的行人重识别方法 | |
| CN105718889B (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
| Zhang et al. | Short and long range relation based spatio-temporal transformer for micro-expression recognition | |
| Han et al. | Decoupled and memory-reinforced networks: Towards effective feature learning for one-step person search | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN114299542A (zh) | 一种基于多尺度特征融合的视频行人重识别方法 | |
| Yin et al. | Dynamic difference learning with spatio-temporal correlation for deepfake video detection | |
| Qiao et al. | Fgdnet: Fine-grained detection network towards face anti-spoofing | |
| Verma et al. | Facial expression recognition with skip-connection to leverage low-level features | |
| Zhou et al. | LRDNN: Local-refining based Deep Neural Network for Person Re-Identification with Attribute Discerning. | |
| CN115620338A (zh) | 由黑衣和头部图像指导的换衣行人重识别方法及装置 | |
| CN112200008A (zh) | 一种社区监控场景下人脸属性识别方法 | |
| Lu et al. | Illumination distillation framework for nighttime person re-identification and a new benchmark | |
| Wang et al. | TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation | |
| Yaseen et al. | A novel approach based on multi-level bottleneck attention modules using self-guided dropblock for person re-identification | |
| Yang et al. | Attentive decoupling network for cloth-changing re-identification | |
| Gong et al. | Person re-identification based on two-stream network with attention and pose features | |
| Liu et al. | Similarity preserved camera-to-camera GAN for person re-identification | |
| CN113887448A (zh) | 一种基于深度换装的行人重识别方法 | |
| Fang et al. | Explicit attention modeling for pedestrian attribute recognition | |
| Wang et al. | Thermal infrared object tracking based on adaptive feature fusion | |
| Jia et al. | Learning disentangled label representations for multi-label classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |