CN111461038B - 一种基于分层多模式注意力机制的行人再识别方法 - Google Patents

一种基于分层多模式注意力机制的行人再识别方法 Download PDF

Info

Publication number
CN111461038B
CN111461038B CN202010263999.4A CN202010263999A CN111461038B CN 111461038 B CN111461038 B CN 111461038B CN 202010263999 A CN202010263999 A CN 202010263999A CN 111461038 B CN111461038 B CN 111461038B
Authority
CN
China
Prior art keywords
attention
pedestrian
layer
features
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010263999.4A
Other languages
English (en)
Other versions
CN111461038A (zh
Inventor
耿艳兵
廉永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN202010263999.4A priority Critical patent/CN111461038B/zh
Publication of CN111461038A publication Critical patent/CN111461038A/zh
Application granted granted Critical
Publication of CN111461038B publication Critical patent/CN111461038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于分层多模式注意力机制的行人再识别方法，主要包含网络模型的训练阶段和再识别阶段，其中网络模型的训练阶段主要包括四个部分：第一，基于通道注意力模型的高层显著特征学习；第二，基于混合注意力模型的中层显著特征提取；第三，基于区域注意力模型的低层显著特征学习；第四、基于分层特征相似性自适应融合学习；再识别阶段主要包括两个部分：第一，利用训练好的网络进行分层显著特征提取和分层相似度度量，第二，利用训练好的权重进行多层相似度融合。上述基于分层多模式注意力机制的行人再识别方法，能获得较高识别准确率，适用于复杂监控场景的行人再识别。

Description

一种基于分层多模式注意力机制的行人再识别方法
技术领域
本发明涉及一种智能视频监控的行人再识别方法，尤其涉及一种基于注意力机制的深度神经网络的行人再识别方法，具体为一种基于分层多模式注意力机制的行人再识别方法，属于计算机视觉和模式识别领域。
背景技术
行人再识别实现同一行人在不同监控视野里的身份确认。在面向公共安防的智能视频监控中，行人再识别是行人接力跟踪、指定行人搜索、人群行为分析和身份鉴别等视频内容分析的研究基础，是计算机视觉和模式识别领域关注的重点。然而，由于复杂背景的干扰、自动检测的偏差、姿态视角的变化、遮挡的存在、以及跨场景的时空不连贯问题，给准确的行人再识别带来极大挑战。
目前，由于基于深度神经网络的特征较人工设计特征具有更稳健的特征表达能力，已成为研究的主导。神经网络不同层上的特征表现出不同的再识别性能，高层语义特征对局部变化较为鲁棒，而低层局部特征对度量细粒度的相似度更具优势。利用不同层特征的互补特性可以提高行人再识别的准确率。然而，行人图像中存在的类间差异小、类内差异大、受噪声干扰导致行人主体在图像中不突出等问题，依然是基于深度学习的行人再识别研究的难点。注意力模型近年来在深度学习各个领域被广泛使用，它通过模拟人类的注意力机制，关注具有高辨识度的特定区域，自动学习特征对应区域的重要性。将注意力机制引入基于深度神经网络的行人再识别研究，使得神经网络所提特征能够在关注行人关键区域的同时，减少无效甚至干扰信息的影响,提高特征提取的有效性。然而，现有基于注意力机制的行人再识别在显著特征提取和不同层特征的融合方面存在不足：(1)在显著特征提取方面，现有方法通常采用相同的注意力模型指导深度神经网络不同层级的显著特征学习，忽略了不同层特征在行人表达上的不同特点：高层语义特征本身已经能够获取显著特征的近似区域，但不同通道上的语义特征与行人关键信息的相关度存在明显差异；因此，高层特征的注意力机制需要关注不同通道特征的显著性差异。中低层特征能够对行人进行细粒度的特征描述，但同时包含更多噪声区域，而这些噪声区域在不同通道上并无明显差异。因此，中低层特征的注意力机制需要关注不同空间区域的显著性差异。(2)在多层特征融合方面，现有方法通常利用全连接层进行首尾连接或相加的融合方式，这种方式忽略了不同层级特征对行人准确辨识的差异性：高层特征能够进行粗粒度的行人区分：如对相似语义特征的行人进行分类，而在细粒度的行人辨识上存在不足，在区分具有相似语义的行人时，高层特征在其语义上相似的主导优势会削弱低层特征的有效性；低层特征在细粒度的行人身份确认上具有一定优势，但易到受噪声的干扰。现有融合方式不能充分利用高、低层特征在行人不同的互补性。以上问题将影响行人的准确身份识别。
发明内容
本发明提出了一种基于分层多模式注意力机制的行人再识别方法，该方法首先采用多模式注意力机制，根据深度神经网络不同层特征的特点，采用不同的注意力机制进行不同层上的显著特征学习；对学习到的显著特征，本发明进一步采用分层特征自适应相似性融合的方式，进行不同层的特征融合。该发明从行人在深度神经网络中不同层特征的特点出发，针对性地进行分层显著特征提取和融合。可以提高行人再识别的准确率。
为实现上述目的，本发明采用下述技术方案。
一种基于分层多模式注意力机制的行人再识别方法，包括如下步骤：
(A)在训练过程中，将训练集中的行人划分N个三元组
Figure GDA0003676104200000021
每个三元组包含三张行人图像，分别命名为指定行人a(anchor)，正样本 p(positive)和负样本n(negative)，其中a和p组成正样本对，a和n组成负样本对。对于每个三元组，采用inception-v2深度网络模型进行每幅行人图像的特征提取。
(B)将inception-v2网络的incept-1、incept-2和incept-3层所提特征对应为本发明所述低层特征、中层特征和高层特征，
Figure GDA0003676104200000022
其中Hi、Wi和Li分别为不同层上三维张量特征的高、宽以及通道数，i代表不同的层，i∈(1,...,3)。对不同层的特征采用基于分层多模式注意力机制的方法进行不同粒度的显著特征提取。
(C)对步骤(B)中incept-1层输出的低层特征，采用区域注意力模型 (AttentiveRegion Model:ar)进行不同空间区域的显著性学习，得到 {fa-ar,fp-ar,fn-ar}；对于粗粒度的高层特征，采用通道注意力模型 (channel-wise attention Model:ca)进行不同通道的显著性学习，得到 {fa-ca,fp-ca,fn-ca}；对于中层特征，采用混合注意力模型(FusedAttention Model:fa)进行不同空间区域和不同通道的显著性学习，得到 {fa-fa,fp-fa,fn-fa}。
(D)对步骤(C)中学习到的不同层的显著特征，采用分层自适应显著特征相似度融合的方式，利用triplet loss，使用如下公式(1)，学习得到三元组在这三层上的损失函数，然后将这三层上的损失函数加权融合，得到三元组总的损失函数Ltrp：
Figure GDA0003676104200000031
其中，fa-il,fp-il,fn-il分别代表指定行人a、正样本p和负样本n在不同层采用不同注意力模型映射得到的显著特征，其中il∈(ar,fa,ca)分别代表采用区域注意力模型、混合注意力模型和通道注意力模型；wil∈(0,1)即代表不同层损失函数的权重，也代表行人再识别时，不同层相似度度量相融合的权重，∑il∈(ar,fa,ca)wil＝1；αtrp-il是设置在正样本对距离和负样本对距离之间的一个最小间隔，为人为设定的常数，当正样本对的距离加上最小间隔大于负样本对的距离时，就会产生损失，当正样本对的距离加上最小间隔小于负样本对的距离时，损失为零。
(E)判断损失函数Ltrp是否小于给定阈值，如果大于给定阈值，按照 inception-v2神经网络反向传播，进行网络参数和自适应权重参数的更新，并更新训练三元组数据，继续按照网络前向传播，迭代上述操作过程，直到满足损失函数小于给定阈值，并且所有训练三元组全部参与训练完成为止；接下来，判断学习次数是否满足给定值，如果没有，重新将所有训练三元组输入网络，继续按照网络前向传播，迭代上述操作过程，直到学习次数满足给定值为止，保持网络参数和自适应权重参数，训练结束。利用得到的inception-v2网络模型，进行行人再识别。
上述的一种基于分层多模式注意力机制的行人再识别方法，所述步骤(C)中，采用区域注意力模型指导incept-1层显著特征的提取时，区域注意力映射函数
Figure GDA0003676104200000041
如公式
Figure GDA0003676104200000042
所述，由带batch nomalization(BN)的1×1卷积和RelU激活函数计算得到，其中L为注意力映射的通道数；注意力特征
Figure GDA0003676104200000043
由区域注意力映射
Figure GDA0003676104200000044
和低层特征f1的内积得到，最后级联L个注意力特征作为最终的低层显著特征fk-ar,k∈(a,p,n)；
Figure GDA0003676104200000045
上述的一种基于分层多模式注意力机制的行人再识别方法，所述步骤(C)中，采用通道注意力模型指导incept-3层显著特征提取时，采用公式
Figure GDA0003676104200000046
首先对 incept-3层输出的特征f3联合使用全局平均池化和全局最大化池化聚合空间维度特征，产生两个空间维度描述符，随后分别经过通道数为C/2的1 ×1卷积、通道数为C的1×1卷积和激活函数sigmoid层，得到通道注意力映射
Figure GDA0003676104200000047
最后将
Figure GDA0003676104200000048
与高层特征相乘，得到高层显著特征fk-ca,k∈(a,p,n)。
上述的一种基于分层多模式注意力机制的行人再识别方法，所述步骤(C)中，采用混合注意力模型指导incept-2层显著特征提取时，采用公式
Figure GDA0003676104200000049
首先对incept-2层输出的特征分别经过通道数为C/2的1×1卷积、通道数为C的1×1卷积和激活函数sigmoid(σ)进行非线性化，得到通道注意力映射
Figure GDA00036761042000000410
接下来将
Figure GDA00036761042000000411
和与incept-2层输出的特征做点乘运算得到基于通道注意力的显著特征
Figure GDA0003676104200000051
然后计算
Figure GDA0003676104200000052
特征的区域注意力映射βl 2，最后将βl 2与
Figure GDA0003676104200000053
做点乘运算，得到在第l层的混合注意力特征，最后级联L个混合注意力特征作为最终的中层显著特征fk-fa。
上述的一种基于分层多模式注意力机制的行人再识别方法，所述步骤(C)中模型所涉及的参数，采用训练的方式确定。
上述的一种基于分层多模式注意力机制的行人再识别方法，所述步骤(D)中不同层相似度度量的权重wil，采用训练的方式确定。
如上所述基于分层多模式注意力机制的行人再识别方法，在进行待识别图像和候选图像的相似度度量时，首先根据所训模型分别获取图像在incept-1、incept-2和incept-3层的显著特征，然后采用欧氏距离度量两幅图像在每层间的相似度值，最后根据训练得到的权重wil，将不同层的相似度值相融合，即为待识别图像和候选图像的相似度值。根据相似度值的大小，判断候选行人与待识别行人是否为同一个人。
为此，本发明提出了一种基于分层多模式注意力机制的行人再识别方法，该方法根据深度神经网络低层细粒度特征对噪声干扰比较敏感、高层语义特征对噪声较为鲁棒但在度量细粒度的相似度方面不足的特点，分别采用基于通道注意力模型的高层显著特征学习、基于混合注意力模型的中层显著特征提取和基于区域注意力模型的低层显著特征学习；采用不同的注意力机制进行不同层上的显著特征学习；对学习到的显著特征，本发明进一步采用分层特征自适应相似性融合的方式，进行不同层的特征融合。实验表明，该方法适用于复杂监控场景的行人再识别。
附图说明
下面结合附图和具体实施方式对本发明作进一步的说明。
图1为本发明的框架图。
图2为基于分层多模式注意力机制的显著特征学习流程图。
图3为通道注意力模型图
图4为区域注意力模型的流程图。
图5为混合注意力模型的流程图。
图6为行人再识别的流程图。
图7为行人再识别结果示意图。
具体实施方式
本发明提出了一种基于分层多模式注意力机制的行人再识别方法，包括基于分层多模式注意力机制的深度神经网络模型训练阶段和再识别阶段。如图1所示，首先将数据集划分为训练集和测试集，在此基础上，基于分层多模式注意力机制的深度神经网络模型训练如图1左分支所示，首先将训练集划分为多个三元组，每个三元组由指定行人a(anchor)，正样本p(positive)和负样本n(negative)三幅图像组成。训练过程主要包括以下两个部分：第一、基于分层多模式注意力机制的多粒度显著特征学习方法。该方法将多模式注意力模式分别应用于深度神经网络 inception-v2上的incept-1、incept-2和incept-3层，进行不同层的显著特征学习。第二、基于分层自适应的多粒度特征相似度融合学习方法。该方法通过最小化待匹配的行人图像，分别在incept-1、incept-2和incept-3 层上的相似度度量值的损失函数的加权和，学习待匹配行人在深度网络不同层上相似度的权重。经过多次迭代优化，得到网络模型参数和自适应融合的权重参数。
再识别阶段如图1右侧分支所示，首先将测试集划分为待识别行人和候选行人集。再识别过程主要包括两个部分：第一、根据训练得到的网络模型，提取待匹配行人(待识别行人和候选行人组成待匹配行人) 在深度神经网络inception-v2的incept-1、incept-2和incept-3层的显著特征；第二、分别进行待匹配行人在incept-1、incept-2和incept-3层上的相似度度量，并利用训练得到的不同层相似度的权重，进行不同层的相似度度量值加权融合。最后，根据得到的相似程度，进行候选行人的身份确认。
本发明尤其适用于室外复杂监控视频中的行人再识别工作。下面展开具体说明。
1基于分层多模式注意力机制的多粒度显著特征学习方法
该方法基于inception-v2网络，流程图如图2所示，首先初始化 inception-v2网络参数和自适应融合权重参数，将训练三元组提供给网络，按照神经网络前向传播，首先分别获取三元组图像在incept-1、incept-2 和incept-3层的输出特征，然后对于各层输出的特征进行不同注意力模型的显著性映射，得到不同层的显著特征，具体如下：
(1)基于区域注意力模型的显著特征提取
对于incept-1层输出的特征f1，采用图3所示方法，依次进行通道为8、卷积核1×1的卷积操作、batch normalization归一化操作和ReLU 激活函数将显著性映射进行非线性化，得到基于区域注意力模型的显著性映射。单个通道的区域注意力映射函数
Figure GDA0003676104200000071
如公式(2)计算得到。
Figure GDA0003676104200000072
基于区域注意力映射的显著特征提取如公式(3)所述，每个通道的注意力特征由公式(2)所得区域注意力映射
Figure GDA0003676104200000073
和低层特征f1的内积得到，最后级联L个通道的注意力特征作为最终的低层显著特征fk-ar,k∈(a,p,n)。
Figure GDA0003676104200000074
(2)基于通道注意力模型的显著特征提取
对于incept-3层输出的特征f3，采用如图4所示方法，联合使用全局平均池化(Global Average Pooling:GAP)和全局最大化池化(Global Max Pooling:GMP)聚合空间维度特征，分别生产两个空间维度描述符
Figure GDA0003676104200000075
和
Figure GDA0003676104200000076
随后如公式(4)所述，分别经过通道数为 C/2的1×1卷积(w1)和通道数为C的1×1卷积(w2)，激活函数sigmoid(σ) 进行非线性化，得到通道注意力映射
Figure GDA0003676104200000077
Figure GDA0003676104200000078
基于通道注意力模型的显著特征fk-ca,k∈(a,p,n)的获取如公式(5)所示，将
Figure GDA0003676104200000079
与高层特征f3相乘，得到高层显著特征。
Figure GDA00036761042000000710
(3)基于混合注意力模型的显著特征提取
对于incept-2层输出的特征f2，采用如图5所示方法，首先对incept-2 层输出的特征使用公式(4)得到的通道注意力映射
Figure GDA0003676104200000081
接下来将
Figure GDA0003676104200000082
和与incept-2层输出的特征f2做点乘运算得到基于通道注意力的显著特征
Figure GDA0003676104200000083
然后使用公式(2)计算
Figure GDA0003676104200000084
特征的区域注意力映射βl 2，最后将βl 2与
Figure GDA0003676104200000085
做点乘运算，得到基于混合注意力模型的显著特征fk-fa，具体实现如公式 (6)所示。
Figure GDA0003676104200000086
2基于分层自适应的多粒度特征相似度融合学习方法
在如上所述提取三元组在inception-v2网络的inpcept-1、inpcept-2 和inpcept-3层输出特征的显著特征后，如公式(1)所述，采用triplet loss 分别计算三元组在这三层上的损失函数，然后将这三层上的损失函数加权融合，得到三元组总的损失函数。
接下来，如图1所示，判断损失函数是否小于给定阈值，如果大于给定阈值，按照inception-v2神经网络反向传播，进行网络参数和自适应权重参数的更新，并更新训练三元组数据，继续按照网络前向传播，迭代上述操作过程，直到满足损失函数小于给定阈值，并且所有训练三元组全部参与训练完成为止；接下来，判断学习次数是否满足给定值，如果没有，重新将所有训练三元组输入网络，继续按照网络前向传播，迭代上述操作过程，直到学习次数满足给定值为止，保持网络参数和自适应权重参数，训练结束。
3基于分层多注意力机制的行人再识别方法
在行人再识别阶段，首先分别提取待识别行人(probe:p)和候选行人 (gallery:g)在训练好的inception-v2网络上incept-1、incept-2和incept-3 层输出的显著特征，接下来，采用欧式距离，分别进行待识别行人和候选行人在这三层上输出特征的相似度度量，然后利用训练得到的自适应权重(w1,w2,w3)，将待识别行人和候选行人在这三层上的相似度值加权融合，根据相似度值的大小，判断候选行人与待识别行人是否为同一个人。
Figure GDA0003676104200000091
其中，Sim(Iprobe,Igallery)表示待识别行人图像Iprobe和候选行人图像Igallery间的相似度度量，fp-il,fg-il分别代表待识别行人p和候选行人g在不同层采用不同注意力模型映射得到的显著特征，其中il∈(ar,fa,ca)分别代表所采用的区域注意力模型、混合注意力模型和通道注意力模型；wil∈(0,1)代表不同层相似度度量相融合的权重，∑il∈(ar,fa,ca)wil＝1。
具体流程如图6所示。
行人搜索识别结果如示意图7所示。
以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (4)

1.一种基于分层多模式注意力机制的行人再识别方法，其特征在于包括如下步骤：
(A)将训练集中的行人划分为N个三元组
Figure FDA0003676104190000011
每个三元组包含三张行人图像，分别命名为指定行人a，正样本p和负样本n，对于每个三元组，采用inception-v2深度网络模型进行每幅行人图像的特征提取；
(B)将inception-v2网络的incept-1、incept-2和incept-3层所提特征分别对应为低层特征、中层特征和高层特征；对不同层的特征采用基于分层多模式注意力机制的方法进行不同粒度的显著特征提取；
(C)对步骤(B)中incept-1层输出的低层特征，采用区域注意力模型进行不同空间区域的显著性学习，得到{fa-ar,fp-ar,fn-ar}，对于粗粒度的高层特征，采用通道注意力模型学习不同通道的显著性学习，得到{fa-ca,fp-ca,fn-ca}，对于中层特征，采用混合注意力模型进行不同空间区域和不同通道的显著性学习，得到{fa-fa,fp-fa,fn-fa}；
(D)对步骤(C)中学习到的不同层的显著特征，采用分层自适应显著特征相似度融合的方式，利用triplet loss，学习得到三元组在这三层上的损失函数，然后将这三层上的损失函数加权融合，得到三元组总的损失函数Ltrp：
Figure FDA0003676104190000012
其中，fa-il,fp-il,fn-il分别代表指定行人a、正样本p和负样本n在不同层采用不同注意力模型映射得到的显著特征，其中il∈(ar,fa,ca)分别代表采用区域注意力模型、混合注意力模型和通道注意力模型；wil∈(0,1)即代表不同层损失函数的权重，也代表行人再识别时，不同层相似度度量相融合的权重，∑il∈(ar,fa,ca)wil＝1；
(E)判断损失函数Ltrp是否小于给定阈值，如果大于给定阈值，按照inception-v2网络反向传播，进行网络参数和自适应权重参数的更新，并更新训练三元组数据，继续按照网络前向传播，迭代上述操作过程，直到满足损失函数小于给定阈值，并且所有训练三元组全部参与训练完成为止；接下来，判断学习次数是否满足给定值，如果没有，重新将所有训练三元组输入网络，继续按照网络前向传播，迭代上述操作过程，直到学习次数满足给定值为止，保持网络参数和自适应权重参数，训练结束；利用得到的inception-v2网络模型，进行行人再识别；
所述步骤(C)中，采用区域注意力模型指导incept-1层显著特征的提取时，区域注意力映射βl 1如公式
βl 1＝ReLU(BN(CONV(fl 1)))∈XL×W×H l∈(1...L)所述，由带BN的1×1卷积和RelU激活函数计算得到，其中L为注意力映射的通道数；公式
Figure FDA0003676104190000021
注意力特征由区域注意力映射βl 1和低层特征f1的内积得到，最后级联L个注意力特征作为最终的低层显著特征fk-ar,k∈(a,p,n)；
所述步骤(C)中，采用通道注意力模型指导incept-3层显著特征提取时，采用公式
Figure FDA0003676104190000022
首先对incept-3层输出的特征f3联合使用全局平均池化和全局最大化池化聚合空间维度特征，产生两个空间维度描述符，随后分别经过通道数为C/2的1×1卷积、通道数为C的1×1卷积和激活函数sigmoid层，得到通道注意力映射
Figure FDA0003676104190000023
最后将
Figure FDA0003676104190000024
与高层特征相乘，得到高层显著特征fk-ca,k∈(a,p,n)；
所述步骤(C)中，采用混合注意力模型指导incept-2层显著特征提取时，采用公式
Figure FDA0003676104190000031
首先对incept-2层输出的特征分别经过通道数为C/2的1×1卷积、通道数为C的1×1卷积和激活函数sigmoid进行非线性化，得到通道注意力映射
Figure FDA0003676104190000032
接下来将
Figure FDA0003676104190000033
和与incept-2层输出的特征做点乘运算得到基于通道注意力的显著特征
Figure FDA0003676104190000034
然后计算
Figure FDA0003676104190000035
特征的区域注意力映射
Figure FDA0003676104190000036
将βl 2与
Figure FDA0003676104190000037
做点乘运算，得到在第l层的混合注意力特征，最后级联L个混合注意力特征作为最终的中层显著特征fk-fa。
2.如权利要求1所述的一种基于分层多模式注意力机制的行人再识别方法，其特征在于所述步骤(C)中模型所涉及的参数，采用训练的方式确定。
3.如权利要求1或2所述的一种基于分层多模式注意力机制的行人再识别方法，其特征在于所述步骤(D)中不同层相似度度量的权重wil，采用训练的方式确定。
4.如权利要求1或2所述的一种基于分层多模式注意力机制的行人再识别方法，其特征在于所述步骤(E)行人再识别中，在进行待识别图像和候选图像的相似度度量时，首先根据所训模型分别获取图像在incept-1、incept-2和incept-3层的显著特征，然后采用欧氏距离度量两幅图像在每层间的相似度值，最后根据训练得到的权重wil，将不同层的相似度值相融合，即为待识别图像和候选图像的相似度值，根据相似度值的大小，判断候选行人与待识别行人是否为同一个人。
CN202010263999.4A 2020-04-07 2020-04-07 一种基于分层多模式注意力机制的行人再识别方法 Active CN111461038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263999.4A CN111461038B (zh) 2020-04-07 2020-04-07 一种基于分层多模式注意力机制的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263999.4A CN111461038B (zh) 2020-04-07 2020-04-07 一种基于分层多模式注意力机制的行人再识别方法

Publications (2)

Publication Number Publication Date
CN111461038A CN111461038A (zh) 2020-07-28
CN111461038B true CN111461038B (zh) 2022-08-05

Family

ID=71682485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263999.4A Active CN111461038B (zh) 2020-04-07 2020-04-07 一种基于分层多模式注意力机制的行人再识别方法

Country Status (1)

Country Link
CN (1) CN111461038B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931624B (zh) * 2020-08-03 2023-02-07 重庆邮电大学 基于注意力机制的轻量级多分支行人重识别方法及系统
CN112241682B (zh) * 2020-09-14 2022-05-10 同济大学 一种基于分块以及多层信息融合的端到端行人搜索方法
CN112287989B (zh) * 2020-10-20 2022-06-07 武汉大学 一种基于自注意力机制的航空影像地物分类方法
CN112906780A (zh) * 2021-02-08 2021-06-04 中国科学院计算技术研究所 一种果蔬图像分类系统及方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法
CN113139501B (zh) * 2021-05-12 2024-06-11 深圳市七诚科技有限公司 一种联合局部区域检测与多级特征抓取的行人多属性识别方法
CN113255530B (zh) * 2021-05-31 2024-03-29 合肥工业大学 基于注意力的多通道数据融合网络架构及数据处理方法
CN113657534B (zh) * 2021-08-24 2024-07-05 北京经纬恒润科技股份有限公司 一种基于注意力机制的分类方法及装置
CN113723366B (zh) * 2021-10-25 2022-03-25 山东力聚机器人科技股份有限公司 一种行人重识别方法、装置及计算机设备
CN114386524A (zh) * 2022-01-17 2022-04-22 深圳市城图科技有限公司 一种动态自适应图分层模仿学习的电力设备识别方法
CN114740855A (zh) * 2022-04-11 2022-07-12 沛远智能科技（厦门）有限公司 一种人物跟随识别确定方法及设备
CN114782997B (zh) * 2022-05-12 2024-06-14 东南大学 基于多损失注意力自适应网络的行人重识别方法及系统
CN117054891A (zh) * 2023-10-11 2023-11-14 中煤科工(上海)新能源有限公司 电池寿命的预测方法、预测装置
CN117951749B (zh) * 2024-03-27 2024-06-07 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977893A (zh) * 2019-04-01 2019-07-05 厦门大学 基于层次显著性通道学习的深度多任务行人再识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2564668B (en) * 2017-07-18 2022-04-13 Vision Semantics Ltd Target re-identification
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110110689B (zh) * 2019-05-15 2023-05-26 东北大学 一种行人重识别方法
CN110751018A (zh) * 2019-09-03 2020-02-04 上海交通大学 一种基于混合注意力机制的群组行人重识别方法
CN110781736A (zh) * 2019-09-19 2020-02-11 杭州电子科技大学 基于双流网络将姿态和注意力相结合的行人重识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977893A (zh) * 2019-04-01 2019-07-05 厦门大学 基于层次显著性通道学习的深度多任务行人再识别方法

Also Published As

Publication number Publication date
CN111461038A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461038B (zh) 一种基于分层多模式注意力机制的行人再识别方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN109961034B (zh) 基于卷积门控循环神经单元的视频目标检测方法
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN107748873B (zh) 一种融合背景信息的多峰目标跟踪方法
CN105512640A (zh) 一种基于视频序列的人流量统计方法
CN109360183A (zh) 一种基于卷积神经网络的人脸图像质量评估方法和系统
CN106446895A (zh) 一种基于深度卷积神经网络的车牌识别方法
CN106897738A (zh) 一种基于半监督学习的行人检测方法
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN110598586A (zh) 一种目标检测方法及系统
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN114937066A (zh) 基于交叉偏移特征与空间一致性的点云配准系统及方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN114861761B (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN114743124B (zh) 一种弹载平台实时目标跟踪方法
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
Zhao et al. Leveraging Monte Carlo Dropout for Uncertainty Quantification in Real-Time Object Detection of Autonomous Vehicles
CN112446305A (zh) 一种基于分类权重等距分布损失模型的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant