CN114694173A - 一种基于细粒度特征融合的跨域无监督行人重识别方法 - Google Patents

Abstract

本发明提供一种基于细粒度特征融合的跨域无监督行人重识别方法，教师网络分支与学生网络分支输出各自的全局特征，同时将各自最后一层特征图进行水平切割并获得各自的细粒度特征；将学生网络分支中的细粒度特征分别与教师网络分支中的全局特征进行融合得到融合特征；将融合特征、教师网络分支的全局特征分别进行聚类产生硬伪标签，同时利用教师网络分支的全局特征的预测结果作为学生网络分支的全局特征的软伪标签；最后利用伪标签完成有监督学习。本发明通过同时利用全局特征和细粒度特征进行学习，从而提升识别的精度，对全局整体信息和局部细粒度信息的关注度的特征融合方式以获得可靠性更高的聚类伪标签来提升模型的泛化性。

Description

一种基于细粒度特征融合的跨域无监督行人重识别方法

技术领域

本发明涉及基于迁移学习的计算机视觉技术，特别涉及基于深度学习的跨域无监督的行人重识别技术。

背景技术

行人重识别问题，也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，是计算机视觉领域中一个重要问题。行人重识别技术是一种能够快速准确的获取不同视角下目标位置的手段，为后续实现高层应用比如行人属性分析奠定了基础。目前，行人重识别技术在智能安防、智能交通、智能驾驶系统等领域中有着广泛的应用，并为解决我们生活中的实际问题提供了技术支持，比如刑侦、人流预测、人流分析等多个生活实际问题。因此，行人重识别技术在各领域以及实际环境中具有重要的研究意义。

按照是否使用行人身份标注信息，当前绝大多数的行人重识别方法可以分为有监督学习和无监督学习两种。有监督行人重识别方法利用行人的身份信息，采用有监督损失训练模型。目前，有监督行人重识别方法虽然在大多数行人重识别数据集上取得了很好的表现，但是它需要大量的跨摄像机行人身份标注信息，然而，获取这些信息十分耗时耗力。此外，由于存在对训练数据集的过拟合问题，这些有监督行人重识别方法在经过训练之后获得的性能优良的模型也很难运用到实际场景中。为解决有监督学习的弊端，无监督行人重识别方法得到了广泛的关注。

无监督行人重识别方法主要可以分为完全无监督方法和跨域无监督方法两类。前者利用聚类方法或相似性度量方法获取无标注信息的行人身份伪标签，然后利用有监督学习方法训练模型。后者采用跨数据集的域适应性学习，主要可以总结如下：1)基于GAN(Generative Adversarial Network)的跨域无监督学习，其目的在于利用源域数据集生成具有目标域数据集风格的行人图像，通过风格迁移学习缩小不同域之间的差异性。例如，SPGAN和PTGAN在实现不同域的行人图像风格迁移的同时保证了行人的身份信息没有发生改变，然后再利用生成的行人图像进行有监督学习。但是，这种跨域无监督学习方法不仅极容易受到生成图像质量的影响，而且增加了网络的复杂性。2)基于共同学习的方法。目前，一些新方法采用源域和目标域共同作为模型的输入，从而增强源域和目标域之间的联系，例如，Jiang等人提出的SAL方法和Dai等人提出的IDM方法，它们在不同域作为共同输入的前提下，通过构建“中间域”从而形成源域和目标域之间的桥梁，以此缩小不同域之间的差异性。但是，这种方法对源域的依赖性较强，需要对不同数据集的跨域任务做特定的调节，域适应性比较单一。3)基于聚类和微调的方法。与完全无监督学习方法不同在于，这种方法首先在源域数据集上进行有监督学习，其次在目标域数据集上利用聚类或相似性度量方法进行无监督学习，最终提升模型在目标域数据集的识别性能。例如，Fan等人利用在源域训练好的模型，采用迭代聚类法在目标域数据集进行微调；Yang等人则提出SSG方法，利用局部和全局特征分别进行聚类操作从而获得伪标签。

目前，绝大多数的跨域无监督行人重识别方法是基于聚类和微调的方法，因为它不需要引入复杂的生成模型，同时由于对源域数据集的依赖性较弱，因而对不同数据集的域适应性比基于GAN和基于共同学习的跨域无监督方法更强。

发明内容

本发明所要解决的技术问题是，提供一种进一步提升基于聚类和微调的跨域无监督行人重识别准确度的方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于细粒度特征融合的跨域无监督行人重识别方法，包括以下步骤：

1)教师学生网络利用全局特征和细粒度特征产生伪标签：

1-1)将包含行人的目标域图像输入至教师学生网络，教师网络分支与学生网络分支输出各自的全局特征，同时教师网络分支与学生网络将各自最后一层特征图进行水平切割为I份并获得各自的I份细粒度特征；

1-2)将学生网络分支中的I份细粒度特征分别与教师网络分支中的全局特征进行融合得到I份融合特征；

1-3)将I份融合特征、教师网络分支的全局特征分别进行聚类得到I+1个预测结果，每个目标域图像将产生I+1个伪标签；

2)将融合特征和教师网络分支的全局特征产生的伪标签作为学生网络分支中对应的细粒度特征和全局特征的硬标签，将教师网络分支输出的全局特征的预测结果作为学生网络分支的全局特征的软标签，利用伪标签完成有监督学习，从而生成用于行人重识别的教师学生网络。

申请人发现利用细粒度特征进行学习在很大程度上提升了跨域无监督行人重识别人任务的准确率。事实上，利用细粒度特征的行人重识别方法早在几年前已经提出，比如，PCB方法将行人图像经过网络后得到的特征图水平切割为6份，对每一份局部特征进行有监督学习；MGN方法则采用多分支结构，每个分支都将特征图水平切割成若干份，对每个分支的全局和局部特征都计算有监督损失。首次提出利用细粒度特征解决跨域无监督行人重识别问题的是SSG方法，它利用全局特征图及其水平切割后的局部特征图分别聚类进而获得不同的伪标签，提升了模型对细粒度特征的学习能力。但是，上述SSG方法使用单网络模型进行聚类和微调，其聚类的伪标签中带有大量不可避免的噪声，同时，该方法还割裂了细粒度特征和全局特征之间的联系。申请人认为，二者应该是相辅相成的，利用全局或细粒度特征进行独立学习势必造成网络学习的歧义性。因此，我们没有仅用全局特征进行一致性约束，而是构建了一个基于全局特征和细粒度特征融合的学习框架。

本发明通过同时利用全局特征和细粒度特征进行学习，从而提升识别的精度，并且设计了一个细粒度特征融合方式以获得可靠性更高的聚类伪标签，提升模型对全局整体信息和局部细粒度信息的关注度，进一步提升模型的泛化性。

本发明的有益效果是，让teacher网络获得在全局和细粒度特征的聚类伪标签，并对student网络进行有监督学习。将全局特征和细粒度特征有效的融合，并利用融合特征获得置信度更高的聚类伪标签，进一步增强了跨域无监督行人重识别的准确率。

附图说明

图1为跨域无监督行人重识别框架示意图。

图2为基于细粒度特征融合的跨域无监督行人重识别方法结构示意图。

图3为细粒度融合模块Granularity-Fusion Module的细节示意图。

具体实施方式

本发明首先采用teacher-student模型作为基线框架并进行改进，通过引入细粒度特征提升模型对细粒度信息的关注度。其次，针对全局特征与细粒度特征进行独立聚类及计算损失造成模型学习的歧义性问题，设计了一个细粒度特征融合模块。细粒度特征融合模块将student网络的细粒度特征与teacher网络的全局特征进行有效的融合，利用融合特征获得的聚类伪标签作为student网络细粒度特征的硬标签进行有监督学习，而这样的融合特征能够避免分别用全局和细粒度特征聚类获得伪标签监督网络造成的歧义性。

本发明遵循基于聚类和微调的跨域无监督行人重识别方法的原则：1)在源域数据集上进行有监督训练；2)在目标域数据集上利用聚类方法等方法获得伪标签再进行有监督训练。

本发明构建在Mean-teacher结构上利用细粒度特征进行学习的跨域无监督行人重识别框架，该识别框架由teacher网络和student网络组成。它同时使用了teacher网络的全局特征和细粒度特征对student网络的对应部分进行一致性约束。针对单独使用全局特征或细粒度特征造成的模型学习的歧义性问题，我们设计了细粒度特征融合模块，用融合特征聚类获得更可靠的伪标签。

下面给出该发明技术方案中所涉及的各个细节问题的详细说明。

(1)构建跨域无监督行人重识别框架。

框架的整体结构如图1所示。我们基于teacher-student模型，引入细粒度特征进行相互学习。我们的框架包含两个分支：一个student网络分支backbone和一个teacher网络分支backbone。我们对每个分支中网络的最后一层大小为R^c×w×h的特征图进行水平切割split成若干份后经过池化pooling与批量归一化BN获得细粒度特征，利用teacher网络分支获得的全局和细粒度特征分别进行聚类cluster获得伪标签，以此作为student网络分支中对应的特征的硬标签，同时我们保留了teacher-student模型中将teacher网络的全局特征的预测结果作为student网络的全局特征的软标签。

总体来说，我们的方法可以分为两个步骤。第一步需要利用全局特征和细粒度特征产生伪标签。我们分别利用teacher网络分支获得的全局特征和细粒度特征进行聚类获得各自的伪标签。对于全局特征和细粒度特征，我们都采用kmeans聚类方法，最终获得基于全局特征聚类的类别Y^G和基于细粒度特征聚类的类别

I表示全局特征图水平切割成I份，I≥2，θ^t表示teacher网络的权重，上标G表示全局特征，上标P_i表示细粒度特征。第二步需要利用伪标签进行有监督学习。主要损失包括利用全局特征设计的基于硬标签的损失L_ReID和基于软标签的损失L_Soft-ReID，以及利用细粒度特征设计的基于硬标签的损失

对于全局特征f^G，我们采用teacher网络分支获得的硬伪标签y^G∈Y^G计算L_ReID损失：

L_ReID＝L_cls+L_tri

L_ReID包括分类损失L_cls和三元损失L_tri，L_cls的定义如下：

其中N_t表示目标域中的图片数量，θ^s表示student网络的权重，

为student网络分支中目标域中第k张图片属于第i个行人身份类别的概率，q_i为预设的第i个行人身份类别的权重。L_tri定义如下：

其中k₊和k_-分别表示正样本和负样本，m是三元损失L_tri的间隔参数margin，‖·‖表示2范数。此外，我们对全局特征引入teacher网络分支预测结果作为student网络分支的软伪标签计算L_Soft-ReID损失：

L_Soft-ReID＝L_soft-cls+L_soft-tri

这样可以有效减少产生带有大量噪声的错误伪标签。

对于细粒度特征

我们采用对应teacher网络分支的细粒度特征

聚类获得硬伪标签

计算三元损失

如图2所示，对student和teacher网络分支中网络的最后一层全局特征图进行水平切割成2份，得到全局特征f^G以及细粒度特征

基于全局特征聚类的类别和基于细粒度特征聚类的类别分别为Y^G和

其类别数目都相同，并实验性的设置为700。细粒度特征融合模块Granularity-Fusion Module将student网络分支中的细粒度特征

与teacher网络分支中的全局特征f^G(θ^t)进行融合得到融合特征

和

(2)设计一种细粒度特征融合模块。

我们发现，虽然引入细粒度特征的teacher-student模型与仅用全局特征的MMT、MEB-Net等方法相比有一定的提升效果，但是，由于全局特征与细粒度特征是相互独立进行聚类以及计算相应损失，模型在学习过程中容易偏向于学习全局特征而忽略细粒度信息或过于关注细节而没有全局的整体信息，进而造成二者学习过程中的对立现象。我们认为，全局特征与细粒度特征是相辅相成的，我们希望通过设计一种细粒度特征融合模块，让模型在学习过程中既能关注到细粒度信息，又能保持全局整体信息的完整性。

如图2所示，细粒度特征融合模块Granularity-Fusion Module将student网络分支中的细粒度特征与teacher网络分支中的全局特征进行融合，理由如下：1)teacher网络在训练过程中不进行反向传播，其权重由student网络按指数移动平均方式更新，因此teacher网络分支获得的全局特征不会对某一次的训练结果过拟合因而具有更强的泛化性；2)我们希望网络在每一次训练过程中对细粒度特征的关注具有多样性，因为这样才能保证模型不会遗漏某些重要的细粒度信息。

细粒度特征融合模块(Granularity-Fusion Module)的细节示意图如图3所示。该模块的输入是student网络分支中的细粒度特征图

大小为R^c×1×1，以及teacher网络分支中的全局特征图φ^G(θ^t)，大小为R^c×16×8。为了让

能通过学习的方式更关注于细粒度信息，我们引入一个逐通道注意力机制channel-wise attention，它由一个具有一层隐藏层的多层感知机MLP组成，该隐藏层大小为R^c/r×1×1，其中r表示人为设定的比例。同时，为了防止细粒度特征经过逐通道注意力机制后忽略原始细粒度特征，我们引入一个残差结构，将经过逐通道注意力机制和sigmoid函数之后的特征图与

进行逐元素相加，最后与φ^G(θ^t)进行逐通道相乘，获得融合特征图

然后经过全局平均池化并降维成为融合特征

大小为R^1xc。

随后，我们将融合特征以及teacher网络分支的全局特征分别进行聚类，进而产生可靠性更高的伪标签。聚类的方法仍然采用kmeans，接下来利用伪标签进行有监督学习。对于全局特征f^G，我们采用与(1)相同的损失，包括L_ReID和L_Soft-ReID；对于细粒度特征

我们采用融合特征

聚类获得的硬伪标签

并计算softmax-triplet损失

与计算全局特征的L_soft-tri不同的是，我们没有采用teacher网络分支中细粒度特征的负样本对之间的距离的softmax结果作为软伪标签，因为我们希望细粒度特征在每次训练时具有更大的多样性，而不会受到之前训练结果的影响。

(3)对模型进行训练，并通过实验验证其有效性。

完成了细粒度特征融合模块的设计，我们对模型进行训练。值得注意的是，在源域数据集训练时，我们采用最常用的L_ReID损失进行有监督学习，此时y^G是源域数据集中每个样本的真实标签。在目标域数据集训练时，我们采用resnet50作为student和teacher网络的骨干网络，并修改最后一层的下采样层的步长为1，从而获得大小为R^Cx16x8的特征图。在目标域训练的总损失为：

其中，α,β,γ为超参数，我们在实验中分别设置为1,0.5,0.5。

表1为在Market-1501→DukeMTMC-ReID和DukeMTMC-ReID→Market-1501的情况下与17种跨域无监督行人重识别模型的性能比较，其中包括基于GAN的方法、基于共同学习的方法和基于聚类和微调的方法，A→B表示A作为源域，B作为目标域的情况。我们发现，基于GAN的方法由于受生成图像质量的影响，其准确率较低。基于共同学习的方法由于同时输入源域和目标域数据，它可以更好的衡量不同域之间的分布，比如IDM方法利用两个域的特征构建一个中间域特征，将中间域作为一个桥梁拉近了不同域之间的距离，它的方法目前在两种跨域数据集的情况下都取得了最优rank1分数。但是，基于共同学习的方法由于存在源域数据，容易对目标域的学习产生偏差。目前，大部分基于聚类和微调的方法都是利用全局特征进行聚类，比如，ADTC方法对全局特征增加了attention模块，用于获得更好的全局特征进行聚类；MMT方法则引入了mutual mean-teacher模型并将teacher网络预测结果作为student的软伪标签并获得了不错的效果；MEB-Net方法则融合3个不同结构的teacher-student模型。但是它们的分数并不能达到最好的效果，我们认为原因可能是它们的方法中用于聚类的特征不够全面，即只有全局特征。而SSG方法是首次利用细粒度特征实现跨域无监督行人重识别人任务，但是它在DukeMTMC-ReID→Market-1501的mAP和rank1只有43.0％和75.2％，在Market-1501→DukeMTMC-ReID的mAP和rank1只有45.1％和63.2％，我们认为，虽然它考虑了细粒度特征和全局特征，但是它仅用单网络模型实现聚类和微调，没有考虑相互学习能够提供更可靠的全局特征；同时它对全局和细粒度特征是相互独立的进行操作，造成了网络学习过程中的歧义性。我们的方法在Market-1501→DukeMTMC-ReID的mAP和rank1达到71.3％和82.5％，其中mAP是目前所有方法中点数最高的。在DukeMTMC-ReID→Market-1501的mAP和rank1达到82.7％和92.5％，mAP仅比目前IDM方法低0.1％。表格中粗体加下划线代表最高分数，粗体代表次高分数。

表1

在两个常见行人重识别数据集上的跨域无监督效果表明，我们的方法在Market-1501→DukeMTMC-ReID测试效果获得最佳性能，在DukeMTMC-ReID→Market-1501测试中具有不错的性能。

Claims (6)

1.一种基于细粒度特征融合的跨域无监督行人重识别方法，其特征在于，包括以下步骤：

1)教师学生网络利用全局特征和细粒度特征产生伪标签：

1-1)将包含行人的目标域图像输入至教师学生网络，教师网络分支与学生网络分支输出各自的全局特征，同时教师网络分支与学生网络将各自最后一层特征图进行水平切割为I份并获得各自的I份细粒度特征；

1-2)将学生网络分支中的I份细粒度特征分别与教师网络分支中的全局特征进行融合得到I份融合特征；

1-3)将I份融合特征、教师网络分支的全局特征分别进行聚类得到I+1个预测结果，每个目标域图像将产生I+1个伪标签；

2)将融合特征和教师网络分支的全局特征产生的伪标签作为学生网络分支中对应的细粒度特征和全局特征的硬标签，将教师网络分支输出的全局特征的预测结果作为学生网络分支的全局特征的软标签，利用伪标签完成有监督学习，从而生成用于行人重识别的教师学生网络。

2.如权利要求1所述方法，其特征在于，学生网络分支中的I份细粒度特征分别与教师网络分支中的全局特征的融合采用逐通道注意力机制；所述逐通道注意力机制通过一个具有一层隐藏层的多层感知机实现。

3.如权利要求2所述方法，其特征在于，学生网络分支中的第i份细粒度特征与教师网络分支中的全局特征的具体融合方法为：

第i份细粒度特征经过逐通道注意力机制之后再经sigmoid函数处理后得到的特征再与原始的第i份细粒度特征逐元素相加，相加的结果再与教师网络分支中的全局特征进行逐通道相乘获得融合特征图，融合特征图经过全局平均池化并降维成为融合特征，i＝1,…,I。

4.如权利要求1所述方法，其特征在于，利用伪标签对目标域进行有监督训练的总损失L_total为：

其中，α,β,γ为超参数，L_ReID为全局特征的硬标签的损失，L_Soft-ReID为基于软标签的损失，

为第i份细粒度特征的硬标签的损失；教师网络分支输出的全局特征的伪标签及其预测结果分别作为学生网络分支的全局特征的硬标签和软标签。

5.如权利要求4所述方法，其特征在于，超参数α,β,γ分别设置为1,0.5,0.5。

6.如权利要求4所述方法，其特征在于，第i份细粒度特征的硬标签的损失

的具体计算方式为：

其中，中N_t表示目标域中的图片数量，θ^s表示学生网络分支的权重，

表示学生网络分支中目标域中第k张图片对应第i份细粒度特征，k₊和k_-分别表示正样本和负样本，‖·‖表示2范数。

Images