CN113378632B - 一种基于伪标签优化的无监督域适应行人重识别方法 - Google Patents

一种基于伪标签优化的无监督域适应行人重识别方法 Download PDF

Info

Publication number
CN113378632B
CN113378632B CN202110469776.8A CN202110469776A CN113378632B CN 113378632 B CN113378632 B CN 113378632B CN 202110469776 A CN202110469776 A CN 202110469776A CN 113378632 B CN113378632 B CN 113378632B
Authority
CN
China
Prior art keywords
network
pseudo
pseudo tag
loss
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110469776.8A
Other languages
English (en)
Other versions
CN113378632A (zh
Inventor
何爱清
高阳
李文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Original Assignee
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd, Nanjing University filed Critical Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Priority to CN202110469776.8A priority Critical patent/CN113378632B/zh
Publication of CN113378632A publication Critical patent/CN113378632A/zh
Application granted granted Critical
Publication of CN113378632B publication Critical patent/CN113378632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于伪标签优化的无监督域适应行人重识别算法，属于计算机视觉研究方向。本发明使用了辅助分类器结构，利用概率分布距离度量方法来度量深浅网络的不同表达能力，该方法包括：步骤S1、利用在大型图像数据集ImageNet上预训练的模型对本发明的backbone网络进行初始化；步骤S2、在源域数据集上进行有监督训练微调模型；步骤S3、源域数据集上训练的模型初始化提出的伪标签优化框架，并使用聚类算法生成置信度为1的硬伪标签；步骤S4、计算辅助分类器结构输出的类别预测向量与主分类器结构输出的类别预测向量之间的KL散度值；步骤S5、设计新的损失函数训练网络；步骤S6、不断迭代进行伪标签生成、伪标签可靠性度量与伪标签优化步骤，直至模型收敛。

Description

一种基于伪标签优化的无监督域适应行人重识别方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于伪标签优化的无监督域适应行人重识别算法。
背景技术
行人重识别技术旨在跨摄像头场景下检索出特定行人的图像，即给定目标图像，需要通过某种算法从行人数据库中找出与目标图像最为接近的一张或数张图像。该技术被广泛应用于智慧城市、社会安全领域。许多人工标注的大规模数据集促进了这项技术的迅速发展，也给这项技术带来了可观的性能上的提升。然而实际场景中，即使是在大型数据集上训练好的模型，若直接将其部署到一个新的监控场景中，由于不同领域之间存在数据分布差异，模型性能会出现“断崖式下降”。而对所有新场景都进行数据标记一方面耗费人力财力，另一方面会带来不可确定的噪声。近年来许多研究者开始使用基于深度学习的无监督领域自适应的方法来解决跨域行人重识别问题，在带标签的源域数据上训练好模型，去适应无标签的目标域，并探索目标域潜在的身份信息。
目前，无监督域适应行人重识别问题的主流研究方法是基于伪标记生成的方法。该类方法通常需要考虑两个问题：1、在无标记情况下如何判断当前生成的伪标签不是噪声；2、如何进行伪标签生成优化以使得网络能生成“正确的”伪标签。针对第一个问题，在无监督域适应领域，之前往往通过人为设定阈值的方式来学高置信度的伪标签，而剔除低置信度的标签。但是这个阈值通常很难决定。若设置的阈值过高，可能一些正确的伪标签会被忽略；若阈值设置过低，则会带来很多的伪标签噪声，模型可能有崩溃的风险。实际上，阈值的选择取决于源域和目标域有多接近，如果源域和目标域之间数据分布完全一样，即理想情况是源域和目标域为同一个数据集划分的数据，那么该阈值可以取到接近于1，因为这种情况相当于有监督学习，模型应该能准确地进行判别；如果源域和目标域的数据分布完全不一样，那么源域的信息对目标域起到不了任何指导作用，所有生成的伪标签都是噪声伪标签。针对第二个问题，目前许多研究学者们进行了很多的尝试与创新，涌现出了一些经典的技术成果。TJ-AIDL的核心思想是通过学习可迁移的属性，即语义，用ID信息和属性信息结合的形式来做迁移学习；SSG利用未标记样本的潜在相似性，从整体到布局构建多条分支，各自分配伪标签进行训练；ACT 对聚类之后的结果进行了进一步处理以便找出确定性的伪标记信息和非确定性的伪标记信息；AD-Cluster通过DBSCAN聚类、自适应数据增强和特征学习三部曲来优化模型，旨在以对抗性最小-最大方式来最大化样本空间中的类间多样性和最小化特征空间中的类内距离；MMT设计了一种同步教学模型，利用对称网络的监督来互相优化伪标签。NRMT选择通过两个网络协同工作来减轻特征噪声，利用另一个网络来为本网络选择更可靠的特征表示用于聚类。
尽管基于伪标记生成的方法表现出了较其他方法更为优越的性能，但仍有上述两个问题限制了无监督域适应行人重识别的发展。本发明提出了一种基于伪标签优化的无监督域适应行人重识别方法，为了有效度量伪标签的可靠性，该方法借助了辅助分类器结构，并利用概率分布距离度量方法来度量深浅网络的不同表达能力。对于通过聚类算法生成了错误伪标签的样本，其网络深浅层输出特征的表达上通常有很大差异。也就是说，该度量结果恰恰能够反映伪标签的负可靠性。同时，本发明在可靠性度量的基础上设计了新形式的损失函数，促进网络基于伪标签可靠性进行自我优化。
发明内容
发明目的：本发明提出了一种基于伪标签优化的无监督域适应行人重识别方法，旨在解决无监督域适应行人重识别任务中存在的两个问题，即在无标记情况下如何判断当前生成的伪标签不是噪声以及如何对网络进行伪标签生成优化。
技术方案：一种基于伪标签优化的无监督域适应行人重识别方法，重点在于以下三个方面：第一方面是如何利用源域数据集的标签信息，从而为后续训练提供质量较好的初始伪标签，保证优化能够不偏离正确轨迹；第二方面是如何使网络能够判别当前生成的伪标签是否可靠以进行批判性学习；第三方面在于对伪标签的优化，因为行人重识别是一个开放集Open Set问题，其测试阶段行人类别数以及行人ID都是未知的，并且在训练阶段不曾出现过，所以生成伪标签的质量至关重要。本发明的技术方案提供了如下的步骤：
步骤1、用ImageNet数据集上预训练的模型初始化backbone网络；
步骤2、在源域数据集上进行有监督训练微调模型，多次训练取最优的两模型参数；
步骤3、利用源域上预训练好的模型初始化伪标签优化框架的各个组成模块：第一轮epoch开始前，K均值聚类算法根据特征编码网络提取的特征对目标域图像进行分类，打上伪标记；
步骤4、主干网络的两条分支分别产生不同的分类输出，计算二者KL散度值；
步骤5、针对硬伪标签，利用KL散度值进行纠正得到两种损失函数，软伪标签由平均网络产生，也分别得到两种损失，利用新的损失函数联合训练网络；
步骤6、不断迭代进行伪标签生成、伪标签可靠性度量与伪标签优化步骤，直至迭代完成模型收敛；利用特征编码网络进行测试，提取的特征判别能力更强的特征编码网络作为最终的选择。
本发明遵从两阶段的训练方式。步骤1至2，属于源域预训练阶段，步骤3至6，属于目标域优化阶段，其中步骤6还包括测试阶段的操作；本发明的训练阶段过程图如图1所示，测试阶段过程图如图2所示。
在所述步骤1中，以ResNet-50为例，本发明将其最后一层移除，在网络最后加入两个FC层，分别用于整合特征和分类预测。在两层FC层之前，将ResNet-50-4b5网络层和ResNet-50-5c网络层的特征输出分别送入一个1×1的卷积中，保证二者通道数一致。其次，因为两网络层输出特征尺寸存在2倍的关系，为了不引入额外的噪声信息，在FC全连接层之前加入了SPP结构，把原尺寸大小的特征图分别分成4×4＝16块、2×2＝4 块、1×1＝1块，总共21块，最大池化选择每块特征图中最大值作为代表，即每张特征图就有21维，输出通道数为2048维，将两个21×2048的特征向量送入各自的全连接层分支。
在所述步骤2中，行人图像统一调整为相同尺寸256×128，设置不同随机参数在源域有标记数据集上进行多次训练，选出两个性能更好的预训练模型。训练过程中采用的是交叉熵分类损失和基于阈值的三元组损失。带标记的源域数据集表示为：
其中，x表示行人图像，y表示对应行人的标签，Ns表示源数据集规模。
行人重识别通常分为分类模型和验证模型。本发明对二者进行了结合，将行人重识别视为分类问题时，用交叉熵损失进行训练；视为验证问题时，将原样本、正样本和负样本的特征表示组成三元组，用三元组损失进行训练。计算形式分别表示如下：
其中，F表示特征编码，C表示分类器，θ表示模型参数，m表示距离阈值，通常取0.5。下标p和n分别表示原样本的正例和负例。源域预训练阶段，给定带标记的源域数据集，通过两种损失函数联合训练网络，得到用于目标域训练的初始化模型。
在所述步骤3中，平均网络和主干网络的输入分别采用同一张行人图像的不同数据增强形式，比如随机裁剪、翻转等等。对二者的初始化也是采用在源域阶段训练的不同网络参数。对于主干网络的辅助分类器分支，其需要用到的初始化参数与平均网络相同。不带标签信息的目标域数据集可以表示为：
聚类算法选择简单有效的K均值聚类，在不同任务集上分别设置不同的聚类数K，设置的值通常包含大于或小于目标域真实类别数的各种情况。也可以使用基于密度的聚类方法DBSCAN，它无须指定类别数，但计算更耗时。在实际使用本发明时可以根据具体需求选定。
在所述步骤4中，对于主干网络的两分支的分类输出，用概率分布距离去衡量二者之间的差异，当分布差异比较大时，表明浅层特征与深层特征对应的表达不一，间接表明网络此时学得的特征表示不具备高判别性。其KL散度计算形式表示为：
其中，C1表示主分类器，C2表示辅助分类器。
主分类器和辅助分类器产生不同的预测结果主要由于以下三个原因：首先，不同网络层的感受野不同，送入两个分类器的特征并不一样。其次，使用了不同的随机种子预训练的参数来初始化两个分支结构中的特征提取部分。对于第二个FC层，两个分支都没有在目标域进行训练过，因此二者会对目标域的数据产生不同的响应。第三，隐藏层采用了Dropout策略增强随机性。当两分类器预测结果分布相差越大时，其KL散度值越大，聚类生成的伪标签越不可靠。
在所述步骤5中，为了利用伪标签可靠性使得网络能自我优化，一种最直接的用法是融入伪标签学习的一个公式，本发明设计了一种可靠性正则损失函数形式：
其中，L表示对于每张行人图像的原损失值，superior表示对原损失进行纠正。总的来说，当主分类器和辅助分类器预测结果不一样的时候，它们之间的KL散度值差异比较大，此时损失值前的权重较小，该伪标签不会被重点学习，因为KL散度值大表明该伪标签很可能是错误的。当KL散度值很小的时候，即主分类器和辅助分类器预测结果接近，表明该伪标签可靠性高，此时正常学习该伪标签。如果没有后面{+Dkl}这一项，模型通常很懒，会倾向于把所有伪标签都说成是不可靠的，那么损失就等于0，然而这对伪标签优化没有任何促进作用。为了避免这种情况，加入了{+Dkl}，当伪标签不可靠时，让网络自身找原因，进行伪标签自优化。
在所述步骤6中，平均网络不根据反向传播更新，是过去网络与主干网络参数的加权结果，由于具有时间上的累积，解耦性更强，输出更加独立和互补。其更新形式可以表示为：
E(T)[θ]＝αE(T-1)[θ]+(1-α)θ
其中，T表示迭代时间，α表示权值超参数，通常取为0.999。通常平均网络提取的特征判别性更强，被用于后续测试阶段。
有益效果：本发明提出了一种基于伪标签优化的无监督域适应行人重识别方法，首次定义了伪标签的负可靠性并设计了新的优化伪标签的损失函数形式，能促进网络基于伪标签可靠性进行自我优化。在标准公开数据集上进行了大量实验，并与现有前沿技术进行了对比分析，结果表明本发明的性能相对现阶段各算法有不错的提升，对无监督域适应行人重识别研究有一定的促进作用和参考价值。
附图说明
图1是本发明的整体流程图。
图2是本发明中空间金字塔池化结构示意图。
图3是本发明中行人重识别任务训练及测试过程简要示意图。
图4是伪标签正确性与可靠性度量值的关系图。
图5是本发明实验部分用到的数据集示例。
具体实施方式
下面结合具体的实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明的实施方式涉及一种基于伪标签优化的无监督域适应行人重识别算法，在基于聚类算法的无监督域适应行人重识别方法基础上，利用神经网络深层与浅层捕捉数据分布的能力不同来衡量伪标签的可靠性，并针对可靠性设计损失函数来使得网络能够自己优化自己，实现流程如图1所示。具体的步骤如下：
步骤1、利用在大型图像数据集ImageNet上预训练的模型对本发明的backbone 网络进行初始化；
步骤2、在源域数据集上进行有监督训练微调模型，并使用不同随机参数得到多个模型，选出其中性能更优的两个；
步骤3、源域数据集上训练的模型初始化提出的伪标签优化框架，并使用聚类算法生成置信度为1的硬伪标签；
步骤4、计算辅助分类器结构输出的类别预测向量与主分类器结构输出的类别预测向量之间的KL散度值；
步骤5、针对硬伪标签，利用KL散度值进行纠正得到两种损失函数，软伪标签由平均网络产生，也分别得到两种损失，利用新的损失函数联合训练网络；
步骤6、不断迭代进行伪标签生成、伪标签可靠性度量与伪标签优化步骤，直至迭代完成模型收敛；利用特征编码网络进行测试，提取的特征判别能力更强的特征编码网络作为最终的选择。
接下来具体展示本发明内容以及具体设置，并结合实验结果进行分析，验证本发明的有效性。
在进一步实施例中，K均值聚类算法具体实现方式如下：
为了得到样本的最合理划分方案，K均值聚类算法通常进行迭代求解，其中K值需要事先指定。其代价函数定义为各个样本与当前所属簇中心点的距离平方和，聚类过程就是要使得聚类结果对应代价函数越来越小，如下所示：
其中，M是样本总数，xi代表第i个样本，ci是xi所属的簇，μ代表簇中心点，算法具体步骤描述如下：
步骤1、首先确定一个K值，即希望将数据集经过聚类之后得到K个簇集合；
步骤2、随机从数据样本选择K个点作为簇心；
步骤3、对数据集中每一个样本，计算其与当前每一个簇心的距离(如欧式距离)，将该样本划分到距离其最近的簇：
步骤4、把所有数据归到对应的集合后，利用新数据重新计算每个集合的簇心：
如果新得到的簇心与原簇心距离变化很大，需要迭代循环步骤3和步骤4，如果二者距离小于某一个设定的阈值，类别分布近乎稳定，或者说收敛，此时表明聚类过程已经达到较优结果，算法终止。
在进一步实施例中，空间金字塔池化具体实现方式如下：
SPP主要用于解决存在FC层的网络在FC层之前需要固定输入尺寸大小的问题。不管输入尺寸多大，SPP结构可以产生固定大小的输出。做法就是用多个不同大小的滑动窗口对卷积输出的特征图池化，最后将计算出的多个结果进行合并，如图2所示。
从下往上分析，第一步是卷积层提取特征得到特征图，第二步金字塔池化，即把原来尺寸大小的特征图分别分成4×4＝16块、2×2＝4块、1×1＝1块，总共21块，对每一小块采用最大池化操作，即将每一块特征图的像素最大值作为该块的输出结果。每张特征图就有21维，输出通道数设置为256的话，总共卷积出来256个特征向量。第三步将池化结果送入全连接层。最终送入全连接层的维度为21×256。
由此可见，不管输入SPP网络的特征图是什么尺寸，最终都会因为进行“分块池化”而输出同样尺寸大小的特征向量，从而达到固定维度的目的。
在进一步实施例中，训练流程及实现细节具体如下，本发明的训练遵从两阶段的训练模式：
源域预训练阶段，采用在ImageNet数据集上预训练的ResNet-50作为骨干网络backbone network，将其最后一层FC层丢弃，另外加上两层FC层。第一层FC层设置成1000维，命名为“FC-1000”，第二层FC层设置成源域数据集类别数，命名为“FC-Ms”。此外，在卷积层最后、在FC层之前加入类SPP模块，其具体结构如前所述。给定带标签的源域数据集，“FC-Ms”的分类预测结果与交叉熵损失函数一起使用；将“FC-1000”作为特征编码结果与基于阈值的三元组损失联合计算。每个mini-batch包含16个行人，每个行人4张图像，一共64张。使用分类损失和三元组损失进行监督训练。该阶段的训练周期(epoch)为80，初始的学习速率为0.00035，学习速率在第40个训练周期和第70个训练周期后衰减10倍。硬三元组损失中的边界阈值m设置为0.5。
在目标域训练阶段，源域数据集上通过不同随机种子预训练的模型参数首先用来初始化主干网络和动量网络，主干网络的辅助分类器分支参数初始化与动量网络分类器分支相同。K均值聚类算法首先根据预训练模型提取的特征进行聚类，得到初始硬伪标签，并在每一epoch开始前进行硬伪标签更新。通过损失回传更新主网络参数；通过动量更新公式更新动量网络参数。完成所有epoch并且网络收敛后，结束训练。将动量网络特征编码部分用于测试过程。其超参数λid和λtri分别设置为0.5和0.8。动量网络参数更新公式中的权值α设置为0.999。该阶段训练周期设置为40，学习率固定为0.0003 不变。使用K均值聚类算法时，为了符合无监督域适应任务中目标域类别数未知的设定，在Market-1501和DukeMTMC-reID数据集上，类别数分别设置为500、700和900。在MSMT17数据集上，类别数设置为500、1000、1500和2000。这些数字与数据集真实行人类别数是不同的。
目标域训练阶段用到的损失函数有如下几种：
硬分类损失函数：
基于阈值的硬三元组损失函数：
用KL散度衡量不同神经网络层提取的特征对两分类器结果的影响，软分类损失函数：
基于特征分布的软三元组损失：
其中，
其中Sim表示分布相似性度量，θ表示平均网络参数，该三元组标签取值范围为0到1，将平均网络的输出作为软标签更为平滑和稳定。
至此，总损失函数可以表示成：
在进一步实施例中，测试流程及测试结果如下：
测试过程如图3，给定查找集Query中某目标查询图像probe和搜索集Gallery中全部图像，送进训练好的特征提取器后得到每张图像的特征向量。选取某种相似度度量方式对二者特征向量进行相似性计算，按照相似性结果从大到小对图片进行排序。特征相似性度量方式通常有两种，一种是欧氏距离：另一种是余弦距离：返回相似度大小排序后，利用行人重识别任务中常用评测指标均值平均精度mAP和第n匹配率rank-n进行性能评价。
实验中使用了三个经典主流的大规模公开行人重识别数据集：Market-1501、DukeMTMC-reID和MSMT17，其具体信息如表1所示。
表1行人重识别公开主流图像数据集
数据集 ID数量 训练集ID数 训练集图像数 测试集ID数 测试搜索集图像 摄像头数量
Market-1501 1501 751 12936 750 16364 6
DukeMTMC-reID 1404 702 16522 702 17661 8
MSMT17 4101 1041 32621 3060 82161 18
与本发明进行比较的算法包括6种不同的基于伪标签生成的无监督域适应行人重识别算法，具体是：TJ-AIDL、SSG、ACT、AD-Cluster、MMT和NRMT。
在Duke-Market、Market-Duke任务上的性能表现如表2所示，当前任务上性能最优的结果采用字体加粗表示。从表中可以看出，本发明的方法PLO相比较一些先进模型有了较大的提升，能达到相当有竞争力的表现，这充分说明了伪标签可靠性度量的正确性。如Duke-Market任务上mAP达到77.6％，成为最优模型。也进一步验证了模型能从网络深层和浅层的不同输出中判定伪标签的可靠性，并基于伪标签可靠总进行优化。
在Duke-MSMT、Market-MSMT任务上同样进行了相关实验，实验结果如表3所示。MSMT17数据集是目前拥有行人图片数量最多的行人重识别数据集之一，这些行人图片采样时间间隔长，光照变化、姿态变化等更剧烈，是本领域最有挑战性的数据集之一。从比较的结果中，本发明提出的模型均大幅度提升了目前在MSMT17数据集上表现最好的方法的评价指标。当以Market-1501为源域数据集时，rank-1准确率达到了53.0％。当以DukeMTMC-reID为源域数据集时，实现了25.8％的mAP，明显优于相同设置下的其他方法。
表2 Duke-Market/Market-Duke任务上的性能表现(％)
方法 mAP rank-1 rank-5 rank-10
TJ-AIDL 26.5/23.0 58.2/44.3 74.8/59.6 81.1/65.0
SSG 58.3/53.4 80.0/73.0 90.0/80.6 92.4/83.2
ACT 60.6/54.5 80.5/72.4 - -
AD-Cluster 68.3/54.1 86.7/72.6 94.4/82.5 96.5/85.5
MMT-500/700 71.2/65.1 87.7/78.0 94.9/88.8 96.9/92.5
NRMT 71.7/62.2 87.8/77.8 94.6/86.9 96.5/89.5
PLO(ours)-500 77.0/67.1 91.9/81.2 96.7/92.7 97.5/93.5
PLO(ours)-700 77.6/69.4 92.1/82.8 96.8/93.3 97.5/94.2
PLO(ours)-900 74.2/67.5 90.8/81.7 94.9/92.8 97.1/93.9
表3 Duke-MSMT/Market-MSMT任务上的性能表现(％)
方法 mAP rank-1 rank-5 rank-10
SSG 13.3/13.2 32.2/31.6 - 51.2/49.6
NRMT 20.6/19.8 45.2/43.7 57.8/56.5 63.3/62.2
MMT-1500 23.3/22.9 50.1/49.2 63.9/63.1 69.8/68.8
PLO(ours)-500 23.6/20.3 49.6/42.0 59.0/52.3 60.3/58.4
PLO(ours)-1000 25.7/24.8 54.9/51.1 66.7/61.2 70.9/67.7
PLO(ours)-1500 25.8/26.7 55.0/53.0 67.9/65.7 71.3/70.2
PLO(ours)-2000 24.6/24.3 53.8/50.9 66.2/61.0 69.0/67.3
图4展示了本发明提出的伪标签可靠性度量结果与伪标签正确与否的关系。从图中可以观察到，若当前伪标签是噪声，通过两层网络层对应的分类输出分布计算得到的 KL散度值也越大；若伪标签就是图像真实标记，KL散度值也越小。也就是说，计算得到的KL散度值越大，表示可靠性(噪声越大)越差，能够间接表明通过聚类或其他算法更可能生成不正确的伪标记。实验结果验证了本发明提出的想法。
针对伪标签可靠性和损失函数的结合方式进行了实验分析，从中选择出了最适合本任务的组合方式，具体对比实验结果如表4所示。该实验Duke-Market任务上完成，目标域类别数设置为700。
表4分析伪标签可靠性与损失函数结合形式Duke-Market(％)
方法 mAP rank-1 rank-5 rank-10
Pre-trained 33.5 62.3 77.0 82.5
Baseline 57.5 79.9 89.7 92.8
常规四损失组合 74.4 90.3 95.3 97.0
硬分类损失纠正 77.0 91.6 96.2 97.4
软分类损失纠正 74.7 89.5 95.7 97.2
软三元组损失纠正 74.5 89.4 95.5 97.1
PLO(ours)-700(硬损失优化) 77.6 92.1 96.8 97.5
对比结果发现伪标签可靠性的加入对于软的损失没有太大的影响。甚至相较于不纠正的网络性能有稍许下降。分析原因如下：由于软标签相较于聚类算法提供的置信度为1的伪标签更为平滑，所以在监督过程中的作用也更为缓和。当聚类算法根据提取的特征得到的聚类结果标签不正确时，通过平均网络得到的分类概率可能是有意义的，二者没有同对同错的对应关系。通过软的损失，网络实际上是在朝某种分类分布靠近，而不是朝着一个错误的标签靠拢。软分类损失是利用平均网络的分类预测结果监督主干网络进行训练，本身设计初衷考虑了网络的指导，所以可靠性的加入对其并没有太多促进作用。对软三元组损失的结合促进不大的原因类似，并且三元组是基于特征分布的，软三元组损失设计的宗旨就是学习其他网络的表现而不是学习过于绝对的聚类伪标签。从某种程度来说与对不同分类器结果进行分布距离度量有异曲同工之处。并且，当网络觉得某聚类标签不可靠时，有平和的软标签拉动网络进行训练，加速了网络训练过程。可靠性的加入反而可能妨碍软标签监督网络学习有判别力的特征表示。
伪标签可靠性度量是为了判别哪些聚类标签是可取的，与硬分类损失的结合对性能影响最大。而软标签是为了促进网络自身能展示出更具判别力的特征。综合各情况，本发明选取了对硬损失(包括分类和三元组)的结合作为最终选择。
本发明借助辅助分类器结构、用KL散度来衡量两种输出之间的分布差异，定义了伪标签可靠性，利用该可靠性促使网络能对自己的输出有正确的“认知”，从而促使网络进行自我优化，最终提升了模型的性能。并且该想法能与其他损失函数进行整合达到更优的表现。
本实施例提供了基于伪标签优化的无监督域适应行人重识别方法的核心思想、步骤和参数。此外，本实施仅为本发明较佳的具体实施方式，具体的实施过程中还需要根据具体的变量和数据调整参数的设置，以达到更好的实际效果。

Claims (1)

1.一种基于伪标签优化的无监督域适应行人重识别方法，其特征在于，包括如下步骤：
步骤S1、使用ResNet-50网络作为主干网络，去除其最后一层全连接层，并额外添加两个全连接层，分别命名为FC-1000和FC-MS；在FC分类器结构之前引入了SPP结构，首先通过1×1的卷积层来控制输出通道数为2048；接着，利用空间金字塔池化整合特征，得到固定尺寸的输出，然后将其送入FC层；最后，使用在大型数据集ImageNet上预训练的模型进行初始化，确保参数的有效性；
步骤S2、行人图像经过统一调整为相同尺寸256×128，随后，我们设置了网络训练的相关参数，并通过调整不同的随机参数进行多次有监督训练；在训练过程中，我们选取了两个性能更好的预训练模型；损失函数方面，采用了交叉熵分类损失和基于阈值的三元组损失；
步骤S3、网络由三条支路组成，平均网络是主干网络的过去形式，而源域数据集训练好的两个更优模型被用来初始化主干网络和平均网络，主干网络与平均网络的结构有所不同，在ResNet-50-4b5网络层和ResNet-50-5c网络层，分别引入了辅助分类器和主分类器结构，只有主分类器所属的分支结构会被用来在源域上进行训练；此外，辅助结构的网络参数也同样使用源域预训练参数进行初始化；最后，指定了K-Means聚类算法所需的超参数K，代表最终生成的样本类别数，聚类算法被用于为目标域图像生成置信度为1的硬伪标签；
步骤S4、对于每张输入图像，主干网络的主分类器和辅助分类器分别生成不同的类别概率预测，使用相对熵公式计算这两类别预测之间的概率分布距离，结果越大，表示通过聚类算法生成的伪标签越不可靠；
步骤S5、首先，根据计算得到的相对熵值，设计一种正则化损失形式，分别应用于硬分类损失和硬三元组损失，形成正则分类损失和正则三元组损失；其次，利用平均网络为主干网络提供软的伪标签，分别设计为软分类损失和软三元组损失；最后，这四种损失函数通过加权形式组合在一起，对网络进行优化；
步骤S6、聚类算法用于为主干网络生成硬伪标签，通过可靠性度量值来校正硬损失，同时，平均网络为主干网络生成软伪标签，并设计相应的软损失，整个过程包括伪标签生成、伪标签批判度量、伪标签优化步骤，直至模型收敛，在测试阶段，利用平均网络的特征编码部分提取目标域测试集中查询图像和搜索集图像的特征，度量二者之间的相似度，返回相似度从高到低的排序结果，并计算评价指标，以完成行人重识别检索任务。
CN202110469776.8A 2021-04-28 2021-04-28 一种基于伪标签优化的无监督域适应行人重识别方法 Active CN113378632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110469776.8A CN113378632B (zh) 2021-04-28 2021-04-28 一种基于伪标签优化的无监督域适应行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110469776.8A CN113378632B (zh) 2021-04-28 2021-04-28 一种基于伪标签优化的无监督域适应行人重识别方法

Publications (2)

Publication Number Publication Date
CN113378632A CN113378632A (zh) 2021-09-10
CN113378632B true CN113378632B (zh) 2024-04-12

Family

ID=77570258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110469776.8A Active CN113378632B (zh) 2021-04-28 2021-04-28 一种基于伪标签优化的无监督域适应行人重识别方法

Country Status (1)

Country Link
CN (1) CN113378632B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860678B (zh) * 2020-07-29 2024-02-27 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
CN113807425B (zh) * 2021-09-11 2023-11-10 中南大学 基于自适应正则深度聚类的组织病理图像分类方法
CN113807371B (zh) * 2021-10-08 2024-03-29 中国人民解放军国防科技大学 一种类条件下的有益特征对齐的无监督域自适应方法
CN113887643B (zh) * 2021-10-12 2023-07-18 西安交通大学 一种基于伪标签自训练和源域再训练的新对话意图识别方法
CN113642547B (zh) * 2021-10-18 2022-02-11 中国海洋大学 一种基于密度聚类的无监督域适应人物重识别方法及系统
CN113657561B (zh) * 2021-10-20 2022-03-18 之江实验室 一种基于多任务解耦学习的半监督夜间图像分类方法
CN113673631B (zh) * 2021-10-22 2022-03-29 广东众聚人工智能科技有限公司 异常图像检测方法及装置
CN113704479B (zh) * 2021-10-26 2022-02-18 深圳市北科瑞声科技股份有限公司 无监督的文本分类方法、装置、电子设备及存储介质
CN114299543A (zh) * 2021-12-29 2022-04-08 福州大学 一种无监督行人重识别方法
CN114461802A (zh) * 2022-02-09 2022-05-10 湘潭大学 一种针对拒答问题的机器阅读理解模型的自训练方法
CN114494800B (zh) * 2022-02-17 2024-05-10 平安科技（深圳）有限公司 预测模型训练方法、装置、电子设备及存储介质
CN114758130B (zh) * 2022-04-21 2023-12-22 北京百度网讯科技有限公司 图像处理及模型训练方法、装置、设备和存储介质
CN115100690B (zh) * 2022-08-24 2022-11-15 天津大学 一种基于联合学习的图像特征提取方法
CN115862087B (zh) * 2022-09-26 2023-06-23 哈尔滨工业大学 基于可靠性建模的无监督行人重识别方法及系统
CN115272777B (zh) * 2022-09-26 2022-12-23 山东大学 面向输电场景的半监督图像解析方法
CN116824695A (zh) * 2023-06-07 2023-09-29 南通大学 一种基于特征去噪的行人再识别非局部防御方法
CN116703897B (zh) * 2023-08-02 2023-10-13 青岛兴牧畜牧科技发展有限公司 一种基于图像处理的猪只体重估值方法
CN117173476B (zh) * 2023-09-05 2024-05-24 北京交通大学 一种单源域泛化行人再识别方法
CN116935447B (zh) * 2023-09-19 2023-12-26 华中科技大学 基于自适应师生结构的无监督域行人重识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345900A (zh) * 2018-01-12 2018-07-31 浙江大学 基于颜色纹理分布特征的行人重识别方法及其系统
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
CN111967294A (zh) * 2020-06-23 2020-11-20 南昌大学 一种无监督域自适应的行人重识别方法
CN112069920A (zh) * 2020-08-18 2020-12-11 武汉大学 基于属性特征驱动聚类的跨域行人重识别方法
CN112507901A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于伪标签自纠正的无监督行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190325861A1 (en) * 2018-04-18 2019-10-24 Maneesh Kumar Singh Systems and Methods for Automatic Speech Recognition Using Domain Adaptation Techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345900A (zh) * 2018-01-12 2018-07-31 浙江大学 基于颜色纹理分布特征的行人重识别方法及其系统
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
CN111967294A (zh) * 2020-06-23 2020-11-20 南昌大学 一种无监督域自适应的行人重识别方法
CN111860678A (zh) * 2020-07-29 2020-10-30 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
CN112069920A (zh) * 2020-08-18 2020-12-11 武汉大学 基于属性特征驱动聚类的跨域行人重识别方法
CN112507901A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于伪标签自纠正的无监督行人重识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fuzzy Multilayer Clustering and Fuzzy Label Regularization for Unsupervised Person Reidentification;Zhong Zhang等;《IEEE Transactions on Fuzzy Systems》;全文 *
半监督单样本深度行人重识别方法;单纯;王敏;;计算机系统应用(01);全文 *
基于伪标签优化的跨域行人重识别方法研究;何爱清;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 *
基于多粒度姿态融合和重排序的行人重识别方法研究;刘咏;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 *
基于局部语义特征不变性的跨域行人重识别;张晓伟;吕明强;李慧;;北京航空航天大学学报;20200930(09);全文 *

Also Published As

Publication number Publication date
CN113378632A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN110826630B (zh) 基于深度卷积神经网络的雷达干扰信号特征级融合识别方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN107515895B (zh) 一种基于目标检测的视觉目标检索方法与系统
Zhou et al. Automatic radar waveform recognition based on deep convolutional denoising auto-encoders
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN109190544B (zh) 一种基于序列深度图像的人体身份识别方法
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN110942091A (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN112800249A (zh) 基于生成对抗网络的细粒度跨媒体检索方法
CN115527269B (zh) 一种人体姿态图像智能识别方法及系统
CN108877947A (zh) 基于迭代均值聚类的深度样本学习方法
CN115311449A (zh) 基于类重激活映射图的弱监督图像目标定位分析系统
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant