CN113743314A - 一种基于双聚类协作学习的跨域行人重识别方法 - Google Patents

一种基于双聚类协作学习的跨域行人重识别方法 Download PDF

Info

Publication number
CN113743314A
CN113743314A CN202111041143.3A CN202111041143A CN113743314A CN 113743314 A CN113743314 A CN 113743314A CN 202111041143 A CN202111041143 A CN 202111041143A CN 113743314 A CN113743314 A CN 113743314A
Authority
CN
China
Prior art keywords
net
domain
clustering
pedestrian
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111041143.3A
Other languages
English (en)
Inventor
郭继峰
庞志奇
李明
戚铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202111041143.3A priority Critical patent/CN113743314A/zh
Publication of CN113743314A publication Critical patent/CN113743314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于双聚类协作学习的跨域行人重识别方法。包括如下步骤：1：利用风格迁移模型实现源域和目标域之间的迁移，之后两个特征提取模型Net 1和Net 2分别在源域和源域生成图像集上进行监督学习；2：利用Net 1和Net 2对目标域和目标域生成图像集进行特征提取，之后利用DBSCAN方法对特征进行聚类；3：核对聚类结果，选取高置信度的结果分别优化Net 1和Net 2。本发明设计的双聚类方法通过核对两个域上的聚类结果，为模型优化选取了具有高置信度的样本对，最终提升了模型在目标域上的识别性能。

Description

一种基于双聚类协作学习的跨域行人重识别方法
技术领域：
本发明涉及行人重识别领域，尤其涉及一种基于双聚类协作学习的跨域行人重识别方法。
背景技术：
行人重识别(ReID)的目的是检索不同场景下具有指定身份的行人图像。目前，在单一领域中的行人重识别任务已取得了激动人心的性能。但是这一理想的性能主要依赖一个假设：训练数据和测试数据来自同一领域，且存在大量的标记数据用于训练。然而，这一假设在现实中往往不能成立，因为我们不能为每个新场景标注大量的数据。由于域间差距的影响，当被应用于没有标记数据的新场景时，模型的性能会急剧下降。
为了在不增加标注成本的前提下提升模型在新场景中的识别性能，跨域行人重识别逐渐受到关注。跨域ReID通常基于标记的源域和未标记的目标域对模型进行优化，目的是提升模型在目标域的测试集上的性能。目前跨域的行人重识别方法可以分为两种：邻域适应ReID方法和无监督ReID方法。
邻域适应方法的目的是减小域间差距并充分利用源域中的标记信息。目前基于风格迁移的域适应方法被广泛应用于跨域行人重识别任务中。例如PTGAN基于CycleGAN对图像进行风格迁移，并设计损失函数对行人身份进行控制；类似的，SPGAN同样利用CycleGAN实现风格迁移，除此之外，SPGAN还利用SiaNet控制样本对之间的距离。PTGAN和SPGAN虽然保证了生成图像和原图像的身份的一致性，但图像整体风格也未发生显著变化，故难以实现充分的域适应。目前无监督ReID方法中，基于聚类的方法取得了较高性能。例如BUC首先对目标域中的样本进行聚类，之后设计了repelled loss对模型进行优化。类似的，HCT也使用了自底向上的聚类，并使用困难三元组损失对模型进行优化。
然而，聚类结果中不可避免的存在错误信息，而错误信息的存在必然会影响模型的最终性能。针对以上问题，我们提出了一种基于双聚类协作学习的跨域行人重识别方法。基于风格迁移模型，该方法能够通过核对风格迁移前后的聚类结果选取具有高置信度的聚类信息，之后在困难三元组的指导下进行优化。
发明内容：
本发明的目的是克服现有方法的不足，基于聚类的跨域行人重识别方法，特别是涉及一种基于双聚类协作学习的跨域行人重识别方法，以解决跨域重识别中聚类结果置信度较低的问题。
一种基于双聚类协作学习的跨域行人重识别方法，其特征在于，包括如下步骤：
步骤1：利用风格迁移模型实现源域和目标域之间的迁移，之后两个特征提取模型Net 1和Net 2分别在源域和源域生成图像集上进行监督学习。
步骤2：利用Net 1和Net 2对目标域和目标域生成图像集进行特征提取，之后利用DBSCAN方法对特征进行聚类；
步骤3：核对聚类结果，选取高置信度的结果分别优化Net 1和Net 2。
步骤1的实现包括：
步骤1.1：利用风格迁移模型将源域数据{Xs,Ys}迁移到目标域，生成图像集
Figure BDA0003249265490000021
其中生成图像的标签与源域图像相同：
Figure BDA0003249265490000022
其中G1表示该风格迁移处理过程。
步骤1.2：利用风格迁移模型将目标域数据{Xt}迁移到源域，生成图像集
Figure BDA0003249265490000023
其中生成图像不带标签：
Figure BDA0003249265490000024
其中G2表示该风格迁移处理过程。
步骤1.3：特征提取模型Net 1在{Xs,Ys}上进行监督学习，将此部分视为行人身份分类问题，使用交叉熵损失对Net 1进行优化：
Figure BDA0003249265490000031
其中n为训练批次的大小，
Figure BDA0003249265490000032
是该批次中第i个样本，
Figure BDA0003249265490000033
为其标签。
Figure BDA0003249265490000034
是由身份分类组件对
Figure BDA0003249265490000035
属于
Figure BDA0003249265490000036
的预测概率。
特征提取模型Net 2在{Xg,Ys}上进行监督学习，同样将此部分视为行人身份分类问题，使用交叉熵损失对Net 2进行优化：
Figure BDA0003249265490000037
其中n为训练批次的大小，
Figure BDA0003249265490000038
是该批次中第i个样本，
Figure BDA0003249265490000039
为其标签。
Figure BDA00032492654900000310
是由身份分类组件对
Figure BDA00032492654900000311
属于
Figure BDA00032492654900000312
的预测概率。
步骤2的实现包括：
步骤2.1：使用Net 1对
Figure BDA00032492654900000313
中的样本进行特征提取；使用Net 2对{Xt}中的样本进行特征提取，得到特征集Vt g和Vt。
步骤2.2：利用DBSCAN方法对特征集Vt g和Vt进行聚类，得到在两个域上分别得到聚类结果。
步骤3的实现包括：
步骤3.1：在
Figure BDA00032492654900000314
和{Xt}中选取相同聚类结果：例如，当
Figure BDA00032492654900000315
为{Xt}中的正样本对，且
Figure BDA00032492654900000316
和
Figure BDA00032492654900000317
经过风格迁移后是
Figure BDA00032492654900000318
上的正样本对时，认为
Figure BDA00032492654900000319
具有较高置信度，将其作为Net 2的有效样本对；否则认为
Figure BDA00032492654900000320
置信度较低，将其丢弃。
步骤3.2：基于困难三元组损失和得到的高置信度样本对对模型进行优化。其中困难三元组损失定义为：
Figure BDA00032492654900000321
其中dist(·,·)为用于测量两个特征距离的函数。对于聚类结果，首先选定P个不同的簇，之后从每个簇中选择K个样本，组成P×K的样本组合。之后对于每个
Figure BDA0003249265490000041
最小化其与最困难的正样本的距离，最大化其与最困难的负样本的距离。
本发明的有益效果：考虑到基于聚类的方法中，聚类结果置信度较低的问题，本发明设计了一种基于双聚类协作学习的跨域行人重识别方法。该方法通过对比两个域上的聚类结果来为模型优化选取具有较高置信度的样本对，从而保证了聚类结果的准确度，进一步提升了最终的识别性能。
附图说明：
图1是一种基于双聚类协作学习的跨域行人重识别方法的流程图。
图2是一种基于双聚类协作学习的跨域行人重识别方法的整体框架图。
图3是在目标域上行人图像的特征优化图。
具体实施方式：
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施的具体流程图，图2是本发明的整体框架图，如图1图2所示，该方法包括：
步骤1：利用风格迁移模型实现源域和目标域之间的迁移，之后两个特征提取模型Net 1和Net 2分别在源域和源域生成图像集上进行监督学习。
步骤2：利用Net 1和Net 2对目标域和目标域生成图像集进行特征提取，之后利用DBSCAN方法对特征进行聚类；
步骤3：核对聚类结果，选取高置信度的结果分别优化Net 1和Net 2。
步骤1的实现包括：
步骤1.1：利用风格迁移模型将源域数据{Xs,Ys}迁移到目标域，生成图像集
Figure BDA0003249265490000051
其中生成图像的标签与源域图像相同：
Figure BDA0003249265490000052
其中G1表示该风格迁移处理过程。
步骤1.2：利用风格迁移模型将目标域数据{Xt}迁移到源域，生成图像集
Figure BDA0003249265490000053
其中生成图像不带标签：
Figure BDA0003249265490000054
其中G2表示该风格迁移处理过程。
步骤1.3：特征提取模型Net 1在{Xs,Ys}上进行监督学习，将此部分视为行人身份分类问题，使用交叉熵损失对Net 1进行优化：
Figure BDA0003249265490000055
其中n为训练批次的大小，
Figure BDA0003249265490000056
是该批次中第i个样本，
Figure BDA0003249265490000057
为其标签。
Figure BDA0003249265490000058
是由身份分类组件对
Figure BDA0003249265490000059
属于
Figure BDA00032492654900000510
的预测概率。
特征提取模型Net 2在{Xg,Ys}上进行监督学习，同样将此部分视为行人身份分类问题，使用交叉熵损失对Net 2进行优化：
Figure BDA00032492654900000511
其中n为训练批次的大小，
Figure BDA00032492654900000512
是该批次中第i个样本，
Figure BDA00032492654900000513
为其标签。
Figure BDA00032492654900000514
是由身份分类组件对
Figure BDA00032492654900000515
属于
Figure BDA00032492654900000516
的预测概率。
步骤2的实现包括：
步骤2.1：使用Net 1对
Figure BDA00032492654900000517
中的样本进行特征提取；使用Net 2对{Xt}中的样本进行特征提取，得到特征集Vt g和Vt。
步骤2.2：利用DBSCAN方法对特征集Vt g和Vt进行聚类，得到在两个域上分别得到聚类结果。最终使得相似样本位于同一簇中。
步骤3的实现包括：
步骤3.1：在
Figure BDA0003249265490000061
和{Xt}中选取相同聚类结果：例如，当
Figure BDA0003249265490000062
为{Xt}中的正样本对，且
Figure BDA0003249265490000063
和
Figure BDA0003249265490000064
经过风格迁移后是
Figure BDA0003249265490000065
上的正样本对时，认为
Figure BDA0003249265490000066
具有较高置信度，将其作为Net 2的有效样本对；否则认为
Figure BDA0003249265490000067
置信度较低，将其丢弃。
步骤3.2：基于困难三元组损失和得到的高置信度样本对对模型进行优化。其中困难三元组损失定义为：
Figure BDA0003249265490000068
其中dist(·,·)为用于测量两个特征距离的函数。对于聚类结果，首先选定P个不同的簇，之后从每个簇中选择K个样本，组成P×K的样本组合。之后对于每个
Figure BDA0003249265490000069
最小化其与最困难的正样本的距离，最大化其与最困难的负样本的距离，优化过程如图3所示。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。
本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (4)

1.一种基于双聚类协作学习的跨域行人重识别方法，其特征在于：包括如下步骤：
步骤1：利用风格迁移模型实现源域和目标域之间的迁移，之后两个特征提取模型Net1和Net 2分别在源域和源域生成图像集上进行监督学习。
步骤2：利用Net 1和Net 2对目标域和目标域生成图像集进行特征提取，之后利用DBSCAN方法对特征进行聚类；
步骤3：核对聚类结果，选取高置信度的结果分别优化Net 1和Net 2。
2.根据权利要求1所述的基于双聚类协作学习的跨域行人重识别方法，其特征在于：步骤1具体包括以下步骤：
步骤1.1：利用风格迁移模型将源域数据{Xs,Ys}迁移到目标域，生成图像集
Figure FDA0003249265480000011
其中生成图像的标签与源域图像相同：
Figure FDA0003249265480000012
其中G1表示该风格迁移处理过程。
步骤1.2：利用风格迁移模型将目标域数据{Xt}迁移到源域，生成图像集
Figure FDA0003249265480000013
其中生成图像不带标签：
Figure FDA0003249265480000014
其中G2表示该风格迁移处理过程。
步骤1.3：特征提取模型Net 1在{Xs,Ys}上进行监督学习，将此部分视为行人身份分类问题，使用交叉熵损失对Net 1进行优化：
Figure FDA0003249265480000015
其中n为训练批次的大小，
Figure FDA0003249265480000016
是该批次中第i个样本，
Figure FDA0003249265480000017
为其标签。
Figure FDA0003249265480000018
是由身份分类组件对
Figure FDA0003249265480000019
属于
Figure FDA00032492654800000110
的预测概率。
特征提取模型Net 2在{Xg,Ys}上进行监督学习，同样将此部分视为行人身份分类问题，使用交叉熵损失对Net 2进行优化：
Figure FDA00032492654800000111
其中n为训练批次的大小，
Figure FDA0003249265480000021
是该批次中第i个样本，
Figure FDA0003249265480000022
为其标签。
Figure FDA0003249265480000023
是由身份分类组件对
Figure FDA0003249265480000024
属于
Figure FDA0003249265480000025
的预测概率。
3.根据权利要求1所述的基于双聚类协作学习的跨域行人重识别方法，其特征在于：步骤2具体包括以下步骤：
步骤2.1：使用Net 1对
Figure FDA0003249265480000026
中的样本进行特征提取；使用Net 2对{Xt}中的样本进行特征提取，得到特征集Vt g和Vt。
步骤2.2：利用DBSCAN方法对特征集Vt g和Vt进行聚类，得到在两个域上分别得到聚类结果。
4.根据权利要求1所述的基于双聚类协作学习的跨域行人重识别方法，其特征在于：步骤3具体包括以下步骤：
步骤3.1：在
Figure FDA0003249265480000027
和{Xt}中选取相同聚类结果：例如，当
Figure FDA0003249265480000028
为{Xt}中的正样本对，且
Figure FDA0003249265480000029
和
Figure FDA00032492654800000210
经过风格迁移后是
Figure FDA00032492654800000211
上的正样本对时，认为
Figure FDA00032492654800000212
具有较高置信度，将其作为Net 2的有效样本对；否则认为
Figure FDA00032492654800000213
置信度较低，将其丢弃。
步骤3.2：基于困难三元组损失和得到的高置信度样本对对模型进行优化。其中困难三元组损失定义为：
Figure FDA00032492654800000214
其中dist(·,·)为用于测量两个特征距离的函数。对于聚类结果，首先选定P个不同的簇，之后从每个簇中选择K个样本，组成P×K的样本组合。之后对于每个
Figure FDA00032492654800000215
最小化其与最困难的正样本的距离，最大化其与最困难的负样本的距离。
CN202111041143.3A 2021-09-07 2021-09-07 一种基于双聚类协作学习的跨域行人重识别方法 Pending CN113743314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111041143.3A CN113743314A (zh) 2021-09-07 2021-09-07 一种基于双聚类协作学习的跨域行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111041143.3A CN113743314A (zh) 2021-09-07 2021-09-07 一种基于双聚类协作学习的跨域行人重识别方法

Publications (1)

Publication Number Publication Date
CN113743314A true CN113743314A (zh) 2021-12-03

Family

ID=78736235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111041143.3A Pending CN113743314A (zh) 2021-09-07 2021-09-07 一种基于双聚类协作学习的跨域行人重识别方法

Country Status (1)

Country Link
CN (1) CN113743314A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646863U (ja) * 1992-12-08 1994-06-28 カミマル株式会社 スパナ
TW488355U (en) * 2001-10-19 2002-05-21 Great Lotus Corp Wrench's adjustable positioning device
US20030164072A1 (en) * 2002-03-04 2003-09-04 Chorng-Jiang Lin Wrench locking and positioning device
US20030188607A1 (en) * 2002-04-09 2003-10-09 Chih-Ching Hsien Orientation adjustable spanner
US20040163503A1 (en) * 2003-02-24 2004-08-26 Chih-Ching Hsien Angle adjustable hand tools
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
CN112633071A (zh) * 2020-11-30 2021-04-09 之江实验室 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN112766237A (zh) * 2021-03-12 2021-05-07 东北林业大学 一种基于簇特征点聚类的无监督行人重识别方法
CN112966647A (zh) * 2021-03-25 2021-06-15 东北林业大学 一种基于逐层聚类及增强判别的行人重识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646863U (ja) * 1992-12-08 1994-06-28 カミマル株式会社 スパナ
TW488355U (en) * 2001-10-19 2002-05-21 Great Lotus Corp Wrench's adjustable positioning device
US20030164072A1 (en) * 2002-03-04 2003-09-04 Chorng-Jiang Lin Wrench locking and positioning device
US20030188607A1 (en) * 2002-04-09 2003-10-09 Chih-Ching Hsien Orientation adjustable spanner
US20040163503A1 (en) * 2003-02-24 2004-08-26 Chih-Ching Hsien Angle adjustable hand tools
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
CN112633071A (zh) * 2020-11-30 2021-04-09 之江实验室 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN112766237A (zh) * 2021-03-12 2021-05-07 东北林业大学 一种基于簇特征点聚类的无监督行人重识别方法
CN112966647A (zh) * 2021-03-25 2021-06-15 东北林业大学 一种基于逐层聚类及增强判别的行人重识别方法

Similar Documents

Publication Publication Date Title
CN114596566B (zh) 文本识别方法及相关装置
WO2022095356A1 (zh) 用于图像分类的迁移学习方法、相关装置及存储介质
CN112766237A (zh) 一种基于簇特征点聚类的无监督行人重识别方法
CN111680702A (zh) 一种使用检测框实现弱监督图像显著性检测的方法
CN113642547A (zh) 一种基于密度聚类的无监督域适应人物重识别方法及系统
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN110570490B (zh) 显著性图像生成方法及设备
CN112016594A (zh) 一种基于领域自适应的协同训练方法
CN114386482B (zh) 一种基于半监督增量学习的图片分类系统及分类方法
US20220215679A1 (en) Method of determining a density of cells in a cell image, electronic device, and storage medium
CN114882325A (zh) 基于二阶段物体检测器的半监督物检测及训练方法、装置
CN110647897B (zh) 一种基于多部分注意力机制的零样本图像分类识别方法
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN113569814A (zh) 一种基于特征一致性的无监督行人重识别方法
Deng et al. Boosting semi-supervised learning with Contrastive Complementary Labeling
CN113743314A (zh) 一种基于双聚类协作学习的跨域行人重识别方法
CN114078471A (zh) 网络模型处理方法、装置、设备及计算机可读存储介质
CN111260659A (zh) 一种基于初始标注点指导的图像交互分割方法
CN116310293A (zh) 一种基于弱监督学习的生成高质量候选框目标检测方法
CN111177403A (zh) 样本数据的处理方法和装置
CN112348102B (zh) 一种基于查询的自底向上视频定位方法和系统
CN115937742A (zh) 视频场景分割、视觉任务处理方法、装置、设备以及介质
CN112819098A (zh) 一种基于三元组和差额度量的域自适应方法
CN114495134A (zh) 基于分割和回归的文本检测方法、系统及计算机存储介质
CN112445939A (zh) 一种社交网络群体发现系统、方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211203

WD01 Invention patent application deemed withdrawn after publication