CN111598004A - 一种渐进增强自学习的无监督跨领域行人再识别方法 - Google Patents

一种渐进增强自学习的无监督跨领域行人再识别方法 Download PDF

Info

Publication number
CN111598004A
CN111598004A CN202010420131.0A CN202010420131A CN111598004A CN 111598004 A CN111598004 A CN 111598004A CN 202010420131 A CN202010420131 A CN 202010420131A CN 111598004 A CN111598004 A CN 111598004A
Authority
CN
China
Prior art keywords
network model
pedestrian
similarity
target domain
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010420131.0A
Other languages
English (en)
Other versions
CN111598004B (zh
Inventor
沈春华
张欣彧
李峥嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingguang Shitu Technology Co ltd
Li Zhengrong
Original Assignee
Beijing Xingguang Shitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingguang Shitu Technology Co ltd filed Critical Beijing Xingguang Shitu Technology Co ltd
Priority to CN202010420131.0A priority Critical patent/CN111598004B/zh
Publication of CN111598004A publication Critical patent/CN111598004A/zh
Application granted granted Critical
Publication of CN111598004B publication Critical patent/CN111598004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Abstract

本发明公开了一种渐进增强自学习的无监督跨领域行人再识别方法，该方法首先是在有标签原始域数据集上训练得到的网络模型上提取无标签目标域数据集的初始特征，计算相似度得分矩阵，利用HDBSCAN聚类给予目标域数据伪类标，并利用基于Triplet损失函数进行模型重训，随后使用基于Softmax损失函数在带有聚类中心特征初始化分类层的网络模型上再次进行重训，两阶段交替循环学习，相互修正，最后提取网络模型的判别特征作为图片的特征表征，进行特征层面的比对。采用本发明提供的方法能够逐渐增强网络模型的收敛能力及高模型的信息表征能力，进而能够提高网络模型在无标签目标域数据上的泛化能力，从而能够提高无监督跨领域行人再识别精度。

Description

一种渐进增强自学习的无监督跨领域行人再识别方法
技术领域
本发明涉及一种行人再识别方法，具体涉及一种渐进增强自学习的无监督跨领域行人再识别方法，属于图像处理技术领域。
背景技术
行人再识别是指：给定某摄像头下待检索目标行人，在不同摄像头下将其定位出来，即逐一确认该目标行人是否出现在其他摄像头下。
行人再识别在视频监控、安全防护、辅助侦查等领域具有十分重要的现实意义。
近年来，随着深度学习的快速发展，许多有监督条件下的行人再识别工作取得了突飞猛进的效果，即在大量有身份信息的行人数据集上进行深度神经网络训练，并在同一场景下进行行人再识别。然而，标注大量数据需要巨大的人力和时间成本，因此出现了许多无监督学习方法，无监督学习方法可以充分利用极易获取的无标签数据。相比于有标签数据，无标签数据不提供身份信息，使得网络训练缺少指导性，因此采用无监督学习方法进行行人再识别的效果很差，无法应用于实际生活中。
为了解决无监督学习方法存在的行人再识别效果很差的问题，许多无监督跨领域方法提出了同时使用有标签数据和无标签数据。然而，直接将在有标签数据(原始域)上训练好的模型应用到无标签数据(目标域)上会造成极大的性能偏差，主要问题表现在：
1)由摄像头不同所带来的两个不同领域的图片差异性，例如：光照、颜色、清晰度等；
2)由不同场景所带来的人物特性差异，例如：学校场景下行人多背包或骑车、商场场景下行人的遮挡问题等。
为了解决上述问题，提高在目标域的识别精度，常用的方法是给予目标域的数据伪标签，即利用原始域训练好的模型，在目标域上提取特征，并根据特征之间的相关性来对目标域数据进行分类。该类方法目标是简单有效地对无标签目标域数据进行标注，进而扩充有标签数据，实现数据增强，提高模型的泛化能力。由于没有使用目标域的真实类标，且有效利用了原始域所得到的信息，因此该类方法也统称为无监督跨领域方法。
目前，常用的无监督跨领域方法主要是k-means、DBSCAN等聚类方法，这些方法将无标签目标数据分离成不同的聚类簇，并假设同一个聚类簇的样本属于同一个人。通过这种方法，将无标签目标数据给予伪类标，进而像有监督学习一样利用带有伪类标的目标样本进行模型训练。然而，该类方法模型的性能很大程度上取决于聚类效果的好坏，即是否真实属于同一个人的样本被聚类到同一个聚类簇中。换句话说，模型的性能的好坏取决于样本的真实类别和伪类标的匹配程度。错误标注的样本与正确标注的样本的比例大小很大程度上影响了模型的泛化能力。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种渐进增强自学习的无监督跨领域行人再识别方法，该方法通过渐进自学习，能够逐渐增强聚类质量，减少聚类质量低对于模型训练的不利影响，进而提高模型的泛化能力。
为了实现上述目标，本发明采用如下的技术方案：
一种渐进增强自学习的无监督跨领域行人再识别方法，其特征在于，包括如下步骤：
步骤1：在有标签原始域数据集S上进行网络模型训练，得到初始的网络模型，前述初始的网络模型为改进的Resnet-50深度网络模型，该改进的Resnet-50深度网络模型是在原始的Resnet-50深度网络模型的基础上做的修改，修改的内容包括：
(1)将卷积层的卷积核大小由7×7变为3×3；
(2)将全局平均池化层变为分块平均池化层；
(3)将全连接分类层根据当前网络模型HDBSCAN聚类后的类别数目进行初始化；
步骤2：提取无标签目标域训练数据集T在网络模型上的特征，并计算两两特征之间的余弦相似度，根据余弦相似度从高到低进行排序，得到相似度得分矩阵DR；
步骤3：利用基于密度的HDBSCAN聚类算法在相似度得分矩阵DR上进行聚类，将无标签目标域训练数据集T分为C个聚类簇，每一个聚类簇的样本给与相同的类标，得到带有伪类标的目标域训练数据子集TU；
步骤4：联合使用基于聚类的批次难样本挖掘的Triplet损失函数和基于相似度得分矩阵DR的Triplet损失函数，在步骤3得到的带有伪类标的目标域训练数据子集TU上进行网络模型重训练，得到新的网络模型；
步骤5：在步骤4得到的新的网络模型上提取带有伪类标的目标域训练数据子集TU的特征，并分别对每一个聚类簇的样本特征求均值，得到聚类簇的聚类中心特征，然后利用得到的聚类中心特征初始化类别数目为C的网络模型分类层参数；
步骤6：将步骤5得到的分类层连接到步骤4得到的新的网络模型上，然后在带有伪类标的目标域训练数据子集TU上对网络模型再次进行Softmax损失函数指导的网络重训练，进一步更新网络模型的参数；
步骤7：利用步骤6得到的新的网络模型，在整个无标签目标域训练数据集T上重新提取特征，并将提取到的特征反馈给步骤2，完成一个循环的训练然后循环执行步骤2到步骤7，直到网络模型收敛或达到最大循环次数Imax，之后执行步骤8；
步骤8：提取步骤7中全局平均池化层特征或者分块平均池化层特征，以此特征作为特征表征；
步骤9：利用步骤8得到的特征表征，一一对比测试集和数据库中行人图片的相似度，并按照相似度从高到低进行排序；
步骤10：针对每一张测试图片，取步骤9中相似度排名前K的对应数据库图片的身份信息，如果其中包含与测试图片身份信息相同的行人，则记为行人再识别成功，否则记为行人再识别失败。
本发明的有益之处在于：
1)本发明提出了基于相似度得分矩阵的Triplet损失函数，使得三元组的生成不依赖于聚类质量的好坏，从而增强了局部特征的表征能力；
2)本发明提出了利用聚类中心特征初始化网络模型分类层，解决了由随机初始化带来的网络模型波动，进而充分利用基于Softmax损失函数训练带来的全局特征表征能力的提升，解决了由局部特征带来的训练波动，提高了网络模型的收敛能力和泛化性能；
3)本发明提出了渐进增强自学习训练方法，将基于Triplet损失函数的重训练和基于Softmax损失函数的重训练循环交替进行，使得网络模型能够逐步提升在局部和全局的特征表征，从而提高了网络模型在无标签目标数据上的表征能力；
4)本发明提取的特征能够很好地表征无标签目标域数据，进而提升了无标签跨领域行人再识别的准确率和召回率。
附图说明
图1是本发明提出的渐进增强自学习的无监督跨领域行人再识别方法的整体流程图；
图2是改进的Resnet-50深度网络模型的结构图；
图3是循环训练算法的流程图；
图4是以原始域为有标签Duke数据集、目标域为无标签Market-1501数据集为例，不同循环训练阶段生成的三元组对示意图，其中，
Figure BDA0002496634260000062
表示生成的三元组对正确，
Figure BDA0002496634260000061
表示生成的三元组对错误。
具体实施方式
本发明提供的渐进增强自学习的无监督跨领域行人再识别方法，其整体思路如下：
首先给定在有标签原始域数据集上训练得到的初始网络模型，然后提取整个无标签目标域训练数据集的初始特征(作为整个方法的初始输入)，并计算两两特征之间的余弦相似度，将余弦相似度从高到低排序后得到相似度得分矩阵，之后利用HDBSCAN聚类算法在相似度得分矩阵上进行聚类，生成带有伪类标的目标域训练数据子集，并在此带有伪类标的目标域训练数据子集上利用基于Triplet损失函数重训练网络模型，在局部特征上进行优化，接下来提取当前网络模型在带有伪类标的目标域训练数据子集上的特征，并计算属于同一个聚类簇的样本特征均值，随后利用样本特征均值初始化网络模型分类层的网络参数(即初始化网络模型分类层)，并利用基于Softmax损失函数进行带有分类层的网络模型的重训练，在全局特征上进行优化，之后再次提取当前网络模型在整个目标域训练数据集上的特征，并返回上一阶段，完成一个循环的训练，经过循环进行若干阶段的训练，得到泛化能力较好的特征表征，最后利用完全重训练后的网络模型提取出的特征作为行人图片特征进行行人再识别。
为更好地表达本发明提出的渐进增强自学习的无监督跨领域行人再识别方法，下面以原始域为有标签Duke数据集、目标域为无标签Market-1501数据集为例，取改进的Resnet-50深度网络模型为初始的网络模型，特征表征长度为2048维，结合附图和具体实施例对本发明提出的渐进增强自学习的无监督跨领域行人再识别方法进行进一步的说明。
参照图1，本发明提出的渐进增强自学习的无监督跨领域行人再识别方法主要包括10步：网络模型初始化、计算相似度得分矩阵、获取带有伪类标的目标域训练数据子集、基于Triplet损失函数的重训练、初始化网络模型分类层参数、基于Softmax损失函数的重训练、循环训练、提取测试数据特征表征、特征表征比对、行人再识别。其中，前7步为训练阶段，后3步为测试阶段。
下面对各步做更详细的说明。
步骤1：网络模型初始化
在有标签原始域Duke数据集S上进行网络模型训练，得到初始的网络模型(网络模型记为M)，其中，该初始的网络模型为改进的Resnet-50深度网络模型。
原始的Resnet-50深度网络模型包含8个部分：1个卷积层、1个最大池化层、4个残差模块、1个全局平均池化层和1个全连接分类层。
在原始的Resnet-50深度网络模型的基础上，我们做了如下修改：
(1)将卷积层的卷积核大小由7×7变为3×3。由于行人数据集精度低，因此小的卷积核更能提取局部信息，且第一层使用小的卷积核能大大降低网络模型的网络参数，提高网络模型的收敛速度。
(2)将全局平均池化层变为分块平均池化层，即按照水平方向，将最后一个残差模块的输出分为均等的6块，每一块分别连接一个全连接层。该方法能够根据行人的部位信息分别提取独特的特征，提高模型的准确度。
(3)将全连接分类层根据当前网络模型HDBSCAN聚类后的类别数目进行初始化，即每一阶段聚类簇数目不同，全连接分类层不同。
改进的Resnet-50深度网络模型的结构见图2。
步骤2：计算相似度得分矩阵
提取无标签目标域Market-1501训练数据集T＝{x1，x2，...，xN}在网络模型上的特征F＝{f(x1)，f(x2)，...，f(xN)}，并计算两两特征之间的余弦相似度，根据相似度从高到低进行排序，得到相似度得分矩阵DR：
DR＝[D(x1),D(x2),...,D(xN)]T，
Figure BDA0002496634260000081
Figure BDA0002496634260000082
其中，D(xi)表示的是某一特定行人xi与所有训练样本按照相似度取值从大到小排列的相似度向量，
Figure BDA0002496634260000091
表示样本xi特征f(xi)与
Figure BDA0002496634260000092
特徊
Figure BDA0002496634260000093
的余弦相似度，
Figure BDA0002496634260000094
为相似度向量排名第i位的样本。
步骤3：获取带有伪类标的目标域训练数据子集
利用基于密度的HDBSCAN聚类算法在相似度得分矩阵DR上进行聚类，将相似度得分矩阵DR划分为不同的聚类簇，即将无标签目标域训练数据集T分为C个聚类簇，每一个聚类簇的样本给与相同的类标Ci＝{C1，C2，...，CC}，得到带有伪类标的目标域训练数据子集TU，其中，伪类标为-1的表示不属于任何聚类簇，因此TU＝{x1，x2，...，xN}是T的子集，
Figure BDA0002496634260000095
是有伪类标的目标域训练样本数目。
步骤4：基于Triplet损失函数的重训练
联合使用基于聚类的批次难样本挖掘的Triplet损失函数和基于相似度得分矩阵DR的Triplet损失函数，在步骤3得到的带有伪类标的目标域训练数据子集TU上进行网络模型重训练，提高网络模型在局部的表征能力，得到新的网络模型。
在该步骤中，涉及两个Triplet损失函数：基于聚类的批次难样本挖掘的Triplet损失函数和基于相似度得分矩阵DR的Triplet损失函数。
(1)基于聚类的批次难样本挖掘的Triplet损失函数
从步骤3得到的带有伪类标的目标域训练数据子集TU中选取P个聚类簇，每个聚类簇中选取K个样本，组成P×K个样本，作为每次训练的批样本，对于批样本中的每一个样本xa∈Pa，选出其所在聚类簇Pa的K个样本中与其相似度最低的样本xp以及不同聚类簇P-Pa中与其相似度最高的样本xn，共同组成一个三元组对，对所有三元组对进行训练，优化损失函数为：
Figure BDA0002496634260000101
其中，xi，j表示一个批样本中第i个聚类簇的第j个样本。
(2)基于相似度得分矩阵DR的Triplet损失函数
对于批样本中的每一个样本xa∈Pa，从步骤2中得到的相似度向量D(xa)中随机选取前δ最近邻中的1个样本作为正样本xp，从(δ，2δ]中随机选取1个样本作为负样本xn，组成一个三元组，对每一个批样本的所有三元组进行训练，优化损失函数为：
Figure BDA0002496634260000111
其中，m是正负难样本边缘界限取值，δ是最大的正样本取值位置，Pp和Pn分别是正样本xp和负样本xn在样本xa的相似度向量D(xa)中所在的位置。
由于上述损失函数不需要样本明确的类别，即不需要伪类标，因此与聚类质量好坏无关，更能够提高正样本和负样本选择的准确度，提高网络模型的收敛能力和泛化能力。
步骤5：初始化网络模型分类层参数
在步骤4得到的新的网络模型上提取带有伪类标的目标域训练数据子集TU的特征
Figure BDA0002496634260000115
并根据步骤3中的聚类结果分别对每一个聚类簇的样本特征求均值，得到聚类簇的聚类中心特征
Figure BDA0002496634260000112
然后利用得到的聚类中心特征初始化类别数目为C的网络模型分类层参数
Figure BDA0002496634260000113
Figure BDA0002496634260000114
其中，d是全局平均池化层通道数目，C是当前聚类类别数目，Wi是分类层参数W的第i列，
Figure BDA0002496634260000121
是第i个聚类簇的平均特征。
该初始化方法能有效避免由于每次循环聚类数目不同，使用随机初始化所带来的网络模型训练震荡，有利于网络模型的收敛。
步骤6：基于Softmax损失函数的重训练
将步骤5得到的分类层连接到步骤4得到的新的网络模型上，然后在带有伪类标的目标域训练数据子集TU上对网络模型再次进行Softmax损失函数指导的网络重训练，提高网络模型在全局的特征表征能力，具体优化函数为：
Figure BDA0002496634260000122
其中，
Figure BDA0002496634260000123
是样本xi的伪类标。
训练时，分类层学习率与步骤4相同，之前层为分类层的1/10倍，使其在当前网络模型上进行进一步优化。
步骤7：循环训练
利用步骤6得到的新的网络模型，在整个无标签目标域Market-1501训练数据集T上重新提取特征，并将提取到的特征反馈给步骤2，完成一个循环的训练，然后循环执行步骤2到步骤7，直到网络模型收敛(或达到最大循环次数Imax)，在本具体实施例中，完成第3个循环的训练后，深度网络学习率即下降了10倍，初始学习率为0.0001，完成4个循环的训练后，即实现了网络模型收敛，整个算法循环训练阶段流程见图3，之后执行步骤8。
步骤8：提取测试数据特征表征
提取步骤7中最后一个训练周期之后网络模型的全局平均池化层特征，以此特征作为测试阶段的特征表征，特征维数为2048。给定某测试行人图片Pi，i∈{1，2，...，NP}，提取其特征
Figure BDA0002496634260000137
同时提取数据库的特征
Figure BDA0002496634260000131
步骤9：特征表征比对
利用步骤8得到的特征表征，一一对比测试集和数据库中行人图片的相似度，具体的：计算Pi与gallery中每一个样本的余弦相似度，相似度越大，说明两个样本属于同一个人的概率越大。然后按照相似度从高到低对gallery样本进行排序，得到相似度向量D(Pi)：
Figure BDA0002496634260000132
其中，
Figure BDA0002496634260000133
为Pi与
Figure BDA0002496634260000134
之间的余弦相似度，
Figure BDA0002496634260000135
为相似度排名在第i位的数据库样本。
步骤10：行人再识别
针对每一张测试图片Pi，取步骤9中相似度向量D(Pi)中相似度排名前K的样本的身份信息
Figure BDA0002496634260000136
K＝{1，5，10}，如果IG中包含与测试图片Pi身份信息相同的行人，即
Figure BDA0002496634260000141
则认为行人再识别成功，记为1，否则认为行人再识别失败，记为0。
对所有的测试样本进行相同操作，计算行人再识别成功的概率，并以此概率作为行人再识别的识别精度。
行人再识别成功的概率Result是计算方法如下：
Figure BDA0002496634260000142
其中，II(·)是示性函数，当函数内部条件成立时，该值为1，否则为0。
图4是采用本发明提供的渐进增强自学习的无监督跨领域行人再识别方法时，在不同训练循环阶段生成的三元组对示意图。
从图4可以看出，随着循环次数的增加，三元组选择正确率提升，选择的正样本和负样本难度提升，这说明本发明提供的方法能逐步提高网络模型的表征能力、聚类的质量和网络模型的泛化性能，进而提高无标签跨领域行人再识别的精度。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (2)

1.一种渐进增强自学习的无监督跨领域行人再识别方法，其特征在于，包括如下步骤：
步骤1：在有标签原始域数据集S上进行网络模型训练，得到初始的网络模型，所述初始的网络模型为改进的Resnet-50深度网络模型；
步骤2：提取无标签目标域训练数据集T在网络模型上的特征，并计算两两特征之间的余弦相似度，根据余弦相似度从高到低进行排序，得到相似度得分矩阵DR；
步骤3：利用基于密度的HDBSCAN聚类算法在相似度得分矩阵DR上进行聚类，将无标签目标域训练数据集T分为C个聚类簇，每一个聚类簇的样本给与相同的类标，得到带有伪类标的目标域训练数据子集TU；
步骤4：联合使用基于聚类的批次难样本挖掘的Triplet损失函数和基于相似度得分矩阵DR的Triplet损失函数，在步骤3得到的带有伪类标的目标域训练数据子集TU上进行网络模型重训练，得到新的网络模型；
步骤5：在步骤4得到的新的网络模型上提取带有伪类标的目标域训练数据子集TU的特征，并分别对每一个聚类簇的样本特征求均值，得到聚类簇的聚类中心特征，然后利用得到的聚类中心特征初始化类别数目为C的网络模型分类层参数；
步骤6：将步骤5得到的分类层连接到步骤4得到的新的网络模型上，然后在带有伪类标的目标域训练数据子集TU上对网络模型再次进行Softmax损失函数指导的网络重训练，进一步更新网络模型的参数；
步骤7：利用步骤6得到的新的网络模型，在整个无标签目标域训练数据集T上重新提取特征，并将提取到的特征反馈给步骤2，完成一个循环的训练然后循环执行步骤2到步骤7，直到网络模型收敛或达到最大循环次数Imax，之后执行步骤8；
步骤8：提取步骤7中全局平均池化层特征或者分块平均池化层特征，以此特征作为特征表征；
步骤9：利用步骤8得到的特征表征，一一对比测试集和数据库中行人图片的相似度，并按照相似度从高到低进行排序；
步骤10：针对每一张测试图片，取步骤9中相似度排名前K的对应数据库图片的身份信息，如果其中包含与测试图片身份信息相同的行人，则记为行人再识别成功，否则记为行人再识别失败。
2.根据权利要求1所述的渐进增强自学习的无监督跨领域行人再识别方法，其特征在于，在步骤1中，所述改进的Resnet-50深度网络模型是在原始的Resnet-50深度网络模型的基础上做的修改，修改的内容包括：
(1)将卷积层的卷积核大小由7×7变为3×3；
(2)将全局平均池化层变为分块平均池化层；
(3)将全连接分类层根据当前网络模型HDBSCAN聚类后的类别数目进行初始化。
CN202010420131.0A 2020-05-18 2020-05-18 一种渐进增强自学习的无监督跨领域行人再识别方法 Active CN111598004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420131.0A CN111598004B (zh) 2020-05-18 2020-05-18 一种渐进增强自学习的无监督跨领域行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420131.0A CN111598004B (zh) 2020-05-18 2020-05-18 一种渐进增强自学习的无监督跨领域行人再识别方法

Publications (2)

Publication Number Publication Date
CN111598004A true CN111598004A (zh) 2020-08-28
CN111598004B CN111598004B (zh) 2023-12-08

Family

ID=72185679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420131.0A Active CN111598004B (zh) 2020-05-18 2020-05-18 一种渐进增强自学习的无监督跨领域行人再识别方法

Country Status (1)

Country Link
CN (1) CN111598004B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418289A (zh) * 2020-11-17 2021-02-26 北京京航计算通讯研究所 一种不完全标注数据的多标签分类处理方法及装置
CN112508130A (zh) * 2020-12-25 2021-03-16 商汤集团有限公司 聚类方法及装置、电子设备和存储介质
CN113158955A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 基于聚类引导和成对度量三元组损失的行人重识别方法
CN113326826A (zh) * 2021-08-03 2021-08-31 新石器慧通（北京）科技有限公司 网络模型的训练方法、装置、电子设备及存储介质
CN114549473A (zh) * 2022-02-23 2022-05-27 中国民用航空总局第二研究所 具备自主学习快速适应能力的道面检测方法及系统

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114055A1 (en) * 2016-10-25 2018-04-26 VMAXX. Inc. Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108388574A (zh) * 2018-01-11 2018-08-10 同济大学 基于triplet深度二值网络的快速人脸检索方法
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108921107A (zh) * 2018-07-06 2018-11-30 北京市新技术应用研究所 基于排序损失和Siamese网络的行人再识别方法
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치
CN109086672A (zh) * 2018-07-05 2018-12-25 襄阳矩子智能科技有限公司 一种基于强化学习自适应分块的行人再识别方法
CN109299707A (zh) * 2018-10-30 2019-02-01 天津师范大学 一种基于模糊深度聚类的无监督行人再识别方法
CN109635695A (zh) * 2018-11-28 2019-04-16 西安理工大学 基于三元组卷积神经网络的行人再识别方法
US20190197398A1 (en) * 2017-12-27 2019-06-27 Microsoft Technology Licensing, Llc Embedded learning for response prediction
US20190228312A1 (en) * 2018-01-25 2019-07-25 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection
CN110135295A (zh) * 2019-04-29 2019-08-16 华南理工大学 一种基于迁移学习的无监督行人重识别方法
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110321813A (zh) * 2019-06-18 2019-10-11 南京信息工程大学 基于行人分割的跨域行人重识别方法
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110674292A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种人机交互方法、装置、设备及介质
CN110728216A (zh) * 2019-09-27 2020-01-24 西北工业大学 一种基于行人属性自适应学习的无监督行人再识别方法
CN110728263A (zh) * 2019-10-24 2020-01-24 中国石油大学(华东) 一种基于距离选择的强判别特征学习的行人重识别方法
CN110796057A (zh) * 2019-10-22 2020-02-14 上海交通大学 行人重识别方法、装置及计算机设备
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN112912887A (zh) * 2018-11-08 2021-06-04 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
US20220343626A1 (en) * 2019-08-15 2022-10-27 Vision Semantics Limited Text Based Image Search

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114055A1 (en) * 2016-10-25 2018-04-26 VMAXX. Inc. Point to Set Similarity Comparison and Deep Feature Learning for Visual Recognition
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
KR20180133657A (ko) * 2017-06-07 2018-12-17 한화에어로스페이스 주식회사 기계 학습을 이용한 다중 뷰포인트 차량 인식 장치
US20190197398A1 (en) * 2017-12-27 2019-06-27 Microsoft Technology Licensing, Llc Embedded learning for response prediction
CN108388574A (zh) * 2018-01-11 2018-08-10 同济大学 基于triplet深度二值网络的快速人脸检索方法
US20190228312A1 (en) * 2018-01-25 2019-07-25 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109086672A (zh) * 2018-07-05 2018-12-25 襄阳矩子智能科技有限公司 一种基于强化学习自适应分块的行人再识别方法
CN108921107A (zh) * 2018-07-06 2018-11-30 北京市新技术应用研究所 基于排序损失和Siamese网络的行人再识别方法
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering
CN109299707A (zh) * 2018-10-30 2019-02-01 天津师范大学 一种基于模糊深度聚类的无监督行人再识别方法
CN112912887A (zh) * 2018-11-08 2021-06-04 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN109635695A (zh) * 2018-11-28 2019-04-16 西安理工大学 基于三元组卷积神经网络的行人再识别方法
CN110135295A (zh) * 2019-04-29 2019-08-16 华南理工大学 一种基于迁移学习的无监督行人重识别方法
CN110189315A (zh) * 2019-05-28 2019-08-30 李峥嵘 一种风电机组叶片无人机自动定位方法
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN110321813A (zh) * 2019-06-18 2019-10-11 南京信息工程大学 基于行人分割的跨域行人重识别方法
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
US20220343626A1 (en) * 2019-08-15 2022-10-27 Vision Semantics Limited Text Based Image Search
CN110674292A (zh) * 2019-08-27 2020-01-10 腾讯科技（深圳）有限公司 一种人机交互方法、装置、设备及介质
CN110580460A (zh) * 2019-08-28 2019-12-17 西北工业大学 基于行人身份和属性特征联合识别验证的行人再识别方法
CN110728216A (zh) * 2019-09-27 2020-01-24 西北工业大学 一种基于行人属性自适应学习的无监督行人再识别方法
CN110796057A (zh) * 2019-10-22 2020-02-14 上海交通大学 行人重识别方法、装置及计算机设备
CN110728263A (zh) * 2019-10-24 2020-01-24 中国石油大学(华东) 一种基于距离选择的强判别特征学习的行人重识别方法
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINYU ZHANG: "Self-TrainingWith Progressive Augmentation for Unsupervised Cross-Domain Person Re-Identification", pages 8221 - 8230 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418289A (zh) * 2020-11-17 2021-02-26 北京京航计算通讯研究所 一种不完全标注数据的多标签分类处理方法及装置
CN112418289B (zh) * 2020-11-17 2021-08-03 北京京航计算通讯研究所 一种不完全标注数据的多标签分类处理方法及装置
CN112508130A (zh) * 2020-12-25 2021-03-16 商汤集团有限公司 聚类方法及装置、电子设备和存储介质
CN113158955A (zh) * 2021-04-30 2021-07-23 杭州电子科技大学 基于聚类引导和成对度量三元组损失的行人重识别方法
CN113158955B (zh) * 2021-04-30 2024-02-20 杭州电子科技大学 基于聚类引导和成对度量三元组损失的行人重识别方法
CN113326826A (zh) * 2021-08-03 2021-08-31 新石器慧通（北京）科技有限公司 网络模型的训练方法、装置、电子设备及存储介质
CN114549473A (zh) * 2022-02-23 2022-05-27 中国民用航空总局第二研究所 具备自主学习快速适应能力的道面检测方法及系统
CN114549473B (zh) * 2022-02-23 2024-04-19 中国民用航空总局第二研究所 具备自主学习快速适应能力的道面检测方法及系统

Also Published As

Publication number Publication date
CN111598004B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN111598004A (zh) 一种渐进增强自学习的无监督跨领域行人再识别方法
Masana et al. Metric learning for novelty and anomaly detection
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN112101150B (zh) 一种基于朝向约束的多特征融合行人重识别方法
Grauman et al. Unsupervised learning of categories from sets of partially matching image features
CN112069940B (zh) 一种基于分阶段特征学习的跨域行人重识别方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
Wu et al. Vehicle re-identification with the space-time prior
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
US20210319215A1 (en) Method and system for person re-identification
CN110647907B (zh) 利用多层分类和字典学习的多标签图像分类算法
CN112633382A (zh) 一种基于互近邻的少样本图像分类方法及系统
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
CN110942091A (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN107220663B (zh) 一种基于语义场景分类的图像自动标注方法
CN109635708A (zh) 一种基于三数据集交叉迁移学习的无监督行人再识别方法
US8488873B2 (en) Method of computing global-to-local metrics for recognition
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
CN114299362A (zh) 一种基于k-means聚类的小样本图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Zhengrong

Inventor after: Zhang Xinyu

Inventor before: Shen Chunhua

Inventor before: Zhang Xinyu

Inventor before: Li Zhengrong

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200930

Address after: 308-8, 3 / F, building 1, yard 1, energy East Road, Shahe Town, Changping District, Beijing

Applicant after: BEIJING XINGGUANG SHITU TECHNOLOGY Co.,Ltd.

Applicant after: Li Zhengrong

Address before: 308-8, 3 / F, building 1, yard 1, energy East Road, Shahe Town, Changping District, Beijing

Applicant before: BEIJING XINGGUANG SHITU TECHNOLOGY Co.,Ltd.

Applicant before: Li Zhengrong

Applicant before: Shen Chunhua

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 2904, No. 41 Coastal City, Wuxi Economic Development Zone, Jiangsu Province, 214000

Applicant after: Jiangsu Xingshan Shitu Technology (Group) Co.,Ltd.

Applicant after: Li Zhengrong

Address before: 102206 308-8, 3 / F, building 1, yard 1, Nengyuan East Road, Shahe Town, Changping District, Beijing

Applicant before: BEIJING XINGGUANG SHITU TECHNOLOGY CO.,LTD.

Applicant before: Li Zhengrong

GR01 Patent grant
GR01 Patent grant