CN113642547B - 一种基于密度聚类的无监督域适应人物重识别方法及系统 - Google Patents
一种基于密度聚类的无监督域适应人物重识别方法及系统 Download PDFInfo
- Publication number
- CN113642547B CN113642547B CN202111207424.1A CN202111207424A CN113642547B CN 113642547 B CN113642547 B CN 113642547B CN 202111207424 A CN202111207424 A CN 202111207424A CN 113642547 B CN113642547 B CN 113642547B
- Authority
- CN
- China
- Prior art keywords
- clustering
- sample
- domain
- feature
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
Abstract
本发明公开了一种基于密度聚类的无监督域适应的人物重识别方法及系统,包括有监督学习、特征动态存储、自适应动态聚类、跨相机相似性评估、损失优化的步骤,设计了自适应动态聚类模块,自适应地计算合适的初始聚类半径,然后在模型的迭代优化中,动态更新,获取更加合理的聚类结果;设计了跨相机相似性评估模块,过滤掉噪声伪标签,保留可靠伪标签,挖掘的可靠伪标签利用三元组损失来进一步优化模型,通过挖掘利用合理可靠的伪标签来提升模型的可区分性。
Description
技术领域
本发明属于图像处理技术领域,涉及人物重识别技术,特别涉及一种基于密度聚类的无监督域适应的人物重识别方法及系统,更具体地,涉及一种利用有标签数据集的信息,设计在无标签的目标数据上基于DBSCAN密度聚类算法下增强聚类可靠性的无监督跨域人物重识别方法。
背景技术
人物重识别在智能视频监控和公共安全中发挥着重要的作用。近年来人物重识别在计算机视觉领域得到了非常广泛的研究,目标是给定一张待检索的人物图片,在几个互不重叠的摄像头拍摄的视频中检索该人并输出。传统的人物重识别方法可以分为两类:特征提取和度量学习。近年来,随着深度学习的快速发展,有监督人物重识别在性能方面取得了显著的提升。然而,这需要大量的成对标记数据,严重限制了在实际应用中的可扩展性。因为对数据集中的大量图像进人工标记是非常耗时和昂贵的。在人物重识别数据中,不同数据集通常没有重叠的类并且环境背景存在很大的差异,所以将在某个数据集训练好的模型迁移到其他数据域上,模型的性能会大幅度下降。为了解决这个问题,可以采用无监督重识别学习方法,主要包括:直接用未标注的目标数据对模型进行微调,即全无监督的方式;将有标注的源域中训练好的模型迁移到未标注的目标数据上,然后再进行微调,即采用无监督域适应的方式。
目前,无监督跨域人物重识别方法大致可以分为两种类型:1)基于聚类的学习方法,即通过交替进行伪标签生成和基于伪标签的模型优化,例如,基于密度的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)算法和基于距离的K-Means算法等。2)基于域不变学习方法,常见的有借助生成对抗性网络或者对抗性训练减轻两个数据域之间的域间差距对训练的影响。其中,基于聚类的方法常常取得不错的结果,极大地促进了无监督域适应的发展。但是因为复杂的重识别数据以及聚类算法本身的局限性,常常会使得由聚类结果中包含不正确的伪标签。
现有的基于聚类的无监督人物重识别方法通常对卷积神经网络提取的特征进行聚类,然后根据聚类所得的伪标签对模型进行迭代训练,如此交替进行。但是,由于聚类算法的局限性和重识别数据本身的复杂性,基于聚类的方法获得的伪标签不可避免地会产生一些错误的伪标签,称之为噪声伪标签,如果将这些伪标签投入到模型的训练中,将严重地影响最终模型的性能。
对于基于密度的聚类算法DBSCAN,其关键思想是对于簇中的每个核心点,给定半径(Eps)的邻域必须至少包含最小数量的样本(MinPts,通常设置为4)。所以Eps作为最重要的参数之一将会影响最终的聚类结果,如果Eps取值过大,则会很多本身不属于同一个类的样本划分到同一个簇中,聚类簇中会包含太多的噪声样本点,如果过小的话,则会将同类的样本划分为到不同的簇中,使得过多的正确样本没有聚类到所属簇中。重识别中训练数据来源丰富多变,采用固定的聚类半径,难以适应所有数据集。
此外,相机配置是影响重识别域内差距的一个重要因素,这常常导致同一相机下下不同行人的相似度高于不同相机下的同一行人的相似度,从而使得无监督密度聚类下错误地将同一相机下不同行人分到同一个簇中,形成噪声伪标签。
发明内容
针对现有技术存在的不足,本发明提供一种基于密度聚类的无监督域适应的人物重识别方法及系统,针对基于密度聚类的DBSCAN算法,设计了自适应动态聚类模块,在模型的迭代优化中动态更新Eps的取值;本发明还设计跨相机相似性评估模块,为聚类后的簇样本寻找跨相机下的近邻样本,通过判断该样本与其近邻样本的伪标签是否一致来过滤掉噪声伪标签,最终将挖掘的可靠伪标签利用三元组损失来进一步优化模型,通过挖掘利用合理可靠的伪标签来提升模型的可区分性。
为了解决上述技术问题,本发明采用的技术方案是:
一种基于密度聚类的无监督域适应的人物重识别方法,包括以下步骤:
步骤1、有监督学习:在有监督学习中,使用交叉熵损失和困难三元组损失来优化模型;
步骤2、特征动态存储:采用特征存储机制进行特征的动态存储,同时将用于特征动态存储的存储器称为特征存储器,借助步骤1中预训练的模型对特征存储器进行初始化,然后在每次迭代时候进行更新,源域对应的特征向量根据源域样本类别的类心更新,目标域对应的特征向量根据目标域样本特征值更新;
步骤3、自适应动态聚类:设计自适应动态聚类模块,所述自适应动态聚类模块首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,按照半径从小到大的方式动态更新Eps的取值,获取更加合理的聚类结果;
步骤4、跨相机相似性评估:设计跨相机相似性评估模块,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签;
步骤5、损失优化:分别对步骤3由自适应动态聚类模块获取的聚类结果使用全局对比损失进行优化、对步骤4挖掘的可靠伪标签利用三元组损失来进一步优化模型;
重复训练步骤2-步骤5。
进一步的,步骤1中,交叉熵损失函数表达式为:
困难三元组损失函数表达式为:
模型的损失函数Ls=Lsid+Lstri
其中,已知:有标注的源数据其中和分别表示源域中第i1个训练样本及其身份标签,i1∈[1,Ns],Ns是样本数;为未标注的目标数据,Nt是目标域数据集中样本总数,表示目标域中第i2个训练样本,i2∈[1,Nt],和分别表示所选图像和在所选骨干网的最后一个全连接层前输出的特征图;n为模型的批次大小,如果其中是本身所属的身份标签,则qj=1-ε,否则ε为经验值,是属于身份j的预测概率,表示和同一身份的图像中最不像的图像(两者的特征距离最远),表示和不同身份的图像中最像的图像(两者的特征距离最近),图像对之间采用L2距离度量,Ms表示源域数据集中总的身份数。
进一步的,步骤2中,用mj1表示存储器中第j1列特征向量,根据源域已知的身份和目标域索引来按序存储源数据的源域类心和目标数据实例,所以目标域中样本在存储器中对应的位置为第i2+Ms列,对应的特征向量为j1∈[1,Ms+Nt],Ms表示源域数据集中总的身份数,Nt表示目标域数据集中样本总数;
特征存储器初始化:首先是源域对应的特征向量,根据源域的身份标签获取其类心进行初始化,
其中,Kj表示样本类别j的样本集合,|.|表示该类的样本数,wj表示该类的类心,表示源域样本在所选骨干网的最后一个全连接层前输出的特征图;存储器中目标特征向量直接由预训练的模型获得的特征进行初始化,其表达为,
特征存储器动态更新:源域和目标域对应的特征向量动态更新,具体地,(1)源域对应的特征向量更新,有mj1=(1-μ)mj1+μwj1,(2)目标域对应的特征向量的更新,有其中μ是动量系数,表示目标域样本在所选骨干网的最后一个全连接层前输出的特征图。
进一步的,步骤3中,自适应计算Eps的方法如下:
(1)从模型中提取的源特征向量和从特征存储器中获得的目标特征向量来获得更可靠的距离度量:
首先,根据特征存储器为目标数据计算K倒数相似矩阵,计算公式如下:
其中Nt是目标域数据集中样本总数,Mati2,k和Mati3,k分别是相似矩阵中对应的第i2行第k列元素和第i3行和第k列元素;
接着为目标数据从源域中寻找最近邻来提升相似度,相应地,计算公式为,
其中,λ是平衡因子;
(2)在获得稳定的距离度量后,使用基于它的K-distance在模型的迭代优化中动态获取合适的Eps,
其中,N是可能对的总数,p是百分比,sd是将距离度量d按元素从小到大排序所得的一维数组;通过计算数组sd前pN对的平均值,可为特定目标数据集获取自适应的Eps。
更进一步的,步骤3中,在迭代优化过程中,在后续的训练轮数中放宽聚类标准,执行动态地从紧到松的自适应聚类,使聚类可以包含更多的信任样本;具体来说,通过计算有序数组sd前2pN的均值作为放宽聚类标准的Eps取值,动态更新后的取值为:
进一步的,步骤4中,跨相机相似性评估时,针对所有的簇样本,为其寻找所有跨相机下的最近邻簇样本,并判断两者标签是否一致,如果一致,则表明此时的伪标签是可靠的,否则丢弃该样本;寻找最近邻簇样本的方法是计算由不同相机收集的簇样本之间的距离,计算公式为,
其中Cam是目标域中已知的相机集合,是样本在特征存储器中的取值,是样本在特征存储器中的取值,i21∈[1,Nt];q,r为对应的相机信息;通过距离度量,为找到最近的跨相机簇样本并将其表示为只有当和之间的伪标签相同时,认为的伪标签是可靠的,否则,将其视为噪声伪标签。
进一步的,针对步骤3由自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化,计算公式为,
其中xi∈(Ds∪Dt),Ds和Dt分别是源域和目标域训练数据集,vk3是目标域中非聚类样本在特征存储器中对应的取值,n为模型的批次大小,Ms表示源域数据集中总的身份数,nc、no分别是目标域聚类后的簇样本数和非簇样本数,ck2是目标域中第k2个聚类的类心,Ik2是第k2个聚类的样本集合,mj0是第k2个聚类的样本在特征存储器中对应的取值,wk1表示源域中第k1个聚类的类心;mj1表示存储器中第j1列特征向量;如果xi是源域样本,则z+是xi所属类在特征存储器中的特征向量,如果xi是聚类样本,则z+是该样本所属的聚类质心,如果xi是非聚类样本,则z+是xi在特征存储器中对应的取值;τ是调节因子。
进一步的,针对步骤4中的可靠的聚类样本,用三元组损失进一步优化模型,强化可靠簇的可区分性,计算公式为,
本发明提供一种基于密度聚类的无监督域适应的人物重识别系统,其特征在于,包括特征存储器、自适应动态聚类模块、跨相机相似性评估及损失优化模块;
所述特征存储器用于动态存储特征,根据源域已知的身份和目标域索引来按序存储源域类心和目标数据实例;源域对应的特征向量根据源域样本类别的类心更新,目标域对应的特征向量根据目标域样本特征值更新;
所述自适应动态聚类模块用于动态更新DBSCAN聚类算法的聚类半径,首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,按照半径从小到大的方式动态更新Eps的取值,获取更加合理的聚类结果;
所述跨相机相似性评估模块用于过滤噪声伪标签,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签;
所述损失优化模块包括两部分,一部分是针对自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化;另一部分是针对跨相机相似性评估模块筛选出的可靠的聚类样本,使用三元组损失进一步优化模型,强化可靠簇的可区分性。
与现有技术相比,本发明优点在于:
(1)针对基于密度聚类的无监督域适应人物重识别,本发明提出一种自适应动态聚类模块,该模块首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地获取合适的初始聚类半径Eps,最终获得更合理的聚类结果,从而获取相对可靠的伪标签。然后在模型的迭代优化中,考虑到样本在特征空间中不断进行调整,在模型的迭代优化中动态更新Eps的取值。
(2)针对聚类算法可能将同一相机下不同身份的样本分类到同一个集群中而形成噪声伪标签,本发明设计跨相机相似性评估模块,为聚类后的簇样本寻找跨相机下的近邻样本,通过判断该样本与其近邻样本的伪标签是否一致来过滤掉噪声伪标签,并使用可靠的伪标签进一步提高模型的判别能力,将挖掘的可靠伪标签利用三元组损失来进一步优化模型。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1的基于密度聚类的无监督域适应的人物重识别方法流程示意图;
图2为本发明实施例1的跨相机相似性评估模块示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
结合图1所示,基于密度聚类的无监督域适应的人物重识别方法,包括:有监督学习、特征动态存储、自适应动态聚类、跨相机相似性评估和损失优化五个部分。本实施例中,已知:有标注的源数据其中和分别表示第i1个训练样本及其身份标签,i1∈[1,Ns],Ns是源域数据集中样本数。为未标注的目标数据,Nt是目标域数据集中样本总数,表示目标域中第i2个训练样本,i2∈[1,Nt],和分别表示所选图像和在所选骨干网的最后一个全连接层前输出的特征图,本发明采用ResNet-50模型作为基准模型
下面分别介绍各步骤:
步骤1、有监督学习:
在有监督学习中,使用交叉熵损失和困难三元组损失来优化模型。
交叉熵损失函数表达式为:
困难三元组损失函数表达式为:
模型的损失函数Ls=Lsid+Lstri
其中,n为模型的批次大小,如果其中是本身所属的身份标签,则qj=1-ε,否则ε为经验值,本实施例按经验设为0.1。是属于身份j的预测概率,表示和同一身份的图像中最不像的图像(两者的特征距离最远),表示和不同身份的图像中最像的图像(两者的特征距离最近),图像对之间采用L2距离度量,Ms表示源域数据集中总的身份数。
步骤2、特征动态存储:
为了获取稳定的特征表示,采用特征存储机制进行特征的动态存储,同时将该存储器称为特征存储器,借助步骤1中预训练的模型对特征存储器进行初始化,然后在每次迭代时候进行更新。
用mj1表示存储器中第j1列特征向量,考虑源域中身份信息已知,根据源域已知的身份和目标域索引来按序存储源数据的源域类心和目标数据实例,所以目标域中样本在存储器中对应的位置为第i2+Ms列,对应的特征向量为j1∈[1,Ms+Nt],Ms表示源域数据集中总的身份数,Nt表示目标域数据集中样本总数。
特征存储器初始化:首先是源域对应的特征向量,根据源域的身份标签获取其类心进行初始化,
其中,Kj表示样本类别j的样本集合,|.|表示该类的样本数,wj表示该类的类心,表示源域样本在所选骨干网的最后一个全连接层前输出的特征图;存储器中目标特征向量直接由预训练的模型获得的特征进行初始化,其表达为,
特征存储器动态更新:源域和目标域对应的特征向量动态更新。由于样本的特征会随模型的迭代优化发生变化,所以,无论是源域还是目标域,其对应的特征向量是随着迭代动态变化的,具体地,(1)源域对应的特征向量更新,有mj1=(1-μ)mj1+μwj1,(2)目标域对应的特征向量的更新,有其中μ是动量系数,表示目标域样本在所选骨干网的最后一个全连接层前输出的特征图。
步骤3、自适应动态聚类:
本发明针对基于DBSCAN聚类的重识别方法,提出一种自适应动态聚类的模块。考虑到重识别数据本身存在严重的域间差距及训练样本在特征空间中不断地调整,该模块可以在模型的迭代优化中为特定的目标数据计算合适的Eps,从而获取更加合理的聚类结果。所述自适应动态聚类模块首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,动态更新Eps的取值,获取更加合理的聚类结果。
自适应计算Eps,具体实施方法如下:
(1)从模型中提取的源特征向量和从特征存储器中获得的目标特征向量来获得更可靠的距离度量。
首先,根据特征存储器为目标数据计算K倒数相似矩阵,计算公式如下:
其中Nt是目标域数据集中样本总数,Mati2,k和Mati3,k分别是相似矩阵中对应的第i2行第k列元素和第i3行和第k列元素;
接着为目标数据从源域中寻找最近邻来提升相似度,相应地,计算公式为,
其中,λ是平衡因子,设为0.1。
(2)在获得稳定的距离度量后,使用基于它的K-distance在模型的迭代优化中动态获取合适的Eps,即,
其中,N是可能对的总数,p是百分比,sd是将距离度量d按元素从小到大排序所得的一维数组;通过计算数组sd前pN对的平均值,可为特定目标数据集获取自适应的Eps。
动态更新Eps。虽然模型在源域上进行了预训练,但由于域间差距严重,将其迁移到目标域上通常表现出较差的性能。此外,特征空间中的样本在迭代优化过程中不断调整。在这些情况下,最初得到的Eps往往是不完美的。基于模型的迭代优化动态地更新Eps,以适应不断变化的特征空间。由于特征空间中同一簇的样本在迭代优化过程中变得越来越紧凑,样本之间的区分性越来越强,本发明在后续的训练轮数中适当放宽了聚类标准,使聚类可以包含更多的信任样本。也就是说,执行动态地从紧到松的自适应聚类,使聚类可以包含更多的信任样本。
具体来说,作为一个优选的实施例,通过计算有序数组sd前2pN的均值作为放宽聚类标准的Eps取值,动态更新后的取值为:
通过这种自适应动态的方法,可以在模型的迭代训练中针对具体的数据计算出合适的Eps,最终得到更合理的聚类结果。
步骤4、跨相机相似性评估:
在重识别数据中,常常存在同一相机下不同身份样本差异较小,而不同相机下相同身份样本差异较大的样本,这可能会导致一些不同身份样本的相似度大于相同身份样本的相似度,最终会混淆聚类算法使得生成的伪标签不可避免地包含噪音。但是如果在跨相机下进行相似性度量,则不会出现该问题的困扰。因此,本发明对聚类后的簇样本设计一种跨相机相似性评估模块来有效地过滤掉噪声伪标签。所述跨相机相似性评估模块,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签。
具体来说,针对所有的簇样本,为其寻找所有跨相机下的最近邻簇样本,并判断两者标签是否一致,如果一致,则表明此时的伪标签是可靠的,否则丢弃该样本;寻找最近邻簇样本的方法是计算由不同相机收集的簇样本之间的距离,计算公式为,
其中Cam是目标域中已知的相机集合,是样本在特征存储器中的取值,是样本在特征存储器中的取值,i21∈[1,Nt];q,r为对应的相机信息。通过距离度量,为找到最近的跨相机簇样本并将其表示为只有当和之间的伪标签相同时,认为的伪标签是可靠的,否则,将其视为噪声伪标签。
图2所示的是跨相机相似性评估模块示意图,左侧图显示的是初始聚类结果,右侧图显示的是跨相机相似性评估模块处理示意图,图中,“c-1”是摄像机ID,“c-n”表示其他摄像机的统称,加框图像表示聚类中的噪声样本,通过跨相机评估模块,可以有效地缩短了来自同一簇的可靠样本之间的距离。
步骤5、损失优化:
鉴于在步骤4中可能会误将仅由一个相机下收集的样本形成的聚类结果直接误判为噪声,我们分别从两个优化分支分别进行优化步骤3和步骤4的结果。分别对步骤3由自适应动态聚类模块获取的聚类结果使用全局对比损失进行优化、对步骤4挖掘的可靠伪标签利用三元组损失来进一步优化模型。
具体来说,针对步骤3由自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化,计算公式为,
其中,xi∈(Ds∪Dt),Ds和Dt分别是源域和目标域训练数据集,vk3是目标域中非聚类样本在特征存储器中对应的取值,n为模型的批次大小,Ms表示源域数据集中总的身份数,nc、no分别是目标域聚类后的簇样本数和非簇样本数,ck2是目标域中第k2个聚类的类心,Ik2是第k2个聚类的样本集合,mj0是第k2个聚类的样本在特征存储器中对应的取值;wk1表示源域中第k1个聚类的类心;mj1表示存储器中第j1列特征向量;如果xi是源域样本,则z+是xi所属类在特征存储器中的特征向量,如果xi是聚类样本,则z+是该样本所属的聚类质心,如果xi是非聚类样本,则z+是xi在特征存储器中对应的取值;τ是调节因子,其值越高,概率分布越软。通过该全局损失优化,有效地推动源域样本靠近所属类中心,目标域的聚类样本向其所属的聚类中心靠近,而且未聚类的样本不会被丢弃,而是接近内存中的相应值。
针对步骤4中的可靠的聚类样本,用三元组损失进一步优化模型,强化可靠簇的可区分性,计算公式为,
重复训练步骤2-步骤5。
实施例2
作为本发明另一实施例,提供一种基于密度聚类的无监督域适应的人物重识别系统,包括特征存储器、自适应动态聚类模块、跨相机相似性评估及损失优化模块。
所述特征存储器用于动态存储特征,根据源域已知的身份和目标域索引来按序存储源域类心和目标数据实例;源域对应的特征向量根据源域样本类别的类心更新,目标域对应的特征向量根据目标域样本特征值更新;
所述自适应动态聚类模块用于动态更新DBSCAN聚类算法的聚类半径,首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,按照半径从小到大的方式动态更新Eps的取值,获取更加合理的聚类结果;
所述跨相机相似性评估模块用于过滤噪声伪标签,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签;
所述损失优化模块包括两部分,一部分是针对自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化;另一部分是针对跨相机相似性评估模块筛选出的可靠的聚类样本,使用三元组损失进一步优化模型,强化可靠簇的可区分性。
本实施例中各模块的功能实现及实施方法可参见实施例1部分的介绍,此处不再赘述。
综上所述,为了更加有效获取可靠的伪标签进行模型优化,本发明提出一种基于密度聚类的无监督域适应人物重识别方法及系统。针对基于DBSCAN聚类的无监督域适应人物重识别,本发明从DBSCAN聚类算法本身出发,通过为不同的数据域计算合适的聚类半径Eps来获取更合理聚类结果。同时对于由同一相机收集的不同身份的图像之间差异小而引起的不正确的伪标签,本发明借助相机信息过滤掉这些不正确的伪标签,然后用更加可靠的伪标签提高模型的判别能力,从而更好地应用于真实场景。
当然,上述说明并非是对本发明的限制,本发明也并不限于上述举例,本技术领域的普通技术人员,在本发明的实质范围内,做出的变化、改型、添加或替换,都应属于本发明的保护范围。
Claims (9)
1.一种基于密度聚类的无监督域适应的人物重识别方法,其特征在于,包括以下步骤:
步骤1、有监督学习:在有监督学习中,使用交叉熵损失和困难三元组损失来优化模型;
步骤2、特征动态存储:采用特征存储机制进行特征的动态存储,同时将用于特征动态存储的存储器称为特征存储器,借助步骤1中预训练的模型对特征存储器进行初始化,然后在每次迭代时候进行更新,源域对应的特征向量根据源域样本类别的类心更新,目标域对应的特征向量根据目标域样本特征值更新;
步骤3、自适应动态聚类:设计自适应动态聚类模块,所述自适应动态聚类模块首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,按照半径从小到大的方式动态更新Eps的取值,获取更加合理的聚类结果;
步骤4、跨相机相似性评估:设计跨相机相似性评估模块,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签;
步骤5、损失优化:分别对步骤3由自适应动态聚类模块获取的聚类结果使用全局对比损失进行优化、对步骤4挖掘的可靠伪标签利用三元组损失来进一步优化模型;
重复训练步骤2-步骤5。
2.根据权利要求1所述的基于密度聚类的无监督域适应的人物重识别方法,其特征在于,步骤1中,交叉熵损失函数表达式为:
困难三元组损失函数表达式为:
模型的损失函数Ls=Lsid+Lstri
3.根据权利要求1所述的基于密度聚类的无监督域适应的人物重识别方法,其特征在于,步骤2中,用mj1表示存储器中第j1列特征向量,根据源域已知的身份和目标域索引来按序存储源数据的源域类心和目标数据实例,所以目标域中样本在存储器中对应的位置为第i2+Ms列,对应的特征向量为 Ms表示源域数据集中总的身份数,Nt表示目标域数据集中样本总数;
特征存储器初始化:首先是源域对应的特征向量,根据源域的身份标签获取其类心进行初始化,
其中,Kj表示样本类别j的样本集合,|.|表示该类的样本数,wj表示该类的类心,表示源域样本在所选骨干网的最后一个全连接层前输出的特征图;存储器中目标特征向量直接由预训练的模型获得的特征进行初始化,其表达为,
4.根据权利要求3所述的基于密度聚类的无监督域适应的人物重识别方法,其特征在于,步骤3中,自适应计算Eps的方法如下:
(1)从模型中提取的源特征向量和从特征存储器中获得的目标特征向量来获得更可靠的距离度量:
首先,根据特征存储器为目标数据计算K倒数相似矩阵,计算公式如下:
其中Nt是目标域数据集中样本总数,Mati2,k和Mati3,k分别是相似矩阵中对应的第i2行第k列元素和第i3行和第k列元素;
接着为目标数据从源域中寻找最近邻来提升相似度,相应地,计算公式为,
其中,λ是平衡因子;
(2)在获得稳定的距离度量后,使用基于它的K-distance在模型的迭代优化中动态获取合适的Eps,
其中,N是可能对的总数,p是百分比,sd是将距离度量d按元素从小到大排序所得的一维数组;通过计算数组sd前pN对的平均值,可为特定目标数据集获取自适应的Eps。
7.根据权利要求4所述的基于密度聚类的无监督域适应的人物重识别方法,其特征在于,针对步骤3由自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化,计算公式为,
其中xi∈(Ds∪Dt),Ds和Dt分别是源域和目标域训练数据集,vk3是目标域中非聚类样本在特征存储器中对应的取值,n为模型的批次大小,Ms表示源域数据集中总的身份数,nc、no分别是目标域聚类后的簇样本数和非簇样本数,ck2是目标域中第k2个聚类的类心,Ik2是第k2个聚类的样本集合,mj0是第k2个聚类的样本在特征存储器中对应的取值,wk1表示源域中第k1个聚类的类心;mj1表示存储器中第j1列特征向量;如果xi是源域样本,则z+是xi所属类在特征存储器中的特征向量,如果xi是聚类样本,则z+是该样本所属的聚类质心,如果xi是非聚类样本,则z+是xi在特征存储器中对应的取值;τ是调节因子。
9.一种基于密度聚类的无监督域适应的人物重识别系统,其特征在于,包括特征存储器、自适应动态聚类模块、跨相机相似性评估及损失优化模块;
所述特征存储器用于动态存储特征,根据源域已知的身份和目标域索引来按序存储源域类心和目标数据实例;源域对应的特征向量根据源域样本类别的类心更新,目标域对应的特征向量根据目标域样本特征值更新;
所述自适应动态聚类模块用于动态更新DBSCAN聚类算法的聚类半径,首先借助特征存储器获取目标域中稳定的距离度量,接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径Eps;然后在模型的迭代优化中,按照半径从小到大的方式动态更新Eps的取值,获取更加合理的聚类结果;
所述跨相机相似性评估模块用于过滤噪声伪标签,为聚类后的簇样本寻找跨相机下的最近邻簇样本,通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签,保留可靠伪标签;
所述损失优化模块包括两部分,一部分是针对自适应动态聚类模块获取的聚类结果,使用全局对比损失对整体训练数据进行统一优化;另一部分是针对跨相机相似性评估模块筛选出的可靠的聚类样本,使用三元组损失进一步优化模型,强化可靠簇的可区分性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207424.1A CN113642547B (zh) | 2021-10-18 | 2021-10-18 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111207424.1A CN113642547B (zh) | 2021-10-18 | 2021-10-18 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113642547A CN113642547A (zh) | 2021-11-12 |
CN113642547B true CN113642547B (zh) | 2022-02-11 |
Family
ID=78427266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111207424.1A Active CN113642547B (zh) | 2021-10-18 | 2021-10-18 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113642547B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116246349B (zh) * | 2023-05-06 | 2023-08-15 | 山东科技大学 | 一种基于渐进式子域挖掘的单源域领域泛化步态识别方法 |
CN116612445B (zh) * | 2023-07-20 | 2023-10-31 | 华侨大学 | 基于自适应聚类和困难样本加权的无监督车辆再辨识方法 |
CN116912535B (zh) * | 2023-09-08 | 2023-11-28 | 中国海洋大学 | 一种基于相似筛选的无监督目标重识别方法、装置及介质 |
CN117437604B (zh) * | 2023-12-21 | 2024-03-12 | 华侨大学 | 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967294A (zh) * | 2020-06-23 | 2020-11-20 | 南昌大学 | 一种无监督域自适应的行人重识别方法 |
CN112966647A (zh) * | 2021-03-25 | 2021-06-15 | 东北林业大学 | 一种基于逐层聚类及增强判别的行人重识别方法 |
CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
CN113378632A (zh) * | 2021-04-28 | 2021-09-10 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别算法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10719744B2 (en) * | 2017-12-28 | 2020-07-21 | Intel Corporation | Automated semantic inference of visual features and scenes |
AU2018100321A4 (en) * | 2018-03-15 | 2018-04-26 | Chen, Jinghan Mr | Person ReID method based on metric learning with hard mining |
CN111723645B (zh) * | 2020-04-24 | 2023-04-18 | 浙江大学 | 用于同相机内有监督场景的多相机高精度行人重识别方法 |
CN111639540B (zh) * | 2020-04-30 | 2023-08-04 | 中国海洋大学 | 基于相机风格和人体姿态适应的半监督人物重识别方法 |
CN111881714B (zh) * | 2020-05-22 | 2023-11-21 | 北京交通大学 | 一种无监督跨域行人再识别方法 |
CN111967325A (zh) * | 2020-07-16 | 2020-11-20 | 长沙理工大学 | 一种基于增量优化的无监督跨域行人重识别方法 |
CN112101150B (zh) * | 2020-09-01 | 2022-08-12 | 北京航空航天大学 | 一种基于朝向约束的多特征融合行人重识别方法 |
CN112232241B (zh) * | 2020-10-22 | 2022-03-25 | 华中科技大学 | 一种行人重识别方法、装置、电子设备和可读存储介质 |
US20210110197A1 (en) * | 2020-11-30 | 2021-04-15 | Intel Corporation | Unsupervised incremental clustering learning for multiple modalities |
CN112507901B (zh) * | 2020-12-14 | 2022-05-24 | 华南理工大学 | 一种基于伪标签自纠正的无监督行人重识别方法 |
CN112819065B (zh) * | 2021-01-28 | 2023-04-18 | 广东工业大学 | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 |
CN113516254A (zh) * | 2021-07-28 | 2021-10-19 | 深圳前海微众银行股份有限公司 | 横向联邦学习建模优化方法、设备、介质及程序产品 |
-
2021
- 2021-10-18 CN CN202111207424.1A patent/CN113642547B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967294A (zh) * | 2020-06-23 | 2020-11-20 | 南昌大学 | 一种无监督域自适应的行人重识别方法 |
CN112966647A (zh) * | 2021-03-25 | 2021-06-15 | 东北林业大学 | 一种基于逐层聚类及增强判别的行人重识别方法 |
CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
CN113378632A (zh) * | 2021-04-28 | 2021-09-10 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别算法 |
Also Published As
Publication number | Publication date |
---|---|
CN113642547A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113642547B (zh) | 一种基于密度聚类的无监督域适应人物重识别方法及系统 | |
CN108960080B (zh) | 基于主动防御图像对抗攻击的人脸识别方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN112036322B (zh) | 多任务网络跨域行人重识别模型构建方法、系统及装置 | |
CN110942025A (zh) | 一种基于聚类的无监督跨域行人重识别方法 | |
CN110929679B (zh) | 一种基于gan的无监督自适应行人重识别方法 | |
US20150110387A1 (en) | Method for binary classification of a query image | |
US20210319215A1 (en) | Method and system for person re-identification | |
CN111598004B (zh) | 一种渐进增强自学习的无监督跨领域行人再识别方法 | |
CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
CN112966691A (zh) | 基于语义分割的多尺度文本检测方法、装置及电子设备 | |
CN112906606B (zh) | 一种基于相互分歧学习的域自适应行人重识别方法 | |
CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
WO2021243947A1 (zh) | 对象再识别方法及装置、终端和存储介质 | |
CN109635708A (zh) | 一种基于三数据集交叉迁移学习的无监督行人再识别方法 | |
CN109933619B (zh) | 一种半监督分类预测方法 | |
CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN114882521A (zh) | 基于多分支网络的无监督行人重识别方法及装置 | |
CN112115780A (zh) | 一种基于深度多模型协同的半监督行人重识别方法 | |
CN115062709A (zh) | 模型优化方法、装置、设备、存储介质及程序产品 | |
Han et al. | DMRNet++: Learning discriminative features with decoupled networks and enriched pairs for one-step person search | |
CN114495004A (zh) | 一种基于无监督跨模态的行人重识别方法 | |
CN113947101A (zh) | 一种基于软化相似性学习的无监督行人重识别方法和系统 | |
CN112597871A (zh) | 基于二阶段聚类的无监督车辆重识别方法、系统及存储介质 | |
CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |