CN115862087B - 基于可靠性建模的无监督行人重识别方法及系统 - Google Patents
基于可靠性建模的无监督行人重识别方法及系统 Download PDFInfo
- Publication number
- CN115862087B CN115862087B CN202211178254.3A CN202211178254A CN115862087B CN 115862087 B CN115862087 B CN 115862087B CN 202211178254 A CN202211178254 A CN 202211178254A CN 115862087 B CN115862087 B CN 115862087B
- Authority
- CN
- China
- Prior art keywords
- online
- average
- centroid
- encoder
- pseudo tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于可靠性建模的无监督行人重识别方法及系统,属于行人重识别技术领域,其中,该方法包括:利用平均编码器对训练数据特征提取并进行聚类,为每个样本分配伪标签并计算簇质心;为每个平均特征计算平均概率向量,进而和伪标签计算伪标签确定性;利用在线编码器对训练数据特征提取,为每个在线特征计算在线概率向量,基于在线和平均概率向量计算伪标签稳定性;基于确定性和稳定性计算伪标签的可靠性,并使用质心对比损失和身份困难对比损失对在线编码器进行优化,再利用优化后的在线编码器对平均编码器进行优化,最终利用优化后的平均编码器对待测数据进行特征提取以寻找具有指定身份的行人图像。
Description
技术领域
本发明涉及行人重识别技术领域,特别涉及一种基于可靠性建模的无监督行人重识别方法及系统。
背景技术
行人重识别的目的是在图像库中寻找具有指定身份的人的图像。目前,基于监督学习的行人重识别方法已取得了令人满意的性能。然而,由于依赖于大量的人工注释,这些方法通常难以在现实中得到应用。为解决此问题,有研究者对无监督的行人重识别方法进行了探索。依据是否使用源域数据,现有的无监督行人重识别方法可以被分为无监督域适应的方法和完全无监督的方法。无监督域适应方法通常致力于在特征水平或像素水平降低域间差距的影响,同时充分利用源域中的标签信息。在源域的帮助下,该类方法已取得了较高的性能。然而,在现实中,合适的源域并不总是存在的。相比前者,完全无监督行人重识别方法不再依赖任何人工标注的数据,故更具灵活性。该类方法往往在无监督聚类和模型优化之间进行迭代,从而不断提升模型提取具有判别性的身份特征的能力。
现有的完全无监督行人重识别方法通常依赖聚类算法所生成的伪标签对模型进行优化。然而,聚类算法不可避免的会为一些样本赋予错误的伪标签。错误伪标签将误导模型的优化方向并最终阻碍模型的性能提升。在早期的研究中,PUL(progressiveunsupervised learning,渐进式无监督学习)通过设置阈值来选择足够接近聚类质心的可靠样本。最新的方法中,P2LR(probabilistic uncertainty guided progressive labelrefinery,概率不确定性指导的渐进式标签精炼)基于模型对样本的预测概率的确定性来评估伪标签的可靠性,并取得了具有竞争力的性能。然而,概率的确定性只是伪标签可靠性的必要条件,只依靠确定性来评估可靠性是远远不够的。
发明内容
本发明提供一种基于可靠性建模的无监督行人重识别方法及系统,以用于解决现有的无监督行人重识别方法的性能通常会受到错误伪标签的影响,虽可以用确定性评估可靠性,但可靠性低、无鲁棒性以及优化范围小的技术问题。
本发明一方面实施例提供一种基于可靠性建模的无监督行人重识别方法,包括:
步骤S1,采集多个行人图像样本构建训练数据集;
步骤S2,利用平均编码器对所述训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵;
步骤S3,将所述质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据所述平均概率向量和所述伪标签计算伪标签确定性;
步骤S4,利用在线编码器对所述训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据所述在线平均概率向量和所述平均概率向量计算伪标签稳定性;
步骤S5,基于所述伪标签确定性和所述伪标签稳定性计算伪标签可靠性,并利用所述可靠性确定质心对比损失函数;
步骤S6,利用所述质心对比损失函数和身份困难对比损失函数对所述在线编码器进行优化,再利用优化后的在线编码器权重对所述平均编码器进行优化;
步骤S7,利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
本发明另一方面实施例提供一种基于可靠性建模的无监督行人重识别系统,包括:
采集模块,用于采集多个行人图像样本构建训练数据集;
构建质心矩阵模块,用于利用平均编码器对所述训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵;
求解确定性模块,用于将所述质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据所述平均概率向量和所述伪标签计算伪标签确定性;
求解稳定性模块,用于利用在线编码器对所述训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据所述在线平均概率向量和所述平均概率向量计算伪标签稳定性;
求解可靠性模块,用于基于所述伪标签确定性和所述伪标签稳定性计算伪标签可靠性,并利用所述可靠性确定质心对比损失函数;
优化模块,用于利用所述质心对比损失函数和身份困难对比损失函数对所述在线编码器进行优化,再利用优化后的在线编码器权重对所述平均编码器进行优化;
识别模块,用于利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
本发明又一方面实施例提供一种行人重识别设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例所述的基于可靠性建模的无监督行人重识别方法。
本发明还一方面实施例提供一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例所述的基于可靠性建模的无监督行人重识别方法。
本发明的技术方案,至少实现了如下有益的技术效果:
在确定性和稳定性两方面对样本的伪标签的可靠性进行建模,并设计了可靠性函数重新定义样本的权重,以平衡样本的信息性和伪标签的可靠性;并基于现有的困难三元组损失设计身份困难对比损失,拥有更加广泛的优化范围,进一步增加模型对困难样本的鲁棒性。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一个实施例的基于可靠性建模的无监督行人重识别方法的流程图;
图2是本发明一个实施例的基于可靠性建模的无监督行人重识别方法的整体结构示意图;
图3是本发明一个实施例的聚类结果准确性统计图;
图4是本发明一个实施例的身份困难对比损失优化图;
图5是本发明一个实施例的基于可靠性建模的无监督行人重识别系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于可靠性建模的无监督行人重识别方法及系统,首先将参照附图描述根据本发明实施例提出的基于可靠性建模的无监督行人重识别。
图1是本发明一个实施例的基于可靠性建模的无监督行人重识别方法的流程图。
如图1和2所示,该基于可靠性建模的无监督行人重识别方法包括以下步骤:
在步骤S1中,采集多个行人图像样本构建训练数据集。
在步骤S2中,利用平均编码器对训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵。
进一步地,在本发明的一个实施例中,步骤S2具体包括:
步骤S201,利用平均编码器对训练数据集进行特征提取,得到平均特征集;
步骤S202,利用DBSCAN算法对平均特征集进行聚类,为每个训练样本分别分配所述伪标签;
步骤S203,计算每个簇的质心,并构建质心矩阵。
其中,np为该簇中的样本总数,ai为该类内的样本xi的特征;
最后,将多个质心构建成质心矩阵。
在步骤S3中,将质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据平均概率向量和伪标签计算伪标签确定性。
进一步地,在本发明的一个实施例中,步骤S3具体包括:
步骤S301,预设一个非参数化的质心分类器,利用质心分类器计算任意样本的平均概率向量;
步骤S302,对多个伪标签进行平滑处理;
步骤S303,计算平均概率向量和平滑后的伪标签的第一KL散度以评估伪标签确定性。
具体地,先设计一个非参数化的质心分类器C,其权重W∈Rd×|c|由当前阶段所有质心组成,|c|为当前阶段的质心总数,d为质心向量中的元素个数,基于质心分类器C,可以计算任意样本xi的平均概率向量pi:
其中,ai为平均编码器提取的xi的特征向量,W为质心分类器C的权重,τ1是温度超参数;
为了便于之后的计算,再对聚类算法得到的多个伪标签进行平滑处理,以为伪标签对应的类别赋予接近于1的概率值,并为其他类别赋予极小的非零值:
其中,DKL(·||·)为KL散度。
在步骤S4中,利用在线编码器对训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据在线平均概率向量和平均概率向量计算伪标签稳定性。
进一步地,在本发明的一个实施例中,步骤S4具体包括:
步骤S401,利用在线编码器对训练数据集进行在线特征提取,得到多个在线特征;
步骤S402,使用质心分类器计算每个在线特征的在线概率向量;
步骤S403,计算平均概率向量和在线概率向量的第二KL散度以评估伪标签稳定性。
需要说明的是,稳定性的引入符合一个基本事实:在集成学习场景下,若一个样本在不同的分类器中得到相同的预测,则该预测通常具有较高的可靠性;相反,若一个样本在不同的分类器中得到了不同的预测,则这些预测通常具有较低的可靠性。在行人重识别场景中,当样本在两个相似的编码器中得到的特征贴近于不同的质心时,样本会得到两个不同的预测概率,进而得到不同的伪标签。此时的伪标签通常不可靠。因此本发明实施例将预测概率之间的相似性定义为稳定性,概率的稳定性越低,伪标签的可靠性越低,通过对比两个编码器的预测概率来衡量概率的稳定性。
具体地,利用在线编码器对训练数据集进行特征提取,得到多个在线特征,使用质心分类器为每个在线特征计算在线概率向量qi:
其中,fi为使用在线编码器提取的xi的特征向量,W为质心分类器C的权重,τ2是温度超参数;
其中,DKL(·||·)为KL散度。
在步骤S5中,基于伪标签确定性和伪标签稳定性计算伪标签可靠性,并利用可靠性确定质心对比损失函数。
需要说明的是,虽然稳定性较高的样本能够为模型训练提供更加可靠的信息,然而困难样本能够使模型获得更多的优化信息。例如困难三元组损失通过降低困难负样本对的相似度并增加困难正样本对的相似度,来增加模型对困难样本的鲁棒性,因此本发明实施例没有直接将困难样本舍弃,而是设计了可靠性函数来为样本分配权重。该函数的设计符合两个基本事实:一方面,样本的权重应与可靠性成正比;另一方面,随着训练的进行,聚类结果的可靠性会逐渐提升,故困难样本的权重应逐渐提升。
具体地,如图3所示,聚类结果(即伪标签)的准确性随训练进程不断增加,故先基于伪标签确定性和伪标签稳定性计算伪标签可靠性,求解公式为:
然后基于可靠性定义质心对比损失函数,具体为:
其中,Lw为质心对比损失函数,E为求均值操作,wi为锚点的伪标签并可靠性作为fi对应的权重,fi为锚点的在线特征,为锚点所述簇的质心,τ3为温度超参数,j为当前阶段的质心索引,|c|为当前阶段的质心总数,/>为当前阶段的任意质心。
在步骤S6中,利用质心对比损失函数和身份困难对比损失函数对在线编码器进行优化,再利用优化后的在线编码器权重对平均编码器进行优化。
其中,如图4所示,对于身份困难对比损失函数,在P×K大小的mini-batch中,对于一个锚点,寻找最困难的正样本,并在每个身份中寻找最困难的负样本,因此,对于一个锚点,可以得到一个最困难的正样本以及P-1个困难的负样本,身份困难对比损失旨在增加锚点与最困难的正样本的相似度,并减小锚点与P-1个困难的负样本的相似度:
式中,Lh为身份困难对比损失函数,E为求均值操作,fi为锚点的在线特征,ai为平均编码器提取的xi的特征向量,τ4为温度超参数,j为所优化样本的索引,P为最困难的正样本和困难负样本的总数,aj为最困难的正样本或困难负样本的平均特征。
具体地,利用质心对比损失函数和身份困难对比损失函数相结合,得到总体损失函数,公式为:
Lt=Lw+λLh
其中,λ为平衡两个损失的超参数;
利用总体损失函数对在线编码器进行优化,并获取优化后的在线编码器的权重,利用该权重对平均编码器进行优化,具体过程为:
在步骤S7中,利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
也就是说,利用优化后的平均编码器对待测数据集进行特征提取,然后基于特征间的相似性寻找具有指定身份的行人图像。
下面通过一个具体实施例对本发明实施例提出的基于可靠性建模的无监督行人重识别方法进一步说明。
本实施例采用mean average precision(mAP)和cumulative matchingcharacteristic(CMC)Rank-1、Rank-5以及Rank-10来评估本发明RMCL与现有的完全无监督方法进行性能对比,其中,选择的现有的完全无监督方法为BUC、HCT、SSL、MMCL、JVTC、CycAs、SpCL、GCL、IICS、ICE和PPLR。
使用的实验数据集包括:Market-1501和DukeMTMC-reID,其中,
Market-1501数据集包含32668张使用6个摄像头拍摄的1501个身份的图像,训练集包括来自751个身份的12936张图像,测试集包括来自750个身份的19732张图像;
DukeMTMC-reID数据集包括从8个非重叠摄像机采集的36411张图像,训练集包括来自702个身份的16522张图像,测试集包括来自702个身份的17661张图像,据统计,每个身份中包含的图像的中位数为20。此外,与Market-1501数据集相比,DukeMTMC reID数据集的视角和背景更为复杂。
如下表:为本发明在Market-1501和DukeMTMC-reID数据集上与现有的完全无监督方法的比较结果。由于本发明未使用相机标签,故为了公平起见,比较了相同设置下的ICE和PPLR的性能。
可以看出,本申请与最优方法PPLR相比,本发明在Market-1501上取得了明显优势,另外在DukeMTMC-reID上性能也存在一定优势,因此本发明的综合性能优于现有的完全无监督方法。
综上,根据本发明实施例提出的基于可靠性建模的无监督行人重识别方法,缓解了噪声样本对模型性能提升的影响并提升模型对困难样本的鲁棒性,其中,在评估伪标签的可靠性时,不仅考虑了概率的确定性,而且评估了概率的稳定性,使得评估结果更加准确;在训练后期,引入了身份困难对比损失,以身份为单位选择困难样本,进一步提升模型对困难样本的鲁棒性,且相比传统的困难三元组损失,拥有更加广阔的优化范围;除此之外,设计的可靠性函数可以被轻易地引入到现有的优化方法中。
其次参照附图描述根据本发明实施例提出的基于可靠性建模的无监督行人重识别系统。
图5是本发明一个实施例的基于可靠性建模的无监督行人重识别系统的结构示意图。
如图5所示,该装置10包括:采集模块101、构建质心矩阵模块102、求解确定性模块103、求解稳定性模块104、求解可靠性模块105、优化模块106和识别模块107。
其中,采集模块101用于采集多个行人图像样本构建训练数据集。
构建质心矩阵模块102,用于利用平均编码器对训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵。
在本发明的一个实施例中,构建质心矩阵模块102具体用于:
利用平均编码器对训练数据集进行特征提取,得到平均特征集;
利用DBSCAN算法对平均特征集进行聚类,为每个训练样本分别分配伪标签;
计算每个簇的质心,并构建质心矩阵。
求解确定性模块103,用于将质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据平均概率向量和伪标签计算伪标签确定性。
在本发明的一个实施例中,求解确定性模块103具体用于:
预设一个非参数化的分类器,利用分类器计算任意样本的平均概率向量;
对多个伪标签进行平滑处理,并求解滑后的伪标签的第一KL散度;
根据平均概率向量和第一KL散度计算伪标签确定性。
求解稳定性模块104,用于利用在线编码器对训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据在线平均概率向量和平均概率向量计算伪标签稳定性。
在本发明的一个实施例中,求解稳定性模块104具体用于:
利用在线编码器对训练数据集进行在线特征提取,得到多个在线特征;
使用质心分类器计算每个在线特征的在线概率向量,并求解在线概率向量的第二KL散度;
根据平均概率向量和第二KL散度计算伪标签稳定性。
求解可靠性模块105,用于基于伪标签确定性和伪标签稳定性计算伪标签可靠性,并利用可靠性确定质心对比损失函数。
其中,伪标签可靠性为:
质心对比损失函数为:
其中,Lw为质心对比损失函数,E为求均值操作,wi为锚点的伪标签可靠性作为fi对应的权重,fi为锚点的在线特征,为锚点所述簇的质心,τ3为温度超参数,j为当前阶段的质心索引,|c|为当前阶段的质心总数,/>为当前阶段的任意质心。
优化模块106,用于利用质心对比损失函数和身份困难对比损失函数对在线编码器进行优化,再利用优化后的在线编码器权重对平均编码器进行优化。
其中,身份困难对比损失函数为:
其中,Lh为身份困难对比损失函数,E为求均值操作,fi为锚点的在线特征,ai为平均编码器提取的xi的特征向量,τ4为温度超参数,j为所优化样本的索引,P为最困难的正样本和困难负样本的总数,aj为最困难的正样本或困难负样本的平均特征。
识别模块107,用于利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
需要说明的是,前述对基于可靠性建模的无监督行人重识别方法实施例的解释说明也适用于该实施例的系统,此处不再赘述。
根据本发明实施例提出的基于可靠性建模的无监督行人重识别系统,缓解了噪声样本对模型性能提升的影响并提升模型对困难样本的鲁棒性,其中,在评估伪标签的可靠性时,不仅考虑了概率的确定性,而且评估了概率的稳定性,使得评估结果更加准确;在训练后期,引入了身份困难对比损失,以身份为单位选择困难样本,进一步提升模型对困难样本的鲁棒性,且相比传统的困难三元组损失,拥有更加广阔的优化范围;除此之外,设计的可靠性函数可以被轻易地引入到现有的优化方法中。
为了实现上述实施例,本发明还提出了一种行人重识别设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如前述实施例所述的基于可靠性建模的无监督行人重识别方法。
为了实现上述实施例,本发明还提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施例所述的基于可靠性建模的无监督行人重识别方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于可靠性建模的无监督行人重识别方法,其特征在于,包括以下步骤:
步骤S1,采集多个行人图像样本构建训练数据集;
步骤S2,利用平均编码器对所述训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵;
步骤S3,将所述质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据所述平均概率向量和所述伪标签计算伪标签确定性,具体包括:
步骤S301,预设一个非参数化的质心分类器,利用所述质心分类器计算任意样本的平均概率向量;
步骤S302,对所述多个伪标签进行平滑处理;
步骤S303,计算所述平均概率向量和平滑后的伪标签的第一KL散度以评估所述伪标签确定性;
步骤S4,利用在线编码器对所述训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据所述在线平均概率向量和所述平均概率向量计算伪标签稳定性,具体包括:
步骤S401,利用所述在线编码器对所述训练数据集进行在线特征提取,得到多个在线特征;
步骤S402,使用所述质心分类器计算每个在线特征的在线概率向量;
步骤S403,计算所述平均概率向量和所述在线概率向量的第二KL散度以评估所述伪标签稳定性;
步骤S5,基于所述伪标签确定性和所述伪标签稳定性计算伪标签可靠性,并利用所述可靠性确定质心对比损失函数,其中,
所述伪标签可靠性为:
质心对比损失函数为:
其中,Lw为质心对比损失函数,E为求均值操作,wi为任意样本的伪标签可靠性并作为fi对应的权重,fi为锚点的在线特征,为锚点所述簇的质心,τ3为温度超参数,j为当前阶段的质心索引,|c|为当前阶段的质心总数,/>为当前阶段的任意质心;
步骤S6,利用所述质心对比损失函数和身份困难对比损失函数对所述在线编码器进行优化,再利用优化后的在线编码器权重对所述平均编码器进行优化,其中,所述身份困难对比损失函数为:
其中,Lh为身份困难对比损失函数,E为求均值操作,fi为锚点的在线特征,ai为平均编码器提取的样本xi的特征向量,τ4为温度超参数,j'为所优化样本的索引,P为最困难的正样本和困难负样本的总数,aj'为最困难的正样本或困难负样本的平均特征;
步骤S7,利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
2.根据权利要求1所述的基于可靠性建模的无监督行人重识别方法,其特征在于,所述步骤S2具体包括:
步骤S201,利用所述平均编码器对所述训练数据集进行特征提取,得到所述平均特征集;
步骤S202,利用DBSCAN算法对所述平均特征集进行聚类,为每个训练样本分别分配所述伪标签;
步骤S203,计算每个簇的质心,并构建所述质心矩阵。
3.一种基于可靠性建模的无监督行人重识别系统,其特征在于,包括:
采集模块,用于采集多个行人图像样本构建训练数据集;
构建质心矩阵模块,用于利用平均编码器对所述训练数据集进行特征提取,并将得到的平均特征集进行聚类为每个训练样本分配伪标签,以计算每个簇的质心构建质心矩阵;
求解确定性模块,用于将所述质心矩阵作为分类器的权重以计算每个平均特征的平均概率向量,并根据所述平均概率向量和所述伪标签计算伪标签确定性,具体包括:
预设一个非参数化的质心分类器,利用所述质心分类器计算任意样本的平均概率向量;
对所述多个伪标签进行平滑处理;
计算所述平均概率向量和平滑后的伪标签的第一KL散度以评估所述伪标签确定性;
求解稳定性模块,用于利用在线编码器对所述训练数据集进行在线特征提取,以计算每个在线特征的在线平均概率向量,根据所述在线平均概率向量和所述平均概率向量计算伪标签稳定性,具体包括:
利用所述在线编码器对所述训练数据集进行在线特征提取,得到多个在线特征;
使用所述质心分类器计算每个在线特征的在线概率向量;
计算所述平均概率向量和所述在线概率向量的第二KL散度以评估所述伪标签稳定性;
求解可靠性模块,用于基于所述伪标签确定性和所述伪标签稳定性计算伪标签可靠性,并利用所述可靠性确定质心对比损失函数,其中,
所述伪标签可靠性为:
质心对比损失函数为:
其中,Lw为质心对比损失函数,E为求均值操作,wi为任意样本的伪标签可靠性并作为fi对应的权重,fi为锚点的在线特征,为锚点所述簇的质心,τ3为温度超参数,j为当前阶段的质心索引,|c|为当前阶段的质心总数,/>为当前阶段的任意质心;
优化模块,用于利用所述质心对比损失函数和身份困难对比损失函数对所述在线编码器进行优化,再利用优化后的在线编码器权重对所述平均编码器进行优化,其中,所述身份困难对比损失函数为:
其中,Lh为身份困难对比损失函数,E为求均值操作,fi为锚点的在线特征,ai为平均编码器提取的样本xi的特征向量,τ4为温度超参数,j'为所优化样本的索引,P为最困难的正样本和困难负样本的总数,aj'为最困难的正样本或困难负样本的平均特征;
识别模块,用于利用优化后的平均编码器对待测数据集进行特征提取,以确定具有指定身份的行人图像。
4.一种行人重识别设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-2中任一所述的基于可靠性建模的无监督行人重识别方法。
5.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-2中任一所述的基于可靠性建模的无监督行人重识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211178254.3A CN115862087B (zh) | 2022-09-26 | 2022-09-26 | 基于可靠性建模的无监督行人重识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211178254.3A CN115862087B (zh) | 2022-09-26 | 2022-09-26 | 基于可靠性建模的无监督行人重识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115862087A CN115862087A (zh) | 2023-03-28 |
CN115862087B true CN115862087B (zh) | 2023-06-23 |
Family
ID=85661160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211178254.3A Active CN115862087B (zh) | 2022-09-26 | 2022-09-26 | 基于可靠性建模的无监督行人重识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115862087B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242064A (zh) * | 2020-01-17 | 2020-06-05 | 山东师范大学 | 基于摄像头风格迁移和单标注的行人重识别方法及系统 |
CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4027300B1 (en) * | 2021-01-12 | 2023-12-27 | Fujitsu Limited | Apparatus, program, and method for anomaly detection and classification |
CN113378632B (zh) * | 2021-04-28 | 2024-04-12 | 南京大学 | 一种基于伪标签优化的无监督域适应行人重识别方法 |
CN115439887A (zh) * | 2022-08-26 | 2022-12-06 | 三维通信股份有限公司 | 一种基于伪标签优化的行人重识别方法、系统及存储介质 |
-
2022
- 2022-09-26 CN CN202211178254.3A patent/CN115862087B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242064A (zh) * | 2020-01-17 | 2020-06-05 | 山东师范大学 | 基于摄像头风格迁移和单标注的行人重识别方法及系统 |
CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115862087A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112559784B (zh) | 基于增量学习的图像分类方法及系统 | |
CN110390396B (zh) | 用于估计观测变量之间的因果关系的方法、装置和系统 | |
WO2018219016A1 (zh) | 一种人脸检测训练方法、装置及电子设备 | |
CN111860872B (zh) | 用于异常检测的系统和方法 | |
CN110852755B (zh) | 针对交易场景的用户身份识别方法和装置 | |
CN110046706B (zh) | 模型生成方法、装置及服务器 | |
CN111079780B (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
CN110969200B (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
CN113259331B (zh) | 一种基于增量学习的未知异常流量在线检测方法及系统 | |
CN113469186B (zh) | 一种基于少量点标注的跨域迁移图像分割方法 | |
CN115439887A (zh) | 一种基于伪标签优化的行人重识别方法、系统及存储介质 | |
Lee et al. | Localization uncertainty estimation for anchor-free object detection | |
CN111127364A (zh) | 图像数据增强策略选择方法及人脸识别图像数据增强方法 | |
WO2019205544A1 (zh) | 兼顾公平性的上下文感知学习的结果预测分类器 | |
CN117153268A (zh) | 一种细胞类别确定方法及系统 | |
JP2016194914A (ja) | 混合モデル選択の方法及び装置 | |
CN114547365A (zh) | 一种图像检索方法和设备 | |
CN111783088B (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
CN115862087B (zh) | 基于可靠性建模的无监督行人重识别方法及系统 | |
CN115831219B (zh) | 一种质量预测方法、装置、设备及存储介质 | |
JP6233432B2 (ja) | 混合モデルの選択方法及び装置 | |
EP4220495A1 (en) | Task learning system and method, and related device | |
CN112446428B (zh) | 一种图像数据处理方法及装置 | |
Rather et al. | Constriction coefficient-based particle swarm optimization and gravitational search algorithm for image segmentation | |
CN112906785A (zh) | 基于融合的零样本物体种类识别方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |