CN118351340B - 基于样本挖掘的双分支无监督目标重识别方法及系统 - Google Patents
基于样本挖掘的双分支无监督目标重识别方法及系统 Download PDFInfo
- Publication number
- CN118351340B CN118351340B CN202410772327.4A CN202410772327A CN118351340B CN 118351340 B CN118351340 B CN 118351340B CN 202410772327 A CN202410772327 A CN 202410772327A CN 118351340 B CN118351340 B CN 118351340B
- Authority
- CN
- China
- Prior art keywords
- camera
- cluster
- matching
- sample
- agent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005065 mining Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 23
- 239000003795 chemical substances by application Substances 0.000 claims description 102
- 239000013598 vector Substances 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 238000002372 labelling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于目标重识别技术领域，公开了基于样本挖掘的双分支无监督目标重识别方法及系统，所述方法包括步骤1、构建无监督目标重识别网络模型，步骤2、特征提取和聚类，步骤3、图匹配筛选，步骤4、损失计算，通过本发明构建相机内和相机间两个分支进行模型训练，并改进对比损失，综合两个分支的对比损失得到混合稀疏对比损失，提高重识别的准确率。
Description
技术领域
本发明属于目标重识别技术领域，特别涉及基于样本挖掘的双分支无监督目标重识别方法及系统。
背景技术
目标重识别是一种基于多相机跨场景的目标匹配任务，其核心目的是在不同图像或视频帧中识别和匹配特定目标，具体而言，在给定某一摄像机下拍摄的目标图像的基础上，识别出在其他相机不同视角下或同一相机的不同时段下的该目标。目标重识别的方法基于监督程度划分，可分为有监督目标重识别、半监督目标重识别和无监督目标重识别。由于有监督方法依赖于大量的身份标注数据，为了降低高昂的标注成本，研究人员开始转向使用无标注数据。无监督重识别方法使用未标注的目标数据，可分为两大类：（1）纯无监督方法，即完全依赖于未标记的目标数据进行训练。（2）无监督跨域方法，即使用有标记的源域数据和未标记的目标数据进行训练。与有监督目标重识别方法相比，无监督目标重识别方法更适用于自然场景下拍摄的大规模监控图像，而纯无监督重识别方法不需要任何标注和其他数据集支撑，通过一定的无监督算法就可以完成目标域中模型的训练，节省时间和人力成本。
纯无监督目标重识别旨在利用无标注的目标域数据，设计一个能够在目标域上表现良好的模型，以获得更具区分性的特征。现有的最先进的纯无监督目标重识别方法先在ImageNet上进行预训练模型并利用模型提取特征，然后利用DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)等聚类算法生成伪标签，采用三元组损失、分类损失或对比损失等对模型进行训练。但是由于目标重识别数据集由多个摄像头捕获，不同的摄像头由于视图、光照、参数不同，会产生不同风格的图像，这些图像常常导致同一个身份的样本存在很大差异，导致类内差异大类间差异小，给重识别带来难度，例如：不同的目标在相同的相机下可能产生视觉上很相似的图像，同一目标在不同的相机下可能产生视觉上并不相似的图像。在此基础上利用特征相似性根据聚类算法为未标注数据分配的伪标签存在噪声问题，使用错误或者信息量少的正负样本计算损失会阻碍特征学习，从而影响准确率。
发明内容
针对现有技术存在的不足，本发明提供一种基于样本挖掘的双分支无监督目标重识别方法及系统，（1）为解决由于伪标签噪声造成的正负样本不可靠问题，本发明针对相机内和相机间两个分支，对各个相机下的图像特征利用二分图计算成本矩阵并进行图匹配，根据特征匹配矩阵筛选可靠的正负样本，有效地优化损失、减少噪声，促进模型学习更具区分性的特征。（2）针对目标域中显著的相机类内差异问题，改进对比损失，不同于每一个实例进行密集采样正负样本对，每一聚类簇只稀疏采样一个正负样本对，以相机内聚类平均特征和相机间代理特征为基础，综合两个分支的对比损失称为混合稀疏对比损失，并采用平衡困难正样本以辅助网络训练，可以有效增大类间距离、减小类内差异，从而提高重识别的准确率。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供一种基于样本挖掘的双分支无监督目标重识别方法，包括以下步骤：
步骤1、构建无监督目标重识别网络模型：
首先，使用ResNet50网络搭建模型，并利用公开数据集进行模型预训练以初始化网络；
其次，构建双分支结构进行模型训练：（1）相机内分支：根据数据集的总相机数量N将输入图像分为N个相机内图像集合，根据图片的相机信息将图片分在不同的相机集合下，用于后续局部训练；（2）相机间分支：所有图像作为一个集合进行后续全局训练，在训练过程中仍保留图像的相机信息；
步骤2、特征提取和聚类：
两个分支结构的特征提取阶段方法相同，都是将目标域图像输入ResNet50网络进行特征提取得到特征向量；两个分支结构的聚类方法存在差异，具体来说：
相机内聚类是在不同相机集合下分别进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机内伪标签，并获得每个聚类簇的向量表示；相机间聚类是在全局范围内进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机间伪标签，并根据不同的相机标签分为对应相机下的小簇，获得每个小簇的代理向量，进而获得每个聚类簇的所有代理向量表示；
步骤3、图匹配筛选：
在相机内分支中，将每个聚类簇的平均向量表示映射为图的顶点，不同的聚类簇代表不同的节点，共同构建成一个图，这样每个相机都对应一个图Gn；不同图两两组合并将顶点相互连接，构成多个二分图；为每个二分图中的顶点集合计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系，从而挖掘可靠样本；
步骤4、损失计算：
以每一类作为锚点并挖掘信息量最大的正负样本，每一聚类簇只稀疏采样一个正负样本对，称为稀疏对比损失，综合两个分支的对比损失称为混合稀疏对比损失，然后叠加两个分支的三元组损失，构成总损失；
重复训练步骤2-步骤4。
进一步的，步骤2中，两个分支结构的聚类方法具体如下：
（1）在相机内分支进行聚类时，在不同相机集合下分别进行聚类，根据特征间的距离计算相似度进行聚类，得到相机内聚类结果，其中，n为相机的序号，，N为相机总数，根据聚类结果分配相机内伪标签，其中，每个簇中所有特征的平均特征作为这个聚类簇的向量表示；
（2）在相机间分支进行聚类时，在全局范围内进行聚类，得到相机间聚类结果，根据聚类结果分配相机间伪标签；其中，每个聚类簇又根据不同的相机标签分为对应相机下的小簇，每个小簇用一个代理特征来表示，每个小簇中所有特征的平均特征作为这个小簇的代理向量表示，因此每个聚类簇中又有N个代理。
进一步的，步骤3中，，其中，，N为相机总数，表示相机n中的聚类簇数目，表示第p簇的向量表示；
图匹配是图间节点进行匹配，节点匹配的成本与聚类簇间的距离呈正相关，通过最小化节点间的匹配成本，寻找不同节点间的最优相似关系，期望得到一个最优化的图匹配结果，找到不同相机下可靠的图像相似匹配关系，使得边的总权重最小化；
在二分图匹配过程中，两个二分图的顶点集合间的匹配成本用成本矩阵C来表示；Gn与其他所有图进行图匹配的过程，实际就是找到相机n中的所有顶点在其他相机中的相似顶点；考虑到计算过程中的对称性，不重复计算两个聚类簇间的匹配成本；
在计算顶点间的距离时，选择计算余弦相似度，设计的成本表达式为：
；
；
；
；
是相机i中第k簇的顶点表示，是相机j中第k簇的顶点表示，表示相机i中第k簇中的实例数量，表示相机j中第m簇中的实例数量，表示相机i第k簇中的第c个实例，表示相机j第m簇中的第c个实例，表示ResNet50网络模型提取的特征向量，表示向量的模，表示两个顶点之间的相似度，表示两个顶点间的距离成本；
为了找到能使图匹配代价最小的匹配向量，进行最小化操作，图匹配公式如下：
；
其中，是表示顶点a和b匹配状态的二进制向量，其中每个元素对应于成本矩阵中的一条边，1表示两个顶点已经匹配，0表示两个顶点未匹配；表示顶点a和b的图匹配向量，CT表示两个顶点间距离成本的转置；
使用匈牙利算法解决图匹配问题，得到各个相机顶点集之间的匹配矩阵，共N2个矩阵，每个顶点都具有一个特征匹配集合，表示与该代理与其他相机代理间的匹配关系。
进一步的，在相机间分支中，利用相机内分支得到的匹配矩阵挖掘合适的正负样本，具体来说，将相机间聚类代理与匹配矩阵顶点集进行比对，使每个代理同样对应一个特征匹配集合；根据特征匹配集合与聚类结果进行匹配筛选，筛选规则为：如果某一代理与同一簇中的其他代理不存在代理匹配关系，认为该代理的噪声超标，则筛掉该代理；如果某一代理与同一聚类簇中的其他代理都具有代理匹配关系，认为该代理是可靠的，因此选择该代理作为锚样本，选择匹配的同一簇代理作为正样本，选择不同簇代理作为负样本，共同构成三元组；如果某一代理与部分不同聚类簇代理具有代理匹配关系，认为是由于类间距离小而类内距离大导致，为了拉大类间距离，选择该代理作为正样本，选择匹配的不同簇代理作为负样本，与聚类中心特征共同构成三元组。
进一步的，步骤4中，损失的计算具体如下：
步骤4-1、在相机间分支中，相机间稀疏对比损失表示为：
；
其中，是温度系数，P表示随机采样类的数量，表示相机间正样本对的相似度，表示相机间负样本对的相似度；参与损失计算过程的样本，不包含在图匹配筛选阶段过滤掉的样本；
相机间正、负样本对的相似度计算如下：
负样本指与所选锚点样本分属不同类的样本，负样本与锚点样本构成负样本对以计算相似度，在挑选负样本时，选择与所选锚点样本最相似的负样本即最难负样本，计算相似度，公式为：
；
其中，q为编码器提取的第p簇中的查询实例，为实例q所在第p簇的平均向量表示，为第u簇中代理l的向量表示，u为除p外的其他簇，为第u簇中的代理数量；
正样本指与所选锚点样本属于同一类的其他样本，正样本与锚点样本构成正样本对以计算相似度，在挑选正样本时，选择与所选锚点样本最不相似的正样本即最难正样本，在选择最难正样本时，采用平衡困难正样本，具体来说，加入最软正样本辅助学习，最软正样本是与锚点样本最相近的正样本，的计算公式为：
；
；
；
其中，m为第p簇中的第m个代理，为第p簇中代理数量，为实例q所在第p簇的第m个代理的向量表示，表示第p簇中代理l的向量表示，l为除p外的其他簇，为第p簇的最难正样本，为第p簇的最软正样本，α为正样本硬度参数；此外，根据图匹配筛选阶段构建的三元组计算相机间三元组损失；
步骤4-2、在相机内分支中，在计算对比损失时，同样对每一类采用一个正负样本对，不同于相机间分支在代理层次计算对比损失，相机内分支中采用实例层次计算对比损失，每个聚类簇用该簇中所有实例的平均特征表示簇中心特征，则相机内稀疏对比损失可表示为：
；
；
；
；
；
其中，表示相机内正样本对的相似度，表示相机内负样本对的相似度，为第u簇中实例nq的向量表示，u为除p外的其他簇，为第p簇中的第nq个实例的向量表示，为实例q所在第p簇的第mq个实例的向量表示，为第p簇的最难正样本，为第p簇的最软正样本；此外，根据聚类结果在每个相机内计算三元组损失；
两个分支的对比损失叠加构成混合稀疏对比损失，三元组损失叠加构成混合三元组损失，公式为：
；
；
综上，总损失L的公式为：
。
其次，本发明还提供一种基于样本挖掘的双分支无监督目标重识别系统，用于实现如前所述的基于样本挖掘的双分支无监督目标重识别方法，包括模型构建模块、特征提取和聚类模块、图匹配筛选模块、损失计算模块；
所述模型构建模块，用于构建无监督目标重识别网络模型，具体来说：使用ResNet50网络搭建模型，并利用公开数据集进行模型预训练以初始化网络；构建双分支结构进行模型训练，双分支结构包括相机内分支和相机间分支；
所述特征提取和聚类模块，用于提取双分支结构的特征向量，然后分别进行相机间聚类和相机内聚类；
所述图匹配筛选模块，用于构建二分图并计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系；
所述损失计算模块，用于计算稀疏对比损失、两个分支的混合稀疏对比损失和两个分支的三元组损失，最终计算总损失。
与现有技术相比，本发明优点在于：
（1）为解决由于伪标签噪声造成的正负样本不可靠问题，本发明针对相机内和相机间两个分支，根据特征匹配矩阵筛选正负样本，对各个相机下的图像特征构建成本矩阵并进行相似匹配，建立相似匹配关系，根据特征匹配关系筛选信息量大的正负样本。该方法有效地优化损失、减少噪声，促进模型学习更具区分性的特征。
（2）针对目标域中显著的相机类内差异问题，现有的方法在执行聚类和损失时将相机内和相机间当作两个独立的分支，没有考虑相机间各个图像特征间的内在联系，导致类内差异增大而类间差异小。本发明改进对比损失，不同于每一个实例进行密集采样正负样本对，本发明针对相机内和相机间两个分支的特性，提出混合稀疏对比损失，并采用平衡困难正样本以辅助网络训练，可以有效增大类间距离、减小类内差异，从而提高重识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
图2为本发明的模型结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
本实施例设计了一种基于样本挖掘的双分支无监督目标重识别方法，首先构建网络模型架构（本实施例的网络模型架构包括ResNet50网络+双分支结构的架构），然后进行三步模型优化过程，即特征提取和聚类、图匹配筛选和损失计算。
下面结合图1，详细介绍本发明的方法步骤，包括以下步骤：
步骤1、构建无监督目标重识别网络模型：
首先，使用ResNet50网络搭建模型，并利用公开数据集（本实施例采用ImageNet）进行模型预训练以初始化网络。
其次，构建双分支结构进行模型训练。
（1）相机内分支：根据数据集的总相机数量N将输入图像分为N个相机内图像集合，根据图片的相机信息将图片分在不同的相机集合下，用于后续局部训练。
（2）相机间分支：所有图像作为一个集合进行后续全局训练，在训练过程中仍保留图像的相机信息。
最后利用损失进行反向传播以优化模型。
步骤2、特征提取和聚类：
两个分支结构的特征提取阶段方法相同，都是将目标域图像输入ResNet50网络进行特征提取得到特征向量。两个分支结构的聚类方法存在差异，具体来说：
相机内聚类是在不同相机集合下分别进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机内伪标签，并获得每个聚类簇的向量表示。
相机间聚类是在全局范围内进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机间伪标签，并根据不同的相机标签分为对应相机下的小簇，获得每个小簇的代理向量，进而获得每个聚类簇的所有代理向量表示。
需要说明的是，本发明在进行聚类时，采用的是DBSCAN（Density-Based SpatialClustering of Applications with Noise）聚类算法，是一种基于密度的聚类算法，采用其他的基于密度的聚类算法也能实现本发发明的技术方案。
作为一个优选的实施方式，步骤2中，两个分支结构的聚类方法具体如下：
（1）在相机内分支进行聚类时，在不同相机集合下分别进行聚类，根据特征间的距离计算相似度进行DBSCAN聚类，得到相机内聚类结果，其中，n为相机的序号，，N为相机总数，根据聚类结果分配相机内伪标签，其中，每个簇中所有特征的平均特征作为这个聚类簇的向量表示；
（2）在相机间分支进行聚类时，在全局范围内进行聚类，得到相机间聚类结果，根据聚类结果分配相机间伪标签；其中，每个聚类簇又根据不同的相机标签分为对应相机下的小簇，每个小簇用一个代理特征来表示，每个小簇中所有特征的平均特征作为这个小簇的代理向量表示，因此每个聚类簇中又有N个代理。
步骤3、图匹配筛选：
在相机内分支中，将每个聚类簇的平均向量表示映射为图的顶点，不同的聚类簇代表不同的节点，共同构建成一个图，这样每个相机都对应一个图Gn，，其中，，N为相机总数，表示相机n中的聚类簇数目，表示第p簇的向量表示；不同图两两组合并将顶点相互连接，构成多个二分图；为每个二分图中的顶点集合计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系，从而挖掘可靠样本。
本步骤3中，图匹配是图间节点进行匹配，节点匹配的成本与聚类簇间的距离呈正相关，通过最小化节点间的匹配成本，寻找不同节点间的最优相似关系，期望得到一个最优化的图匹配结果，找到不同相机下可靠的图像相似匹配关系，使得边的总权重最小化。
在二分图匹配过程中，两个二分图的顶点集合间的匹配成本可以用成本矩阵C来表示，成本矩阵中的某一行某一列的值比如cmk代表第m类图像和第k类图像间的匹配成本，图中成本矩阵中的c11、c12……c1k等各个值的具体释义不再详细赘述；Gn与其他所有图进行图匹配的过程，实际就是找到相机n中的所有顶点在其他相机中的相似顶点。考虑到计算过程中的对称性，不重复计算两个聚类簇间的匹配成本。
由于在人物重识别过程中更关注于不同人物间的视觉相似性，在计算顶点间的距离时，选择计算余弦相似度，设计的成本表达式为：
；
；
；
；
是相机i中第k簇的顶点表示，是相机j中第k簇的顶点表示，表示相机i中第k簇中的实例数量，表示相机j中第m簇中的实例数量，表示相机i第k簇中的第c个实例，表示相机j第m簇中的第c个实例，表示ResNet50网络模型提取的特征向量，表示向量的模，表示两个顶点之间的相似度，表示两个顶点间的距离成本。
为了找到能使图匹配代价最小的匹配向量，进行最小化操作，图匹配公式如下：
；
其中，是表示顶点a和b匹配状态的二进制向量，其中每个元素对应于成本矩阵中的一条边，1表示两个顶点已经匹配，0表示两个顶点未匹配；表示顶点a和b的图匹配向量，CT表示两个顶点间距离成本的转置。
使用匈牙利算法解决图匹配问题，得到各个相机顶点集之间的匹配矩阵，共N2个矩阵，每个顶点都具有一个特征匹配集合，表示与该代理与其他相机代理间的匹配关系。
在相机间分支中，利用相机内分支得到的匹配矩阵挖掘合适的正负样本，具体来说，将相机间聚类代理与匹配矩阵顶点集进行比对，使每个代理同样对应一个特征匹配集合；根据特征匹配集合与聚类结果进行匹配筛选，筛选规则为：如果某一代理与同一簇中的其他代理不存在代理匹配关系，认为该代理的噪声超标，则筛掉该代理；如果某一代理与同一聚类簇中的其他代理都具有代理匹配关系，认为该代理是可靠的，因此选择该代理作为锚样本，选择匹配的同一簇代理作为正样本，选择不同簇代理作为负样本，共同构成三元组；如果某一代理与部分不同聚类簇代理具有代理匹配关系，认为是由于类间距离小而类内距离大导致，为了拉大类间距离，选择该代理作为正样本，选择匹配的不同簇代理作为负样本，与聚类中心特征共同构成三元组。
步骤4、损失计算：
传统对比学习需要对每个实例采样一个正负样本对，多次采样机制不可避免地引入噪声，为了减少噪声带来的不利影响，以每一类作为锚点并挖掘信息量最大的正负样本。因此在计算对比损失时，不同于每一个实例进行密集采样正负样本对，以每一类作为锚点并挖掘信息量最大的正负样本，每一聚类簇只稀疏采样一个正负样本对，称为稀疏对比损失，综合两个分支的对比损失称为混合稀疏对比损失，然后叠加两个分支的三元组损失，构成总损失。
下面详细介绍损失的计算。
损失的计算具体如下：
步骤4-1、在相机间分支中，相机间稀疏对比损失表示为：
；
其中，是温度系数，P表示随机采样类的数量，表示相机间正样本对的相似度，表示相机间负样本对的相似度；参与损失计算过程的样本，不包含在图匹配筛选阶段过滤掉的样本。
作为一个优选的实施方式，步骤4-1中，正、负样本对的相似度计算如下：
负样本指与所选锚点样本分属不同类的样本，负样本与锚点样本构成负样本对以计算相似度。在挑选负样本时，为获得更多的信息量、更利于模型优化，期望挖掘与所选实例最相似的负样本即最难负样本。最难负样本是距离锚点样本最近的负样本，能帮助模型更专注于学习类别间的差异从而减少类内差异。因此选择与所选锚点样本最相似的负样本即最难负样本，计算相似度，公式为：
；
其中，q为编码器提取的第p簇中的查询实例，为实例q所在第p簇的平均向量表示，为第u簇中代理l的向量表示，u为除p外的其他簇，为第u簇中的代理数量。
正样本指与所选锚点样本属于同一类的其他样本，正样本与锚点样本构成正样本对以计算相似度，在挑选正样本时，所选正对应该具有适应类内变化的能力，因此选择与所选锚点样本最不相似的正样本即最难正样本，最难正样本是距离锚点样本最远的正样本。然而，受光照、相机视角等因素的影响，最难正样本图像对的类内差异可能较大，会误导特征学习。在选择最难正样本时，采用平衡困难正样本，具体来说，加入最软正样本辅助学习，最软正样本是与锚点样本最相近的正样本，在模型训练的早期学习最软正样本有利于模型快速学习，综合最难正样本和最软正样本可以帮助模型更全面地学习数据特征并加速学习和收敛过程。的计算公式为：
；
；
；
其中，m为第p簇中的第m个代理，为第p簇中代理数量，为实例q所在第p簇的第m个代理的向量表示，表示第p簇中代理l的向量表示，l为除p外的其他簇，为第p簇的最难正样本，为第p簇的最软正样本，α为正样本硬度参数。
此外，根据图匹配筛选阶段构建的三元组计算相机间三元组损失。
步骤4-2、在相机内分支中，在计算对比损失时，同样对每一类采用一个正负样本对，不同于相机间分支在代理层次计算对比损失，相机内分支中采用实例层次计算对比损失，每个聚类簇用该簇中所有实例的平均特征表示簇中心特征，则相机内稀疏对比损失可表示为：
；
；
；
；
；
其中，表示相机内正样本对的相似度，表示相机内负样本对的相似度，为第u簇中实例nq的向量表示，u为除p外的其他簇，为第p簇中的第nq个实例的向量表示，为实例q所在第p簇的第mq个实例的向量表示，为第p簇的最难正样本，为第p簇的最软正样本。此外，根据聚类结果在每个相机内计算三元组损失。
两个分支的对比损失叠加构成混合稀疏对比损失，三元组损失叠加构成混合三元组损失，公式为：
；
；
综上，总损失L的公式为：
。
重复训练步骤2-步骤4。
本发明采用的是纯无监督目标重识别方法，不需要任何标注和其他数据集支撑，通过一定的无监督算法就可以完成目标域中模型的训练，节省时间和人力成本。
通过上述步骤完成模型训练后，对于给定的无标注数据集中的图像，比如人物图像，可以准确识别出不同摄像头下的目标图像，识别出目标。
作为本发明的另一个实施例，设计了一种基于样本挖掘的双分支无监督目标重识别系统，如图2所示，包括：模型构建模块、特征提取和聚类模块、图匹配筛选模块、损失计算模块。用于实现如前所述的基于样本挖掘的双分支无监督目标重识别方法，详细方法步骤及实现方式此处不再赘述。
所述模型构建模块，用于构建无监督目标重识别网络模型，具体来说：使用ResNet50网络搭建模型，并利用公开数据集进行模型预训练以初始化网络；构建双分支结构进行模型训练，双分支结构包括相机内分支和相机间分支。
所述特征提取和聚类模块，用于提取双分支结构的特征向量，然后分别进行相机间聚类和相机内聚类。
所述图匹配筛选模块，用于构建二分图并计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系。
所述损失计算模块，用于计算稀疏对比损失、两个分支的混合稀疏对比损失和两个分支的三元组损失，最终计算总损失。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。
Claims (6)
1.基于样本挖掘的双分支无监督目标重识别方法，其特征在于，包括以下步骤：
步骤1、构建无监督目标重识别网络模型：
首先，使用ResNet50网络搭建模型，并利用公开数据集进行模型预训练以初始化网络；
其次，构建双分支结构进行模型训练：（1）相机内分支：根据数据集的总相机数量N将输入图像分为N个相机内图像集合，根据图片的相机信息将图片分在不同的相机集合下，用于后续局部训练；（2）相机间分支：所有图像作为一个集合进行后续全局训练，在训练过程中仍保留图像的相机信息；
步骤2、特征提取和聚类：
两个分支结构的特征提取阶段方法相同，都是将目标域图像输入ResNet50网络进行特征提取得到特征向量；两个分支结构的聚类方法存在差异，具体来说：相机内聚类是在不同相机集合下分别进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机内伪标签，并获得每个聚类簇的向量表示；相机间聚类是在全局范围内进行聚类，基于样本间的Jaccard距离进行聚类，根据聚类结果分配相机间伪标签，并根据不同的相机标签分为对应相机下的小簇，获得每个小簇的代理向量，进而获得每个聚类簇的所有代理向量表示；
步骤3、图匹配筛选：
在相机内分支中，将每个聚类簇的平均向量表示映射为图的顶点，不同的聚类簇代表不同的节点，共同构建成一个图，这样每个相机都对应一个图Gn，不同图两两组合并将顶点相互连接，构成多个二分图；为每个二分图中的顶点集合计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系，从而挖掘可靠样本；
步骤4、损失计算：
以每一类作为锚点并挖掘信息量最大的正负样本，每一聚类簇只稀疏采样一个正负样本对，称为稀疏对比损失，综合两个分支的对比损失称为混合稀疏对比损失，然后叠加两个分支的三元组损失，构成总损失；
重复训练步骤2-步骤4。
2.根据权利要求1所述的基于样本挖掘的双分支无监督目标重识别方法，其特征在于，步骤2中，两个分支结构的聚类方法具体如下：
（1）在相机内分支进行聚类时，在不同相机集合下分别进行聚类，根据特征间的距离计算相似度进行聚类，得到相机内聚类结果，其中，n为相机的序号，，N为相机总数，根据聚类结果分配相机内伪标签，其中，每个簇中所有特征的平均特征作为这个聚类簇的向量表示；
（2）在相机间分支进行聚类时，在全局范围内进行聚类，得到相机间聚类结果，根据聚类结果分配相机间伪标签；其中，每个聚类簇又根据不同的相机标签分为对应相机下的小簇，每个小簇用一个代理特征来表示，每个小簇中所有特征的平均特征作为这个小簇的代理向量表示，因此每个聚类簇中又有N个代理。
3.根据权利要求1所述的基于样本挖掘的双分支无监督目标重识别方法，其特征在于，步骤3中，，其中，，N为相机总数，表示相机n中的聚类簇数目，表示第p簇的向量表示；
图匹配是图间节点进行匹配，节点匹配的成本与聚类簇间的距离呈正相关，通过最小化节点间的匹配成本，寻找不同节点间的最优相似关系，期望得到一个最优化的图匹配结果，找到不同相机下可靠的图像相似匹配关系，使得边的总权重最小化；
在二分图匹配过程中，两个二分图的顶点集合间的匹配成本用成本矩阵C来表示；Gn与其他所有图进行图匹配的过程，实际就是找到相机n中的所有顶点在其他相机中的相似顶点；考虑到计算过程中的对称性，不重复计算两个聚类簇间的匹配成本；
在计算顶点间的距离时，选择计算余弦相似度，设计的成本表达式为：
；
；
；
；
是相机i中第k簇的顶点表示，是相机j中第k簇的顶点表示，表示相机i中第k簇中的实例数量，表示相机j中第m簇中的实例数量，表示相机i第k簇中的第c个实例，表示相机j第m簇中的第c个实例，表示ResNet50网络模型提取的特征向量，表示向量的模，表示两个顶点之间的相似度，表示两个顶点间的距离成本；
为了找到能使图匹配代价最小的匹配向量，进行最小化操作，图匹配公式如下：
；
其中，是表示顶点a和b匹配状态的二进制向量，其中每个元素对应于成本矩阵中的一条边，1表示两个顶点已经匹配，0表示两个顶点未匹配；表示顶点a和b的图匹配向量，CT表示两个顶点间距离成本的转置；
使用匈牙利算法解决图匹配问题，得到各个相机顶点集之间的匹配矩阵，共N2个矩阵，每个顶点都具有一个特征匹配集合，表示与该代理与其他相机代理间的匹配关系。
4.根据权利要求3所述的基于样本挖掘的双分支无监督目标重识别方法，其特征在于，在相机间分支中，利用相机内分支得到的匹配矩阵挖掘合适的正负样本，具体来说，将相机间聚类代理与匹配矩阵顶点集进行比对，使每个代理同样对应一个特征匹配集合；根据特征匹配集合与聚类结果进行匹配筛选，筛选规则为：如果某一代理与同一簇中的其他代理不存在代理匹配关系，认为该代理的噪声超标，则筛掉该代理；如果某一代理与同一聚类簇中的其他代理都具有代理匹配关系，认为该代理是可靠的，因此选择该代理作为锚样本，选择匹配的同一簇代理作为正样本，选择不同簇代理作为负样本，共同构成三元组；如果某一代理与部分不同聚类簇代理具有代理匹配关系，认为是由于类间距离小而类内距离大导致，为了拉大类间距离，选择该代理作为正样本，选择匹配的不同簇代理作为负样本，与聚类中心特征共同构成三元组。
5.根据权利要求3所述的基于样本挖掘的双分支无监督目标重识别方法，其特征在于，步骤4中，损失的计算具体如下：
步骤4-1、在相机间分支中，相机间稀疏对比损失表示为：
；
其中，是温度系数，P表示随机采样类的数量，表示相机间正样本对的相似度，表示相机间负样本对的相似度；参与损失计算过程的样本，不包含在图匹配筛选阶段过滤掉的样本；
相机间正、负样本对的相似度计算如下：
负样本指与所选锚点样本分属不同类的样本，负样本与锚点样本构成负样本对以计算相似度，在挑选负样本时，选择与所选锚点样本最相似的负样本即最难负样本，计算相似度，公式为：
；
其中，q为编码器提取的第p簇中的查询实例，为实例q所在第p簇的平均向量表示，为第u簇中代理l的向量表示，u为除p外的其他簇，为第u簇中的代理数量；
正样本指与所选锚点样本属于同一类的其他样本，正样本与锚点样本构成正样本对以计算相似度，在挑选正样本时，选择与所选锚点样本最不相似的正样本即最难正样本，在选择最难正样本时，采用平衡困难正样本，具体来说，加入最软正样本辅助学习，最软正样本是与锚点样本最相近的正样本，的计算公式为：
；
；
；
其中，m为第p簇中的第m个代理，为第p簇中代理数量，为实例q所在第p簇的第m个代理的向量表示，表示第p簇中代理l的向量表示，l为除p外的其他簇，为第p簇的最难正样本，为第p簇的最软正样本，α为正样本硬度参数；此外，根据图匹配筛选阶段构建的三元组计算相机间三元组损失；
步骤4-2、在相机内分支中，在计算对比损失时，同样对每一类采用一个正负样本对，不同于相机间分支在代理层次计算对比损失，相机内分支中采用实例层次计算对比损失，每个聚类簇用该簇中所有实例的平均特征表示簇中心特征，则相机内稀疏对比损失可表示为：
；
；
；
；
；
其中，表示相机内正样本对的相似度，表示相机内负样本对的相似度，为第u簇中实例nq的向量表示，u为除p外的其他簇，为第p簇中的第nq个实例的向量表示，为实例q所在第p簇的第mq个实例的向量表示，为第p簇的最难正样本，为第p簇的最软正样本；此外，根据聚类结果在每个相机内计算三元组损失；
两个分支的对比损失叠加构成混合稀疏对比损失，三元组损失叠加构成混合三元组损失，公式为：
；
；
综上，总损失L的公式为：
。
6.基于样本挖掘的双分支无监督目标重识别系统，其特征在于，用于实现如权利要求1-5任一项所述的基于样本挖掘的双分支无监督目标重识别方法，所述系统包括：模型构建模块、特征提取和聚类模块、图匹配筛选模块、损失计算模块；
所述模型构建模块，用于构建无监督目标重识别网络模型，具体来说：使用ResNet50网络搭建模型，并利用公开数据集进行模型预训练以初始化网络；构建双分支结构进行模型训练，双分支结构包括相机内分支和相机间分支；
所述特征提取和聚类模块，用于提取双分支结构的特征向量，然后分别进行相机间聚类和相机内聚类；
所述图匹配筛选模块，用于构建二分图并计算成本矩阵，根据成本矩阵进行图匹配以获取特征匹配关系；
所述损失计算模块，用于计算稀疏对比损失、两个分支的混合稀疏对比损失和两个分支的三元组损失，最终计算总损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410772327.4A CN118351340B (zh) | 2024-06-17 | 2024-06-17 | 基于样本挖掘的双分支无监督目标重识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410772327.4A CN118351340B (zh) | 2024-06-17 | 2024-06-17 | 基于样本挖掘的双分支无监督目标重识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118351340A CN118351340A (zh) | 2024-07-16 |
| CN118351340B true CN118351340B (zh) | 2024-08-20 |
Family
ID=91824967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410772327.4A Active CN118351340B (zh) | 2024-06-17 | 2024-06-17 | 基于样本挖掘的双分支无监督目标重识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118351340B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648779A (zh) * | 2022-03-14 | 2022-06-21 | 宁波大学 | 基于自标签精炼深度学习模型的无监督行人重识别方法 |
| CN114821139A (zh) * | 2022-04-18 | 2022-07-29 | 中山大学 | 一种无监督的行人重识别方法、系统、装置及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11537930B2 (en) * | 2013-03-04 | 2022-12-27 | Nec Corporation | Information processing device, information processing method, and program |
| US10917415B2 (en) * | 2018-01-10 | 2021-02-09 | Intel Corporation | Machine learning-based determination of program code characteristics |
| CN111047182B (zh) * | 2019-12-10 | 2021-12-28 | 北京航空航天大学 | 一种基于深度无监督学习的空域复杂度评估方法 |
| CN111161814A (zh) * | 2019-12-18 | 2020-05-15 | 浙江大学 | 一种基于卷积神经网络的DRGs自动分组方法 |
| CN111814854B (zh) * | 2020-06-28 | 2023-07-28 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| WO2022023988A1 (en) * | 2020-07-28 | 2022-02-03 | Way2Vat Ltd. | Systems and methods for document image analysis by alignment of document image sets to spreadsheets |
| CN112036322B (zh) * | 2020-09-01 | 2022-12-06 | 清华大学 | 多任务网络跨域行人重识别模型构建方法、系统及装置 |
| CN113128410A (zh) * | 2021-04-21 | 2021-07-16 | 湖南大学 | 一种基于轨迹关联学习的弱监督行人重识别方法 |
| CN113627380B (zh) * | 2021-08-20 | 2024-03-15 | 中国矿业大学 | 一种用于智能安防及预警的跨视域行人重识别方法及系统 |
| CN113642547B (zh) * | 2021-10-18 | 2022-02-11 | 中国海洋大学 | 一种基于密度聚类的无监督域适应人物重识别方法及系统 |
| CN114092964A (zh) * | 2021-10-19 | 2022-02-25 | 杭州电子科技大学 | 基于注意力引导和多尺度标签生成的跨域行人重识别方法 |
| CN114519863A (zh) * | 2021-12-30 | 2022-05-20 | 深圳云天励飞技术股份有限公司 | 人体重识别方法、人体重识别装置、计算机设备及介质 |
-
2024
- 2024-06-17 CN CN202410772327.4A patent/CN118351340B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648779A (zh) * | 2022-03-14 | 2022-06-21 | 宁波大学 | 基于自标签精炼深度学习模型的无监督行人重识别方法 |
| CN114821139A (zh) * | 2022-04-18 | 2022-07-29 | 中山大学 | 一种无监督的行人重识别方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118351340A (zh) | 2024-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539370B (zh) | 一种基于多注意力联合学习的图像行人重识别方法和系统 | |
| CN109961051B (zh) | 一种基于聚类和分块特征提取的行人重识别方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN108960059A (zh) | 一种视频动作识别方法及装置 | |
| WO2016183766A1 (en) | Method and apparatus for generating predictive models | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN109558781A (zh) | 一种多视角视频识别方法及装置、设备和存储介质 | |
| Chen et al. | ResT-ReID: Transformer block-based residual learning for person re-identification | |
| WO2022160772A1 (zh) | 一种基于视角引导多重对抗注意力的行人重识别方法 | |
| Gao et al. | Co-saliency detection with co-attention fully convolutional network | |
| CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
| CN112990077A (zh) | 基于联合学习与光流估计的面部动作单元识别方法及装置 | |
| CN114820655A (zh) | 可靠区域作为注意力机制监督的弱监督建筑物分割方法 | |
| Li et al. | Zero-shot camouflaged object detection | |
| Xu et al. | Graphical modeling for multi-source domain adaptation | |
| CN112507893A (zh) | 一种基于边缘计算的分布式无监督行人重识别方法 | |
| CN114821237A (zh) | 一种基于多级对比学习的无监督船舶再识别方法及系统 | |
| CN113743251B (zh) | 一种基于弱监督场景的目标搜索方法及装置 | |
| CN105760896B (zh) | 一种多源异构大数据的腐蚀源联合去噪方法 | |
| CN117373062A (zh) | 一种基于联合学习的实时端到端跨分辨率行人重识别方法 | |
| CN118351340B (zh) | 基于样本挖掘的双分支无监督目标重识别方法及系统 | |
| CN109784244B (zh) | 一种指定目标的低分辨率人脸精确识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |