CN112131961B - 一种基于单样本的半监督行人重识别方法 - Google Patents

一种基于单样本的半监督行人重识别方法 Download PDF

Info

Publication number
CN112131961B
CN112131961B CN202010885776.1A CN202010885776A CN112131961B CN 112131961 B CN112131961 B CN 112131961B CN 202010885776 A CN202010885776 A CN 202010885776A CN 112131961 B CN112131961 B CN 112131961B
Authority
CN
China
Prior art keywords
data
loss
pseudo
label
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010885776.1A
Other languages
English (en)
Other versions
CN112131961A (zh
Inventor
黄磊
蔡欢欢
张文锋
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010885776.1A priority Critical patent/CN112131961B/zh
Publication of CN112131961A publication Critical patent/CN112131961A/zh
Application granted granted Critical
Publication of CN112131961B publication Critical patent/CN112131961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163Partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单样本的半监督行人重识别方法,包括以下步骤:步骤1、设置单样本数据集;步骤2、设计网络结构;步骤3、网络训练;步骤4、有标签数据以及伪标签数据损失计算:有标签数据以及伪标签数据的交叉熵损失和部件分割损失相结合;步骤5、无标签数据预测伪标签;步骤6、无标签数据损失计算;步骤7、损失函数融合;步骤8、迭代步骤3‑7,采用渐进式方式不断从无标签数据中分配伪标签数据,直到所有无标签数据都分配为伪标签数据。通过本发明的方法减小部件不对齐对行人重识别性能的影响,并且通过多分支网络以及损失函数融合使网络产生更强的约束,能够有效提高模型提取特征的能力,取得更为突出的行人重识别性能。

Description

一种基于单样本的半监督行人重识别方法
技术领域
本发明属于计算机视觉技术领域,特别涉及一种基于单样本的半监督行人重识别方法。
背景技术
行人重识别是跨摄像头下的行人匹配任务,目的是在给定的数据库中寻找相同身份的行人。由于标注样本耗费大量的人力物力,因此,出现了半监督行人重识别方法以及无监督行人重识别方法,本发明的目的是提出一种基于单样本的半监督行人重识别方法。
基于单样本的半监督行人重识别,即在单一摄像头下,每一个身份的行人仅标注一个样本,其余的图像都是无标签样本。在模型优化的过程中,根据标签样本与无标签样本特征之间的距离为无标签样本分配伪标签,因此,标签样本、无标签样本以及伪标签样本共同参与网络的模型优化。在分配伪标签时,无标签样本距离标签样本特征越近,则置信度越高,即为无标签样本预测的伪标签越可靠。
虽然现有方法减小了监督学习的行人重识别任务的标注成本,但是仍然存在一些问题。首先,由于监控视频下的行人姿态变化可能导致行人部件不对齐,相同身份的行人在不同摄像机下外观特征差异大,基于单样本的半监督行人重识别仅具有少量的有标签数据,更是加大了这一影响;其次,由于行人重识别数据集的特点是人体图像结构固定,并且不同行人图像之间存在如衣着、姿态等细粒度方面差异,仅利用全局特征不能获取更好的行人重识别性能,因此难以区分具有相似外观的不同行人。同理,基于单样本的半监督行人重识别任务面临更大的挑战。
发明内容
针对现有技术存在的不足,本发明提供一种基于单样本的半监督行人重识别方法,从以下两个方面进行改进:
(1)针对行人的人体部件不对齐的问题,本发明使用部件分割约束对有标签数据和无标签数据以及伪标签数据进行部件分割训练,模型优化过程中通过结合部件分割任务,使所有的样本实现部件对齐,帮助模型学习数据更好的特征,减小部件不对齐对行人重识别性能的影响;
(2)针对不同行人图像之间存在如衣着、姿态等细粒度方面差异的问题,本发明设计了多分支网络结构,并且通过损失函数融合的方式,自动学习具有区分性的特征,能够有效提高模型提取特征的能力,取得更为突出的行人重识别性能。
为了解决上述技术问题,本发明采用的技术方案是:
一种基于单样本的半监督行人重识别方法,包括以下步骤:
步骤1、设置单样本数据集:从单样本数据集中每个类别下的每个相机图像中各随机选取一张为有标签数据,其余的为无标签数据;
步骤2、设计网络结构:设计多分支网络结构,在网络结构中添加部件分割模块;
步骤3、网络训练:模型第一次训练时,网络的训练包括少量有标签数据的部件分割任务以及分类任务、大量无标签数据的部件分割任务以及预测伪标签和计算排斥损失;随着迭代训练次数的增加,网络的训练过程为端到端的多任务训练包括有标签数据以及伪标签数据的部件分割任务以及分类任务、无标签数据的部件分割任务以及预测伪标签和计算排斥损失;
步骤4、有标签数据及伪标签样本损失计算:有标签数据及伪标签样本的交叉熵损失和部件分割损失相结合,伪标签样本当作标签样本参与网络的训练;
步骤5、无标签数据预测伪标签:采用近邻算法为无标签数据分配伪标签;
步骤6、无标签数据损失计算:在模型训练的过程中,将每一个无标签数据看作单独的一个类别,无标签数据使用排斥损失进行训练,使每一个无标签数据彼此推远;
步骤7、损失函数融合:模型通过融合有标签数据损失、伪标签数据损失以及无标签数据的损失共同进行模型的优化;
步骤8、迭代步骤3-7,采用渐进式方式不断从无标签数据中分配伪标签数据,直到所有无标签数据都分配为伪标签数据。
进一步的,步骤2中,所述多分支网络结构包括部件分割分支、全局分支和局部分支;在网络结构中添加部件分割模块,所述部件分割模块通过定位行人的不同部件区域,并利用部件标签作为监督信息进行单样本部件分割任务训练;单样本数据集中的有标签数据和伪标签数据以及无标签数据同时进行部件分割任务的训练。
进一步的,步骤4中,把行人重识别任务看作是一个分类任务,分类训练时,模型预测的行人身份
Figure BDA0002655528310000031
和图像xi的真实标签yi计算的有标签数据的交叉熵损失为:
Figure BDA0002655528310000032
其中,nl为有标签样本的数量,θ是用于行人重识别特征提取的卷积神经网络模型的参数,f(w;·)是行人重识别的分类器,用于对行人身份进行分类,w是该分类器的参数,全局分支和局部分支分别使用分类器进行分类训练,使用分类器f(w;·)将特征
Figure BDA0002655528310000033
映射到k维向量,k为行人身份的数量,
Figure BDA0002655528310000034
是维度为nφ的实数空间,φ(θ;·)为训练的行人重识别特征提取模型,在测试阶段,使用训练好的行人重识别特征提取模型φ将查询图像和图库图像提取特征,通过计算查询图像和图库图像特征之间的欧氏距离,根据欧式距离由小到大排序结果;
在伪标签数据集S上同样使用交叉熵损失
Figure BDA0002655528310000035
对伪标签数据优化模型,
其中,nl为有标签样本的数量,nu为无标签样本的数量,si∈{0,1},si的值在预测伪标签的时候产生,决定是否应该选择该伪标签数据
Figure BDA0002655528310000036
与有标签数据一起进行分类训练,
Figure BDA0002655528310000037
表示预测的伪标签;
同时,有标签数据以及伪标签数据还进行部件分割任务的训练,计算部件分割损失,部件分割损失函数的计算公式为:
Figure BDA0002655528310000038
其中,M表示包括背景在内的部件类别的数量,
Figure BDA0002655528310000039
表示第m个部件的交叉熵损失;
然后,有标签数据以及伪标签数据的最后损失函数表示为:
Figure BDA00026555283100000310
其中,Lide表示有标签数据以及伪标签数据的损失;
Figure BDA00026555283100000311
表示有标签数据以及伪标签数据基于全局特征的交叉熵损失,
Figure BDA0002655528310000041
表示有标签数据以及伪标签数据基于局部特征的交叉熵损失,
Figure BDA0002655528310000042
表示有标签数据以及伪标签数据的部件分割损失。
进一步的,步骤5中,模型在训练的过程中,无标签数据使用最近邻分类器为距离有标签数据特征近的无标签数据分配伪标签,使无标签数据参与到网络模型的优化过程。
进一步的,步骤7中,
有标签数据损失以及伪标签样本损失包括基于全局特征计算的交叉熵损失和基于局部特征计算的交叉熵损失以及部件分割损失,计算公式为:
Figure BDA0002655528310000043
其中,Lide表示有标签数据的损失以及伪标签数据的损失;
Figure BDA0002655528310000044
表示有标签数据以及伪标签数据基于全局特征的交叉熵损失,
Figure BDA0002655528310000045
表示有标签数据以及伪标签数据基于局部特征的交叉熵损失,
Figure BDA0002655528310000046
表示有标签数据以及伪标签数据的部件分割损失;
无标签数据的损失包括排斥损失、部件分割损失,计算公式为:
Figure BDA0002655528310000047
其中,Lu表示无标签数据的损失,
Figure BDA0002655528310000048
表示无标签数据的排斥损失,
Figure BDA0002655528310000049
表示无标签数据的部件分割损失;
所以,融合的损失函数公式为:Lall=β*Lide+(1-β)*Lu
其中,Lall表示有标签数据损失以及伪标签数据损失和无标签数据损失的融合,即所有样本的总体损失,β是调整有标签数据损失以及伪标签数据损失和无标签数据损失所占权重的超参数。
进一步的,步骤8中,每次迭代分配5%的无标签数据为伪标签数据,直到所有无标签数据都分配为伪标签数据;第一次迭代之后,训练集中数据分为有标签数据、伪标签数据和无标签数据,训练过程将伪标签数据作为标签数据参与网络模型的优化过程。
与现有技术相比,本发明优点在于:
(1)本发明基于单样本的半监督行人重识别方法研究,仅使用少量的有标签数据减小了标注工作。每个行人只标注一个样本,且是在单一的摄像头下标注的,即只需要在单一摄像头下随机标注经过的每一个行人的任意一张图像,这是因为单一摄像头下标注成本较低。例如,对于每一个行人,只需要从第一个摄像头下随机标注一个样本,第一个摄像头下的其他的样本和其他的摄像头下的所有样本,都作为无标签数据,因此数据集中存在少量有标签数据和大量的无标签数据。
(2)在单样本数据集中,为了减小人体部件不对齐带来的影响,因此本发明设计能够提取区分力特征的部件分割网络结构,通过所有样本的部件分割损失减小部件不对齐带来的影响;模型优化过程中通过结合交叉熵损失和部件分割损失,并且设计了多分支网络结构,包括部件分割分支、全局分支和局部分支,最后,模型通过融合有标签数据的损失和伪标签数据的损失以及无标签数据的损失共同进行模型的优化,使网络产生更强的约束,能够有效提高模型提取特征的能力,取得更为突出的行人重识别性能。
(3)本发明也可以应用到少量标签样本的半监督行人重识别中,即有标签样本在数据集中的占有一定的比例,一定比例的标签样本是随机标注跨摄像头下的样本,虽然比单样本做了更多的标注工作,但却相比于监督学习,节省了大量的标注成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于部件分割的行人重识别网络结构示意图;
图2为本发明的多分支网络框架示意图;
图3为本发明的网络模型迭代训练的过程。
具体实施方式
本发明仅使用少量的有标签数据减小了标注工作,从部件分割、特征提取两个方面进行改进,通过所有样本的部件分割损失减小人体部件不对齐带来的影响,并且通过多分支网络以及损失函数融合使网络产生更强的约束,能够有效提高模型提取特征的能力,取得更为突出的行人重识别性能。
下面结合附图及具体实施例对本发明作进一步的说明。
一种基于单样本的半监督行人重识别方法,包括以下步骤:
步骤1、设置单样本数据集:从单样本数据集中每个类别下的每个相机图像中各随机选取一张为有标签数据,其余的为无标签数据。
为了方便表述,基于单样本的数据集设置方法为从数据集中某一个摄像头下每个身份的行人图像各随机选取一张作为有标签数L={(x1,y1),...,(xn1,yn1)},其余的为无标签数据,符号u={xnl+1,...,xnl+nu}。
步骤2、设计网络结构:设计多分支网络结构,在网络结构中添加部件分割模块。
针对单样本部件不对齐的问题,在网络结构中添加部件分割模块,如图1所示的基于部件分割的行人重识别网络结构示意图。部件分割模块通过定位行人的不同部件区域,并利用部件标签作为监督信息进行单样本部件分割任务训练。基于部件分割的单样本半监督行人重识别网络采用多任务学习的训练策略,单样本数据集中的所有样本包括有标签数据以及伪标签数据和无标签数据都进行部件分割任务的训练,而有标签数据以及伪标签数据同时进行身份识别任务和部件分割任务。
单样本数据集中不同行人图像之间存在如衣着、姿态等细粒度方面差异,本发明设计了多分支网络结构(MBN),如图2所示,包括部件分割分支、全局分支和局部分支。特征提取网络方面,本发明采用ResNet-50(也可选择其他特征提取网络模型),并对ResNet-50全局平均池化层以及之后的层进行微调训练。输入行人图像,使用特征提取网络提取行人的特征,得到目标行人的特征图,并且将提取到的特征分别送入全局分支、部件分割和局部分支进行处理。
步骤3、网络训练:结合图3所示,模型第一次训练时,数据集中并不存在伪标签,网络的训练包括少量有标签数据的部件分割任务以及分类任务、大量无标签数据的部件分割任务以及预测伪标签和计算排斥损失。随着迭代训练次数的增加,最近邻分类器为越来越多的无标签数据预测伪标签,因此数据集中越来越多的伪标签数据和越来越少的无标签数据。伪标签数据会作为有标签数据共同参与网络模型的优化过程,网络的训练过程为端到端的多任务训练包括标签数据以及伪标签数据的部件分割任务以及分类任务、无标签数据的部件分割任务以及预测伪标签和计算排斥损失。
步骤4、有标签数据以及伪标签数据损失计算:有标签数据以及伪标签数据的交叉熵损失和部件分割损失相结合。
把行人重识别任务看作是一个分类任务,学习一个分类器f(w;φ(θ;xi)),用来预测图像xi属于哪个类别,有标签数据已知真实标签yi,然后计算交叉熵损失
Figure BDA0002655528310000071
分类训练时,模型预测的行人身份
Figure BDA0002655528310000072
和图像xi的真实标签yi计算的有标签数据的交叉熵损失为:
Figure BDA0002655528310000073
其中,nl为有标签样本的数量,θ是用于本专利行人重识别特征提取的卷积神经网络模型(Convolutional Neural Networks,CNN)的参数,常用的卷积神经网络有VGG-16,ResNet-50,本专利采用ResNet-50。f(w;·)是本专利中行人重识别的分类器,用于对行人身份进行分类,本专利中采用的分类方法是softmax,w是该分类器的参数。全局分支和局部分支分别使用分类器进行分类训练。使用分类器f(w;·)将特征
Figure BDA0002655528310000074
映射到k维向量,k为行人身份的数量,
Figure BDA0002655528310000075
是维度为nφ的实数空间。φ(θ;·)为训练的行人重识别特征提取模型,在测试阶段,使用训练好的行人重识别特征提取模型φ将查询图像和图库图像提取特征,通过计算查询图像和图库图像特征之间的欧氏距离,根据欧式距离由小到大排序结果。
在伪标签数据集S上同样使用交叉熵损失
Figure BDA0002655528310000076
对伪标签数据优化模型,
其中,si∈{0,1},nl为有标签样本的数量,nu为无标签样本的数量,si的值在预测伪标签的时候产生,决定是否应该选择该伪标签数据
Figure BDA0002655528310000081
与有标签数据一起进行分类训练,
Figure BDA0002655528310000082
表示预测的伪标签。
同时,有标签数据和伪标签数据还进行部件分割任务的训练,计算部件分割损失,一般来讲,在模型训练的过程中随着部件分割损失的减小,模型部件定位能力逐渐增强,即部件分割模型定位部件更加准确,并且不同部件之间的冗余也逐渐减小。部件分割损失函数的计算公式为:
Figure BDA0002655528310000083
其中,M表示包括背景在内的部件类别的数量,
Figure BDA0002655528310000084
表示第m个部件的交叉熵损失。
所有部件分割损失累加后取平均值是为了将行人不同部件的判别信息给予同样的关注,例如躯干占身体很大的比重,但是由于不同的行人可能穿相同的衣服,因此不能仅根据躯干的特征决定行人身份,即使头部占据身体的一小部分,但是依然起重要的作用。
然后,将有标签数据以及伪标签数据的交叉熵损失和部件分割损失相结合,有标签数据以及伪标签数据的最后损失函数表示为:
Figure BDA0002655528310000085
步骤5、无标签数据预测伪标签:网络训练的过程中,对无标签数据进行预测伪标签。本发明采用近邻算法为无标签数据分配伪标签,将特征空间上的距离作为标签评估的置信度。无标签数据的特征距离有标签数据特征越近,模型为无标签数据预测的伪标签置信度越高。因此,模型在训练的过程中,无标签数据使用最近邻分类器为距离有标签数据特征近即置信度高的无标签数据分配伪标签,使无标签数据参与到网络模型的优化过程。预测伪标签数据的数量如下:Nt=Nt-1+α·nu,其中,Nt表示伪标签数据的数量,nu表示无标签数据的数量,α为迭代过程中控制扩大预测伪标签的速度的参数,决定了训练代价与模型精度,参数值越大,预测伪标签数据的速度越快,预测的伪标签越不可靠,训练时间也越短;参数值越小,迭代训练的次数越多,若训练获得良好的性能,需要的训练时间也越长,这样获得的伪标签数据更可靠,模型的判别能力较强。因此取值是效率与准确性之间的权衡。部件分割减小了部件不对齐对提取数据有效特征的影响,因此提高了分配伪标签的准确率。
步骤6、无标签数据损失计算:数据集中存在少量具有标注信息的有标签数据和大量缺少标注信息的无标签数据。在模型训练的过程中,将每一个无标签数据看作单独的一个类别,无标签数据使用排斥损失进行训练,使每一个无标签数据彼此推远。排斥损失是一种自我监督的辅助损失,训练过程中减小排斥损失来彼此推远,用于学习无标签数据中有区分力的特征。通过学习不同行人图像间的差异来为模型提供微弱的监督信息,有利于学习无标签数据更加细节的特征,从而为无标签数据预测正确的伪标签。
为了使无标签数据的特征空间彼此推远,本实施例为无监督特征学习设定了以下的目标:
Figure BDA0002655528310000091
其中,||·||表示欧式距离。最大化xi与xj之间欧式距离以一种有效的方式表达为最小化υi Tυj之间余弦距离,优化后的损失函数如下:
Figure BDA0002655528310000092
我们使用V存储着数据集中所有无标签数据特征的查询表,避免每次训练提取所有无标签数据的特征而进行大量的计算,τ是调整参数,
Figure BDA0002655528310000093
表示数据xi正则化的特征,计算xi和其他无标签数据的特征空间
Figure BDA0002655528310000094
的距离,并且该距离在训练过程中不断增大。在反向传播过程中,通过公式对υi进行更新,
Figure BDA0002655528310000095
然后使用L2归一化为单位向量后传入查询表V中,以实现对查询表的第i列元素的更新。
步骤7、损失函数融合:如图3所示,模型通过融合有标签数据损失、伪标签数据损失以及无标签数据的损失共同进行模型的优化。本发明损失函数融合的有标签数据损失的计算均包括了伪标签数据。
有标签数据损失以及伪标签数据损失包括基于全局特征计算的交叉熵损失和基于局部特征计算的交叉熵损失以及部件分割损失,计算公式为:
Figure BDA0002655528310000101
其中,Lide表示有标签数据以及伪标签数据的损失;
Figure BDA0002655528310000102
表示有标签数据以及伪标签数据基于全局特征的分类损失,即基于全局特征计算的交叉熵损失,
Figure BDA0002655528310000103
表示有标签数据以及伪标签数据的局部特征的分类损失,即基于局部特征计算的交叉熵损失,
Figure BDA0002655528310000104
表示有标签数据以及伪标签数据的部件分割损失。
无标签数据的损失包括排斥损失、部件分割损失,计算公式为:
Figure BDA0002655528310000105
其中,Lu表示无标签数据的损失,
Figure BDA0002655528310000106
表示无标签数据的排斥损失,
Figure BDA0002655528310000107
表示无标签数据的部件分割损失。
所以,融合的损失函数公式为:Lall=β*Lide+(1-β)*Lu
其中,Lall表示有标签数据损失以及伪标签数据损失和无标签数据损失的融合,即所有样本的总体损失,β是调整有标签数据损失以及伪标签数据损失和无标签数据损失所占权重的超参数,本实施例取值为0.5。
步骤8、迭代步骤3-7,采用渐进式方式不断从无标签数据中分配伪标签数据,直到所有无标签数据都分配为伪标签数据。
每次迭代分配5%的无标签数据为伪标签数据,直到所有无标签数据都分配为伪标签数据。第一次迭代之后,训练集中数据分为有标签数据、伪标签数据和无标签数据,训练过程将伪标签数据作为有标签数据参与网络模型的优化过程。
综上所述,本发明基于单样本半监督行人重识别方法仅使用少量的有标签数据减小了标注工作,通过所有样本的部件分割损失减小部件不对齐带来的影响,并且通过多分支网络以及损失函数融合使网络产生更强的约束,能够有效提高模型提取特征的能力,取得更为突出的行人重识别性能。
也可以将本发明应用到半监督行人重识别中,即有标签样本在数据集中的占有一定的比例,一定比例的标签样本是随机标注跨摄像头下的样本,虽然比单样本做了更多的标注工作,但却相比于比监督学习,节省了大量的标注成本。
当然,上述说明并非是对本发明的限制,本发明也并不限于上述举例,本技术领域的普通技术人员,在本发明的实质范围内,做出的变化、改型、添加或替换,都应属于本发明的保护范围。

Claims (4)

1.一种基于单样本的半监督行人重识别方法,其特征在于,包括以下步骤:
步骤1、设置单样本数据集:从单样本数据集中每个类别下的每个相机图像中各随机选取一张为有标签数据,其余的为无标签数据;
步骤2、设计网络结构:设计多分支网络结构,在网络结构中添加部件分割模块;
其中,所述多分支网络结构包括部件分割分支、全局分支和局部分支;在网络结构中添加部件分割模块,所述部件分割模块通过定位行人的不同部件区域,并利用部件标签作为监督信息进行单样本部件分割任务训练;单样本数据集中的标签数据和伪标签数据以及无标签数据同时进行部件分割任务的训练;
步骤3、网络训练:模型第一次训练时,网络的训练包括少量有标签数据的部件分割任务以及分类任务、大量无标签数据的部件分割任务以及预测伪标签和计算排斥损失;随着迭代训练次数的增加,网络的训练过程为端到端的多任务训练包括标签数据以及伪标签数据的部件分割任务以及分类任务、无标签数据的部件分割任务以及预测伪标签和计算排斥损失;
步骤4、有标签数据以及伪标签数据损失计算:有标签数据以及伪标签数据的交叉熵损失和部件分割损失相结合;
步骤5、无标签数据预测伪标签:采用近邻算法为无标签数据分配伪标签;
步骤6、无标签数据损失计算:在模型训练的过程中,将每一个无标签数据看作单独的一个类别,无标签数据使用排斥损失进行训练,使每一个无标签数据彼此推远;
步骤7、损失函数融合:模型通过融合有标签数据损失和伪标签数据损失以及无标签数据的损失共同进行模型的优化;
其中,有标签数据以及伪标签数据的损失包括基于全局特征计算的交叉熵损失和基于局部特征计算的交叉熵损失以及部件分割损失,计算公式为:
Figure FDA0003896385000000011
其中,Lide表示有标签数据以及伪标签数据的损失;
Figure FDA0003896385000000012
表示有标签数据以及伪标签数据基于全局特征的交叉熵损失,
Figure FDA0003896385000000013
表示有标签数据以及伪标签数据基于局部特征的交叉熵损失,
Figure FDA0003896385000000014
表示有标签数据以及伪标签数据的部件分割损失;
无标签数据的损失包括排斥损失、部件分割损失,计算公式为:
Figure FDA0003896385000000015
其中,Lu表示无标签数据的损失,
Figure FDA0003896385000000021
表示无标签数据的排斥损失,
Figure FDA0003896385000000022
表示无标签数据的部件分割损失;
所以,融合的损失函数公式为:Lall=β*Lide+(1-β)*Lu
其中,Lall表示有标签数据损失以及伪标签数据损失和无标签数据损失的融合,即所有样本的总体损失,β是调整有标签数据损失以及伪标签数据损失和无标签数据损失所占权重的超参数;
步骤8、迭代步骤3-7,采用渐进式方式不断从无标签数据中分配伪标签数据,直到所有无标签数据都分配为伪标签数据。
2.根据权 利要求1所述的基于单样本的半监督行人重识别方法,其特征在于,步骤4中,把行人重识别任务看作是一个分类任务,分类训练时,模型预测的行人身份
Figure FDA0003896385000000023
和图像xi的真实标签yi计算的有标签数据的交叉熵损失为:
Figure FDA0003896385000000024
其中,nl为有标签样本的数量,θ是用于行人重识别特征提取的卷积神经网络模型的参数,f(w;·)是行人重识别的分类器,用于对行人身份进行分类,w是该分类器的参数,全局分支和局部分支分别使用分类器进行分类训练,使用分类器f(w;·)将特征
Figure FDA0003896385000000025
映射到k维向量,k为行人身份的数量,
Figure FDA0003896385000000026
是维度为nφ的实数空间,φ(θ;·)为训练的行人重识别特征提取模型,在测试阶段,使用训练好的行人重识别特征提取模型φ将查询图像和图库图像提取特征,通过计算查询图像和图库图像特征之间的欧氏距离,根据欧式距离由小到大排序结果;
在伪标签数据集S上同样使用交叉熵损失
Figure FDA0003896385000000027
优化模型,
其中,nl为有标签样本的数量,nu为无标签样本的数量,si∈{0,1},si的值在预测伪标签的时候产生,决定是否应该选择该伪标签数据
Figure FDA0003896385000000028
与有标签数据一起进行分类训练,
Figure FDA0003896385000000029
表示预测的伪标签;
同时,有标签数据和伪标签数据还进行部件分割任务的训练,计算部件分割损失,部件分割损失函数的计算公式为:
Figure FDA0003896385000000031
其中,M表示包括背景在内的部件类别的数量,
Figure FDA0003896385000000032
表示第m个部件的交叉熵损失;
然后,有标签数据以及伪标签数据的最后损失函数表示为:
Figure FDA0003896385000000033
其中,Lide表示有标签数据以及伪标签数据的损失;
Figure FDA0003896385000000034
表示有标签数据以及伪标签数据基于全局特征的交叉熵损失,
Figure FDA0003896385000000035
表示有标签数据以及伪标签数据基于局部特征的交叉熵损失,
Figure FDA0003896385000000036
表示有标签数据以及伪标签数据的部件分割损失。
3.根据权利要求1所述的基于单样本的半监督行人重识别方法,其特征在于,步骤5中,模型在训练的过程中,无标签数据使用最近邻分类器为距离有标签数据特征近的无标签数据分配伪标签,使无标签数据参与到网络模型的优化过程。
4.根据权利要求1所述的基于单样本的半监督行人重识别方法,其特征在于,步骤8中,每次迭代分配5%的无标签数据为伪标签数据,直到所有无标签数据都分配为伪标签数据;第一次迭代之后,训练集中数据分为有标签数据、伪标签数据和无标签数据,训练过程将伪标签数据作为标签数据参与网络模型的优化过程。
CN202010885776.1A 2020-08-28 2020-08-28 一种基于单样本的半监督行人重识别方法 Active CN112131961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885776.1A CN112131961B (zh) 2020-08-28 2020-08-28 一种基于单样本的半监督行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885776.1A CN112131961B (zh) 2020-08-28 2020-08-28 一种基于单样本的半监督行人重识别方法

Publications (2)

Publication Number Publication Date
CN112131961A CN112131961A (zh) 2020-12-25
CN112131961B true CN112131961B (zh) 2023-02-03

Family

ID=73847096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885776.1A Active CN112131961B (zh) 2020-08-28 2020-08-28 一种基于单样本的半监督行人重识别方法

Country Status (1)

Country Link
CN (1) CN112131961B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724189A (zh) * 2021-03-17 2021-11-30 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及存储介质
CN113111814B (zh) * 2021-04-20 2022-12-06 合肥学院 基于正则化约束的半监督行人重识别方法及装置
CN113609927B (zh) * 2021-07-19 2023-09-29 上海电力大学 基于分支学习和分层伪标签的行人重识别网络训练方法
CN113657267B (zh) * 2021-08-17 2024-01-12 中国科学院长春光学精密机械与物理研究所 一种半监督行人重识别方法和装置
CN117612201B (zh) * 2023-10-20 2024-05-28 南通大学 一种基于特征压缩的单样本行人重识别方法
CN117611601B (zh) * 2024-01-24 2024-04-23 中国海洋大学 基于文字辅助的半监督3d医学图像分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599787A (zh) * 2016-11-17 2017-04-26 河海大学 基于半监督子块联合回归的单样本人脸识别方法
CN109800788A (zh) * 2018-12-18 2019-05-24 中国海洋大学 一种减少图像分割数据集标注的方法
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技(深圳)有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及系统
CN111563424A (zh) * 2020-04-20 2020-08-21 清华大学 基于半监督学习的行人再识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599787A (zh) * 2016-11-17 2017-04-26 河海大学 基于半监督子块联合回归的单样本人脸识别方法
WO2020073951A1 (zh) * 2018-10-10 2020-04-16 腾讯科技(深圳)有限公司 用于图像识别的模型的训练方法、装置、网络设备和存储介质
CN109800788A (zh) * 2018-12-18 2019-05-24 中国海洋大学 一种减少图像分割数据集标注的方法
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
CN111242064A (zh) * 2020-01-17 2020-06-05 山东师范大学 基于摄像头风格迁移和单标注的行人重识别方法及系统
CN111563424A (zh) * 2020-04-20 2020-08-21 清华大学 基于半监督学习的行人再识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EANet: Enhancing Alignment for Cross-Domain Person Re-identification;Houjing Huang 等;《arXiv:1812.11369v1》;20181229;第1-12页 *
半监督单样本深度行人重识别方法;单纯 等;《计算机系统应用》;20191227;第256-260页 *
基于局部语义特征不变性的跨域行人重识别;张晓伟等;《北京航空航天大学学报》;20200415(第09期);全部 *

Also Published As

Publication number Publication date
CN112131961A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131961B (zh) 一种基于单样本的半监督行人重识别方法
Chen et al. Deep integration: A multi-label architecture for road scene recognition
Mittal et al. EnsembleNet: A hybrid approach for vehicle detection and estimation of traffic density based on faster R-CNN and YOLO models
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
Wang et al. A survey of vehicle re-identification based on deep learning
CN111666851B (zh) 一种基于多粒度标签的交叉域自适应行人重识别方法
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
Kasarla et al. Region-based active learning for efficient labeling in semantic segmentation
CN112819065B (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN105005794A (zh) 融合多粒度上下文信息的图像像素语义标注方法
Tian et al. A survey on few-shot class-incremental learning
Wu et al. Vehicle re-identification in still images: Application of semi-supervised learning and re-ranking
CN114821152A (zh) 基于前景-类别感知对齐的域自适应目标检测方法及系统
CN112183464A (zh) 基于深度神经网络和图卷积网络的视频行人识别方法
Yan et al. Video scene parsing: An overview of deep learning methods and datasets
CN107689053B (zh) 一种基于标签传播和排序约束的目标跟踪方法
Odetola et al. A scalable multilabel classification to deploy deep learning architectures for edge devices
CN113781404A (zh) 基于自监督预训练的道路病害检测方法和系统
CN112465016A (zh) 基于最优劣距的部分多标记学习方法
CN112052722A (zh) 行人身份再识别方法及存储介质
CN116229510A (zh) 一种无监督跨模态行人重识别方法
CN113642499B (zh) 基于计算机视觉的人体行为识别方法
Liu et al. Pseudo-label growth dictionary pair learning for crowd counting
Wu et al. Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition
Ding et al. Selective deep ensemble for instance retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant