CN113435329A - 一种基于视频轨迹特征关联学习的无监督行人重识别方法 - Google Patents
一种基于视频轨迹特征关联学习的无监督行人重识别方法 Download PDFInfo
- Publication number
- CN113435329A CN113435329A CN202110715016.0A CN202110715016A CN113435329A CN 113435329 A CN113435329 A CN 113435329A CN 202110715016 A CN202110715016 A CN 202110715016A CN 113435329 A CN113435329 A CN 113435329A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- video track
- video
- camera
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 189
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 12
- 238000013209 evaluation strategy Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 101100478633 Escherichia coli O157:H7 stcE gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 101150115529 tagA gene Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域,涉及一种基于视频轨迹特征关联学习的无监督行人重识别方法,包括以下步骤:输入行人重识别视频数据集;对行人重识别视频数据集进行稀疏时空轨迹采样,得到行人视频轨迹样本,组成行人视频轨迹;对行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型;在行人重识别预训练网络模型中添加全连接层,构建视频轨迹特征向量表;根据行人视频轨迹特征向量表进行轨迹联合学习,得到联合学习损失函数;更新视频轨迹特征向量表;模型训练;进行无监督测试;通过对相机内和相机间视频轨迹特征向量的联合学习,挖掘行人轨迹潜在的关系,提高了模型的特征提取能力,取得了突出的行人重识别性能。
Description
技术领域
本发明属于计算机视觉领域,尤其涉及一种基于视频轨迹特征关联学习的无监督行人重识别方法。
背景技术
近年来,有研究者提出了无监督行人重识别的方法;无监督的设定是指对每一个行人视频数据样本,不标上标签或者打上伪标签,伪标签只是用来代表一个行人的数据样本图片,并不具有任何的指导意义;通过自动行人检测算法将每一个视频片段中检测到的所有行人图像作为一个独立的无监督样本,并标上相对应的伪标签,该方法平衡了标记数据和识别性能的需求;虽然现有的基于无监督的行人重识别方法在一定程度上降低了行人重识别任务的标注成本,但识别精度相比于全监督方法仍然不高;主要是由于在无监督的设定下,样本与身份间的对应关系不明确,让网络难以充分地学习到重要的信息;再者无监督的数据样本是随机抽取的,每个样本与它对应的轨迹可能不相同,这类情况会降低算法的鲁棒性。
发明内容
本发明的目的在于克服上述现有技术的不足,提供了一种在无监督设定下能够明确样本与身份间对应关系的行人重识别方法,具体为一种基于视频轨迹特征关联学习的无监督行人重识别方法。
本发明提供了一种基于视频轨迹特征关联学习的无监督行人重识别方法,具体包括如下步骤:
S1:输入行人重识别视频数据集,数据集由视频片段组成,视频片段包括多条行人轨迹和多张行人图像;
S2:对行人重识别视频数据集进行稀疏时空轨迹采样,得到行人视频轨迹样本;在视频片段中为每条行人轨迹抽出相同数量的帧,给上相机标签,组成行人视频轨迹;
S3:对行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型;
S4:在行人重识别预训练网络模型中添加全连接层,全连接层用于提取每张行人图像的特征,构建视频轨迹特征向量表;
S5:根据行人视频轨迹特征向量表进行轨迹联合学习,得到联合学习损失函数,其包括:
相机内轨迹联合学习,对每张行人图像进行特征学习,获取视频轨迹特征向量表中每张行人图像的特征;根据行人轨迹整合每张行人图像的特征,得到视频轨迹特征向量;根据行人图像的特征和视频轨迹特征向量,得到正样本和负样本,从而得到相机内行人联合学习损失函数;
相机间轨迹联合学习,获取视频轨迹特征向量表中每张行人图像的特征,将相机中一个行人视频轨迹中每张行人图像,与其它相机的每个行人视频轨迹中每张行人图像进行特征相似度计算,按照特征相似度将行人视频轨迹进行排序,并交换计算顺序,交叉验证相似度最高的两个行人视频轨迹的身份,得到相机间联合学习损失函数;
S6:更新视频轨迹特征向量表;
S7:模型训练,基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;在行人视频轨迹样本上训练无监督视频轨迹特征向量关联学习行人重识别模型;优化模型;
S8:进行无监督测试,通过对相机内和相机间行人视频轨迹的联合学习,挖掘行人轨迹潜在关系;通过评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型的性能。
优选的,S1中,行人重识别视频数据集包括不同相机的多个视频片段。
优选的,S2中,采用稀疏时空轨迹采样方法对每个相机的行人视频轨迹进行采样,使得在一个相机中,每个行人身份对应一个行人视频轨迹;行人视频轨迹样本表示为其中是第c个相机中的第t个行人视频轨迹,是对应的唯一伪标签,c∈{1,2,...,C},C是相机的数量;t∈{1,2,...,Mc},Mc表示相机c中采样的视频轨迹的数量;其中,是行人视频轨迹的第n个人图像。
优选的,S5中,得到相机内行人联合学习损失函数的步骤为:
步骤1:通过欧几里得距离计算公式,计算同一个相机内的一张行人图像的特征与同一相机内的其他视频轨迹特征向量的距离,并进行排序;
行人图像与视频轨迹特征向量具有相同的行人身份,表示与包含该行人图像的视频轨迹特征向量,则在同一相机内排名第一的视频轨迹特征向量与包含相同组成帧的视频轨迹特征向量行人身份相对应,则视频轨迹特征向量为正样本,若与的行人身份不同,则为负样本;
步骤2:通过三元组损失的形式定义相机内轨迹联合损失,并基于稀疏时空轨迹采样,得到正样本对距离和负样本对距离;
相机内轨迹联合损失表示为:
其中[·]+=max(·,0),表示从大到小排序;Dr,r是行人图像的特征与视频轨迹特征向量之间的距离,Dr,i是行人图像的特征与排名第一的视频轨迹特征向量之间的距离,Dr,j是行人图像的特征和排名第二的视频轨迹特征向量之间的距离;m表示区分视频轨迹特征向量和其他轨迹的边距;
通过稀疏时空轨迹采样,正样本对距离表示为Dr,r,当r≠j时,负样本对距离是相机c中与所有视频轨迹特征向量之间的最小距离;将视频轨迹特征向量拉进到排名第一的视频轨迹特征向量;当r=j时,负样本对距离是和所有轨迹之间次小的距离;将进一步最小化和不同;
步骤3:通过正样本对距离和负样本对距离,得到相机内行人联合学习损失函数;
相机内行人联合学习损失函数表示为:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
优选的,S5中,得到相机间行人联合学习损失函数的步骤为:
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
步骤4:将两次排序的结果,进行对齐操作,则对齐操作的结果表示为:
步骤6:通过置信系数和置信度分数,计算相机内轨迹联合损失,则相机间轨迹联合损失表示为:
则相机间行人联合学习损失函数表示为:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
优选的,S6中,更新视频轨迹特征向量表包括相机内更新、以及相机间更新;
相机内更新采用指数移动平均策略,通过使用同一相机内的视频轨迹特征向量的帧更新视频轨迹特征向量表;
相机内更新的表示公式为:
相机间更新通过拉近其他相机的潜在正轨迹,找到更多潜在正轨迹,进行更新视频轨迹特征向量表;
相机间更新的表示公式为:
其中γ表示学习率,b表示小批量学习的迭代次数。
优选的,S7中,模型训练包括:
S7.1:基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;
S7.2:在行人视频轨迹样本的基础上,通过相机内行人联合学习损失函数训练无监督视频轨迹特征向量关联学习行人重识别模型;
S7.3:通过相机间行人联合学习损失函数优化无监督视频轨迹特征向量关联学习行人重识别模型。
优选的,S8中,测试的步骤为:
S8.1:行人重识别视频数据集作为测试集,选取一个数据集作为查询集,选取另一个数据集作为验证集;将查询集与验证集分别输入到无监督视频轨迹特征向量关联学习行人重识别模型内;
S8.2:提取查询集的行人视频轨迹的特征,得到查询集的视频轨迹特征向量;提取验证集的行人视频轨迹的特征,得到验证集的视频轨迹特征向量;
S8.3:将查询集的视频轨迹特征向量与验证集的视频轨迹特征向量进行相似度比较,并进行排序;
S8.4:采用轨迹-轨迹重识别评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型。
有益效果:
1.通过对相机内行人图像与行人视频轨迹关系和特征的学习并结合相机间行人视频轨迹潜在关系的挖掘,有效地提高了模型的特征提取能力,并取得了突出的行人重识别性能;
2.基于视频轨迹特征向量关联学习无监督方法对于没有标记的数据进行网络的训练能够节省标注工作。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施中一种基于视频轨迹特征关联学习的无监督行人重识别方法的流程示意图。
图2为本发明实施中一种基于视频轨迹特征关联学习的无监督行人重识别方法的网络结构示意图。
图3为本发明实施中一种基于视频轨迹特征关联学习的无监督行人重识别方法的测试示意图。
具体实施方式
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
结合图1、图2、图3,本实施例提供了一种基于视频轨迹特征关联学习的无监督行人重识别方法,具体包括如下步骤:
步骤1:输入行人重识别视频数据集,数据集由视频片段组成,视频片段包括多条行人轨迹和多张行人图像;
数据集的具体内容为:基于大规模视频的行人重识别数据集;数据集均来自不同相机的各个视频,每个视频中有不同数量的人同时出现;
步骤2:对行人重识别视频数据集进行稀疏时空轨迹采样(SSTT),使得每个摄像头下最多只有一个身份的行人轨迹,得到行人视频轨迹样本;从这些视频中,为每个人抽出相同数量的帧,打上相机标签,组成行人视频轨迹,相同的人打上相同的身份标签;
假设我们有一个从C台相机捕获的视频数据集,采用稀疏时空轨迹采样(SSTT)方法对每个相机的训练视频轨迹进行采样;在一个相机中,每个行人身份最多只有一个视频轨迹;行人视频轨迹样本表示为其中是第c个相机中的第t个行人视频轨迹,是对应的唯一伪标签,c∈{1,2,...,C},其中C是相机的数量;t∈{1,2,...,Mc},Mc表示相机c中采样的视频轨迹的数量。其中,是视频轨迹的第n个行人图像;
步骤3:对行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型;在行人重识别预训练网络模型中添加全连接层,全连接层用于提取每张行人图像的特征,构建视频轨迹特征向量表;
具体内容为:用稀疏时空轨迹采样(SSTT)得到的行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型,在网络模型的骨干网络上添加全连接层,用来提取每张行人图像的特征,将相机内同一个行人图像的特征进行整合,组成视频轨迹特征向量,并构建视频轨迹特征向量表。
步骤4:根据视频轨迹特征向量表进行轨迹联合学习,得到联合学习损失函数,其包括:
相机内轨迹联合学习,对每个行人图像进行特征学习,获取每个行人图像的特征;根据行人视频轨迹整合每个行人图像的特征,获得视频轨迹特征向量;在同一个相机内,计算一张行人图片的特征与其它视频轨迹特征向量的距离,进行排序,获得难样本;计算一张行人图片的特征与自身所在视频轨迹特征向量的距离,获得正样本。根据正负样本,得到相机内行人联合学习损失函数;将每个图像与来自同一相机拍摄的所有轨迹进行相似度排序,以三元组损失的形式呈现相机内轨迹联合损失;
行人图像与视频轨迹特征向量具有相同的行人身份,表示与包含该行人图像的视频轨迹特征向量,则在同一相机内排名第一的视频轨迹特征向量与包含相同组成帧的视频轨迹特征向量行人身份相对应,则视频轨迹特征向量为正样本,若与的行人身份不同,则为负样本;
因此,我们以三元组损失的形式定义相机内轨迹关联损失,加强图像与源视频轨迹的正确关联,以进行判别模型学习,相机内轨迹联合损失表示为:
其中[·]+=max(·,0),表示从大到小排序;Dr,r是和视频轨迹特征向量之间的距离,Dr,i是和排名第一的视频轨迹特征向量之间的距离,Dr,j是和排名第二的视频轨迹特征向量之间的距离。m表示区分视频轨迹特征向量和其他轨迹的边距。
由于稀疏时空轨迹采样,我们认为Dr,r是正样本对距离。具体来说,如果r≠j,则负样本对距离是相机c中和所有轨迹之间的最小距离。将修正深度学习模型以将视频轨迹特征向量拉进到排名第一的轨迹。如果r=j,则负样本对距离是和所有轨迹之间次小的距离。将进一步最小化和的视频轨迹特征向量不同。给定一个小批量次数Nbs,我们计算相机内行人联合学习损失函数(IAAL)表示为:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
在所提出的方法中,我们将视频轨迹特征向量视为帧级特征向量,这意味着它们具有相同的维度。视频级特征向量可以通过特征聚合技术转化,例如平均池化、最大池化和基于聚合的回归层。然而,这些方法在小批量中学习视频级特征非常耗时。因此,我们使用更新策略来更新视频轨迹特征向量表中的特征。在训练阶段,从相机中随机选择一批人物图像,这些图像来自相同的视频轨迹或者不同的视频轨迹。采用指数移动平均(EMA)策略,通过使用来自相同源视频轨迹的帧表示来更新特征,如下所示:
其中b表示小批量学习迭代的次数。用零初始化,根据上述公式进行更新,在每个摄像头中,视频轨迹特征向量代表了每个人的行人视频轨迹,并区分于其他行人视频轨迹。所有更新的视频轨迹特征向量都存储到相应的特征向量表中,以备进一步使用。
相机内轨迹联合学习,一个行人视频轨迹中的每张图像,与其它相机的行人视频轨迹的每张图像进行特征相似度的计算,挖掘相机间行人图像的潜在关系。按照相似度将行人视频轨迹进行排序,并交换计算顺序,交叉验证相似度最高的两个轨迹的身份信息,获得相机间联合学习损失函数;
为了利用相机之间潜在正轨迹对,我们采用循环排序视频轨迹特征向量对齐和阈值过滤策略。具体来说,给定来自相机p的视频轨迹特征向量我们的目标是探索另一个在相机q中的轨迹是否具有相同的身份。为此,我们计算与相机q中所有其他行人视频轨迹之间的距离。
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
相机q中排名第一的视频轨迹特征向量作为候选匹配的轨迹。为了提高匹配样本对的准确性和鲁棒性,计算与相机p中所有行人视频轨迹的距离,进行排序,则视频轨迹特征向量与相机p的所有视频轨迹特征向量之间的距离表示为:
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
并检索相应的候选匹配轨迹。循环排序轨迹对齐操作的结果可以表示为:
该视频轨迹特征向量被视为来自其他相机的潜在正轨迹。通过SSTT采样和伪标签,我们为视频轨迹特征向量随机分配一个伪标签为视频轨迹特征向量随机分配一个伪标签由于我们在另一个相机上找到了的潜在正轨迹因此的伪标签可能是相机q下的伪标签我们的目标是拉近潜在的正轨迹并学习每个轨迹的视图不变特征。因此,我们利用softmax函数为属于相机q中的行人视频轨迹中的帧生成置信度分数:
整个小批量训练阶段的相机间行人联合学习损失函数公式如下:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
上式中,γ指的是学习率和b表示第b个小批量学习的迭代次数。的更新充分利用了其他相机底层的正样本对的信息。上述公式将所有潜在正轨迹对拉近,并使模型学习每个视频轨迹特征向量的视图具有不变性。通过这种方式,行人重识别模型将在相机之间找到更多潜在正轨迹对。
步骤5:模型训练,基于视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型,在稀疏空间轨迹采样的数据样本上进行训练;
为了学习更多的判别性视频轨迹特征向量并挖掘更多潜在正轨迹对,提出的无监督视频轨迹特征向量关联学习行人重识别模型(UAAL)首先用相机内行人联合学习损失函数(IAAL)损失训练几个时期,然后使用相机间行人联合学习损失函数(CAAL)损失来优化模型。
IAAL损失函数:
CAAL损失函数:
步骤6:进行无监督测试,通过查询集与验证集视频轨迹相似度评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型的性能;
测试的步骤为:
行人重识别视频数据集作为测试集,选取一个数据集作为查询集,选取另一个数据集作为验证集;将查询集与验证集分别输入到无监督视频轨迹特征向量关联学习行人重识别模型内;
提取查询集的行人视频轨迹的特征,得到查询集的视频轨迹特征向量;提取验证集的行人视频轨迹的特征,得到验证集的视频轨迹特征向量;
将查询集的视频轨迹特征向量与验证集的视频轨迹特征向量进行相似度比较,并进行排序;
采用轨迹-轨迹重识别评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型。
具体内容为:给定一个由UAAL训练的特征嵌入模型,在测试阶段,我们利用该模型来获得测试数据的特征。因此,我们首先提取查询视频轨迹的特征,然后根据它们与查询的相似性,将其与验证集中的视频轨迹进行排序,采用轨迹-轨迹重识别(T2T re-id)评估策略。
轨迹-轨迹重识别(T2T re-id)评估策略用于检索在图像集中与查询集的轨迹有相同身份的轨迹。查询集数据样本和图像集数据样本都是轨迹样本。给定一个查询集数据样本,去检索图像集中与之有相同身份的数据样本。这个目标与一般的基于视频的行人重识别的目标一致,即图像集中的数据样本是所有身份的轨迹样本。本发明根据一般行人重识别的设定去评估轨迹-轨迹重识别(T2T re-id)的性能。
本发明实施例提供了一种基于视频轨迹特征关联学习的无监督行人重识别方法,该方法具有以下有益效果:
1.通过对相机内行人图像与行人视频轨迹关系和特征的学习并结合相机间行人视频轨迹潜在关系的挖掘,有效地提高了模型的特征提取能力,并取得了突出的行人重识别性能;
2.基于视频轨迹关联特征学习无监督方法对于没有标记的数据进行网络的训练能够节省标注工作。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,包括以下步骤:
S1:输入行人重识别视频数据集,数据集由视频片段组成,视频片段包括多条行人轨迹和多张行人图像;
S2:对行人重识别视频数据集进行稀疏时空轨迹采样,得到行人视频轨迹样本;在视频片段中为每条行人轨迹抽出相同数量的帧,给上相机标签,组成行人视频轨迹;
S3:对行人视频轨迹样本进行预训练,获得行人重识别预训练网络模型;
S4:在行人重识别预训练网络模型中添加全连接层,所述全连接层用于提取每张行人图像的特征,构建视频轨迹特征向量表;
S5:根据行人视频轨迹特征向量表进行轨迹联合学习,得到联合学习损失函数,其包括:
相机内轨迹联合学习,对每张行人图像进行特征学习,获取视频轨迹特征向量表中每张行人图像的特征;根据行人轨迹整合每张行人图像的特征,得到视频轨迹特征向量;根据行人图像的特征和视频轨迹特征向量,得到正样本和负样本,从而得到相机内行人联合学习损失函数;
相机间轨迹联合学习,获取视频轨迹特征向量表中每张行人图像的特征,将相机中一个行人视频轨迹中每张行人图像,与其它相机的每个行人视频轨迹中每张行人图像进行特征相似度计算,按照特征相似度将行人视频轨迹进行排序,并交换计算顺序,交叉验证相似度最高的两个行人视频轨迹的身份,得到相机间联合学习损失函数;
S6:更新视频轨迹特征向量表;
S7:模型训练,基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;在行人视频轨迹样本上训练无监督视频轨迹特征向量关联学习行人重识别模型;优化模型;
S8:进行无监督测试,通过对相机内和相机间行人视频轨迹的联合学习,挖掘行人轨迹潜在关系;通过评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型的性能。
2.根据权利要求1所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S1中,行人重识别视频数据集包括不同相机的多个视频片段。
4.根据权利要求3所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S5中,得到所述相机内行人联合学习损失函数的步骤为:
步骤1:通过欧几里得距离计算公式,计算同一个相机内的一张行人图像的特征与同一相机内的其他视频轨迹特征向量的距离,并进行排序;
行人图像与视频轨迹特征向量具有相同的行人身份,表示与包含该行人图像的视频轨迹特征向量,则在同一相机内排名第一的视频轨迹特征向量与包含相同组成帧的视频轨迹特征向量行人身份相对应,则视频轨迹特征向量为正样本,若与的行人身份不同,则为负样本;
步骤2:通过三元组损失的形式定义相机内轨迹联合损失,并基于稀疏时空轨迹采样,得到正样本对距离和负样本对距离;
所述相机内轨迹联合损失表示为:
其中[·]+=max(·,0),表示从大到小排序;Dr,r是行人图像的特征与视频轨迹特征向量之间的距离,Dr,i是行人图像的特征与排名第一的视频轨迹特征向量之间的距离,Dr,j是行人图像的特征和排名第二的视频轨迹特征向量之间的距离;m表示区分视频轨迹特征向量和其他轨迹的边距;
通过稀疏时空轨迹采样,所述正样本对距离表示为Dr,r,当r≠j时,负样本对距离是相机c中与所有视频轨迹特征向量之间的最小距离;将视频轨迹特征向量拉进到排名第一的视频轨迹特征向量;当r=j时,负样本对距离是和所有轨迹之间次小的距离;将进一步最小化和不同;
步骤3:通过正样本对距离和负样本对距离,得到相机内行人联合学习损失函数;
相机内行人联合学习损失函数表示为:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
5.根据权利要求4所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S5中,得到所述相机间行人联合学习损失函数的步骤为:
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
其中φ(·)是一个特征嵌入模型,对得到的欧几里得距离进行排序,得到排名列表,排名列表表示为:
步骤4:将两次排序的结果,进行对齐操作,则对齐操作的结果表示为:
步骤6:通过置信系数和置信度分数,计算相机内轨迹联合损失,则所述相机间轨迹联合损失表示为:
则所述相机间行人联合学习损失函数表示为:
其中Nbs表示为小批量次数,k表示一个批量中行人图像的序号。
7.根据权利要求5所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S7中,所述模型训练包括:
S7.1:基于行人视频轨迹特征向量表建立无监督视频轨迹特征向量关联学习行人重识别模型;
S7.2:在行人视频轨迹样本的基础上,通过相机内行人联合学习损失函数训练无监督视频轨迹特征向量关联学习行人重识别模型;
S7.3:通过相机间行人联合学习损失函数优化无监督视频轨迹特征向量关联学习行人重识别模型。
8.根据权利要求6所述的一种基于视频轨迹特征关联学习的无监督行人重识别方法,其特征在于,S8中,测试的步骤为:
S8.1:行人重识别视频数据集作为测试集,选取一个数据集作为查询集,选取另一个数据集作为验证集;将查询集与验证集分别输入到无监督视频轨迹特征向量关联学习行人重识别模型内;
S8.2:提取查询集的行人视频轨迹的特征,得到查询集的视频轨迹特征向量;提取验证集的行人视频轨迹的特征,得到验证集的视频轨迹特征向量;
S8.3:将查询集的视频轨迹特征向量与验证集的视频轨迹特征向量进行相似度比较,并进行排序;
S8.4:采用轨迹-轨迹重识别评估策略,评估无监督视频轨迹特征向量关联学习行人重识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110715016.0A CN113435329B (zh) | 2021-06-25 | 2021-06-25 | 一种基于视频轨迹特征关联学习的无监督行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110715016.0A CN113435329B (zh) | 2021-06-25 | 2021-06-25 | 一种基于视频轨迹特征关联学习的无监督行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113435329A true CN113435329A (zh) | 2021-09-24 |
CN113435329B CN113435329B (zh) | 2022-06-21 |
Family
ID=77754711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110715016.0A Active CN113435329B (zh) | 2021-06-25 | 2021-06-25 | 一种基于视频轨迹特征关联学习的无监督行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113435329B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837910A (zh) * | 2021-09-28 | 2021-12-24 | 科大讯飞股份有限公司 | 试题推荐方法、装置、电子设备和存储介质 |
CN114140826A (zh) * | 2021-12-03 | 2022-03-04 | 北京交通大学 | 一种基于相机特征分离的目标重识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153824A (zh) * | 2017-05-22 | 2017-09-12 | 中国人民解放军国防科学技术大学 | 基于图聚类的跨视频行人重识别方法 |
CN111462200A (zh) * | 2020-04-03 | 2020-07-28 | 中国科学院深圳先进技术研究院 | 一种跨视频行人定位追踪方法、系统及设备 |
CN111832514A (zh) * | 2020-07-21 | 2020-10-27 | 内蒙古科技大学 | 基于软多标签的无监督行人重识别方法及装置 |
CN111914730A (zh) * | 2020-07-28 | 2020-11-10 | 上海工程技术大学 | 一种基于联合时空采样的无监督视频序列行人再识别方法 |
US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
-
2021
- 2021-06-25 CN CN202110715016.0A patent/CN113435329B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153824A (zh) * | 2017-05-22 | 2017-09-12 | 中国人民解放军国防科学技术大学 | 基于图聚类的跨视频行人重识别方法 |
US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
CN111462200A (zh) * | 2020-04-03 | 2020-07-28 | 中国科学院深圳先进技术研究院 | 一种跨视频行人定位追踪方法、系统及设备 |
CN111832514A (zh) * | 2020-07-21 | 2020-10-27 | 内蒙古科技大学 | 基于软多标签的无监督行人重识别方法及装置 |
CN111914730A (zh) * | 2020-07-28 | 2020-11-10 | 上海工程技术大学 | 一种基于联合时空采样的无监督视频序列行人再识别方法 |
Non-Patent Citations (2)
Title |
---|
MINXIAN LI ET AL: "Unsupervised Person Re-identification by Deep Learning Tracklet Association", 《EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》 * |
代雨柔 等: "基于自监督学习的社交网络用户轨迹预测模型", 《计算机应用》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837910A (zh) * | 2021-09-28 | 2021-12-24 | 科大讯飞股份有限公司 | 试题推荐方法、装置、电子设备和存储介质 |
CN113837910B (zh) * | 2021-09-28 | 2024-04-16 | 科大讯飞股份有限公司 | 试题推荐方法、装置、电子设备和存储介质 |
CN114140826A (zh) * | 2021-12-03 | 2022-03-04 | 北京交通大学 | 一种基于相机特征分离的目标重识别方法 |
CN114140826B (zh) * | 2021-12-03 | 2024-05-31 | 北京交通大学 | 一种基于相机特征分离的目标重识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113435329B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111967294B (zh) | 一种无监督域自适应的行人重识别方法 | |
Wu et al. | Progressive learning for person re-identification with one example | |
Liu et al. | Stepwise metric promotion for unsupervised video person re-identification | |
CN108228915B (zh) | 一种基于深度学习的视频检索方法 | |
CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
CN110807434B (zh) | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 | |
CN111611847B (zh) | 基于尺度注意力空洞卷积网络的视频动作检测方法 | |
CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
CN109815364A (zh) | 一种海量视频特征提取、存储和检索方法及系统 | |
CN113283362B (zh) | 一种跨模态的行人重识别方法 | |
CN108596010B (zh) | 行人重识别系统的实现方法 | |
CN109255289B (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
CN113435329B (zh) | 一种基于视频轨迹特征关联学习的无监督行人重识别方法 | |
CN114492574A (zh) | 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法 | |
CN112819065B (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN111242064A (zh) | 基于摄像头风格迁移和单标注的行人重识别方法及系统 | |
CN112766218B (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
CN110728216A (zh) | 一种基于行人属性自适应学习的无监督行人再识别方法 | |
CN113283282A (zh) | 一种基于时域语义特征的弱监督时序动作检测方法 | |
CN113128410A (zh) | 一种基于轨迹关联学习的弱监督行人重识别方法 | |
CN113920472A (zh) | 一种基于注意力机制的无监督目标重识别方法及系统 | |
CN113065409A (zh) | 一种基于摄像分头布差异对齐约束的无监督行人重识别方法 | |
CN112364791A (zh) | 一种基于生成对抗网络的行人重识别方法和系统 | |
Liu et al. | Boosting semi-supervised face recognition with noise robustness | |
CN115641529A (zh) | 基于上下文建模与背景抑制的弱监督时序行为检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |