CN116416646A - 基于解耦样本组学习的行人重识别方法、系统、设备及介质 - Google Patents

基于解耦样本组学习的行人重识别方法、系统、设备及介质 Download PDF

Info

Publication number
CN116416646A
CN116416646A CN202310332115.XA CN202310332115A CN116416646A CN 116416646 A CN116416646 A CN 116416646A CN 202310332115 A CN202310332115 A CN 202310332115A CN 116416646 A CN116416646 A CN 116416646A
Authority
CN
China
Prior art keywords
pedestrian
decoupling
image
feature
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310332115.XA
Other languages
English (en)
Inventor
王乐
季皓宣烨
周三平
陈仕韬
辛景民
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Shun'an Artificial Intelligence Research Institute
Xian Jiaotong University
Original Assignee
Ningbo Shun'an Artificial Intelligence Research Institute
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Shun'an Artificial Intelligence Research Institute, Xian Jiaotong University filed Critical Ningbo Shun'an Artificial Intelligence Research Institute
Priority to CN202310332115.XA priority Critical patent/CN116416646A/zh
Publication of CN116416646A publication Critical patent/CN116416646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于解耦样本组学习的行人重识别方法、系统、设备及介质，所述方法包括以下步骤：获取给定的查询图像和给定的行人图像集合；采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；基于所述排序列表，获得行人重识别结果。本发明通过挖掘同时具有可鉴别性信息与高置信度伪标签的样本并将这些样本引入特征学习过程中以增强特征的判别力；采用训练好的特征提取器进行特征提取，基于可鉴别性特征能够获得准确的行人重识别结果。

Description

基于解耦样本组学习的行人重识别方法、系统、设备及介质
技术领域
本发明属于计算机视觉与模式识别技术领域，涉及行人重识别领域，特别涉及一种基于解耦样本组学习的行人重识别方法、系统、设备及介质。
背景技术
给定现实场景中的一张行人图像，行人重识别的目标是从大量的图像集合中找出与给定行人图像具有相同身份标识的行人图像；这类任务在智能安防系统与智能视频监控系统中具有很多有意义的现实应用，例如在不同的摄像头拍摄的大量的行人图像中查找给定的人员。
目前，现有传统的行人重识别方法中：图像集合中的图像背景杂乱，以及不同的光线条件、视角导致的外观变化较大，使得在图像中查找具有给定行人身份的图像非常困难；在训练行人重识别模型时，需要的模型密集手工标注过程是非常昂贵的。
为了减小模型训练过程对数据标签的依赖，一般采用无监督训练的方式。现有的无监督训练方法一般采用迭代聚类的方法对未标记的训练数据进行伪标签估计，随后利用估计的伪标签指导特征学习过程；但是，在缺乏真实标签的情况下，这些方法未关注那些同时具有可鉴别性信息与高置信度伪标签的样本，从而影响可鉴别性特征的学习，导致最终不能获得准确的行人重识别结果。
发明内容
本发明的目的在于提供一种基于解耦样本组学习的行人重识别方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提供的技术方案中，通过挖掘同时具有可鉴别性信息与高置信度伪标签的样本并将这些样本引入特征学习过程中以增强特征的判别力；采用训练好的特征提取器进行特征提取，基于提取的可鉴别性特征能够获得准确的行人重识别结果。
为达到上述目的，本发明采用以下技术方案：
本发明第一方面提供的一种基于解耦样本组学习的行人重识别方法，包括以下步骤：
获取给定的查询图像和给定的行人图像集合；
基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
本发明方法的进一步改进在于，所述基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组的步骤包括：
根据输入图像xi的编号提取图像对应在特征库中的特征
Figure BDA0004155257300000021
其中，i表示行人样本在数据库中的编号，M表示样本的特征库，/>
Figure BDA0004155257300000022
表示存储在M中的行人i的特征；
为当前图像xi构建辅助向量集
Figure BDA0004155257300000023
其中，/>
Figure BDA0004155257300000024
表示行人yl所对应的类的原型向量，是具有相同伪标签yl的样本所对应的样本的特征向量的平均；yi表示估计的xi的伪标签；
基于辅助向量Ai与图像xi之间的关系，计算训练图像样本集合中除去图像xi的剩余图像样本与Ai之间的相似性概率直方分布，表示为，
Figure BDA0004155257300000031
Figure BDA0004155257300000032
式中，
Figure BDA0004155257300000033
表示图像xi存储在特征库M中的特征；
基于获得的相似性概率直方分布P(xi；Ai)，为图像xi构建解耦正样本组
Figure BDA0004155257300000034
与解耦负样本组/>
Figure BDA0004155257300000035
表达式为，
Figure BDA0004155257300000036
Figure BDA0004155257300000037
Figure BDA0004155257300000038
Figure BDA0004155257300000039
式中，argTopk(P(xi；Ai))k表示分布P(xi；Ai)中第k大值的索引，argTopk(P(xj；Aj))k)表示分布P(xj；Aj)中第k大值的索引；K表示解耦样本组的阶数；
Figure BDA00041552573000000310
表示xi的k阶解耦正样本组，/>
Figure BDA00041552573000000311
表示xi的k阶解耦负样本组，yi与yj分别对应图像xi与xj的伪标签，Ai为xi对应的辅助向量集。
本发明方法的进一步改进在于，所述将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器的步骤包括：
由生成的解耦正样本组
Figure BDA00041552573000000312
生成针对图像xi的正解耦正样本特征/>
Figure BDA00041552573000000313
表达式为，
Figure BDA00041552573000000314
式中，ω表示强度参数；
Figure BDA00041552573000000315
表示集合/>
Figure BDA00041552573000000316
的基数，是/>
Figure BDA00041552573000000317
中元素的个数；
由生成的解耦负样本组
Figure BDA00041552573000000318
生成针对图像xi的负解耦正样本特征/>
Figure BDA00041552573000000319
表达式为，
Figure BDA0004155257300000041
式中，
Figure BDA0004155257300000042
表示表示第k阶解纠缠负样本组中/>
Figure BDA0004155257300000043
伪标签为a的样本；
根据琴声不等式有如下不等关系，
Figure BDA0004155257300000044
τ表示模式参数；
基于生成的针对图像xi的正解耦正样本特征和不等关系，得到可替代的解耦学习损失函数，表达式为，
Figure BDA0004155257300000045
式中，cn表示行人n所对应的类的原型向量，n≠yi；B表示当前的训练批，|B|表示当前训练批的大小；vi表示样本xi由特征提取器f生成的特征，vi＝f(xi)；
由生成的解耦正样本组
Figure BDA0004155257300000046
与解耦负样本/>
Figure BDA0004155257300000047
干扰行人特征，获得干扰后的行人特征，表达式为，
Figure BDA0004155257300000048
Figure BDA0004155257300000049
式中，λ表示干扰参数；
Figure BDA00041552573000000410
表示行人a的干扰后的第k阶特征；
由干扰后的行人特征生成针对图像xi的亲密度分布
Figure BDA00041552573000000411
表达式为，
Figure BDA00041552573000000412
式中，Nc表示当前行人的个数；
由生成的行人特征生成针对图像xj针对行人特征
Figure BDA00041552573000000413
的亲密度分布Qj；其中，xj表示与xi具有相同行人的图像；/>
Figure BDA00041552573000000414
由生成的
Figure BDA00041552573000000415
与Qj计算解耦KL散度正则，表达式为，
Figure BDA0004155257300000051
由步
Figure BDA0004155257300000052
与/>
Figure BDA0004155257300000053
计算总的解耦损失函数为：
Figure BDA0004155257300000054
利用Ldise对特征提取器f进行优化，并通过Adam算法更新特征提取器的参数；其中，由当前的网络更新特征库M，表示为M[i]←vi。
本发明方法的进一步改进在于，所述特征提取器为深度残差网络或视觉翻译器网络。
本发明第二方面提供的一种基于解耦样本组学习的行人重识别系统，包括：
数据获取模块，用于获取给定的查询图像和给定的行人图像集合；
特征提取模块，用于基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
排序列表获取模块，用于获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
结果获取模块，用于基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
本发明系统的进一步改进在于，所述基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组的步骤包括：
根据输入图像xi的编号提取图像对应在特征库中的特征
Figure BDA0004155257300000061
其中，i表示行人样本在数据库中的编号，M表示样本的特征库，/>
Figure BDA0004155257300000062
表示存储在M中的行人i的特征；
为当前图像xi构建辅助向量集
Figure BDA0004155257300000063
其中，/>
Figure BDA0004155257300000064
表示行人yl所对应的类的原型向量，是具有相同伪标签yl的样本所对应的样本的特征向量的平均；yi表示估计的xi的伪标签；
基于辅助向量Ai与图像xi之间的关系，计算训练图像样本集合中除去图像xi的剩余图像样本与Ai之间的相似性概率直方分布，表示为，
Figure BDA0004155257300000065
Figure BDA0004155257300000066
式中，
Figure BDA0004155257300000067
表示图像xi存储在特征库M中的特征；
基于获得的相似性概率直方分布P(xi；Ai)，为图像xi构建解耦正样本组
Figure BDA0004155257300000068
与解耦负样本组/>
Figure BDA0004155257300000069
表达式为，
Figure BDA00041552573000000610
Figure BDA00041552573000000611
Figure BDA00041552573000000612
Figure BDA00041552573000000613
式中，argTopk(P(xi；Ai))k表示分布P(xi；Ai)中第k大值的索引，argTopk(P(xj；Aj))k)表示分布P(xj；Aj)中第k大值的索引；K表示解耦样本组的阶数；
Figure BDA00041552573000000614
表示xi的k阶解耦正样本组，/>
Figure BDA00041552573000000615
表示xi的k阶解耦负样本组，yi与yj分别对应图像xi与xj的伪标签，Ai为xi对应的辅助向量集。
本发明系统的进一步改进在于，所述将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器的步骤包括：
由生成的解耦正样本组
Figure BDA0004155257300000071
生成针对图像xi的正解耦正样本特征/>
Figure BDA0004155257300000072
表达式为，
Figure BDA0004155257300000073
式中，ω表示强度参数；
Figure BDA0004155257300000074
表示集合/>
Figure BDA0004155257300000075
的基数，是/>
Figure BDA0004155257300000076
中元素的个数；
由生成的解耦负样本组
Figure BDA0004155257300000077
生成针对图像xi的负解耦正样本特征/>
Figure BDA0004155257300000078
表达式为，
Figure BDA0004155257300000079
式中，
Figure BDA00041552573000000710
表示表示第k阶解纠缠负样本组中/>
Figure BDA00041552573000000711
伪标签为a的样本；
根据琴声不等式有如下不等关系，
Figure BDA00041552573000000712
τ表示模式参数；
基于生成的针对图像xi的正解耦正样本特征和不等关系，得到可替代的解耦学习损失函数，表达式为，
Figure BDA00041552573000000713
式中，cn表示行人n所对应的类的原型向量，n≠yi；B表示当前的训练批，|B|表示当前训练批的大小；vi表示样本xi由特征提取器f生成的特征，vi＝f(xi)；
由生成的解耦正样本组
Figure BDA00041552573000000714
与解耦负样本/>
Figure BDA00041552573000000715
干扰行人特征，获得干扰后的行人特征，表达式为，
Figure BDA00041552573000000716
Figure BDA00041552573000000717
式中，λ表示干扰参数；
Figure BDA00041552573000000718
表示行人a的干扰后的第k阶特征；
由干扰后的行人特征生成针对图像xi的亲密度分布
Figure BDA0004155257300000081
表达式为，
Figure BDA0004155257300000082
式中，Nc表示当前行人的个数；
由生成的行人特征生成针对图像xj针对行人特征
Figure BDA0004155257300000083
的亲密度分布Qj；其中，xj表示与xi具有相同行人的图像；/>
Figure BDA0004155257300000084
由生成的
Figure BDA0004155257300000085
与Qj计算解耦KL散度正则，表达式为，
Figure BDA0004155257300000086
由步
Figure BDA0004155257300000087
与/>
Figure BDA0004155257300000088
计算总的解耦损失函数为：
Figure BDA0004155257300000089
利用Ldise对特征提取器f进行优化，并通过Adam算法更新特征提取器的参数；其中，由当前的网络更新特征库M，表示为M[i]←vi。
本发明系统的进一步改进在于，所述特征提取器为深度残差网络或视觉翻译器网络。
本发明第三方面提供的一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面任一项所述的行人重识别方法。
本发明第四方面提供的一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面任一项所述的行人重识别方法。
与现有技术相比，本发明具有以下有益效果：
本发明提供的基于解耦样本组学习的行人重识别方法中，区别于传统的深度学习方法需要大量且密集的手工标注信息，本发明的方法可以在完全不需要手工标注信息的情况下训练出鲁棒的模型。具体解释性的，针对目前无监督方法无法同时获取高置信度伪标签以及具有鉴别性信息样本的问题，本发明采用基于解耦样本的无监督训练，能够在无标签监督的条件下为每个训练样本分配特定的且足够具有可鉴别信息的解耦样本组，同时保留伪标签的准确性，通过在训练过程中引入这些样本，模型能够更好的区分行人中的行人无关以及行人相关因子。本发明中，使用术语“解耦正样本组”来表示那些与查询样本具有相同伪标签但是具有不相似的标签无关信息的样本；使用术语“解耦负样本组”来表示那些与查询样本具有不同伪标签但是具有相似的标签相关信息的样本。
本发明中，为每个给定的无标签训练图像分配特定的解耦样本组，然后将这些解耦样本加入到特征提取器f的训练过程中；从而，为每个样本构建具有有效训练信息的样本，同时保留高置信度伪标签；同时，也为解决无监督行人重识别任务提供了一种新的思路。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于解耦样本组学习的行人重识别方法的流程示意图；
图2是本发明实施例中，训练获取特征提取器的流程示意图；
图3是本发明实施例中，为当前输入数据构建解耦样本组的示意图；
图4是本发明实施例中，将构建的解耦样本组引入特征提取器的训练过程的流程示意图；
图5是本发明实施例提供的一种基于解耦样本组学习的行人重识别系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
请参阅图1，本发明实施例提供的一种基于解耦样本组学习的行人重识别方法，包括以下步骤：
步骤1，获取给定的查询图像和给定的行人图像集合；
步骤2，基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
步骤3，获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
步骤4，基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
本发明实施例提供的技术方案中，通过挖掘同时具有可鉴别性信息与高置信度伪标签的样本并将这些样本引入特征学习过程中以增强特征的判别力，采用训练好的特征提取器进行特征提取，基于提取的可鉴别性特征能够获得准确的行人重识别结果；其中，特征提取器的训练过程中，本发明构建了基于解耦样本组学习的行人重识别方法，通过辅助向量为每个样本分配特定的解耦正样本组与解耦负样本组，以近似难样本，且由于分配的样本具有一对多的关系，这种样本组相较于单一的难样本具有更高的准确性。示例性的，本发明的训练策略保证了最终特征提取器能够有效区分行人的相关因子，如行人身体特征，以及行人无关因子，如衣服，姿势，相机角度等。
本发明具体实施例提供的一种基于解耦样本组学习的行人重识别方法，要实现的目标是已知一组无序的大型行人图像集合以及一张给定的查询图像，从给定的大型行人图像集合中找出与查询图像具有相同身份标识的图像；具体步骤包括：
首先，使用特征提取器(为方便探索示例性优选的，本发明采用的特征提取器为深度残差网络(ResNet50)，后特征提取器均指代深度残差网络)提取查询图像的特征向量以及对给定的大型行人图像集合计算一组特征向量集合。更具体地，将查询图像输入特征提取器中，得到d维的查询特征，随后将给定的大型行人图像集合中的每一个图像输入同样的特征提取器中，计算一组d维的特征集合；
随后根据查询特征与特征集合中的各个特征之间的欧式距离获取该图像特征集合关于查询图像的排序列表，并可认为该排序列表的前k位图像与给定的查询图像具有相同的身份标识。
本发明实施例中，为了实现上述的目标，需要依据训练算法对特征提取器进行优化。值得注意的是，与主流的深度学习训练方法需要大量的且充分的标注信息不同，本发明实施例的训练过程中不需要任何手工标注数据就能训练出良好的模型，能够节省大量的标注成本。
请参阅图2，本发明实施例的特征提取器的训练过程包括以下步骤：
步骤1，给定一组无标签行人训练图像，仅仅知道这组图像的总个数，而不知道这组训练图像包含的行人标识的个数。
步骤2，初始化一个空的特征库，该特征库用于存储所有行人训练图像的特征。
步骤3，将步骤1中所有的无标签行人图像输入预构建的特征提取器中，获得无标签行人图像的特征，并将这些特征存入步骤2初始化的特征库中。
步骤4，由步骤3生成的特征库，为每个样本构建特定的解耦样本组。
步骤5，通过设计的损失函数，将步骤4为当前输入的样本的特征与其被分配的解耦样本组引入特征提取器的训练过程中，同时更新步骤3中的特征库；
返回步骤3，重复步骤3至步骤5，直至步骤5中的特征提取器的损失值收敛。
本发明实施例的步骤3中，所述将特征存储在特征库中的具体步骤包括：
步骤3.1，将步骤1中生成的图像送入特征提取器中，生成对应的特征；
步骤3.2，根据步骤3.1提取的特征，由通用的聚类算法为每个样本分配伪标签；
步骤3.3，将步骤3.1中产生的特征按照对应的图像索引存储如特征库中。
本发明实施例的步骤4中，为每个样本构建特定的解耦样本组的具体步骤包括：
步骤4.1，对输入的图像，首先根据输入图像xi的编号提取该图像对应在特征库中的特征
Figure BDA0004155257300000121
步骤4.2，为当前样本xi构建辅助向量集
Figure BDA0004155257300000122
其中，/>
Figure BDA0004155257300000123
表示行人yl所对应的类的原型向量，即具有相同伪标签yl的样本所对应的样本的特征向量的平均；yi表示由步骤3.2估计的xi的伪标签；
步骤4.3，基于辅助向量Ai与样本xi之间的关系，为训练集中除xi的所有样本计算与Ai之间的相似性概率直方分布，表示为：
Figure BDA0004155257300000131
Figure BDA0004155257300000132
式中，
Figure BDA0004155257300000133
表示样本xi存储在特征库M中的特征。
步骤4.4，基于步骤4.3生成的概率分布P(xi；Ai)，为当前样本xi构建特定的解耦正样本组
Figure BDA0004155257300000134
与解耦负样本/>
Figure BDA0004155257300000135
该过程可以形式化表示为：
Figure BDA0004155257300000136
Figure BDA0004155257300000137
Figure BDA0004155257300000138
Figure BDA0004155257300000139
其中，argTopk(P)k表示分布P中第k大值的索引；K表示解耦样本组的阶数；
Figure BDA00041552573000001310
表示xi的k阶解耦正样本组，/>
Figure BDA00041552573000001311
表示xi的k阶解耦负样本组。
本发明实施例的步骤5中，训练特征提取器并更新特征库的具体步骤包括：
步骤5.1，由步骤4.4生成的解耦正样本组
Figure BDA00041552573000001312
生成针对xi的正解耦正样本特征，表示为：
Figure BDA00041552573000001313
其中，ω表示强度参数，
Figure BDA00041552573000001314
表示集合/>
Figure BDA00041552573000001315
的基数,即/>
Figure BDA00041552573000001316
中元素的个数。
步骤5.2，由步骤5.1生成的特定于xi的正解耦正样本特征，以及由步骤4.4生成的解耦负样本
Figure BDA00041552573000001317
计算可替代的解耦学习损失函数：
Figure BDA0004155257300000141
其中，cn表示行人n(n≠yi)所对应的类的原型向量；
Figure BDA0004155257300000142
表示第k阶解纠缠样本组中/>
Figure BDA0004155257300000143
属于a人(伪)的样本；B表示当前的训练批，而|B|表示当前训练批的大小，τ表示模式参数，vi表示样本xi由特征提取器f生成的特征,即vi＝f(xi)。
步骤5.3，由步骤4.4生成的解耦正样本组
Figure BDA0004155257300000144
与解耦负样本/>
Figure BDA0004155257300000145
干扰行人特征，该过程可以表示为：
Figure BDA0004155257300000146
Figure BDA0004155257300000147
其中，λ表示干扰参数；
Figure BDA0004155257300000148
表示行人a的干扰后的第k阶特征。
步骤5.4，由步骤5.3生成的干扰后的行人特征生成针对样本xi的亲密度分布
Figure BDA0004155257300000149
该生成过程可以形式化为：
Figure BDA00041552573000001410
其中，Nc表示当前行人的个数。
步骤5.5，由生成的行人特征生成针对样本xj针对行人特征
Figure BDA00041552573000001411
的亲密度分布Qj，其中xj表示与xi具有相同行人的图像，Qj的生成过程可以形式化描述为：
Figure BDA00041552573000001412
步骤5.6，由步骤5.4生成的
Figure BDA00041552573000001413
与步骤5.5生成的Qj计算解耦KL散度正则：
Figure BDA00041552573000001414
步骤5.7，由步骤5.2生成的
Figure BDA00041552573000001415
与步骤5.6生成的/>
Figure BDA00041552573000001416
计算总的解耦损失函数为：
Figure BDA00041552573000001417
并利用Ldise对特征提取器f进行优化，并通过Adam算法更新图特征提取器的参数。
步骤5.8，由当前的网络更新特征库M,表示为：M[i]←vi。
参见图2至图4，本发明实施的一种基于样本对关系蒸馏的行人重识别方法，包括如下步骤：
步骤1，采集获取无标签的行人图像；
步骤2，初始化一个空的特征库；
步骤3，建立特征提取器，给出一个包含单一目标的训练图像序列X＝{xi}i＝1,...,N，其中xi表示第i张训练图像，使用特征提取器对行人图像提取特征并将特征存储在特征库；
示例性的，步骤3具体包括：
步骤3.1，将步骤1中生成的图像送入特征提取器中，生成对应的特征；示例性的，本发明实施例中，使用ResNet50提取图像的特征向量{vi}i＝1,...,N，生成2048维的特征。
步骤3.2，根据步骤3.1提取的特征，由通用的聚类算法为每个样本分配伪标签；示例性的，本发明实施例中，使用ResNet50提取图像的特征向量{yi}i＝1,...,N，生成2048维的特征。
步骤3.2，将步骤3.1中产生的特征按照对应的图像索引存储入特征库中。示例性的，本发明实施例中，在生成初始化的特征库时所使用的公式为M[i]←vi。
示例性的，步骤4具体步骤包括：
步骤4.1，对输入的图像，首先根据输入图像xi的编号提取该图像对应在特征库中的特征
Figure BDA0004155257300000151
步骤4.2，为当前样本xi构建辅助向量集
Figure BDA0004155257300000152
其中/>
Figure BDA0004155257300000153
表示行人yl所对应的类的原型向量，即具有相同伪标签yl的样本所对应的样本的特征向量的平均。yi表示由步骤3.2估计的xi的伪标签。
步骤4.3，基于辅助向量Ai与样本xi之间的关系，为训练集中除xi的所有样本计算与Ai之间的相似性概率直方分布，表示为：
Figure BDA0004155257300000161
Figure BDA0004155257300000162
式中，
Figure BDA0004155257300000163
表示样本xi存储在特征库M中的特征。
步骤4.4，基于步骤4.3生成的概率分布P(xi；Ai)，为当前样本xi构建特定的解耦正样本组
Figure BDA0004155257300000164
与解耦负样本/>
Figure BDA0004155257300000165
该过程可以形式化表示为：
Figure BDA0004155257300000166
Figure BDA0004155257300000167
Figure BDA0004155257300000168
Figure BDA0004155257300000169
其中，argTopk(P)k表示分布P中第k大值的索引；K表示解耦样本组的阶数；
Figure BDA00041552573000001610
表示xi的k阶解耦正样本组，/>
Figure BDA00041552573000001611
表示xi的k阶解耦负样本组。
示例性的，步骤5具体步骤包括：
步骤5.1，由步骤4.4生成的解耦正样本组
Figure BDA00041552573000001612
生成针对xi的正解耦正样本特征，表示为：
Figure BDA00041552573000001613
其中，ω表示强度参数，
Figure BDA00041552573000001614
表示集合/>
Figure BDA00041552573000001615
的基数,即/>
Figure BDA00041552573000001616
中元素的个数。
步骤5.2，由步骤5.1生成的特定于xi的正解耦正样本特征，以及由步骤4.4生成的解耦负样本
Figure BDA00041552573000001617
计算可替代的解耦学习损失函数：
Figure BDA00041552573000001618
其中，cn表示行人n(n≠yi)所对应的类的原型向量，
Figure BDA0004155257300000171
表示第k阶解纠缠样本组中/>
Figure BDA0004155257300000172
属于a人(伪)的样本，B表示当前的训练批，而|B|表示当前训练批的大小，τ表示模式参数，vi表示样本xi由特征提取器f生成的特征，即vi＝f(xi)。/>
步骤5.3，由步骤4.4生成的解耦正样本组
Figure BDA0004155257300000173
与解耦负样本/>
Figure BDA0004155257300000174
干扰行人特征，该过程可以表示为：
Figure BDA0004155257300000175
Figure BDA0004155257300000176
其中，λ表示干扰参数，
Figure BDA0004155257300000177
表示行人a的干扰后的第k阶特征。
步骤5.4，由步骤5.3生成的干扰后的行人特征生成针对样本xi的亲密度分布
Figure BDA0004155257300000178
该生成过程可以形式化为：
Figure BDA0004155257300000179
其中，Nc表示当前行人的个数。
步骤5.5，由生成的行人特征生成针对样本xj针对行人特征
Figure BDA00041552573000001710
的亲密度分布Qj，其中xj表示与xi具有相同行人的图像。Qj的生成过程可以形式化描述为：
Figure BDA00041552573000001711
步骤5.6，由步骤5.4生成的
Figure BDA00041552573000001712
与步骤5.5生成的Qj计算解耦KL散度正则：
Figure BDA00041552573000001713
步骤5.7，由步骤5.2生成的
Figure BDA00041552573000001714
与步骤5.6生成的/>
Figure BDA00041552573000001715
计算总的解耦损失函数为：
Figure BDA00041552573000001716
并利用Ldise对特征提取器f进行优化，并通过Adam算法更新图特征提取器的参数。
步骤5.8，由当前的网络更新特征库M，表示为M[i]←vi。
综上，本发明适用于无监督训练行人重识别框架，通过在大型图像集合中找出与给定图像相同身份的图像。本发明的基于样本对关系蒸馏的行人重识别方法，首先利用初始化的特征库以及预测的伪标签，通过为每个样本构建辅助向量组，为每个训练样本分配解耦样本组。在特征提取器的优化过程中，利用这些具有伪标签的样本对，优化行人重识别模型，即将具有相同身份的样本对拉近，并推远不同身份的样本对。本发明可以解决在缺乏训练标签的情况下为行人重识别模型生成高质量的样本，最终使得重识别性能得到较大提升。
表1a、1b、1c分别是本发明的定量的实验结果，表1a为在Market-1501数据集下该发明的实验结果，表1b为在DukeMTMC-reID数据集下该发明的实验结果，表1c为在MSMT17数据集下该发明的实验结果。
Rank-1，Rank-5，Rank-10与mAP都是衡量生成图像的质量常用的指标，数值越大表示算法的性能越高。从表1a中可以看到，在Market-1501数据集上，用本发明生成的指标上Rank-1，Rank-5，Rank-10与mAP均达到了最高。从表1b中可以看到，在DukeMTMC-reID数据集上，用本发明生成的指标上Rank-1，Rank-5，Rank-10与mAP均达到了最高。从表1c中可以看到，在MSMT17数据集上，用本发明生成的指标上Rank-1，Rank-5，Rank-10与mAP均达到了最高。综上所述，与其他方法相比较，我们的方法在无监督行人重识别问题上获得了较大的提升。
表1a.在Market-1501数据集下该方法的实验结果
Figure BDA0004155257300000181
Figure BDA0004155257300000191
表1b.在DukeMTMC-reID数据集下该方法的实验结果
Figure BDA0004155257300000192
表1c.在MSMT17数据集下该方法的实验结果
Figure BDA0004155257300000193
综上所述，本发明实施例公开了一种基于解耦样本组学习的行人重识别方法，所述方法包括以下步骤：步骤1，采集获取无标签的行人图像；步骤2，初始化一个空的特征库；步骤3，将步骤1中所有的无标签行人图像输入预构建的特征提取器中，获得无标签图像的特征，利用这些特征生成伪标签，并将这些特征存入步骤2初始化的特征库中；步骤4，利用特征库中的特征生成行人特征，基于当前的特征库为当前的行人(伪)生成行人特征，利用这些行人特征为每个样本构建辅助向量，并利用辅助向量用于指导构建该样本的特定的解耦正样本组与解耦负样本组；步骤5，将这些解耦样本组引入设计的可替代解耦特征学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述的特征提取器；在训练过程的每次迭代之后，更新每个训练图像样本的特征。
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。
请参阅图5，本发明实施例提供的一种基于解耦样本组学习的行人重识别系统，包括：
数据获取模块，用于获取给定的查询图像和给定的行人图像集合；
特征提取模块，用于基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
排序列表获取模块，用于获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
结果获取模块，用于基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于解耦样本组学习的行人重识别方法的操作。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于解耦样本组学习的行人重识别方法的相应步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于解耦样本组学习的行人重识别方法，其特征在于，包括以下步骤：
获取给定的查询图像和给定的行人图像集合；
基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
2.根据权利要求1所述的一种基于解耦样本组学习的行人重识别方法，其特征在于，所述基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组的步骤包括：
根据输入图像xi的编号提取图像对应在特征库中的特征
Figure FDA0004155257290000011
其中，i表示行人样本在数据库中的编号，M表示样本的特征库，/>
Figure FDA0004155257290000012
表示存储在M中的行人i的特征；
为当前图像xi构建辅助向量集
Figure FDA0004155257290000013
其中，/>
Figure FDA0004155257290000014
表示行人yl所对应的类的原型向量，是具有相同伪标签yl的样本所对应的样本的特征向量的平均；yi表示估计的xi的伪标签；
基于辅助向量Ai与图像xi之间的关系，计算训练图像样本集合中除去图像xi的剩余图像样本与Ai之间的相似性概率直方分布，表示为，
Figure FDA00041552572900000219
Figure FDA0004155257290000021
式中，
Figure FDA0004155257290000022
表示图像xi存储在特征库M中的特征；
基于获得的相似性概率直方分布P(xi；Ai)，为图像xi构建解耦正样本组
Figure FDA0004155257290000023
与解耦负样本组/>
Figure FDA0004155257290000024
表达式为，
Figure FDA0004155257290000025
Figure FDA0004155257290000026
Figure FDA0004155257290000027
Figure FDA0004155257290000028
式中，argTopk(P(xi；Ai))k表示分布P(xi；Ai)中第k大值的索引，argTopk(P(xj；Aj))k)表示分布P(xj；Aj)中第k大值的索引；K表示解耦样本组的阶数；
Figure FDA0004155257290000029
表示xi的k阶解耦正样本组，/>
Figure FDA00041552572900000210
表示xi的k阶解耦负样本组，yi与yj分别对应图像xi与xj的伪标签，Ai为xi对应的辅助向量集。
3.根据权利要求2所述的一种基于解耦样本组学习的行人重识别方法，其特征在于，所述将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器的步骤包括：
由生成的解耦正样本组
Figure FDA00041552572900000211
生成针对图像xi的正解耦正样本特征/>
Figure FDA00041552572900000212
表达式为，
Figure FDA00041552572900000213
式中，ω表示强度参数；
Figure FDA00041552572900000214
表示集合/>
Figure FDA00041552572900000215
的基数，是/>
Figure FDA00041552572900000216
中元素的个数；
由生成的解耦负样本组
Figure FDA00041552572900000217
生成针对图像xi的负解耦正样本特征/>
Figure FDA00041552572900000218
表达式为，
Figure FDA0004155257290000031
式中，
Figure FDA0004155257290000032
表示表示第k阶解纠缠负样本组中/>
Figure FDA0004155257290000033
伪标签为a的样本；
根据琴声不等式有如下不等关系，
Figure FDA0004155257290000034
T表示模式参数；
基于生成的针对图像xi的正解耦正样本特征和不等关系，得到可替代的解耦学习损失函数，表达式为，
Figure FDA0004155257290000035
式中，cn表示行人n所对应的类的原型向量，n≠yi；B表示当前的训练批，|B|表示当前训练批的大小；vi表示样本xi由特征提取器f生成的特征，vi＝f(xi)；
由生成的解耦正样本组
Figure FDA0004155257290000036
与解耦负样本/>
Figure FDA0004155257290000037
干扰行人特征，获得干扰后的行人特征，表达式为，
Figure FDA0004155257290000038
Figure FDA0004155257290000039
式中，λ表示干扰参数；
Figure FDA00041552572900000310
表示行人a的干扰后的第k阶特征；
由干扰后的行人特征生成针对图像xi的亲密度分布
Figure FDA00041552572900000311
表达式为，
Figure FDA00041552572900000312
式中，Nc表示当前行人的个数；
由生成的行人特征生成针对图像xj针对行人特征
Figure FDA00041552572900000313
的亲密度分布Qj；其中，xj表示与xi具有相同行人的图像；/>
Figure FDA00041552572900000314
由生成的
Figure FDA00041552572900000315
与Qj计算解耦KL散度正则，表达式为，
Figure FDA0004155257290000041
由步
Figure FDA0004155257290000042
与/>
Figure FDA0004155257290000043
计算总的解耦损失函数为：
Figure FDA0004155257290000044
利用Ldise对特征提取器f进行优化，并通过Adam算法更新特征提取器的参数；其中，由当前的网络更新特征库M，表示为M[i]←vi。
4.根据权利要求1所述的一种基于解耦样本组学习的行人重识别方法，其特征在于，所述特征提取器为深度残差网络或视觉翻译器网络。
5.一种基于解耦样本组学习的行人重识别系统，其特征在于，包括：
数据获取模块，用于获取给定的查询图像和给定的行人图像集合；
特征提取模块，用于基于所述给定的查询图像和给定的行人图像集合，采用预先训练好的特征提取器进行特征提取，获得查询图像的特征向量以及行人图像集合的特征向量集合；
排序列表获取模块，用于获取所述查询图像的特征向量与所述行人图像集合的特征向量集合中各个特征之间的欧式距离，获取行人图像集合关于查询图像的排序列表；
结果获取模块，用于基于所述排序列表，获得行人重识别结果；
其中，所述预先训练好的特征提取器的训练步骤包括：
将无标签行人训练图像样本集合中的每个训练图像样本，分别输入预构建的特征提取器中，获得每个训练图像样本的特征并存入特征库中；
在训练的每次迭代过程中，基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组；将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器；其中，在训练过程的每次迭代之后，更新每个训练图像样本的特征。
6.根据权利要求5所述的一种基于解耦样本组学习的行人重识别系统，其特征在于，所述基于当前的特征库为当前的行人生成行人特征，利用行人特征为每个训练图像样本构建辅助向量，基于辅助向量指导构建每个训练图像样本的解耦正样本组与解耦负样本组的步骤包括：
根据输入图像xi的编号提取图像对应在特征库中的特征
Figure FDA0004155257290000051
其中，i表示行人样本在数据库中的编号，M表示样本的特征库，/>
Figure FDA0004155257290000052
表示存储在M中的行人i的特征；
为当前图像xi构建辅助向量集
Figure FDA0004155257290000053
其中，/>
Figure FDA0004155257290000054
表示行人yl所对应的类的原型向量，是具有相同伪标签yl的样本所对应的样本的特征向量的平均；yi表示估计的xi的伪标签；
基于辅助向量Ai与图像xi之间的关系，计算训练图像样本集合中除去图像xi的剩余图像样本与Ai之间的相似性概率直方分布，表示为，
Figure FDA00041552572900000515
Figure FDA0004155257290000055
式中，
Figure FDA0004155257290000056
表示图像xi存储在特征库M中的特征；
基于获得的相似性概率直方分布P(xi；Ai)，为图像xi构建解耦正样本组
Figure FDA0004155257290000057
与解耦负样本组/>
Figure FDA0004155257290000058
表达式为，
Figure FDA0004155257290000059
Figure FDA00041552572900000510
Figure FDA00041552572900000511
Figure FDA00041552572900000512
式中，argTopk(P(xi；Ai))k表示分布P(xi；Ai)中第k大值的索引，argTopk(P(xj；Aj))k)表示分布P(xj；Aj)中第k大值的索引；K表示解耦样本组的阶数；
Figure FDA00041552572900000513
表示xi的k阶解耦正样本组，/>
Figure FDA00041552572900000514
表示xi的k阶解耦负样本组，yi与yj分别对应图像xi与xj的伪标签，Ai为xi对应的辅助向量集。
7.根据权利要求6所述的一种基于解耦样本组学习的行人重识别系统，其特征在于，所述将解耦正样本组与解耦负样本组引入可替代的解耦学习损失函数以及解耦二阶相似性正则引导特征提取器的特征学习过程，训练获得所述预先训练好的特征提取器的步骤包括：
由生成的解耦正样本组
Figure FDA0004155257290000061
生成针对图像xi的正解耦正样本特征/>
Figure FDA0004155257290000062
表达式为，
Figure FDA0004155257290000063
式中，ω表示强度参数；
Figure FDA0004155257290000064
表示集合/>
Figure FDA0004155257290000065
的基数，是/>
Figure FDA0004155257290000066
中元素的个数；
由生成的解耦负样本组
Figure FDA0004155257290000067
生成针对图像xi的负解耦正样本特征/>
Figure FDA0004155257290000068
表达式为，
Figure FDA0004155257290000069
式中，
Figure FDA00041552572900000610
表示表示第k阶解纠缠负样本组中/>
Figure FDA00041552572900000611
伪标签为a的样本；
根据琴声不等式有如下不等关系，
Figure FDA00041552572900000612
τ表示模式参数；
基于生成的针对图像xi的正解耦正样本特征和不等关系，得到可替代的解耦学习损失函数，表达式为，
Figure FDA00041552572900000613
式中，cn表示行人n所对应的类的原型向量，n≠yi；B表示当前的训练批，|B|表示当前训练批的大小；vi表示样本xi由特征提取器f生成的特征，vi＝f(xi)；
由生成的解耦正样本组
Figure FDA00041552572900000614
与解耦负样本/>
Figure FDA00041552572900000615
干扰行人特征，获得干扰后的行人特征，表达式为，
Figure FDA00041552572900000616
Figure FDA00041552572900000617
式中，λ表示干扰参数；
Figure FDA0004155257290000071
表示行人a的干扰后的第k阶特征；
由干扰后的行人特征生成针对图像xi的亲密度分布
Figure FDA0004155257290000072
表达式为，
Figure FDA0004155257290000073
式中，Nc表示当前行人的个数；
由生成的行人特征生成针对图像xj针对行人特征
Figure FDA0004155257290000074
的亲密度分布Qj；其中，xj表示与xi具有相同行人的图像；/>
Figure FDA0004155257290000075
由生成的
Figure FDA0004155257290000076
与Qj计算解耦KL散度正则，表达式为，
Figure FDA0004155257290000077
由步
Figure FDA00041552572900000711
与/>
Figure FDA0004155257290000079
计算总的解耦损失函数为：
Figure FDA00041552572900000710
利用Ldise对特征提取器f进行优化，并通过Adam算法更新特征提取器的参数；其中，由当前的网络更新特征库M，表示为M[i]←vi。
8.根据权利要求5所述的一种基于解耦样本组学习的行人重识别系统，其特征在于，所述特征提取器为深度残差网络或视觉翻译器网络。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的行人重识别方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的行人重识别方法。
CN202310332115.XA 2023-03-29 2023-03-29 基于解耦样本组学习的行人重识别方法、系统、设备及介质 Pending CN116416646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310332115.XA CN116416646A (zh) 2023-03-29 2023-03-29 基于解耦样本组学习的行人重识别方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310332115.XA CN116416646A (zh) 2023-03-29 2023-03-29 基于解耦样本组学习的行人重识别方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN116416646A true CN116416646A (zh) 2023-07-11

Family

ID=87055848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310332115.XA Pending CN116416646A (zh) 2023-03-29 2023-03-29 基于解耦样本组学习的行人重识别方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN116416646A (zh)

Similar Documents

Publication Publication Date Title
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110298404B (zh) 一种基于三重孪生哈希网络学习的目标跟踪方法
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN114155284A (zh) 基于多目标行人场景的行人跟踪方法、装置、设备及介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111209799A (zh) 基于部分共享网络和余弦间隔损失函数的行人搜索方法
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
Yang et al. Bottom-up foreground-aware feature fusion for practical person search
CN113553975A (zh) 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质
CN112507924B (zh) 一种3d手势识别方法、装置及系统
CN109492702B (zh) 基于排序度量函数的行人重识别方法、系统、装置
CN116416646A (zh) 基于解耦样本组学习的行人重识别方法、系统、设备及介质
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN113591839B (zh) 一种特征提取模型构建方法、目标检测方法及其设备
CN115098732A (zh) 数据处理方法及相关装置
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN114022905A (zh) 一种属性感知的域拓展行人重识别方法及系统
CN114429648B (zh) 一种基于对比特征的行人重识别方法及系统
CN113282781A (zh) 图像检索方法及装置
Ştefan et al. Deep learning-based person search with visual attention embedding
Yang et al. Learning a visual tracker from a single movie without annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination