CN112347995A - 基于像素和特征转移相融合的无监督行人再识别方法 - Google Patents
基于像素和特征转移相融合的无监督行人再识别方法 Download PDFInfo
- Publication number
- CN112347995A CN112347995A CN202011380458.6A CN202011380458A CN112347995A CN 112347995 A CN112347995 A CN 112347995A CN 202011380458 A CN202011380458 A CN 202011380458A CN 112347995 A CN112347995 A CN 112347995A
- Authority
- CN
- China
- Prior art keywords
- loss
- image
- pedestrian
- feature
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000012546 transfer Methods 0.000 title claims abstract description 85
- 230000004927 fusion Effects 0.000 title claims abstract description 43
- 238000011176 pooling Methods 0.000 claims description 63
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102100040160 Rabankyrin-5 Human genes 0.000 description 2
- 101710086049 Rabankyrin-5 Proteins 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于模式识别技术领域，具体涉及一种基于像素转移和特征转移相融合的无监督行人再识别方法、系统、装置，旨在解决现有的跨数据集无监督行人再识别方法检索精度低、识别准确度差的问题。本系统方法包括获取待识别的行人图像，作为输入图像；基于输入图像，通过预训练的行人再识别模型得到行人再识别结果；所述行人再识别模型基于残差网络构建。本发明提高了现有跨数据集的无监督行人再识别方法的检索精度以及识别准确度。
Description
技术领域
本发明属于模式识别技术领域，具体涉及一种基于像素和特征转移相融合的无监督行人再识别方法、系统、装置。
背景技术
行人再识别的目标是匹配不同摄像机下行人图像，对于一个摄像机中的任何一个查询的行人图像，需要找到其他摄像机中具有相同身份的所有行人图像。行人再识别技术广泛应用到视频监控、智慧城市、公共安全等领域。然而，由于视图、姿势、照明、遮挡造成的类内剧烈变化，以及类间相似度小，行人再识别仍然是一个具有挑战性的问题。
传统的行人再识别方法可分为基于特征学习的方法和基于度量学习的方法。然而，这些方法受制于语义较差的手工特征和判别性弱的线性度量函数。受深度学习最新进展的启发，有人通过同时学习特征表示和距离度量的深度神经网络提出了深度监督行人再识别方法。然而，这些方法大多是以监督的方式进行训练，这就需要从每个摄像头中获取大量的准确标记数据。考虑到不同场景下的行人图像存在巨大差异，也就是所谓的域偏移，直接使用在一个场景下训练的模型到另一个场景下通常表现不佳。对海量的在线行人图像进行标注以支持监督学习是昂贵且不切实际的。这些弱点严重限制了监督式行人再识别方法的可扩展性。而通过无监督的行人再识别方法能够获得更好的可扩展性。
目前，行人再识别的重点关注在无监督跨数据集，它试图将现有标签数据集(源域)中的跨相机身份信息知识适配到无标签数据集(目标域)。现有的无监督跨数据集行人再识别方法可以分为两类，即像素转移和特征转移行人再识别方法。像素转移的行人重识别方法首先通过生成模型将标注的源数据转换成目标数据，然后利用目标标注的数据以监督的方式训练目标模型，可以显著降低图像空间中的低级分歧，如照度、颜色等。特征转移行人再识别方法先用源数据以监督的方式训练源模型，然后用KL散度等分布距离指标拉近源和目标特征，使源模型适应目标数据，善于减少高层次的变化。然而，这两类解决方案都有其弱点。一方面，基于特征转移的行人再识别方法拉近域级的源特征和目标特征，可能导致语义错位，损害性能。另一方面，对于像素转移的行人再识别方法来说，分辨率、背景、光照度等意想不到的低级特征会转移到目标域。基于此，本发明提出了一种基于像素和特征转移相融合的无监督行人再识别方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的跨数据集无监督行人再识别方法检索精度低、识别准确度差的问题，本发明第一方面，提出了一种基于像素转移和特征转移相融合的无监督行人再识别方法，该方法包括：
步骤S10，获取待识别的行人图像，作为输入图像；
步骤S20，基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
所述行人再识别模型基于残差网络构建，其训练方法为；
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；结合所述第一特征进行聚类，并将聚类后各类的索引作为对应类中各目标域图像的伪标签；
步骤A30，基于所述伪标签、所述第二特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失；将所述交叉熵损失、所述三元组损失求和，得到目标域图像的总损失，作为第一损失；
步骤A40，基于所述源域图像对应的标签、所述第一特征，通过步骤A30的方法得到源域图像的总损失，作为第二损失；
步骤A50，基于所述第一特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
在一些优选的实施方式中，步骤A20中“提取源域图像、目标域图像的特征”，其方法为：通过预构建的编码器提取源域图像、目标域图像的特征；所述编码器基于残差网络构建，将该残差网络的layer4舍弃，并在pool5层应用0.5的dropout，layer3的步长设置为1。
在一些优选的实施方式中，构建所述解码器的K个卷积层，除最后一个卷积层外，其他各卷积层均采用批归一化，激活函数采用ReLU，最后一个卷积层由tanh映射到[-1,1]范围内。
在一些优选的实施方式中，所述判别器包括由Leaky ReLU激活的三个卷积层和一个FC层。
在一些优选的实施方式中，所述预构建的交叉损失函数为：
其中，Lcls表示交叉熵损失，yi表示第i张目标域图像的伪标签或源于图像对应的标签，Ii表示第i张目标域图像或源域图像，N表示目标域图像或源域图像的数量。
在一些优选的实施方式中，步骤A50中“计算判别损失”，其方法为：
其中，
表示判别损失，
表示第i张源域图像的特征，
表示第i张目标域图像的特征，Dis表示判别器，i表示下标，Ns表示源域图像的数量，Nt表示目标域图像的数量。
在一些优选的实施方式中，“分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征”，其方法为：
Fpt＝P(Ft，Ft2s)
Fps＝P(Fs，Fs2s)
其中，Fs、Ft分别表示源域图像Is的特征、目标域图像It的特征，Fs2s和Ft2s分别是他们重建后的源域图像的特征、目标域图像的特征，Fps、Fpt分别表示源域池化特征、目标域池化特征，P表示双线性池化。
本发明的第二方面，提出了一种基于像素转移和特征转移相融合的无监督行人再识别系统，该系统包括获取模块、识别模块；
所述获取模块，配置为获取待识别的行人图像，作为输入图像；
所述识别模块，配置为基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
所述行人再识别模型基于残差网络构建，其训练方法为；
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失；
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
步骤A50，基于所述第二特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的基于像素转移和特征转移相融合的无监督行人再识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于像素转移和特征转移相融合的无监督行人再识别方法。
本发明的有益效果：
本发明提高了现有跨数据集的无监督行人再识别方法的检索精度以及识别准确度。
(1)本发明提出像素转换和特征转换的联合学习，并用于跨数据集无监督行人再识别，既享受了它们的优点，又克服了缺点。它包括特征转换学习的编码器和像素转换学习的解码器。编码器的任务是通过学习一个具有GAN损失函数的一致的特征空间，将特征知识从源域转换到目标域。同时，解码器的任务是通过增强目标域的某一特征重建其原始图像，将像素知识从源域转换到目标域。在传输像素知识的同时，可以避免分辨率、背景等低级噪声的编码。
(2)为了充分利用源域像素知识，本发明利用编码器提取重构后的源域风格图像的特征，并使用双线性池化层将其与原始目标图像的特征进行融合。由于双线性池化使用了二阶统计，并且可以交互式地对特征进行建模，所以无论是像素转换，还是特征转换学习的信息都得到了增强，提高了模型的识别准确度。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于像素转移和特征转移相融合的无监督行人再识别方法的流程示意图；
图2是本发明一种实施例的基于像素转移和特征转移相融合的无监督行人再识别系统的框架示意图；
图3是本发明一种实施例的不同行人再识别方法在无监督跨数据集的学习过程示意图；
图4是本发明一种实施例的行人再识别模型的训练过程的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于像素转移和特征转移相融合的无监督行人再识别方法，如图1所示，包括以下步骤：
步骤S10，获取待识别的行人图像，作为输入图像；
步骤S20，基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
所述行人再识别模型基于残差网络构建，其训练方法为；
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失；
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
步骤A50，基于所述第二特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
为了更清晰地对本发明基于像素转移和特征转移相融合的无监督行人再识别方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
下列实施例中先对行人再识别模型的训练过程进行详述，再对基于像素转移和特征转移相融合的无监督行人再识别方法获取行为类别的过程进行详述。
1、行人再识别模型的训练过程，如图4所示
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像。
在本实施例中，在训练和测试中除了使用一个目标无标签数据集外，还导入一个有标签的源数据集，以提高训练时的性能。其中目标无标签数据集中的图像作为目标域图像，源数据集中的图像作为源域图像。即图4中的源图片、目标图片。
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征。
在本实施例中，通过预构建的编码器提取源图像、目标图像的特征，作为第一特征，第二特征，具体过程如公式(1)所示：
F＝Enc(I) (1)
其中，I表示源域图像或目标域图像，F表示提取的特征，Enc表示编码器。编码器采用ImageNet预训练的残差网络构建(本发明中优选为ResNet-50)，将残差网络的最后一层layer4舍弃，并在pool5层应用0.5的dropout，将舍弃后的最后一层(即layer3)的步长优选设置为1。在本发明中，layer3、4指的是残差模块。
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失，
源域图像是来自有标签的行人图像，目标域图像是没有标签的行人图像。因此，本实施例中先利用源域图像进行交叉熵和三元组损失的训练。
公式(2)为交叉熵损失函数：
其中，Lcls表示交叉熵损失，yi表示第i张图像对应的标签，Ii表示第i张图像，N表示源域图像或目标域图像的数量。
公式(3)为三元组损失函数：
其中，Ltri表示三元组损失，m表示设定常数，Fi表示第i张图像提取的特征，
表示Fi的正负样本。
其中，源域图像对应的交叉熵损失函数如图(4)所示：
其中，
表示源域图像对应的交叉熵损失，
表示第i张源域图像对应的标签，
表示第i张源域图像，Ns表示源域图像的数量。
源域图像对应的三元组损失函数，如公式(5)所示：
其中，
表示源域图像对应的三元组损失，
表示第i张源域图像提取的特征，
表示
的正负样本。
将源域图像的交叉熵损失、三元组损失求和，得到源域图像的总损失
如公式(6)所示：
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
在本实施例中，基于提取的目标域图像的特征，通过聚类算法得到无标签簇，学习样本的簇标签(即伪标签)。学习伪标签的具体过程如下：
基于提取的目标域图像的特征，计算距离矩阵，并对所有图像特征进行k近邻编码，然后进行基于密度的聚类，将不同的图像分配到不同的类；
聚类后，将聚类后各类的索引作为对应类中各目标域图像的伪标签。
基于目标域图像对应的伪标签、所述第二特征，计算目标域图像对应的交叉熵损失、三元组损失，如公式(7)(8)所示：
其中，
表示目标域图像对应的交叉熵损失，
表示第i张目标域图像对应的标签，
表示第i张目标域图像，Nt表示目标域图像的数量，
表示目标域图像对应的三元组损失，
表示第i张目标域图像提取的特征，
表示
的正负样本。
将目标域图像对应的交叉熵损失、三元组损失求和，得到目标域图像的总损失
如公式(9)所示：
步骤A50，基于所述第一特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
在本实施例中，考虑到源域和目标域之间的差距，以及学习到的编码器可能更偏向于源域图像，有必要使编码器Enc适应目标域。在这里，提出通过从源特征(第一特征)和目标特征(第二特征)中提取特征来适应，并采用GAN损失函数(即图4中表示的LGAN)。GAN损失可以降低两个分布之间的KL散度。如(10)所示。
其中，
表示编码损失，Ns表示源域图像的数量，Nt表示目标域图像的数量，Dis表示区分目标特征和源特征的判别器。判别器包括由Leaky ReLU激活的三个卷积层和一个FC层。
判别器的训练时的损失函数，如公式(11)所示：
其中，
表示判别损失。
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
在本实施例中，将GAN损失、判别损失、第一损失、第二损失进行加权求和，作为特征转换损失，如公式(12)所示：
如图3(a)所示，源域数据、目标域数据分别通过监督学习、无监督学习后对齐，这样特征转换通过减少源域数据集和目标域数据集之间的分歧来转移像素空间中的高级语义知识。
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
像素转换，在无监督的跨数据集人员行人再识别方面显示了其强大的性能。它们首先将目标域图像翻译成源域风格，然后提取相关特征。因此源域的低级信息可以转换到目标域。然而，由于原始图像的巨大差距和微不足道的变化，生成的图像没有必要保留身份信息。因此，这些生成的样本对特征学习有严重的副作用。而且，现有的转换方法都是两步走(先生成图像，再提取其特征)，繁琐耗时，难以处理大规模数据集。与所有现有的像素转换无监督行人再识别方法中的前向不同，我们选择了后向信息，自然避免了生成图像不完善带来的噪声。
在本实施例中，基于提取的源域图像的特征、目标域图像的特征，通过预构建的解码器重构源域图像、目标域图像。如公式(13)所实施：
I-＝Dec(F) (13)
其中，I-表示重构后的源域图像或目标域图像，F表示提取的源域图像的特征或目标域图像的特征，Dec表示预构建的解码器。
解码器基于K个卷积层构建，在本发明中，K优选设置为3。构建解码器的3个卷积层中，除最后一个卷积层外，其他各卷积层均采用批归一化，激活函数采用ReLU，最后一个卷积层由tanh映射到[-1,1]范围内
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
在本实施例中，用一个解码器Dec从源域学习低级信息，Dec通过重建源域图像与源特征(源域图像的特征)来训练源数据。其中，对应的源域重构损失为：
其中，
表示源域重构损失，即L2损失、GAN损失的和，Dispix表示的是源图像和真实图像的判别器，Dis表示的是目标图像和真实图像的判别器，前者是的解码器Dec易于优化，后者增强了重建后的图像，减少了模糊，更加真实。Dis判别器训练时的损失函数
为：
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
在本实施例中，通过步骤A80的方法得到目标域重构损失，如公式(15)所示：。
将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失Lpix，如公式(16)所示：
如图3(b)所示，源域数据通过转换后进行监督学习，将源图像翻译成目标风格来转移像素空间中的低级知识。
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
在本实施例中，为了进一步提升性能，将特征转移和像素转移进行双线性池化融合(即图4中的重组特征)。具体如下：
双线性池化，对于特征融合是有效的，假设一个特征图的高度是H，宽度是W，通道是C，将特征F上某一个通道的H*W维的特征表示为：
F＝[f1，f2，...，fc]T (17)
对于双线性池化层的定义为：
其中，zi为双线性池化模型的输出特征，F1，F2表示待融合的特征，T表示转置，W∈Rc*c*o是一个可训练参数，以获得o维来输出z。根据矩阵的因子化Wi可以因子化为两个一阶向量Ui∈Rc，
。输出的特征zi∈Ro。对于特征F1和特征F2，经过双线性池化融合，最后的融合特征为：
其中，P表示双线性池化融合函数，QT∈Rd*o是分类矩阵，
是哈达玛积，d是超参数，F1，F2表示待融合的特征。
为了进一步提升性能，明确将特征转移模块和像素转移模块进行双线性池化融合。最后融合后的双线性池化特征可以表示如式(19)(20)所示：
Fpt＝P(Ft，Ft2s) (19)
Fps＝P(Fs，Fs2s) (20)
其中，Fs、Ft分别表示源域图像Is的特征、目标域图像It的特征，Fs2s和Ft2s分别是他们重建后的源域图像的特征、目标域图像的特征，Fps、Fpt分别表示源域池化特征、目标域池化特征，P表示双线性池化。
将Fps、Fpt输入行人再识别模型，得到对应的识别结果，作为对应的标签，然后通过Fps、Fpt以及对应的标签，输入公式(2)(3)得到对应的交叉熵损失、三元组损失，并求和得到分类损失，具体如公式(21)所示：
其中，LF表示特征转移模块和像素转移模块融合后的分类损失和三元组损失。
如图3(c)所示，分别通过监督学习、无监督学习、对抗学习，将像素转移和特征转移两种类型的迁移学习统一在一个框架中，不仅可以同时转换高层次和低层次的知识，还可以对这两种知识相互增强。
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
在本实施例中，将特征转移损失、像素转移损失、融合后的损失求和，如公式(22)所示：
L＝Lfeat+Lpix+LF (22)
其中，L表示行人再识别模型训练时的总损失。
基于上述获取的总损失，更新行人再识别模型的网络参数。
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
在本实施例中，循环对行人再识别模型训练，直至得到训练好的行人再识别模型。
2、基于像素转移和特征转移相融合的无监督行人再识别方法
步骤S10，获取待识别的行人图像，作为输入图像；
在本实施例中，获取待识别的行人图像。
步骤S20，基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
在本实施例中，通过基于残差网络构建的行人检测模型得到输入图像中各候选区域与预获取的待搜索行人目标的图像的相似度并排序，排序后选取前M个候选区域作为检测区域；基于各检测区域、待搜索行人目标的图像，通过预训练的行人再识别模型得到行人目标的再识别结果，结果的评价指标采用了Rank1，Rank2，Rank5，Rank10以及mAP。
另外，为了验证本发明方法的有效性，选择了三个被广泛使用的大型人行基准：Market-1501、DukeMTMC-ReID和MSMT17，来评估本发明所提出的方法。
Market-1501包含1501个行人ID，一共有32668个图像，6台摄像机采集到行人。边界框被DPM裁剪。因此，更多的背景杂波和失调问题被刻画出来。数据集被分成两个不重叠的子集，751个ID用于训练，750个ID用于测试。在测试阶段，使用3368图像作为probe来检索16364图像的gallery。DukeMTMC-ReID包含从8个摄像头收集的404个行人ID，一共有36441张图像。MSMT17来自4101个行人ID，一共有126411图像组成由15个摄像头采集。数据集受场景和照明的巨大变化的影响，并且比其他两个数据集更难。
在评估时只采用源域的身份标签作为监督信息，不使用属性标签。在Market-1501(Market)和DukeMTMC-ReID(Duke)上性能指标如表1所示：
表1
其中，表1中的TJ-AIDL为Transferable Joint Attribute-Identity DeepLearning，SPGAN为Similarity Preserving Generative Adversarial Network，HHL为Hetero-Homogeneous Learning，ECN为Exemplar-invariance and Camera-invarianceand Neighborhood-invariance，UDAP为Unsupervised Domain Adaptive，Ours是表示本专利的方法。mAP为mean Average Precision，Rank1是检索到的第一张图命中率，Rank5是检索到的前5张图命中率，Rank10是检索到的前10张图命中率。
从表1中可以看出，本发明提出的方法明显优于现有的最先进的无监督行人再识别方法，改善了在DukeMTMC-ReID上的mAP评分至少提高4％和10％，以及在market-1501上的mAP评分至少提高10％。这证明了我们提出的方法在跨数据集的能力方面的整体性能优势。
本发明用Pytorch框架和实现所提出的方法。使用4颗NVIDIA TITANXP GPU(每颗12GB)进行训练。我们使用SGD算法，动量为0。9和权重衰减0.00005作为优化器。考虑到编码器Enc已经用ImageNet进行了很好的初始化，我们设置学习率相对较小的值0.05，其他部分均设置为0.5。我们对数据的源域和数据目标域都设置了72＝18*4的批次大小。其中18是指每批数据中的总行人ID，4表示每个ID的图像。我们训练整个模型进行20000次迭代，学习率衰减0.1后，每8000次迭代。
本发明第二实施例的一种基于像素转移和特征转移相融合的无监督行人再识别系统，如图2所示，包括：获取模块100、识别模块200；
所述获取模块100，配置为获取待识别的行人图像，作为输入图像；
所述识别模块200，配置为基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
所述行人再识别模型基于残差网络构建，其训练方法为；
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失；
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
步骤A50，基于所述第二特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征；获取分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于像素转移和特征转移相融合的无监督行人再识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于像素转移和特征转移相融合的无监督行人再识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于像素转移和特征转移相融合的无监督行人再识别方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，该方法包括以下步骤：
步骤S10，获取待识别的行人图像，作为输入图像；
步骤S20，基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；所述行人再识别模型基于残差网络构建，其训练方法为：
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失；
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
步骤A50，基于所述第二特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失、所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
2.根据权利要求1所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，步骤A20中“提取源域图像、目标域图像的特征”，其方法为：通过预构建的编码器提取源域图像、目标域图像的特征；所述编码器基于残差网络构建，将该残差网络的layer4舍弃，并在pool5层应用0.5的dropout，layer3的步长设置为1。
3.根据权利要求1所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，构建所述解码器的K个卷积层，除最后一个卷积层外，其他各卷积层均采用批归一化，激活函数采用ReLU，最后一个卷积层由tanh映射到[-1,1]范围内。
4.根据权利要求1所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，所述判别器包括由Leaky ReLU激活的三个卷积层和一个FC层。
5.根据权利要求1中所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，所述预构建的交叉熵损失函数为：
其中，Lcls表示交叉熵损失，yi表示第i张目标域图像的伪标签或源于图像对应的标签，Ii表示第i张目标域图像或源域图像，N表示目标域图像或源域图像的数量。
6.根据权利要求4所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，步骤A50中“计算判别损失”，其方法为：
其中，
表示判别损失，
表示第i张源域图像的特征，
表示第i张目标域图像的特征，Dis表示判别器，i表示下标，Ns表示源域图像的数量，Nt表示目标域图像的数量。
7.根据权利要求1所述的基于像素转移和特征转移相融合的无监督行人再识别方法，其特征在于，“分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征”，其方法为：
Fpt＝P(Ft,Ft2s)
Fps＝P(Fs,Fs2s)
其中，Fs、Ft分别表示源域图像Is的特征、目标域图像It的特征，Fs2s和Ft2s分别是他们重建后的源域图像的特征、目标域图像的特征，Fps、Fpt分别表示源域池化特征、目标域池化特征，P表示双线性池化。
8.一种基于像素转移和特征转移相融合的无监督行人再识别系统，其特征在于，该系统包括获取模块、识别模块；
所述获取模块，配置为获取待识别的行人图像，作为输入图像；
所述识别模块，配置为基于所述输入图像，通过预训练的行人再识别模型得到行人再识别结果；
所述行人再识别模型基于残差网络构建，其训练方法为：
步骤A10，获取源域图像、目标域图像；所述源域图像为有标签的行人图像；所述目标域图像为无标签的行人图像；
步骤A20，提取源域图像、目标域图像的特征，作为第一特征、第二特征；
步骤A30，基于所述源域图像对应的标签、所述第一特征，通过预构建的交叉损失函数、三元组损失函数计算交叉熵损失、三元组损失，并求和，得到源域图像的总损失，作为第一损失；
步骤A40，根据所述第二特征进行聚类，将聚类后各类的索引作为对应类中各目标域图像的伪标签；基于所述伪标签、所述第二特征，通过步骤A30的方法，得到目标域图像的总损失，作为第二损失；
步骤A50，基于所述第二特征，通过预构建的GAN损失函数计算GAN损失；并基于所述第一特征、所述第二特征，通过预构建的判别器获取判别结果，并计算判别损失；
步骤A60，将所述GAN损失、所述判别损失、所述第一损失、所述第二损失进行加权求和，作为特征转换损失；
步骤A70，基于所述第一特征、所述第二特征，通过预构建的解码器重构目标图像、源域图像；所述解码器基于K个卷积层构建；
步骤A80，基于重构的源域图像及原源域图像，计算L2损失、GAN损失，并将所述L2损失、所述GAN损失进行求和，得到源域重构损失；
步骤A90，基于重构的目标域图像及原目标域图像，通过步骤A80的方法得到目标域重构损失；并将所述源域重构损失、所述目标域重构损失求和，作为像素转移损失；
步骤A100，分别将所述第一特征与重构的目标域图像的特征、所述第二特征与重构的源域图像的特征进行双线性池化融合，得到源域池化特征、目标域池化特征，并通过行人再识别模型得到识别结果；基于所述源域池化特征、所述目标域池化特征以及对应的识别结果，通过步骤S30的方法，得到各池化特征对应的总损失，并求和，作为分类损失；
步骤A110，将所述特征转换损失、所述像素转移损失所述分类损失求和，更新所述行人再识别模型的网络参数；
步骤A120，循环执行步骤A10-A110，直至得到训练好的行人再识别模型。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于像素转移和特征转移相融合的无监督行人再识别方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于像素转移和特征转移相融合的无监督行人再识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380458.6A CN112347995B (zh) | 2020-11-30 | 2020-11-30 | 基于像素和特征转移相融合的无监督行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011380458.6A CN112347995B (zh) | 2020-11-30 | 2020-11-30 | 基于像素和特征转移相融合的无监督行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112347995A true CN112347995A (zh) | 2021-02-09 |
| CN112347995B CN112347995B (zh) | 2022-09-23 |
Family
ID=74427142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011380458.6A Active CN112347995B (zh) | 2020-11-30 | 2020-11-30 | 基于像素和特征转移相融合的无监督行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347995B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836675A (zh) * | 2021-03-01 | 2021-05-25 | 中山大学 | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 |
| CN112906606A (zh) * | 2021-03-05 | 2021-06-04 | 南京航空航天大学 | 一种基于相互分歧学习的域自适应行人重识别方法 |
| CN113283394A (zh) * | 2021-06-28 | 2021-08-20 | 苏州大学 | 一种融合上下文信息的行人重识别方法及系统 |
| CN114495265A (zh) * | 2021-07-15 | 2022-05-13 | 电子科技大学 | 多跨域场景下基于活动图加权的人体行为识别方法 |
| CN114694173A (zh) * | 2022-03-01 | 2022-07-01 | 电子科技大学 | 一种基于细粒度特征融合的跨域无监督行人重识别方法 |
| CN115497120A (zh) * | 2022-09-23 | 2022-12-20 | 清华大学 | 基于Transformer的两步式领域自适应行人再识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111738172A (zh) * | 2020-06-24 | 2020-10-02 | 中国科学院自动化研究所 | 基于特征对抗学习和自相似性聚类的跨域目标重识别方法 |
| US20200342271A1 (en) * | 2019-04-29 | 2020-10-29 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Pedestrian re-identification method, computer device and readable medium |
| CN111881714A (zh) * | 2020-05-22 | 2020-11-03 | 北京交通大学 | 一种无监督跨域行人再识别方法 |
-
2020
- 2020-11-30 CN CN202011380458.6A patent/CN112347995B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200342271A1 (en) * | 2019-04-29 | 2020-10-29 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Pedestrian re-identification method, computer device and readable medium |
| CN111126360A (zh) * | 2019-11-15 | 2020-05-08 | 西安电子科技大学 | 基于无监督联合多损失模型的跨域行人重识别方法 |
| CN111476168A (zh) * | 2020-04-08 | 2020-07-31 | 山东师范大学 | 一种基于三阶段的跨域行人重识别方法和系统 |
| CN111881714A (zh) * | 2020-05-22 | 2020-11-03 | 北京交通大学 | 一种无监督跨域行人再识别方法 |
| CN111738172A (zh) * | 2020-06-24 | 2020-10-02 | 中国科学院自动化研究所 | 基于特征对抗学习和自相似性聚类的跨域目标重识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANG YANG 等: "Pixel and Feature Transfer Fusion for Unsupervised Cross-Dataset Person Reidentification", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
| 曹孟华 等: "改进遗传算法在传声器阵列优化中的应用", 《国防科技大学学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836675A (zh) * | 2021-03-01 | 2021-05-25 | 中山大学 | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 |
| CN112836675B (zh) * | 2021-03-01 | 2023-06-23 | 中山大学 | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 |
| CN112906606A (zh) * | 2021-03-05 | 2021-06-04 | 南京航空航天大学 | 一种基于相互分歧学习的域自适应行人重识别方法 |
| CN112906606B (zh) * | 2021-03-05 | 2024-04-02 | 南京航空航天大学 | 一种基于相互分歧学习的域自适应行人重识别方法 |
| CN113283394A (zh) * | 2021-06-28 | 2021-08-20 | 苏州大学 | 一种融合上下文信息的行人重识别方法及系统 |
| CN114495265A (zh) * | 2021-07-15 | 2022-05-13 | 电子科技大学 | 多跨域场景下基于活动图加权的人体行为识别方法 |
| CN114495265B (zh) * | 2021-07-15 | 2023-04-07 | 电子科技大学 | 多跨域场景下基于活动图加权的人体行为识别方法 |
| CN114694173A (zh) * | 2022-03-01 | 2022-07-01 | 电子科技大学 | 一种基于细粒度特征融合的跨域无监督行人重识别方法 |
| CN115497120A (zh) * | 2022-09-23 | 2022-12-20 | 清华大学 | 基于Transformer的两步式领域自适应行人再识别方法 |
| CN115497120B (zh) * | 2022-09-23 | 2023-12-15 | 清华大学 | 基于Transformer的两步式领域自适应行人再识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112347995B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112347995B (zh) | 基于像素和特征转移相融合的无监督行人再识别方法 | |
| Tseng et al. | Cross-domain few-shot classification via learned feature-wise transformation | |
| CN110956185B (zh) | 一种图像显著目标的检测方法 | |
| CN109711481B (zh) | 用于画作多标签识别的神经网络、相关方法、介质和设备 | |
| CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
| Kang et al. | Learning consistent feature representation for cross-modal multimedia retrieval | |
| CN107330074B (zh) | 基于深度学习和哈希编码的图像检索方法 | |
| CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
| CN110866140A (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| CN108509854B (zh) | 一种基于投影矩阵约束结合判别字典学习的行人再识别方法 | |
| Taylor et al. | Learning invariance through imitation | |
| CN106897669B (zh) | 一种基于一致迭代多视角迁移学习的行人再辨识方法 | |
| CN110837846A (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
| CN107590505B (zh) | 联合低秩表示和稀疏回归的学习方法 | |
| CN109284668B (zh) | 一种基于距离正则化投影和字典学习的行人重识别方法 | |
| CN111182364B (zh) | 一种短视频版权检测方法及系统 | |
| CN109242097B (zh) | 无监督学习的视觉表示学习系统及方法 | |
| CN114332466B (zh) | 图像语义分割网络持续学习方法、系统、设备及存储介质 | |
| CN115171165A (zh) | 全局特征与阶梯型局部特征融合的行人重识别方法及装置 | |
| CN108446605B (zh) | 复杂背景下双人交互行为识别方法 | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| CN112990340B (zh) | 一种基于特征共享的自学习迁移方法 | |
| López-Cifuentes et al. | Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss | |
| CN113553975A (zh) | 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质 | |
| CN115393788B (zh) | 一种基于增强全局信息注意力的多尺度监控行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |