CN112036322A - 多任务网络跨域行人重识别模型构建方法、系统及装置 - Google Patents

多任务网络跨域行人重识别模型构建方法、系统及装置 Download PDF

Info

Publication number
CN112036322A
CN112036322A CN202010904082.8A CN202010904082A CN112036322A CN 112036322 A CN112036322 A CN 112036322A CN 202010904082 A CN202010904082 A CN 202010904082A CN 112036322 A CN112036322 A CN 112036322A
Authority
CN
China
Prior art keywords
pedestrian
domain
attribute
picture
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010904082.8A
Other languages
English (en)
Other versions
CN112036322B (zh
Inventor
丁贵广
沈乐琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010904082.8A priority Critical patent/CN112036322B/zh
Publication of CN112036322A publication Critical patent/CN112036322A/zh
Application granted granted Critical
Publication of CN112036322B publication Critical patent/CN112036322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置，所述方法包括：在源域，将具有标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；在目标域，将未标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。

Description

多任务网络跨域行人重识别模型构建方法、系统及装置
技术领域
本发明涉及行人重识别和跨域行人重识别领域，尤其是涉及一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置。
背景技术
在现有技术中，行人重识别技术，是指在跨摄像头的场景下，输入一个待查询的行人图像，在已有的行人数据库中，对该行人识别和检索。在实际的应用中，通常需要结合行人检测和行人跟踪技术，对图片或者视频中的行人定位，将行人检测框输入行人重识别模型，进行特征提取之后，度量多维特征之间的距离，通过排序算法得到最终的检索结果。跨域行人重识别，需要在有标注的源域上训练的模型，能在无标注的目标域使用，需要解决在不同的监控网络情况下泛化性差的问题。
近年很多基于聚类算法的无监督方法都取得了很好地效果，使用聚类算法为未标注的图像生成伪标注，并利用伪标注进行训练，两者交替进行，逐步改进伪标注。SSG更进一步的考虑了目标域上训练样本中相似的特征。由于不同的局部特征具有不同的行人信息，SSG也进行了分块学习。分别对各个特征使用聚类算法得到各自的伪标注，使用三元组损失函数优化模型。最后融合所有特征用于行人检索。
基于聚类使用伪标注的方法，因为源域和目标域间巨大的差异和聚类算法的准确性，不可避免的存在着噪声标签。噪声标签参对最终模型的性能有着严重的副作用。针对这个问题，MMT提出了协同训练的策略，有效的精炼了伪标注。协同训练具有不同初始化的相同架构的网络。MMT依旧利用聚类算法获得带有噪声的硬伪标注，并使用两个网络之前的时间平均模型生成对方的软伪标注。训练结束后，将测试性能更好的模型用于实际部署。
TJ-AIDL提出了一种结合行人属性和身份的无监督方法，两个分支的骨干网络参数不共享，最后分别学习到属性和身份的多维特征，采取编码解码模块IIA融合属性和身份信息，身份特征经过编码得到属性的预测结果。从来自不同域的行人属性角度，TJ-AIDL提出了属性一致性原则，认为属性分支预测的结果和IIA模块编码的特征是一致的。
除了上述方法之外，当下还有很多的学习方法：软多标签学习，从源域中设计参考集，并通过挖掘参考集的信息，用于无监督学习。根据视频行人轨迹进行关联的无监督学习方法，联合建立摄像机内行人行走轨迹的关联，建立摄像机间轨迹关联的模型。使用GAN生成在目标域上带有标签的数据集。相关研究提出了利用合成数据的域自适应技术。部分的研究是采取一些非常经典的传统算法或是深度学习网络框架，结合行人重识别特有的问题，提升性能。虽然这些方法在目标域的性能有所突破，但是和有监督的算法还是存在非常显著的差距。
跨域行人重识别由于在跨摄像头场景下缺少标注数据，跨域学习缺乏必要的知识，无法了解由于不同的摄像头、背景和照明亮度的干扰下，行人的视觉外观是如何在不同摄像头下改变的。而深度学习还需要大量有标注的数据集，但是大规模人工标注的成本十分昂贵。
此外，跨域行人重识别有着很大的不确定性，源域和目标域的摄像网络环境是不同的。另外，摄像头和环境都存在着巨大的差异。不同地点和时间上的摄像信息也会产生负面的影响。比如在夏天的校园里，大多学生都是穿着夏装，就和室内商场场景下是截然不同的环境。这也导致了在源域上进行训练的行人重识别模型，在其他域上具有很差的泛化性。
为了使用行人属性作为辅助信息，行人属性识别的准确度有着很高的要求。行人属性通常是指行人的发型，衣服长短、款式，背包等生物软特征。如果利用额外的行人属性或者其他信息进行辅助训练，还将存在不同知识集和特征的混合学习问题。当结合行人属性提升行人重识别模型性能时，对行人属性模块的设计尤其关键。
目前相关跨域方面的研究，相比于监督式的方法，跨域行人重识别通常具有更差的性能，很难运用在实际的场景上。
发明内容
本发明的目的在于提供一种基于行人属性的多任务网络跨域行人重识别模型构建方法、系统及装置，旨在解决现有技术中的上述问题。
本发明提供一种基于行人属性的多任务网络跨域行人重识别模型构建方法，包括：
在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；
将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
本发明提供一种基于行人属性的多任务网络跨域行人重识别模型构建系统，包括：
预训练模块，用于在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
伪标注模块，用于在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；
再训练模块，用于将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
本发明实施例还提供一种基于行人属性的多任务网络跨域行人重识别模型构建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。
采用本发明实施例，利用行人属性作为辅助信息，结合行人属性和行人身份设计了二分支的多任务深度卷积网络，迭代的使用聚类算法，最终在无标注的目标域获得很好的效果，大大拉近了和有监督算法的差距，节省了人工标注的成本，并且准确度和性能有保障，具有提升社会治安的作用，可以有效的部署在智能安防等领域。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的多任务网络跨域行人重识别模型构建方法的流程图；
图2是本发明实施例的多任务网络的构架示意图；
图3是本发明实施例的多任务网络跨域行人重识别模型构建系统的示意图；
图4是本发明实施例的多任务网络跨域行人重识别模型构建装置的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种多任务网络跨域行人重识别模型构建方法，图1是本发明实施例的多任务网络跨域行人重识别模型构建方法的流程图，如图1所示，根据本发明实施例的多任务网络跨域行人重识别模型构建方法具体包括：
步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
步骤101具体包括：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过骨干网络输出特征图
Figure BDA0002660770330000071
将特征图T分别输入行人属性分支和行人身份分支。
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure BDA0002660770330000072
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure BDA0002660770330000073
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure BDA0002660770330000074
其中，n是源域图片的总数，
Figure BDA0002660770330000075
是源域的第i张图片，
Figure BDA0002660770330000076
是该图片的身份标签，
Figure BDA0002660770330000077
指对行人图片
Figure BDA0002660770330000078
预测为其类别
Figure BDA0002660770330000079
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure BDA00026607703300000710
对T′分块得到上半部分
Figure BDA00026607703300000711
和下半部分
Figure BDA00026607703300000712
分别对T′、T1、T2使用平均池化层得到全局特征
Figure BDA00026607703300000713
局部特征
Figure BDA00026607703300000714
和
Figure BDA00026607703300000715
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure BDA00026607703300000716
Figure BDA0002660770330000081
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。
此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。
步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure BDA0002660770330000091
通过行人属性分支输出全局特征
Figure BDA0002660770330000092
局部特征
Figure BDA0002660770330000093
和
Figure BDA0002660770330000094
将
Figure BDA0002660770330000095
和
Figure BDA0002660770330000096
拼接起来，得到
Figure BDA0002660770330000097
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure BDA0002660770330000098
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure BDA0002660770330000099
和
Figure BDA00026607703300000910
Figure BDA00026607703300000911
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure BDA00026607703300000912
其中，Ka是属性集合的个数，对
Figure BDA00026607703300000913
进行聚类，得到另一类伪标注
Figure BDA00026607703300000914
通过对
Figure BDA00026607703300000915
对
Figure BDA00026607703300000916
Figure BDA00026607703300000917
和
Figure BDA00026607703300000918
进行筛选，获得最终的行人图片的伪标注。
步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
从上述处理可以看出，在目标域的训练，需要多次迭代，并且每轮迭代都要重新聚类，给目标域图片打伪标签。本发明实施例的上述技术方案可以就为两个部分，一个是在源域预训练；一个是在目标域进行跨域迁移训练：在本发明实施例中，用源域预训练的模型参数初始化，然后进行多轮训练。每一轮的训练，都根据模型输出的特征，使用聚类生成伪标签，以有监督的方式进行迭代。在目标域是无标注的，所以用聚类给图片进行标注，并且根据输出的行人属性特征对标注进行筛选，得到更可靠的伪标签，还是按在源域训练的方式训练模型。每一轮的模型对当前所注释的伪标签进行学习，并且下一轮的模型在这轮训练好的模型基础上，重新聚类标注伪标签，模型在这样的过程中，不断挖掘目标域的信息。
从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
本发明实施例提出了如图2的多任务网络，对输入的行人图片，通过骨干网络输出三维的张量，分别输入行人属性分支和行人身份分支进行多任务学习，最后将两个分支各自学习到的多维特征融合起来作为最终的行人特征，用于行人检索。
具体为三个部分：在源域上训练模型；结合行人属性和行人身份并基于聚类算法将模型迁移到目标域。
1、源域具有行人属性和行人身份的标注，有监督学习的方式训练模型：
输入的行人图片，缩放处理，并进行随机剪裁，按概率垂直翻转等预处理，得到256*128的图片I。
网络模型如图2所示，图片I经过在ImageNet数据集预训练的ResNet50骨干网络，得到一个特征图
Figure BDA0002660770330000101
将T分别输入行人身份分支和行人属性分支。
在行人身份分支中，T经过全局平局池化层，得到
Figure BDA0002660770330000111
的多维特征，对f采用三元组损失函数：
Figure BDA0002660770330000112
其中n是源域图片的数量，f是锚点，fp是正样本，fn是负样本。
f经过批量标准化(Batch Normalization,简称为BN)层后，得到
Figure BDA0002660770330000113
用交叉熵函数计算行人身份损失：
Figure BDA0002660770330000114
其中n是源域图片的总数，
Figure BDA0002660770330000115
是源域的第i张图片，
Figure BDA0002660770330000116
是该图片的身份标签。
Figure BDA0002660770330000117
指对行人图片
Figure BDA0002660770330000118
预测为其类别
Figure BDA0002660770330000119
的概率。
在行人属性分支中，T先经过一个Bottleneck模块得到
Figure BDA00026607703300001110
对T′分块得到上半部分
Figure BDA00026607703300001111
下半部分
Figure BDA00026607703300001112
分别对T′，T1，T2使用平均池化层得到全局特征
Figure BDA00026607703300001113
局部特征
Figure BDA00026607703300001114
和
Figure BDA00026607703300001115
根据属性的语义信息和空间位置分组，每组分别在对应的特征后接上分类器，再经过BN层得到属性预测值，计算属性的交叉熵损失：
Figure BDA00026607703300001116
Figure BDA00026607703300001117
xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
2、结合行人属性和行人身份并基于聚类算法将模型迁移到目标域：
将目标域无标注的图片输入到预训练的模型中，行人身份分支输出
Figure BDA00026607703300001118
行人属性分支输出了全局特征
Figure BDA00026607703300001119
局部特征
Figure BDA00026607703300001120
和
Figure BDA00026607703300001121
将
Figure BDA00026607703300001122
和
Figure BDA00026607703300001123
拼接起来，得到
Figure BDA00026607703300001124
在目标域上，所有的无标签的行人图片都生成了三种特征向量集合：
Figure BDA0002660770330000121
对每个特征向量集合聚类分别得到一系列簇。每个簇作为一个行人身份标签，每个行人图片都获得伪标签。每张图片都有三种特征向量，都得到对应的伪标签，分别是
Figure BDA0002660770330000122
和
Figure BDA0002660770330000123
Figure BDA0002660770330000124
行人属性分支还对目标域进行属性识别，输出了属性特征
Figure BDA0002660770330000125
Ka是属性集合的个数。对
Figure BDA0002660770330000126
聚类，得到另一类伪标签
Figure BDA0002660770330000127
接着对
Figure BDA0002660770330000129
和
Figure BDA00026607703300001210
进行筛选。
根据获得的伪标签，进行有监督的训练。重复步骤1～3，直到模型的性能饱和。
最终得到的模型在目标域达到了有监督学习方法的水平，可以有效的部署在智能安防等领域。
综上所述，本发明实施例的跨域行人重识别算法，仅利用了源域的身份和属性标注，在目标域上的性能已经和有监督深度学习方法相似。相比于其他的无监督行人重识别方法有着非常大的提升。可以有效的进行实际部署。节省了人工标注的成本，并且准确度和性能有保障。
系统实施例
根据本发明实施例，提供了一种多任务网络跨域行人重识别模型构建系统，图3是本发明实施例的多任务网络跨域行人重识别模型构建系统的示意图，如图3所示，根据本发明实施例的多任务网络跨域行人重识别模型构建系统具体包括：
预训练模块30，用于在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；所述预训练模块30具体用于：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过所述骨干网络输出特征图
Figure BDA0002660770330000131
将特征图T分别输入行人属性分支和行人身份分支。
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure BDA0002660770330000132
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure BDA0002660770330000133
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure BDA0002660770330000134
其中，n是源域图片的总数，
Figure BDA0002660770330000135
是源域的第i张图片，
Figure BDA0002660770330000136
是该图片的身份标签，
Figure BDA0002660770330000137
指对行人图片
Figure BDA0002660770330000138
预测为其类别
Figure BDA0002660770330000139
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure BDA00026607703300001310
对T′分块得到上半部分
Figure BDA00026607703300001311
和下半部分
Figure BDA00026607703300001312
分别对T′、T1、T2使用平均池化层得到全局特征
Figure BDA00026607703300001313
局部特征
Figure BDA00026607703300001314
和
Figure BDA00026607703300001315
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure BDA00026607703300001316
Figure BDA00026607703300001317
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
伪标注模块32，用于在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；所述伪标注模块32具体用于：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure BDA0002660770330000141
通过行人属性分支输出全局特征
Figure BDA0002660770330000142
局部特征
Figure BDA0002660770330000143
和
Figure BDA0002660770330000144
将
Figure BDA0002660770330000145
和
Figure BDA0002660770330000146
拼接起来，得到
Figure BDA0002660770330000147
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure BDA0002660770330000148
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure BDA0002660770330000149
和
Figure BDA00026607703300001410
Figure BDA00026607703300001411
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure BDA00026607703300001412
其中，Ka是属性集合的个数，对
Figure BDA00026607703300001413
进行聚类，得到另一类伪标注
Figure BDA00026607703300001414
通过对
Figure BDA00026607703300001415
对
Figure BDA00026607703300001416
Figure BDA00026607703300001417
和
Figure BDA00026607703300001418
进行筛选，获得最终的行人图片的伪标注。
再训练模块34，用于将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种多任务网络跨域行人重识别模型构建装置，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：
步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
步骤101具体包括：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过骨干网络输出特征图
Figure BDA0002660770330000151
将特征图T分别输入行人属性分支和行人身份分支。
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure BDA0002660770330000152
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure BDA0002660770330000153
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure BDA0002660770330000154
其中，n是源域图片的总数，
Figure BDA0002660770330000161
是源域的第i张图片，
Figure BDA0002660770330000162
是该图片的身份标签，
Figure BDA0002660770330000163
指对行人图片
Figure BDA0002660770330000164
预测为其类别
Figure BDA0002660770330000165
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure BDA0002660770330000166
对T′分块得到上半部分
Figure BDA0002660770330000167
和下半部分
Figure BDA0002660770330000168
分别对T′、T1、T2使用平均池化层得到全局特征
Figure BDA0002660770330000169
局部特征
Figure BDA00026607703300001610
和
Figure BDA00026607703300001611
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure BDA00026607703300001612
Figure BDA00026607703300001613
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。
此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。
步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure BDA0002660770330000171
通过行人属性分支输出全局特征
Figure BDA0002660770330000172
局部特征
Figure BDA0002660770330000173
和
Figure BDA0002660770330000174
将
Figure BDA0002660770330000175
和
Figure BDA0002660770330000176
拼接起来，得到
Figure BDA0002660770330000177
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure BDA0002660770330000178
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure BDA0002660770330000179
和
Figure BDA00026607703300001710
Figure BDA00026607703300001711
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure BDA00026607703300001712
其中，Ka是属性集合的个数，对
Figure BDA00026607703300001713
进行聚类，得到另一类伪标注
Figure BDA00026607703300001714
通过对
Figure BDA00026607703300001715
对
Figure BDA00026607703300001716
Figure BDA00026607703300001717
和
Figure BDA00026607703300001718
进行筛选，获得最终的行人图片的伪标注。
步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方法步骤：
步骤101，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过骨干网络输出特征图，将特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
步骤101具体包括：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过骨干网络输出特征图
Figure BDA0002660770330000191
将特征图T分别输入行人属性分支和行人身份分支。
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure BDA0002660770330000192
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure BDA0002660770330000193
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure BDA0002660770330000194
其中，n是源域图片的总数，
Figure BDA0002660770330000195
是源域的第i张图片，
Figure BDA0002660770330000196
是该图片的身份标签，
Figure BDA0002660770330000197
指对行人图片
Figure BDA0002660770330000198
预测为其类别
Figure BDA0002660770330000199
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure BDA00026607703300001910
对T′分块得到上半部分
Figure BDA00026607703300001911
和下半部分
Figure BDA00026607703300001912
分别对T′、T1、T2使用平均池化层得到全局特征
Figure BDA00026607703300001913
局部特征
Figure BDA00026607703300001914
和
Figure BDA00026607703300001915
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure BDA00026607703300001916
Figure BDA00026607703300001917
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
在本发明实施例中，根据属性的语义，对属性分组，将具有高关联性的属性划分在一起，比如可以划分性别，头部，上身，下身，附属物等分组。不同的属性分组分别对应着不同的图像信息，属性分组可以依据其空间位置，进行划分。语义描述相近的属性往往分为一组，挖掘属性之间的依赖关系，提升属性识别的准确性。不同的属性分组具有不同的空间特性。全局的属性分组一般使用整个特征图经过平均池化得到的多维特征。而局部的分组，只关注与其局部的图像信息，其他额外的图像都是干扰项。比如头发只在乎行人头部的视觉特征。我们需要局部的特征用于局部分组。局部特征最直接的获取方法，就是将特征图水平方向分块。接上平均池化层，输出局部特征。
此外，本发明实施例提出了一种结合行人属性和身份的二分支网络框架。多任务学习的方式，将行人身份和行人属性识别划分为两个任务，各自作为一个独立分支分别进行优化。让两个分支各学习到相关的多维特征，最后融合起来用于计算距离矩阵。两个分支共享骨干网络的参数，让两个分支学习到的特征不产生过大的分割，导致最后无法有效的融合。两个分支分别只专注于自己的任务，身份分支以身份损失函数和三元组损失函数进行优化，而属性分支以属性分类损失函数作为辅助。两个分支学习到的特征，也因为损失函数的不同，具有一定的差异性。也导致最终融合的特征具有多样性，从更多的视野，不同的角度对行人图像进行特征的提取。
步骤102，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；步骤102具体包括：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure BDA0002660770330000201
通过行人属性分支输出全局特征
Figure BDA0002660770330000202
局部特征
Figure BDA0002660770330000203
和
Figure BDA0002660770330000204
将
Figure BDA0002660770330000205
和
Figure BDA0002660770330000206
拼接起来，得到
Figure BDA0002660770330000207
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure BDA0002660770330000211
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure BDA0002660770330000212
和
Figure BDA0002660770330000213
Figure BDA0002660770330000214
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure BDA0002660770330000215
其中，Ka是属性集合的个数，对
Figure BDA0002660770330000216
进行聚类，得到另一类伪标注
Figure BDA0002660770330000217
通过对
Figure BDA0002660770330000218
对
Figure BDA0002660770330000219
Figure BDA00026607703300002110
和
Figure BDA00026607703300002111
进行筛选，获得最终的行人图片的伪标注。
步骤103，将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
从上述技术方案可以看出，为了解决目标域没有标签的问题，本发明实施例使用聚类为数据生成伪标签。通过聚类算法，分别对所设计的身份和属性分支的特征进行聚类，将聚类的结果作为行人的身份标签，给未标注的数据生成伪标签。首先在带标注的源域上对模型预训练，然后聚类得到在目标域的伪标签。迭代固定次数之后，将新训练得到的模型重新提取特征，并进行新一轮的聚类训练。不断对模型微调，每轮都得到新的聚类结果，伪标签越来越可信。模型在这样不断迭代的学习过程中，逐步挖掘目标域的数据，提取到更好的特征。
综上所述，采用本发明实施例，利用行人属性作为辅助信息，结合行人属性和行人身份设计了二分支的多任务深度卷积网络，迭代的使用聚类算法，最终在无标注的目标域获得很好的效果，大大拉近了和有监督算法的差距，节省了人工标注的成本，并且准确度和性能有保障，具有提升社会治安的作用，可以有效的部署在智能安防等领域。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于行人属性的多任务网络跨域行人重识别模型构建方法，其特征在于，包括：
在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；
将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将待识别的行人图片输入到所述最终的多任务网络跨域行人重识别模型进行行人重识别。
3.根据权利要求1所述的方法，其特征在于，在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图具体包括：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过所述骨干网络输出特征图
Figure FDA0002660770320000021
将特征图T分别输入行人属性分支和行人身份分支。
4.根据权利要求3所述的方法，其特征在于，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征具体包括：
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure FDA0002660770320000022
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure FDA0002660770320000023
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure FDA0002660770320000024
其中，n是源域图片的总数，
Figure FDA0002660770320000025
是源域的第i张图片，
Figure FDA0002660770320000026
是该图片的身份标签，
Figure FDA0002660770320000027
指对行人图片
Figure FDA0002660770320000028
预测为其类别
Figure FDA0002660770320000029
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure FDA00026607703200000210
对T′分块得到上半部分
Figure FDA00026607703200000211
和下半部分
Figure FDA00026607703200000212
分别对T′、T1、T2使用平均池化层得到全局特征
Figure FDA00026607703200000213
局部特征
Figure FDA00026607703200000214
和
Figure FDA00026607703200000215
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure FDA00026607703200000216
Figure FDA00026607703200000217
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数。
5.根据权利要求4所述的方法，其特征在于，在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注具体包括：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure FDA0002660770320000031
通过行人属性分支输出全局特征
Figure FDA0002660770320000032
局部特征
Figure FDA0002660770320000033
和
Figure FDA0002660770320000034
将
Figure FDA0002660770320000035
和
Figure FDA0002660770320000036
拼接起来，得到
Figure FDA0002660770320000037
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure FDA0002660770320000038
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure FDA0002660770320000039
和
Figure FDA00026607703200000310
Figure FDA00026607703200000311
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure FDA00026607703200000312
其中，Ka是属性集合的个数，对
Figure FDA00026607703200000313
进行聚类，得到另一类伪标注
Figure FDA00026607703200000314
通过对
Figure FDA00026607703200000315
对
Figure FDA00026607703200000316
和
Figure FDA00026607703200000317
进行筛选，获得最终的行人图片的伪标注。
6.一种基于行人属性的多任务网络跨域行人重识别模型构建系统，其特征在于，包括：
预训练模块，用于在源域，将具有行人属性和行人身份标注的行人图片输入到骨干网络，通过所述骨干网络输出特征图，将所述特征图分别输入行人属性分支和行人身份分支进行多任务学习，输出所述行人图片的多维特征，得到预训练的多任务网络跨域行人重识别模型；
伪标注模块，用于在目标域，将未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型，通过聚类算法对所述多任务网络跨域行人重识别模型输出的多维特征进行聚类，将聚类的结果作为行人图片的伪标注；
再训练模块，用于将目标域中带有所述伪标注的行人图片重新输入到所述多任务网络跨域行人重识别模型，进行有监督的迭代训练，在每轮迭代中均进行重新聚类，并将聚类的结果作为目标域中行人图片的伪标注，直到所述多任务网络跨域行人重识别模型的性能饱和，得到最终的多任务网络跨域行人重识别模型。
7.根据权利要求6所述的系统，其特征在于，所述系统进一步包括：
识别模块，用于将待识别的行人图片输入到所述最终的多任务网络跨域行人重识别模型进行行人重识别。
8.根据权利要求6所述的系统，其特征在于，所述预训练模块具体用于：
将具有行人属性和行人身份标注的行人图片进行缩放处理，并进行随机剪裁和按概率垂直翻转的预处理，得到预定像素的的行人图片I；
将行人图片I输入到经过ImageNet数据集预训练的ResNet50骨干网络中，通过所述骨干网络输出特征图
Figure FDA0002660770320000041
将特征图T分别输入行人属性分支和行人身份分支；
在行人身份分支中，特征图T经过全局平局池化层，得到f∈R2048的多维特征，并根据公式1，对多维特征f采用三元组损失函数进行优化：
Figure FDA0002660770320000042
其中，n是源域图片的总数，f是锚点，fp是正样本，fn是负样本；
将优化后的多维特征f经过批量标准化BN层，得到
Figure FDA0002660770320000043
并根据公式2，采用交叉熵函数计算行人身份损失：
Figure FDA0002660770320000044
其中，n是源域图片的总数，
Figure FDA0002660770320000051
是源域的第i张图片，
Figure FDA0002660770320000052
是该图片的身份标签，
Figure FDA0002660770320000053
指对行人图片
Figure FDA0002660770320000054
预测为其类别
Figure FDA0002660770320000055
的概率；
在行人属性分支中，特征图T经过一个瓶颈层得到
Figure FDA0002660770320000056
对T′分块得到上半部分
Figure FDA0002660770320000057
和下半部分
Figure FDA0002660770320000058
分别对T′、T1、T2使用平均池化层得到全局特征
Figure FDA0002660770320000059
局部特征
Figure FDA00026607703200000510
和
Figure FDA00026607703200000511
根据属性的语义信息和空间位置分组，每组分别在对应的特征后添加分类器，再经过BN层得到属性预测值，并根据公式3和公式4计算属性的交叉熵损失：
Figure FDA00026607703200000512
Figure FDA00026607703200000513
其中，xij是行人图片Ii的第j个属性的预测分数，yil是真实的标签，N是数据集所有图片的数量，KA是属性集合的个数；
所述伪标注模块具体用于：
将目标域未进行行人属性和行人身份标注的行人图片输入到预训练的多任务网络跨域行人重识别模型中，通过行人身份分支输出
Figure FDA00026607703200000514
通过行人属性分支输出全局特征
Figure FDA00026607703200000515
局部特征
Figure FDA00026607703200000516
和
Figure FDA00026607703200000517
将
Figure FDA00026607703200000518
和
Figure FDA00026607703200000519
拼接起来，得到
Figure FDA00026607703200000520
在目标域上，所有的无标签的行人图片都生成了如公式5所示的三种特征向量集合：
Figure FDA00026607703200000521
对每个特征向量集合聚类分别得到一系列簇，每个簇作为一个行人身份标签，每个行人图片都获得伪标注，其中，每张图片包括三种特征向量，得到对应的如公式6所示的伪标注分别是：
Figure FDA00026607703200000522
和
Figure FDA00026607703200000523
Figure FDA00026607703200000524
通过行人属性分支对目标域进行属性识别，输出属性特征
Figure FDA0002660770320000061
其中，Ka是属性集合的个数，对
Figure FDA0002660770320000062
进行聚类，得到另一类伪标注
Figure FDA0002660770320000063
通过对
Figure FDA0002660770320000064
对
Figure FDA0002660770320000065
和
Figure FDA0002660770320000066
进行筛选，获得最终的行人图片的伪标注。
9.一种基于行人属性的多多任务网络跨域行人重识别模型构建装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至4中任一项所述的基于行人属性的多任务网络跨域行人重识别模型构建方法的步骤。
CN202010904082.8A 2020-09-01 2020-09-01 多任务网络跨域行人重识别模型构建方法、系统及装置 Active CN112036322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904082.8A CN112036322B (zh) 2020-09-01 2020-09-01 多任务网络跨域行人重识别模型构建方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904082.8A CN112036322B (zh) 2020-09-01 2020-09-01 多任务网络跨域行人重识别模型构建方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112036322A true CN112036322A (zh) 2020-12-04
CN112036322B CN112036322B (zh) 2022-12-06

Family

ID=73590778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904082.8A Active CN112036322B (zh) 2020-09-01 2020-09-01 多任务网络跨域行人重识别模型构建方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112036322B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766218A (zh) * 2021-01-30 2021-05-07 上海工程技术大学 基于非对称联合教学网络的跨域行人重识别方法和装置
CN112861695A (zh) * 2021-02-02 2021-05-28 北京大学 行人身份再识别方法、装置、电子设备及存储介质
CN112949590A (zh) * 2021-03-31 2021-06-11 济南大学 一种跨域行人重识别模型构建方法及构建系统
CN113095221A (zh) * 2021-04-13 2021-07-09 电子科技大学 一种基于属性特征和身份特征融合的跨域行人重识别方法
CN113128410A (zh) * 2021-04-21 2021-07-16 湖南大学 一种基于轨迹关联学习的弱监督行人重识别方法
CN113221770A (zh) * 2021-05-18 2021-08-06 青岛根尖智能科技有限公司 基于多特征混合学习的跨域行人重识别方法及系统
CN113408356A (zh) * 2021-05-21 2021-09-17 深圳市广电信义科技有限公司 基于深度学习的行人重识别方法、装置、设备及存储介质
CN113627380A (zh) * 2021-08-20 2021-11-09 中国矿业大学 一种用于智能安防及预警的跨视域行人重识别方法及系统
CN113705662A (zh) * 2021-08-26 2021-11-26 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
CN113807200A (zh) * 2021-08-26 2021-12-17 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统
CN114067356A (zh) * 2021-10-21 2022-02-18 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
CN114550215A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种基于迁移学习的目标检测方法及系统
CN114638964A (zh) * 2022-03-07 2022-06-17 厦门大学 基于深度学习的跨域三维点云分割方法、存储介质
CN114694173A (zh) * 2022-03-01 2022-07-01 电子科技大学 一种基于细粒度特征融合的跨域无监督行人重识别方法
CN114913476A (zh) * 2022-04-25 2022-08-16 北京大学 一种基于双向语义对齐聚类的跨域行人再识别方法与装置
CN115880650A (zh) * 2023-02-16 2023-03-31 城云科技（中国）有限公司 跨视域车辆重识别模型及其构建方法、装置及应用
CN118351340A (zh) * 2024-06-17 2024-07-16 中国海洋大学 基于样本挖掘的双分支无监督目标重识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及系统
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及系统
CN110942025A (zh) * 2019-11-26 2020-03-31 河海大学 一种基于聚类的无监督跨域行人重识别方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及系统
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766218A (zh) * 2021-01-30 2021-05-07 上海工程技术大学 基于非对称联合教学网络的跨域行人重识别方法和装置
CN112861695A (zh) * 2021-02-02 2021-05-28 北京大学 行人身份再识别方法、装置、电子设备及存储介质
CN112861695B (zh) * 2021-02-02 2023-10-24 北京大学 行人身份再识别方法、装置、电子设备及存储介质
CN112949590A (zh) * 2021-03-31 2021-06-11 济南大学 一种跨域行人重识别模型构建方法及构建系统
CN113095221A (zh) * 2021-04-13 2021-07-09 电子科技大学 一种基于属性特征和身份特征融合的跨域行人重识别方法
CN113128410A (zh) * 2021-04-21 2021-07-16 湖南大学 一种基于轨迹关联学习的弱监督行人重识别方法
CN113221770A (zh) * 2021-05-18 2021-08-06 青岛根尖智能科技有限公司 基于多特征混合学习的跨域行人重识别方法及系统
CN113221770B (zh) * 2021-05-18 2024-06-04 青岛根尖智能科技有限公司 基于多特征混合学习的跨域行人重识别方法及系统
CN113408356A (zh) * 2021-05-21 2021-09-17 深圳市广电信义科技有限公司 基于深度学习的行人重识别方法、装置、设备及存储介质
CN113627380A (zh) * 2021-08-20 2021-11-09 中国矿业大学 一种用于智能安防及预警的跨视域行人重识别方法及系统
CN113627380B (zh) * 2021-08-20 2024-03-15 中国矿业大学 一种用于智能安防及预警的跨视域行人重识别方法及系统
CN113807200A (zh) * 2021-08-26 2021-12-17 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统
CN113705662A (zh) * 2021-08-26 2021-11-26 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
CN113807200B (zh) * 2021-08-26 2024-04-19 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统
CN114067356A (zh) * 2021-10-21 2022-02-18 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
CN114550215A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种基于迁移学习的目标检测方法及系统
CN114694173A (zh) * 2022-03-01 2022-07-01 电子科技大学 一种基于细粒度特征融合的跨域无监督行人重识别方法
CN114638964A (zh) * 2022-03-07 2022-06-17 厦门大学 基于深度学习的跨域三维点云分割方法、存储介质
CN114913476A (zh) * 2022-04-25 2022-08-16 北京大学 一种基于双向语义对齐聚类的跨域行人再识别方法与装置
CN115880650A (zh) * 2023-02-16 2023-03-31 城云科技（中国）有限公司 跨视域车辆重识别模型及其构建方法、装置及应用
CN118351340A (zh) * 2024-06-17 2024-07-16 中国海洋大学 基于样本挖掘的双分支无监督目标重识别方法及系统

Also Published As

Publication number Publication date
CN112036322B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN112036322B (zh) 多任务网络跨域行人重识别模型构建方法、系统及装置
Sun et al. TBE-Net: A three-branch embedding network with part-aware ability and feature complementary learning for vehicle re-identification
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN107330451B (zh) 基于深度卷积神经网络的服装属性检索方法
Lin et al. RSCM: Region selection and concurrency model for multi-class weather recognition
WO2018192570A1 (zh) 时域动作检测方法和系统、电子设备、计算机存储介质
CN111832514B (zh) 基于软多标签的无监督行人重识别方法及装置
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111310668B (zh) 一种基于骨架信息的步态识别方法
CN114092964A (zh) 基于注意力引导和多尺度标签生成的跨域行人重识别方法
CN111832511A (zh) 一种增强样本数据的无监督行人重识别方法
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN112819065A (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN113221770B (zh) 基于多特征混合学习的跨域行人重识别方法及系统
CN113033507A (zh) 场景识别方法、装置、计算机设备和存储介质
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN113947101A (zh) 一种基于软化相似性学习的无监督行人重识别方法和系统
Xu et al. Graphical modeling for multi-source domain adaptation
Li et al. Object re-identification based on deep learning
Zhu et al. A cross-view intelligent person search method based on multi-feature constraints
CN114550091A (zh) 基于局部特征的无监督行人重识别方法和装置
CN114463552A (zh) 迁移学习、行人重识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ding Guiguang

Inventor after: Shen Leqi

Inventor after: He Tao

Inventor before: Ding Guiguang

Inventor before: Shen Leqi

GR01 Patent grant
GR01 Patent grant