CN110414462A

CN110414462A - 一种无监督的跨域行人重识别方法及系统

Info

Publication number: CN110414462A
Application number: CN201910712781.XA
Authority: CN
Inventors: 谭铁牛; 王亮; 张彰; 李达; 单彩峰
Original assignee: China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd
Current assignee: China Science And Technology Institute Of Artificial Intelligence Innovation Technology (qingdao) Co Ltd
Priority date: 2019-08-02
Filing date: 2019-08-02
Publication date: 2019-11-05
Anticipated expiration: 2039-08-02
Also published as: CN110414462B

Abstract

本发明公开了一种无监督的跨域行人重识别方法及系统，该方法包括以下步骤：构建源域训练集和目标域训练集；将源域训练集中训练图像转换到目标域，生成与目标域相关的图像数据；利用生成的图像数据，训练初始的行人重识别模型；基于训练好的行人重识别模型，提取目标域训练集中每张训练图像的局部特征；利用提取的局部特征，对目标域训练集中训练图像数据进行聚类分析；基于聚类分析结果确定目标域训练集中最优训练样本；利用生成的图像数据和确定的最优训练样本，重新训练行人重识别模型，依次重复，直到达到迭代停止条件，得到最终的行人重识别模型；获取目标域中待识别的图像数据，利用最终得到的行人重识别模型对待识别的图像数据进行识别。

Description

一种无监督的跨域行人重识别方法及系统

技术领域

本发明涉及图像识别技术领域，具体涉及一种无监督的跨域行人重识别方法及系统。

背景技术

行人重识别旨在依据所提供的兴趣目标图像，跨不同摄像机检索与之身份标签一致的其他图像。由于行人重识别技术在实际应用中的重要作用，例如智能视频监控和基于内容的图像检索等，其受到了研究人员以及工业界的广泛关注。目前，伴随有标记的大规模行人重识别数据集的问世，如Market1501、CUHK、DukeMTMC-reID和RAP等，以及深度学习技术的飞速发展，有监督行人重识别的性能得到了极大的提升，例如MGN在Market1501数据集上已经取得了超过人类的识别性能。然而，在实际应用场景中往往很难获取大规模有身份标签的数据，甚至没有标记数据，即无监督行人重识别，如何在上述情况下依然获得理想的识别性能，还值得进一步的研究。

无监督行人重识别可以分为两大类，即单域无监督行人重识别和跨域无监督行人重识别。

对于单域无监督行人重识别，这类方法通常关注于学习判别特征或者是开发有效的相似性度量。这些方法中，要么利用手工设计的特征来表达行人图像，例如，颜色直方图、局部二值特征或者局部特征的组合，要么利用在其它有标注数据集上预训练的深度模型来提取行人图像的特征。之后，利用上述特征，在无标记的数据集中，即目标域，挖掘有效样本作为新的训练数据，以此来迭代更新度量学习或者特征提取模型。但是，发明人在研发过程中发现，在其他数据集上预训练的模型直接应用到目标域，很难获得有足够判别力的特征表达，从而导致行人重识别性能不理想。

对于跨域无监督行人重识别，这类方法通常采用无监督领域自适应来获取与目标域相关的特征、度量或者合成图像。随着生成对抗网络研究的不断深入和广泛应用，图像生成技术取得了快速发展。因此，利用图像生成技术合成身份标签保持的训练图像主导了跨域无监督行人重识别，这些新合成的训练数据用于学习目标域的特征表达。相比单域无监督行人重识别，由于跨域的方法将大规模标记数据集中的信息利用领域自适应方法迁移到了无标签目标域中，因此往往可以在目标域取得更好的识别性能。但是，发明人在研发过程中发现，这类方法忽略了充分利用目标域中大规模无标签数据。

发明内容

为了克服上述现有技术的不足，本发明提供了一种无监督的跨域行人重识别方法及系统，能够充分利用源域中图像数据的身份信息和目标域中图像数据的几何分布信息，提升无监督行人重识别的识别性能。

本发明一方面提供的一种无监督的跨域行人重识别方法的技术方案是：

一种无监督的跨域行人重识别方法，该方法包括以下步骤：

获取源域中有身份标签的训练图像数据和目标域中无身份标签的训练图像数据，并构建源域训练集和目标域训练集；

将源域训练集中训练图像转换到目标域，生成与目标域相关的图像数据；

利用生成的图像数据，训练初始的行人重识别模型；

基于训练好的行人重识别模型，提取目标域训练集中每张训练图像的局部特征；

利用提取的局部特征，对目标域训练集中训练图像数据进行聚类分析；

基于聚类分析结果确定目标域训练集中最优训练样本；

利用生成的图像数据和确定的最优训练样本，重新训练行人重识别模型，依次重复，直到达到迭代停止条件，得到最终的行人重识别模型；

获取目标域中待识别的图像数据，利用最终得到的行人重识别模型对待识别的图像数据进行识别。

本发明另一方面提供的一种无监督的跨域行人重识别系统的技术方案是：

一种无监督的跨域行人重识别系统，该系统包括：

训练集构建模块，用于获取源域中有身份标签的训练图像数据和目标域中无身份标签的训练图像数据，并构建源域训练集和目标域训练集；

图像转换模块，用于将源域训练集中训练图像转换到目标域，生成与目标域相关的图像数据；

初始识别模型训练模块，用于利用生成的图像数据，训练初始的行人重识别模型；

特征提取模块，用于基于训练好的行人重识别模型，提取目标域训练集中每张训练图像的局部特征；

聚类分析模块，用于利用提取的局部特征，对目标域训练集中训练图像数据进行聚类分析；

样本确定模块，用于基于聚类分析结果确定目标域训练集中最优训练样本；

重识别模型更新模块，用于利用生成的图像数据和确定的最优训练样本，重新训练行人重识别模型；

图像识别模块，用于获取目标域中待识别的图像数据，利用最终的行人重识别模型对待识别的图像数据进行识别。

本发明另一方面提供的一种计算机可读存储介质的技术方案是：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

利用生成的图像数据，训练初始的行人重识别模型；

基于聚类分析结果确定目标域训练集中最优训练样本；

本发明另一方面提供的一种处理装置的技术方案是：

一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

利用生成的图像数据，训练初始的行人重识别模型；

基于聚类分析结果确定目标域训练集中最优训练样本；

通过上述技术方案，本发明的有益效果是：

(1)本发明利用身份保持的生成对抗网络将源域图像转换到目标域，之后使用转换后与目标域相关的图像数据训练初始行人重识别模型，有效提高了初始模型在目标域的特征表达能力；

(2)本发明使用基于部件的深度学习行人重识别技术提取行人局部特征，从而捕获图像细粒度信息，有助于缓解特征匹配时遇到的对齐问题，提升了聚类分析的准确性，进而提升了目标域中挖掘训练图像数据身份标签的可靠性；

(3)本发明联合转换后的训练数据和目标域挖掘身份标签后的训练数据，用于迭代更新行人重识别模型，如此能够同时利用源域中图像数据的身份信息和目标域中图像数据的几何分布信息，有利于提升行人重识别模型的判别性能。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。

图1是实施例一提供的无监督的跨域行人重识别方法的流程图；

图2是实施例一提供的源域图像转换到目标域实现过程示意图；

图3是实施例一提供的基于部件的深度学习行人重识别技术训练初始模型示意图；

图4是实施例一提供的身份标签挖掘方法示意图；

图5是实施例一提供的行人重识别模型更新方法示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供一种无监督的跨域行人重识别方法，请参阅附图1，该方法具体实现包括以下步骤：

S101，获取源域中有身份标签的训练图像数据和目标域中无身份标签的训练图像数据，并构建有身份标签的源域训练集和无身份标签的目标域训练集。

S102，将源域中训练图像转换到目标域，生成与目标域相关的图像数据。

具体地，利用图像转换技术，将源域训练集中训练图像数据转换到目标域，同时保证源域中图像的身份信息保持不变，从而生成与目标域图像风格相近且具备源域身份标签的图像数据，请参阅附图2。

在本实施例中，所述图像转换技术采用相似度保持的生成对抗网络，使源域中图像迁移到目标域图像上，同时保持源域图像的身份标签不变。

所述相似度保持的生成对抗网络由循环生成对抗网络和孪生网络两部分组成，其中，所述循环生成对抗网络联合身份映射损失函数，用于学习源域和目标域之间的图像映射函数；而孪生网络的目的是使得源域的任一图像在转换前后特征距离越近越好，同时转换到目标域后与目标域图像之间特征距离越远越好，即尽可能保持源域的身份标签，其本质是学习一个隐空间来约束循环生成对抗网络映射函数的学习过程。

S103，训练初始行人重识别模型。

具体地，利用步骤102生成的与目标域相关的图像数据，并使用基于部件的深度学习行人重识别技术，训练初始行人识别模型。

请参阅附图3，所述基于部件的深度学习行人重识别技术具体为：

将基础网络最后卷积层输出的特征沿水平方向等分为p部分，p≥1，每部分分别依次连接平均池化层，模板大小为1×1的卷积层，以及全连接层，并分别基于各自的损失函数进行训练，输出行人重识别模型f(·,θ)，其中θ为网络参数。

在本实施例中，所述基础网络采用ResNet50，p取值为6，每部分特征维数为256，所述损失函数为softmax分类损失函数，具体可使用下述公式：

其中，i为训练图像的索引，N为训练图像的数目，为第i张训练图像的第p部分的特征，y_i为第i张训练图像的身份标签，C为身份标签的类别数，和b_j为身份标签j的分类器参数。

S104，提取目标域训练集中每个图像数据的局部特征。

具体地，基于训练好的行人重识别模型，提取目标域中每张训练图像的局部特征。每张训练图像的局部特征维数由部件个数p和每个部件特征维数的乘积确定。

S105，对目标域训练集中图像数据进行聚类分析。

具体地，利用步骤104得到的特征对目标域训练集中训练图像数据进行聚类分析。

在本实施例中，所述聚类分析利用步骤104提取的局部特征，并采用欧式距离度量目标域训练集中每个训练样本与聚类中心之间的相似度。

其中，Market1501作为目标域训练集时，聚类数目设置为750，DukeMTMC-reID作为目标域训练集时，聚类数目设置为700，聚类数目依据不同数据集而不同。

S106，使用聚类分析结果更新目标域训练集中训练图像的身份标签。

请参阅附图4，所述使用聚类分析的结果更新目标域训练集中训练图像的身份标签的具体实现方式为：

当目标域训练集中训练图像距离聚类中心足够近时，这些图像才能作为可靠样本用于之后的模型训练中，具体可以通过求解优化以下公式来确定可靠训练样本：

其中，K为聚类数目，i为目标域训练集中图像索引，为目标域训练集中图像通过聚类分析得到的身份标签，为目标域训练集中图像，θ为行人重识别模型参数，为图像的行人重识别特征，c_k为第k个聚类的聚类中心，用于标识是否为可靠训练样本，N_T为目标域训练集样本数，∈为一常数，作为判断是否为可靠训练样本的阈值。

在本实施例中，所述确定可靠训练样本的方法为：

(1)计算目标域训练集中所有训练图像样本与聚类中心的余弦距离，具体公式如下：

(2)比较所述余弦距离d_i与阈值∈的大小，当d_i≥∈时，v_i＝1，即为一可靠训练样本，否则v_i＝0，为不可靠训练样本。

优选的，阈值常数∈＝0.75。

S107，重新训练行人重识别模型。

请参阅附图5，利用步骤102生成的图像数据以及步骤106得到的目标域训练集中新标注的训练图像数据，重新训练所述行人重识别模型，更新后的模型再次用于特征提取和聚类分析，进而更新目标域中训练图像的身份标签。

所述重新训练所述行人重识别模型的方法为：

将生成的与目标域相关的图像数据和目标域中最优训练样本输入行人重识别网络，将网络将最后卷积层输出的特征沿水平方向等分为p部分，p≥1，每部分分别依次连接平均池化层，模板大小为1×1的卷积层，以及全连接层，并分别基于各自的损失函数进行训练，输出行人重识别模型。

S108，反复更新目标域中训练图像的身份标签以及行人重识别模型，判断是否收敛或达到最大迭代次数，若收敛或达到最大迭代次数，则达到迭代停止条件，得到最终的行人重识别模型。

在本实施例中，所述迭代停止条件可以通过分析聚类结果的性能进行判断，具体可以计算调整兰德指数和调整互信息，当前后两次聚类性能差异小于某一很小的常数时，如1e-2，迭代停止，或者达到最大迭代次数，如25，迭代亦停止。

S109，获取目标域中待识别的图像数据，利用步骤108得到的最终的行人重识别模型对待识别的图像数据进行识别。

本发明能够充分利用源域中图像数据的身份信息和目标域中图像数据的几何分布信息，有利于提升行人重识别模型的鲁棒性，同时使用基于部件的深度学习行人重识别技术能够提取行人局部特征，从而捕获图像细粒度信息，有助于提升聚类分析的准确性，进而提升目标域中训练图像数据的身份标签的可靠性，能够显著提高无监督跨域行人重识别的识别性能。

下面本实施例以将Market1501作为源域，DukeMTMC-reID作为目标域，以及DukeMTMC-reID作为源域，Market1501作为目标域分别对本实施例提出的无监督的跨域行人重识别方法进行实验验证，实验结果与其他主流结果比较如表1所示。

表1实验结果与其他主流结果

其中，R1、R5、R10分别表示检索结果中排名最靠前的1、5、10张图片中出现正确结果的概率；mAP表示检索结果的平均精度。可以看出本发明在这两类指标上均超越了现有主流方法的性能。

实施例二

本实施例提供一种无监督的跨域行人重识别系统，该系统包括：

初始模型训练模块，用于利用生成的图像数据，训练初始的行人重识别模型；

实施例三

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

利用生成的图像数据，训练初始的行人重识别模型；

基于聚类分析结果确定目标域训练集中最优训练样本；

实施例四

本实施例提供一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：

利用生成的图像数据，训练初始的行人重识别模型；

基于聚类分析结果确定目标域训练集中最优训练样本；

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种无监督的跨域行人重识别方法，其特征是，该方法包括以下步骤：

利用生成的图像数据，训练初始的行人重识别模型；

基于聚类分析结果确定目标域训练集中最优训练样本；

2.根据权利要求1所述的无监督的跨域行人重识别方法，其特征是，利用图像转换技术，将源域训练集中训练图像数据转换到目标域，保持源域中训练图像数据的身份信息不变，生成与目标域相关的图像数据。

3.根据权利要求1所述的无监督的跨域行人重识别方法，其特征是，所述行人重识别模型的训练方法为：

将生成的与目标域相关的图像数据或联合目标域中最优训练样本输入行人重识别网络，将网络最后卷积层输出的特征沿水平方向等分若干部分，每部分分别依次经过平均池化层、卷积层以及全连接层，并分别基于各自的损失函数进行训练，得到行人重识别模型。

4.根据权利要求3所述的无监督的跨域行人重识别方法，其特征是，所述损失函数为：

5.根据权利要求1所述的无监督的跨域行人重识别方法，其特征是，所述目标域训练集中最优训练样本的确定方法为：

计算目标域训练集中所有训练图像样本与聚类中心的余弦距离；

比较得到的每个余弦距离与设定的阈值的大小，若余弦距离大于等于设定的阈值，则其对应的训练图像样本为最优训练样本。

6.根据权利要求1所述的无监督的跨域行人重识别方法，其特征是，重新训练行人重识别模型后，利用训练好的行人重识别模型，提取目标域训练集中每张训练图像的局部特征，并对目标域训练集中训练图像数据进行聚类分析；基于聚类分析结果再次确定目标域训练集中最优训练样本；依次重复，直达到迭代停止条件。

7.根据权利要求1所述的无监督的跨域行人重识别方法，其特征是，所述迭代停止条件为：

计算调整兰德指数和调整互信息，当前后两次聚类性能差异小于设定值时，迭代停止，或者达到最大迭代次数时，迭代亦停止。

8.一种无监督的跨域行人重识别系统，其特征是，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的无监督的跨域行人重识别方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的无监督的跨域行人重识别方法中的步骤。