CN112949590B - 一种跨域行人重识别模型构建方法及构建系统 - Google Patents

Abstract

本发明提供一种跨域行人重识别模型构建方法及构建系统，均能够实现以下步骤：对源域训练集进行有监督预训练，生成三个不同的预训练模型；利用上述生成的三个预训练模型构造三个协作网络模型；利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；从上述得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。本发明用于提高无监督跨域行人重识别的能力。

Description

一种跨域行人重识别模型构建方法及构建系统

技术领域

本发明涉及计算机视觉和模式识别领域，具体涉及一种跨域行人重识别模型构建方法及构建系统。

背景技术

行人重识别(PersonReID)旨在跨相机下检索出特定行人的图像，被广泛应用于监控场景。如今许多带有人工标注的大规模数据集推动了这项任务的快速发展，也为这项任务带来了精度上质的提升。

然而，在实际应用中，即使是用大规模数据集训练好的模型，若直接部署于一个新的监控系统，显著的领域差异通常会导致明显的精度下降。而且，在每个监控系统上都重新进行数据采集和人工标注，因太过费时费力，也很难实现。由此，无监督领域自适应的任务被提出以解决上述问题，使在有标注的源域(SourceDomain)上训练好的模型适应于无标注的目标域(TargetDomain)，以获得在目标域上检索精度的提升。

然而，有别于一般的无监督领域自适应问题(目标域与源域共享类别)，在行人重识别的任务中，目标域的类别数无法预知，且通常与源域没有重复，这里称之为开放集(Open-set)的无监督领域自适应任务，该任务更为实际，也更具挑战性。鉴于此，在跨域行人重识别时，如何将源域上训练好的结果转移到目标域上并取得良好的效果，已成为目前亟需解决的问题。

目前基于聚类的适应是域适应行人重识别模型的直接方法。Han等人提出了合作教学(CT)，这是一种常用的带有噪声伪标签的训练模型算法，它通过将一个网络的小损失样本馈送到另一个网络来学习其他网络，这种协同学习方式倾向于同时选择简单样本特征，会使得网络在训练过程中趋于一致，会导致网络崩塌，进而使得协同训练失效。

为此，本发明提供一种跨域行人重识别模型构建方法及构建系统，用于解决上述问题。

发明内容

针对现有技术的上述不足，本发明提供一种跨域行人重识别模型构建方法及构建系统，用于提高无监督跨域行人重识别的能力。

第一方面，本发明提供一种跨域行人重识别模型构建方法，包括步骤：

Q1：对源域训练集进行有监督预训练，生成三个不同的预训练模型；

Q2：利用上述生成的三个预训练模型构造三个协作网络模型；

Q3：利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

Q4：从上述得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。

进一步地，步骤Q1包括：

向骨干网络输入源域训练集；

根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

进一步地，步骤Q2包括：

构造完全相同的三个神经网络模型；

向所构造的三个神经网络模型中一对一加载步骤Q1中所生成的三个预训练模型，得到三个协作网络模型。

进一步地，步骤Q3包括，在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型。

进一步地，步骤Q3在每一次迭代中，分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图，具体实现方法为：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图。

进一步地，步骤Q3在每一次迭代中，对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型，具体实现方法为：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：

将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为上述用于本次迭代的每一个协作网络模型。

第二方面，本发明提供一种跨域行人重识别模型构建系统，包括：

预训练模型生成单元，用于对源域训练集进行有监督预训练，生成三个不同的预训练模型；

协作网络模型构造单元，用于利用上述生成的三个预训练模型构造三个协作网络模型；

迭代训练单元，用于利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

行人重识别模型获取单元，用于从所得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。

进一步地，所述预训练模型生成单元包括：

输入模块，用于向骨干网络输入源域训练集；

模型生成模块，用于根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

进一步地，所述的协作网络模型构造单元包括：

第一模块，用于构造完全相同的三个神经网络模型；

第二模块，用于向所构造的三个神经网络模型中一对一加载预训练模型生成单元所生成的三个预训练模型，得到三个协作网络模型。

进一步地，所述迭代训练单元被配置为执行如下步骤：

在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型。

进一步地，所述迭代训练单元在每一次迭代中获取用于本次迭代的三个协作网络模型的优化后的协作网络模型的实现方法包括步骤：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图；

步骤Q37：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：

将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为上述用于本次迭代的每一个协作网络模型。

本发明的有益效果在于，

(1)本发明提供的跨域行人重识别模型构建方法及构建系统，利用三个网络模型从不同角度学习不同的鉴别性特征，保证了获取信息的多样性，一定程度上有助于避免该三个网络模型在训练过程中趋于一致产生网络崩塌，继而有助于提高无监督跨域行人重识别的能力。

(2)本发明提供的跨域行人重识别模型构建方法及构建系统，在每一次迭代训练中，均可构建协作网络模型的平均时间模型以代替当前模型用于提取目标域数据集中各图像的特征图，具有一定的记忆效应，有助于确保用于迭代的三个协同网络模型在训练过程中具有一定的健壮性，继而有助于避免该三个网络模型在训练过程中趋于一致产生网络崩塌，可见进一步有助于提高无监督跨域行人重识别的能力。

(3)本发明提供的跨域行人重识别模型构建方法及构建系统，在每一次迭代中，均能对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，可见本发明在协同学习的过程中，每个模型均在其他模型的多重监督下进行训练，有助于增强模型的鲁棒性能与泛化性能，进一步有助于提高无监督跨域行人重识别的能力。

(4)本发明提供的跨域行人重识别模型构建方法及构建系统，引入了0-1稀疏图，并可使用0-1稀疏图对利用平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，然后将特征平滑的特征图用于后续的多重训练，可使用于后续多重训练的特征图能够在一个平滑和连贯的特征空间获得更好的抽象表示，继而有助于促进下一轮迭代给出更准确的跨域行人重识别模型，继而有助于提高模型的无监督跨域行人重识别能力。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的跨域行人重识别模型构建方法的示意性流程图。

如图1所示，该跨域行人重识别模型构建方法包括：

步骤Q1：对源域训练集进行有监督预训练，生成三个不同的预训练模型；

步骤Q2：利用上述生成的三个预训练模型构造三个协作网络模型；

步骤Q3：利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

步骤Q4：从上述得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。

可选地，作为本发明的一个示意性实施例，步骤Q1包括：

向骨干网络输入源域训练集；

根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

作为本发明的一个示意性实施例，步骤Q2包括：

构造完全相同的三个神经网络模型；

向所构造的三个神经网络模型中一对一加载步骤Q1中所生成的三个预训练模型，得到三个协作网络模型。

作为本发明的一个示意性实施例，步骤Q3包括，在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型。

作为本发明的一个示意性实施例，步骤Q3在每一次迭代中，分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图，具体实现方法为：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图。

作为本发明的一个示意性实施例，步骤Q3在每一次迭代中，对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型，具体实现方法为：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：

将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为上述用于本次迭代的每一个协作网络模型。

为了便于对本发明的理解，下面以本发明跨域行人重识别模型构建方法的原理，结合实施例中对跨域行人重识别模型进行构建的过程，对本发明提供的跨域行人重识别模型构建方法做进一步地描述。

具体的，所述跨域行人重识别模型构建方法包括：

步骤S1：对源域训练集进行有监督预训练，生成三个不同的预训练模型。

其中，源域训练集中的图像(即行人图像或训练样本)，均带有身份标签。

在本实施例中，定义源域训练集

其中

和

依次为源域训练集中第i个训练样本(即第i个图像)及其标签，N_s是源域训练集中所有图像的总数。

在本实施例中，步骤S1的实现方法为：

向骨干网络输入源域训练集Ds；

根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

在本实施例中，预先设定三个不同的随机种子为1、2和3。

具体实现时，向骨干网络输入源域训练集Ds，根据随机种子“1”，通过所述骨干网络对所输入的源域训练集Ds进行有监督预训练，生成一个预训练模型。

同理，可参照随机种子“1”，根据随机种子“2”与“3”，生成另外两个预训练模型。

步骤S2：利用上述生成的三个预训练模型构造三个协作网络模型。

记步骤S1中生成的三个预训练模型依次为预训练模型1、预训练模型2和预训练模型3。

在本实施例中，该步骤S2的具体实现方法为：

构造完全相同的三个神经网络模型，该三个神经网络模型依次为第一神经网络模型、第二神经网络模型和第三神经网络模型；

向第一神经网络模型、第二神经网络模型和第三神经网络模型中一对一加载预训练模型1、预训练模型2和预训练模型3，加载完成后便得到三个协作网络模型。

比如，可以往第一神经网络模型中加载预训练模型1、往第二神经网络模型中加载预训练模型2以及往第三神经网络模型中加载预训练模型3，其中往第一神经网络模型中加载预训练模型1得到第一个协作网络模型，往第二神经网络模型中加载预训练模型2得到第二个协作网络模型，往第三神经网络模型中加载预训练模型3得到第三个协作网络模型。

具体实现时，可将步骤S2中所得到的三个协作网络模型表示为特征转换函数F(·|θ_k)，k＝1，2，3，即步骤S2中所得到的三个协作网络模型为F(·|θ_k)，其中，θ_k代表协作网络模型F(·|θ_k)的参数，k＝1，2，3。

所述k用于区分步骤S2中得到的三个协作网络模型。具体地，F(·|θ₁)表示上述第一个协作网络模型(此时k取值为1)，F(·|θ₂)表示上述第二个协作网络模型(此时k取值为2)，F(·|θ₃)表示上述第三个协作网络模型(此时k取值为3)。

步骤S3：利用目标域数据集对上述构造的三个协作网络模型F(·|θ_k)(k＝1，2，3)，进行迭代训练，对应得到三个训练好的协作网络模型。

目标域数据集中的图像(即行人图像或训练样本)，均没有身份标签。

在本实施例中，定义目标域数据集

其中，

为目标域数据集中第j个训练样本，N_t是目标域数据集中所有图像的总数量。

在本实施例中，步骤S3包括，在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型。

具体实现时，步骤S3在每一次迭代中均执行如下步骤：

步骤S31：复制用于本次迭代的三个协作网络模型F(·|θ_k)(k＝1，2，3)，得到三个复制的协作网络模型F′(·|θ_k)，k＝1，2，3。

其中，F′(·|θ_k)与F(·|θ_k)完全相同(k用于区分模型)，即F(·|θ₁)与F′(·|θ₁)完全相同，F(·|θ₂)与F′(·|θ₂)完全相同，F(·|θ₃)与F′(·|θ₃)完全相同。

步骤S32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型F′(·|θ_k)(k＝1，2，3)的参数，对应得到三个平均时间模型。

具体地，该实施例中采用移动加权平均法更新上述三个复制的协作网络模型模型F′(·|θ_k)(k＝1，2，3)的参数，所采用的参数更新公式为：

M^(T)[θ_k]＝β×M^(T-1)[θ_k]+(1-β)×θ_k

式中，M^(T)[θ_k]为协作网络模型模型F(·|θ_k)在第T次迭代中得到的平均时间模型的模型参数(时间平均参数)，T＝1，2，3，...，r，r为预先设定的迭代训练次数，r为整数，r＞40(具体可依据实际情况设定)，M^(T-1)[θ_k]表示协作网络模型模型F(·|θ_k)在第T-1次迭代中得到的平均时间模型的模型参数；θ_k代表协作网络模型F(·|θ_k)在第T-1次迭代后的模型参数，β是预先设定的常数，

式中x∈N且30≤x≤40，k＝1，2，3，k用于区分模型。特别的，第一次迭代时，M^(T)[θ_k]＝F(·|θ_k)此时平均模型等于协作模型。

相对应地，在第T次迭代中，步骤S32中所得到的三个平均时间模型可以对应表示为平均时间模型F(·|M^(T)[θ_k])，k＝1，2，3，k用以区分所得到的三个平均时间模型。

步骤S33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图。

具体实现时，可利用上述平均时间模型F(·|M^(T)[θ_k])，提取目标域数据集Dt中每一个图像

的特征图

其中，j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量，k＝1，2，3。具体地：利用平均时间模型F(·|M^(T)[θ₁])提取目标域数据集Dt中每一个图像

的特征图

此时对应k＝1；利用平均时间模型F(·|M^(T)[θ₂])提取目标域数据集Dt中每一个图像

的特征图

此时k＝2；利用平均时间模型F(·|M^(T)[θ₃])提取目标域数据集Dt中每一个图像

的特征图

此时对应k＝3。

步骤S34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签。

具体实现时，采用DBSCAN聚类方法，分别对利用平均时间模型F(·|M^(T)[θ_k])提取到的特征图

进行聚类，并将聚类结果作为平均时间模型F(·|M^(T)[θ_k])对应的目标域数据集Dt中每一个图像

的伪标签

其中j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量，k＝1，2，3。具体为：

采用DBSCAN聚类方法，对利用平均时间模型F(·|M^(T)[θ₁])提取到的各特征图

进行聚类，并将聚类结果作为平均时间模型F(·|M^(T)[θ₁])对应的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

此时对应k＝1；

采用DBSCAN聚类方法，对利用平均时间模型F(·|M^(T)[θ₂])提取到的各特征图

进行聚类，并将聚类结果作为平均时间模型F(·|M^(T)[θ₂])对应的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

此时对应k＝2；

采用DBSCAN聚类方法，对利用平均时间模型F(·|M^(T)[θ₃])提取到的各特征图

进行聚类，并将聚类结果作为平均时间模型F(·|M^(T)[θ₃])对应的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

此时对应k＝3。

步骤S35：分别利用步骤S34中得到的基于平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图。具体为：

利用上述得到的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

构建目标域数据集中各图像的0-1稀疏图

此时对应k＝1；

利用上述得到的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

构建目标域数据集中各图像的0-1稀疏图

此时对应k＝2；

利用上述得到的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

构建目标域数据集中各图像的0-1稀疏图

此时对应k＝3。

即在k取1、2、3中的每一个值时，分别利用上述得到的目标域数据集Dt中每一个图像

(j＝1，2，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)的伪标签

构建目标域数据集中每一个图像的0-1稀疏图

在本实施例中有：

式中

和

分别为目标域数据集中的第a个图像和第b个图像，a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量，

依次为目标域数据集中的图像

和图像

的伪标签。

在本实施例中，限制

来构造0-1稀疏图，可将具有非零项的对被视为“邻居”。

步骤S36：分别使用步骤S35中得到的每一个0-1稀疏图

(a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)，对步骤S33中利用各平均时间模型F(·|M^(T)[θ_k])提取到的目标域数据集中各图像的特征图

进行特征平滑，得到各平均时间模型F(·|M^(T)[θ_k])各自对应的目标域数据集中所有图像的优化后的特征图。具体地：

使用所得到的每一个0-1稀疏图

(a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)，对利用平均时间模型F(·|M^(T)[θ₁])提取到的每一个特征图

进行特征平滑，得到平均时间模型F(·|M^(T)[θ₁])对应的目标域数据集中所有图像的优化后的特征图，即得到协作网络模型F(·|θ₁)所对应的目标域数据集中所有图像的优化后的特征图；

使用所得到的每一个0-1稀疏图

(a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)，对利用平均时间模型F(·|M^(T)[θ₂])提取到的每一个特征图

进行特征平滑，得到平均时间模型F(·|M^(T)[θ₂])对应的目标域数据集中所有图像的优化后的特征图，即得到协作网络模型F(·|θ₂)所对应的目标域数据集中所有图像的优化后的特征图；

使用所得到的每一个0-1稀疏图

(a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量)，对利用平均时间模型F(·|M^(T)[θ₃])提取到的每一个特征图

进行特征平滑，得到平均时间模型F(·|M^(T)[θ₃])对应的目标域数据集中所有图像的优化后的特征图，即得到协作网络模型F(·|θ₃)所对应的目标域数据集中所有图像的优化后的特征图。

步骤S37：对上述用于本次迭代的三个协作网络模型F(·|θ_k)(k＝1，2，3)中的每一个协作网络模型F(·|θ_k)(即目标模型)，分别执行如下步骤：

将协作网络模型F(·|θ_k)的模型参数以及将用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该协作网络模型F(·|θ_k)的模型参数，得到该协作网络模型F(·|θ_k)对应的优化后的协作网络模型。

具体地，预先定义损失函数包括：平滑邻域损失函数、平均交叉熵损失函数、平均三元组损失函数和总损失函数，其中：

①定义平滑邻域损失函数：

式中，k＝1，2，3，l_G为孪生神经网络(SiameseNetwork)的对比损失函数，其中

其中m＞0是预定义的边距，m为常数，‖·||是为L2范式距离，H代表欧氏距离，

和

分别为目标域数据集中的第a个图像和第b个图像，

为以上步骤中所得到的

和

的0-1稀疏图，a＝1，3，...，N_t-1，b＝2，4，...，N_t，N_t是目标域数据集Dt中所有图像的总数量，θ_k为协作网络模型F(·|θ_k)在进行本次迭代之前的模型参数。

该平滑邻域损失函数鼓励邻域拥有一致的预测，而非邻域(即不同类的点)以最小距离m彼此推开。

当

时，即两个样本为同一分类，此时直接计算L2范式距离，L2范式距离越远loss(即Lsneighbor(θ_k)的损失)越大，从而拉近同类物体间的距离；当

时：设置了一个边界值(对应上述m)，当两个样本点间距离小于m时，由于类别不一致，距离越近loss越大；而当距离大于m时，不再计算loss。此时的loss使得不同类样本间距离尽可能远。

②定义平均交叉熵损失函数：

式中：

为定义的平均交叉熵损失函数，F(·|θ_k)为所述的目标模型，F(·|M^(T)[θ_k′])和F(·|M^(T)[θ_k″])为用于迭代的其他两个协作网络模型在迭代中产生的两个平均时间模型，N_t是目标域数据集Dt中所有图像的总数量；

为利用平均时间模型F(·|M^(T)[θ_k，])提取到的目标域数据集Dt中每一个图像

的特征图，

为利用平均时间模型F(·|M^(T)[θ_k″])提取到的目标域数据集Dt中每一个图像

的特征图；

是基于平均时间模型F(·|M^(T)[θ_k′])得到的目标域数据集中Dt中每一个图像

的伪标签；

是基于平均时间模型F(·|M^(T)[θ_k″])得到的目标域数据集中Dt中每一个图像

的伪标签；

为迭代第一次时(即第一次迭代时)基于所述目标模型F(·|θ_k)得到的目标域数据集Dt中每一个图像

的特征图

代表迭代第一次时基于目标平均时间模型获取到的目标域数据集Dt中每一个图像

的伪标签(具体获取方法可参照前文所述)，所述目标平均时间模型采用所述的目标模型F(·|θ_k)；

log为以e为底的对数函数；

K＝1，2，3。

在每一次迭代中，目标模型F(·|θ_k)均受用于迭代的其他两个协作网络模型在迭代中产生的平均时间模型的共同监督。

③定义平均三元组损失函数为：

式中：

为定义的平均三元组损失函数，l_b为二进制交叉熵损失函数，k＝1，2，3，

和

各自代表的含义参见平均交叉熵损失函数部分。

(2)定义总损失函数

利用上述自定义的平滑邻域损失函数L_sneighbor(θ_k)、平均交叉熵损失函数

和平均三元组损失函数

定义总损失函数L_k，具体地：

式中，μ、γ、ν均为常数，用于表示各自对应损失函数所占的比例；k＝1，2，3。

利用总损失函数L_k的反向传播更新协作网络F(·|θ_k)的模型参数，生成三个(对应k的三个取值)带有最新参数的协作网络模型。

每一次迭代中生成的三个带有最新参数的协作网络模型均用于下一次迭代，直至迭代结束，然后输出最后一次迭代得到的三个协作网络模型。所述最后一次迭代得到的三个协作网络模型，即为三个训练好的协作网络模型。

步骤S34：从上述得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。

图2为本发明提供的一种跨域行人重识别模型构建系统的实施例。

如图2所示，该系统200包括：

预训练模型生成单元201，用于对源域训练集进行有监督预训练，生成三个不同的预训练模型；

协作网络模型构造单元202，用于利用上述生成的三个预训练模型构造三个协作网络模型；

迭代训练单元203，用于利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

行人重识别模型获取单元204，用于从所得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型。

作为本发明的一个示意性实施例，所述预训练模型生成单元201包括：

输入模块，用于向骨干网络输入源域训练集；

模型生成模块，用于根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

所述的协作网络模型构造单元202包括：

第一模块，用于构造完全相同的三个神经网络模型；

第二模块，用于向所构造的三个神经网络模型中一对一加载预训练模型生成单元201所生成的三个预训练模型，得到三个协作网络模型。

作为本发明的一个示意性实施例，迭代训练单元203被配置为执行如下步骤：

在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型。

作为本发明的一个示意性实施例，所述迭代训练单元203在每一次迭代中获取用于本次迭代的三个协作网络模型的优化后的协作网络模型的实现方法包括步骤：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图；

步骤Q37：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：

将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为所述用于本次迭代的每一个协作网络模型。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种跨域行人重识别模型构建方法，其特征在于，包括步骤：

Q1：对源域训练集进行有监督预训练，生成三个不同的预训练模型；

Q2：利用上述生成的三个预训练模型构造三个协作网络模型；

Q3：利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

Q4：从上述得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型；

步骤Q3包括，在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型；

步骤Q3在每一次迭代中，分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图，具体实现方法为：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图。

2.根据权利要求1所述的跨域行人重识别模型构建方法，其特征在于，步骤Q1包括：

向骨干网络输入源域训练集；

根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型。

3.根据权利要求1所述的跨域行人重识别模型构建方法，其特征在于，步骤Q2包括：

构造完全相同的三个神经网络模型；

向所构造的三个神经网络模型中一对一加载步骤Q1中所生成的三个预训练模型，得到三个协作网络模型。

4.根据权利要求1所述的跨域行人重识别模型构建方法，其特征在于，步骤Q3在每一次迭代中，对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型，具体实现方法为：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：

将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为上述用于本次迭代的每一个协作网络模型。

5.一种跨域行人重识别模型构建系统，其特征在于，包括：

预训练模型生成单元，用于对源域训练集进行有监督预训练，生成三个不同的预训练模型；

协作网络模型构造单元，用于利用上述生成的三个预训练模型构造三个协作网络模型；

迭代训练单元，用于利用目标域数据集对上述构造的三个协作网络模型进行迭代训练，对应得到三个训练好的协作网络模型；

行人重识别模型获取单元，用于从所得到的三个训练好的协作网络模型中选取出性能最好的一个模型，该选取出的性能最好的模型即为构建得到的跨域行人重识别模型；

迭代训练单元被配置为执行如下步骤：

在每一次迭代中：分别获取用于本次迭代的三个协作网络模型的平均时间模型，并分别基于所获取的每一个平均时间模型，对应获取目标域数据集中所有图像的伪标签以及获取目标域数据集中所有图像的优化后的特征图；之后对用于本次迭代的每一个协作网络模型，分别采用所获取到的其他两个协作网络模型所对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图进行无监督优化，对应得到用于本次迭代的三个协作网络模型的优化后的协作网络模型；之后将本次迭代得到的三个优化后的协作网络模型用于下一次迭代，直至迭代结束，其中，最后一次迭代所得到的三个优化后的协作网络模型即为最终得到的三个训练好的协作网络模型；所述迭代训练单元在每一次迭代中获取用于本次迭代的三个协作网络模型的优化后的协作网络模型的实现方法包括步骤：

步骤Q31：复制用于本次迭代的三个协作网络模型，得到三个复制的协作网络模型；

步骤Q32：分别采用移动加权平均法更新上述三个复制的协作网络模型模型的参数，对应得到三个平均时间模型；

步骤Q33：分别利用上述得到的三个平均时间模型，提取目标域数据集中各图像的特征图；

步骤Q34：分别采用聚类方法，对利用上述得到的三个平均时间模型各自提取到的特征图分别进行聚类，并将每一个聚类结果作为基于各自对应的平均时间模型得到的目标域数据集中图像的伪标签；

步骤Q35：分别利用步骤Q34中基于各平均时间模型对应得到的目标域数据集中图像的伪标签，构建目标域数据集中所有图像的0-1稀疏图；

步骤Q36：分别使用步骤Q35中得到的每一个0-1稀疏图，对步骤Q33中利用对应平均时间模型提取到的目标域数据集中各图像的特征图进行特征平滑，得到各平均时间模型各自对应的目标域数据集中所有图像的优化后的特征图。

6.根据权利要求5所述的跨域行人重识别模型构建系统，其特征在于，所述预训练模型生成单元包括：

输入模块，用于向骨干网络输入源域训练集；

模型生成模块，用于根据预先设定的三个不同的随机种子，通过所述骨干网络对所输入的源域训练集进行有监督预训练，生成三个预训练模型；

所述的协作网络模型构造单元包括：

第一模块，用于构造完全相同的三个神经网络模型；

第二模块，用于向所构造的三个神经网络模型中一对一加载预训练模型生成单元所生成的三个预训练模型，得到三个协作网络模型。

7.根据权利要求5所述的跨域行人重识别模型构建系统，其特征在于，所述迭代训练单元在每一次迭代中获取用于本次迭代的三个协作网络模型的优化后的协作网络模型的实现方法还包括步骤：

步骤Q37：对用于本次迭代的每一个协作网络模型，分别执行如下步骤：将目标模型的模型参数以及将所获取到的用于本次迭代的其他两个协作网络模型各自对应的目标域数据集中所有图像的伪标签及目标域数据集中所有图像的优化后的特征图，输入预先定义的损失函数进行损失计算；

利用损失函数的反向传播更新该目标模型的模型参数，得到该目标模型对应的优化后的协作网络模型；

其中，目标模型为上述用于本次迭代的每一个协作网络模型。

Images