CN112016687A - 一种基于互补伪标签的跨域行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于互补伪标签的跨域行人重识别方法，包括以下步骤：(1)分别从源域数据集和目标域数据集中采样数据，使用卷积神经网络获得各自的嵌入特征表达；(2)将得到的嵌入特征表达分别存入源域缓存和目标域缓存中；(3)使用在源域数据上训练得到的图卷积神经网络获得目标域图像的邻居作为其伪标签，并存入伪标签缓存中；(4)根据邻居伪标签生成目标域图像的组伪标签；(5)使用邻居伪标签和组伪标签以及对应的损失函数共同训练模型，直到模型收敛；(6)对训练好的模型，进行行人重识别的应用。利用本发明，能够更加深入地挖掘难区分的正样本作为伪标签，提升行人重识别模型在目标域的匹配能力。

Description

一种基于互补伪标签的跨域行人重识别方法

技术领域

本发明属于计算机视觉行人重识别领域，尤其是涉及一种基于互补伪标签的跨域行人重识别方法。

背景技术

近年来，行人重识别问题作为安防系统一项重要的技术支持，广泛吸引了工业界和学术界研究者的注意力。行人重识别问题要求在不同相机拍摄到的图像数据库中找到指定的行人，因此一个性能优秀的行人重识别模型可以帮助警察建立犯罪嫌疑人的行动轨迹，可以找到走散的老人儿童。随着近年来几个大规模数据集的发布，以深度学习为基础的模型在行人重识别上的表现获得巨大的突破，甚至在一些数据集上超越了人类的识别能力。

但是，在实践中研究者们发现行人重识别模型的性能在跨域情况下性能衰减严重。比如说在A市(源域)采集的训练集上训练得到的模型可以在A市采集的测试集上表现优秀，但是将模型直接应用在B市(目标域)采集的测试集上的性能可能只有原来的20％。

传统的解决方案是在目标域采集并标注训练集继续训练模型，但是每更换一次城市都得重新采集标注数据的过程繁琐并且价格昂贵。考虑到收集相机拍摄的图像较为方便而标注较为昂贵，所以很多研究者想到了利用无监督域适应的方法。该方法使用有标注的源域数据以及无标注的目标域数据，从而将源域上的学习到的知识无监督地迁移到目标域上。例如2019年发表在国际顶级计算机视觉会议ICCV上的《Self-similarity grouping:Asimple unsupervised cross domain adaptation approach for person re-identification》公布了一种将未标注的目标域图像聚类后作为伪标签来提升在目标域的性能的方法；2019年公开在预印版arxiv上的《Learning to Adapt Invariance in Memoryfor Person Re-identification》公布了一种基于邻居伪标签的训练方法，首先在源域上训练一个图卷积神经网络来预测每个目标域图像的邻居，然后使用预测得到的邻居作为正例，其他所有目标域图像作为负例来计算该目标域图像的损失函数。

然而，基于聚类的伪标签受限于聚类的精度，而这是不可控的且会引入很多噪声。基于邻居的伪标签虽然预测得到的邻居是可信的，但往往忽视了一些难分的正样本邻居。这些被遗漏的难样本会使得模型对不同视角或者遮挡的情况不鲁棒，使模型不能达到较高精度。

发明内容

本发明提供了一种基于互补伪标签的跨域行人重识别方法，能够更加深入地挖掘难区分的正样本作为伪标签，提升行人重识别模型在目标域的匹配能力。

一种基于互补伪标签的跨域行人重识别方法，包括以下步骤：

(1)分别从源域数据集和目标域数据集中采样数据，使用卷积神经网络获得各自的嵌入特征表达；

(2)将得到的嵌入特征表达分别存入源域缓存和目标域缓存中；

(3)使用在源域数据上训练得到的图卷积神经网络获得目标域图像的邻居作为其伪标签，并存入伪标签缓存中；所述的邻居为预测得到与该目标域图像属于同一身份的其他目标域图像；

(4)根据邻居伪标签生成目标域图像的组伪标签；

(5)使用邻居伪标签和组伪标签以及对应的损失函数共同训练模型，直到模型收敛；

(6)模型训练完毕，输入待识别的图像，对所有目标域数据集的图像提取嵌入特征，计算特征余弦距离排序，最后获得在目标域上的识别结果。

本发明首先通过图卷积神经网络获得目标域图像的邻居，这里的邻居指预测得到与该目标域图像属于同一身份的其他目标域图像。然后将所有目标域图像的邻居进行合并，从而将所有目标域图像分为若干个组。我们对每一个组认为其成员属于同一身份来给出组伪标签。邻居伪标签有高准确率，但低召回率，意味着总是遗漏一些难分样本。而组伪标签通过对邻居的扩展，找到更多样本，从而比邻居伪标签有更高召回率。

但是预测得到的邻居不是完美的，邻居中可能包含非同一身份的图像，因此合并得到的组会有噪声。因为合并的操作，所以合并得到的组通常会包含多个子组，分别对应不同身份。为了缓解组中的噪声，我们提出使用近似聚合损失函数来让输入的目标图像和它最接近的其他目标域图像越来越靠近。最终通过联合在特性上互补的邻居伪标签和组伪标签共同训练模型。该方法可以获得在目标域上效果更加鲁棒的模型。

步骤(1)中，使用在ImageNet上预训练的模型作为初始模型参数，从源域数据集和目标域数据集中采样数据为随机选择P个不同身份的行人，每个行人随机选择K个不同的图像，共得到P×K个图像作为一次训练数据；源域数据的采样根据标注的身份，目标域数据的采样根据步骤(4)中提到的组伪标签。

步骤(2)中，缓存是指一块存储空间，所述的源域缓存和目标域缓存构成相同，分别保存每一张源域和目标域图像在步骤(1)中获得的嵌入特征表达。

步骤(3)中，所述图卷积神经网络的训练过程如下：

首先对步骤(1)中的每一张源域训练图像，根据其嵌入特征在步骤(2)中的源域缓存中找到最接近的k个图像；然后根据标注信息获得它们是否属于同一身份的行人，以此训练二分类图神经网络。

步骤(3)中，获得目标域图像的邻居过程如下：

(3-1)对步骤(1)中的每一张目标域训练图像，根据其嵌入特征在步骤(2)中的目标域缓存中找到最接近的k个图像；

(3-2)对最接近的k个图像使用训练得到的图卷积神经网络获得它们是否同一身份的概率值；

(3-3)选择概率值大于一定阈值的图像作为该目标域训练图像的邻居，并存入缓存中。

步骤(4)的具体过程为：

(4-1)随机选择一个目标域图像，并从缓存中获得其邻居，视为一个组；

(4-2)将该图像邻居的邻居也加入该组；

(4-3)重复添加组里成员图像的邻居进组，直到无可添加的图像或者组的大小超过一定阈值；

(4-4)重复上述步骤，直到所有目标域图像都属于一个组。

(4-5)根据每个目标域图像属于的组，每个组视为同一身份分配组伪标签。

步骤(5)的具体过程为：

(5-1)从上述步骤获得目标域图像的邻居伪标签和组伪标签；

(5-2)根据伪标签，将目标域图像的嵌入特征与目标域缓存做对比，分别计算损失函数；对邻居伪标签，其对应的损失函数的公式为：

式中，

其中，i是目标域中第i个样本，j是i的邻居下标，Ω_i是i的邻居，f_i表示i的嵌入特征，v_j表示j的缓存嵌入特征；

对组伪标签，其对应的近似聚合损失函数的公式为：

式中，i是目标域中第i个样本，j是i对应的相同组的成员图像；

(5-3)联合使用两种伪标签以及各自对应的损失函数共同训练模型。

与现有技术相比，本发明具有以下有益效果：

1、本发明使用无监督域适应的算法自动适应不同域下的数据，只需要初始域的标注信息，不需要额外的标注信息，可以有效提高行人重识别模型在不同场景下的适用性。

2、本发明充分利用了邻居伪标签的高准确率，构造了包含更多难分样本的组伪标签。使用上述两种伪标签可以对各自的不足进行互补，帮助模型既学到决定性的特征，又对困难场景更加鲁棒，从而提升模型的质量。

附图说明

图1为本发明基于互补伪标签的跨域行人重识别方法的流程示意图；

图2为本发明基于互补伪标签的跨域行人重识别方法的整体模型结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于互补伪标签的跨域行人重识别方法，包括以下步骤：

S01，获得源域和目标域输入数据及其嵌入特征表达。

使用在ImageNet上预训练的模型作为初始模型参数。整体模型结构参见图2。对于源域和目标域数据集，从中随机选择P个不同身份的行人，每个行人随机选择K个不同的图像，共得到P×K个图像作为一次输入训练数据。源域数据的采样根据已有的标注，目标域数据的采样根据步骤(4)中所划分的每个组。之后分别将源域输入数据和目标域数据送入Backbone(骨干网络，如ResNet50)，获得特征图，之后通过GAP(全局平均池化)得到各自的嵌入特征表达。

S02，保存嵌入特征表达到缓存(Memory)中。

在S01中，提取到了源域和目标域输入数据的嵌入特征。为了避免在一次训练过程中计算所有域内数据的特征，将其分别存入缓存中。对每一张源域和目标域图像都会保存其在步骤(1)中获得的嵌入特征表达在各自的缓存中。

S03，训练图卷积神经网络并获得目标域输入图像的邻居。

此处的图卷积神经网络可参照2019年预发表在arxiv上的《Learning to AdaptInvariance in Memory for Person Re-identification》中第7页内容。首先对步骤(1)中的输入源域训练图像，根据其嵌入特征在步骤S02中的源域缓存中找到最接近的k个图像。然后对这k张图像，根据已有的标注判断它们是否属于和输入图像同一身份的行人，以此训练二分类图神经网络，损失函数为交叉熵损失。在训练图神经网络的同时，用其获得目标域训练图像的邻居。与其训练过程类似，根据其嵌入特征在步骤S02中的目标域缓存中找到最接近的k个图像，对最接近的k个图像使用上述图卷积神经网络预测它们是否属于同一身份，并给出0-1之间的概率值。选择概率值大于一定阈值(如0.9)的图像作为该目标域训练图像的邻居，并更新之前保存的该输入图像的邻居。

S04，获得目标域图像的组伪标签。

上文中提到预测得到的邻居有高准确率，但低召回率，因此希望有高召回率的伪标签来互补。本发明首先随机选择一个目标域图像，并从缓存中获得其邻居，视为一个组的初始成员。之后将该图像邻居的邻居也加入该组，重复添加组里成员图像的邻居进组，直到没有可添加的图像或者组的大小超过一定阈值；之后再选择一个不属于任何组的目标域图像重复上述步骤，直到所有目标域图像都属于一个组。这样将所有目标域图像划分成了若干个组，将每个组内的成员视为拥有同一身份的行人，并以此分配组伪标签。

S05，根据邻居伪标签和组伪标签训练模型。

从上述步骤中已经获得目标域图像的邻居伪标签和组伪标签。根据伪标签，将目标域图像的嵌入特征与目标域缓存做对比，分别计算损失函数。对邻居伪标签，所述损失函数的公式为：

式中，

其中，i是目标域中第i个样本，j是i的邻居下标，Ω_i是i的邻居，f_i表示i的嵌入特征，v_j表示j的缓存嵌入特征。该损失函数类似分类的交叉熵损失。

对组伪标签，希望尽量减少组中的多个子组带来的噪音。因此，提出使用近似聚合损失，让输入图像尽量靠近它本来就相似的其他目标域图像，所述损失函数的公式为：

其中，i是目标域中第i个样本，j是i对应的相同组的成员图像。除此之外，还对组伪标签使用了常见的triplet损失函数。整个训练过程是联合使用两种伪标签以及各自对应的损失函数共同训练模型。

S06，测试模型在目标域的效果的具体步骤如下：

使用目标域数据的测试集，其与目标域训练集和源域数据都没有同一身份的行人。然后对所有测试集图像使用骨干网络提取嵌入特征，计算特征余弦距离并排序，根据排序结果获得在目标域上的测试指标结果。

为了证明本发明方法的有效性，在Market1501和DukeMTMC-ReID数据集上进行了无监督域适应的对比实验。分别以DukeMTMC-ReID数据集为源域，Market1501数据集为目标域以及Market1501数据集为源域，DukeMTMC-ReID数据集为目标域进行了实验。

本发明对比实验结果如表1所示。表1中，第一行是有监督学习的结果作为参照，第二行是直接在源域上训练得到的模型直接在目标域上使用的性能。第三行是之前基于邻居伪标签的方法的结果，第四行是本发明的基础模型(baseline)。S表示使用对组伪标签使用近似聚合函数，T表示对组伪标签使用triplet损失函数，本发明的最终模型是N+S+T模型，可以发现对比基础模型有明显提升，并在各个细节上有进行了对比试验证明其有效性。

表1

本实验还与当前效果最好的已发表方法进行了比较，结果如表2所示。最后一栏为本方法，总体来说本发明的方法超过了所有当前已知效果最好的已发表方法。

表2

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于互补伪标签的跨域行人重识别方法，其特征在于，包括以下步骤：

(1)分别从源域数据集和目标域数据集中采样数据，使用卷积神经网络获得各自的嵌入特征表达；

(2)将得到的嵌入特征表达分别存入源域缓存和目标域缓存中；

(3)使用在源域数据上训练得到的图卷积神经网络获得目标域图像的邻居作为其伪标签，并存入伪标签缓存中；所述的邻居为预测得到与该目标域图像属于同一身份的其他目标域图像；

(4)根据邻居伪标签生成目标域图像的组伪标签；

(5)使用邻居伪标签和组伪标签以及对应的损失函数共同训练模型，直到模型收敛；

(6)模型训练完毕，输入待识别的图像，对所有目标域数据集的图像提取嵌入特征，计算特征余弦距离排序，最后获得在目标域上的识别结果。

2.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(1)中，从源域数据集和目标域数据集中采样数据为随机选择P个不同身份的行人，每个行人随机选择K个不同的图像，共得到P×K个图像作为一次训练数据；源域数据的采样根据标注的身份，目标域数据的采样根据步骤(4)中提到的组伪标签。

3.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(2)中，所述的源域缓存和目标域缓存构成相同，分别保存每一张源域和目标域图像在步骤(1)中获得的嵌入特征表达。

4.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(3)中，所述图卷积神经网络的训练过程如下：

首先对步骤(1)中的每一张源域训练图像，根据其嵌入特征在步骤(2)中的源域缓存中找到最接近的k个图像；然后根据标注信息获得它们是否属于同一身份的行人，以此训练二分类图神经网络。

5.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(3)中，获得目标域图像的邻居过程如下：

(3-1)对步骤(1)中的每一张目标域训练图像，根据其嵌入特征在步骤(2)中的目标域缓存中找到最接近的k个图像；

(3-2)对最接近的k个图像使用训练得到的图卷积神经网络获得它们是否同一身份的概率值；

(3-3)选择概率值大于一定阈值的图像作为该目标域训练图像的邻居，并存入缓存中。

6.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(4)的具体过程为：

(4-1)随机选择一个目标域图像，并从缓存中获得其邻居，视为一个组；

(4-2)将该图像邻居的邻居也加入该组；

(4-3)重复添加组里成员图像的邻居进组，直到无可添加的图像或者组的大小超过一定阈值；

(4-4)重复上述步骤，直到所有目标域图像都属于一个组。

(4-5)根据每个目标域图像属于的组，每个组视为同一身份分配组伪标签。

7.根据权利要求1所述的基于互补伪标签的跨域行人重识别方法，其特征在于，步骤(5)的具体过程为：

(5-1)从上述步骤获得目标域图像的邻居伪标签和组伪标签；

(5-2)根据伪标签，将目标域图像的嵌入特征与目标域缓存做对比，分别计算损失函数；对邻居伪标签，其对应的损失函数的公式为：

式中，

其中，i是目标域中第i个样本，j是i的邻居下标，Ω_i是i的邻居，f_i表示i的嵌入特征，v_j表示j的缓存嵌入特征；

对组伪标签，其对应的近似聚合损失函数的公式为：

式中，i是目标域中第i个样本，j是i对应的相同组的成员图像；

(5-3)联合使用两种伪标签以及各自对应的损失函数共同训练模型。

Images