CN109635708A - 一种基于三数据集交叉迁移学习的无监督行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于三数据集交叉迁移学习的无监督行人再识别方法，步骤如下：将三个CNN在用于图像分类的大数据集上进行训练，得到三个预训练模型；并在三个有标签的源行人数据集A、B和C上分别进行微调；利用这三个CNN分别提取目标数据集中无标签行人图片的特征，用K‑近邻聚类算法对提取到的特征分别进行聚类；筛选出三个模型聚类后靠近聚类中心域的图片样本，并打上拟标签；将三个打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，再对模型进行微调；将一张行人测试图片输入到训练好的三个模型得到三个特征矩阵，并进行最大池化操作，得到测试图片的唯一特征；计算唯一特征与数据库中的图片特征的欧氏距离，距离最小的数据库图片的身份即为本张测试图片的身份。

Description

一种基于三数据集交叉迁移学习的无监督行人再识别方法

技术领域

本发明涉及计算机视觉领域，更具体的，涉及一种基于三数据集交叉迁移学习的无监督行人再识别方法。

背景技术

行人再识别技术是一种用于检测无重叠区域摄像头内行人身份的计算机视觉领域的常用技术，由于其广泛地应用于行人搜索、身份验证和视频监控领域，这项技术近些年来受到了来自社会上越来越多的关注。行人再识别领域主要有两个技术：特征表达学习和度量学习，前者是关于如何让模型自己学习到辨别性强的特征来描述行人的外表；后者则是专注于找到一种合适的评判尺度来衡量特征空间中不同图像之间的距离。现有的行人在识别技术主要是基于手工方式的行人描述器，比如颜色直方图、本地二元模式(LocalBinary Pattern,LBP)纹理直方图、尺度不变的特征(Scale-Invariant FeatureTransform,SIFT)直方图等。这些技术的主要缺点是：对于不同摄像头影像中的视角变化、光照条件差异以及行人姿势差异都不够稳健。

而就目前来说，基于深度学习的方法解决行人再识别问题是比较成熟的技术，而大多数基于深度学习的技术主要分为三类：验证型模型，识别型模型和嵌入式模型。验证型模型经常采用暹罗网络架构，以成对的图片作为输入然后计算他们之间的相似度，这种方法多适用于小一些的数据集。识别型模型一般都通过训练一个深度神经网络来对行人的身份进行分类，如采用faster R-CNN的架构并且训练一个端到端的包含了行人检测和再识别的模型。而嵌入式模型主要针对于学习一种低维度的行人特征表达并且在嵌入空间内直接计算不同图片之间的距离，如把分类损失和验证损失结合起来学习一种高辨别度的嵌入式卷积神经网络，并以此进行行人再识别任务。

其中，现有的技术方案是从来自不同源头的数据中有用的数据迁移到单个模型中，并且利用自我训练的策略使得这些有用数据可以适应于目标域中。渐进式无监督学习方法(Progressive Unsupervised Learning,PUL)就是其中的一种，这种方法可以通过在聚类和微调两个过程中不断迭代来提升基于卷积神经网络的模型的性能。PUL先利用ImageNet或其他数据集对初始模型进行训练，然后再从目标数据集中提取图片的特征并且运用k-均值聚类算法来预测行人图片的身份，紧接着，PUL会选取其中可靠的数据来对原始模型进行微调。PUL实际上通过在目标数据集上的训练过程提升了迁移类模型的适应能力，但是当可用的含标签数据集不止一个时，它的识别性能没有明显得到提升。

发明内容

本发明为了解决渐进式无监督学习方法中，有多个标签数据集时，不能提高识别性能的问题，提供了一种基于三数据集迁徙学习的无监督行人再识别方法，其在多个标签数据集的情况下，能显著提高行人再识别性能。

为实现上述本发明目的，采用的技术方案如下：一种基于三数据集迁徙学习的无监督行人再识别方法，该学习方法包括步骤如下：

训练时

步骤1：将三个CNN在用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN在三个有标签的源行人数据集A、B、C上分别进行微调，使其能有效提取行人特征；

步骤2：利用微调后的三个CNN分别提取目标数据集中无标签行人图片的特征，并使用K-近邻聚类算法对提取到的特征分别进行聚类；

步骤3：筛选出三个模型聚类后靠近聚类中心域的图片样本，并对这些样本分别打上拟标签；

步骤4：将三个模型打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，从而对模型进行微调；重复步骤2～4操作，直到三个模型收敛为止，结束迭代；

测试时：

步骤5：将上述训练好的三个模型对同一张行人测试图片进行特征提取，得到三个特征矩阵，对这三个特征进行最大池化操作，得到测试图片的唯一特征；

步骤6：利用该唯一特征与数据库中的图片特征进行匹配，计算他们之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份；

优选地，所述步骤1中，使用三个CNN在ImageNet和其他用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN最后一层的softmax层去掉，在三个有标签的源行人数据集A、B、C上分别进行微调，将倒数第二层作为特征提取结果，得到输出的特征向量v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)，其中：α_A、α_B、α_C为要学习的参数。

优选地，所述步骤2中，K-近邻聚类算法的表达式为：

其中：x_i,x_j均表达目标数据集D中的一个无标签数据；v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)为上一次微调后模型去掉最后一层softmax层得到的特征向量； 表示在三个模型A、B、C下找出一个样本的K个最近邻样本，其中K是一个参数，需要自己设定；avg表示求出这K个最近邻样本的属性的平均值。

优选地，所述步骤3中，筛选出三个模型聚类后靠近聚类中心域的图片样本，筛选所用的算法表达式为：

每次迭代时，计算类别{x_i}^K中各样本的余弦距离sim(c_k,f_i)，若sim(c_k,f_i)>λ，x_i为筛选出的置信样本，并被打上了拟标签k；

其中，c_k为K-近邻算法计算出来的类别中心，f_i是由CNN模型v(x_i；α)提取到的特征向量；λ是一个在[0,1]内的超参数，λ的数值越大表示越靠近中心域的样本会被筛选出来。

优选地，所述步骤4中，将三个模型打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，从而对模型进行微调，可用公式表示为：

其中：w_A、w_B、w_C为目标数据集中图片的身份类别数；{p^A _i}、{p^B _i}和{p^C _i}为判断第i个数据是否被模型A、B或C筛选出来的指针，若被筛选出，则令p_i＝1，否则令p_i＝0；表示目标数据集经过模型B聚类得到的标签y^B _i对模型A进行初始化的结果；表示目标数据集经过模型C聚类得到的标签y^C _i对模型B进行初始化的结果；表示目标数据集经过模型A聚类得到的标签y^A _i对模型C进行初始化的结果。

进一步地，在每次微调过程中需要对该层的参数进行随机初始化；第一次迭代时，将特征向量v_A(·；α_A)、v_B(·；α_B)、v_C(·；α_C)初始化为v_A(·；α_AI)、v_B(·；α_BI)、v_C(·；α_CI)。

优选地，步骤5中，所述特征最大池化公式如下：

f＝max(f_A,f_B,f_C)

其中，f_A，f_B，f_C为用三个训练好的模型A，B，C提取出的同一张测试图片的特征；f为最大池化后的唯一特征。

进一步地，步骤6中，计算提取到的测试图片的唯一特征与数据库图片的特征之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份；计算公式如下：

其中，f_i ^D为数据库中的第i张图；N为数据库中图片的总数；f为测试图片的唯一特征。

本发明的有益效果如下：

1.本发明采用三个模型分别在三个有标签的数据集上进行训练当作初始模型而不是只使用一个模型，这样大大提升了识别的准确度和鲁棒性。

2.本发明通过在迭代训练数据过程中进行多次聚类、筛选、交换标签和微调数据集来提高迁移模型在无监督情况下对行人的再识别效果，同时计算出测试图片的唯一特征与数据库图片特征之间的最小的欧氏距离，提高了识别准确性。

附图说明

图1是本发明的总体流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做详细描述。

实施例1

如图1所示，一种基于三数据集交叉迁移学习的无监督行人再识别方法，该方法包括步骤如下：

训练时：

步骤1：将三个CNN在用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN在三个有标签的源行人数据集A、B、C上分别进行微调，使其能有效提取行人特征；

步骤2：利用微调后的三个CNN分别提取目标数据集中无标签行人图片的特征，并使用K-近邻回归算法对提取到的特征分别进行聚类；

步骤3：筛选出三个模型聚类后靠近聚类中心域的图片样本，并对这些样本分别打上拟标签；

步骤4：将三个模型打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，从而对模型进行微调；重复步骤2～4操作，直到三个模型收敛为止，结束迭代。

测试时：

步骤5：将上述训练好的三个模型对同一张行人测试图片进行特征提取，得到三个特征矩阵，对这三个特征进行最大池化操作，得到测试图片的唯一特征。

步骤6：利用该唯一特征与数据库中的图片特征进行匹配，计算他们之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份。

本实施例中在三个CNN模型进行多次迭代训练并达到收敛之后，将他们对同一张图片分别提取到的图像特征取最大池化，便得到这张图片的可用特征。该过程为无参数学习过程，可直接用于测试。

本实施例所述步骤1中的具体过程如下：使用三个CNN在ImageNet和其他用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN最后一层的softmax层去掉，在三个有标签的源行人数据集A、B、C上分别进行微调，将倒数第二层作为特征提取结果，得到输出的特征向量v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)，其中：α_A、α_B、α_C为要学习的参数。

本实施例所述步骤2中的具体过程如下：利用微调后的三个CNN分别提取目标数据集中无标签数据的特征，并使用K-近邻聚类算法对特征聚类从而预测行人图片的标签。K-近邻聚类算法的表达式为：

其中：x_i,x_j均表达目标数据集D中的一个无标签数据；v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)为上一次微调后模型去掉最后一层softmax层得到的特征向量； 表示在三个模型A、B、C下找出一个样本的K个最近邻样本，其中K是一个参数，需要自己设定；avg表示求出这K个最近邻样本的属性的平均值。

所述步骤3中的具体过程如下：靠近聚类中心域的样本的相似度高，图片中行人是同一个人的可能性大。另一方面，用置信度较低的样本训练模型也会降低模型的识别效果。因此，需要计算聚类内部特征距离并筛选出三个模型聚类后靠近聚类中心即置信度较高的图片样本，用于后续微调。筛选所用的算法表达式为：

每次迭代时，计算类别{x_i}^K中各样本的余弦距离sim(c_k,f_i)，若sim(c_k,f_i)>λ，x_i为筛选出的置信样本，并被打上了拟标签k。其中，c_k为K-近邻算法计算出来的类别中心，fi是由CNN模型v(x_i；α)提取到的特征向量；λ是一个在[0,1]内的超参数，λ的数值越大表示越靠近中心域的样本会被筛选出来。

所述步骤4中的具体过程如下：利用交叉迁移学习的思想，将模型A打上拟标签的数据送入模型B的源数据集中，将模型B打上拟标签的数据送入模型C的源数据集中，将模型C打上拟标签的数据送入模型A的源数据集中，从而对模型进行微调，可用公式表示为：

其中：w_A、w_B、w_C为目标数据集中图片的身份类别数；{p^A _i}、{p^B _i}和{p^C _i}为判断第i个数据是否被模型A、B或C筛选出来的指针，若被筛选出，则令p_i＝1，否则令p_i＝0；表示目标数据集经过模型B聚类得到的标签y^B _i对模型A进行初始化的结果；表示目标数据集经过模型C聚类得到的标签y^C _i对模型B进行初始化的结果；表示目标数据集经过模型A聚类得到的标签y^A _i对模型C进行初始化的结果。

在每次微调过程中需要对该层的参数进行随机初始化；第一次迭代时，将特征向量v_A(·；α_A)、v_B(·；α_B)、v_C(·；α_C)初始化为v_A(·；α_AI)、v_B(·；α_BI)、v_C(·；α_CI)。

本实施例步骤5中，所述特征最大池化公式如下：

f＝max(f_A,f_B,f_C)

其中，f_A，f_B，f_C为用三个训练好的模型A，B，C提取出的同一张测试图片的特征；f为最大池化后的唯一特征。

本实施步骤6中，计算提取到的测试图片的唯一特征与数据库图片的特征之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份；计算公式如下：

其中，f_i ^D为数据库中的第i张图；N为数据库中图片的总数；f为测试图片的唯一特征。

本实施例通过在迭代训练数据过程中进行多次聚类、筛选、交换标签和微调数据集来提高迁移模型在无监督情况下对行人的再识别效果。迁移学习过程中，卷积神经网络(CNN)在不同源数据集上提取到的特征表达彼此会互不相同。为了解决这个问题，本发明采用了三个在具有不同标签的源数据集上经过预训练的CNN模型，在实际训练过程中，用这三个CNN模型分别对目标数据集进行特征提取并让提取到的特征聚类，对聚类结果中的图片进行筛选并打上拟标签，然后将打上标签的数据交叉轮换加入另一个源数据集中进行数据集微调。本发明能够显著增强神经网络模型在迁移学习过程中对目标数据集的识别效果，对于无监督情况下行人再识别数据集的训练收敛速度和识别准确度有很好的表现。

在本发明中同样借用了渐进式无监督学习(PUL)的思想，但是本发明与PUL的主要不同之处在于：(1)使用了三个模型分别在三个有标签的数据集上进行训练当作我们的初始模型，但是PUL的初始模型是单个同时在三个数据集上训练过的模型。(2)通过在迭代过程中互相给另一个模型打上拟标签的方式进行交叉迁移学习，但是PUL只是在每次迭代中给自身模型打上拟标签来提升模型性能。

显然，本发明的上述实施仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于，包括步骤如下：

训练时：

步骤1：将三个CNN在用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN在三个有标签的源行人数据集A、B、C上分别进行微调，使其能有效提取行人特征；

步骤2：利用微调后的三个CNN分别提取目标数据集中无标签行人图片的特征，并使用K-近邻聚类算法对提取到的特征分别进行聚类；

步骤3：筛选出三个模型聚类后靠近聚类中心域的图片样本，并对这些样本分别打上拟标签；

步骤4：将三个模型打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，从而对模型进行微调；重复步骤2～4操作，直到三个模型收敛为止，结束迭代；

测试时：

步骤5：将上述训练好的三个模型对同一张行人测试图片进行特征提取，得到三个特征矩阵，对这三个特征进行最大池化操作，得到测试图片的唯一特征；

步骤6：利用该唯一特征与数据库中的图片特征进行匹配，计算他们之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份。

2.根据权利要求1所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：所述步骤1中，使用三个CNN在ImageNet和其他用于图像分类的大数据集上进行训练，得到三个预训练模型；将这三个预训练的CNN最后一层的softmax层去掉，在三个有标签的源行人数据集A、B、C上分别进行微调，将倒数第二层作为特征提取结果，得到输出的特征向量v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)，其中：α_A、α_B、α_C为要学习的参数。

3.根据权利要求2所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：所述步骤2中，K-近邻聚类算法的表达式为：

其中：x_i,x_j均表达目标数据集D中的一个无标签数据；v_A(·；α_A)，v_B(·；α_B)，v_C(·；α_C)为上一次微调后模型去掉最后一层softmax层得到的特征向量； 表示在三个模型A、B、C下找出一个样本的K个最近邻样本，其中K是一个参数，需要自己设定；avg表示求出这K个最近邻样本的属性的平均值。

4.根据权利要求1所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：所述步骤3中，筛选出三个模型聚类后靠近聚类中心域的图片样本，筛选所用的算法表达式为：

每次迭代时，计算类别{x_i}^K中各样本的余弦距离sim(c_k,f_i)，若sim(c_k,f_i)>λ，x_i为筛选出的置信样本，并被打上了拟标签k；

其中，c_k为K-近邻算法计算出来的类别中心，f_i是由CNN模型v(x_i；α)提取到的特征向量；λ是一个在[0,1]内的超参数，λ的数值越大表示越靠近中心域的样本会被筛选出来。

5.根据权利要求1所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：所述步骤4中，将三个模型打上拟标签的样本数据进行交叉轮换加入到另一个源行人数据集中，从而对模型进行微调，可用公式表示为：

其中：w_A、w_B、w_C为目标数据集中图片的身份类别数；{p^A _i}、{p^B _i}和{p^C _i}为判断第i个数据是否被模型A、B或C筛选出来的指针，若被筛选出，则令p_i＝1，否则令p_i＝0；表示目标数据集经过模型B聚类得到的标签y^B _i对模型A进行初始化的结果；表示目标数据集经过模型C聚类得到的标签y^C _i对模型B进行初始化的结果；表示目标数据集经过模型A聚类得到的标签y^A _i对模型C进行初始化的结果。

6.根据权利要求1～5任一项所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：在每次微调过程中需要对该层的参数进行随机初始化；第一次迭代时，将特征向量v_A(·；α_A)、v_B(·；α_B)、v_C(·；α_C)初始化为v_A(·；α_AI)、v_B(·；α_BI)、v_C(·；α_CI)。

7.根据权利要求1所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：步骤5中，所述特征最大池化公式如下：

f＝max(f_A,f_B,f_C)

其中，f_A，f_B，f_C为用三个训练好的模型A，B，C提取出的同一张测试图片的特征；f为最大池化后的唯一特征。

8.根据权利要求1所述的基于三数据集交叉迁移学习的无监督行人再识别方法，其特征在于：步骤6中，计算提取到的测试图片的唯一特征与数据库图片的特征之间的欧氏距离，距离最小的库图片身份即为这张测试图片的身份；计算公式如下：

其中，f_i ^D为数据库中的第i张图；N为数据库中图片的总数；f为测试图片的唯一特征。