CN111881716A - 一种基于多视角生成对抗网络的行人重识别方法 - Google Patents

Abstract

本发明涉及一种基于多视角生成对抗网络的行人重识别方法。所述多视角生成对抗网络利用经挑选的行人数据集进行训练，能够基于给定行人图像生成该行人正面、侧面以及背面三个固定视角下的图像，不仅能够扩充现有数据集，在训练阶段提升行人重识别网络性能；而且能够在测试阶段完善查询图像不同视角下的语义特征，从而进一步提升行人重识别网络的性能。所述多视角生成对抗网络灵活性强，可以与现阶段流行的行人重识别方法进行结合，充分利用已有方法的性能基础，也可以与简单的分类网络进行结合，且都能够提高行人重识别网络的性能。

Description

一种基于多视角生成对抗网络的行人重识别方法

技术领域：

本发明涉及图像生成领域，尤其涉及一种基于多视角生成对抗网络的行人重识别方法。

背景技术：

早期行人重识别的研究思路通常是先对行人图片提取手工特征,如颜色直方图、HOG等,然后使用相似性度量方法学习度量矩阵，如LMNN、XQDA等。随着深度学习的兴起，深度学习技术被广泛用于完成行人重识别任务，且性能远超传统方法。

目前基于深度学习的行人重识别方法大致可分为三类，第一类是基于全局特征的行人重识别方法，该方法主要思想是在训练网络时将行人重识别当作身份分类任务来学习行人特征，即首先通过卷积神经网络提取图像中的行人特征，然后根据得到的特征判断是否属于同一行人。以上所述都是基于全局的特征提取，即用从整个图像中得到一个特征向量。后来研究者们发现这类全局特征往往会忽略行人的一些不显著的细节，使模型的性能存在瓶颈。故有研究者提出了第二类方法，该方法基于行人的局部特征完成行人重识别任务。研究初期，常用图片切块的方式提取局部特征，这种方法对图像的对齐程度要求高，若两张图像没有对齐，则有可能出现不同部位对比的现象，从而影响模型的性能。为解决图像不对齐问题，一些研究者使用先验知识预先将行人对齐，如使用人体姿态估计和人体骨架关键点提取以及MGN等方法。实验证明，通过引入一个额外的对齐模型，虽然加大了系统开销，但能够提取到更丰富的细节信息，从而提高了模型性能。第三类是基于度量学习的行人重识别方法，该方法的主要思想是使具有相同ID的行人图像距离小，而不同ID的行人图像距离大。类似的方法有Triplet loss、Quadruplet loss以及Group similarity learning等。对现有基于特征距离的行人重识别技术所识别图像进行可视化分析发现，往往与查询图像属于同一视角或相近视角下的图像与查询图像的特征距离较小，即容易被识别到；而与查询图像视角偏差较大的图像与查询图像的特征距离较小，很难被识别到，从而限制了模型的性能。

本发明提出的基于PmGAN的行人重识别方法，能够基于给定行人图像生成该行人三个固定视角下的图像，不仅能够扩充现有数据集，在训练阶段提升网络性能；而且能够在测试阶段完善查询图像不同视角下的语义特征，从而进一步提升网络性能。本发明提出的PmGAN灵活性强，可以直接与现有行人重识别方法结合使用，从而充分利用已有方法的性能基础。

发明内容：

本发明的目的是克服现有方法的不足，提出一种基于多视角生成对抗网络的行人重识别方法,特别是涉及一种基于PmGAN的行人图像多视角生成，以解决单一视角下行人图像中特征向量不足的问题。

一种基于多视角生成对抗网络的行人重识别方法，其特征在于，包括如下步骤：

步骤1：从原始行人重识别训练集中挑选出图像作为提出的PmGAN(pedestrianmulti-view generation adversarial networks，行人多视角生成对抗网络)的训练集，基于挑选出的训练集训练提出的PmGAN；

步骤2：利用训练好的PmGAN对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集，基于扩充的训练集训练行人重识别网络；

步骤3：利用PmGAN对查询图像进行多视角生成，完善查询图像的特征向量；

步骤4：把完善后的特征向量作为查询图像的特征，用于行人重识别任务，最终按相似性大小排列图像，完成行人重识别任务。

步骤1的实现包括：

步骤1.1：从原始行人重识别训练集中挑选出正面、侧面和背面三个视角的图像以及1～5张其他视角图像作为提出的PmGAN的训练集；

步骤1.2：并根据原有行人ID进行分组，使每组图像都包含正面、侧面、背面以及若干其他视角图像；

步骤1.3：提出的PmGAN包括三个分别用于生成正面、侧面和背面图像的生成器和一个多类别判别器。多视角生成器以给定图像作为输入，输出确定视角下的行人图像，多视角生成器G₁、G₂和G₃结构相同但不共享参数，每个生成器中都包括两个小生成器以及其中的蒙特卡洛搜索和注意力机制。判别器以生成图像或真实图像以及对应的视角作为输入，输出真实图像的概率。生成器与判别器交替训练，直至达到纳什平衡。

步骤2的实现包括：

步骤2.1：利用训练好的PmGAN的生成器对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集；

步骤2.2：基于扩充的训练集训练行人重识别网络，其中行人重识别网络可以是现有的方法也可以是提出的基于特征向量的方法，最终训练完成的行人重识别网络具有提取图像特征的能力。

步骤3的实现包括：

步骤3.1：对与给定的查询图像，利用PmGAN进行多视角生成，得到给定行人图像的正面、侧面和背面三视角下的行人图像。

步骤3.2：把三个生成图像和原给定图像分别输入到行人重识别网络中进行特征提取，把提取出的四个特征向量依据最大值原则进行特征融合，得到完善的特征向量。

步骤4的实现包括：

步骤4.1：利用行人重识别网络对测试集中所有图像进行特征提取，得到测试集中所有图像的特征向量；

步骤4.2：把完善后的特征向量作为查询图像的特征，与得到的测试集中的所有特征向量进行相似性度量，其中相似性度量可采用欧式距离，但不限于此。最后按照相似性从大到小即欧式距离从小到大排列测试集中的图像，完成行人重识别任务。

附图说明：

图1是一种基于多视角生成对抗网络的行人重识别方法的流程图。

图2是一种基于多视角生成对抗网络的行人重识别方法的模型框架图。

图3是生成器G₁结构图。

图4是多类别判别器结构图。

图5是生成的行人图像。

具体实施方式：

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出本发明实施的具体流程示意图，图2示出本发明整体框架图，基于多视角生成对抗网络的行人重识别方法包括如下步骤：

步骤1：首先从原始行人重识别训练集中挑选出正面、侧面和背面三个视角的图像作为PmGAN的训练集，并根据原有行人ID进行分组，使每组图像都包含正面、侧面、背面以及若干其他视角图像。基于组建好的图像组训练本发明提出的PmGAN。

PmGAN包括三个生成器和一个多类别判别器。其中三个生成器G₁、G₂和G₃分别用于生成三个不同视角下的行人图像，结构相同但不共享参数。

图3示出生成器G₁结构图，生成过程包括三个阶段，第一阶段把给定视角下的原图像输入到生成器E₁中，利用生成器E₁生成粗粒度图像；第二阶段利用蒙特卡洛搜索对粗粒度图像进行六次采样，得到更大的语义生成空间J₁～J₆，然后利用注意力机制对六次采样的中间结果进行特征提取(其中注意力机制用卷积网络实现)；第三阶段把注意力机制提取的结果与原图像一起输入到生成器F₁中，生成细粒度图像。

图4示出多类别判别器结构图。多类别判别器的功能是区分不同视角下的真实图像和生成图像。本发明所设计的多类别判别器以CGAN的判别器为基础，输入包括真实图像或生成图像以及对应的视角标签I_i(I_i可取正面、侧面和背面)，最后输出真实图像的概率。

PmGAN的对抗损失使用WGAN的目标函数，并依据矩阵谱范数的物理意义，使多类别判别器在全局范围内满足Lipschitz约束。其中矩阵谱范数的物理意义为任意向量在经过矩阵变换后，长度都小于等于此向量与该矩阵谱范数乘积的长度，即：

其中σ(W)表示权重矩阵的谱范数，x表示该层的输入向量，δ表示x的改变量。

为保证生成质量，保留原图像特征并提高视觉满意度，在原目标函数的基础上引入pixel-wise mean squared error(pMSE)和perception loss，pMSE定义为：

其中：I_x,y和I′_x,y分别表示目标视角图像和给定视角图像中(x,y)像素点的像素值，W和H分别表示图像的高度和宽度，θ为生成器参数。

由于pMSE为逐像素点计算损失，必然导致纹理结构过于平滑，视觉感知较差，故本发明引入perception loss提升视觉满意度，视觉感知损失定义如下：

其中：φ_i,j表示预训练VGG19网络中第i个最大池化层之前，第j个卷积层之后的特征图。I和I′分别表示目标视角图像和给定视角图像。W_i,j和H_i,j表示VGG网络中各特征映射的维度。

整体目标函数为：

L_total＝L_WGAN+αL_pMSE+βL_pl

其中：L_WGAN为WGAN的对抗损失函数，L_pMSE为pixel-wise mean squre error，L_pl为perception loss，α和β为控制比例的超参数。

生成器与判别器交替训练，直至达到纳什平衡。

步骤2：利用训练好的PmGAN的生成器对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集；

基于扩充的训练集训练行人重识别网络，其中行人重识别网络可以是现有的方法也可以是提出的基于特征向量的方法，最终训练完成的行人重识别网络具有提取图像特征的能力。

步骤3：对与给定的查询图像，利用PmGAN进行多视角生成，得到给定行人图像的正面、侧面和背面三视角下的行人图像，图5示出生成的行人图像。

把三个生成图像和原给定图像分别输入到行人重识别网络中进行特征提取，把提取出的四个特征向量依据最大值原则进行特征融合，得到完善的特征向量。

步骤4：利用行人重识别网络对测试集中所有图像进行特征提取，得到测试集中所有图像的特征向量；

把完善后的特征向量作为查询图像的特征，与得到的测试集中的所有特征向量进行相似性度量，其中相似性度量可采用欧式距离，但不限于此。最后按照相似性从大到小即欧式距离从小到大排列测试集中的图像，完成行人重识别任务。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。

本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。

Claims (5)

1.一种基于多视角生成对抗网络的行人重识别方法，其特征在于，包括如下步骤：

步骤1：从原始行人重识别训练集中挑选出图像作为提出的PmGAN(pedestrian multi-view generation adversarial networks，行人多视角生成对抗网络)的训练集；基于挑选出的训练集训练提出的PmGAN；

步骤2：利用训练好的PmGAN对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集，基于扩充的训练集训练行人重识别网络；

步骤3：利用PmGAN对查询图像进行多视角生成，完善查询图像的特征向量；

步骤4：把完善后的特征向量作为查询图像的特征，用于行人重识别任务，最终按相似性大小排列图像，完成行人重识别任务。

2.根据权利要求1所述的基于多视角生成对抗网络的行人重识别方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：从原始行人重识别训练集中挑选出正面、侧面和背面三个视角的图像以及1～5张其他视角图像作为提出的PmGAN的训练集；

步骤1.2：并根据原有行人ID进行分组，使每组图像都包含正面、侧面、背面以及若干其他视角图像；

步骤1.3：提出的PmGAN包括三个分别用于生成正面、侧面和背面图像的生成器和一个多类别判别器。生成器以给定图像作为输入，输出确定视角下的行人图像；判别器以生成图像或真实图像以及对应的视角作为输入，输出真实图像的概率。生成器与判别器交替训练，直至达到纳什平衡。

3.根据权利要求1所述的基于多视角生成对抗网络的行人重识别方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：利用训练好的PmGAN的生成器对给定视角下的图像生成其他视角下的图像，并赋予生成图像与原图像相同的ID标签，最后把带标签的生成图像添加到原始训练集中，得到扩充的训练集；

步骤2.2：基于扩充的训练集训练行人重识别网络，其中行人重识别网络可以是现有的方法也可以是提出的基于特征向量的方法，最终训练完成的行人重识别网络具有提取图像特征的能力。

4.根据权利要求1所述的基于多视角生成对抗网络的行人重识别方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：对于给定的查询图像，利用PmGAN进行多视角生成，得到给定行人图像的正面、侧面和背面三视角下的行人图像。

步骤3.2：把三个生成图像和原给定图像分别输入到行人重识别网络中进行特征提取，把提取出的四个特征向量依据最大值原则进行特征融合，得到完善的特征向量。

5.根据权利要求1所述的基于多视角生成对抗网络的行人重识别方法，其特征在于，所述步骤4包括如下步骤：

步骤4.1：利用行人重识别网络对测试集中所有图像进行特征提取，得到测试集中所有图像的特征向量；

步骤4.2：把完善后的特征向量作为查询图像的特征，与得到的测试集中的所有特征向量进行相似性度量，其中相似性度量可采用欧式距离，但不限于此。最后按照相似性从大到小即欧式距离从小到大排列测试集中的图像，完成行人重识别任务。

Images