CN114038007A - 一种结合风格变换与姿态生成的行人重识别方法 - Google Patents

Abstract

本发明提供了一种结合风格变换与姿态生成的行人重识别方法包括如下步骤：步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像；步骤二、将不同风格的统一姿态图像输入分类识别模块，进行分类识别；步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别；该结合风格变换与姿态生成的行人重识别方法，同时考虑风格和姿态的相关因素，消除相机间的差异以及姿态之间的变化，学习更泛化的行人重识别网络。为了能够同时学习身份敏感和视觉敏感信息，本文将风格和姿态信息相结合，生成的扩充训练数据集将两者同时保留，具有多样性信息，学习更鲁棒的行人特征，增强网络的泛化能力。

Description

一种结合风格变换与姿态生成的行人重识别方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种结合风格变换与姿态生成的行人重识别方法。

背景技术

作为智能监控网络技术中一项重要分支，行人重识别技术得到越来越多的关注与研究。行人重识别是一个跨摄像机检索任务，即给定一个要查询的行人，它的目标是从多个摄像机收集的数据库中检索出同一个行人。行人重识别技术是安防、行人和车辆追踪等领域的基础，是构建平安城市、智慧城市的重要环节。

然而由于多个相机收集图像，不同的分辨率和环境光照以及角度差异会使行人的外表和背景发生变化，导致同一身份因外表变化被识别为不同行人，而不同身份因姿态相同识别为同一行人。面临相机分辨率、光照、背景遮挡以及姿态变化这些挑战所导致的行人特征判别性低、鲁棒性差，为了消除这些挑战带来的影响，因此需要进一步研究新的行人重识别方法。

针对在实际应用中不同时间和空间摄像机不断变化以及训练数据中行人姿态存在差异这一问题，现有的研究大多基于生成对抗网络(GAN)学习在不同摄像机下具有不变性的稳定特征表示。在行人重识别中采用GAN来进行数据增广，主要利用GAN解决行人重识别中数据量较少的问题。通过姿态转换框架，从具有丰富人体姿势变化的数据集MARS中提取姿势(即骨架)，然后基于GAN模型在新姿势中生成样本，消除了姿势对人的外观的影响。利用CamStyle从相机风格适应的角度进行数据增强，平滑相机风格的差异降低卷积网络过拟合的影响。

现有的典型方法虽然通过GAN解决了数据缺少以及相机风格差异或者姿态变化的问题，但使用GAN生成的数据缺少多样性，训练的模型没有足够好的泛化能力。且单独消除姿势对人的外观影响时，忽略了因相机变化的存在导致的外表和背景变化问题；消除相机风格差异时，忽略了目标域中潜在的正样本对，可能导致行人重识别模型对目标域中的其他特征敏感，例如姿势和背景变化。

发明内容

为了更好地解决现有行人识别方法所存在不足，本发明设计提出一种结合风格变换与姿态生成的行人重识别方法，包括如下步骤：

步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像；

步骤二、将不同风格的统一姿态图像输入分类识别模块，进行分类识别；

步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别。

进一步的，所述步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像的具体过程是：

S201、输入图像原始数据集至风格转移模块，通过风格转移学习，输出具有不同相机风格的多张图像；

S202、输入图像原始数据集至姿态估计模块，通过AlphaPose进行姿态估计，提取出8种标准姿态骨架；

S203、将不同风格的图像与姿态骨架输入DCGAN网络，输出具有不同风格的统一姿态图像。

进一步的，所述步骤二、将不同风格的统一姿态图像输入分类识别模块，

进行分类识别的具体过程是：

S301、基于扩充的训练数据集训练分类识别网络，训练完成后，去掉网络模型的全连接层和分类器；

S302、将行人图库中所有图像作为网络输入，在全连接层之前进行输出，

输出为行人特征。

进一步的，所述步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别的具体过程是：

S401、将查询图像作为分类识别网络输入，提取图像特征；

S402、使用欧式距离计算查询图像与图像库中的图像特征之间的相似度，根据相似度判断是否存在要查询图像中的行人，完成行人重识别任务。

本发明的优点是：本发明提供这种结合风格变换与姿态生成的行人重识别方法，同时考虑风格和姿态的相关因素，消除相机间的差异以及姿态之间的变化，学习更泛化的行人重识别网络。为了能够同时学习身份敏感和视觉敏感信息，本文将风格和姿态信息相结合，生成的扩充训练数据集将两者同时保留，具有多样性信息，学习更鲁棒的行人特征，增强网络的泛化能力。首先通过风格转移，使得生成的图像学习不同相机的风格，减少摄像机间的差异；接着引入姿态估计，生成不同风格图像具有相同姿态，消除姿态变化的影响；最后引入随机擦除进行数据增强，解决部分遮挡问题。使用新合成的数据来训练网络，通过微调ResNet-50网络结构对行人重识别网络进行优化，提高行人重识别的性能，最终设计出一种结合风格与姿态的行人重识别方法。

下面结合附图和实施例对本发明做详细说明。

附图说明

图1是结合风格变换与姿态生成的行人重识别方法整体框架图。

图2是姿态骨架提取示意图。

图3是不同随机擦除概率P训练结果示意图。

图4是Market-1501数据集上训练结果示意图。

图5是DukeMTMC-reID数据集上训练结果示意图。

具体实施方式

为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征的功效，详细说明如下。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“对齐”、“重叠”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1

本实例提供了一种如图1所示的结合风格变换与姿态生成的行人重识别方法，该方法主要包括两个网络模块，生成多种风格统一姿态的图像数据生成模块和分类识别网络模块。

第一部分图像数据生成模块由风格转移学习和姿态估计组成，共同作为生成网络的输入，同时将生成网络的输出作为第二部分分类识别网络的输入，提取图像特征，经过全连接层FC-T进行分类识别，T为数据集中行人身份类别，去掉全连接层，输入查询图像，提取该图像特征，与图像库中图像特征进行相似性度量，进而完成行人重识别，该部分是基于ResNet-50进行改进的网络结构。

该结合风格变换与姿态生成的行人重识别方法具体包括如下步骤：

步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像；

步骤二、将不同风格的统一姿态图像输入分类识别模块，进行分类识别；

步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别。

进一步的，所述步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像的具体过程是：

S201、输入图像原始数据集至风格转移模块，通过风格转移学习，输出具有不同相机风格的多张图像；

S202、输入图像原始数据集至姿态估计模块，通过AlphaPose进行姿态估计，提取出8种标准姿态骨架；

S203、将不同风格的图像与姿态骨架输入DCGAN网络，输出具有不同风格的统一姿态图像。

进一步的，所述DCGAN网络(Deep Convolutional GAN，深度卷积对抗网络)是深层卷积网络与GAN的一种结合。DCGAN中的判别器和生成器都使用了卷积神经网络(CNN)来替代GAN中的多层感知机，同时为了在训练中加快网络的收敛速度，将网络中卷积层后面的全连接层删除，使网络变为一个全卷积网络。为了使训练过程更加稳定，将批归一化操作加入输入层之后。

进一步的，所述步骤二、将不同风格的统一姿态图像输入分类识别模块，

进行分类识别的具体过程是：

S301、基于扩充的训练数据集训练分类识别网络，训练完成后，去掉网络模型的全连接层和分类器；

S302、将行人图库中所有图像作为网络输入，在全连接层之前进行输出，

输出为行人特征。

进一步的，所述步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别的具体过程是：

S401、将查询图像作为分类识别网络输入，提取图像特征；

S402、使用欧式距离计算查询图像与图像库中的图像特征之间的相似度，根据相似度判断是否存在要查询图像中的行人，完成行人重识别任务。风格转移学习：

为解决不同的摄像机在分辨率、环境光照等方面存在的差异，利用风格转移来消除相机风格之间的差异。设所用数据集来自C个摄相机下收集到的行人图像，则对于训练集中的每张图像都可以生成C-1张其它相机风格样式的图像，同时真实图像和生成的C-1张图像所组成的C张行人图像身份相同，属于同一行人ID。

在数据集Market-1501上，给定1号摄像机下的行人图像，分别经过CycleGAN学习其他5个摄像机下的风格转移模型，将原图像和风格转移模型进行组合，即可生成该行人在其他5个摄相机风格下的行人图像。

姿态估计：

姿态估计使用姿势检测工具AlphaPose，即任意给定输入行人1的图像X_i，可以检测出行人i相应姿态骨架图的姿势图像X_pi。使用姿态估计器生成的姿势图像X_pi和行人j的图像X_j作为输入图像，经过DCGAN网络合成行人j在行人i姿态下的图像

即

与X_j姿势不同，但身份相同。

AlphaPose检测行人姿态提取骨架流程如图2所示，分别取了鼻子，双眼，双耳，颈部，左右肩，左右胳膊肘，左右手腕，左右臀部，左右膝盖，左右脚踝18个关键点。

不同风格多姿态生成：

姿态图像生成主要是将真实图像与不同姿态骨架图相结合，从而生成具有目标姿态的图像。与之前单一使用真实图像生成多姿态图像不同，本方法选取风格转移效果生成的图像，将其与目标姿态一起作为实际输入图像，使之生成的图像不仅具有不同的姿态，也具备风格迁移。

在图片生成的过程中，采用DCGAN网络结构，为了在训练中加快网络的收敛速度，将网络中卷积层后面的全连接层删除，使网络变为一个全卷积网络。为了使训练过程更加稳定，将批归一化操作加入输入层之后。为了利用残差信息，基于ResNet网络架构，使用了自动编码器的结构编码器-解码器，编码器网络对输入的行人图片逐步的进行下采样到瓶颈层，然后解码器从编码器获取输出，反向进行生成不同姿态行人图片。通过姿态图像生成网络，可以为训练集生成多个不同姿态的合成图像，这些图像保留原有的行人相关信息，只是改变了其姿态，使得每个真实图像X_i与改变姿态后的图像

属于相同的身份。因此，引入姿态转换损失函数，如公式(1)所示：

其中，d表示真实的图像X_j与改变姿态后的图像

的身份。

随机擦除：

在不同的摄像机下，由于视角不同，可能导致背景部分遮挡的问题，为了缓解这一因素导致的行人重识别准确率下降问题，降低背景遮挡引起的偏差，在本方法中引入随机擦除数据增强，它的输入是一张原始图像I，输出是有着各种遮挡的数据增强处理后的图片。

给定原始图像I，它的宽和高分别为W和H，面积为S。假设随机擦除的区域为I_e，它的面积为S_e，宽和高分别为W_e和H_e，纵横比r_e的取值范围为(r₁，r₂)。设置随机擦除的概率为P，首先在原始图像I上随机找一个像素点(x_e，y_e)，若随机擦除过程满足公式(2)，则将随机擦除区域I_e内所有点的像素值改为(0，255)中的一个随机数，即对图像完成了随机擦除操作。通过实验对比，随机擦除概率P＝0.5时可以达到最好的识别效果。

其中W_e和H_e分别为随机擦除区域的宽和高，W和H分别为给定原始图像的宽和高。

分类识别网络：

不同于原始主干网络，本方法将生成的新数据作为训练数据，保留ResNet-50网络中全连接层以外已经训练好的网络参数，并将模型中Layer5层的第一个瓶颈残差块卷积核移动步幅修改为(1，1)，同时删除ResNet-50网络模型结构中的全连接层FC-1000，使用一个拥有1024个神经元的全连接层FC-1024将其代替，由于训练数据集中含有T个不同的行人身份，识别的最终结果为T类。

综上所述，这种结合风格变换与姿态生成的行人重识别方法，同时考虑风格和姿态的相关因素，消除相机间的差异以及姿态之间的变化，学习更泛化的行人重识别网络。为了能够同时学习身份敏感和视觉敏感信息，本文将风格和姿态信息相结合，生成的扩充训练数据集将两者同时保留，具有多样性信息，学习更鲁棒的行人特征，增强网络的泛化能力。首先通过风格转移，使得生成的图像学习不同相机的风格，减少摄像机间的差异；接着引入姿态估计，生成不同风格图像具有相同姿态，消除姿态变化的影响；最后引入随机擦除进行数据增强，解决部分遮挡问题。使用新合成的数据来训练网络，通过微调ResNet-50网络结构对行人重识别网络进行优化，提高行人重识别的性能，最终设计出一种结合风格与姿态的行人重识别方法。

实施例2

本方法的实现框架为PyTorch(1.4.0)，计算机处理器为Intel(R)Xeon(R)Gold6254CPU@3.10GHz，内存为16GB，显卡为GeForce_RTX_2080_Ti以及操作系统为Ubuntu18.04，编程语言为Python。

为了客观评价本方法的性能，在Market-1501和DukeMTMC-reID两个基准数据集上进行与其他典型方法的对比测试。

网络训练及优化过程中的主要参数设置如下：在风格转移学习训练中，将图片大小设置为256*128，epoch为50，学习率在前30个epoch设置生成器学习率为0.0002，判别器学习率为0.0001，剩下的20个epoch学习率衰减为0；在姿态转换网络的训练中，设置epoch为20，batch size为32，学习率为0.0002，dropout为0.5；在行人重识别网络的训练中，设置epoch为90，batch size为128，学习率开始设置为0.01，然后在每个阶段都以除以10的比例缩放，dropout为0.5，提取Pooling-5层的输出作为图像的特征。

定量评价

采用rank-k和mAP指标对行人重识别进行评估。rank-k即在候选集中通过相似度的排序，选取出与查询图片相似度最接近的前k张行人图片，并计算出这k张行人图片含有正确图片的概率。实验中采用rank-1，rank-5，rank-10作为最终评价指标，并将rank-1与其他方法进行比较。mAP则是对于行人重识别，在候选集中识别出给定行人的样本，然后将识别出的样本按照相似度进行排序。

随机擦除不同概率设置在Market-1501数据集上mAP实验结果如图3所示。

从图3可以看出，当随机擦除概率P取值为0.5时，训练图像擦除的面积适当，不会因擦除面积较少导致训练的网络提取特征和原始训练图片相同或者因擦除面积过多而无法训练，因此P取值为0.5时识别效果最好。

实验训练完成，分别保存风格与姿态结合的结果以及引入随机擦除的结果，CMC(累积匹配特性曲线)得分如图4和5所示。

从图4和图5可以看出无论在哪个数据集上，在本方法中引入随机擦除数据增强方法，通过对原始图像进行随机擦除，使得训练中行人图像的一部分被遮挡住，从而迫使网络在剩余的部分进行训练，提取更鲁棒的行人特征，解决部分遮挡的问题，提高行人重识别的效果。

基于Market-1501和DukeMTMC-reID数据集，分别对改进的本方法与5种典型相关行人重识别算法IDE、GAN、PN-GAN、CamStyle、RandEra进行对比，并依据rank-1和mAP评价指标进行分析，实验结果分别见表1和表2。

表1不同方法在Market1501数据集上的性能对比结果

表2不同方法在DukeMTMC-reID数据集上的性能对比结果

由表1可以看出，在Market1501数据集上只使用原始模型ResNet50网络训练出网络模型的rank-1只有72.54，mAP为46.00。而经过改进ResNet50模型、优化训练参数以及训练数据之后，本方法网络模型的rank-1为89.42％，mAP为72.64％，比改进前单独使用风格或者姿态的网络模型的rank-1和mAP都有所提升，这充分表明将风格和姿态结合的训练方法是可行的，因为单一使用风格变化，只能平滑相机间差异，基准数据集中行人的其他信息并不丰富，所以将姿态相关信息同时考虑，可以使训练的网络不过分依赖于行人的姿态变化判别行人，提取到更鲁棒的行人特征。在此基础上进一步引入随机擦除数据增强方法，可以看出rank-1和mAP的值继续有所提高，将文中方法与5种典型方法比较，可以得出，本方法在rank-1和mAP指标上已经领先于这几种方法，这表明丰富的样本信息有助于提升行人重识别方法的性能。

由表2可以得出，本方法在DukeMTMC-reID数据集上改进的网络模型的rank-1达到了79.00％，mAP达到了58.40％，本方法的定量评价结果比其他方法都略高一些，说明将风格和姿态结合的方法以及引入随机擦除数据增强方法是可行的，通过在风格转移同时考虑姿态变化带来的影响，将原始图片转换成其他相机风格的图片以及将姿态转换成统一姿态，可以消除相机变化和根据姿态变化识别行人的偶然性，学习更具代表性的行人特征，引入随机擦除可以使得训练的网络在处理遮挡图像时有更好的泛化能力，因此该方法提高行人重识别的准确率具有一定的可行性。

综合以上定量评价结果可以得出，文中提出的结合风格与姿态生成的行人重识别方法能够在一定程度上提高数据集的多样性，可以有效解决因数据集间存在光照、背景部分遮挡、姿态等变化所导致的行人特征判别性低、鲁棒性差的问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种结合风格变换与姿态生成的行人重识别方法，其特征在于，包括如下步骤：

步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像；

步骤二、将不同风格的统一姿态图像输入分类识别模块，进行分类识别；

步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别。

2.如权利要求1所述的一种结合风格变换与姿态生成的行人重识别方法，其特征在于：所述步骤一、将图像原始数据集输入数据生成模块，获取不同风格的统一姿态图像的具体过程是：

S201、输入图像原始数据集至风格转移模块，通过风格转移学习，输出具有不同相机风格的多张图像；

S202、输入图像原始数据集至姿态估计模块，通过AlphaPose进行姿态估计，提取出8种标准姿态骨架；

S203、将不同风格的图像与姿态骨架输入DCGAN网络，输出具有不同风格的统一姿态图像。

3.如权利要求1所述的一种结合风格变换与姿态生成的行人重识别方法，其特征在于：所述步骤二、将不同风格的统一姿态图像输入分类识别模块，进行分类识别的具体过程是：

S301、基于扩充的训练数据集训练分类识别网络，训练完成后，去掉网络模型的全连接层和分类器；

S302、将行人图库中所有图像作为网络输入，在全连接层之前进行输出，输出为行人特征。

4.如权利要求1所述的一种结合风格变换与姿态生成的行人重识别方法，其特征在于：所述步骤三、输入查询图像，提取图像特征，与图像库中的图像特征进行相似性度量，进而完成行人重识别的具体过程是：

S401、将查询图像作为分类识别网络输入，提取图像特征；

S402、使用欧式距离计算查询图像与图像库中的图像特征之间的相似度，根据相似度判断是否存在要查询图像中的行人，完成行人重识别任务。

Images