CN110427813A

CN110427813A - 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法

Info

Publication number: CN110427813A
Application number: CN201910549345.5A
Authority: CN
Inventors: 夏士雄; 陈莹; 赵佳琦; 周勇; 牛强; 姚睿; 陈朋朋; 杜文亮; 朱东郡
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2019-11-08
Anticipated expiration: 2039-06-24
Also published as: CN110427813B

Abstract

本发明公开了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。其实现方案是：根据行人图像数据集，对行人图像进行目标检测获取训练样本；构建基于多样性样本生成的孪生生成式对抗网络模型，该模型对目标检测后输入的两组行人图像的姿态属性信息互换，实现多样性样本的生成；构建基于保持身份特征的孪生生成式对抗网络模型，该模型利用身份判别器保留生成行人图像的身份信息，从而提升行人重识别对生成行人图像身份的鲁棒性；针对生成式对抗网络优化困难的问题，构建基于多目标优化的孪生生成式对抗网络参数学习方法；为了验证提出的行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。

Description

基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。

背景技术

随着人工智能技术的快速发展并且广泛应用于城市安防领域，研究深度学习、图像识别基础理论和关键技术的有着很重要的意义。行人重识别可以实现监控网络中多个摄像头视域内检索出特定目标行人的功能，它是利用计算机视觉方法判断图像或者视频序列中是否存在特定行人的技术，为跨摄像头的行人搜索提供了技术支撑。目前，行人重识别的关键在于行人特征表示和行人相似性度量两个步骤，深度学习在这两个方面都有很好的效果，近年来已经成为行人重识别领域的研究热点。由于深度学习模型需要大量样本进行参数训练，基于数据生成的行人重识别方法开始吸引学者的研究。因此，行人重识别方法大致可以分为三类：基于特征表示的行人重识别，基于度量学习的行人重识别，基于数据生成的行人重识别。

在行人重识别中，特征表示的优劣是行人能否被准确重识别的关键因素之一，特征表示方法研究主要集中在行人表观信息的特征提取和表示上，现有的行人特征表示方法主要分为人工设计特征和深度学习特征，其中人工设计特征包括底层特征和具有属性特性的中层特征。近年来，深度学习被广泛应用于行人重识别中的特征学习方面，相比于手工特征，深度学习模型对行人特征表达具有更好的判别性，因为深度学习技术可以提取到图像中抽象的高层特征。基于特征表示的行人重识别方法主要利用行人外观的特征信息，然而行人外观易受环境变化、行人行为以及摄像头参数的影响，导致该类行人重识别方法的识别效果不理想。

基于行人相似性度量方法从行人样本中学习最优的相似性度量计算方法来匹配相同的行人，区分不同的行人。当使用特征向量表示行人图像之后，常采用标准距离(如曼哈顿距离、欧氏距离和巴氏距离等)对两个特征向量进行相似性度量。然而，同一行人在跨越多个无重叠区域摄像头时，其外貌特征随着视角、光照、遮挡等因素的影响发生很大的变化，标准的距离度量方法效果不理想，因为它们平等地对待每一种特征，而不会摒弃那些独立使用时效果很差的特征。国内外的研究者们还提出了基于深度度量学习的行人相似性判别方法，具体目标为同一行人的不同图像相似度大于不同行人图像的相似度，深度网络的损失函数使得相同行人图片(正样本对)的距离尽可能小，不同行人图片(负样本对)的距离尽可能大。基于相似性度量学习的方法是由数据驱动实现的，需要通过训练大量的有标记数据，得到一个能反映样本特征的度量函数。在行人识别问题中，数据总量很大，但单个样本的数据量很小，如何利用少量样本学习有效的度量标准是行人识别的难点。

研究基于数据生成的行人重识别方法，可以解决行人重识别问题主要的难点问题，即个体行人的数据太少的问题，该问题不利于模型学习高效、鲁棒的特征表示和度量准则。

发明内容

发明目的：本发明目的在于克服上述现有技术的不足，提出了一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法。

本发明研究基于深度学习的方法，利用生成式对抗网络生成一系列标准的姿态图像，并且利用这些生成的图像扩充行人数据集以提升行人重识别网络的判别能力。

目前，虽然通过大量监控摄像头采集了大量的视频数据，但每个行人收集的数据非常稀少。因此，行人重识别任务是典型的大数据小样本问题。本发明针对行人重识别任务中大数据小样本瓶颈问题，提出行人重识别任务驱动的孪生生成式对抗网络模型生成多样性行人样本，采用多目标优化技术来约束生成器和判别器的协同训练。该方法可以用于行人图像的样本扩充，进而提高行人重识别对大数据小样本的鲁棒性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，利用生成式对抗网络生成一系列标准的姿态图像，并且利用这些生成的图像扩充行人数据集以提升行人重识别网络的判别能力；

提出行人重识别任务驱动的孪生生成式对抗网络模型生成多样性行人样本，采用多目标优化技术来约束生成器和判别器的协同训练；

具体包括如下步骤：

(1)采用目标检测算法对行人图像数据中的行人图像进行目标检测，获取成对的训练样本，将成对训练样本的两个行人图像分别称为条件行人图像和目标行人图像；

(2)构建基于多样性样本生成的孪生生成式对抗网络模型，该模型对目标检测后输入的两组行人图像，即：条件行人图像和目标行人图像的姿态属性互换，实现多样性样本的生成；

(3)构建基于保持身份特征的孪生生成式对抗网络模型，该模型利用身份判别器保留生成行人图像的身份信息；

(4)构建基于多目标优化的孪生生成式对抗网络参数学习方法，通过基于进化多目标优化的群搜索策略提升孪生生成式对抗网络学习的稳定性；

(5)验证提出的行人重识别方法的有效性，对生成行人图像构成的数据集进行行人重识别方法验证。

所述步骤(1)中，对整张行人图像进行目标检测，采用深度学习的目标检测方法Faster RCNN目标检测算法。该方法利用可解释卷积神经网络通道，实现对输入行人图像进行特征提取；同时利用注意机制对多种遮挡模式进行跨通道的表示，进而提升行人检测的性能。

所述步骤(2)中，构建基于多样性样本生成的孪生生成式对抗网络由两个分支组成，每一个分支包括一个生成器和一个姿态判别器，满足：

其中：I_i为输入的条件行人图像，I_j为输入的目标行人图像，P_j为对应目标行人图像I_j的目标行人姿态；

L_SiGAN表示目标行人图像I_j、目标行人姿态P_j与根据条件行人图像I_i、目标行人姿态P_j生成新图像G(I_i,P_j)之间的对抗损失函数；

D_p(I_j,P_j)表示姿态判别器对目标行人图像I_j和目标行人姿态P_j的判别结果；

G(I_i,P_j)表示条件行人图像I_i与目标行人姿态P_j经生成器后获得的生成图像；

D_p(P_j,G(I_i,P_j))表示姿态判别器对目标行人姿态P_j和生成图像G(I_i,P_j)的判别结果；

表示数学期望；

I_i,I_j∈I表示变量I_i,I_j服从真实行人数据分布I，P_j∈P表示变量P_j服从真实姿态数据分布P，表示变量G(I_i,P_j)服从生成行人数据分布

所述步骤2中，构建基于多样性样本生成的孪生生成式对抗网络模型包括如下步骤：

(21)采用图像编码器对条件行人图像进行外观特征编码；

(22)采用姿态编码器对目标行人姿态进行姿态特征编码；

(23)一系列连续姿态注意力转移模块融合外观特征和姿态特征；

(24)图像解码器将融合的特征生成新的图像。

步骤(21)～步骤(24)，图像编码器、姿态编码器、一系列连续姿态注意力转移模块和图像解码器构成孪生生成式对抗网络中的生成器，按照下面的损失函数训练该生成器：

L_ge＝λ_reL_re+λ_peL_pe

其中，L_ge表示生成器的目标函数；

L_re是定义条件行人图像I_i与生成图像之间的像素级重构损失函数；

L_pe表示的是感知损失，它将条件行人图像I_i卷积得到的特征与生成图像卷积得到的特征作比较，使得高层信息更接近；

λ_re和λ_pe为加权系数；

m表示网络的第m层；

W_mH_mD_m表示第m层特征图的维度；

φ_m表示VGG19网络模型第m卷积层；

||·||₁表示一范数。

所述步骤(3)中，构建基于保持身份特征的孪生生成式对抗网络模型，该模型由两个分支组成，每一个分支包含一个身份判别器识别行人身份信息，该模型有一个身份验证分类器用以确定条件行人图像和是目标行人图像是否属于同一个人，所述身份判别器损失函数定义为：

其中，L_id用来训练身份判别器以来区分根据条件行人图像I_i和目标行人姿态P_j生成行人图像G(I_i,P_j)和同一分支输入的条件行人图像I_i是否属于同一个人；

D_id(I_i,I_j)表示身份判别器对条件行人图像I_i和目标行人图像I_j的判别结果；

D_id(I_i,G(I_i,P_j))表示身份判别器对条件行人图像I_i和生成图像G(I_i,P_j)的身份判别结果；

身份验证分类器用二进制交叉熵损失进行训练，所述二进制交叉熵损失如下：

L_v＝-C[logd(I_i,I_j)]-(1-C)log(1-d(I_i,I_j))

其中，C是真实标签，如果I_i,I_j是同一个人，则C＝1；如果I_i,I_j是不同一个人，则C＝0；

d(·)是分支网络输出同一人置信分数。

所述步骤(4)中，构建基于多目标优化的孪生生成式对抗网络参数学习方法，目标函数为：

其中，L_loss表示基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法的目标函数，α、λ_id和λ_v为加权系数；多目标优化的孪生生成式对抗网络中生成器和判别器网络中两组参数相互影响，一组参数不合适会导致另外一组参数性能不稳定，因此采用基于进化多目标优化的群搜索策略：

minGAN(θ_G,θ_D):＝{L_G(θ_G),L_D(θ_D:θ_G)}

其中，θ_G是生成器的参数，θ_D是判别器的参数。

所述步骤(5)中，采用传统和公开数据集对生成行人图像构成的数据集进行行人重识别验证。

有益效果：本发明提供的一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，利用孪生生成式对抗网络生成一系列标准的姿态图像，从而提升行人重识别对姿态变化的鲁棒性。已有的基于多样性样本生成的行人重识别方法把样本生成和行人重识别任务分开处理，本发明针对上述问题，设计多目标优化的孪生生成式对抗网络参数学习方法，提高多样性样本生成和行人重识别网络训练提升的能力。

附图说明

图1为本发明方法的实施流程图；

图2为构建基于多样性样本生成的孪生生成式对抗网络的实施流程图；

图3为构建基于多样性样本生成的孪生生成式对抗网络的生成器框架示意图；

其中，I_i是条件行人图像，P_j是目标行人姿态，是生成器生成图像；

图4为构建基于多样性样本生成的孪生生成式对抗网络的判别器框架示意图；

图5为基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法整体框架示意图；

其中，P_i是对应条件行人图像I_i的条件行人姿态，P_j为对应目标行人图像I_j的目标行人姿态，和是孪生生成式对抗网络中生成器生成的行人图像。

具体实施方式

下面结合附图对本发明的技术方案作进一步详细的说明。

图1所示为一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，包括如下流程步骤：

步骤S01：利用Faster RCNN目标检测算法对行人图像数据中的行人图像进行目标检测，获取成对的训练样本，将成对训练样本的两个行人图像分别称为条件行人图像和目标行人图像；

步骤S02：构建基于多样性样本生成的孪生生成式对抗网络模型对目标检测后输入的两组行人图像：条件行人图像和目标行人图像的姿态属性信息互换，实现多样性样本的生成。该模型由两个分支组成，每一个分支包括一个生成器G和姿态判别器D_p，满足：

D_p(I_j,P_j)表示姿态判别器D_p对目标行人图像I_j和目标行人姿态P_j的判别结果；

G(I_i,P_j)表示条件行人图像I_i与目标行人姿态P_j经生成器G后获得的生成图像；

D_p(P_j,G(I_i,P_j))表示姿态判别器D_p对目标行人姿态P_j和生成图像G(I_i,P_j)的判别结果；

表示数学期望；

I_j∈I表示变量I_j服从真实行人数据分布I，P_j∈P表示变量P_j服从真实姿态数据分布P，表示变量G(I_i,P_j)服从生成行人数据分布

对于本实施例而言，上述步骤S02还可以进一步细化，其细化后的具体流程图如图2所示。图2中，该步骤S02进一步包括：

步骤S21：采用图像编码器对条件行人图像进行外观特征编码，图像编码器将条件行人图像I_i作为输入，编码条件行人图像的外观特征。图像编码器为一个包含3层下采样的卷积神经网络，三层卷积中从第一层卷积到第三层卷积所对应的滤波器个数分别为64、128和256，卷积核的大小除了第一层卷积为7×7、步长为1，其他三个卷积核大小都是3×3、步长为2。

步骤S22：采用姿态编码器对目标行人姿态进行姿态特征编码，姿态编码器将目标行人图像I_j的姿态P_j作为输入，编码目标行人图像的姿态特征。姿态编码器结构与图像编码器结构一样。

步骤S23：一系列连续姿态注意力转移模块融合外观特征和姿态特征，该模块由9个姿态注意力转移模块组成，每个姿态注意力转移模块带有一个注意机制，逐步引导外观和姿态特征传递以输出融合了新姿态的行人特征。每个姿态注意力转移模块由两个滤波器个数是256、卷积核的大小是3×3的卷积网络组成。

步骤S24：图像解码器将融合的特征生成新的图像，图像解码器将融合了新姿态的行人特征进行解码，输出包含条件行人图像外观以及目标行人姿态的行人图像特征。该图像解码器由三层反卷积神经网络组成，三层反卷积中从第一层反卷积到第三层反卷积所对应的滤波器个数分别为56、128和64，前两层反卷积核的大小为3×3、步长为2，第三个反卷积核大小是7×7、步长为1。

所述步骤S21到步骤S24，图像编码器、姿态编码器、一系列连续姿势注意力转移模块和图像解码器构成图像生成器G，其结构示意图如图3所示。本实施例按照下面的损失函数训练孪生生成式对抗网络生成器G：

L_ge＝λ_reL_re+λ_peL_pe

其中，L_ge表示孪生生成式对抗网络生成器G的目标函数；

L_pe表示的是感知损失，它将条件行人图像I_i卷积得到的特征与生成图像卷积得到的特征作比较，使得高层信息(内容和全局结构)更接近；

λ_re和λ_pe为加权系数；

m表示网络的第m层；

W_mH_mD_m表示第m层特征图的维度；

φ_m表示VGG19网络模型第m卷积层；

||·||₁表示一范数。

步骤S03：在步骤S02中孪生生成式对抗网络中，生成器G根据条件行人图像I_i和目标行人图像I_j的目标行人姿态P_j生成新的行人图像G(I_i,P_j)，该生成的行人图像具有姿态P_j和条件行人图像I_i的外观，若条件行人图像I_i和目标行人图像I_j属于同一个人且外观相同，则新的行人图像G(I_i,P_j)应和目标行人图像I_j身份一致。因此构建基于保持身份特征的孪生生成式对抗网络模型，该模型由两个分支组成，每一个分支包含一个身份判别器D_id识别行人身份信息。图像生成器G将试图欺骗身份判别器D_id以确保编码的行人特征包含足够的与身份相关信息，身份判别器D_id以区分生成的行人图像和同一分支的输入条件行人图像是否属于同一个人。所述身份判别器D_id损失函数定义为：

其中L_id表示条件行人图像I_i和目标行人图像I_j与根据条件行人图像I_i和目标行人姿态P_j生成新图像G(I_i,P_j)之间的对抗损失函数；

D_id(I_i,I_j)表示身份判别器D_id对条件行人图像I_i和目标行人图像I_j的判别结果；

D_id(P_j,G(I_i,P_j))表示身份判别器D_id对条件行人图像I_i和生成图像G(I_i,P_j)的身份判别结果。

给定来自图像编码器的两个输入图像的特征，身份验证分类器V确定两个图像是否属于同一个人。行人身份验证是行人重新识别的主要任务，并确保图像编码器学习特征以捕获行人图像的身份信息。身份验证分类器V将两个行人图像的特征作为输入，可以判断输入图像对属于同一个人的概率。身份验证分类器V用二进制交叉熵损失训练身份验证分类器：

L_v＝-C[logd(I_i,I_j)]-(1-C)log(1-d(I_i,I_j))

其中C是真实标签。如果I_i,I_j是同一个人，则C＝1；如果I_i,I_j是不同一个人，则C＝0；d(·)是分支网络输出同一人置信分数。

步骤S04：构建基于多目标优化的孪生生成式对抗网络参数学习方法，解决生成式对抗网络优化困难的问题。在生成式对抗网络中，生成器和判别器的目标是相互冲突的，生成器的目标是生成逼真的行人图像误导判别器，判别器的目标是识别出来生成器产生的伪图像。行人重识别孪生生成式对抗网络是一个多目标优化问题，因此构建基于多目标优化的孪生生成式对抗网络参数学习方法，目标函数为：

其中，L_loss表示基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法的目标函数，α、λ_id和λ_v为加权系数。为了使生成器和判别器协同进化，共同达到最优的状态，采用进化计算处理多目标优化问题，该方法利用群搜索的策略，通过种群之间的竞争与合作实现全局非支配解集的搜索：

minGAN(θ_G,θ_D):＝(L_G(θ_G),L_D(θ_D:θ_G))

其中，θ_G是生成器的参数，θ_D是判别器的参数。

步骤S05：为了验证提出的行人重识别方法的有效性，可以采用传统和公开数据集对生成行人图像构成的数据集进行行人重识别验证。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：利用生成式对抗网络生成一系列标准的姿态图像，并且利用这些生成的图像扩充行人数据集以提升行人重识别网络的判别能力；

具体包括如下步骤：

2.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(1)中，对整张行人图像进行目标检测，采用深度学习的目标检测方法Faster RCNN目标检测算法，利用可解释卷积神经网络通道，实现对输入行人图像进行特征提取；同时利用注意机制对多种遮挡模式进行跨通道的表示，进而提升行人检测的性能。

3.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(2)中，构建基于多样性样本生成的孪生生成式对抗网络由两个分支组成，每一个分支包括一个生成器和一个姿态判别器，满足：

表示数学期望；

4.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤2中，构建基于多样性样本生成的孪生生成式对抗网络模型包括如下步骤：

(21)采用图像编码器对条件行人图像进行外观特征编码；

(22)采用姿态编码器对目标行人姿态进行姿态特征编码；

(24)图像解码器将融合的特征生成新的图像。

5.根据权利要求4所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：步骤(21)～步骤(24)中，所述图像编码器、姿态编码器、一系列连续姿态注意力转移模块和图像解码器构成孪生生成式对抗网络中的生成器，按照下面的损失函数训练该生成器：

L_ge＝λ_reL_re+λ_peL_pe

其中，L_ge表示生成器的目标函数；

λ_re和λ_pe为加权系数；

m表示网络的第m层；

W_mH_mD_m表示第m层特征图的维度；

φ_m表示VGG19网络模型第m卷积层；

||·||₁表示一范数。

6.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(3)中，构建基于保持身份特征的孪生生成式对抗网络模型，该模型由两个分支组成，每一个分支包含一个身份判别器识别行人身份信息，该模型有一个身份验证分类器用以确定条件行人图像和是目标行人图像是否属于同一个人，所述身份判别器损失函数定义为：

L_v＝-C[logd(I_i,I_j)]-(1-C)log(1-d(I_i,I_j))

d(·)是分支网络输出同一人置信分数。

7.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(4)中，构建基于多目标优化的孪生生成式对抗网络参数学习方法，目标函数为：

minGAN(θ_G,θ_D):＝{L_G(θ_G),L_D(θ_D:θ_G)}

其中，θ_G是生成器的参数，θ_D是判别器的参数。

8.根据权利要求1所述的基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法，其特征在于：所述步骤(5)中，采用传统和公开数据集对生成行人图像构成的数据集进行行人重识别验证。