CN109934117A - 基于生成对抗网络的行人重识别检测方法 - Google Patents

Abstract

本发明提供基于生成对抗网络的行人重识别检测方法，旨在快速并准确在视频监控中每一帧中的不同行人里检索到特定目标，提高视频监控中行人重识别检测精度。首先使用triple loss函数训练编码器网络，使得相同身份的行人类内距离减小，不同身份的行人类间距离增大；其次利用GAN网络的博弈对抗思维联合训练身份判别网络，引导身份判别网络的判别能力，再进一步联合训练编码器网络，更新编码器网络参数，使得编码器网络对于行人有更好的编码能力；将检测模型YOLO‑V3与本发明模型统一到一个框架完成端到端的目标检索。本发明致力于平衡行人重识别检测识别率和实时性，并将行人检测与行人重识别统一到一个框架，完成视频序列中特定目标检索。

Description

基于生成对抗网络的行人重识别检测方法

技术领域

本发明属于图像视觉领域。尤指特定目标行人检测及定位。

背景技术

行人重新识别是一项具有挑战性的任务，其目的是在多个摄像机上匹配具有相同身份的行人图像。随着深度学习方法的广泛使用，行人重识别性能迅速提高。由于不同尺度、距离和姿势的影响，在无约束的自然环境中背景的复杂性，场景中光照的变化、大气状况的变化以及天气等的影响会对检测目标造成严重干扰，检测出不同空间尺度的特定目标物体就更加具有挑战性。行人重识别在公安嫌疑人检索、交通管制、以及军事侦察、战场监视等诸多领域有着广阔的应用前景。面向视频监控的行人重识别研究是最活跃的研究领域之一。

生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。利用GAN网络中博弈对抗的思维，联合训练编码器模型可以引导编码器网络模型更好编码目标特征；将GAN网络联合身份判别模型一起训练，可以提升身份判别网络判别能力。

由于监控视频场景中人流量大且人群特征区分不明显，这严重影响了网络模型在视频监控中搜索出特定行人的性能。如何让模型将不同目标行人的特征区分开，学习到更有代表性的特征至关重要。因此，本发明提出基于生成对抗网络的行人重识别检测方法，身份判别模型的基础网络使用Inception-v2结构，与编码器模型的基础网络结构相同，可以共享网络参数。利用联合GAN网络训练去增强身份判别模型的判别能力和编码器模型的特征编码能力，将不同身份行人的类间距离增大，减小相同身份行人的类内距离，在测试过程中只是用编码器模型，保证了检测网络的实时性。

发明内容

本发明的目的是针对视频监控，提供一种端到端的增强式行人重识别方法，旨在快速并准确在视频监控中每一帧中的不同行人里检索到特定目标。提高视频监控中行人重识别检测精度；将检测模型YOLO-V3与本发明的编码器模型统一到一个框架进行特定目标检索，实现端到端的特定目标检索；在视频特定目标检索过程中只采用编码器网络，可以保证检索网络的实时性。为完成本发明的目的，本发明提供基于生成对抗网络的行人重识别方法。

本发明所要解决的技术问题通过以下技术方案实现：

一.样本采集

本发明网络训练集采用Market-1501数据集，利用Market-1501数据集构建网络训练数据集，即三元组形式。第三步，将相同文件夹下的行人设定label为1，不同文件夹下的行人设定label为0。这个label是用于训练身份判别模型。

二.训练编码器网络

使用triple loss函数训练编码器网络，使得相同身份的行人类内距离减小，不同身份的行人类间距离增大。

三.训练GAN网络

训练生成判别模型，使用噪声向量维度256-d，并将噪声向量与编码器网络提取的1024-d进行拼接，产生1280-d向量(在训练GAN网络时候不更新编码器网络中的参数)。

四.训练身份判别网络

身份判别网络确定了输入图像是否是同一个行人，利用来自编码器网络的两个输入图像的视觉特征(输入图像包括GAN网络中生成器生成的假图片和真实图片)。首先利用真实图片训练身份判别网络，让网络学习到怎样去判别人的身份特征，然后利用真假图片的混合数据，继续训练身份判别网络，更新此网络参数。

五.联合训练网络

将编码器网络的编码特征应用到GAN网络中，通过博弈对抗思维联合训练身份判别网络，同时更新三个网络的参数，联合不同任务互相促进网络性能。

六.将行人检测与行人重识别统一框架

将检测模型yolov3与本发明模型的编码器网络统一到一个框架，针对视频序列进行端到端特定目标检索，进行特定目标检索。

本发明的有益效果是：提出了一种基于生成对抗网络的行人重识别检测方法框架，而且保证了检索的实时性。因为只需要在训练过程中应用GAN网络、身份判别网络，来提升编码器网络的编码特征能力。在测试过程中只需要应用编码器网络提取的1024-d特征信息，与目标行人的特征进行距离映射，通过设定阈值，阈值范围在5-10之间，本应用中设定阈值为5，不同应用可改变阈值。找到阈值范围内的最小距离作为最终目标区域，得到最终的检测结果。并且本发明将YOLO-V3网络与特征编码器网络统一到一个框架，在视频序列下可以进行端到端的目标行人检测。

附图说明

图1为编码器网络结构。

图2为GAN中生成网络结构。

图3为GAN中判别网络结构。

图4为身份判别网络结构。

图5为联合训练网络结构。

图6为视频监控中特定目标检索流程图。

图7为检索目标图像。

图8为视频监控中的特定目标检索结果(背面)。

图9为视频监控中的特定目标检索结果(侧面)。

图10为视频监控中的特定目标检索结果(正面)。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其它情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

针对现有行人重识别技术难以平衡检测精度与实时性，且检测算法适应能力不强，检测效果易受自然环境中背景、光照、角度等等问题的影响，本发明提出一种基于生成对抗网络的行人重识别检测方法。通过联合GAN网络并增加身份判别网络的联合训练，引导编码器网络更加准确编码行人特征，并在测试中仅应该编码器网络联合YOLO-V3检测模型。

(一)样本采集

(1)下载Market-1501数据集，其包括由6个摄像头(其中5个高清摄像头和1个低清摄像头)拍摄到的1501个行人、32668个检测到的行人矩形框。每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像。训练集有751人，包含12,936张图像，平均每个人有17.2张训练数据，利用不同身份行人的各种角度照片，将相同身份行人的不同角度放在一个文件夹下，不同身份行人有不同的文件夹。

(2)构建三元组，从(1)步骤中整理好的训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor(记为x^a)属于同一类的样本和不同类的样本,这两个样本对应的称为Positive(记为x^p)和Negative(记为xⁿ)，由此构成一个(Anchor，Positive，Negative)三元组用于训练编码器模型。

(3)将相同文件夹下的行人设定label为1，不同文件夹下的行人设定label为0。这个label是用于训练身份判别模型。

(二)编码器网络训练

搭建编码器网络模型，使用inception-v2网络结构作为编码器网络的基础框架，增加全连接层维度1024-d。

编码器网络中应用Triplet Loss损失函数，反向传播损失更新网络参数，TripletLoss用于训练差异性较小的样本，其中T代表训练样本集合，是Anchor样本在编码器网络中的特征映射，是Negative样本在编码器网络中的特征映射，Positive样本在编码器网络中的特征映射，α代表Anchor与Negative之间的距离和Anchor与Positive之间的距离之间有一个最小的间隔：

为了更有效的训练网络，在所有训练样本中选择mini-batch，可以减少三元组的重复组合。

(三)GAN网络训练

搭建GAN网络，inception-v2网络结构作为判别网络的基础框架，增加全连接层维度2-d；在生成网络中使用噪声向量维度256-d，并将噪声向量与编码器网络提取的1024-d进行拼接，产生1280-d向量。将其输入一系列5个convolution-BN-dropout-ReLU上采样块以输出生成人物图像。

GAN网络中生成器应用损失函数如下所示，随机生成p_z个256-d噪声向量拼接p_z个编码器网络提取的1024-d特征，其中z代表生成网络的输入1280-d的向量，G(Z)代表生成网络生成的假图片D(G(Z))代表G(Z)图片在判别网络的输出结果，由于生成网络的目的是让生成的假图片更加逼真，所以假图片在判别网络的输出应该越大，表明判别网络认为此图片是真实图片，基于以上分析，生成器要最小化如下损失函数：

GAN网络中判别器应用损失函数如下所示，选择p_data个真实样本，并随机生成p_z个噪声向量，D(X)表示真实样本X在判别网络的输出结果，G(Z)代表生成网络生成的假图片D(G(Z))代表G(Z)图片在判别网络的输出结果，由于判别网络的目的是让网络正确识别出真假样本，所以真是样本的输出结果应该接近于1，而假样本输出应该接近于0(在样本标记中真是样本标记为1，假样本标记为0)，基于以上分析，判别器要最大化如下损失函数：

(四)身份判别网络训练

身份判别网络基础网络仍然使用inception-v2网络结构，增加全连接层维度1-d，d(x₁,x₂)表示两个输入样本是同一个人可能性大小，使用二进制交叉熵损失进行训练，公式如下，C代表样本标记，将相同身份行人设定label为1，不同身份的行人设定label为0：

(五)联合训练

基于每个网络的单独训练结果联合训练三个网络，通过联合不同任务，进一步提升编码器网络的编码能力。联合训练中输入图像的视觉特征只有GAN网络中生成的假图片，将编码器网络的编码特征应用到GAN网络中，通过博弈对抗思维联合训练身份判别网络，联合训练中输入图像的视觉特征只有GAN网络中生成的假图片，引导身份判别网络的判别能力、GAN网络判别能力和造假能力、编码器网络编码能力。网络联合训练完后，只利用编码器网络进行后续工作。联合训练网络最主要的特征是联合不同任务训练网络，并同时更新三个网络的参数。

(六)将行人检测与行人重识别统一框架

首先将测试图片输入YOLO-V3网络，只提取行人目标区域作为候选框，将提取的N个候选框分别输入联合训练后的编码器网络进行特征编码，映射到1024-d维度的向量d_i，将所有向量依次与待检测目标的1024-d维度的特征向量d_obj进行欧式距离计算，设定阈值l为5，找到阈值范围内的最小距离作为最终目标区域，公式如下所示。

实施例

测试实施例采用某高校校园的实拍图像和视频，图像分辨率为231*721，图像大小一般在44KB左右，视频大小一般在120MB左右，具体根据视频时间长短而定，训练样本采用Market-1501数据集，其包括由6个摄像头(其中5个高清摄像头和1个低清摄像头)拍摄到的1501个行人、32668个检测到的行人矩形框。每个行人至少由2个摄像头捕获到，并且在一个摄像头中可能具有多张图像。训练集有751人，包含12,936张图像，平均每个人有17.2张训练数据。

首先根据步骤一，在Market-1501数据集上构造三元组训练数据集训练编码器模型。对于每个mini-batch，它包含128个人的图像，其中32个属于同一个人，其中96个属于不同的人。所有图像都调整为256×128。

根据步骤二，基础模型采用在COCO训练集上预训练缺陷检测模型InceptionV2，该网络由随机梯度下降(SGD)优化，动量为0.9。初始学习率设置为0.001，并且每40个epoch减少到其先前值的0.1。训练过程迭代80个epoch。

根据步骤三，采用Adam优化器来优化生成网络(G)，采用SGD优化判别网络(D)。G，D的初始学习率分别设定为0.0001,0.001。学习率在前50个epoch保持不变，然后在接下来的50个epoch逐渐减少到其先前值的0.1(此时固定编码器网络中的InceptionV2)。网络结构如图2、图3所示。

根据步骤四，采用SGD优化身份判别网络，初始学习率设定为0.001，学习率在前40个epoch保持不变，然后在接下来的40个epoch逐渐减少到其先前值的0.1，网络结构如图4所示。

根据步骤五，在加载各个网络的预训练参数后，我们使用Adam来优化编码器网络，GAN网络中的生成器模型，以及用SGD优化GAN网络中的判别模型和身份判别网络。学习率在前25个时期保持不变，设置为0.0001，然后在接下来的25个epoch逐渐减少到其先前值的0.1，整体训练过程如图5所示。

根据步骤六，检测网络的整体流程如图6所示，将图7目标图像和视频输入检测网络中，首先利用YOLO-V3模型在视频的每一帧中产生行人区域候选框，然后将所有候选框编码特征向量与目标图像编码的特征向量进行距离映射最后通过设定的阈值确定最终的目标区域。在输入视频中搜索到目标行人的不同角度展示结果如图8、图9、图10所示。

最后应说明的是：本方法所设计的各种参数需要根据实际应用的具体兴趣进行调整。以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于生成对抗网络的行人重识别检测方法，其特征在于步骤如下：

一.样本采集

网络训练集采用Market-1501数据集，利用Market-1501数据集构建编码器网络的训练数据集，即三元组形式；

二.训练编码器网络

使用triple loss函数训练编码器网络，使得相同身份的行人类内距离减小，不同身份的行人类间距离增大；

三.训练GAN网络

训练生成判别模型，使用噪声向量维度256-d，并将噪声向量与编码器网络提取的1024-d进行拼接，产生1280-d向量；

四.训练身份判别网络

身份判别网络确定了输入图像是否是同一个行人，利用来自编码器网络的两个输入图像的视觉特征；

五.联合训练网络

联合训练网络是同时更新三个网络的参数，联合不同任务互相促进网络性能；

将编码器网络的编码特征应用到GAN网络中，通过博弈对抗思维联合训练身份判别网络，联合训练中输入图像的视觉特征只有GAN网络中生成的假图片，引导身份判别网络的判别能力、GAN网络判别能力和造假能力、编码器网络编码能力；网络联合训练完后，只利用编码器网络进行后续工作；

六.将行人检测与行人重识别统一框架

将检测模型YOLO-V3与模型的编码器网络统一到一个框架，针对视频序列进行端到端检索，完成目标检索。

2.根据权利要求1所述的方法，其特征在于样本采集具体步骤如下：

(1)下载Market-1501数据集，根据不同身份行人的各种角度照片，将相同身份行人的不同角度放在一个文件夹下，不同身份行人有不同的文件夹；

(2)构建三元组，从上一步骤中整理好的训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor属于同一类的样本和不同类的样本,这两个样本对应的称为Positive和Negative，由此构成一个Anchor，Positive，Negative三元组用于训练编码器模型；

(3)将相同文件夹下的行人设定label为1，不同文件夹下的行人设定label为0；这个label是用于训练身份判别模型。

3.根据权利要求1所述的方法，其特征在于训练编码器网络具体步骤如下：

使用inception-v2网络结构作为编码器网络的基础框架，提取特征的维度1024-d，搭建编码器网络模型；

编码器网络中应用Triplet Loss损失函数，Triplet Loss的学习后使得Positive样本和Anchor样本之间的距离最小，而和Negative样本之间距离最大；将映射空间中不同类别之间的间距变大，相同类别之间的间距变小；在所有训练样本中选择mini-batch，减少三元组的重复组合。

4.根据权利要求1所述的方法，其特征在于训练GAN网络具体步骤如下：

inception-v2网络结构作为判别网络的基础框架，最后输出结果的维度2-d；在生成网络中使用噪声向量维度256-d，并将噪声向量与编码器网络提取的1024-d进行拼接，产生1280-d向量，将其上采样后输出生成假图像；搭建GAN网络后，让其学习不同行人特征的数据分布。

5.根据权利要求1所述的方法，其特征在于训练身份判别网络具体步骤如下：

身份判别网络基础网络仍然使用inception-v2网络结构，网络最终输出维度1-d，代表输入的样本对属于相同行人的概率；网络训练中使用二进制交叉熵损失；首先利用真实图片训练身份判别网络，让网络学习到怎样去判别人的身份特征，然后利用真假图片的混合数据，继续训练身份判别网络。

6.根据权利要求1所述的方法，其特征在于将行人检测与行人重识别统一框架具体步骤如下：

首先将测试图片输入YOLO-V3网络，只提取行人目标区域作为候选框，将提取的N个候选框分别输入联合训练后的编码器网络进行特征编码，映射到1024-d维度的向量，将所有向量依次与待检测目标的1024-d维度的特征向量进行欧式距离计算，设定阈值为5，找到阈值范围内的最小距离作为最终目标区域。