CN108596026B - 基于双流生成对抗网络的跨视角步态识别装置及训练方法 - Google Patents

Abstract

本发明属于计算机视觉和模式识别领域，具体涉及一种基于双流生成对抗网络的跨视角步态识别装置及训练方法。旨在解决跨视角步态识别准确率不高的问题。具体包括：通过一个全局流生成对抗网络模型学习一个标准角度的全局流步态能量图像；利用三个局部流生成对抗网络模型学习标准角度的局部流步态能量图像；该方法中的全局流模型能够学到全局步态特征，在全局流模型的基础上，加入局部流网络，可以学到局部步态特征；通过在双流生成对抗网络的生成器上加入像素级约束可以恢复步态细节；通过将全局步态特征和局部步态特征进行融合，可以提升步态识别准确率。该方法对于步态图像具有极强的鲁棒性，可以较好的解决跨视角步态识别问题。

Description

基于双流生成对抗网络的跨视角步态识别装置及训练方法

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种基于双流生成对抗网络的跨视角步态识别装置及训练方法。

背景技术

步态识别问题是计算机视觉、生物特征识别等领域最重要的问题之一。视角的变化是对步态识别准确率影响最大的因素，然而，传统的步态识别方法无法获得满意的结果。随着深度学习的发展，近来也有越来越多的研究者将深度学习应用到步态识别中。本方法提出的双流生成对抗网络的方法能够得到较好的步态识别准确率。

发明内容

为了解决现有技术中的上述问题，即为了解决跨视角步态识别准确率不高的问题，本发明的一方面，提供了一种基于双流生成对抗网络的跨视角步态识别装置，包括：一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器；

所述全局流生成对抗网络，用于将所输入的任意视角的步态能量图生成标准视角的全局步态能量图，输送至所述身份判别器；

所述局部流生成对抗网络，用于将所输入的任意视角的局部步态能量图生成标准视角的局部步态能量图，输送至所述身份判别器；

所述身份判别器，用于提取所述全局步态能量图的全局步态特征和所述局部步态能量图的局部步态特征，并进行融合得到融合特征，按照预设权值对该融合特征和预设注册集样本的相似性进行比较，得到身份识别结果。

进一步地，所述身份判别器包括全局身份判别器、局部身份判别器；

所述全局身份判别器接收全局步态能量图，提取所述全局步态特征；

所述局部身份判别器接收局部步态能量图，提取所述局部步态特征。

进一步地，所述身份判别器将所述全局步态特征和所述局部步态特征进行融合得到所述融合特征，并在身份判别器的全连接层进行分类，输出身份识别结果。

进一步地，所述跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置；

所述全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口，所述全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图；

所述局部流生成对抗网络的输入端口连接局部流预处理装置，所述局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图，并将归一化后的步态能量图均等的划分为多个部分。

进一步地，所述全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器；所述局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器；

所述全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成；

所述局部流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。

进一步地，所述全局流生成对抗网络生成器的卷积层和反卷积层中，每层均包括多种不同尺度的滤波器，用以捕捉不同尺度的步态特征。

进一步地，所述身份判别器由多个卷积层组成。

本发明的另一方面，还提供了一种基于双流生成对抗网络的跨视角步态识别训练方法，基于上述的基于双流生成对抗网络的跨视角步态识别装置，

步骤S1：基于反向传播法和随机梯度下降法训练所述全局流生成对抗网络；

步骤S2：基于反向传播法和随机梯度下降法训练所述局部流生成对抗网络；

步骤S3：基于训练后的所述全局流生成对抗网络生成器生成的全局步态能量图和训练后的所述局部流生成对抗网络生成器生成的局部步态能量图，训练身份判别器。

进一步地，所述步骤S1具体为：

步骤S11：将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图，且所述全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较，得到两者之间像素级别的误差；

步骤S12：将所述标准视角的步态能量图输入至全局流生成对抗网络判别器，对生成的标准视角的全局步态能量图进行真/伪判断；

步骤S13：基于反向传播法和随机梯度下降法训练全局流生成对抗网络；

步骤S14：重复步骤S11-S13，直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡。

进一步地，在训练全局流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器，经过多次迭代，生成标准视角的全局步态能量图。

进一步地，所述步骤S2具体为：

步骤S21：将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图，且所述局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角局部步态能量图进行比较，得到两者之间像素级别的误差；

步骤S22：将所述标准视角的局部步态能量图输入至局部流生成对抗网络判别器，对生成的标准视角的局部步态能量图进行真/伪判断；

步骤S23：基于反向传播法和随机梯度下降法训练局部流生成对抗网络；

步骤S24：重复步骤S21-S23，直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。

进一步地，在训练局部流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器，经过多次迭代，生成标准视角的局部步态能量图。

进一步地，所述步骤S3具体为：

步骤S31：将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图，输入至身份判别器，进行身份识别；

步骤S32：将身份识别结果与真实身份标记进行比较，得到预测误差；

步骤S33：基于反向传播法和随机梯度下降法减小预测误差，优化身份判别器；

步骤S34：重复步骤S31-S33，直到达到设定的迭代次数。

本发明有益效果：

(1)本发明的全局流生成对抗网络和局部流生成对抗网络能够很好的利用任意角度的步态能量图像学到标准角度的步态能量图像分布，其中在全局流生成器网络中引入多种不同尺度的滤波器，通过这种方式，其生成器可以在每个卷积层上都能捕捉到不同尺度的步态特征，有利于提高识别准确率；

(2)本发明基于全局流生成对抗网络学习得到标准视角的全局步态能量图，基于局部流生成对抗网络学习得到标准视角的局部步态能量图，提取标准视角的全局步态能量图的全局步态特征和标准视角的局部步态能量图的局部步态特征，通过全局步态特征和局部步态特征的融合特征进行步态识别，提高步态识别准确率；

(3)本发明的全局流生成对抗网络和局部流生成对抗网络，在生成的标准视角的步态能量图中加入了像素级别的约束，能够在像素级别上恢复步态细节，提高最终的识别精度。

附图说明

图1是本发明一种实施例的全局流生成对抗网络生成器结构示意图；

图2是本发明一种实施例的三个局部流生成对抗网络生成器结构示意图；

图3是本发明一种实施例的双流生成对抗网络总结构示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的目的是针对现有技术在跨视角步态识别中遇到的问题，通过全局流和局部流的生成对抗网络模型，利用全局流生成对抗网络学习全局步态特征，利用局部流生成对抗网络学习局部步态特征，通过加入像素级别上的约束来恢复步态细节，并加入身份分类器对行人进行身份识别。首先利用原始步态序列经分割后相加取平均得到的任意角度的步态能量图像训练全局流生成对抗网络模型；将步态能量图像均匀分成多个部分，分别训练对应的多个局部生成对抗网络模型；然后将生成的90°视角的全局步态能量图像和局部步态能量图像分别作为两个身份分类器的输入；最后在顶层提取全局和局部步态特征进行融合，通过比较注册集和探测集样本之间的相似性进行身份判别。

为实现上述目的，本发明实施例提供了一种基于双流生成对抗网络的跨视角步态识别装置，包括一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器。

全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器。全局流生成对抗网络基于全局流生成对抗网络生成器，将输入的任意视角的步态能量图生成标准视角(即90°视角)的全局步态能量图，输送至身份判别器。

全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。全局流生成对抗网络生成器的卷积层和反卷积层中，每层均包括多个不同尺度的滤波器，用以在每个卷积层和反卷积层中捕捉不同尺度的步态特征，本实施例的全局流生成对抗网络的生成器的具体结构如图1所示，全局流生成对抗网络生成器共包含5个卷积层和5个反卷积层。第一个卷积层含有48个滤波器(大小为5×5)，步长为2，第二个卷积层有三种滤波器(大小分别为3×3,5×5,7×7)，每种滤波器的个数均为32个，步长为2；第3、4、5个卷积层同第2个卷积层。第6、7、8、9层均为反卷积层，均有三种滤波器(大小分别为3×3,5×5,7×7)，每种滤波器的个数均为32个，步长为2；第十层也为反卷积层，含有32个滤波器(大小为4×4)，步长为2。在全局流生成对抗网络生成器的最后一层输出生成的90°视角的全局步态能量图。

局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器。局部流生成对抗网络基于局部流生成对抗网络生成器，将输入的任意视角的局部步态能量图生成标准视角的局部步态能量图，输送至身份判别器。

本发明基于双流生成对抗网络的跨视角步态识别装置中包括多个局部流生成对抗网络。将一张任意视角的步态能量图划分为多个部分后，通过多个局部流生成对抗网络生成标准视角的局部步态能量图，输送至身份判别器。本发明实施例中包括三个局部流生成对抗网络，即将一张任意视角的步态能量图通过局部流预处理装置均匀地划分为上、中、下三个部分后，再通过对应的局部流生成对抗网络生成器生成标准视角的局部步态能量图，输送至身份判别器。

每个局部流生成对抗网络生成器是由多个卷积层和多个对应的反卷积层组成。本发明实施例中局部流生成对抗网络，每个子网络均含有5个卷积层与5个反卷积层，具体结构如图2所示，第一个卷积层含有48个滤波器(大小为5×5)，步长为2。第二个卷积层含有64个滤波器(大小为3×3)，步长为2。第三个卷积层含有64个滤波器(大小为3×3)，第四、五个卷积层同第二个卷积层。第6层为反卷积层，含有64个滤波器(大小为3×3)，步长为2。第七、第九层的反卷积层同第六层。第八层为反卷积层，含有64个滤波器(大小为3×3)，第十层为反卷积层，含有64个滤波器(大小为4×4)，步长为2。图2的水平方向上所示各层的步长为2，图2的垂直方向上所示各层的步长为1。在局部流生成对抗网络生成器的最后一层输出生成的90°视角的局部步态能量图。

身份判别器包括全局身份判别器、局部身份判别器。全局身份判别器是由多个卷积层组成，局部身份判别器也是由多个卷积层组成。单独的全局身份判别器的输出层为一个全连接层，可对提取的全局步态特征进行分类，单独的局部身份判别器的输出层也为一个全连接层，可对提取的局部步态特征进行分类。而本发明中使用的全局身份判别器、局部身份判别器主要是为了提取全局步态特征和局部步态特征，所以在提取全局步态特征和局部步态特征后，直接进行融合的步骤，即将全局和局部步态特征表达通过相加的方式进行融合，合成一个既包含全局信息又包含局部信息的步态特征表达(融合特征)，最终将融合特征在身份判别器的全连接层进行分类，得到跨视角的步态识别的身份识别结果。身份判别器的全连接层含有124个1×1的滤波器。

本发明实施例的跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置。

全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口，全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图，(如：126×126像素)。

局部流生成对抗网络的输入端口连接局部流预处理装置，局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图(如126×126像素)，并将归一化后的步态能量图均等的划分为多个部分，如均匀地切成上、中、下三部分(每部分为126×42像素)。

上述基于双流生成对抗网络的跨视角步态识别装置能够更加精确地进行身份识别，主要表现在：全局流生成对抗网络和局部流生成对抗网络能够很好的利用任意角度的步态能量图像学到标准角度的步态能量图像分布，其中在全局流生成器网络中引入多种不同尺度的滤波器，通过这种方式，其生成器可以在每个卷积层和反卷积层上都能捕捉到不同尺度的步态特征，有利于提高识别准确率，且本发明基于全局流生成对抗网络学习得到标准视角的全局步态能量图，基于局部流生成对抗网络学习得到标准视角的局部步态能量图，提取标准视角的全局步态能量图的全局步态特征和标准视角的局部步态能量图的局部步态特征，通过全局步态特征和局部步态特征的融合特征进行步态识别，提高步态识别的准确率。

本实施例提供的基于双流生成对抗网络的跨视角步态识别训练方法，采用深度学习技术来分别训练全局流和局部流生成对抗网络模型，且在训练过程中引入了像素级别的约束，这样能够在像素级别上恢复步态细节，有利于生成对抗网络学到更精准的标准角度步态能量图像；利用生成的接近真实分布的标准视角的步态能量图像进行分类器训练，在分类器的顶层将全局和局部步态特征进行融合，可以提高步态身份识别的准确率。本实施例的一种基于双流生成对抗网络的跨视角步态识别训练方法，是基于上述的步态识别装置，该训练具体包括：

步骤S1：基于反向传播法和随机梯度下降法训练全局流生成对抗网络，具体为：

步骤Sa11：将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图，且全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较，得到两者之间像素级别的误差；

步骤Sa12：将标准视角的步态能量图输入至全局流生成对抗网络判别器，对生成的标准视角的全局步态能量图进行真/伪判断；具体地，若生成标准视角的步态能量图与真实的标准视角的步态能量相同则判别结果为真，否则为假。

步骤Sa13：基于反向传播法和随机梯度下降法训练全局流生成对抗网络；

步骤Sa14：重复步骤S11-S13，直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡。

步骤S2：基于反向传播法和随机梯度下降法训练局部流生成对抗网络，具体为：

步骤Sa21：将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图，且局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角局部步态能量图进行比较，得到两者之间像素级别的误差；

步骤Sa22：将标准视角的局部步态能量图输入至局部流生成对抗网络判别器，对生成的标准视角的全局步态能量图进行真/伪判断；具体地，若生成标准视角的局部步态能量图与真实的标准视角的局部步态能量相同则判别结果为真，否则为假。

步骤Sa23：基于反向传播法和随机梯度下降法训练局部流生成对抗网络；

步骤Sa24：重复步骤S21-S23，直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。

步骤S3：基于训练后的全局流生成对抗网络生成器生成的全局步态能量图和训练后的局部流生成对抗网络生成器生成的局部步态能量图，训练身份判别器，具体为：

步骤Sa31：将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图，输入至身份判别器，进行身份识别；

步骤Sa32：将身份识别结果与真实身份标记进行比较，得到预测误差；

步骤Sa33：基于反向传播法和随机梯度下降法减小预测误差，优化身份判别器；

步骤Sa34：重复步骤S31-S33，直到达到设定的迭代次数。

在训练全局流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器，经过多次迭代，生成标准视角的全局步态能量图。

在训练局部流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器，经过多次迭代，生成标准视角的局部步态能量图。

以某大型步态数据库为例，共包含13640张步态能量图像及对应的身份标注，基于上述的步态识别装置，如图3所示，该装置包括：全局流预处理装置、局部流预处理装置、全局流生成器(全局流生成对抗网络生成器)、局部流生成器(局部流生成对抗网络生成器)、全局流判别器(全局流生成对抗网络判别器)、局部流判别器(局部流生成对抗网络生成器)、身份判别器，下面具体描述本发明基于双流生成对抗网络的跨视角步态识别训练方法的技术细节。

基于双流生成对抗网络的跨视角步态识别训练方法，具体包括如下步骤：

步骤A0：将数据集中的13640张步态能量图像经全局流预处理装置进行预处理，归一化至统一的大小：126×126像素，然后将任意视角的步态能量图送入全局流生成器网络进行预训练，大约需要1000次迭代，生成标准视角(即90°视角)的步态能量图，将生成的步态能量图与真实的90°视角的步态能量图的每个像素点计算差值，然后进行求和取平均，得到像素级别的误差，该误差为126×126个像素点的误差总和。

步骤A1：将预训练生成的90°视角的步态能量图输入全局流判别器中，对生成的标准视角的全局步态能量图进行真/伪判断。

步骤A2：采用反向传播算法和随机梯度下降法来减少误差以训练全局流生成对抗网络，经过全局流判别器和全局流生成器的反复对抗迭代训练，大约需要反复10次，每次进行500次左右的迭代，最终全局流生成对抗网络生成器和全局流生成对抗网络判别器之间形成纳什均衡，生成更接近真实分布的90°视角的步态能量图；

步骤A3：将数据集中的步态能量图像经局部流预处理装置进行预处理，归一化至统一的大小(如126×126像素)后，均匀的切成上、中、下三部分，大小均为：126×42像素；

步骤A4：将上、中、下三部分步态能量图像分别送入3个局部生成器网络进行预训练，生成90°视角的步态能量图，将生成的步态能量图与真实的90°视角的步态能量图进行比较，即将生成的步态能量图与真实的90°视角的步态能量图的每个像素点计算差值，然后进行求和取平均，得到像素级别的误差。

步骤A5：将预训练生成的上、中、下三部分90°视角的步态能量图输入局部流判别器中，局部流判别器网络中的每层设置同全局流判别器网络；

步骤A6：采用反向传播算法和随机梯度下降法来减少误差以训练局部流生成对抗网络，经过局部流判别器和局部流生成器的反复对抗迭代训练，最终局部流生成器和局部流判别器之间达到纳什平衡，生成更接近真实分布的90°视角的步态能量图；

步骤A7：在全局流和局部流的生成对抗网络模型的生成器网络的最后一层分别输出生成的标准视角的全局步态能量图和标准视角的局部步态能量图；

步骤A8：将A7中得到的全局流和局部流步态能量图分别送入对应的全局身份判别器和局部身份判别器进行训练，大约需要迭代40000次。

步骤A9：全局身份判别器和局部身份判别器输出步态特征表达；

步骤A10：将全局和局部步态特征表达进行融合，并在身份判别器的全连接层进行分类；

步骤A11：将输出的分类结果与对应的真实的身份标记进行比较得到预测误差；

步骤A12：采用反向传播算法和随机梯度下降法来减小误差以训练该身份判别器网络，经过迭代训练直到达到设定的迭代次数；

步骤A13：此时，得到最终的识别模型，可从身份判别器网络的输出端得到跨视角步态识别结果。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的装置及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些方法或者装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述方法包括：

步骤S1：基于反向传播法和随机梯度下降法训练全局流生成对抗网络，具体包括：步骤S11：将数据集中的步态能量图输入至全局流生成对抗网络生成器生成标准视角的全局步态能量图，且所述全局流生成对抗网络生成器的输出层将生成的标准视角的全局步态能量图与真实标准视角步态能量图进行比较，得到两者之间像素级别的误差；步骤S12：将所述标准视角的步态能量图输入至全局流生成对抗网络判别器，对生成的标准视角的全局步态能量图进行真/伪判断；步骤S13：基于反向传播法和随机梯度下降法训练全局流生成对抗网络；步骤S14：重复步骤S11-S13，直到全局流生成对抗网络生成器和全局流生成对抗网络判别器之间达到纳什均衡；

步骤S2：基于反向传播法和随机梯度下降法训练局部流生成对抗网络；

步骤S3：基于训练后的全局流生成对抗网络生成器生成的全局步态能量图和训练后的局部流生成对抗网络生成器生成的局部步态能量图，训练身份判别器；

所述基于双流生成对抗网络的跨视角步态识别装置包括一个全局流生成对抗网络、多个局部流生成对抗网络、一个身份判别器；所述全局流生成对抗网络，用于将所输入的任意视角的步态能量图生成标准视角的全局步态能量图，输送至所述身份判别器；所述局部流生成对抗网络，用于将所输入的任意视角的局部步态能量图生成标准视角的局部步态能量图，输送至所述身份判别器；所述身份判别器，用于提取所述全局步态能量图的全局步态特征和所述局部步态能量图的局部步态特征，并进行融合得到融合特征，按照预设权值对该融合特征和预设注册集样本的相似性进行比较，得到身份识别结果。

2.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，在训练全局流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的步态能量图送入全局流生成对抗网络生成器，经过多次迭代，生成标准视角的全局步态能量图。

3.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述步骤S2具体为：

步骤S21：将数据集中的步态能量图输入至局部流生成对抗网络生成器生成标准视角的局部步态能量图，且所述局部流生成对抗网络生成器的输出层将生成的标准视角的局部步态能量图与真实标准视角步态能量图进行比较，得到两者之间像素级别的误差；

步骤S22：将所述标准视角的步态能量图输入至局部流生成对抗网络判别器，对生成的标准视角的局部步态能量图进行真/伪判断；

步骤S23：基于反向传播法和随机梯度下降法训练局部流生成对抗网络；

步骤S24：重复步骤S21-S23，直到局部流生成对抗网络生成器和局部流生成对抗网络判别器之间达到纳什均衡。

4.根据权利要求3所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，在训练局部流生成对抗网络之前还包括预训练过程，具体为：将归一化后任意视角的局部步态能量图送入局部流的生成器网络生成器，经过多次迭代，生成标准视角的局部步态能量图。

5.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述步骤S3具体为：

步骤S31：将训练后的全局流生成对抗网络生成器生成的全局步态能量图、训练后的局部流生成对抗网络生成器生成的局部步态能量图，输入至身份判别器，进行身份识别；

步骤S32：将身份识别结果与真实身份标记进行比较，得到预测误差；

步骤S33：基于反向传播法和随机梯度下降法减小预测误差，优化身份判别器；

步骤S34：重复步骤S31-S33，直到达到设定的迭代次数。

6.根据权利要求1所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述身份判别器包括全局身份判别器、局部身份判别器；

所述全局身份判别器接收全局步态能量图，提取所述全局步态特征；

所述局部身份判别器接收局部步态能量图，提取所述局部步态特征。

7.根据权利要求6所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述身份判别器将所述全局步态特征和所述局部步态特征进行融合得到所述融合特征，并在身份判别器的全连接层进行分类，输出身份识别结果。

8.根据权利要求6所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述跨视角步态识别装置还包括全局流预处理装置、局部流预处理装置；

所述全局流生成对抗网络的输入端口连接全局流预处理装置的输出端口，所述全局流预处理装置用于将步态能量图归一化为统一大小的步态能量图；

所述局部流生成对抗网络的输入端口连接局部流预处理装置，所述局部流预处理装置用于将步态能量图归一化为统一大小的步态能量图，并将归一化后的步态能量图均等的划分为多个部分。

9.根据权利要求6所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述全局流生成对抗网络包括全局流生成对抗网络生成器和全局流生成对抗网络判别器；所述局部流生成对抗网络包括局部流生成对抗网络生成器和局部流生成对抗网络判别器；

所述全局流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成；

所述局部流生成对抗网络生成器由多个卷积层和多个对应的反卷积层组成。

10.根据权利要求9所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述全局流生成对抗网络生成器的卷积层和反卷积层中，每层均包括多种不同尺度的滤波器，用以捕捉不同尺度的步态特征。

11.根据权利要求7所述的基于双流生成对抗网络的跨视角步态识别装置的训练方法，其特征在于，所述身份判别器由多个卷积层组成。

Images