CN112115771B - 一种基于星形生成对抗网络的步态图像合成方法 - Google Patents

Abstract

本发明公开了一种基于星形生成对抗网络的步态图像合成方法，属于计算机视觉与模式识别领域。首先，将不同干扰类型下的步态假样本视为不同的域，训练星形生成对抗网络，进而自动生成不同干扰类型下的步态假样本；再将自动生成的步态假样本与真实样本进行基于预计最大平均差的分布对齐，使得步态假样本和真实样本的分布更加有效地融合在一起，最后，将对齐后的步态假样本和真实样本合并到一起以实现步态数据库中样本的扩充。本发明充分利用现有的图像数据合成不同干扰类型下的步态假样本，降低了人工采集不同干扰类型下的步态假样本的成本，解决了难以收集到同一个目标在所有干扰类型下样本的难题，对步态识别的产业化进程起到重要的推动作用。

Description

一种基于星形生成对抗网络的步态图像合成方法

技术领域

本发明涉及计算机视觉与模式识别技术领域，具体涉及一种基于星形生成对抗网络的步态图像合成方法。

背景技术

由于步态识别精度极易受到服饰、携带物等干扰因素的影响，当前的步态识别研究仍然主要停留在实验室研究阶段，尚未在实际场景中得到广泛推广与应用。近年来，深度学习的迅速发展使图像识别领域的性能上升到了新的高度，在步态识别领域也表现出了远远超出传统步态识别方法的效果，对步态识别的产业化进程起到了重要的推动作用。但现有的步态数据库样本数量的限制使深度学习并没有发挥出与图像识别领域相当的优势。并且，步态识别精度易受到各种干扰因素的影响，在基于深度学习的步态识别方法中，若测试阶段的步态样本受到训练过程中未出现的干扰因素的干扰，则识别结果极易出现错误，而在现实场景中收集到每个目标的、包含所有类型的干扰因素的步态训练样本是难以实现的。因此，如何根据现有的步态训练数据合成更多干扰类型下的步态训练样本，为基于深度学习的步态识别方法提供数据支持，是提高步态识别在实际场景中的实用性和可行性的重要途径。

目前已有的基于生成对抗网络的步态识别方法主要通过自动合成不同视角下的步态能量图实现步态样本扩充，该类方法中，每两个视角之间的步态能量图转换均需要训练一个单独的生成对抗网络，而由于目前步态样本匮乏，步态能量图对步态样本质量要求高，使得生成对抗网络的性能因训练数据不足受到限制，进而限制了对步态样本的扩充能力。

发明内容

本发明的目的是为了解决现有基于深度学习的步态识别方法因样本数量不足、样本设计干扰类型不足导致的在实际应用场景下识别精度大幅度下降的缺陷，提供一种基于星形生成对抗网络的步态图像合成方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于星形生成对抗网络的步态图像合成方法，所述的步态图像合成方法包括以下步骤：

S1、使用卷积层、BN层、Relu层和池化层构建基于编码-解码结构的图像生成器，用于生成不同类型的步态图像；

S2、使用卷积层、BN层、Relu层和池化层构建图像判别器，用于对合成的假步态图像与真实步态图像进行判别，并对合成的假步态图像进行视角分类；

S3、基于生成器输出的假步态图像设计损失函数

其中

表示对抗损失函数、

表示域分类损失函数，

表示重构损失函数，三类损失函数的计算方法如下：

假设真实步态样本为X，生成器生成的步态假样本为Y，则对抗损失函数的表达式为：

其中log D(X)表示将真实步态样本X输入判别器D后得到的输出值的对数值，

表示log D(X)在真实步态样本X的整体分布上的均值，G(X,v_t)表示生成器合成的在目标域为v_t时的步态假样本，D(G(X,v_t))表示将假样本G(X,v_t)输入判别器D后得到的输出值，当X取不同的步态样本时，会生成在目标域v_t下的不同的假步态图像G(X,v_t)，

表示当X取不同的步态样本、v_t为不同的目标域时得到的所有log(1-D(G(X,v_t)))的均值；

域分类损失函数的表达式为：

其中D_view(v_t|X)表示将真实步态样本X输入域判别器D_view时，域判别器D_view将X分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值log D_view(v_t|X)的均值，D_view(v_t|G(X,v_t))表示将假步态图像G(X,v_t)输入域判别器D_view时，D_view将G(X,v_t)分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值-log D_view(v_t|G(X,v_t))的均值；

重构损失函数的表达式为：

其中G(X,v_t)表示将真实步态样本X输入生成器G后，G合成的在目标域为v_t时的步态假样本，G(G(X,v_t),v)表示将假样本G(X,v_t)输入生成器G后，G合成的在源域v上的步态假样本，即重构样本，其中源域v表示真实步态样本X所对应的域，||X-G(G(X,v_t),v)||₁表示真实步态样本与重构样本之间差值的L1范数，

表示当X取不同的步态样本、目标域v_t和源域v取不同的值时得到的所有L1范数||X-G(G(X,v_t),v)||₁的均值；

S4、获取不同域下的步态样本作为训练数据，依次将每一个域内的步态样本和待生成步态样本的目标域标签作为输入，将目标域内的步态样本作为输出，通过Adam优化算法对星形生成对抗网络进行训练，目标域的标签用由0、1组成的向量表示，假设目标域总数为O，则第α个目标域的标签用向量

表示；

S5、将真实步态样本X和目标域标签t_label输入经步骤S4训练后的星形生成对抗网络，训练后的星形生成对抗网络的生成器G生成该目标域内的步态假样本，通过使t_label取不同值，即可得到不同域内的步态假样本；

S6、使用N个、神经元数目为n_e的全连接层依次连接构造分布对齐网络，用于对真实步态样本和步态假样本进行分布对齐，以减少真实步态样本和步态假样本的分布差异，其中N∈{3,4,6}，n_e∈{256,512,1024}；

S7、为训练步骤S6中构造的分布对齐网络，基于同一个目标的真实步态样本与合成步态假样本的预计最大平均差设计损失函数，假设真实步态样本的集合为

表示第l个真实样本，

表示第l个真实样本对应的身份标签，n表示真实步态样本数量，合成步态假样本的集合为

表示第s个合成步态假样本，y_fs表示第s个合成步态假样本对应的身份标签，m表示假步态样本数量，两个集合的标签集合满足

则分布对齐的表达式为：

其中η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子，c∈{1,...,C}表示目标的身份标签，P_r表示真实步态样本的边缘分布，P_f表示合成步态假样本的边缘分布，Q_r表示真实步态样本的条件分布，Q_f表示合成步态假样本的条件分布，D_F(P_r,P_f)表示边缘分布对齐表达式，

表示目标c的条件分布对齐表达式，将真实步态样本与合成步态假样本之间的分布差异通过预测最大平均差表示，则分布对齐表达式写为：

其中

表示希尔伯特空间，F(·)表示分布对齐网络，x_r表示由真实步态样本拼接形成的矩阵，

表示对将x_r输入分布对齐网络F(·)后得到的输出值求均值，x_f表示由假步态样本拼接形成的矩阵，

表示对将x_f输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的真实步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的假步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值；根据表示定理，将分布对齐表达式写为：

其中tr(·)表示求矩阵的迹，F∈R^(n+m)×d表示由每个样本拼接而成的矩阵，在该矩阵中，每一行表示一个样本x，d表示一个样本的维度，而矩阵

则用于计算不同样本之间的分布差异，其中M₀用于计算所有真实步态样本的总体分布与所有合成步态假样本的总体分布之间的差异，M_c用于计算对应于目标c的真实步态样本的总体分布与合成步态假样本的总体分布之间的差异，η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子。将矩阵M₀的第i行第j列的元素定义为(M₀)_ij，矩阵M_c的第i行第j列的元素定义为(M_c)_ij，则(M₀)_ij和(M_c)_ij的计算方法如下：

其中x_i和x_j表示特征矩阵F中第i行和第j行的样本，n和m表示真实样本和假样本的数量，n_c和m_c表示目标c对应的真实样本和假样本的数量。分布对齐网络的训练则通过最小化损失函数的输出值来实现；依据该损失函数对步骤S6中构造的分布对齐网络进行训练，训练完成后，将同一个目标的真实样本与步态假样本输入分布对齐网络，得到完成分布对齐后的真实步态样本与步态假样本；

S8、将同一个目标的、经分布对齐后的真实步态样本与步态假样本按照不同的域进行融合，即，将域k下的真实步态样本与域k下的步态假样本合并到一起，从而实现步态数据库的扩充。

进一步地，所述的基于编码-解码结构的图像生成器具体结构如下：

从输入层至输出层依次连接为：卷积层conv1_1、IN层conv1_1_in、Relu层conv1_1_relu、卷积层conv1_2、IN层conv1_2_in、Relu层conv1_2_relu、卷积层conv1_3、IN层conv1_3_in、Relu层conv1_3_relu、ResidualBlock层Res1_1、ResidualBlock层Res1_2、ResidualBlock层Res1_3、ResidualBlock层Res1_4、ResidualBlock层Res1_5、ResidualBlock层Res1_6、反卷积层Deconv1_4、IN层Deconv1_4_in、Relu层Deconv1_4_relu、反卷积层Deconv1_5、IN层Deconv1_5_in、Relu层Deconv1_5_relu、Tanh层Deconv1_5_tanh、卷积层conv2_1、IN层conv2_1_in、Relu层conv2_1_relu、卷积层conv2_2、IN层conv2_2_in、Relu层conv2_2_relu、卷积层conv2_3、IN层conv2_3_in、Relu层conv2_3_relu、ResidualBlock层Res2_1、ResidualBlock层Res2_2、ResidualBlock层Res2_3、ResidualBlock层Res2_4、ResidualBlock层Res2_5、ResidualBlock层Res2_6、反卷积层Deconv2_4、IN层Deconv2_4_in、Relu层Deconv2_4_relu、反卷积层Deconv2_5、IN层Deconv2_5_in、Relu层Deconv2_5_relu、Tanh层Deconv2_5_tanh、卷积层conv3_1、IN层conv3_1_in、Relu层conv3_1_relu、卷积层conv3_2、IN层conv3_2_in、Relu层conv3_2_relu、卷积层conv3_3、IN层conv3_3_in、Relu层conv3_3_relu、ResidualBlock层Res3、卷积层conv4_1、IN层conv4_1_in、Relu层conv4_1_relu、卷积层conv4_2、IN层conv4_2_in、ResidualBlock层Res4、卷积层conv5_1、IN层conv5_1_in、Relu层conv5_1_relu、卷积层conv5_2、IN层conv5_2_in、卷积层conv6_1、IN层conv6_1_in、Relu层conv6_1_relu、卷积层conv6_2、IN层conv6_2_in、ResidualBlock层Res5、卷积层conv7_1、IN层conv7_1_in、Relu层conv7_1_relu、卷积层conv7_2、IN层conv7_2_in、ResidualBlock层Res6、卷积层conv8_1、IN层conv8_1_in、Relu层conv8_1_relu、卷积层conv8_2、IN层conv8_2_in、卷积层conv9_1、IN层conv9_1_in、Relu层conv9_1_relu、卷积层conv9_2、IN层conv9_2_in、ResidualBlock层Res7、卷积层conv10_1、IN层conv10_1_in、Relu层conv10_1_relu、卷积层conv10_2、IN层conv10_2_in、卷积层conv11_1、IN层conv11_1_in、Relu层conv11_1_relu、卷积层conv11_2、IN层conv11_2_in、ResidualBlock层Res8、卷积层conv12_1、IN层conv12_1_in、Relu层conv12_1_relu、卷积层conv12_2、IN层conv12_2_in、卷积层conv13_1、IN层conv13_1_in、Relu层conv13_1_relu、卷积层conv13_2、IN层conv13_2_in、ResidualBlock层Res9、卷积层conv14_1、IN层conv14_1_in、Relu层conv14_1_relu、卷积层conv14_2、IN层conv14_2_in、卷积层conv15_1、IN层conv15_1_in、Relu层conv15_1_relu、卷积层conv15_2、IN层conv15_2_in、ResidualBlock层Res10、反卷积层Deconv16_4、IN层Deconv16_4_in、Relu层Deconv16_4_relu、反卷积层Deconv16_5、IN层Deconv16_5_in、Relu层Deconv16_5_relu、Tanh层Deconv16_5_tanh。

其中，ResidualBlock层的结构依次连接为：卷积层conv1、IN层conv1_in、Relu层conv1_relu、卷积层conv2、IN层conv2_in。

进一步地，所述的图像判别器具体结构如下：

从输入层至输出层依次连接为：卷积层conv1_1、LeakyRelu层conv1_1_leakyrelu、卷积层conv1_2、LeakyRelu层conv1_2_leakyrelu、卷积层conv1_3、LeakyRelu层conv1_3_leakyrelu、卷积层conv1_4、LeakyRelu层conv1_4_leakyrelu、卷积层conv1_5、LeakyRelu层conv1_5_leakyrelu、卷积层conv1_6、LeakyRelu层conv1_6_leakyrelu、卷积层conv2、卷积层conv3、卷积层conv4_1、LeakyRelu层conv4_1_leakyrelu、卷积层conv4_2、LeakyRelu层conv4_2_leakyrelu、卷积层conv4_3、LeakyRelu层conv4_3_leakyrelu、卷积层conv4_4、LeakyRelu层conv4_4_leakyrelu、卷积层conv4_5、LeakyRelu层conv4_5_leakyrelu、卷积层conv4_6、LeakyRelu层conv4_6_leakyrelu、卷积层conv5_1、LeakyRelu层conv5_1_leakyrelu、卷积层conv5_2、LeakyRelu层conv5_2_leakyrelu、卷积层conv5_3、LeakyRelu层conv5_3_leakyrelu、卷积层conv5_4、LeakyRelu层conv5_4_leakyrelu、卷积层conv5_5、LeakyRelu层conv5_5_leakyrelu、卷积层conv5_6、LeakyRelu层conv5_6_leakyrelu、卷积层conv6、卷积层conv7。

本发明相对于现有技术具有如下的优点及效果：

本发明通过星形生成对抗网络自动合成不同干扰类型下的步态假样本，并通过分布对齐网络对步态假样本与真实样本进行分布对齐，使得步态数据库无需再经过复杂、昂贵的样本收集过程即可完成数据扩展，扩展的数据量不受限制。并且，由于星形生成对抗网络的训练数据仅需要不同干扰类型下的步态假样本，无需身份标签，所以星形生成对抗网络的训练数据的收集过程无需耗费复杂的人力成本，只要训练数据涵盖的干扰类型足够，就可以使得星形生成对抗网络生成涵盖足够干扰类型的步态假样本，从而为深度步态识别模型的训练提供充足的样本支持，进而大幅度提升步态识别在实际应用场景下的识别精度，对步态识别的产业化应用产生重要的推动作用。

附图说明

图1是本发明实施例中步态假样本生成的流程示意图；

图2是本发明实施例中星形生成对抗网络结构示意图；

图3是本发明实施例中步态假样本分布对齐流程示意图；

图4是本发明实施例中提高深度步态识别模型对视角变化鲁棒性的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例通过星形生成对抗网络自动合成不同干扰类型下的步态样本，并将合成的假的步态样本与真实步态样本进行分布对齐，从而使得合成的假样本与真实样本的分布互相融合，为基于深度学习的步态识别方法提供数据支撑。

在本实施例中，首先需要将现有的不同干扰类型下的步态轮廓图作为训练数据，训练星形生成对抗网络。训练完成后，在测试阶段即可根据输入图像输出在不同干扰类型下的假的步态轮廓图。接下来将合成的假步态图像与真实步态图像进行分布对齐，步态图像分布对齐涉及的主要技术为流形对齐技术。在完成步态图像分布对齐后，分布对齐后的合成步态图像与真实步态图像合并到一起，实现步态数据库的样本扩展。

在上述过程中，步态轮廓图的提取涉及到的技术主要包括图像分割技术、轮廓检测技术、图像去噪技术；步态图像的合成涉及到的技术主要为星形生成对抗网络的训练技术；步态图像分布对齐涉及到的技术主要为流形对齐技术。

下面具体介绍一种基于星形生成对抗网络的步态图像合成方法的实现过程：

T1、收集对应于不同域的训练数据。将现有的不同干扰类型条件(可包括服饰、携带物、视角等)下的步态样本作为训练数据以训练星形生成对抗网络，每种干扰类型下的训练样本对应一个域标签。假设域的总数为O，则第i个域的标签用向量

表示。

T2、训练星形生成对抗网络。假设步态数据库中所有的域标签组成的集合为

将源域s下的步态样本和目标域t的域标签作为输入，将目标域t下的步态样本作为输出，对星形生成对抗网络进行训练，s和t可取集合

中的任意域标签。

本实施例中，星形生成对抗网络的结构如图2所示，该星形生成对抗网络由一个生成器G和一个判别器D组成对于生成器G，从输入层至输出层依次连接为：卷积层conv1_1、IN层conv1_1_in、Relu层conv1_1_relu、卷积层conv1_2、IN层conv1_2_in、Relu层conv1_2_relu、卷积层conv1_3、IN层conv1_3_in、Relu层conv1_3_relu、ResidualBlock层Res1_1、ResidualBlock层Res1_2、ResidualBlock层Res1_3、ResidualBlock层Res1_4、ResidualBlock层Res1_5、ResidualBlock层Res1_6、反卷积层Deconv1_4、IN层Deconv1_4_in、Relu层Deconv1_4_relu、反卷积层Deconv1_5、IN层Deconv1_5_in、Relu层Deconv1_5_relu、Tanh层Deconv1_5_tanh。其中，ResidualBlock层的结构依次连接为：卷积层conv1、IN层conv1_in、Relu层conv1_relu、卷积层conv2、IN层conv2_in。

对于判别器D，从输入层至输出层依次连接为：卷积层conv1_1、LeakyRelu层conv1_1_leakyrelu、卷积层conv1_2、LeakyRelu层conv1_2_leakyrelu、卷积层conv1_3、LeakyRelu层conv1_3_leakyrelu、卷积层conv1_4、LeakyRelu层conv1_4_leakyrelu、卷积层conv1_5、LeakyRelu层conv1_5_leakyrelu、卷积层conv1_6、LeakyRelu层conv1_6_leakyrelu、卷积层conv2、卷积层conv3、卷积层conv4_1、LeakyRelu层conv4_1_leakyrelu、卷积层conv4_2、LeakyRelu层conv4_2_leakyrelu、卷积层conv4_3、LeakyRelu层conv4_3_leakyrelu、卷积层conv4_4、LeakyRelu层conv4_4_leakyrelu、卷积层conv4_5、LeakyRelu层conv4_5_leakyrelu、卷积层conv4_6、LeakyRelu层conv4_6_leakyrelu、卷积层conv5_1、LeakyRelu层conv5_1_leakyrelu、卷积层conv5_2、LeakyRelu层conv5_2_leakyrelu、卷积层conv5_3、LeakyRelu层conv5_3_leakyrelu、卷积层conv5_4、LeakyRelu层conv5_4_leakyrelu、卷积层conv5_5、LeakyRelu层conv5_5_leakyrelu、卷积层conv5_6、LeakyRelu层conv5_6_leakyrelu、卷积层conv6、卷积层conv7。

本实施例中，星形生成对抗网络损失函数表示为

其中

表示对抗损失函数、

表示域分类损失函数，

表示重构损失函数，三类损失函数的计算方法如下：

假设真实步态样本为X，生成器生成的步态假样本为Y，则对抗损失函数的表达式为：

其中log D(X)表示将真实步态样本X输入判别器D后得到的输出值的对数值，

表示log D(X)在真实步态样本X的整体分布上的均值，G(X,v_t)表示生成器合成的在目标域为v_t时的步态假样本，D(G(X,v_t))表示将假样本G(X,v_t)输入判别器D后得到的输出值，当X取不同的步态样本时，会生成在目标域v_t下的不同的假步态图像G(X,v_t)，

表示当X取不同的步态样本、v_t为不同的目标域时得到的所有log(1-D(G(X,v_t)))的均值；

域分类损失函数的表达式为：

其中D_view(v_t|X)表示将真实步态样本X输入域判别器D_view时，域判别器D_view将X分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值log D_view(v_t|X)的均值，D_view(v_t|G(X,v_t))表示将假步态图像G(X,v_t)输入域判别器D_view时，D_view将G(X,v_t)分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值-log D_view(v_t|G(X,v_t))的均值；

重构损失函数的表达式为：

其中G(X,v_t)表示将真实步态样本X输入生成器G后，G合成的在目标域为v_t时的步态假样本，G(G(X,v_t),v)表示将假样本G(X,v_t)输入生成器G后，G合成的在源域v上的步态假样本，即重构样本，其中源域v表示真实步态样本X所对应的域，||X-G(G(X,v_t),v)||₁表示真实步态样本与重构样本之间差值的L1范数，

表示当X取不同的步态样本、目标域v_t和源域v取不同的值时得到的所有L1范数||X-G(G(X,v_t),v)||₁的均值。本实施例中，通过Adam优化算法对星形生成对抗网络进行训练。

T3、自动生成不同干扰类型下的步态假样本。将现有的步态样本和目标域标签

输入训练后的星形生成对抗网络，自动生成不同目标域内的步态假样本。

T4、将步态假样本与真实样本进行分布对齐。首先将同一个目标的真实样本与步态假样本作为输入，将两者的预计最大平均差作为损失函数输出，对分布对齐网络进行训练。训练完成后，将同一个目标的真实样本与步态假样本输入分布对齐网络，完成分布对齐。本实施例中，该分布对齐网络由6层全连接层组成，第1至3层的神经元数目为512，第4至6层的神经元数目为256。本实施例中，分布对齐网络的损失函数具体如下：

假设真实步态样本的集合为

表示第i个真实样本，

表示第i个真实样本对应的身份标签，n表示真实步态样本数量，合成步态假样本的集合为

表示第j个合成步态假样本，

表示第j个合成步态假样本对应的身份标签，m表示假步态样本数量，两个集合的标签集合满足

则分布对齐的表达式为：

其中η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子，c∈{1,...,C}表示目标的身份标签，P_r表示真实步态样本的边缘分布，P_f表示合成步态假样本的边缘分布，Q_r表示真实步态样本的条件分布，Q_f表示合成步态假样本的条件分布，D_F(P_r,P_f)表示边缘分布对齐表达式，

表示目标c的条件分布对齐表达式。由于真实步态样本与合成步态假样本之间的分布差异可以通过预测最大平均差表示，则分布对齐表达式可写为：

其中

表示希尔伯特空间，F(·)表示分布对齐网络，x_r表示由真实步态样本拼接形成的矩阵，

表示对将x_r输入分布对齐网络F(·)后得到的输出值求均值，x_f表示由假步态样本拼接形成的矩阵，

表示对将x_f输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的真实步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的假步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值。根据表示定理，分布对齐表达式可以写为：

其中tr(·)表示求矩阵的迹，F∈R^(n+m)×d表示由每个样本拼接而成的矩阵，在该矩阵中，每一行表示一个样本x，d表示一个样本的维度，而矩阵

则用于计算不同样本之间的分布差异，其中M₀用于计算所有真实步态样本的总体分布与所有合成步态假样本的总体分布之间的差异，M_c用于计算对应于目标c的真实步态样本的总体分布与合成步态假样本的总体分布之间的差异，η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子。将矩阵M₀的第i行第j列的元素定义为(M₀)_ij，矩阵M_c的第i行第j列的元素定义为(M_c)_ij，则(M₀)_ij和(M_c)_ij的计算方法如下：

其中x_i和x_j表示特征矩阵F中第i行和第j行的样本，n和m表示真实样本和假样本的数量，n_c和m_c表示目标c对应的真实样本和假样本的数量。分布对齐网络的训练则通过最小化分布对齐损失函数来实现。

T5、扩充步态数据库。将每个目标的真实样本与假样本进行分布对齐后合并到一起，即可实现步态数据库样本的扩充。扩充后的步态数据库可为高精度步态识别算法的研究提供充足的数据支撑。

综上所述，本实施例提出通过基于星形生成对抗网络的方法自动合成不同干扰类型下的步态图像，仅需要训练单一的星形生成对抗网络即可生成各类干扰类型下的步态样本，且无需计算步态能量图，从而可根据现有训练数据为每个目标自动生成不同干扰类型下的训练样本，使得基于深度学习的步态识别方法可以在训练阶段学习到不同干扰类型下的步态特征，从而极大地提高泛化能力。对于可自动合成不同干扰因素下的步态样本的星形生成对抗网络的训练，仅需收集不同干扰类型下的步态样本，无需身份标签信息，因此可通过自动爬取互联网上的行人图片信息作为训练数据，从而很大程度上节省了人力成本。通过自动合成步态样本的方法增加步态样本，提升步态识别性能，可充分挖掘出深度学习技术在步态识别领域的应用潜力，为步态识别性能的提升提供数据支持，对步态识别的产业化进程起到重要的推动作用。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于星形生成对抗网络的步态图像合成方法，其特征在于，所述的步态图像合成方法包括以下步骤：

S1、使用卷积层、BN层、Relu层和池化层构建基于编码-解码结构的图像生成器，用于生成不同类型的步态图像；

S2、使用卷积层、BN层、Relu层和池化层构建图像判别器，用于对合成的假步态图像与真实步态图像进行判别，并对合成的假步态图像进行视角分类；

S3、基于生成器输出的假步态图像设计损失函数

其中

表示对抗损失函数、

表示域分类损失函数，

表示重构损失函数，三类损失函数的计算方法如下：

假设真实步态样本为X，生成器生成的步态假样本为Y，则对抗损失函数的表达式为：

其中logD(X)表示将真实步态样本X输入判别器D后得到的输出值的对数值，

表示logD(X)在真实步态样本X的整体分布上的均值，G(X,v_t)表示生成器合成的在目标域为v_t时的步态假样本，D(G(X,v_t))表示将假样本G(X,v_t)输入判别器D后得到的输出值，当X取不同的步态样本时，会生成在目标域v_t下的不同的假步态图像G(X,v_t)，

表示当X取不同的步态样本、v_t为不同的目标域时得到的所有log(1-D(G(X,v_t)))的均值；

域分类损失函数的表达式为：

其中D_view(v_t|X)表示将真实步态样本X输入域判别器D_view时，域判别器D_view将X分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值logD_view(v_t|X)的均值，D_view(v_t|G(X,v_t))表示将假步态图像G(X,v_t)输入域判别器D_view时，D_view将G(X,v_t)分类为目标域v_t的概率，

表示当X取不同的步态样本、v_t取不同的目标域时得到的所有概率对数值-logD_view(v_t|G(X,v_t))的均值；

重构损失函数的表达式为：

其中G(X,v_t)表示将真实步态样本X输入生成器G后，G合成的在目标域为v_t时的步态假样本，G(G(X,v_t),v)表示将假样本G(X,v_t)输入生成器G后，G合成的在源域v上的步态假样本，即重构样本，其中源域v表示真实步态样本X所对应的域，||X-G(G(X,v_t),v)||₁表示真实步态样本与重构样本之间差值的L1范数，

表示当X取不同的步态样本、目标域v_t和源域v取不同的值时得到的所有L1范数||X-G(G(X,v_t),v)||₁的均值；

S4、获取不同域下的步态样本作为训练数据，依次将每一个域内的步态样本和待生成步态样本的目标域标签作为输入，将目标域内的步态样本作为输出，通过Adam优化算法对星形生成对抗网络进行训练，目标域的标签用由0、1组成的向量表示，假设目标域总数为O，则第α个目标域的标签用向量

表示；

S5、将真实步态样本X和目标域标签t_label输入经步骤S4训练后的星形生成对抗网络，训练后的星形生成对抗网络的生成器G生成该目标域内的步态假样本，通过使t_label取不同值，即可得到不同域内的步态假样本；

S6、使用N个、神经元数目为n_e的全连接层依次连接构造分布对齐网络，用于对真实步态样本和步态假样本进行分布对齐，其中N∈{3,4,6}，n_e∈{256,512,1024}；

S7、基于同一个目标的真实步态样本与合成步态假样本的预计最大平均差设计损失函数，假设真实步态样本的集合为

表示第l个真实样本，

表示第l个真实样本对应的身份标签，n表示真实步态样本数量，合成步态假样本的集合为

表示第s个合成步态假样本，

表示第s个合成步态假样本对应的身份标签，m表示假步态样本数量，两个集合的标签集合满足

则分布对齐的表达式为：

其中η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因子，c∈{1,...,C}表示目标的身份标签，P_r表示真实步态样本的边缘分布，P_f表示合成步态假样本的边缘分布，Q_r表示真实步态样本的条件分布，Q_f表示合成步态假样本的条件分布，D_F(P_r,P_f)表示边缘分布对齐表达式，

表示目标c的条件分布对齐表达式，将真实步态样本与合成步态假样本之间的分布差异通过预测最大平均差表示，则分布对齐表达式写为：

其中

表示希尔伯特空间，F(·)表示分布对齐网络，x_r表示由真实步态样本拼接形成的矩阵，

表示对将x_r输入分布对齐网络F(·)后得到的输出值求均值，x_f表示由假步态样本拼接形成的矩阵，

表示对将x_f输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的真实步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值，

表示由目标c的假步态样本拼接形成的矩阵，

表示对将

输入分布对齐网络F(·)后得到的输出值求均值；根据表示定理，将分布对齐表达式写为：

其中tr(·)表示求矩阵的迹，F∈R^(n+m)×d表示由每个样本拼接而成的矩阵，在该矩阵中，每一行表示一个样本x，d表示一个样本的维度，而矩阵

则用于计算不同样本之间的分布差异，其中M₀用于计算所有真实步态样本的总体分布与所有合成步态假样本的总体分布之间的差异，M_c用于计算对应于目标c的真实步态样本的总体分布与合成步态假样本的总体分布之间的差异，η∈[0，1]表示用于平衡边缘分布P和条件分布Q的自适应因，将矩阵M₀的第i行第j列的元素定义为(M₀)_ij，矩阵M_c的第i行第j列的元素定义为(M_c)_ij，则(M₀)_ij和(M_c)_ij的计算方法如下：

其中x_i和x_j分别表示特征矩阵F中第i行和第j行的样本，n和m表示真实样本和假样本的数量，n_c和m_c表示目标c对应的真实样本和假样本的数量，分布对齐网络的训练则通过最小化损失函数的输出值来实现；依据该损失函数对步骤S6中构造的分布对齐网络进行训练，训练完成后，将同一个目标的真实样本与步态假样本输入分布对齐网络，得到完成分布对齐后的真实步态样本与步态假样本；

S8、将同一个目标的、经分布对齐后的真实步态样本与步态假样本按照不同的域进行融合，即将域k下的真实步态样本与域k下的步态假样本合并到一起，从而实现步态数据库的扩充。

2.根据权利要求1所述的一种基于星形生成对抗网络的步态图像合成方法，其特征在于，所述的基于编码-解码结构的图像生成器具体结构如下：

从输入层至输出层依次连接为：卷积层conv1_1、IN层conv1_1_in、Relu层conv1_1_relu、卷积层conv1_2、IN层conv1_2_in、Relu层conv1_2_relu、卷积层conv1_3、IN层conv1_3_in、Relu层conv1_3_relu、ResidualBlock层Res1_1、ResidualBlock层Res1_2、ResidualBlock层Res1_3、ResidualBlock层Res1_4、ResidualBlock层Res1_5、ResidualBlock层Res1_6、反卷积层Deconv1_4、IN层Deconv1_4_in、Relu层Deconv1_4_relu、反卷积层Deconv1_5、IN层Deconv1_5_in、Relu层Deconv1_5_relu、Tanh层Deconv1_5_tanh、卷积层conv2_1、IN层conv2_1_in、Relu层conv2_1_relu、卷积层conv2_2、IN层conv2_2_in、Relu层conv2_2_relu、卷积层conv2_3、IN层conv2_3_in、Relu层conv2_3_relu、ResidualBlock层Res2_1、ResidualBlock层Res2_2、ResidualBlock层Res2_3、ResidualBlock层Res2_4、ResidualBlock层Res2_5、ResidualBlock层Res2_6、反卷积层Deconv2_4、IN层Deconv2_4_in、Relu层Deconv2_4_relu、反卷积层Deconv2_5、IN层Deconv2_5_in、Relu层Deconv2_5_relu、Tanh层Deconv2_5_tanh、卷积层conv3_1、IN层conv3_1_in、Relu层conv3_1_relu、卷积层conv3_2、IN层conv3_2_in、Relu层conv3_2_relu、卷积层conv3_3、IN层conv3_3_in、Relu层conv3_3_relu、ResidualBlock层Res3、卷积层conv4_1、IN层conv4_1_in、Relu层conv4_1_relu、卷积层conv4_2、IN层conv4_2_in、ResidualBlock层Res4、卷积层conv5_1、IN层conv5_1_in、Relu层conv5_1_relu、卷积层conv5_2、IN层conv5_2_in、卷积层conv6_1、IN层conv6_1_in、Relu层conv6_1_relu、卷积层conv6_2、IN层conv6_2_in、ResidualBlock层Res5、卷积层conv7_1、IN层conv7_1_in、Relu层conv7_1_relu、卷积层conv7_2、IN层conv7_2_in、ResidualBlock层Res6、卷积层conv8_1、IN层conv8_1_in、Relu层conv8_1_relu、卷积层conv8_2、IN层conv8_2_in、卷积层conv9_1、IN层conv9_1_in、Relu层conv9_1_relu、卷积层conv9_2、IN层conv9_2_in、ResidualBlock层Res7、卷积层conv10_1、IN层conv10_1_in、Relu层conv10_1_relu、卷积层conv10_2、IN层conv10_2_in、卷积层conv11_1、IN层conv11_1_in、Relu层conv11_1_relu、卷积层conv11_2、IN层conv11_2_in、ResidualBlock层Res8、卷积层conv12_1、IN层conv12_1_in、Relu层conv12_1_relu、卷积层conv12_2、IN层conv12_2_in、卷积层conv13_1、IN层conv13_1_in、Relu层conv13_1_relu、卷积层conv13_2、IN层conv13_2_in、ResidualBlock层Res9、卷积层conv14_1、IN层conv14_1_in、Relu层conv14_1_relu、卷积层conv14_2、IN层conv14_2_in、卷积层conv15_1、IN层conv15_1_in、Relu层conv15_1_relu、卷积层conv15_2、IN层conv15_2_in、ResidualBlock层Res10、反卷积层Deconv16_4、IN层Deconv16_4_in、Relu层Deconv16_4_relu、反卷积层Deconv16_5、IN层Deconv16_5_in、Relu层Deconv16_5_relu、Tanh层Deconv16_5_tanh；

其中，ResidualBlock层的结构依次连接为：卷积层conv1、IN层conv1_in、Relu层conv1_relu、卷积层conv2、IN层conv2_in。

3.根据权利要求1所述的一种基于星形生成对抗网络的步态图像合成方法，其特征在于，所述的图像判别器具体结构如下：

从输入层至输出层依次连接为：卷积层conv1_1、LeakyRelu层conv1_1_leakyrelu、卷积层conv1_2、LeakyRelu层conv1_2_leakyrelu、卷积层conv1_3、LeakyRelu层conv1_3_leakyrelu、卷积层conv1_4、LeakyRelu层conv1_4_leakyrelu、卷积层conv1_5、LeakyRelu层conv1_5_leakyrelu、卷积层conv1_6、LeakyRelu层conv1_6_leakyrelu、卷积层conv2、卷积层conv3、卷积层conv4_1、LeakyRelu层conv4_1_leakyrelu、卷积层conv4_2、LeakyRelu层conv4_2_leakyrelu、卷积层conv4_3、LeakyRelu层conv4_3_leakyrelu、卷积层conv4_4、LeakyRelu层conv4_4_leakyrelu、卷积层conv4_5、LeakyRelu层conv4_5_leakyrelu、卷积层conv4_6、LeakyRelu层conv4_6_leakyrelu、卷积层conv5_1、LeakyRelu层conv5_1_leakyrelu、卷积层conv5_2、LeakyRelu层conv5_2_leakyrelu、卷积层conv5_3、LeakyRelu层conv5_3_leakyrelu、卷积层conv5_4、LeakyRelu层conv5_4_leakyrelu、卷积层conv5_5、LeakyRelu层conv5_5_leakyrelu、卷积层conv5_6、LeakyRelu层conv5_6_leakyrelu、卷积层conv6、卷积层conv7。

Images