CN109726654A - 一种基于生成对抗网络的步态识别方法 - Google Patents

Abstract

本发明公开一种基于生成对抗网络的步态识别方法，在特征提取阶段，基于改进的生成对抗网络，使用反向转播算法训练得到一种能在多种不同类别的图像间进行转换的多领域转换模型；在步态识别阶段，首先把测试集和验证集中的步态视频转换成步态能量图，然后用上述多领域转换模型将测试样本的步态能量图转换成与验证集中状态域与视角域一致的步态能量图，通过比较测试样本与所有验证样本的相似度得出识别结果。本发明能同时处理视角、衣着、携带物三种干扰因素，且在处理跨视角步态识别问题上具有很强的鲁棒性，克服了现有步态识别技术在跨视角识别中准确率不高的缺点。本发明可以广泛应用在门禁系统、社会安全、司法刑侦等领域，适用于大多数配备监控视频的场景。

Description

一种基于生成对抗网络的步态识别方法

技术领域

本发明属于计算机视觉和模式识别技术，具体涉及一种基于生成对抗网络的步态识别方法。

背景技术

作为生物特征识别技术的重要组成部分，步态识别正在被广泛应用。利用步态进行身份识别主要有如下优点：1)步态识别是一种远距离非接触身份认证技术，操作上具有很大的灵活性和便捷性；2)步态识别可以在不影响被观测对象的情况下，完成特征的提取和识别过程，具有非侵扰性和强隐蔽性3)步态识别对视频分辨率要求不高，即使在分辨率相对较低的情况下，也可以完成身份识别任务。

在实际应用中，总有些步态噪声，如被观察者携带背包、穿着大衣及视频拍摄视角的不同等，会对步态识别的准确性造成影响。因此，如何在众多因素的干扰中提取出有用的特征用于步态识别一直是长期以来的研究重点。以往的步态识别方法，大多将同视角的识别作为主要研究对象，或只注重解决众多干扰因素中一个因素，而忽略了在实际情况下，影响识别准确率的干扰因素往往同时存在。此外，监控很难捕获到与已有数据库中相同视角的步态视频，这就产生了所谓的跨视角识别问题。

作为机器学习的一个重要分支，近年来深度学习发展迅猛，而生成对抗网络无疑是深受欢迎的一种深度学习模型之一。利用生成对抗网络可以生成高质量的图、音频或视频，最近的研究成果显示生成对抗网络在图像风格迁移，人脸表情转换等领域取得了很好的效果。因此，也可以用它来生成具有可用身份信息的步态特征图像。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于生成对抗网络的步态识别方法，通过对生成对抗网络的优化而提出一种多领域转换模型，该模型只需要一个生成器和一个判别器即可实现多个域间的图像转换，从而在保持重要的步态特征不变的情况下仍能得到需要的目标域图像并进行匹配，能有效提高跨视角情况下的步态识别准确率。

技术方案：本发明的一种基于生成对抗网络的步态识别方法，包括以下步骤：

步骤1：特征提取阶段：对数据集中所有已经标记好身份的行走视频进行处理，转换成为步态能量图，且步态能量图一半作为训练集另一半用作测试集。其中，训练和测试所用的数据集包含0°，18°，……，162°，180°共11个视角，以及正常状态(nm)、携带背包(bg)和穿着大衣(cl)三种行走状态。此外，测试所需的验证集包含上述11个视角和nm状态。取出训练集部分的步态能量图对基于生成对抗网络的多领域转换模型进行训练直至模型收敛。

步骤2：步态识别阶段：由于验证集样本全为nm行走状态，因此，运用步骤1中所述的多领域转换模型将测试样本转换成与验证集一致的视角和nm状态，得到新的测试样本步态能量图，然后再和验证集中所有步态能量图进行相似度比较，根据相似度大小得出识别结果。

上述领域转换模型包括一个判别器D和一个生成器G；该多领域转换模型完成两种转换，即不同视角之间的转换和穿着大衣和背包状态向正常行走状态的转换，两种转换任务可以同时进行，最终合成所需目标域图像。

进一步的，步骤1中所述的特征提取阶段的详细内容为：

步骤101：提取训练集的步态能量图；

步骤102：对于训练集中的步态能量图，按照视角划分为11个目标域，按照行走状态划分为3个目标域，分别对这14个域进行命名并设置标签c(0或1)；

步骤103：将输入图片x和目标域标签c结合输入生成器G中合成假图片G(x,c)。

步骤104：将x和G(x,c)输入到判别器D，D学习如何区分真实图像和伪造图像，并给出对应的域分类。

为了区分真实图片和假图片，需要用到常见的对抗损失L_adv，计算公式如下：

L_adv＝E_x[log D_src(x)]+E_x,c[log(1-D_src(G(x,c)))]

其中G(x,c)是G生成的图片，D_src(x)是经判别器D判断得出的x是真实图片的概率。

在整个训练过程中，G的目标是使L_adv越小越好，D的目标是使L_adv越大越好。与传统生成对抗网络相比，由于加上了域转换功能，所以定义了一个针对真实图片x的域分类损失用于优化D，计算公式为：

其中D_cls(c′|x)是指D对真实图片计算得到的域标签概率分布，c′表示原始输入图片的域标签。D的目标是降低这一学习目标使得D能够将输入图片x识别到对应的域c′中。

步骤105：生成器G同时输入真实图像和目标域的标签并生成假图像，在输入时目标域标签被复制并与输入图像拼接在一块；与步骤104中所述的同理，定义针对假图像G(x,c)的域分类损失用于优化G，计算公式为：

G的目标是降低从而更好的使生成图片向目标域转化。

步骤106：生成器G尝试从给定原始域标签的假图像重建原始图像。仅仅通过降低对抗损失与域分类损失虽然能够实现向目标域的转化，但不能保证在改变与域转换信息相关部分的同时不改变图片内容，为了解决这一问题，定义周期一致性损失L_rec，计算公式如下：

L_rec＝E_x,c,c′[||x-G(G(x,c),c′)||₁]

这里就是将生成的G(x,c)和图片x的原始标签c′结合输入G中，将生成的图片和x计算1范数差异。G通过努力降低L_rec，使得重建后得到的图片尽可能接近原图片x。

步骤107：结合上述步骤103～106，目标是生成器G试图生成与真实图像不可区分的图像同时又很容易被判别器D所区分出来。判别器D和生成器G的总体损失定义为如下公式：

其中，λ_cls和λ_rec是分别用来调节域分类损失与重建损失对于总体损失影响的超参数，在本发明提出的方法中，取λ_cls＝1，λ_rec＝10。

步骤108：整个训练过程基于反向传播算法，运用Adam优化器使得超参数λ_cls和λ_rec的选择更具有鲁棒性，将所有训练图片输入模型中，训练至生成器损失L_G和判别器损失L_D不断下降并趋于稳定。

进一步的，所述步骤2的步态识别阶段的详细内容为：

步骤201：提取测试样本和验证集的步态能量图；

步骤202：用步骤1中训练好的多领域转换模型将测试样本的步态能量图转换成与验证集视角一致且状态正常的步态能量图；

步骤203：分别计算测试样本的步态能量图与验证集中所有样本的步态能量图的相似度；

步骤204：根据步骤203中得到的相似度，用最近邻分类器得出身份识别结果。

有益效果：本发明能够解决步态识别问题中视角变化、衣着状态、携带物变化等干扰因素对识别结果的影响，提高跨视角步态识别的准确率，本发明可广泛应用在门禁系统、社会安全、司法刑侦等领域，适用于大多数配备监控视频的场景。

附图说明

图1为本发明的流程图；

图2为本发明中步态能量图合成过程示意图；

图3为本发明中基于生成对抗网络的多领域转换模型的训练过程示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明在特征提取阶段，首先将行走视频去除背景转换成人体剪影图像，再将人体剪影图转化成为步态能量图，用上述多领域转换模型将测试样本的步态能量图转换成与验证集中视角一致且状态为正常的步态能量图；在步态识别阶段，通过比较测试样本与所有验证样本的相似度得出识别结果。具体步骤如下：

步骤1：获取步态能量图。将训练集中的行走视频，按观察角度分为0°，18°，36°，……，180°共11个视角，按照行走状态分为正常状态、背包状态和穿着大衣状态共3个状态，对上述步态视频序列提取人体剪影，根据剪影重心定位剪切形成前景区域，经过缩放并归一化处理至同一尺寸256*256像素，求出每个序列的平均剪影图，即得到训练集的步态能量图，如图2所示。

步骤2：对步骤1中得到的训练集图片进行标记。由于最终要得到的目标图片是与验证集一致视角下的正常行走状态，所以把训练集中的所有图片按照角度划分为11个域(命名为Angle0，Angle18，……，Angle180)，按照行走状态划分为3个域(命名为Nm，Bg，Cl)。对于每张图片，若其为0视角下正常行走状态，则将Angle0值标1，其余标记为0，其他视角同理；对于每张图片，若其为正常行走状态，则将Nm值标记为1，其余标记为0，其他两个状态同理。

步骤3：建立多领域转换模型。模型结构如图3所示，其中3(a)所示为判别器D的训练过程，D通过学习判别真实图片为真，伪造图片为假，并将真实图片分类到相应域中；3(b)、3(c)、和3(d)所示为生成器G的训练过程，利用真实图片与目标域标签生成假图片，再用生成的假图片与原始标签组合生成重构图片，直到G可以生成有能力愚弄D的假图片。具体包括以下步骤：

步骤301：把给定的输入图片x和目标域标签c结合输入到生成器G中合成假图片G(x,c)。

步骤302：将真实图片假图片和输入到判别器D，D学习如何区分真实图像和伪造图像，并给出对应的域分类。为了区分真实图片和假图片，需要用到常见的对抗损失L_adv，计算公式如下：

L_adv＝E_x[log D_src(x)]+E_x,c[log(1-D_src(G(x,c)))]

其中G(x,c)是G生成的图片，D_src(x)是经判别器D判断得出的x是真实图片的概率。在整个训练过程中，G的目标是使L_adv越小越好，D的目标是使L_adv越大越好。与传统生成对抗网络相比，由于加上了域转换功能，所以定义了一个针对真实图片x的域分类损失用于优化D，计算公式为：

其中D_cls(c′|x)是指D对真实图片计算得到的域标签概率分布，c′表示原始输入图片的域标签。D的目标是降低这一学习目标使得D能够将输入图片x识别到对应的域c′中。

步骤303：生成器G同时输入真实图像和目标域的标签并生成假图像，在输入时目标域标签被复制并与输入图像拼接在一块。与步骤302中所述的同理，定义了针对假图像G(x,c)的域分类损失用于优化G，计算公式为：

G的目标是降低从而更好的使生成图片向目标域转化。

步骤304：生成器G尝试从给定原始域标签的假图像重建原始图像。仅仅通过降低对抗损失与域分类损失虽然能够实现向目标域的转化，但不能保证在改变与域转换信息相关部分的同时不改变图片内容，为了解决这一问题，定义周期一致性损失L_rec，计算公式如下：

L_rec＝E_x,c,c′[||x-G(G(x,c),c′)||₁]

这里就是将生成的G(x,c)和图片x的原始标签c′结合输入G中，将生成的图片和x计算1范数差异。G通过努力降低L_rec，使得重建后得到的图片尽可能接近原图片x。

步骤305：结合上述步骤301～304，目标是生成器G试图生成与真实图像不可区分的图像同时又很容易被判别器D所区分出来。判别器D和生成器G的总体损失定义为如下公式：

其中，λ_cls和λ_rec是分别用来调节域分类损失与重建损失对于总体损失影响的超参数，在本发明提出的方法中，取λ_cls＝1，λ_rec＝10。

步骤4：根据步骤3所述过程，整个训练过程基于反向传播算法，采用Adam优化器，其中设定循环周期Epoch＝20,每个周期的迭代次数iteration＝10000,即总共20×10000＝20万次迭代训练。前10个Epoch的学习速率α＝0.001，后10个Epoch的学习速率α＝0.0001。重复步骤3所示过程，直至总体损失L_G和L_D降低至趋于稳定。多领域转换模型训练完成。

步骤5：按照步骤1所述过程，获取测试集和验证集的步态能量图。

步骤6：利用步骤4得到的多领域转换模型把测试样本的步态能量图转换为与验证集一致视角且行走状态正常的步态能量图。例如，输入的测试样本图片为36°视角下的背包状态，验证集中所有图片为90°视角下的正常(nm)行走状态，则经过模型转换后输出测试样本的90°视角下nm状态的步态能量图。

步骤7：用经过转换后得到的测试样本图与验证集中所有的样本进行匹配，计算相似度，利用最近邻分类器得出测试样本的身份信息。

综上，本发明基于生成对抗网络通过建立多领域转换模型，在实现跨视角步态识别的同时削弱携带物和衣着的影响，提高步态识别的准确性。该方法可广泛应用在门禁系统、社会安全、司法刑侦等领域，适用于大多数配备监控视频的场景。

Claims (5)

1.一种基于生成对抗网络的步态识别方法，其特征在于：包括以下步骤：

步骤1：特征提取阶段：对数据集中所有已经标记好身份的行走视频进行处理，转换为步态能量图，且步态能量图一半作为训练集另一半用作测试集；训练和测试所用的数据集均包含0°，18°，……，162°，180°共11个视角以及正常状态nm、携带背包bg和穿着大衣cl三种行走状态；此外，测试所需的验证集包含上述11个视角和nm状态；取出训练集部分的步态能量图对基于生成对抗网络的多领域转换模型进行训练直至模型收敛；

步骤2：步态识别阶段：由于验证集样本全为nm行走状态，因此运用步骤1中所述的多领域转换模型将测试样本转换成与验证集一致的视角和nm状态，得到新的测试样本步态能量图，然后再和验证集中所有步态能量图进行相似度比较，根据相似度大小得出识别结果。

2.根据权利要求1所述的基于生成对抗网络的步态识别方法，其特征在于：所述多领域转换模型包括一个判别器D和一个生成器G；该多领域转换模型完成两种转换，即不同视角之间的转换和穿着大衣和背包状态向正常行走状态的转换，两种转换可同时进行，最终合成所需目标域图像。

3.根据权利要求1所述的基于生成对抗网络的步态识别方法，其特征在于：所述步骤1的详细过程为：

步骤101：提取训练集的步态能量图；

步骤102：对于训练集中的步态能量图，按照视角划分为11个目标域，按照行走状态划分为3个目标域，分别对这14个域进行命名并设置标签c，c的取值为0或1；

步骤103：将输入图片x和目标域标签c结合输入生成器G中合成假图片G(x,c)；

步骤104：输入图片x和假图片G(x,c)输入到判别器D，D学习如何区分真实图像和伪造图像，并给出对应的域分类；

步骤105：生成器G同时输入真实图像和目标域的标签并生成假图像，在输入时目标域标签被复制并与输入图像拼接在一块；定义针对假图像G(x,c)的域分类损失用于优化G，计算公式为：

步骤106：生成器G尝试从给定原始域标签的假图像重建原始图像；定义周期一致性损失L_rec，计算公式如下：

L_rec＝E_x,c,c′[||x-G(G(x,c),c′)||₁]

这里就是将生成的G(x,c)和图片x的原始标签c′结合输入G中，将生成的图片和x计算1范数差异，G通过努力降低L_rec，使得重建后得到的图片尽可能接近原图片x；

步骤107：结合上述步骤103～106，目标是生成器G试图生成与真实图像不可区分的图像同时又很容易被判别器D所区分出来，判别器D和生成器G的总体损失定义为如下公式：

其中，λ_cls和λ_rec是分别用来调节域分类损失与重建损失对于总体损失影响的超参数；

步骤108：整个训练过程基于反向传播算法，运用Adam优化器使得超参数λ_cl和λ_rec的选择更具有鲁棒性，将所有训练图片输入模型中，训练至生成器损失L和判别器损失L_D不断下降并趋于稳定。

4.根据权利要求3所述的基于生成对抗网络的步态识别方法，其特征在于：所述步骤(104)中通过下述计算公式区分真实图片和假图片，对抗损失L_adv：

L_adv＝E_x[logD_src(x)]+E_x,c[log(1-D_src(G(x,c)))]

其中G(x,c)是G生成的图片，D_src(x)是经判别器D判断得出的x是真实图片的概率。

在整个训练过程中，G的目标是使L_adv越小越好，D的目标是使L_adv越大越好，定义一个针对真实图片x的域分类损失用于优化D，计算公式为：

其中D_cls(c′|x)是指D对真实图片计算得到的域标签概率分布，c′表示原始输入图片的域标签，D的目标是降低这一学习目标使得D能够将输入图片x识别到对应的域c′中。

5.根据权利要求1所述的基于生成对抗网络的步态识别方法，其特征在于，所述步骤2的详细内容为：

步骤201：提取测试样本和验证集的步态能量图；

步骤202：用步骤1中训练好的多领域转换模型将测试样本的步态能量图转换成与验证集视角一致且状态正常的步态能量图；

步骤203：分别计算测试样本的步态能量图与验证集中所有样本的步态能量图的相似度；

步骤204：根据步骤203中得到的相似度，用最近邻分类器得出身份识别结果。