CN109753935A - 一种基于生成对抗图像补全网络的步态识别方法 - Google Patents

Abstract

本发明公开一种基于生成对抗图像补全网络的步态识别方法，能解决中小面积人体遮挡的步态识别方法。包括以下步骤：首先为了解决行走过程中人体局部遮挡的问题，提出了一种基于Wasserstein GAN的步态轮廓图生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像；其次，为了减少噪声对特征提取的影响，采用具有鲁棒性的堆叠自动编码器进行特征提取；最后，为了提高分类的能力，采用稀疏编码的方法对步态特征进行表示与分类，使分类结果更加精确。

Description

一种基于生成对抗图像补全网络的步态识别方法

技术领域

本发明属于图像识别领域，主要解决行走过程中人体部分遮挡对步态识别带来的影响。

背景技术

步态是一种具有吸引力的生物特征，具有远距离识别性、非侵犯性、难隐藏或伪装等优点；因此，步态识别在门禁系统、行人监控和公共安防等领域有广泛的应用前景，成为了研究人员所关注的热门研究方向。目前的识别方法主要通过提取一个周期内的行人轮廓图合成步态能量图，再通过特征提取算法在能量图上提取行人的特征，最后采用分类算法进行特征的分类。但在该研究过程中仍存在很多难点，例如视角、穿着的改变以及人体遮挡等因素都会对提取的步态轮廓图造成影响，从而影响识别准确度。因此获得完整的步态轮廓图，是实现步态准确分类的可靠保障。

本发明主要解决行走过程中的人体遮挡造成轮廓缺损的问题。在一个摄像头下，视频中不可避免的会产生行人与行人、行人与物之间的遮挡，这将造成提取的轮廓图出现缺损现象。目前大部分的方法是去掉缺损严重的轮廓图，只保留缺损较小的轮廓图。但这种方法将会导致丢失轮廓图中一部分的有用信息，对识别的准确度造成一点影响。所以本专利提出一种能根据图中非缺损部分像素对缺损部分进行补全的方法。

一般的补全方法，例如线性插值方法只能根据缺损像素周围的点进行补全，忽略了缺损部分与人体各部分之间的比例关系。但在人的视觉感官中，我们能利用人体各部分之间的比例关系推断出被遮挡部分的图像。随着深度学习的发展，目前，神经网络具备一定的推断能力。因此设计一种基于生成对抗模型的步态补全网络来进行遮挡图像的补全，这将有助于步态识别准确分类。

发明内容

本发明针对行走过程中人体部分遮挡对步态识别带来的挑战提出了一种新颖的步态识别方法。首先使用背景差分的方法对行人的轮廓进行提取，对遮挡的步态轮廓图采用补全网络进行补全，再对步态轮廓图进行叠加计算得到步态熵图，为了减少生成的噪声干扰和轮廓提取时产生的噪声，采用堆叠去噪编码器进行特征提取，然后为了提高分类精度通过稀疏编码对特征进行分类。

本发明所述的技术方案具体步骤如下：

S1：将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓，再对轮廓按人体最小矩形进行裁剪和归一化。

S2：对于第一步获得的缺损轮廓图需要进行补全处理，首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先训练判别器，使其能区分真实数据与生成数据，再训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，不断重复此操作，直到网络收敛；

S3：生成网络完成训练后，再对缺损的步态轮廓图与生成的轮廓图进行对比，利用它们之间的损失用来优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；

S4：在得到步态轮廓后计算步态能量图。首先根据轮廓中人体高和宽之间的比例检测一个周期，再对一个周期内所有的步态轮廓图进行平均叠加，其中f_t(x,y)表示t时刻的轮廓图；

S5：其次，为了减少背包或衣着的改变带来的影响，按照下式进一步计算步态熵图：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))

S6：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。输入层的数目为5时实验效果最佳，此时每层隐藏节点个数分别为：1000、500、250、125、75，输出层大小和输入层相同，结构对称。实验中首先对堆叠自动编码器从底层到高层逐层训练，然后将网络只保留编码部分对输入的步态熵图进行特征提取；

S7：得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构建特征字典，再利用正交匹配追踪算法(OMP)计算稀疏系数，然后根据测试特征的重构误差进行步态分类。

所述S1中需要对裁剪的轮廓图进行归一化，为了保持外接矩形的长宽比，将二值轮廓图像缩放到64*(96/高*宽)，然后以中心轴为对称轴，图像的宽度扩展为64，扩展部分的灰度都为0，最终将图像归一化为64*96像素的图像；

所述S2中使用生成对抗网络对缺损图像进行补全，训练补全网络时先根据生成轮廓图与真实轮廓图之间的损失训练判别器，再利用判别器的计算的损失训练生成器，不断重复训练直到网络收敛。其具体步骤如下：

S2.1：随机初始化判别器参数θ_D和生成器参数θ_G；

S2.2：repeat

S2.3：for t＝0,...,K do

S2.4：从分布N(0,1)中采样b个样本z_i；

S2.5：从训练集T中采样b个样本x_i；

S2.6：计算损失：

S2.7：参数更新：

S2.8：剪裁θ_D，将其限制在[-c,c]范围内；

S2.9：end for

S2.10：从分布N(0,1)中采样b个样本z_i；

S2.11：计算损失：

S2.12：参数更新：

S2.13：until判别器网络收敛。

所述S3中使用训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量Z，其具体步骤如下：

S3.1：从分布N(0,1)中采样b个样本z_i；

S3.2：repeat

S3.3：计算损失：L_z←L_s+λrLr。其中L_r＝D(G(z；θ_G))，表示补全网络的真实损失，其目的是使生成网络生成图片应该尽可能的接近真实二值轮廓图，G(z；θ_G)为隐含变量通过生成器生成的二值轮廓图。L_s＝δ(G(z；θ_G),I)表示生成图片与损失图片I之间的损失，λr为真实损失权重；

S3.4：隐含变量z更新：

S3.5：until L_z小于阈值ε；

S3.6：将最后生成的作为补全的轮廓图。

所述S7中将得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构造初始字典表示提取的第i个人第j个视频的步态特征，N_i和K分别表示第i个人的视频总数和人的总数，d和N表示特征维度和总的训练视频数。得到字典D后，测试步态特征y可以表示为y＝Dα∈R^d，其中表示y的稀疏线性表示，对应第i个人的第j个用于训练的视频。求解稀疏系数α可以表示为：

上述公式中稀疏系数求解采用正交匹配追踪算法(OMP)。计算稀疏系数后，残差可以表示为：

r_i(y)＝||y-Dδ_i(α)||₁

其中，r_i是第i个人的残差，δ_i(α)该向量只保留字典D中第i类对应项，其他类对应项为0。最后，选择残差最小的类作为最后的分类：

本发明提出了一种基于生成对抗图像补全网络的步态识别方法。在步态视频采集过程中不可避免的会产生行人与行人、行人与物之间的遮挡，在行人轮廓提取时往往会造成缺损，导致行人的部分信息会丢失。因此，对遮挡的轮廓图进行补全是提高识别准确度的关键。本发明首先对收集的视频进行背景去除，获得步态轮廓图，再对轮廓图进行裁剪和归一化。由于遮挡的出现，获得的轮廓图会存在缺损的情况。本发明提出了一种基于生成对抗网络的图像补全方法，首先通过训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图，再通过缺损的轮廓图与生成轮廓图之间的损失不断优化隐含变量z，直到损失小于一个阈值后，将最后生成的轮廓图作为补全的轮廓图。获得补全的轮廓图后对一个周期内的轮廓图进行叠加求平均值得到步态能量图；其次，为了减少背包与衣着的改变带来的影响，进一步计算步态熵图。

获得步态表示后采用堆叠自动编码器进行特征提取，实验证明当层数为5层时系统识别率最高，而各隐藏节点个数分别为：1000、500、250、125、75。所以，提取的一个步态能量图特征维数为75维。其中，解码器的结构与编码器结构对称，训练完成后只取编码器部分进行特征提取。最后，采用稀疏编码的方法对测试特征进行分类，利用所有测试特征构造充分字典D，再采用正交匹配追踪算法求解待测试特征的稀疏系数，稀疏重建后残差最小的类作为最后的分类，极大的提高了分类精度。

附图说明

图1为本发明流程示意图；

图2为生成对抗网络结构示意图。

具体实施方式

为了更加详细、具体的说明本发明的技术方案及优点，下面结合附图和实施例，对本发明进一步的详细说明。

图1为本发明流程示意图，给出了本发明的基本流程顺序。具体流程包含如下步骤：

S1：本发明中处理的对象可以为公共场合监视器采集的行人视频。将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓。其中，若像素差值大于40，说明差值较大，就将前景图素点设为255白色，若不大于40，则设为0黑色。得到人体步态二值化轮廓，再对轮廓按人体最小矩形进行裁剪和归一化。轮廓图进行归一化，为了保持外接矩形的长宽比，将二值轮廓图像缩放到64*(96/高*宽)，然后以中心轴为对称轴，图像的宽度扩展为64，扩展部分的灰度都为0，最终将图像归一化为64*96像素的图像；

S2：由于遮挡的出现，获得的轮廓图会存在缺损的情况，需要进行补全处理。首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先通过损失函数：训练判别器，使其能区分真实数据x与生成数据G(z)，D代表判别器，L_D表示两部分之间的损失。再通过训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，L_G来自判别器。不断重复此S2，直到网络收敛，即训练后判别器无法区别；

S3：训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；该部分的损失函数为：L_z←L_s+λrLr，包括两部分，其中L_r＝D(G(z；θ_G))表示补全网络的真实损失，其目的是使生成网络生成图片应该尽可能的接近真实二值轮廓图。L_s＝δ(G(z；θ_G),I)表示生成图片与损失图片I之间的损失，λr为真实损失权重；

S4：在得到步态轮廓后计算步态能量图，即一个周期内对所有的步态轮廓图进行叠加平均，其中f_t(x,y)表示t时刻的轮廓图；

S5：其次，为了减少背包与衣着的改变带来的影响，利用下式进一步计算步态熵图：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))

S6：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。实验证明当层数为5层时系统识别率最高，而各隐藏节点个数分别为：1000、500、250、125、75。所以，提取的一个步态能量图特征维数为75维。其中，解码器的结构与编码器结构对称，首先对堆叠自动编码器从底层到高层逐层训练结束后，然后将网络只保留编码部分对输入的数据进行特征提取；

S7：得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构造初始字典表示提取的第i个人第j个视频的步态特征，N_i和K分别表示第i个人的视频总数和人的总数，d和N表示特征维度和总的训练视频数。得到字典D后，测试步态特征y可以表示为y＝Dα∈R^d，其中表示y的稀疏线性表示，对应第i个人的第j个用于训练的视频。求解稀疏系数α可以表示为：

上述公式中稀疏系数求解采用正交匹配追踪算法(OMP)。计算稀疏系数后，残差可以表示为：

r_i(y)＝||y-Dδ_i(α)||₁

其中，r_i是第i个人的残差，δ_i(α)该向量只保留字典D中第i类对应项，其他类对应项为0。最后，选择残差最小的类作为最后的分类：

其中，结合生成对抗网络结构示意图，下表给出了补全网络各层的参数：

表1生成器各层参数

生成器模型结构如表1所示：100维的噪声通过一个核数目为4*6*1024的全连接层后进行维度转换(Reshape)成(4,6,1024)的三维张量。之后通过一个卷积核为5*5、步幅为2，数目为512的转置卷积层，输出一个(8,12,512)的三维张量，通道数减为原先的一半，尺寸扩大为原先的2倍。同样再经过三层核大小都为5*5和步长都为2数目分别为256、128、1的转置卷积层，输出一个(64,96,1)的三维张量，即为一个生成图像样本。表1给出了生成器各层的参数。其中，因为步态轮廓图的像素值由0与255构成，所以在生成器最后一层我们采用定义的Thresholding激活函数，实验证明当阈值为125时效果最佳：

其次，由于轮廓图是连续的，所以在生成补全图后我们加入联通域的限制，通过多次膨胀与腐蚀去除单独存在的像素点。

表2判别器各层参数

网络的判别器结构与生成器结构正好相反：输入一张(64,96,1)的样本数据经过一个卷积核大小为5*5步幅为2数目为64的卷积层，输出(32,48,64)的三维标量。后经过三层步幅为2和核大小为5*5数目分别为128、256、512的卷积层后变为(4,6,512)的三维张量，最后通过一个全连接层输出1维的结果，表2给出了判别器各层的参数。

上面描述中的实施例仅为本发明的一部分实施例，本发明请求保护的范围并不仅仅局限于上述具体实施方式，在不付出创造性劳动的前提下，得到与本发明实质相同的方案，也属本发明保护范围。

Claims (7)

1.一种基于生成对抗图像补全网络的步态识别方法，其包含以下步骤：

S1：将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓，再对轮廓按人体最小矩形进行裁剪和归一化；

S2：对于第一步获得的缺损轮廓图需要进行补全处理，首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先训练判别器，使其能区分真实数据与生成数据，再训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，不断重复此操作，直到网络收敛；

S3：训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；

S4：在得到步态轮廓后计算步态能量图，即一个周期内对所有的步态轮廓图进行叠加平均，其中f_t(x,y)表示t时刻的轮廓图；

S5：其次，为了减少背包与衣着的改变带来的影响，进一步计算步态熵图：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))

S6：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。输入层的数目为5时实验效果最佳，每层隐藏节点个数分别为：1000、500、250、125、75，输出层大小和输入层相同。首先对堆叠自动编码器从底层到高层逐层训练结束后，然后将网络只保留编码部分对输入的数据进行特征提取；

S7：得到步态特征后，采用稀疏表示对特征进行表示与分类，利用正交匹配追踪算法(OMP)计算稀疏系数，然后根据重构误差进行步态特征分类。

2.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：本发明中处理的对象可以为公共场合监视器采集的行人视频。将检测到的行人视频进行逐帧生成人体轮廓图，主要方法是利用背景差分法，通过视频中各帧与背景帧相比较，像素相差较大的部分即为人体轮廓。其中，若像素差值大于40，说明差值较大，就将前景图素点设为255白色，若不大于40，则设为0黑色。得到人体步态二值化轮廓，再对轮廓按人体最小矩形进行裁剪和归一化。轮廓图进行归一化，为了保持外接矩形的长宽比，将二值轮廓图像缩放到64*(96/高*宽)，然后以中心轴为对称轴，图像的宽度扩展为64，扩展部分的灰度都为0，最终将图像归一化为64*96像素的图像。

3.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：获得的轮廓图会存在缺损的情况，需要进行补全处理。首先通过非缺损的步态轮廓图训练生成对抗网络，使其能生成与真实步态轮廓一致的步态轮廓图。该过程先通过损失函数：训练判别器，使其能区分真实数据x与生成数据G(z)，D代表判别器，L_D表示两部分之间的损失。再通过训练生成器，使其能生成与真实步态轮廓一致的步态轮廓图，L_G来自判别器。不断重复此S2，直到网络收敛，即训练后判别器无法区别。

4.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：S3将铅锌矿吸水井泥水界面回波信号分为三种类别，分别对应三种不同的泥水界面情形，分别为单回波信号、双回波信号及三回波信号，能够更好的估计泥水界面位置和沉淀物组成成分。

5.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：训练好生成网络，再通过缺损的步态轮廓图优化生成器中的隐变量z，使生成器能生成与遮挡轮廓图相近的完整轮廓图，最后使用该轮廓图替代缺损的轮廓图；该部分的损失函数为：L_z←L_s+λrLr，包括两部分，其中L_r＝D(G(z；θ_G))表示补全网络的真实损失，其目的是使生成网络生成图片应该尽可能的接近真实二值轮廓图。L_s＝δ(G(z；θ_G),I)表示生成图片与损失图片I之间的损失，λr为真实损失权重。

6.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：得到步态熵图后，采用堆叠自动编码器进行步态特征的提取。实验证明当层数为5层时系统识别率最高，而各隐藏节点个数分别为：1000、500、250、125、75。所以，提取的一个步态能量图特征维数为75维。其中，解码器的结构与编码器结构对称，首先对堆叠自动编码器从底层到高层逐层训练结束后，然后将网络只保留编码部分对输入的数据进行特征提取。

7.根据权利要求1所述的基于生成对抗图像补全网络的步态识别方法，其特征在于：得到步态特征后，采用稀疏表示对特征进行表示与分类，首先构造初始字典 表示提取的第i个人第j个视频的步态特征，N_i和K分别表示第i个人的视频总数和人的总数，d和N表示特征维度和总的训练视频数。得到字典D后，测试步态特征y可以表示为y＝Dα∈R^d，其中表示y的稀疏线性表示，对应第i个人的第j个用于训练的视频。求解稀疏系数α可以表示为：

上述公式中稀疏系数求解采用正交匹配追踪算法(OMP)。计算稀疏系数后，残差可以表示为：

r_i(y)＝||y-Dδ_i(α)||₁

其中，r_i是第i个人的残差，δ_i(α)该向量只保留字典D中第i类对应项，其他类对应项为0。最后，选择残差最小的类作为最后的分类：