CN111898533A - 一种基于时空特征融合的步态分类方法 - Google Patents

Abstract

本发明涉及一种基于时空特征融合的步态分类方法，首先对步态视频进行随机稀疏时序采样得到时序步态图像集，并在此基础上，通过对时序增强子网络和残差子网络的输出融合大幅度提升了对空间维度和时间维度上步态信息的提取能力，从而缓解了步态视频采集视角变化和着装不同等因素对步态特征提取的干扰，有效地提升了步态分类的正确率。

Description

一种基于时空特征融合的步态分类方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于时空特征融合的步态分类方法。

背景技术

步态作为人类生物特征的重要成员之一，与人脸、指纹、虹膜等其它生物特征相比，具有易于远距离采集、无需被识别对象刻意配合、难以长时间伪装等优点，因此，步态分类是人类身份识别应用领域中的重要技术。然而，由于步态视频采集视角的变化和被识别者着装的差异等因素的影响，基于步态的身份识别仍然面临着诸多挑战，其分类和识别的正确率难以达到实际应用的要求。

发明内容

针对现有的步态分类的不足，本发明提出一种基于时空特征融合的步态分类方法，该方法将深度学习技术融入到步态特征的提取过程中，用以解决步态分类过程中由于视频采集视角变化和着装差异造成的识别率不足的问题。

本发明的目的通过如下的技术方案来实现：

一种基于时空特征融合的步态分类方法，该方法具体包括如下步骤：

S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：

将输入步态视频划分为长度为采样间隔F_C的等长图像分组，得到时序步态图像{f₁,f₂,…,f_G}，其中，G为图像分组的个数，F_C＝B×F₀/F_B，B为基准采样间隔，F₀为输入步态视频的帧率，F_B为基准帧率；

S2：随机抽取图像分组中的一个样本进行如下的预处理：

(1)通过高斯背景建模，对人体区域进行粗略分割；

(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；

(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；

S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：

通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；

通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；

S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；

S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；

S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。

进一步地，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：

(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；

(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。

本发明的有益效果如下：

本发明提供的基于时空特征融合的步态分类方法采用了深度学习技术，通过融合时序增强子网络提取的时序步态特征和残差子网络提取的空间步态特征，更好地刻画了不同人步态的内在差异，从而提升了步态分类的正确率，推动了步态分类技术在身份识别领域的实际应用。

附图说明

图1为本发明的基于时空特征融合的步态分类方法的流程图；

图2为时空步态特征提取网络结构图；

图3为时序步态图像的规范化处理示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1和2所示，本发明的基于时空特征融合的步态分类方法具体包括如下步骤：

S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：

将输入步态视频划分为长度为采样间隔F_C的等长图像分组，得到时序步态图像{f₁,f₂,…,f_G}，其中，G为图像分组的个数，F_C＝B×F₀/F_B，B为基准采样间隔，F₀为输入步态视频的帧率，F_B为基准帧率；作为其中一种实施方式，可取基准帧率F_B为30帧/秒，基准采样间隔B为3帧；

S2：随机抽取图像分组中的一个样本进行如下的预处理：

(1)通过高斯背景建模，对人体区域进行粗略分割；

(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；

(3)将完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；

作为其中一种实施方式，规范化处理的步骤具体如下：

(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；

(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。如图3所示。

S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：

通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；

通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；

S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；

交叉熵损失函数的计算公式如下：

其中，N为样本个数；y_i，k为预测结果的二值函数，当预测结果正确时取值为1，否则取值为0；p_i，k为第i个步态样本预测为第m个人的概率。

S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；

S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。

下面分别采用CASIA步态数据库的Dataset B数据集、OU-ISIR步态数据库的LP数据集进行步态分类正确率测试。

CASIA Dataset B是一个由中科院自动化研究所提供的多视角步态数据集。该数据集共包含124个人的15004个步态视频。每个人的步态分别从11个视角(0度，18度，36度，…，180度)进行采集。行走条件包括三种：普通条件、穿大衣和背包。本实施例的识别结果与基于LSTM(长短期记忆网络)、CNN(卷积神经网络)、以及HMM(隐式马尔科夫模型)的方法进行了对比试验。

该实施例中随机选取该上数据普通条件下每个人每个视角的70％步态数据用于训练，剩余的30％步态数据用于步态分类测试。测试次数为1000次，然后计算平均识别率和标准差。本发明提出的方法与与三种现有方法的对比实验结果如表1所示。从表1可以看出，与现有步态方法相比较，本发明的方法具有更高的平均识别率和更好的稳定性。

表1各种方法在CASIA Dataset B数据集上的对比实验结果

方法名称	平均识别率	标准差
			LSTM方法	94.1％	4.43
CNN方法	93.9％	4.17
			HMM方法	93.6％	2.35
本发明方法	95.6％	1.98

OU-ISIR LP是一个由日本大阪大学提供的大规模步态数据集。每个对象采集2个序列：子集A和子集B，并已经预处理为128×88的轮廓图。因此，测试时可以直接对轮廓图进行随机稀疏时序采样。另外，每个序列根据相机观测角度分为55度、65度、75度、85度。本实施例的识别结果与基于LSTM(长短期记忆网络)、CNN(卷积神经网络)、以及HMM(隐式马尔科夫模型)的方法进行了对比试验。训练数据获取方法：将OU-ISIR LP的子集A和子集B合并到一起，并随机抽取70％数据用于训练，剩余的30％数据用于步态分类测试。测试次数为1000次。本发明提出的方法与三种现有方法的对比实验结果如表2所示。从表2可以看出，与现有步态分类方法相比较，本发明的方法在大规模数据环境下时，平均正确识别率和稳定性也具有明显的优势。

表2各种方法在OU-ISIR LP数据集上的对比实验结果

方法名称	平均识别率	标准差
			LSTM方法	96.6％	3.31
CNN方法	95.4％	3.11
			HMM方法	94.5％	2.06
本发明方法	98.1％	1.40

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (2)

1.一种基于时空特征融合的步态分类方法，其特征在于，该方法具体包括如下步骤：

S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：

将输入步态视频划分为长度为采样间隔F_C的等长图像分组，得到时序步态图像{f₁,f₂,…,f_G}，其中，G为图像分组的个数，F_C＝B×F₀/F_B，B为基准采样间隔，F₀为输入步态视频的帧率，F_B为基准帧率。

S2：随机抽取图像分组中的一个样本进行如下的预处理：

(1)通过高斯背景建模，对人体区域进行粗略分割；

(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；

(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；

S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：

通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；

通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；

S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；

S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；

S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。

2.根据权利要求1所述的基于时空特征融合的步态分类方法，其特征在于，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：

(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；

(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。

Images