CN111967326B

CN111967326B - 一种基于轻量化多尺度特征提取的步态识别方法

Info

Publication number: CN111967326B
Application number: CN202010687318.7A
Authority: CN
Inventors: 张顺利; 林贝贝
Original assignee: Beijing Jiaotong University
Current assignee: Beijing Jiaotong University
Priority date: 2020-07-16
Filing date: 2020-07-16
Publication date: 2021-09-28
Anticipated expiration: 2040-07-16
Also published as: CN111967326A

Abstract

本发明提供了一种基于轻量化多尺度特征提取的步态识别方法，包括以下步骤：从基准数据集中分割出训练集和测试集；通过单一尺度特征的步态提取模型训练网络，以此来获得模型的基准精确度；在多尺度特征提取网络中不断嵌入3*3的卷积模块，并重新训练的网络模型参数；对比初始的单一尺度下的步态特征提取模型的精确度，选择最优的轻量化多尺度的步态识别特征提取模型，以此可以获得较好的步态识别结果。

Description

一种基于轻量化多尺度特征提取的步态识别方法

技术领域

本发明属于模式识别中的步态识别领域，具体涉及一种基于轻量化多尺度特征提取的步态识别方法。

背景技术

步态识别是根据人体行走时的姿态进行识别的一种生物识别技术，是近年来计算机视觉、深度学习等研究领域的前沿和热点问题。因此，也吸引了国内外越来越多研究者的关注。步态识别区别于传统的生物识别技术，具有无需接触、非侵犯、识别过程不需要配合、难于隐藏和伪装等优点，可以广泛应用于门禁系统、安全监控、人机交互、医疗诊断等领域。例如，在公共安全维护方面，通过视频监控系统，步态识别可以应用于银行、机场、车站、地铁等场所，通过对特定人员进行步态识别，确定人员身份，有助于构建智能监控体系，为提高公共安全水平。

一个典型的步态识别系统主要包括三个部分，即步态图像预处理，人体步态特征提取和基于步态特征的识别分类。首先，由于实际情况下采集的人体的步态视频可能存在各种噪声，所以需要对视频进行清洗处理，以便后续阶段对步态识别进行特征提取和识别工作。其次，需要基于预处理后的人体步态视频构建相应的步态数据库，通过人体步态数据库可以训练出适用于提取人体步态特征的特征提取模型。训练出的人体步态特征提取模型可以从清洗过的人体步态视频中生成易于认证的特征向量。最后，基于人体步态特征提取模型的提取结果，利用相应的识别分类模型，就可以得到步态识别分类的结果。

人体步态特征提取模型是步态识别的核心，直接关系到步态识别的效果。目前，人体步态特征提取模型多采用二维卷积或三维卷积进行构造，但构造过程仅仅基于单一的卷积尺度。一方面，由于单一的卷积尺度，只能从特定大小的感受野获取信息，可能会导致获取信息不充分，存在局限性。因此，本发明针对上述缺点，提出了基于多卷积尺度特征提取的步态识别方法。本发明从多个卷积尺度提取不同尺度的步态特征，并进行特征融合生成组合的特征。该组合特征融合了不同尺度的感受野信息能够有效的提高步态识别的精确度。另一方面，多尺度特征提取一般依赖于各个卷积尺度的卷积核，例如卷积尺度为3x3、5x5、7x7和9x9的卷积核，对应的感受野为9,25,49和81。但是大卷积尺度可能引入过多的参数，从而造成过拟合现象。例如，9x9的卷积的参数量是3x3卷积参数量的9倍。为了避免过拟合的现象，本发明进一步的提出了轻量化的多尺度特征提取模型。多尺度的特性可以使得特征提取模型生成更具辨别力的步态特征，从而提高步态识别的精确度。轻量化的特征可以使得特征提取模型的识别速度更快，参数更小。

发明内容

本发明针对现有步态识别方法，提供一种基于轻量化多尺度特征提取的步态识别方法。

本发明是通过如下技术方案实现的：

一种基于轻量化多尺度特征提取的步态识别方法，包括如下步骤：

步骤一)训练基于轻量化多尺度的步态特征提取模型：

构建神经网络的训练集和测试集；

卷积神经网络的输入大小被设置为B*C*H*W，其中B表示批量维度，C表示输入步态图像的通道的数，H和W为每帧步态视频序列的长和宽；

通过迭代优化策略，利用样本及样本标签训练3*3尺度的步态特征提取模型，训练完成后获得模型的基准精确度；

步骤二)在特征提取模块中增加一个新的卷积操作，增加的卷积操作为2个串联的3*3尺度卷积，将各次卷积操作得到的特征图相加得到多尺度特征图；比较添加卷积操作前后的模型的精确度；

步骤三)精确度提高，则重复步骤二)，其中须将第n次增加的卷积操作改为n+1个串联的3*3尺度卷积；

当增加新的卷积操作使得精确度下降时，停止步骤；

步骤四)将得到的多尺度特征提取模块应用到步态识别神经网络中。

进一步的，所述训练集和测试集由CASIA-B步态数据集中分割得到。

进一步的，所述神经网络输入归一化至64*44大小。

进一步的，所述进行步骤二)时先对输入的步态图像通过卷积尺度1x1的卷积操作对通道进行降维；在步骤二)结束时再进行卷积尺度1x1的卷积操作对通道进行升维。

与现有技术相比，本发明具有以下优点：

该方法利用轻量化和多尺度的特性增加提取步态特征的鲁棒性派生出最佳组合的特征进行步态特征提取模型的建立，统一解决现有的步态识别方法中存在的仅从单一尺度提取步态特征的问题，同时优化了多尺度特征提取模型，采用了轻量化的方式构建。

附图说明

图1为多尺度特征提取框架；

图2为轻量化多尺度特征提取框架。

具体实施方式

本发明的基于轻量化多尺度特征提取的步态识别方法，针对的对象为中科院发布的CASIA-B步态数据集进行的实验，具体包括以下内容：

步骤一)训练基于轻量化多尺度的步态特征提取模型。

1.1)从基准数据集CASIA-B中分割出训练集和测试集。

1.2)二维卷积神经网络的输入大小被设置为B*C*H*W，其中B表示批量维度，C表示输入步态图像的通道的数，H和W为每帧步态视频序列的长和宽。在本方法中将样本的长宽归一化至64*44大小。

1.3)通过迭代优化策略，利用样本及样本标签训练单一尺度的步态特征提取模型，使得训练后的步态特征提取模型人体步态中提取出较好的多尺度特征。

步骤二)在特征提取模块中增加一个新的卷积操作，增加的卷积操作为2个串联的3*3尺度卷积，将各次卷积操作得到的特征图相加得到多尺度特征图；

步骤三)比较添加卷积操作前后的模型的精确度，精确度提高，则重复步骤二)，其中第n次增加的卷积操作为n+1个串联的3*3尺度卷积；

由以上步骤得到的神经网络即可实现步态识别。

该方法利用轻量化和多尺度的特性增加提取步态特征的鲁棒性派生出最佳组合的特征进行步态特征提取模型的建立，具体阐释如下：

1.搭建多尺度模块。

步态识别中特征提取网络往往基于单一尺度构建，而单一尺度所产生的感受野存在局限性。单一尺度可能导致步态特征信息提取不够充分，造成识别精度的下降。传统的单一尺度特征提取方式可以公式化如下(1)：

X_i+1＝C^a*a(X_i) (1)

其中X_i为第i层的特征图，而X_i+1为第i+1层的特征图。上下两层之间的特征映射操作C^a*a(·)意味着卷积尺度为a*a的卷积操作。其中a可以为3，5，7和9，意味着使用了对应数值尺度的卷积操作。由于该方法仅利用了单一的卷积尺度进行特征提取，存在着信息利用不充分且丢失的问题。因此可以采用多尺度特征提取的方式实现，上下层的特征映射，多尺度特征提取方式可以公式化如下(2)：

X_i+1＝C^3*3(X_i)+C^5*5(X_i)+C^7*7(X_i)+C^9*9(X_i) (2)

其中不同卷积尺度的卷积操作同时运用与第i层的特征图X_i以生成对应的特征图，通过特征图相加的方式合成最终的组合特征图X_i+1。多尺度特征提取框架如图1所示。

在进行公式(2)的特征映射之前与之后会先通过卷积尺度1x1的卷积操作对通道进行降维和升维操作，从而降低整个多尺度特征提取框架的参数量，加快识别的速度。考虑到过大的卷积尺度可能引入过多的参数，导致参数冗余现象。本发明基于此框架进一步的引入了轻量化的特征。

2.搭建轻量化多尺度特征提取模块。

(1)搭建轻量化多尺度特征提取模块。

在卷积神经网络网络的搭建过程往往依赖于单一3*3尺度的卷积进行特征映射，而过大尺度的卷积容易引起参数冗余的现象。为了改进参数冗余现象，会对大尺度的卷积进行近似替换。例如公式(3)(4)所示，5*5卷积可以由两个串联的3*3卷积进行替代而7*7的卷积可以有三个串联的3*3卷积替代。

C^5*5(X_i)＝C^3*3(C^3*3(X_i)) (3)

C^7*7(X_i)＝C^3*3(C^3*3(C^3*3(X_i）)) (4)

假设输入通道以及输出通道为C1和C2，则使用卷积尺度为5*5的卷积操作进行特征映射，参数量为5*5*C1*C2。而使用两个串联额3*3卷积进行近似替代，参数量为2*3*3*C1*C2。相比于原始的5*5卷积参数量下降了28％。因此，本方面基于近似替换的方式搭建了轻量化多尺度特征提取模块，如图2所示。

其中，整体的框架采用串联的方式进行构建，相比于图1并联的方式，该方法提取特征的速度更快。其次，整体的多尺度特征提取框架都是基于3x3卷积进行搭建的，使用了两个3*3卷积替代一个5*5卷积，使用了三个3*3卷积替代一个7*7卷积以及使用了四个3*3卷积替代一个9*9卷积。相比于图1的方式参数量降低了79％。同时该模块具备更高的可扩展性，可以不断堆叠3x3卷积获得更大尺度的特征。公式(2)可以转化为如下公式(5)：

X_i+1＝C^3*3(X_i)+C^3*3(C^3*3(X_i))+C^3*3(C^3*3(C^3*3(X_i)))+C^3*3(C^3*3(C^3*3(C^3*3(X_i)))) (5)

尽管本发明通过这些实施例进行阐述和说明,但需要注意的是本发明并不仅仅局限于这些实施例。

Claims

1.一种基于轻量化多尺度特征提取的步态识别方法，其特征在于，包括如下步骤：

步骤一)训练基于轻量化多尺度的步态特征提取模型：

构建神经网络的训练集和测试集；

当增加新的卷积操作使得精确度下降时，停止步骤；

2.如权利要求1所述的一种基于轻量化多尺度特征提取的步态识别方法，其特征在于，所述训练集和测试集由CASIA-B步态数据集中分割得到。

3.如权利要求1所述的一种基于轻量化多尺度特征提取的步态识别方法，其特征在于，所述神经网络输入归一化至64*44大小。

4.如权利要求1所述的一种基于轻量化多尺度特征提取的步态识别方法，其特征在于，进行步骤二)时先对输入的步态图像通过卷积尺度1x1的卷积操作对通道进行降维；在步骤二)结束时再进行卷积尺度1x1的卷积操作对通道进行升维。