CN109902646A - 一种基于长短时记忆网络的步态识别方法 - Google Patents

Abstract

本发明公开了一种基于长短时记忆网络的步态识别方法，包括：步骤1.1，获取已知身份标签的新个体的行走视频；步骤1.2，将行走视频拆分成M_i张连续步态图像，对M_i张连续步态图像进行预处理得到步态图片序列；步骤1.3，从步态图片序列中截取T张连续步态图像，作为步态图片序列训练样本；步骤2，以新个体的步态图片序列训练样本为输入、相应的身份标签为输出，训练长短时记忆网络得到身份识别模型；步骤3，获取待识别个体的行走视频，按步骤1.2和步骤1.3获取待识别个体的步态图片序列测试样本，并输入到身份识别模型中，从而得到待识别个体的身份标签。本发明有效利用步态图片序列的前后时序关系，提高对待识别个体身份识别的准确性。

Description

一种基于长短时记忆网络的步态识别方法

技术领域

本发明涉及步态识别领域，具体是指一种基于长短时记忆网络的步态识别方法。

背景技术

步态识别是依据行人步行的视频序列来提取生物特征的一种方法，该方法可以用来对行人进行身份鉴定和推断，也可以用来评估人的病理和生理病变。现有的一些身份识别方法虽然在现实生活中得到了推广，得到实际应用，但是它们在使用过程中往往存在着或多或少的缺陷，比如需要受试者主动明确的配合或者要求受试者进行一系列标准动作，依据这些附加条件提高识别率，并实现身份识别。这些额外的要求，使得身份鉴定过程变得很不便利，受试者的配合动作也增加了识别时间成本。

步态作为一种动态的生物特征，相较于指纹、掌纹、虹膜等静态特征而言，其包含信息更为丰富。传统的步态识别经典方法比如步态能量图(GEI)通过将动态的信息融合为一张静态的图片，并通过分类的方法来实现步态识别，这种方法虽然利用到了步态的所有动态特征，但是却丢失了时序性。因为其采用了叠加的方法对步态中的每一时刻进行累积，但是前后的关系却没有在最终的步态能量图中体现出来，而这些信息对于步态识别而言却是极为重要的，所以，在建立模型的时候考虑保留并利用这些信息尤为重要。

长短时记忆网络(LSTM)，是一种时间递归神经网络，是深度学习运用于时序特征预测上的一大重要成果，适合于处理和预测时间序列中间隔和延迟相对较长的事件，因此有必要提出一种采用长短时记忆网络同时提取步态的空间和时序特征以进行身份识别的方法。

发明内容

针对现有身份识别技术存在的技术缺陷，本发明提供一种基于长短时记忆的步态识别方法，可以有效利用步态图片序列的前后时序关系，提高对待识别个体进行身份识别的准确性。

为实现上述技术目的，本发明采用如下技术方案：

一种基于长短时记忆网络的步态识别方法，包括以下步骤：

步骤1，获取步态图片序列训练样本；

步骤1.1，获取已知身份标签的新个体的行走视频；

步骤1.2，将行走视频拆分成M_i张连续步态图像，对M_i张连续步态图像进行预处理得到步态图片序列；其中i表示不同新个体的序号；

步骤1.3，从步态图片序列中获取步态图片序列训练样本，所述步态图片序列训练样本包括T张连续步态图像，其中T≤M_i；

步骤2，身份识别模型训练；

以新个体的步态图片序列训练样本为输入、以相应的身份标签为输出，训练长短时记忆网络得到身份识别模型；

步骤3，身份识别；

获取待识别个体的行走视频，按步骤1.2对待识别个体的行走视频进行处理，按步骤1.3截取T张连续步态图像，作为待识别个体的步态图片序列测试样本；

将待识别个体的步态图片序列测试样本输入到步骤2得到的身份识别模型中，身份识别模型输出待识别个体的身份标签。

本发明方法的长短时记忆网络，通过训练阶段对步态图片序列训练样本中连续时序上的步态图像进行学习，每张步态图像中包含有新个体的步态特征，多张连续步态图像在时序性上体现出新个体的步态特征在时序上的前后关系，从而实现了对步态特征在时序上先后变化的记忆效果，相较于传统的方法，能更好的体现步态特征的变化，从而在对未知身份标签的待识别个体进行身份识别时具有更好的识别效果。

进一步地，在步骤1.3中，每个步态图片序列对应获取D个步态图片序列训练样本，具体方法为：从步态图片序列中截取D+T-1张连续步态图像；然后在该D+T-1张连续步态图像中，依次取第j至j+T-1张步态图像作为第i个新个体的第j个步态图片序列训练样本，其中j＝0,1,2,…,D-1，得到D个步态图片序列训练样本，且D-1≤M_i-T。这样可以增加训练LSTM网络的训练样本。

进一步地，在步骤1.3之前还包括确定步态图片序列训练样本的长度T，步骤为：分别计算所有新个体的步态图片序列的步态周期N_i，然后按以下公式确定步态图片序列训练样本的长度T：

T＝ζ*max(N_i)；

其中，系数ζ的取值范围为：2＜ζ≤2.5。

在计算所有新个体的步态周期后，并取其最大值的若干倍作为训练样本的长度，不但保证每个新个体在任何时候开始的一段步态视频都参与了训练，而且可根据实际情况确定系数取值以确保在实际应用于身份识别时，待识别个体的步态图片序列测试样本包括了完整待识别个体的步态周期的步态图像，从而使身份识别更准确。

进一步地，采用自相关性方法计算新个体的步态图片序列的步态周期N_i：

其中，N_i表示第i个新个体的步态周期，C_i(N)表示第i个新个体的步态图片序列中图像的自相关性；表示在第i个新个体的步态图片序列中，N从最小值N_min到最大值N_max之间取值时相应的C(N)取得最大值时N的值；g_i(x,y,n)表示第i个新个体的步态图片序列的第n个图像在(x,y)处的像素值，T_i(N)＝M_i-N_i-1，N_min表示周期的最小值，N_max表示周期的最大值。

进一步地，所述步骤1.2中对M_i张连续步态图像进行预处理包括采用降维模型进行降维处理。

通过对步态图像进行降维处理，减小图片的尺寸，可以提高对LSTM网络进行训练的速度。

进一步地，所述降维模型是指训练自编码器后得到的训练后的编码器，其中自编码器包括编码器和与编码器相对应的解码器，训练自编码器包括以下步骤：

取每个新个体的步态图片序列中的M_i张步态图像，分别作为自编码器的步态图像降维训练样本；

以步态图像降维训练样本同时作为编码器的输入图片和解码器的标签图片，采用二分类交叉熵损失函数，训练自编码器得到训练后的编码器和解码器，再将训练后的编码器作为降维模型。

进一步地，所述编码器包括卷积层和池化层，所述解码器包括卷积层和上采样层，所述二分类交叉熵损失函数为：

其中，p,q分别表示训练自编码器的输入图片和标签图片，y_k表示输入图片p依次经编码器和解码器处理后在解码器的输出端得到的输出图片中第k个像素点的像素值，表示标签图片q中第k个像素点的像素值，Q为标签图片的像素点总数。

进一步地，所述步骤1.2中对M_i张连续步态图像进行预处理包括：

步骤1.2.1，对步态图像中的行人类别进行检测，并获取行人类别所在的矩形边框，并截取步态图像中的矩形边框所在区域作为下一步骤待处理的步态图像；

步骤1.2.2，对步骤1.2.1得到的步态图像中的行人进行语义分割，将行人像素点作为前景、将其余像素点作为背景，得到二值化步态图像，并将二值化步态图像作为下一步骤待处理的步态图像；

步骤1.2.3，对步骤1.2.2得到的二值化步态图像按行人身高进行归一化处理，并居中填充至大小尺寸相同的背景色图像中，得到归一化步态图像，并将归一化步态图像作为下一步骤待处理的步态图像。

通过截取矩形边框所在区域作为感兴趣区域、对感兴趣区域进行针对行人类别的语义分割、归一化和降维处理，可以得到完整的步态轮廓图片，提高后续训练和识别的效果，减少LSTM网络对步态图像进行处理的计算量，提高LSTM网络的处理速度，从而提高身份识别模型的识别速度。

进一步地，所述身份标签包括行人身份和行走角度；或者，所述身份标签是指行人身份。

身份标签可以同时包括行人身份和行走角度，对行人行走进行多视角的训练，对解决以往步态识别单视角的局限性也有较好的帮助，进一步提升识别效果。

进一步地，所述长短时记忆网络为依次包括第一LSTM层、第二LSTM层和全连接层的双层单向长短时记忆网络；所述全连接层设有Softmax激活函数，采用Softmax激活函数和交叉熵损失函数训练长短时记忆网络；

其中，Softmax激活函数为：

交叉熵损失函数为：

其中，y_l表示全连接层中与第l个身份标签所对应的神经元的输出，y_r表示全连接层中与第r个身份标签所对应的神经元的输出，L表示身份标签的总数量，v(y_l)表示第l个身份标签的输出概率，w(y_l)表示第l个身份标签的真实概率。

有益效果

1、本发明方法的长短时记忆网络，通过训练阶段对步态图片序列训练样本中连续时序上的步态图像进行学习，每张步态图像中包含有新个体的步态特征，多张连续步态图像在时序性上体现出新个体的步态特征在时序上的前后关系，从而实现了对步态特征在时序上先后变化的记忆效果，相较于传统的方法，能更好的体现步态特征的变化，从而在对未知身份标签的待识别个体进行身份识别时具有更好的识别效果。

2、本发明的身份标签同时包括行人身份和行走角度，对行人行走进行多视角的训练，对解决以往步态识别单视角的局限性也有较好的帮助，进一步提升识别效果。

3、本发明还可以对单个个体的步态图片序列进行样本扩充，获取更多的步态图片序列训练样本来训练长短时记忆网络，使身份识别模型的拟合度更高。

4、通过截取矩形边框所在区域作为感兴趣区域、对感兴趣区域进行针对行人类别的语义分割、归一化和降维处理，可以得到完整的步态轮廓图片，提高后续训练的效果，减少LSTM网络对步态图像进行处理的计算量，提高LSTM网络的处理速度，从而提高身份识别模型的识别速度。

附图说明

图1为本发明提供的基于长短时记忆网络的步态识别方法的整体工作流程。

图2为本发明在网络训练阶段样本扩充时使用的方法示意图。

图3为本发明采用自编码器降维时自编码器的工作原理。

图4为本发明采用LSTM网络模型进行步态识别分类时LSTM网络的结构。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本发明提供的基于长短时记忆(Long Short Term Memory，简称LSTM)网络的步态识别方法，流程框架如图1所示，整体而言包括预处理、网络训练以及识别阶段。

阶段1，数据预处理。

预处理阶段具体为获取所有新个体的步态图片序列训练样本，包括以下步骤：

步骤1.1，获取新个体i在多个行走角度的行走视频V_i；

使用摄像头对待采集的新个体进行多个行走角度的行走视频拍摄，从行走方向正前方(0°)到正后方(180°)，每隔一定角度采集一段时间的行走视频，行走视频需要保证是统一的帧率，且行走速度控制在一定范围内，并对行走视频做好行人身份和行走角度的标记，以行人身份和行走角度作为新个体的身份标签。其中，本实施例选取每隔18°采集一段行走视频，在其他情况下采集行走视频的行走角度的间隔可根据实际需要而定，本发明不作具体限定。

人的步态是一个周期性运动，对于不同帧率的摄像机，其表现出的一个步态周期帧数也是不同的，因此在本实施例采集行走视频以获取步态图片序列时，要求拍摄行走视频的帧率相同，从而保证后续得到的步态图片序列在时序上的图像数量控制在一定范围内，更利于获取分布均匀的步态图片训练样本。

步骤1.2，获取新个体i在各行走角度的步态图片序列S_i。

(i)使用OpenCV或者FFmpeg等工具将行走视频V_i拆分成连续的单帧图像得到一组共M_i张连续步态图像，M_i张连续步态图像组成与行走视频V_i对应的步态图片序列S_i。

(ii)对态图片序列S_i中的M_i张连续步态图像进行预处理，得到步态图片序列；

首先，对步态图片序列中的每张步态图像，采用YOLO、Faster RCNN等业界已有目标检测技术，以行人类别为目标进行检测，从而获取行人类别所在的矩形边框，能够排除其他非行人类别的干扰，使得后续训练的模型更准确，使用模型时的身份识别率更高。

具体地，对于每张步态图像上的位置框，为了防止位置框不够精确，本发明将位置框的上下左右四个边界分别向四个方向扩张当前位置框的高度或者宽度的t倍，且限制扩张不得超出原步态图像的边界，从而将步态图像中扩张后的位置框所在区域作为下一步骤待处理的步态图像。其中，假设原图的大小为W*H，其中W是原图的宽度，H是原图的高度，y_up、y_bot、x_left、x_right分别是步态图像中当前的位置框的上下左右边界位置，y_{new_up}、y_{new_bot}、x_{new_left}、x_{new_right}分别是步态图像中扩张后的位置框的上下左右边界位置，且满足：

然后，在位置框扩张后，将扩张后的位置框作为步态图像的ROI(感兴趣区域)，进一步以行人为目标进行语义分割，将行人像素点作为前景(白色，单通道像素值为255)、将其余像素点作为背景(黑色，单通道像素值为0)，得到二值化步态图像，并将二值化步态图像作为下一步骤待处理的步态图像。在本实施例中，该步骤以行人为目标进行分割，具体是通过RefineNet，DeepLab等业界已有语义分割技术，针对行人进行语义分割。

在检测得到包含行人区域的ROI后，在ROI基础上进行语义分割，相比于直接对全图进行语义分割，能够更为精细的得到行人的轮廓图。同时也可以针对类似尺度的行人图片建立自己的语义分割数据集，进行训练得到语义分割模型，提高针对本场景的语义分割精度。

再后，由于LSTM网络的输入要求其每张图片都是固定尺寸大小，因此需要对上一步骤得到的图像尺寸不固定的步态图像进行归一化处理。

具体地，对上一步骤得到的二值化步态图像，寻找其中行人轮廓的最小外接矩形，设该最小外接矩形的高和宽分别为H_Rec与W_Rec，依据身高将所有步态图像归一化至相同尺寸。因为在实际情况中，我们很难通过视频自动的推测出视频中人的身高，所以在进行步态识别时，只有放弃使用该信息。假设设定所有人身高所占像素大小均为X，则将该最小外接矩形缩放到大小为：高度为X、宽度为X*W_Rec/H_Rec，再根据LSTM网络所要求的输入图片尺寸，上下左右使用0像素值填充至规定尺寸。至此，所有步态序列中的步态图像都实现了：(1)只包含人体轮廓的二值图；(2)所有人体轮廓按身高归一化到相同值；(3)所有人体轮廓位置相对相同，都处于居中位置。

至此，步态图片序列中步态图像是二值轮廓图包含信息相对较为简单，且LSTM网络训练参数值相对较多，因此在最后，本发明采用自编码器对原二值轮廓图进行进一步降维简化参数提高训练速度：对步态图片序列中所有经过上述各步骤处理得到的的步态图像采用编码器进行降维处理，将步态图像缩放到尺寸大小为H_final*W_final，其中H_final、W_final分别表示经编码器降维处理后的步态图像的高和宽。

具体地，所述编码器是训练自编码器后得到的训练后的编码器，其中自编码器包括编码器和与编码器相对应的解码器(如图3所示)，训练自编码器包括以下步骤：

构建自编码器：

自编码器包括编码器和与编码器相对应的解码器，编码器包括卷积层和池化层，所述解码器卷积层和上采样层，；其中，输入自编码器的图片，经编码器的卷积层和池化层处理后，尺寸被缩小设定倍数，而后被送到解码器经卷积层和上采样层进行处理，尺寸被放大相同的设定倍数，因此从解码器输出的图片恢复到与输入编码器的图片的尺寸相同，但是编码器输出到解码器的图片尺寸是被缩小设定倍数的。训练自编码器：

取所有新个体的步态图片序列中的所有步态图像，分别作为自编码器的步态图像降维训练样本；

以步态图像降维训练样本同时作为编码器的输入图片和解码器的标签图片、采用二分类交叉熵损失函数，训练自编码器，得到训练后的编码器和解码器，训练后的编码器即为降维模型。

其中，二分类交叉熵损失函数为：

上式中，p,q分别表示训练自编码器的输入图片和标签图片，y_k表示输入图片p依次经编码器和解码器处理后在解码器的输出端得到的输出图片中第k个像素点的像素值，表示标签图片q中第k个像素点的像素值，Q为标签图片的像素点总数。在本实施例中，经前述对步态图像的数据预处理后得到的步态图像为二值图像，因此像素值为0或255，在应用二分类交叉损失函数时，为简化计算过程，可将两种像素值分别计为0和1。

此时，将训练后的编码器作为降维模型，将步态图片序列中的步态图像输入到降维模型中，降维模型输出降维后的尺寸更小更简化的步态图像，并将其作为下一步骤待处理的步态图像。

步骤1.3，从步态图片序列中的M_i张步态图像中截取D+T-1连续步态图像，依次将其中T张连续步态图像作为1个步态图片序列训练样本，共得到D个步态图片序列训练样本，其中T≤M_i；

其中，T的取值方法为：分别计算所有步态图片序列的步态周期N_i，并按以下公式确定步态图片序列训练样本的长度T：T＝ζ*max(N_i)，其中系数ζ的取值范围为2＜ζ≤2.5。

由于采集行走视频时，行走速度控制在一定预设范围内，且摄像机拍摄的行走视频的帧率统一，因此每个个体的步态周期也能控制在一个合理范围之内，从而避免步态图片序列训练样本的长度扩充到不必要的长度，缩小步态图片序列训练样本训练LSTM网络的计算成本。

其中，本实施例采用自相关性方法计算新个体i的各角度步态图片序列的步态周期N_i：

其中，N_i表示第i个新个体的步态周期，C_i(N)表示第i个新个体的步态图片序列中图像的自相关性；表示在第i个新个体的步态图片序列中，N从最小值N_min到最大值N_max之间取值时相应的C(N)取得最大值时N的值；g_i(x,y,n)表示第i个新个体的步态图片序列的第n个图像在(x,y)处的像素值，T_i(N)＝M_i-N_i-1，N_min表示周期的最小值，N_max表示周期的最大值。

对于现有的所有步态图片序列S_i，对应包括M_i张步态图像，且M_i＞N_i，因此有：每个步态序列S_i是包括若干个步态周期的连续图像序列。而LSTM网络输入并不需要这么长的步态图片序列，本发明通过缩小每个步态图片序列的长度，每次从步态图片序列中截取T张连续步态图像作为训练LSTM网络的步态图片训练样本，重复D次，则每个步态图片序列S_i可以扩充得到D个步态图片序列训练样本。如此不但可以增加训练LSTM网络的训练样本，同时也能保证每个新个体在任何时候开始的一段步态视频都参与了训练。

由步态图片序列获取步态图片序列训练样本时的具体步骤为：从第i个新个体的步态图片序列中取第j至j+T-1张步态图像作为训练LSTM网络时与第i个新个体对应的第j个步态图片序列训练样本，其中j＝0,1,2,…,D-1，得到D个步态图片序列训练样本，且D-1≤M_i-T。

例如图2所示，单个个体的步态图片序列扩充为第0～T-1张、第1～T张、……、第D-1～D+T-2张这样D个每个长度都为T的子序列，这样也保证了这个子序列对于每个人任意角度都包含了一个步态周期以上的步态信息。

阶段2，身份识别模型训练。

首先，构建LSTM网络，如图4所示，LSTM网络为依次包括第一LSTM层、第二LSTM层和全连接层的双层单向LSTM网络；所述全连接层设有Softmax激活函数，LSTM网络的时间间隔设置为T。

然后，以步态图片序列训练样本为输入、以相应的身份标签为输出，采用Softmax激活函数和交叉熵损失函数训练LSTM网络，得到身份识别模型。在本实施例中，身份标签包括行人身份和行走角度。

训练LSTM网络时，输入LSTM网络的每个步态图片序列训练样本，是一个大小为T*H_final*W_final的张量，LSTM网络的每个时间间隔的输入大小为H_final*W_final。当每个时间间隔选择二维矩阵(即步态图像)作为输入时，输入LSTM网络的张量维度就是T*H_final*W_final的三维张量；而如果每个时间间隔选择二维步态图像的展开的向量(即步态图像按行依次连接成一个一维向量)作为输入时，则输入LSTM网络的张量维度是T*(H_final*W_final)的二维张量。

LSTM网络在时序上展开为T的长度，每一时刻对应步态图片序列中的一帧步态图像或者一个一维向量。假如LSTM网络的每个时间间隔所采用的输入是一个二维矩阵，即以图形方式输入，那么输入LSTM网络的步态图片序列训练样本是三维的，其第二、三维度是输入的图形矩阵，其大小为H_final*W_final。假如LSTM网络的每个时间间隔所采用的输入是一个展开的一维向量，则输入LSTM网络的步态图片序列训练样本是二维的，其第二维度是图形矩阵展开后得到的一维向量，其长度为(H_final*W_final)。在采用批梯度下降的方式训练时，以合适的batch size将一组组数据输入网络进行训练。

其中，Softmax激活函数为：

交叉熵损失函数为：

其中，y_l表示全连接层中与第l个身份标签所对应的神经元的输出，y_r表示全连接层中与第r个身份标签所对应的神经元的输出，L表示身份标签的总数量，v(y_l)表示第l个身份标签的输出概率，w(y_l)表示第l个身份标签的真实概率。

Softmax函数将全连接层的各神经元输出归一化成和为1的概率值，再经过交叉熵损失函数对比其与标签值的损失，最终通过反向传播算法逐层向前传播损失，利用梯度下降等优化方法修改LSTM网络结构中的参数值，使LSTM网络最终收敛到一个最优状态，此时的LSTM网络模型就能够用作身份识别模型，来进行类似未知样本的分类。

训练LSTM网络时，输出是与步态图片序列训练样本相应的身份标签，包括行人身份，但具体可根据训练设备的条件分为是否另外还包括行走角度。由于LSTM网络的复杂性，其对于训练设备的要求也比较高，假如训练时使用的数据库中有C个新个体，则可设置LSTM网络的全连接层神经元的数量L为：L＝C，每个新个体对应一个类别；假设每个行人走了W个角度，则设置LSTM网络的全连接层神经元的数量L为：L＝C*W，每个新个体的每个角度对应一个类别。由于LSTM网络的参数量较大，如果采用身份标签包括行人身份和行走角度，LSTM网络结构的全连接层的神经元数量相当于需要设置为之前的W倍，对训练设备要求大大增加。因此，在设备条件允许情况下，如本实施例可以选择使用包括行人身份和行走角度作为身份标签，从而在使用身份识别模型时可输出待识别个体的行人身份和行走角度，提高身份识别的精确度；在设备条件有限情况下，也以将同一新个体的任意角度的步态图片序列训练样本均看作为同一类，虽然损失了一部分准确率，但对设备的要求更低。

在使用身份标签时，可将身份标签转换为one hot编码的形式，即样本一共有多少类，就采用多少位的编码。该标签对应第几类，就将第几位置为1，其余位都置为0。

两层LSTM网络结构中，第一层采用了返回序列的结构，每个时间间隔都有输出且与下一层LSTM相连，而第二层LSTM由于只需要最后得到一个分类结果，所以设置为最后一个时间间隔才输出，并与一个带softmax激活函数的全连接层连接，用于最后的分类。在全连接层中，可以依照训练情况采用适当的dropout值用于在训练阶段时随机屏蔽一部分神经元，以起到提高LSTM网络鲁棒性，具有防止模型过拟合的效果。

阶段3，身份识别。

步骤3.1，获取待识别个体的行走视频，按步骤1.2对待识别个体的行走视频进行处理，按步骤1.3任意截取一组长度为T的连续步态图像，作为待识别个体的步态图片序列测试样本；

其中，待识别个体的行走视频的帧率，要求与获取步态图片序列训练样本时拍摄的行走视频的帧率保持一致，且识别个体的行走速度也需控制在一定范围内，从而保证待识别个体的步态周期与训练LSTM网络时的步态周期之间的差距较小，提高身份识别模型的识别率。

具体地，由于在数据预处理阶段的步骤1.3获取步态图片序列训练样本时，已经计算步态图片序列训练样本的长度T，基于身份识别模型在使用与训练时的输入格式要求一致，因此本步骤进行身份识别时，直接使用长度T作为待识别个体的步态图片序列中截取步态图像的数量，从而得到待识别个体的步态图片序列测试样本。

步骤3.2，将待识别个体的步态图片序列测试样本输入到步骤2得到的身份识别模型中，身份识别模型输出待识别个体的身份标签。

当待识别个体的步态图片序列测试样本输入到身份识别模型后，全连接层的softmax激活函数得到对应每个类别的概率，可以对这些概率进行降序排列从而得到Top-K排序。若身份识别模型待用于识别的类别较少，可以设置仅选取最大的概率值所对应的类别作为身份识别模型最终输出的身份标签；若身份识别模型待用于识别的类别较多，可以设置依次选取较大的K个概率值所对应的类别作为身份识别模型最终输出的身份标签，从而提供对身份识别的参考。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (10)

1.一种基于长短时记忆网络的步态识别方法，其特征在于，包括以下步骤：

步骤1，获取步态图片序列训练样本；

步骤1.1，获取已知身份标签的新个体的行走视频；

步骤1.2，将行走视频拆分成M_i张连续步态图像，对M_i张连续步态图像进行预处理得到步态图片序列；其中i表示不同新个体的序号；

步骤1.3，从步态图片序列中获取步态图片序列训练样本，所述步态图片序列训练样本包括T张连续步态图像，其中T≤M_i；

步骤2，身份识别模型训练；

以新个体的步态图片序列训练样本为输入、以相应的身份标签为输出，训练长短时记忆网络得到身份识别模型；

步骤3，身份识别；

获取待识别个体的行走视频，按步骤1.2对待识别个体的行走视频进行处理，按步骤1.3截取T张连续步态图像，作为待识别个体的步态图片序列测试样本；

将待识别个体的步态图片序列测试样本输入到步骤2得到的身份识别模型中，身份识别模型输出待识别个体的身份标签。

2.根据权利要求1所述的方法，其特征在于，在步骤1.3中，每个步态图片序列对应获取D个步态图片序列训练样本，具体方法为：从步态图片序列中截取D+T-1张连续步态图像；然后在该D+T-1张连续步态图像中，依次取第j至j+T-1张步态图像作为第i个新个体的第j个步态图片序列训练样本，其中j＝0,1,2,…,D-1，得到D个步态图片序列训练样本，且D-1≤M_i-T。

3.根据权利要求1所述的方法，其特征在于，在步骤1.3之前还包括确定步态图片序列训练样本的长度T，步骤为：分别计算所有新个体的步态图片序列的步态周期N_i，然后按以下公式确定步态图片序列训练样本的长度T：

T＝ζ*max(N_i)；

其中，系数ζ的取值范围为：2＜ζ≤2.5。

4.根据权利要求3所述的方法，其特征在于，采用自相关性方法计算新个体的步态图片序列的步态周期N_i：

其中，N_i表示第i个新个体的步态周期，C_i(N)表示第i个新个体的步态图片序列中图像的自相关性；表示在第i个新个体的步态图片序列中，N从最小值N_min到最大值N_max之间取值时相应的C(N)取得最大值时N的值；g_i(x,y,n)表示第i个新个体的步态图片序列的第n个图像在(x,y)处的像素值，T_i(N)＝M_i-N_i-1，N_min表示周期的最小值，N_max表示周期的最大值。

5.根据权利要求1所述的方法，其特征在于，所述步骤1.2中对M_i张连续步态图像进行预处理包括采用降维模型进行降维处理。

6.根据权利要求5所述的方法，其特征在于，所述降维模型是指训练自编码器后得到的训练后的编码器，其中自编码器包括编码器和与编码器相对应的解码器，训练自编码器包括以下步骤：

取每个新个体的步态图片序列中的M_i张步态图像，分别作为自编码器的步态图像降维训练样本；

以步态图像降维训练样本同时作为编码器的输入图片和解码器的标签图片，采用二分类交叉熵损失函数，训练自编码器得到训练后的编码器和解码器，再将训练后的编码器作为降维模型。

7.根据权利要求6所述的方法，其特征在于，所述编码器包括卷积层和池化层，所述解码器包括卷积层和上采样层，所述二分类交叉熵损失函数为：

其中，p,q分别表示训练自编码器的输入图片和标签图片，y_k表示输入图片p依次经编码器和解码器处理后在解码器的输出端得到的输出图片中第k个像素点的像素值，表示标签图片q中第k个像素点的像素值，Q为标签图片的像素点总数。

8.根据权利要求1所述的方法，其特征在于，所述步骤1.2中对M_i张连续步态图像进行预处理包括：

步骤1.2.1，对步态图像中的行人类别进行检测，并获取行人类别所在的矩形边框，并截取步态图像中的矩形边框所在区域作为下一步骤待处理的步态图像；

步骤1.2.2，对步骤1.2.1得到的步态图像中的行人进行语义分割，将行人像素点作为前景、将其余像素点作为背景，得到二值化步态图像，并将二值化步态图像作为下一步骤待处理的步态图像；

步骤1.2.3，对步骤1.2.2得到的二值化步态图像按行人身高进行归一化处理，并居中填充至大小尺寸相同的背景色图像中，得到归一化步态图像，并将归一化步态图像作为下一步骤待处理的步态图像。

9.根据权利要求1所述的方法，其特征在于，所述身份标签包括行人身份和行走角度；或者，所述身份标签是指行人身份。

10.根据权利要求1所述的方法，其特征在于，所述长短时记忆网络为依次包括第一LSTM层、第二LSTM层和全连接层的双层单向长短时记忆网络；所述全连接层设有Softmax激活函数，采用Softmax激活函数和交叉熵损失函数训练长短时记忆网络；

其中，Softmax激活函数为：

交叉熵损失函数为：

其中，y_l表示全连接层中与第l个身份标签所对应的神经元的输出，y_r表示全连接层中与第r个身份标签所对应的神经元的输出，L表示身份标签的总数量，v(y_l)表示第l个身份标签的输出概率，w(y_l)表示第l个身份标签的真实概率。