CN110084156B - 一种步态特征提取方法及基于步态特征的行人身份识别方法 - Google Patents

Abstract

本发明公开了一种步态特征提取方法及基于步态特征的行人身份识别方法，步态特征提取方法包括以下步骤：步骤A：对步态图像序列中的每一帧步态图像，获取其中行人所在区域，作为感兴趣区域；步骤B：分割感兴趣区域中的行人目标；步骤C：获取每一帧步态图像中行人目标的关节点位置信息；步骤D：基于该步态图像序列的各帧步态图像中行人目标的关节点位置信息，进行步态周期检测；步骤E：根检测出的步态周期，合成该步态图像序列对应的步态能量图，作为步态特征。基于提取出的步态特征利用判别网络和对比网络对行人目标进行判断或识别。本发明较好解决了步态识别领域小样本分类中样本量不足的问题，且算法实时性好。

Description

一种步态特征提取方法及基于步态特征的行人身份识别方法

技术领域

本发明属于图像信息处理领域，具体涉及一种步态特征提取方法及基于步态特征的行人身份识别方法。

背景技术

随着现代社会的快速发展，用信息化、智能化的手段保障社会安全成为了新常态。特别是在国家发改委提出智慧城市建设战略后，通过现代化手段构建安全、便捷的智慧城市，具有重要的意义。在智慧城市建设中，社会安全问题是其中最为重要的一环，也备受人们的关注。在安全保障领域，有很多的技术应用到视频监控和身份认证当中，这里面生物特征识别给我们的日常生活带来了极大的便利，如人脸、指纹、虹膜识别等。这些生物特征虽然十分成熟且具有较高的识别率，但是需要被测者一定的配合，且易伪造，受距离限制。因此，能够在远距离、低分辨率、非主动的情况下对行人身份进行识别，受到越来越多的学者关注。

人体步态特征是一种行走方式，由身体各个不同的部位运动组成，不同个体之间的步态特征存在差异性，因此可以利用这种差异性来进行行人识别。通过步态特征对被检测者身份进行识别，不需要被检测者的有意配合，不需要特定的信息采集设备，难以伪装和隐藏，因此在侦查、安检等多种场景下，利用步态特征进行安全识别都具有很大的潜力。

目前，基于步态特征的行人身份识别方法可以分为基于模型的方法和基于非模型的方法。基于非模型的方法主要分为三个步骤：行人检测和分割、步态周期检测、生成步态特征与识别。在行人分割方面，Ke Gong等人提出了一种语义分割模型LIP(Look intoPerson)，能够较好的分割出行人，但是算法比较耗时，无法满足实时性要求。在识别方面，有很多的识别方法，如Wolf等人提出的3D卷积的方法，通过利用3D卷积捕捉步态序列中的时空信息，将具有灰度信息的步态图像序列作为网络输入进行判别；Liao等人利用开源的姿态估计算法从原始的视频序列中提取人体的姿态信息，再利用长短时记忆模块提取特征进行识别。这些步态识别算法都取得了较为理想的识别效果，但都需要大量的样本来对模型进行训练，而在实际应用中往往难以获取每个类别大量的训练样本，这就是迁移学习中的小样本分类问题，如果只有一个标注样本，则称之为One-shot learning问题。

在此背景下，研究出一种既能保证实时性和高识别率，且实用性又强的步态特征提取方法及基于步态特征的行人身份识别方法具有重要的意义。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种步态特征提取方法及基于步态特征的行人身份识别方法，采用深度学习算法提取步态特征，基于提取出的步态特征数据，能在小样本的情况下识别出行人身份，解决了现有技术无法满足实时性要求，样本量不够导致识别准确率不高的问题

本发明所采用的技术方案如下：

一种步态特征提取方法，从一个步态图像序列提取步态特征，包括以下步骤：

步骤A：对于该步态图像序列中的每一帧步态图像，获取其中行人所在区域，将得到的区域作为感兴趣区域(ROI)；

步骤B：使用人体语义分割网络分割感兴趣区域中的行人目标；其中人体语义分割网络基于深度学习算法(卷积神经网络)实现；

步骤C：利用人体关节点检测技术，获取每一帧步态图像中行人目标的关节点位置信息；

步骤D：基于该步态图像序列的各帧步态图像中行人目标的关节点位置信息，进行步态

周期检测；

步骤E：根据检测出的步态周期，合成该步态图像序列对应的步态能量图，作为步态特征。

进一步地，所述步骤A中，使用目标检测算法框架(YOLO-V3)，训练行人检测模型，利用行人检测模型获取每一帧步态图像中行人所在区域，具体处理过程如下：

1)数据集制作

使用公开数据集PASCAL VOC2012，选取其中带有行人的图片作为训练集，图片相关标注作为训练的标签信息；

2)模型训练

本发明检测的目标仅包括行人一类，修改YOLO-V3算法的相关配置文件，利用1)中得到的训练集对模型进行训练；

3)行人位置获取

利用2)中训练好的模型，获取每一帧步态图像中行人的位置信息，并基于位置信息得到

感兴趣区域。

进一步地，所述步骤B中，人体语义分割网络是一种全卷积神经网络，主体架构包括编码层和解码层，编码层接收的输入图像是由步骤A获取的感兴趣区域，解码层输出为与输入图像相同尺寸的特征图，最终由解码层输出的特征图得到二值化人体剪影图像，即行人目标。

(i)编码层的设计

编码层包含一系列的卷积层、批归一化层、激活层和最大池化层；

所述编码层的具体设计为：包括依次连接的一个输入层、两个下采样层、一个最大池化层、五个Inception-Resnet模块、一个下采样层、八个Inception-Resnet模块(两组由四个Inception-Resnet模块组成的结构，两组结构中四个模块的卷积操作分别使用扩张率为1、2、4、6的空洞卷积结构；其中每个下采样层包括一个卷积层，卷积层中卷积核大小为3×3，步长为2，数量为16，每个卷积层后都接批归一化层，数量为16；最大池化层中的核大小为2，步长为2；

(ii)解码层的设计

解码层需要对编码后的特征图解码重构并且生成行人分割的二值化图像。所述解码层的具体设计为：包括依次连接的一个上采样模块，两个Inception-Resnet模块、一个上采样模块和一个输出层；其中每个上采样模块包括串行连接的一个转置卷积层和一个批归一化层，转置卷积层中卷积核大小为3，步长为2，输出层包含一个串行连接的一个转置卷积层和一个激活层，激活层使用Sigmoid作为激活函数；

编码层的输出经解码层处理，得到与输入图像相同尺寸的两张特征图，其中一张特征图上各像素点的像素值为输入图像上各个像素点为前景像素点的概率p_q，另一张特征图上各像素点的像素值为输入图像上各个像素点为背景像素点的概率p_b；

对于输入图像上每个像素点，如果其对应的p_q≥p_b，则将其被判断为前景像素点，将其像素值设置为255，否则将其被判断为背景像素点，将其像素值设置为0，从而得到与输入图像对应的二值化人体剪影图像，将其作为行人目标。

为了更好的提取特征以及防止深度神经网络在训练时出现的梯度消失现象，本发明采用Inception-Resnet结构。每个Inception-Resnet结构包括两个Relu函数、由三路并行结构组成的Inception模块、一个卷积层和一个残差连接模块；Inception模块的第一路包含一个卷积层，该卷积层中卷积核大小为1×1，步长为1，数量为64；第二路包含依次连接的两个卷积层，每个卷积层中卷积核大小均为3×3，都分解成1×3和3×1两个一维结构，卷积核的数量均为64；第三路包含依次连接的两个卷积层，每个卷积层中卷积核大小均为5×5，都分解成1×5和5×1两个一维结构，卷积核的数量为64。每个Inception-Resnet结构的运算过程为：设第一个Relu函数的输出为F₁，F₁输入Inception模块中的三路并行结构，得到F₂、F₃和F₄；F₂、F₃和F₄同时输入一个卷积层进行通道变换(该卷积层中卷积核的大小为1×1)，整合在各个尺度上提取到的特征，得到F₅；然后残差连接模块将F₁相加得到F₆；F₆输入第二个Relu函数进行计算，得到该Inception-Resnet结构最终的输出。

2)混合损失函数的设计

本发明提出融合策略将两种不同领域的损失函数组合起来作为人体语义分割网络的损失函数L_ssl，以加快模型的收敛速度，提高分割精度，融合的函数分别是二分类交叉熵损失函数L_parsing和结构损失函数L_Joint；融合的损失函数如下所示：

L_ssl＝L_parsing·L_Joint

其中，

代表根据人体语义分割网络输出的特征图得到的第i个像素属于c类的概率，

表示第i个像素的真实类别标记(人工对原始步态图像进行标注，如果是背景像素，则标注为0，如果是前景像素，则标注为1，从而得到真实类别标记)，N为感兴趣区域中像素点的个数。在本发明中，K等于2；c^p代表预测出的行人轮廓中心点坐标，其计算方法为：统计二值化剪影图像中所有前景像素(像素值为255)点的坐标，将所有前景像素点的x坐标和y坐标求平均，即得到预测出的轮廓中心点的x坐标和y坐标；c^gt代表的是真实的行人轮廓中心点坐标，其计算方法为：统计进行了人工标注的原始步态图像中所有前景像素点的坐标，将所有前景像素点的x坐标和y坐标求平均，即得到真实的行人轮廓中心点的x坐标和y坐标。

进一步地，所述步骤B中，通过神经网络分割的二值化剪影图像边缘都较为粗糙，为了使分割的效果图边缘分割的更加精细，本发明利用超像素分割技术对其进行后处理。将步骤A得到的感兴趣区域进行超像素分割，得到一系列的超像素块，结合人体语义分割网络的分割结果，对每个超像素块进行像素级判断，若一个超像素块内大部分(80％以上)像素点都被判断为前景像素点，则将整个超像素块内的像素都判断为前景像素点，将整个超像素块内像素点的像素值都置为255，反之，则将整个超像素块内的像素点都判断为背景像素，将整个超像素块内像素点的像素值都置为0，得到最终的行人目标。

进一步地，所述步骤C中，利用开源的人体关节点检测算法AlphaPose检测出步态序列中每一帧步态图像中行人目标的关节点位置信息，得到17个人体关节点的坐标位置。

进一步地，所述步骤D的具体处理过程如下：

1)利用步骤C中获取的关节点的坐标位置信息，检测每一帧步态图像中左腿髋关节点与膝关节点连线l_L1与左腿膝关节点与踝关节点连线l_L2所构成的夹角大小angle_left，以及右腿髋关节点与膝关节点连线l_R1与右腿膝关节点与踝关节点连线l_R2所构成的夹角大小angle_right；

2)由于利用左腿和右腿关节点位置变化关系绘制的周期变化曲线在相位上相差约半个步态周期，且两条曲线都比较粗糙，存在较多的噪声极值点，不利于步态周期的分析，因此本发明通过权值控制策略来抑制噪声的干扰。对每一帧图像，首先判断从中检测出来的angle_left是否大于阈值α_T，若是，则令权值因子为

(权值抑制因子)，否则令权值因子为1；之后将同一帧图像中检测出来的angle_right乘以对应的权值因子，得到angle′_right；阈值α_T根据实验确定；

3)利用步态图像序列的各帧步态图像中检测出来的angle_left和angle′_right变化规律，绘制angle_left和angle′_right的周期变化曲线(横坐标为图像帧数，纵坐标为夹角大小)，并对其进行中值滤波，得到光滑的曲线；

4)根据得到的曲线，求取任一曲线在极大值时对应的步态图像帧数。为方便描述，假设某条曲线在帧数为x₁,x₂的步态图像处为极大值，则可求出步态周期T_gait＝x₂-x₁；该步态周期的单位是图像帧数。进一步地，可以取两条曲线上相邻极大值点间隔的平均值作为步态周期。

进一步地，所述步骤E中，步态图像序列对应的步态能量图G_engery的求取公式如下：

其中，n为该步态图像序列中包含的完整步态周期个数，B_t(x,y)为从该步态图像序列的n个步态周期图像中的第t帧步态图像分割出的行人目标的归一化图像。

一种基于步态特征的行人身份判别方法，首先，对每一个步态图像序列样本，分别采用上述方法从中提取步态特征；然后，将从所有步态图像序列样本中提取出的步态特征存储到步态数据库中；最后，对于待检测行人的的步态视频，先从中获取步态图像序列，再从获取的步态图像序列提取步态特征；将提取出的步态特征与步态数据库中存储的步态特征进行匹配，以实现行人身份判别(判断和识别)。

进一步地，通过判别网络实现行人身份的判断；具体地，判别网络设计如下：

判别网络用于步态判断任务，它是一种简单的卷积神经网络。判别网络有两个输入，分别为待匹配的步态特征(query)和数据库中存储的步态特征(enrolment)，网络通过对两幅输入图像进行特征提取，判断是否是同一个行人的步态特征。所述判别网络的具体设计是：输入层接收的是两个单通道的步态特征图像，将两个单通道的步态特征图像进行通道合并得到两通道的图像；然后依次经过两个特征提取单元(conv_bn_pool)，每个特征提取单元包括依次连接的一个卷积层、一个批归一化层和一个池化层，其中卷积层的卷积核大小为3×3，步长为1，卷积核的数量为32，池化层中卷积核大小为2×2，步长为2，得到一个特征图；在此之后，将得到的特征图输入卷积核大小为5×5，步长为1，卷积核的数量为8的卷积层，最后输入全连接层，全连接层输出的神经元数量为2，使用Sigmoid作为激活函数，判别网络的输出表示输入的待匹配的步态特征和数据库中存储的步态特征是同一个行人的步态特征的概率p_y和不是同一个行人的步态特征的概率p_n，若p_y≥p_n，则输出1，否则输出0。

进一步地，通过对比网络实现行人身份的识别；具体地，判别网络设计如下：

对比网络用于步态识别任务，它也是一种简单的卷积神经网络。指定与待匹配的步态特征属于同一类别的步态特征作为正样本，指定与待匹配的步态特征属于不同类别的步态特征作为负样本。待匹配的步态特征(query)和正样本(postive)、负样本(negative)均为相同尺寸的单通道步态特征。对比网络有三个输入，在训练阶段，对比网络的输入层接收匹配的步态特征、正样本和负样本，将待匹配的步态特征分别与正样本和负样本进行通道间合并，得到两幅两通道的图像；之后将这两幅两通道的图像输入到两个具有相同结构的卷积神经网络中，得到两个特征向量；每个卷积神经网络包括依次连接的两个具有相同结构的特征提取单元conv_bn_pool，每个特征提取单元包括依次连接的一个卷积核大小为3×3且步长为1的卷积层、一个批归一化层、一个核大小为2×2且步长为2的池化层、一个卷积核大小为3×3步长为1数量为64的卷积层和一个全连接层，全连接层的输出结果即卷积神经网络提取的特征向量；求取每个特征向量的L2范数；以最小化针对待匹配的步态特征与正样本提取出的特征向量的L2范数，最大化针对待匹配的步态特征与负样本提取出的L2范数为目的训练对比网络；在识别阶段，将待匹配的步态特征(query)和数据库中存储的步态特征输入对比网络，针对待匹配的步态特征和数据库中存储的各个步态特征分别提取特征向量，计算各个特征向量的L2范数，取L2范数最小的特征向量对应的数据库中步态特征为待匹配的步态特征的识别结果，即L2范数最小的特征向量对应的数据库中步态特征和待匹配的步态特征为同一个行人的步态特征。

上述对比网络也可以只有两个输入，一个卷积神经网络，每次针对两个步态特征，提取出一个特征向量。

进一步地，利用三元组损失函数训练对比网络，三元组损失函数如下所示：

其中，margin为通过实验确定的参数，

是针对待匹配的步态能量图与第n个正样本提取出的特征向量的L2范数，

是针对待匹配的步态能量图与第n个负样本提取出的特征向量的L2范数；N为批训练的正/负样本数量。

有益效果：

本发明公开了一种基于深度学习算法的小样本步态识别方法，该方法包含以下几个步骤：

步骤A：使用目标检测算法框架YOLO-V3，训练行人检测模型，获取行人在图像中的区域位置作为感兴趣区域；步骤B：对步骤A所获得的感兴趣区域，使用深度卷积神经网络对前景行人目标进行分割；步骤C：利用人体关节点检测技术获取每一帧步态图像的关节点坐标位置信息；步骤D：根据步骤C中获得的人体关节点坐标信息，进行步态周期检测；步骤E：根据步骤D中检测的步态周期，合成步态能量图作为特征；步骤F：根据步骤E中获得的步态能量图信息，利用判别网络和对比网络对行人目标进行判断或识别。本发明提出的方法能够较好地改进小样本分类中样本量不足的问题，较好解决了步态识别领域的One-Shotlearning(一次学习)问题，且算法实时性好，具有较高的实用价值，可以应用在复杂场景下的步态识别。

附图说明

图1为本发明流程图；

图2为本发明实施例流程图；

图3为实施例1中步态序列帧图像；

图4为实施例1中经过行人检测提取的感兴趣区域；

图5为实施例1中设计的人体步态语义分割模型

图6为实施例1中使用的Inception-Resnet结构

图7为实施例1中经过行人语义分割得到的二值化图像；

图8为实施例1中人体关节点检测效果图；

图9为实施例1中绘制的步态周期曲线图；

图10为实施例1中合成的步态能量图；

具体实施方式

下面结合附图说明对本发明做进一步说明：

实施例1：

本实施例是针对步态序列图像，整体实施流程如图1和图2所示，步态识别方法按如下几个步骤进行：

步骤A：使用图像处理和深度学习算法对步态序列图像进行行人检测，得到感兴趣区域

首先将采集的步态视频利用图像处理方法分成步态序列图像，如图3所示；在本实施例中其尺寸大小为320×240，对步态图像序列进行行人检测，得到感兴趣区域，如图4所示，其大小缩放到统一尺寸256×128。

步骤B：使用图像处理和深度学习算法对感兴趣区域进行分割

根据所述步骤A得到的行人感兴趣区域，利用人体语义分割算法对其进行二值化分割，语义分割的模型结构图如图5所示。其中编码层输入层接收的输入图像，输入图像是一个256×128×3的RGB三通道图像矩阵，其中256为输入图像中的像素行数，128为输入图像中的像素列数，3为输入图像的通道数。最后得到大小为32×16×128的特征图。由所述编码层编码后得到的特征图尺度缩小了8倍，但是所有特征都被编码进128个特征图中。解码层输入为编码层最终输出的特征图，输入的特征图首先输入一个上采样模块，在上采样模块之后输入两个Inception-Resnet模块，Inception-Resnet模块的结构图如图6所示。此后再接一个上采样模块，最后通过输出层得到大小为256×128×2的特征图，即两张256×128×1的特征图，由这两张特征图得到得到二值化人体剪影图，其尺寸大小为256×128×1，最后得到的分割图像如图7所示。

步骤C：使用人体关节点检测算法进行人体关节点检测

根据步骤A得到的行人感兴趣区域，利用开源的人体姿态估计算法AlphaPose进行关节点检测，其效果如图8所示。

步骤D：分析步态周期

根据步骤C中关节点检测的结果，分析每一帧步态序列图像中左腿和右腿的髋关节点与膝关节点连线和膝关节点与踝关节点连线所构成的夹角大小，通过夹角大小的变化分析出步态周期性变化规律，本实施例中计算权值抑制因子时，设置阈值α_T＝20°。可得到周期变化曲线如图9所示，由步态周期曲线得到步态周期T_gait。

步骤E：合成步态能量图

根据步骤C的检测的步态周期，以及步骤B中得到的二值剪影图，对二值图像进行中心归一化，合成步态能量图，如图10所示，其尺寸大小为240×128×1，作为步态特征，用于行人目标识别。

步骤F：步态能量图分析

1)用判别网络进行行人判别

假设步骤D中合成的步态特征query，判断其是否为某一行人目标的步态特征。则将query和该行人目标的步态特征进行合并，得到240×128×2的图像，通过判别网络提取其特征向量；若输出的结果为1，则待匹配的能量图query是该行人目标的步态特征，反之，则不属于该行人目标的步态特征。

2)用对比网络进行行人识别

假设步骤D中合成的步态特征为query，分析其属于步态数据库中哪一位行人的步态特征。则将query分别和数据库中每一个行人的步态特征进行单通道组合，输入到对比网络中，根据特征矩阵的L2范数距离进行排序，取距离值最小的编号为识别结果。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (9)

1.一种步态特征提取方法，其特征在于，从一个步态图像序列提取步态特征，包括以下步骤：

步骤A：对于该步态图像序列中的每一帧步态图像，获取其中行人所在区域，将得到的区域作为感兴趣区域；

步骤B：使用人体语义分割网络分割感兴趣区域中的行人目标；

步骤C：利用人体关节点检测技术，获取每一帧步态图像中行人目标的关节点位置信息；

步骤D：基于该步态图像序列的各帧步态图像中行人目标的关节点位置信息，进行步态周期检测；

步骤E：根据检测出的步态周期，合成该步态图像序列对应的步态能量图，作为步态特征；

所述步骤B中，人体语义分割网络是一种全卷积神经网络，包括编码层和解码层，编码层包括依次连接的一个输入层、两个下采样层、一个最大池化层、五个Inception-Resnet模块、一个下采样层和八个Inception-Resnet模块；所述解码层包括依次连接的一个上采样模块，两个Inception-Resnet模块、一个上采样模块和一个输出层；

编码层接收的输入图像是由步骤A获取的感兴趣区域，编码层的输出经解码层处理，得到与输入图像相同尺寸的两张特征图，其中一张特征图上各像素点的像素值为输入图像上各个像素点为前景像素点的概率p_q，另一张特征图上各像素点的像素值为输入图像上各个像素点为背景像素点的概率p_b；

对于输入图像上每个像素点，如果其对应的p_q≥p_b，则将其被判断为前景像素点，将其像素值设置为255，否则将其被判断为背景像素点，将其像素值设置为0，从而得到与输入图像对应的二值化人体剪影图像，将其作为行人目标。

2.根据权利要求1所述的步态特征提取方法，其特征在于，将二分类交叉熵损失函数L_parsing和结构损失函数L_Joint融合起来作为人体语义分割网络的损失函数L_ssl，损失函数如下所示：

L_ssl＝L_parsing·L_Joint

其中，

代表根据人体语义分割网络输出的特征图得到的输入图像上第i个像素点属于c类的概率，

表示第i个像素的真实类别标记，通过人工对原始步态图像进行标注得到，K等于2，像素点类型包括前景像素点和背景像素点两种，N为输入图像上像素点的个数；c^p代表预测出的行人轮廓中心点坐标，其计算方法为：统计二值化剪影图像中所有前景像素点的坐标，将所有前景像素点的x坐标和y坐标求平均，即得到预测出的轮廓中心点的x坐标和y坐标；c^gt代表的是真实的行人轮廓中心点坐标，其计算方法为：统计进行了人工标注的原始步态图像中所有前景像素点的坐标，将所有前景像素点的x坐标和y坐标求平均，即得到真实的行人轮廓中心点的x坐标和y坐标。

3.根据权利要求1所述的步态特征提取方法，其特征在于，利用超像素分割技术对二值化人体剪影图像进行后处理，方法为：将步骤A得到的感兴趣区域分割为一系列的超像素块，结合人体语义分割网络的分割结果，对每个超像素块进行像素级判断，若一个超像素块内大部分像素点都被判断为前景像素点，则将整个超像素块内的像素都判断为前景像素点，将整个超像素块内像素点的像素值都置为255，反之，则将整个超像素块内的像素点都判断为背景像素，将整个超像素块内像素点的像素值都置为0，得到最终的行人目标。

4.根据权利要求1所述的步态特征提取方法，其特征在于，所述步骤D的具体处理过程如下：

1)利用步骤C中获取的关节点的坐标位置信息，检测每一帧步态图像中左腿髋关节点与膝关节点连线l_L1与左腿膝关节点与踝关节点连线l_L2所构成的夹角大小angle_left，以及右腿髋关节点与膝关节点连线l_R1与右腿膝关节点与踝关节点连线l_R2所构成的夹角大小angle_right；

2)对每一帧图像，首先判断从中检测出来的angle_left是否大于阈值α_T，若是，则令权值因子为

否则令权值因子为1；之后将同一帧图像中检测出来的angle_right乘以对应的权值因子，得到angle′_right；

3)利用步态图像序列的各帧步态图像中检测出来的angle_left和angle′_right变化规律，绘制angle_left和angle′_right的周期变化曲线，并对其进行中值滤波，得到光滑的曲线；

4)设某条周期变化曲线在帧数为x₁,x₂的步态图像处为极大值，则步态周期T_gait＝x₂-x₁；该步态周期的单位是图像帧数。

5.根据权利要求1所述的步态特征提取方法，其特征在于，所述步骤E中，步态图像序列对应的步态能量图G_engery的求取公式如下：

其中，n为该步态图像序列中包含的完整步态周期个数，B_t(x,y)为从该步态图像序列的n个步态周期图像中的第t帧步态图像分割出的行人目标的归一化图像。

6.一种基于步态特征的行人身份判别方法，其特征在于，首先，对每一个步态图像序列样本，分别采用权利要求1～5中任一项所述的方法从中提取步态特征；然后，将从所有步态图像序列样本中提取出的步态特征存储到步态数据库中；最后，对于待检测行人的的步态视频，先从中获取步态图像序列，再从获取的步态图像序列提取步态特征；将提取出的步态特征与步态数据库中存储的步态特征进行匹配，以实现行人身份判别。

7.根据权利要求6所述的基于步态特征的行人身份判别方法，其特征在于，通过判别网络实现行人身份的判断；具体地，判别网络设计如下：

判别网络有两个输入，分别接收待匹配的步态特征和数据库中存储的一个步态特征，判别网络先将两个步态特征进行通道合并得，然后依次经过两个特征提取单元、一个卷积层和一个全连接层，全连接层输出的神经元数量为2，使用Sigmoid作为激活函数，全连接层的输出表示输入的两个步态特征是同一个行人的步态特征的概率p_y和不是同一个行人的步态特征的概率p_n，若p_y≥p_n，则说明两个步态特征是同一个行人的步态特征，否则说明两个步态特征不是同一个行人的步态特征，从而实现基于步态特征的行人身份判断。

8.根据权利要求6所述的基于步态特征的行人身份判别方法，其特征在于，通过对比网络实现行人身份的识别；具体地，对比网络设计如下：

对比网络有三个输入，在训练阶段，对比网络的输入层接收匹配的步态特征、正样本和负样本，将待匹配的步态特征分别与正样本和负样本进行通道间合并，得到两幅2通道图像；之后将这两幅2通道图像分别输入到两个具有相同结构的卷积神经网络中，得到两个特征向量；每个卷积神经网络包括依次连接的两个具有相同结构的特征提取单元，每个特征提取单元包括依次连接的一个卷积层、一个批归一化层、一个池化层、一个卷积层和一个全连接层，全连接层的输出结果即卷积神经网络提取的特征向量；求取每个特征向量的L2范数；以最小化针对待匹配的步态特征与正样本提取出的特征向量的L2范数，最大化针对待匹配的步态特征与负样本提取出的L2范数为目的训练对比网络；

在识别阶段，将待匹配的步态特征和数据库中存储的步态特征输入对比网络，针对待匹配的步态特征和数据库中存储的各个步态特征分别提取特征向量，计算各个特征向量的L2范数，取L2范数最小的特征向量对应的数据库中步态特征为待匹配的步态特征的识别结果，即L2范数最小的特征向量对应的数据库中步态特征和待匹配的步态特征为同一个行人的步态特征，从而实现基于步态特征的行人身份识别。

9.根据权利要求8所述的基于步态特征的行人身份判别方法，其特征在于，利用三元组损失函数训练对比网络，三元组损失函数如下所示：

其中，margin为通过实验确定的参数，

是针对待匹配的步态能量图与第n个正样本提取出的特征向量的L2范数，

是针对待匹配的步态能量图与第n个负样本提取出的特征向量的L2范数；N为批训练的正/负样本数量。

Images