CN109871750A - 一种基于骨架图序列异常关节修复的步态识别方法 - Google Patents

Abstract

本发明公开了一种基于骨架图序列异常关节修复的步态识别方法，步骤如下：(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对骨架图序列进行纠错和平滑处理；(3)将处理好的骨架图的X轴坐标序列和Y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份。本发明能够避免传统步态识别容易受到物体遮挡、衣着、视角和携带物等协变量因素的影响，同时弥补基于姿态检测的步态识别方法带来的识别率不高的问题。

Description

一种基于骨架图序列异常关节修复的步态识别方法

技术领域

本发明属于步态生物特征识别领域，特别涉及一种基于骨架图序列异常关节修复的步态识别方法。

背景技术

步态识别是生物特征识别方法的一种，可以利用步态信息对人的身份进行识别。在智能视频监控领域，步态识别是唯一可在远距离非受控状态下获得的生物技术，尤其在身份鉴别、犯罪预防和法医学鉴定等领域都有着广泛的应用。识别的基本目标是通过获取一段待检测行人正常行走步态的视频，与数据库中的行人步态作对比，找出待检测步态对应于数据库中人物的身份。其优点在于检测的过程无感、非接触、不需要其它人为参与。

目前关于步态识别的方法，大致分为两类：(1)传统方法。相关手工特征建模和传统模式识别的方法，主要包括运动分割与分类、基于模型的特征提取及基于模板匹配和统计的识别方法，基于运动检测、周期检测、特征提取和识别方法；(2)深度学习方法。随着近年来深度学习的发展，步态识别在识别准确率和鲁棒性上都具有大幅度的提升，其中比较突出的方法包括基于姿态轮廓图序列和基于姿态骨架图序列两大类。基于姿态轮廓图序列的步态识别使用前、背景分离技术获得目标的步态轮廓图，对步态轮廓图特征进行识别，其缺点是不适用于复杂背景的场景，且容易受遮挡、衣着、视角和携带物等协变量因素影响。基于姿态骨架图序列的步态识别是在姿态估计的结果基础上发展出的方法，现有的姿态检测缺少上下文的全局信息，对步态检测经常出现漏检和左右腿检测错位的情况，受限于姿态估计的检测精度，这类方法目前仍处于研究的起步阶段。

发明内容

发明目的：针对上述问题缺陷，本发明提供一种基于骨架图序列异常关节修复的步态识别方法，能够避免传统步态识别容易受到物体遮挡、衣着、视角和携带物等协变量因素的影响，同时弥补基于姿态骨架图序列的步态识别方法带来的识别率不高的问题。

技术方案：本发明提出一种基于骨架图序列异常关节修复的步态识别方法，包括如下步骤：

(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；

(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对步骤(1)中得到的骨架图序列进行纠错和平滑处理；

(3)将步骤(2)中处理好的骨架图的x轴坐标序列和y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；

(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份。

进一步的，所述的步骤(1)，利用姿态估计算法从视频中提取待检测步态目标的骨架图序列的具体步骤如下：

采用openpose自下而上的姿态估计算法，即训练深度神经网络，检测出人体的各部分关节点，再根据关节点的矢量关系构建出人体的骨架图，并保持到json文件中。

进一步的，所述步骤(2)中对骨架图序列进行纠错和平滑处理的具体步骤如下：

(2.1)读取json文件获取步骤(1)中保存的骨架图序列坐标数据，对骨架图序列进行分割，每段序列包含连续的16帧骨架图，每张图的大小为88×128，包含14个关节点的位置坐标，其中14个关节点具体为鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖和左脚踝；

(2.2)以关节点Neck脖子为原点，以相对固定的Neck坐标到LHip左臀和RHip 右臀的中心点坐标的距离为参照进行归一化处理，归一化公式如下：

P^org _i为第i个关节点的原始坐标位置(x^org _i，y^org _i)，P^org _Neck为关节点Neck的原始坐标位置(x^org _Neck，y^org _Neck)，L_NecktoHip为Neck坐标到LHip和RHip的中心点坐标的距离；

(2.3)根据Nose鼻子和Neck所构成关节矢量的角度判断每段序列的步态方向，这里分别对16帧的鼻子x轴坐标和脖子x轴坐标求平均值，当目标相对摄像头为自右向左行走，当目标相对摄像头为自左向右行走；

(2.4)当目标向左行走时，右臂被身体遮挡，现有的姿态估计算法对遮挡关节的检测的准确率较低，删除右臂相关的右肩、右手肘、右手腕3个关节点；当目标向右行走时，左臂被身体遮挡，删除左臂相关的左肩、左手肘、左手腕3个关节点；

(2.5)分析每段步态序列左右对称的两个关节点的离散轨迹其中(0≤n＜16，t_n＝n)，判断当满足或则删除对应{t_n}中的元素以及一对的值，删除漏检的姿态的轨迹点；

(2.6)为删除漏检关节后的轨迹构建全局平滑度函数 和实时平滑度函数

(2.7)尝试逐步交换交换后的全局平滑度函数值记为F′_LHip、F′_RHip，实时平滑度函数值为判断当满足F′_LHip＜F_LHip，F′_RHip＜F_RHip以及 时，交换生效，否则取消交换；

(2.8)对纠正了左右关节姿态的轨迹分别进行三次B样条曲线近似拟合，根据拟合的曲线分别补全步骤(2.5)中被删除的漏检轨迹点，补全后的离散轨迹序列记为其中(0≤n＜16)；

(2.9)对补全后的离散轨迹序列做平滑处理，这里采用基于Kalman滤波器的RTS平滑方法，充分利用上下文信息进行平滑滤波，RTS平滑方法步骤如下：

P＝FP_kF^T+Q

K_k＝P_kFP^-1

x_k＝x_k+K_k(x_k+1-Fx_k)

其中Q为过程误差，P为状态协方差，F为状态转移矩阵，K为滤波器增益；

(2.10)按照对左右Hip关节的处理方法，对左右Knee膝盖、Ankle脚踝关节做同样的纠错和平滑处理。

进一步的，所述步骤(3)中进行时空特征向量提取的具体步骤如下：

(3.1)将数据集的顺序打乱并进行拆分，按照设定比例分为训练集和测试集，并对标签做“独热处理”；

(3.2)将步骤(2)中的关节点的x、y轴坐标分别视为RGB图像的两个通道，连续16帧的11个关节点的坐标作为一个大小为11×16的特征图，以此构成CNN网络的输入，CNN卷积网络的输入向量的维度为(n，11，16，2)，n为所设置的超参batch size；

(3.3)构建4层卷积网络进行特征提取，每层卷积后接一层pooling，最后连接2 层全连接层，第一个全连接层FC1有512个节点，第二个全连接层FC2的节点数为数据库中身份类别数。

进一步的，所述步骤(4)中利用Softmax分类器对提取的特征向量进行分类，识别步态身份的具体步骤如下：

(4.1)设置交叉熵Softmax损失函数：

y_i表示分类评分向量中的第i个元素，和分别为权值和偏置参数；

(4.2)考虑类间距离的同时减小类内差异，设置中心损失函数：

为第y_i类所有特征的均值；

(4.3)设置网络最终目标函数，表示为：

L_final＝L_{softmax loss}+λL_{center loss}

λ为两个损失函数间的调节项，λ越大则类内差异占整个目标函数的比重越大；

(4.4)将步骤(3)卷积网络提取的特征向量，送到Softmax分类器中进行分类；

(4.5)设置学习率、batch size、迭代次数等参数，训练CNN网络，在训练好的网络上用测试集测试，输出步态身份识别的正确率。

本发明提出的基于骨架图序列异常关节修复的步态识别方法，能够避免传统步态识别容易受到物体遮挡、衣着、视角和携带物等协变量因素的影响，同时弥补基于姿态骨架图序列的步态识别方法带来的识别率不高的问题。本发明采用对姿态估计获得的骨架图序列进行上下文纠错和平滑的策略，大大提高了骨架图序列对于步态特征表达的准确性，对于步态识别的结果具有明显的改善。

本发明采用上述技术方案，具有以下有益效果：

本发明提供的基于骨架图序列异常关节修复的步态识别方法能够较好的处理复杂背景，物体遮挡、衣着、视角和携带物等协变量因素的影响，比传统方法鲁棒性更好，结构更简单，更易于实现，简化了神经网络结构，大大提高了网络训练的效率，能够实现在线视频的步态识别，并且所设计的姿态纠正和平滑方法以及采用的复合损失函数方法，对提高识别正确率效果显著。

附图说明

图1为本发明的方法流程示意图；

图2为Hip关节点轨迹矫正前后对比图；

图3为Hip关节点轨迹矫正后采用RST平滑前后对比图；

图4为数据集中的某一样本的骨架图序列可视化展示；

图5为数据集中的某一样本采用姿态纠正和平滑算法后骨架图序列展示图；

图6为所采用的CNN网络特征提取和分类的示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种基于姿态检测的步态识别方法，其流程图如图1所示，具体按照以下步骤进行：

步骤1：利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；

步骤2：根据人体骨架的拓扑结构空间约束和上下文时间约束对骨架图序列进行纠错和平滑处理；

步骤3：将处理好的骨架图的x轴坐标序列和y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；

步骤4：利用Softmax分类器对提取的特征向量进行分类，识别步态身份。

所述步骤1中的姿态检测工具采用开源的openpose，估计出数据集中目标的关节点坐标位置，并保持到json文件中。

所述步骤2中的骨架图序列纠错和平滑处理包括以下步骤：

步骤2.1：读取json文件获取步骤1中保存的骨架图序列坐标数据，对骨架图序列进行分割，每段序列包含连续的16帧骨架图，每张图的大小为88×128，包含14个关节点(原图为18个关节点，删除与步态识别无关的左、右眼关节和左、右耳关节)；

步骤2.2：以关节点Neck(脖子)为原点，以相对固定的Neck坐标到LHip(左臀) 和RHip(右臀)的中心点坐标的距离为参照进行归-化处理，归一化公式如下：

P^org _i为第i个关节点的原始坐标位置(x^org _i，y^org _i)，P^org _Neck为关节点Neck的原始坐标位置(x^org _Neck，y^org _Neck)，L_NecktoHip为Neck坐标到LHip和RHip的中心点坐标的距离；

步骤2.3：根据Nose(鼻子)和Neck所构成关节矢量的角度判断每段序列的步态方向，这里分别对16帧的Nose的x轴坐标和Neck的x轴坐标求平均值，当目标相对摄像头为自右向左行走，当目标相对摄像头为自左向右行走；

步骤2.4：当目标向左行走时，右臂被身体遮挡，现有的姿态估计算法对遮挡关节的检测的准确率较低，删除右臂相关的3个关节点；当目标向右行走时，左臂被身体遮挡，删除左臂相关的3个关节点；

步骤2.5：分析每段步态序列左右对称的两个关节点(以左右膝盖LHip、RHip为例)的离散轨迹其中(0≤n＜16，t_n＝n)，判断当满足或 则删除对应{t_n}中的元素以及一对的值，删除漏检的姿态的轨迹点；

步骤2.6：为删除漏检关节后的轨迹构建全局平滑度函数 和实时平滑度函数

步骤2.7：尝试逐步交换交换后的全局平滑度函数值记为F′_LHip、F′_RHip，实时平滑度函数值为判断当满足F′_LHip＜F_LHip，F′_RHip＜F_RHip以及 时，交换生效，否则取消交换；

步骤2.8：对纠正了左右关节姿态的轨迹分别进行三次B样条曲线近似拟合，根据拟合的曲线分别补全步骤2.5中被删除的漏检轨迹点，补全后的离散轨迹序列记为其中(0≤n＜16)；

步骤2.9：对补全后的离散轨迹序列故平滑处理，这里采用基于Kalman 滤波器的RTS平滑方法，充分利用上下文信息进行平滑滤波，RTS平滑方法步骤如下：

P＝FP_kF^T+Q

K_k＝P_kFP^-1

x_k＝x_k+K_k(x_k+1-Fx_k)

其中Q为过程误差，P为状态协方差，F为状态转移矩阵，K为滤波器增益；

图2显示了Hip关节点轨迹矫正前后对比图，图3显示Hip关节点轨迹矫正后采用RST平滑前后对比图；

步骤2.10：按照对左右Hip关节的处理方法，对左右Knee(膝盖)、Ankle(脚踝) 关节做同样的纠错和平滑处理。

图4显示了数据集中的某一样本的骨架图序列可视化展示，图5显示了该样本采用姿态纠正和平滑算法后骨架图序列展示图，可以看到矫正和平滑后的骨架图姿态更能准确的反映步态特征；

图6显示了所采用的CNN网络特征提取和分类的示意图，所述步骤3中的CNN网络构建包括以下步骤：

步骤3.1：将数据集的顺序打乱进行拆分，按照设定比例分为训练集和测试集，并对标签做“独热处理”；

步骤3.2：将步骤2中的关节点的x、y轴坐标分别视为RGB图像的两个通道，连续 16帧的11个关节点的坐标作为一个大小为11×16的特征图，以此构成CNN网络的输入，卷积网络的输入向量的维度为(n，11，16，2)，n为所设置的超参batch size；

步骤3.3：构建4层卷积网络进行特征提取，每层卷积后接一层pooling，最后连接2层全连接层，第一个全连接层FC1有512个节点，第二个全连接层FC2的节点数为数据库中身份类别数。

所述步骤4中的利用Softmax分类器对提取的特征向量进行分类包括以下步骤：

步骤4.1：设置交叉熵Softmax损失函数：

y_i表示分类评分向量中的第i个元素，和分别为权值和偏置参数；

步骤4.2：考虑类间距离的同时减小类内差异，设置中心损失函数：

为第y_i类所有特征的均值；

步骤4.3：设置网络最终目标函数，表示为：

L_final＝L_{softmax loss}+λL_{center loss}

λ为两个损失函数间的调节项，λ越大则类内差异占整个目标函数的比重越大；

步骤4.4：将步骤3卷积网络提取的特征向量，送到Softmax分类器中进行分类；

步骤4.5：设置学习率、batch size、迭代次数等参数，训练CNN网络，在训练好的网络上用测试集测试，输出步态身份识别的正确率。

Claims (5)

1.一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，包括如下步骤：

(1)利用姿态估计算法从视频中提取待检测步态目标的骨架图序列；

(2)根据人体骨架的拓扑结构空间约束和上下文时间约束对步骤(1)中得到的骨架图序列进行纠错和平滑处理；

(3)将步骤(2)中处理好的骨架图的x轴坐标序列和y轴坐标序列作为网络模型的输入，送入到训练好的CNN网络进行时空特征向量提取；

(4)利用Softmax分类器对提取的特征向量进行分类，识别步态身份。

2.根据权利要求1所述的一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，所述的步骤(1)，利用姿态估计算法从视频中提取待检测步态目标的骨架图序列的具体步骤如下：

采用openpose自下而上的姿态估计算法，即训练深度神经网络，检测出人体的各部分关节点，再根据关节点的矢量关系构建出人体的骨架图，并保持到json文件中。

3.根据权利要求1所述的一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，所述步骤(2)中对骨架图序列进行纠错和平滑处理的具体步骤如下：

(2.1)读取json文件获取步骤(1)中保存的骨架图序列坐标数据，对骨架图序列进行分割，每段序列包含连续的16帧骨架图，每张图的大小为88×128，包含14个关节点的位置坐标，其中14个关节点具体为鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖和左脚踝；

(2.2)以关节点Neck脖子为原点，以相对固定的Neck坐标到LHip左臀和RHip右臀的中心点坐标的距离为参照进行归一化处理，归一化公式如下：

P^org _i为第i个关节点的原始坐标位置(x^org _i，y^org _i)，P^org _Neck为关节点Neck的原始坐标位置(x^org _Neck，y^org _Neck)，L_NecktoHip为Neck坐标到LHip和RHip的中心点坐标的距离；

(2.3)根据Nose鼻子和Neck所构成关节矢量的角度判断每段序列的步态方向，这里分别对16帧的鼻子x轴坐标和脖子x轴坐标求平均值，当目标相对摄像头为自右向左行走，当目标相对摄像头为自左向右行走；

(2.4)当目标向左行走时，右臂被身体遮挡，现有的姿态估计算法对遮挡关节的检测的准确率较低，删除右臂相关的右肩、右手肘、右手腕3个关节点；当目标向右行走时，左臂被身体遮挡，删除左臂相关的左肩、左手肘、左手腕3个关节点；

(2.5)分析每段步态序列左右对称的两个关节点的离散轨迹其中(0≤n＜16，t_n＝n)，判断当满足或则删除对应{t_n}中的元素以及一对的值，删除漏检的姿态的轨迹点；

(2.6)为删除漏检关节后的轨迹构建全局平滑度函数 和实时平滑度函数

(2.7)尝试逐步交换交换后的全局平滑度函数值记为F′_LHip、F′_RHip，实时平滑度函数值为判断当满足F′_LHip＜F_LHip，F′_RHip＜F_RHip以及 时，交换生效，否则取消交换；

(2.8)对纠正了左右关节姿态的轨迹分别进行三次B样条曲线近似拟合，根据拟合的曲线分别补全步骤(2.5)中被删除的漏检轨迹点，补全后的离散轨迹序列记为其中(0≤n＜16)；

(2.9)对补全后的离散轨迹序列做平滑处理，这里采用基于Kalman滤波器的RTS平滑方法，充分利用上下文信息进行平滑滤波，RTS平滑方法步骤如下：

P＝FP_kF^T+Q

K_k＝P_kFP^-1

x_k＝x_k+K_k(x_k+1-Fx_k)

其中Q为过程误差，P为状态协方差，F为状态转移矩阵，K为滤波器增益；

(2.10)按照对左右Hip关节的处理方法，对左右Knee膝盖、Ankle脚踝关节做同样的纠错和平滑处理。

4.根据权利要求1所述的一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，所述步骤(3)中进行时空特征向量提取的具体步骤如下：

(3.1)将数据集的顺序打乱并进行拆分，按照设定比例分为训练集和测试集，并对标签做“独热处理”；

(3.2)将步骤(2)中的关节点的x、y轴坐标分别视为RGB图像的两个通道，连续16帧的11个关节点的坐标作为一个大小为11×16的特征图，以此构成CNN网络的输入，CNN卷积网络的输入向量的维度为(n，11，16，2)，n为所设置的超参batch size；

(3.3)构建4层卷积网络进行特征提取，每层卷积后接一层pooling，最后连接2层全连接层，第一个全连接层FCl有512个节点，第二个全连接层FC2的节点数为数据库中身份类别数。

5.根据权利要求1所述的一种基于骨架图序列异常关节修复的步态识别方法，其特征在于，所述步骤(4)中利用Softmax分类器对提取的特征向量进行分类，识别步态身份的具体步骤如下：

(4.1)设置交叉熵Softmax损失函数：

y_i表示分类评分向量中的第i个元素，和分别为权值和偏置参数；

(4.2)考虑类间距离的同时减小类内差异，设置中心损失函数：

为第y_i类所有特征的均值；

(4.3)设置网络最终目标函数，表示为：

L_final＝L_{softmax loss}+λL_{center loss}

λ为两个损失函数间的调节项，λ越大则类内差异占整个目标函数的比重越大；

(4.4)将步骤(3)卷积网络提取的特征向量，送到Softmax分类器中进行分类；

(4.5)设置学习率、batch size、迭代次数等参数，训练CNN网络，在训练好的网络上用测试集测试，输出步态身份识别的正确率。