CN110045348A - 一种基于改进卷积神经网络的人体运动状态分类方法 - Google Patents

Abstract

本发明首先将人体目标运动简化为典型运动形式的复合运动，根据测量的生物机械实验数据提出一种人体走和跑的经验模型。并基于XYZ惯例使用欧拉旋转矩阵建立和完善了原地踏步状态和走、跑状态人体运动动画模型，其次基于连续波信号构建了人体走和跑目标整体雷达回波模型以及目标各部位的雷达回波模型，利用Matlab仿真工具分析了人体不同运动状态下雷达回波特性并通过短时傅里叶变换生成对应的时频图，为运动人体目标特征提取以及人体走跑状态识别奠定了理论基础。将人体动作的时频图划分为训练集、验证集和测试集，输入改进后的卷积神经网络进行训练，调节网络参数使模型收敛，使网络能够正确分类人体运动状态。

Description

一种基于改进卷积神经网络的人体运动状态分类方法

技术领域

本发明属于基于雷达探测的人体运动状态分类技术领域，尤其涉及一种基于改进卷积神经网络的人体运动状态分类方法。

背景技术

人体目标探测在反恐、灾后搜救等场合具有重要应用，基于雷达的人体运动状态分类技术是近年来的热点。针对运动情况下的人体，生命探测雷达通过人体躯干和四肢的摆动对雷达发射信号的微多普勒调制，提取回波信号微多普勒特征，实现对人体的探测和运动状态辨识，由于人体运动对回波信号的调制过程属于非平稳过程，且肢体摆动幅度相对胸腔的振动幅度大的多，谐波多且复杂，难以利用传统的傅里叶频谱进行分析，因此重点研究主要集中在微多普勒特征提取上。如美国的宾夕法尼亚大学(University ofPennsylvania)利用生命探测雷达对墙体后的人体活动进行探测，并对回波信号进行了Hilbert变换分析。首先通过EMD分解将信号与噪声进行分离提高信噪比，之后再做Hilbert谱分析，实验证明这种频谱分析方法比传统的时频分析方法有更好的时间和频率分辨率，能对人体呼吸心跳、和步态运动的微多普勒特征进行有效的提取。美国加利福利亚大学(University of California)和荷兰物理电子实验室联合研究了一种基于传统特征的人体步态参数估计方法。黄斌科等人通过肢体的回波，提取步频作为运动特征，并将其作为特征量进行人体运动状态识别。张翼等人分析了人体走动时手和腿的多普勒频率，并将其作为识别的特征。然而，目前用于人体运动状态辨识的模型多是基于数学模型建立，即用简单的正弦函数来模拟人体各部件的运动轨迹，其人体运动模型太过于简单化、理想化、并且与真实人体运动状态吻合度低。同时，对于步态运动的微多普勒特征的选择通常是采用特定的特征类型来实现，手动提取特征的过程较为复杂，算法复杂度高，选用不同分类器分类时，结果可能差别较大，对分类器的选择要求较高。其他的人类活动分类方法如使用SVD是通过观察人体平均移动速度而实现的一个简单线性分类器，鲁棒性较低。结合深度学习的优势，采用卷积神经网络进行运动状态辨识，可有效地简化特征提取过程，有效避免了特征数量改变时分类器要重新设计的问题。然而常规卷积神经网络，没有针对人体运动状态特性对网络进行优化设计，故需要较多的数据集训练，和较多的网络层数，容易导致网络的过拟合。

本发明改进的卷积神经网络针对人体运动状态分类进行进行了网络结构和参数的优化设计，结果表明用改进的卷积神经网络可以提高分类识别率和鲁棒性。

发明内容

针对现有技术存在的问题，本发明基于生物实验数据，考虑了各关节挠曲角度关系以及各身体部件的位置关系，建立了人体较为准确的运动模型，在此基础上针对人体运动状态的分类，提出了一种基于改进卷积神经网络的人体运动状态分类方法。

本发明是这样实现的，一种改进卷积神经网络，所述改进卷积神经网络有4个卷积层，每个卷积层后有LRelu激活函数层，前三个卷积层后的池化层采用的2×2最大池化，最后一个卷积层后的池化层采用的4×4最大池化；

第一个卷积层用128个5×5的卷积核，pad为2；第二个和第三个卷积层用128个3×3的卷积核，pad为1；最后一个卷积层用64个3×3的卷积核，pad为1；

4个卷积层后有2个全连接层；第一个全连接层把4×4×64的特征图和256×1的向量全连接，然后用LRelu激活函数激活，第二个全连接层降维到2×1，输出层用softmax实现二分类。

进一步，所述改进卷积神经网络由卷积层、池化层、全连接层组成；

卷积层，用卷积核在输入图像上卷积，得到输入图像的特征图；

池化层，降低减少网络参数，降低计算量，防止过拟合；

全连接层和输出层，用于输出网络类别。

本发明的另一目的在于提供一种基于所述改进卷积神经网络的人体运动状态分类方法，所述人体运动状态分类方法包括：

第一步，卷积层用128个卷积核在输入图像上卷积，得到输入图像的128个特征图，多个特征图表达了提取图像的多个特征；

第二步，由于图像相邻像素之间相似度较大，图像冗余较高，所以对特征图进行池化，降低图像尺寸，减小参数量，其后再经过3个卷积池化层，用于提取图像更深层次的特征；

第三步，最后得到64个4×4的特征图，第一个全连接层用256个神经元和特征图全连接，第二个全连接层用2个神经元和第一个全连接层全连接，网络经过训练收敛后，根据输入的图像可以输出图像的类别。

进一步，所述人体运动状态分类方法的人体各部位的雷达回波信号计算公式为：

其中P_t为雷达发射功率，L_s为发射接收损耗，G_r和G_v分别为发射接收天线方向图，λ、f₀分别为雷达发射信号的波长和频率，c为光速，σ_i人体目标各散射中心的RCS；分别计算出人体各部位的回波，将各回波信号求和即可计算出人体总回波信号。

进一步，所述人体运动状态分类方法的时频特征提取，对目标雷达回波采用短时傅里叶变换进行时频分析；首先，选取一个窗函数，通过沿时间轴移动窗函数将信号划分成很多很小的时问间隔，确保信号该时间间隔内为平稳信号，计算出各个时刻的功率谱，回波信号s(t)的短时傅里叶变换为：

其中g(f)为窗函数，常见窗函数有海明窗、高斯窗和汉宁窗；当g(t)＝1时，短时傅里叶变换即转化为传统傅里叶变换；STFT能够粗略表示信号能量，其定义为STFT模值的平方，即：

SPEC(t,w)＝|STFT_f(t,w)|²。

本发明的另一目的在于提供一种所述改进卷积神经网络的训练方法，所述改进卷积神经网络的训练方法包括：网络模型建立好以后，可以在数据集的子集上进行网络的训练，训练集用人的动作(走和跑)，验证集和测试集各用1个人的动作。对于每一个动作，是随机划分的数据集，所以不会在同一个人的动作数据集上验证和测试。

网络的训练是一个迭代的过程，每一次训练，loss和accuracy曲线和网络的超参数向最优化的方向调整，网络训练的batch为100，每500次迭代后会在验证集上测试；从开始训练时，在验证集和测试集上loss值就指数级减小而accuracy增加。

本发明的另一目的在于提供一种应用所述改进卷积神经网络的人体运动状态分类处理平台。

综上所述，本发明的优点及积极效果为：本发明首先将人体目标运动简化为典型运动形式的复合运动，根据R.Boulic、M.Thalaman和D.Thalman测量的生物机械实验数据提出一种人体走和跑的经验模型。并基于XYZ惯例使用欧拉旋转矩阵建立和完善了原地踏步状态和走、跑状态人体运动动画模型，避免了传统步态模型多用简单的正弦函数拟合人体各部位运动，使得模型太过于简单化、理想化和与真实人体走跑吻合度太低的问题，其次基于连续波信号构建了人体走和跑目标整体雷达回波模型以及目标各部位的雷达回波模型，从理论上分析了运动人体目标的瞬时频率特征和瞬时运动特征，分析了人体不同运动状态下雷达回波特性并通过短时傅里叶变换生成对应的时频图，为运动人体目标特征提取以及人体走跑状态识别奠定了理论基础。将人体动作(走和跑)的时频图划分为训练集、验证集和测试集，输入改进后的卷积神经网络进行训练，调节网络参数使模型收敛，使网络能够正确分类人体运动状态。同时本发明改进的卷积神经网络，相比常规卷积神经网络可以降低网络的参数量，提高训练速度和分类正确率，提高鲁棒性。

附图说明

图1是本发明实施例提供的基于改进卷积神经网络的人体运动状态分类方法流程图。

图2是本发明实施例提供的人体模型示意图(包含17个参考关节点和部件长度)。

图3是本发明实施例提供的椭球体的RCS示意图。

图4是本发明实施例提供的改进的卷积神经网络的网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于改进卷积神经网络的人体运动状态分类方法包括以下步骤：

S101：根据测量的生物机械实验数据提出一种人体走和跑的经验模型；并基于XYZ惯例使用欧拉旋转矩阵建立和完善了原地踏步状态和走、跑状态人体运动动画模型；

S102：其次基于连续波信号构建了人体走和跑目标整体雷达回波模型以及目标各部位的雷达回波模型，利用Matlab仿真工具分析了人体不同运动状态下雷达回波特性并通过短时傅里叶变换生成对应的时频图，为运动人体目标特征提取以及人体走跑状态识别奠定了理论基础；

S103：将人体动作的时频图划分为训练集、验证集和测试集，输入改进后的卷积神经网络进行训练，调节网络参数使模型收敛，使网络能够正确分类人体运动状态。

下面结合附图对本发明的应用原理作进一步的描述。

1、人体步态模型，为了仿真人体运动，需要描述感兴趣运动的运动模型和描述人体的物体模型。本发明根据测量的生物机械实验数据建立一种人体走和跑的经验模型，基于XYZ惯例使用欧拉旋转矩阵建立和完善了原地踏步状态和走、跑状态人体动态运动模型。该模型以时间函数的形式提供了人体行走的每一个部件的三维空间位置和方向。

人体某个部件的三维方向可以通过在以脊柱原点为中心的人体参考坐标系中的这17个关节点的定位来确定，如图2所示。本发明将头部和人体参考点(肘关节、肩关节、膝关节、踝关节)更真实的用球体等效，其余身体部位(躯干、大臂、小臂、肩膀、大腿、小腿等)用椭球体等效，并根据运动轨迹函数、角度转换关系和XYZ惯例欧拉旋转矩阵获得步态模型中各身体参考点的位置，将关节挠曲角度作为旋转角度，身体部位长度作为向量模长，在旋转变换后便可得到人体模型的17个参考点的位置。其中为了基于多个角度准确计算出人体17个参考点的位置，最外层的角度必须首先考虑，即先处理躯干的左右和前后旋转，然后在此基础上进行四肢上各关节的挠曲计算，最后考虑过这些角度之后再处理平移最终建立了一套动态化的人体步态模型。

2、目标雷达回波模型

在建立了人体走路和跑步的运动模型后，还需计算各身体部件的RCS(RadarCross Section，雷达横截面)，本发明将头部和人体参考点(肘关节、肩关节、膝关节、踝关节)更真实的用球体等效，其余身体部位(躯干、大臂、小臂、肩膀、大腿、小腿等)用椭球体等效。椭球体的雷达横截面示意图如图3所示。

球体的RCS，其计算式为：

式中，r_sphere表示球体半径，λ表示雷达反射波长。

椭球体的RCS，其计算式为：

式中，a，b，c分别表示椭球体沿x，y，z轴方向三条半径长度，入射角和方位角体现了椭球体相对于雷达的方位特征。一般情况下，将a近似等于b，则式(2)简化为：

在求出人体各部位的RCS后，可以建立人体多散射中心步态模型的雷达回波模型。人体与雷达同一水平面上相向运动，根据人体各散射中心的RCS和各散射中心到雷达的回波延时τ_i，可计算出人体各部位的雷达回波信号，形式如下：

其中P_t为雷达发射功率，L_s为发射接收损耗，G_r和G_v分别为发射接收天线方向图，λ、f₀分别为雷达发射信号的波长和频率，c为光速，σ_i人体目标各散射中心的RCS。由此分别计算出人体各部位的回波，将各回波信号求和即可计算出人体总回波信号。

3、时频特征提取

对目标雷达回波采用短时傅里叶变换进行时频分析。首先，选取一个窗函数，通过沿时间轴移动窗函数将信号划分成很多很小的时问间隔，确保信号该时间间隔内为平稳信号，计算出各个时刻的功率谱。回波信号s(t)的短时傅里叶变换为

其中g(f)为窗函数，常见窗函数有海明窗、高斯窗和汉宁窗等。当g(t)＝1时，短时傅里叶变换即转化为传统傅里叶变换。STFT能够粗略表示信号能量，其定义为STFT模值的平方，即：

SPEC(t,w)＝|STFT_f(t,w)|² (6)

4、基于改进卷积神经网络的人体运动状态分类

由于时频图没有光学图像包含的目标信息丰富，比如目标的轮廓、纹理、颜色、大小等，因此通过时频图对人走和跑的状态分类时，不需要很复杂的网络结构，也不需要很多的特征个数就能达到较高的分类正确率。所以本发明提出了以下改进的卷积神经网络结构，如图4所示。

有4个卷积层，每个卷积层后有LRelu激活函数层，前三个卷积层后的池化层采用的2×2最大池化，最后一个卷积层后的池化层采用的4×4最大池化。第一个卷积层用128个5×5的卷积核，pad为2，第二个和第三个卷积层用128个3×3的卷积核，pad为1，最后一个卷积层用64个3×3的卷积核，pad为1。4个卷积层后有2个全连接层，第一个全连接层把4×4×64的特征图和256×1的向量全连接，然后用LRelu激活函数激活，第二个全连接层降维到2×1，输出层用softmax实现二分类。

卷积神经网络由卷积层、池化层、全连接层组成，可以用于图像分类，像其他的机器学习算法一样，卷积神经网络的参数是通过在大量的数据集上训练自己学习的，不需要人工手动设置。卷积层用卷积核在输入图像上卷积，得到输入图像的特征图，特征图上的每一个像素点是卷积核在输入图像上滑动卷积得到的。一个卷积层中可以有多个卷积核用于抽取图像的多个特征。虽然输入可能是三通道的图像，但经过与多个卷积核卷积后，可以得到很多个特征图，每个特征图都是一个卷积核与输入图像卷积的结果，有多少个卷积核经过卷积后就会得到多少个特征图。卷积层后经过激活函数层，激活函数是非线性函数，可以增加网络的非线性表达能力。由于图像相邻像素的相似度较高，冗余大，池化层可以降低减少网络参数，降低计算量，防止过拟合。经过多个卷积池化层后，再经过全连接层和输出层，可以输出网络类别。

5、改进卷积神经网络的训练

网络模型建立好以后，可以在数据集的子集上进行网络的训练，训练集用人的动作(走和跑)，验证集和测试集各用1个人的动作。对于每一个动作，是随机划分的数据集，所以不会在同一个人的动作数据集上验证和测试。

网络的训练是一个迭代的过程，每一次训练，loss和accuracy曲线和网络的超参数(非学习参数：如基础学习率)都会向最优化的方向调整，网络训练的batch为100，每500次迭代后会在验证集上测试，下图是训练过程中的loss和accuracy曲线，损失函数代表了网络的误差，从开始训练时，在验证集和测试集上loss值就指数级减小而accuracy增加，如果loss值在训练过程中下降的很快，学习率会根据当前的学习策略适当的减小，而如果loss值下降的比较慢，学习率会适当的增大，是动态调整的一个参数。

学习的优化方法采用的是Adam，β₁＝0.9，β₂＝0.999，ε＝1×10^-8，网络在数据集上训练25-75epoch，如果在验证集上的loss开始增加时，表明CNN过拟合了，这时候用过拟合之前得到网络模型进行测试。深度学习框架使用caffe，在GTX1080显卡上进行训练，一次完整的训练需要5个小时左右。

下面结合实验对本发明的应用效果作详细的描述。

1、实验结果

人体仿真条件：设定人与雷达的距离R₀＝10m，雷达载频为f₀＝15GHz，人体高度H＝1.8m，其他部位的长度比例如图2示，采样点数为2048，周期循环数为4，采用STFT进行时频分析。

下面结合测试对本发明的应用效果作详细的描述。

用走和跑的时频图640张，500张时频图用于网络训练，140张用于对训练好的网络进行测试。分别训练AlexNet、VGGNet和本发明改进的网络。调节网络参数使网络收敛并用训练好的模型分别对140张时频图进行测试，其中，训练好的AlexNet模型能对114张时频图正确分类，正确率为114/140＝81.4％。训练好的VGGNet模型能对119张时频图正确分类，正确率为119/140＝85％。训练好的本发明改进的网络模型能对126张时频图正确分类，正确率为138/140＝98.57％。因为AlexNet、VGGNet的网络结构与本发明改进的网络相比更为复杂，且需要大量的数据集训练网络模型。而实验用的数据集有限，所以AlexNet、VGGNet在时频图分类问题上，性能不如本发明方法，原因是网络学习的特征过多，导致模型过拟合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种改进卷积神经网络，其特征在于，所述改进卷积神经网络有4个卷积层，每个卷积层后有LRelu激活函数层，前三个卷积层后的池化层采用的2×2最大池化，最后一个卷积层后的池化层采用的4×4最大池化；

第一个卷积层用128个5×5的卷积核，pad为2；第二个和第三个卷积层用128个3×3的卷积核，pad为1；最后一个卷积层用64个3×3的卷积核，pad为1；

4个卷积层后有2个全连接层；第一个全连接层把4×4×64的特征图和256×1的向量全连接，然后用LRelu激活函数激活，第二个全连接层降维到2×1，输出层用softmax实现二分类。

2.如权利要求1所述的改进卷积神经网络，其特征在于，所述改进卷积神经网络由卷积层、池化层、全连接层组成；

卷积层，用卷积核在输入图像上卷积，得到输入图像的特征图；

池化层，降低减少网络参数，降低计算量，防止过拟合；

全连接层和输出层，用于输出网络类别。

3.一种基于权利要求1所述改进卷积神经网络的人体运动状态分类方法，其特征在于，所述人体运动状态分类方法包括：

第一步，卷积层用128个卷积核在输入图像上卷积，得到输入图像的128个特征图，多个特征图表达了提取图像的多个特征；

第二步，由于图像相邻像素之间相似度较大，图像冗余较高，所以对特征图进行池化，降低图像尺寸，减小参数量，其后再经过3个卷积池化层，用于提取图像更深层次的特征；

第三步，最后得到64个4×4的特征图，第一个全连接层用256个神经元和特征图全连接，第二个全连接层用2个神经元和第一个全连接层全连接，网络经过训练收敛后，根据输入的图像可以输出图像的类别。

4.如权利要求3所述的人体运动状态分类方法，其特征在于，所述人体运动状态分类方法的人体各部位的雷达回波信号计算公式为：

其中P_t为雷达发射功率，L_s为发射接收损耗，G_r和G_v分别为发射接收天线方向图，λ、f₀分别为雷达发射信号的波长和频率，c为光速，σ_i人体目标各散射中心的RCS；分别计算出人体各部位的回波，将各回波信号求和即可计算出人体总回波信号。

5.如权利要求3所述的人体运动状态分类方法，其特征在于，所述人体运动状态分类方法的时频特征提取，对目标雷达回波采用短时傅里叶变换进行时频分析；首先，选取一个窗函数，通过沿时间轴移动窗函数将信号划分成很多很小的时问间隔，确保信号该时间间隔内为平稳信号，计算出各个时刻的功率谱，回波信号s(t)的短时傅里叶变换为：

其中g(f)为窗函数，常见窗函数有海明窗、高斯窗和汉宁窗；当g(t)＝1时，短时傅里叶变换即转化为传统傅里叶变换；STFT能够粗略表示信号能量，其定义为STFT模值的平方，即：

SPEC(t,w)＝|STFT_f(t,w)|²。

6.一种如权利要求1所述改进卷积神经网络的训练方法，其特征在于，所述改进卷积神经网络的训练方法包括：网络模型建立好以后，可以在数据集的子集上进行网络的训练，训练集用人的动作(走和跑)，验证集和测试集各用1个人的动作。对于每一个动作，是随机划分的数据集，所以不会在同一个人的动作数据集上验证和测试。

网络的训练是一个迭代的过程，每一次训练，loss和accuracy曲线和网络的超参数向最优化的方向调整，网络训练的batch为100，每500次迭代后会在验证集上测试；从开始训练时，在验证集和测试集上loss值就指数级减小而accuracy增加。

7.一种应用权利要求1～2任意一项所述改进卷积神经网络的人体运动状态分类处理平台。