CN110414426A - 一种基于pc-irnn的行人步态分类方法 - Google Patents

一种基于pc-irnn的行人步态分类方法 Download PDF

Info

Publication number
CN110414426A
CN110414426A CN201910682211.0A CN201910682211A CN110414426A CN 110414426 A CN110414426 A CN 110414426A CN 201910682211 A CN201910682211 A CN 201910682211A CN 110414426 A CN110414426 A CN 110414426A
Authority
CN
China
Prior art keywords
pedestrian
irnn
gait
frequency spectrum
rnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910682211.0A
Other languages
English (en)
Other versions
CN110414426B (zh
Inventor
周峰
侯敏
石晓然
李雅欣
杨爽
刘磊
白雪茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910682211.0A priority Critical patent/CN110414426B/zh
Publication of CN110414426A publication Critical patent/CN110414426A/zh
Application granted granted Critical
Publication of CN110414426B publication Critical patent/CN110414426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于PC‑IRNN的行人步态分类方法，该方法通过构建PC‑IRNN和梯度裁剪解决了传统RNN由于长时依赖容易出现的梯度消失和梯度爆炸现象、IRNN利用ReLU激活函数导致输入信息损失的问题，以及LSTM由于网络结构复杂从而计算成本过高的缺点。另外，本发明是RNN的一种，它可以直接从样本的输入序列间的固有相关性中自动提取与分类相关的特征，从而省去了DCNN中预定义不同大小的卷积核来提取特征的步骤，实现网络计算成本的减少和行人步态分类准确率的提高。

Description

一种基于PC-IRNN的行人步态分类方法
技术领域
本发明属于雷达目标识别领域，尤其涉及一种基于PC-IRNN的行人步态分类方法。可用于分类行人行走模型的步态。
背景技术
行人的运动包含了许多常见微运动的形式，是多种微动的组合，并且具有多种姿态，因此，根据行人的微动特性对行人步态进行分类与识别一直是研究的热点。微多普勒技术可基于雷达远程观测，不受天气、光线等因素的影响，特别是在沙尘或大雾天气依旧能良好工作，并且能够提取出极具区分度的微多普勒特征，因此雷达微多普勒特征在行人步态分类与识别中的应用也越来越广泛。目前，深度学习是分类行人步态的常用方法，它不需要经典机器学习算法中复杂的特征提取与选择，是一种端到端的学习，可以直接从输入数据中联合学习特征和分类边界，同时也可捕获在经典机器学习算法中被忽略的特征。因此，基于雷达微多普勒特征分类行人步态的深度学习算法成为当前研究的重点。
谷歌的Le Q V等人在文献“A simple way to initialize recurrent networksof rectified linear units”(Computer Science，2015年4月)提出了利用单位阵初始化隐藏层权重且隐藏层激活函数为线性修正单元(ReLU)的循环神经网络(RNN)，称为单位初始化循环神经网络(IRNN)。该方法对标准RNN的修改有效解决了RNN在长期依赖下的梯度消失和梯度爆炸现象，网络结构简单，计算成本较低，并且在手写体识别中的分类准确率高于长短时记忆(LSTM)分类器。但是该方法的不足是，IRNN隐藏层所用的ReLU激活函数会将隐藏层的负输入置零，导致负输入的信息丢失并且对应的梯度无法反向传播，从而阻碍了网络的高效训练。
美国约翰霍普金斯大学的Craley J等人在文献“Action recognition usingmicro-Doppler signatures and a recurrent neural network”(IEEE InformationSciences&Systems，2017年3月)提出了基于LSTM的JHUMMA(Johns Hopkins MultiModelsAction)步态分类方法，其中涉及21种行人活动。该方法是RNN的一种变体，其中标准RNN的隐藏节点被细胞(LSTM Cell)所替代。LSTM Cell由遗忘门、输入门、内部态和输出门四部分组成，它可以去除或者增加细胞状态中的信息并且通过内部更新来更改自己的状态，从而有效解决了RNN在长期依赖下的梯度消失和梯度爆炸问题。该方法基于微多普勒时频谱图的步态分类准确率达到了98.19％，而基于微多普勒时频谱图和RGBD数据共同训练的隐马尔科夫分类器的准确率仅为93.63％。但是该方法的不足是，LSTM的网络结构复杂且变量过多，导致网络计算成本高，运行时间长。
美国加州大学的Kim Y等人在文献“Human Detection and ActivityClassification Based on Micro-Doppler Signatures Using Deep ConvolutionalNeural Networks”(IEEE Geoscience and Remote Sensing Letters，第13期，2015年1月)提出了基于深层卷积网络(DCNN)的行人步态分类方法，其中涉及7种行人活动。该方法是图像分类领域最成功的算法之一，利用预定义大小的卷积核从输入数据中联合学习特征和分类边界，避免了类似支持向量机(SVM)中复杂的手工的特征提取工程。该方法基于微多普勒时频谱图的步态分类准确率为90.9％，与支持向量机分类器所得到的准确率非常相似。但是该方法的不足是用于提取特征的卷积核大小需要预定义，从而增加了调参的工作量。
发明内容
为了解决上述问题，本发明的目的是提出一种基于PC-IRNN的行人步态分类方法，本发明采用的PC-IRNN解决了传统RNN由于长时依赖容易出现的梯度消失和梯度爆炸现象，IRNN利用ReLU激活函数导致输入信息损失的问题，以及LSTM由于网络结构复杂从而计算成本过高的缺点。另外，本发明是RNN的一种，它可以直接从样本的输入序列间的固有相关性中自动提取与分类相关的特征，从而省去了DCNN中预定义不同大小的卷积核来提取特征的步骤，实现网络计算成本的减少和行人步态分类准确率的提高。
为了达到上述目的，本发明采用以下技术方案予以解决。
一种基于PC-IRNN的行人步态分类方法，包括以下步骤：
步骤1，构建行人步态模型，获取行人步态雷达回波；对行人步态雷达回波进行短时傅里叶变换，得到行人步态时频谱图；
步骤2，对行人步态时频谱图进行预处理，得到预处理后的行人步态时频谱图，将预处理后的行人步态时频谱图划分为训练样本和测试样本；
其中，每个样本对应一幅预处理后的行人步态时频谱图；所述训练样本中包含所有类别的预处理后的行人步态时频谱图；
步骤3，搭建PC-IRNN分类器，并对PC-IRNN分类器进行初始化；
步骤4，采用训练样本对初始化后的PC-IRNN分类器进行训练，得到训练后的PC-IRNN分类器，采用训练后的PC-IRNN分类器对测试样本进行分类，得到对应的分类输出。
本发明技术方案的特点和进一步的改进在于：
(1)所述构建行人步态模型具体为：
首先，构建Boulic行人模型，并设置行人步态参数；
其中，所述行人步态参数包括行人初始空间位置、行走方向、行人身高和步态周期数；
其次，对行人步态进行分类，得到慢速行走、正常行走和快速行走三种行人步态，作为行人步态模型。
(2)所述获取行人步态雷达回波为：首先，设置雷达参数：发射信号类型、发射信号频率、发射信号带宽、一个行走周期的发射脉冲数和雷达空间位置；然后，仿真得到三种行人步态的雷达回波。
(3)所述预处理为：对行人步态时频谱图依次进行灰度化和归一化处理；所述归一化处理为：将灰度化后的时频谱图的每一个像素点除以255。
(4)步骤3包含以下子步骤：
子步骤3a，将RNN的隐藏层激活函数tanh修改为mod函数，得到新的RNN；
其中，mod为取绝对值操作；
子步骤3b，采用两个相互独立的新的RNN并行搭建PC-IRNN；；
子步骤3c，初始化PC-IRNN。
进一步地，所述初始化PC-IRNN为：将每个RNN的隐藏层间的权重分别初始化为单位阵，每个RNN的输入层与隐藏层间的权重以及隐藏层与输出层间的权重服从N(0，1)进行随机初始化，每个RNN的隐藏层偏置以及输出层偏置分别初始化为0。
(5)所述采用训练样本对初始化后的PC-IRNN分类器进行训练，其具体步骤为：
子步骤4a，从每个训练样本中提取对应的像素点序列，将该像素点序列作为初始化后的PC-IRNN的输入，一个时刻输入一个像素点序列，则M′个时刻后即完成一张时频谱图的输入；
子步骤4b，计算每一时刻PC-IRNN的隐藏层输出；并将每个训练样本的最后一个时刻的输出作为该训练样本的预测输出；
子步骤4c，采用交叉熵损失函数计算对应的训练损失，并通过反向传播算法和梯度裁剪，优化PC-IRNN网络参数；
子步骤4d，重复子步骤4a-4c，完成所有训练样本的训练和网络参数的优化，得到训练后的PC-IRNN分类器；
其中，所述网络参数为两个新的RNN的所有权重和偏置。
进一步地，所述从每个训练样本中提取对应的像素点序列，其具体为：首先，将预处理后的行人步态时频谱图中的每幅时频谱图向右旋转90°，再将其大小缩小为M′×N′，得到待提取时频谱图；
然后，将待提取时频谱图逐行转换为像素点序列，其中，待提取时频谱图的每行对应一个像素点序列。
进一步地，所述梯度裁剪为：设置梯度区间为[-1，1]；将反向传播过程中的每个梯度值与梯度区间进行比较，若梯度值落入梯度区间内，则以该梯度值继续进行反向传播，否则，对该梯度值进行裁剪，即判断该梯度值与梯度区间两个边界值的距离，并将该梯度值转变为与其距离较近的梯度区间边界值。
与现有技术相比，本发明的有益效果为：
第一，本发明采用了两个并行且相互独立的RNN网络，并且它们隐藏层的激活函数为取绝对值的操作。在每一时刻，PC-IRNN的隐藏层输出是两个并行RNN的隐藏层输出的算术平均值；本发明的网络结构克服了IRNN隐藏层的ReLU激活函数导致负输入的信息损失问题，使得本发明具有训练高效和分类准确率高的优点。
第二，本发明采用了单位阵初始化网络的隐藏层权重，并且在反向传播中对梯度进行裁剪，使得超过区间[-1，1]的梯度值被裁剪成距离最近的区间边界值；本发明的网络初始化与梯度裁剪方式，克服了传统RNN在长时依赖下的梯度消失和梯度爆炸现象，并且继承了RNN网络的暂态连接性，弥补了LSTM网络结构复杂和计算成本高的不足，使得本发明具有收敛速度快和计算成本低的优点。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明的基于PC-IRNN的行人步态分类方法的流程图；
图2为本发明的行人和雷达的空间位置关系图；
图3为本发明构建的行人步态时频谱图；其中，(a)为慢速行走的时频谱图；(b)为正常行走的时频谱图；(c)为快速行走的时频谱图；
图4为本发明预处理后的时频谱图；
图5为本发明的PC-IRNN网络结构示意图；
图6为本发明方法与IRNN、LSTM的训练过程对比图。
具体实施方式
下面结合附图对本发明的实施例及效果作进一步详细描述。
参考图1，本发明实施例提供一种基于PC-IRNN的行人步态分类方法，包括以下步骤：
步骤1，构建行人步态模型，获取行人步态雷达回波；对行人步态雷达回波进行短时傅里叶变换，得到行人步态时频谱图；
具体的，包含以下子步骤：
子步骤1a，构建Boulic行人模型，并设置行人步态参数，包括行人初始空间位置、行走方向、行人身高和步态周期数；
子步骤1b，对行人步态进行分类，得到慢速行走、正常行走和快速行走三种行人步态，作为行人步态模型；
子步骤1c，设置雷达回波的仿真参数，包括发射信号类型，发射信号频率、发射信号带宽、一个行走周期的发射脉冲数和雷达空间位置；
子步骤1d，获得三种行人步态的雷达回波；
子步骤1e，利用短时傅里叶变换(STFT)对行人雷达回波进行时频变换，获得行人步态的时频谱图。
示例性的，
本发明采用Boulic行人模型，该模型中定义的大腿高度Ht为人体总高度的53％，又定义了相对行走速度VR(Ht/s)，即用Ht归一化平均行走速度，其取值范围为(0，3.0]。根据相对行走速度的取值范围，本发明定义了三种步态：①慢速行走(0＜VR≤0.5)②正常行走(0.5＜VR≤1.3)③快速行走(1.3＜VR≤3.0)。
本发明实施例设置行人的仿真参数为：行人初始空间位置为(0，0，0)，行人行走方向沿X轴正方向，行人身高分别设置为1.5m、1.6m、1.7m、1.8m和1.9m，以及步态周期数为3。
本发明实施例设置雷达回波的仿真参数为：发射信号类型为单频信号，发射信号载频为18GHz，发射信号带宽为10MHz，一个行走的发射脉冲数为2048，以及雷达的空间位置为(1000，0，200)。行人与雷达的空间位置关系如图2所示。
雷达发射载频为f的单频信号，该模型将行人身体分为16个部位：头部、躯干、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、左臀部、右臀部、左大腿、右大腿、左小腿、右小腿、左踝关节、右踝关节；并将身体各部位看作椭球体，则行人某一部位的回波为
其中，j为虚数单位，t为时间，c为光速，R(t)为行人该部位与雷达的瞬时距离，σ为后向散射的雷达截面积。
则雷达接收回波的基带信号为
其中，λ为波长。
最后，将行人各部位的雷达回波进行相干叠加，则可得到行人整体的雷达回波。
本发明采用STFT对行人的雷达回波进行时频变换，从而得到行人雷达回波的时频谱图。本发明实施例设置STFT的参数为：窗函数为高斯窗函数，以及窗函数的宽度为512。
本发明实施例在不同的行人身高下，在不同的步态区间内以0.01(Ht/s)为间隔取样，构建行人步态的时频谱图数据集。数据集中共有1500个时频谱图，即1500个训练样本，其中，慢速行走的样本数量为250个，正常行走的样本数量为400个，快速行走的样本数量为850个，每个步态的时频谱图如图3所示，图(a)为慢速行走，图(b)为正常行走，图(c)是快速行走。
步骤2，对行人步态时频谱图进行预处理，得到预处理后的行人步态时频谱图，将预处理后的行人步态时频谱图划分为训练样本和测试样本；
具体的，包含以下子步骤：
子步骤2a，对子步骤1e的行人步态时频谱图依次进行灰度化和归一化处理，得到预处理后的时频谱图；
子步骤2b，将子步骤2a的预处理后的时频谱图划分为训练样本和测试样本。
其中训练样本与测试样本的样本数之比为8∶2，且训练样本中包含三种步态的预处理后的时频谱图。
示例性的，
本发明实施例的归一化操作为对灰度化后的时频谱图的每一个像素点除以255。预处理后的时频谱图如图4所示。
步骤3，搭建PC-IRNN分类器，并对PC-IRNN分类器进行初始化；
具体的，包含以下子步骤：
子步骤3a，将RNN的隐藏层激活函数tanh修改为mod函数，得到新的RNN；
子步骤3b，采用两个相互独立的新的RNN并行搭建PC-IRNN；；
子步骤3c，初始化PC-IRNN。
所述初始化PC-IRNN为：将每个RNN的隐藏层间的权重分别初始化为单位阵，每个RNN的输入层与隐藏层间的权重以及隐藏层与输出层间的权重服从N(0，1)进行随机初始化，每个RNN的隐藏层偏置以及输出层偏置分别初始化为0。
示例性的，
PC-IRNN按时间展开的网络结构如图5所示。PC-IRNN由两个并行且相互独立的新的RNN组成，每个新的RNN的隐藏层层数为1，隐藏层的单元数为300，隐藏层在时刻t的状态为和则
其中，xt为网络的输入，两个新的RNN输入层与隐藏层之间的权重分别为和两个新的RNN隐藏层间的权重分别为和两个新的RNN隐藏层的偏置分别为和
两个新的RNN各自隐藏层的激活函数为对隐藏层的状态取绝对值的操作，记为mod(·)，则它们各自的隐藏层在时刻t的输出为和
在时刻t，PC-IRNN隐藏层的输出ht为两个新的RNN隐藏层的输出的算数平均值，即：
本发明实施例网络参数的初始化方式为：将RNN各自隐藏层间的权重和均初始化为单位阵，输入层与隐藏层间的权重和以及隐藏层与输出层间的权重wyh服从N(0，1)进行随机初始化，网络的偏置均初始化为0。
步骤4，采用训练样本对初始化后的PC-IRNN分类器进行训练，得到训练后的PC-IRNN分类器，采用训练后的PC-IRNN分类器对测试样本进行分类，得到对应的分类输出。
具体的，包含以下子步骤：
子步骤4a，从每个训练样本中提取对应的像素点序列，将该像素点序列作为初始化后的PC-IRNN的输入，一个时刻输入一个像素点序列，则M′个时刻后即完成一张时频谱图的输入；
子步骤4b，计算每一时刻PC-IRNN的隐藏层输出；并将每个训练样本的最后一个时刻的输出作为该训练样本的预测输出；
子步骤4c，采用交叉熵损失函数计算对应的训练损失，并通过反向传播算法和梯度裁剪，优化PC-IRNN网络参数；
子步骤4d，重复子步骤4a-4c，完成所有训练样本的训练和网络参数的优化，得到训练后的PC-IRNN分类器；
其中，网络参数为两个新的RNN的所有权重和偏置。
子步骤4e，将测试样本作为训练后的PC-IRNN分类器的输入，对测试样本进行分类，得到对应的分类输出。
示例性的，
首先，将预处理后的行人步态时频谱图中的每幅时频谱图向右旋转90°，再将其大小缩小为M′×N′，得到待提取时频谱图；
然后，将待提取时频谱图逐行转换为像素点序列，其中，待提取时频谱图的每行对应一个像素点序列。
本发明的PC-IRNN的输出层在时刻t的输出值为yt：
yt＝whyht+by
其中，PC-IRNN隐藏层与输出层之间的权重为wyh，输出层的偏置为by。
采用交叉熵损失函数计算对应的训练损失，其表达式为：
其中，L为训练损失，m为训练样本总数，n为类别数，为第i次迭代训练的实际值，为第i次迭代训练的预测输出值。
所述反向传播算法的反向传播中，采用Adam优化器对网络参数进行优化，使得网络的损失减小，并进行梯度裁剪，即：设置梯度区间为[-1，1]；将反向传播过程中的每个梯度值与梯度区间进行比较，若梯度值落入梯度区间内，则以该梯度值继续进行反向传播，否则，对该梯度值进行裁剪，即判断该梯度值与梯度区间两个边界值的距离，并将该梯度值转变为与其距离较近的梯度区间边界值。也就是将超过梯度区间[-1，1]的梯度值裁剪成与其距离较近的梯度区间边界值，使得整个反向传播过程中的梯度均处于梯度区间[-1，1]内，防止网络出现梯度消失和梯度爆炸的现象。
因为本发明的数据集涉及不同身高的行人步态，且不同类别的样本个数不同，所以本发明实施例采用留一法交叉验证(LOUO)，即将每一个身高的行人的各个步态回波数据分别做为测试样本，对应将其余身高的行人的各个步态回波数据作为训练样本。
本发明实施例对比了PC-IRNN、IRNN和LSTM分类器的行人步态分类效果，以最优分类结果为前提，网络训练参数的设置如表1所示。以1.9m高的行人数据为测试集，三种分类器的训练过程如图6所示，它们各自的平均运行时间以及测试集分类准确率如表2所示。
表1网络的参数设置
表2不同RNN网络的平均运行时间以及测试集准确率
RNN Time(s) Testing Accuracy(％)
IRNN 348.79 98.87
LSTM 2845.70 98.53
PC-IRNN 604.84 99.13
下面结合附图6对本发明的效果做进一步说明。
附图6为以1.9m高的行人数据为测试集，三种分类器的训练过程对比图。从图中可以看出，三种分类器的训练过程均在第20次迭代后开始收敛，但本发明的PC-IRNN的训练准确率起点最高且在收敛后准确率波动最小；LSTM的训练准确率在达到收敛后波动较小，而IRNN的训练准确率在达到收敛后波动最大。因此，PC-IRNN可以更有效的提取出与分类结果相关的特征。
从表2中可以看出，IRNN运行时间最短，PC-IRNN运行时间次短，LSTM运行时间最长。这是因为IRNN和PC-IRNN的网络结构简单，参数量小。在行人步态时频谱图数据集上，PC-IRNN具有最高的测试集分类准确率，LSTM的测试集分类准确率最低。
综合以上可知，本发明方法的PC-IRNN分类器，能够大大提高行人步态分类的准确性，同时，降低计算复杂度，缩短分类所需时间，具有明显优势。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于PC-IRNN的行人步态分类方法，其特征在于，包括以下步骤：
步骤1，构建行人步态模型，获取行人步态雷达回波；对行人步态雷达回波进行短时傅里叶变换，得到行人步态时频谱图；
步骤2，对行人步态时频谱图进行预处理，得到预处理后的行人步态时频谱图，将预处理后的行人步态时频谱图划分为训练样本和测试样本；
其中，每个样本对应一幅预处理后的行人步态时频谱图；所述训练样本中包含所有类别的预处理后的行人步态时频谱图；
步骤3，搭建PC-IRNN分类器，并对PC-IRNN分类器进行初始化；
步骤4，采用训练样本对初始化后的PC-IRNN分类器进行训练，得到训练后的PC-IRNN分类器，采用训练后的PC-IRNN分类器对测试样本进行分类，得到对应的分类输出。
2.根据权利要求1所述的基于PC-IRNN的行人步态分类方法，其特征在于，步骤1中，所述构建行人步态模型具体为：
首先，构建Boulic行人模型，并设置行人步态参数；
其中，所述行人步态参数包括行人初始空间位置、行走方向、行人身高和步态周期数；
然后，对行人步态进行分类，得到慢速行走、正常行走和快速行走三种行人步态，作为行人步态模型；
其中，所述慢速行走为0＜VR≤0.5；所述正常行走为0.5＜VR≤1.3；所述快速行走为1.3＜VR≤3.0；VR为行人的相对行走速度，单位为Ht/s，Ht为行人的大腿高度。
3.根据权利要求1所述的基于PC-IRNN的行人步态分类方法，其特征在于，步骤1中，所述获取行人步态雷达回波为：首先，设置雷达参数：发射信号类型、发射信号频率、发射信号带宽、一个行走周期的发射脉冲数和雷达空间位置；然后，通过仿真得到各种行人步态的雷达回波。
4.根据权利要求1所述的基于PC-IRNN的行人步态分类方法，其特征在于，步骤2中，所述预处理为：对行人步态时频谱图依次进行灰度化和归一化处理；其中，所述归一化处理为：将灰度化后的时频谱图的每一个像素点除以255。
5.根据权利要求1所述的基于PC-IRNN的行人步态分类方法，其特征在于，步骤3中，所述搭建PC-IRNN分类器，并对PC-IRNN分类器进行初始化，其具体为：
首先，将RNN的隐藏层激活函数tanh修改为mod函数，得到新的RNN；
其中，mod函数为取绝对值操作；
其次，采用两个相互独立的新的RNN并行搭建PC-IRNN；
最后，将每个RNN的隐藏层间的权重分别初始化为单位阵，每个RNN的输入层与隐藏层间的权重以及隐藏层与输出层间的权重服从N(0，1)的随机初始化，每个RNN的隐藏层偏置以及输出层偏置分别初始化为0。
6.根据权利要求1所述的基于PC-IRNN的行人步态分类方法，其特征在于，步骤4中，所述采用训练样本对初始化后的PC-IRNN分类器进行训练，其具体步骤为：
子步骤4a，从每个训练样本中提取对应的像素点序列，将该像素点序列作为初始化后的PC-IRNN的输入，一个时刻输入一个像素点序列，则M′个时刻后即完成一张时频谱图的输入；
子步骤4b，计算每一时刻PC-IRNN的隐藏层输出；并将每个训练样本的最后一个时刻的输出作为该训练样本的预测输出；
子步骤4c，采用交叉熵损失函数计算对应的训练损失，并通过反向传播算法和梯度裁剪，优化PC-IRNN网络参数；
子步骤4d，重复子步骤4a-4c，完成所有训练样本的训练和网络参数的优化，得到训练后的PC-IRNN分类器；
其中，所述网络参数为两个新的RNN的所有权重和偏置。
7.根据权利要求6所述的基于PC-IRNN的行人步态分类方法，其特征在于，所述从每个训练样本中提取对应的像素点序列，其具体为：首先，将预处理后的行人步态时频谱图中的每幅时频谱图向右旋转90°，再将其大小缩小为M′×N′，得到待提取时频谱图；
然后，将待提取时频谱图逐行转换为像素点序列，其中，待提取时频谱图的每行对应一个像素点序列。
8.根据权利要求6所述的基于PC-IRNN的行人步态分类方法，其特征在于，所述计算每一时刻PC-IRNN的隐藏层输出，其具体为：
首先，确定两个新的RNN隐藏层在时刻t的状态和为：
其中，xt为网络的输入，两个新的RNN输入层与隐藏层之间的权重分别为和两个新的RNN隐藏层间的权重分别为和两个新的RNN隐藏层的偏置分别为和
其次，两个新的RNN对应隐藏层的激活函数为对隐藏层的状态取绝对值的操作，记为mod(·)，则两个新的RNN的隐藏层在时刻t的输出为和
最后，计算t时刻，两个新的RNN隐藏层输出的算术平均值，即为PC-IRNN隐藏层的输出ht：
9.根据权利要求6所述的基于PC-IRNN的行人步态分类方法，其特征在于，所述采用交叉熵损失函数计算对应的训练损失，其表达式为：
其中，L为训练损失，m为训练样本总数，n为类别数，为第i次迭代训练的实际值，为第i次迭代训练的预测输出值。
10.根据权利要求6所述的基于PC-IRNN的行人步态分类方法，其特征在于，所述梯度裁剪为：首先，设置梯度区间为[-1，1]；然后，将反向传播过程中的每个梯度值与梯度区间进行比较，若梯度值落入梯度区间内，则以该梯度值继续进行反向传播，否则，对该梯度值进行裁剪，即判断该梯度值与梯度区间两个边界值的距离，并将该梯度值转变为与其距离较近的梯度区间边界值。
CN201910682211.0A 2019-07-26 2019-07-26 一种基于pc-irnn的行人步态分类方法 Active CN110414426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910682211.0A CN110414426B (zh) 2019-07-26 2019-07-26 一种基于pc-irnn的行人步态分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910682211.0A CN110414426B (zh) 2019-07-26 2019-07-26 一种基于pc-irnn的行人步态分类方法

Publications (2)

Publication Number Publication Date
CN110414426A true CN110414426A (zh) 2019-11-05
CN110414426B CN110414426B (zh) 2023-05-30

Family

ID=68363148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910682211.0A Active CN110414426B (zh) 2019-07-26 2019-07-26 一种基于pc-irnn的行人步态分类方法

Country Status (1)

Country Link
CN (1) CN110414426B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273284A (zh) * 2020-03-06 2020-06-12 电子科技大学 一种人体躯干微动状态变化特征提取方法
CN112818808A (zh) * 2021-01-27 2021-05-18 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130207670A1 (en) * 2012-02-14 2013-08-15 Battelle Memorial Institute Regenerative feedback resonant circuit
CN108229657A (zh) * 2017-12-25 2018-06-29 杭州健培科技有限公司 一种基于演化算法的深度神经网络训练与优化算法
CN108664894A (zh) * 2018-04-10 2018-10-16 天津大学 基于深度卷积对抗神经网络的人体动作雷达图像分类方法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN109343046A (zh) * 2018-09-19 2019-02-15 成都理工大学 基于多频多域深度学习的雷达步态识别方法
US10225643B1 (en) * 2017-12-15 2019-03-05 Intel Corporation Secure audio acquisition system with limited frequency range for privacy
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130207670A1 (en) * 2012-02-14 2013-08-15 Battelle Memorial Institute Regenerative feedback resonant circuit
US10225643B1 (en) * 2017-12-15 2019-03-05 Intel Corporation Secure audio acquisition system with limited frequency range for privacy
CN108229657A (zh) * 2017-12-25 2018-06-29 杭州健培科技有限公司 一种基于演化算法的深度神经网络训练与优化算法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN108664894A (zh) * 2018-04-10 2018-10-16 天津大学 基于深度卷积对抗神经网络的人体动作雷达图像分类方法
CN109343046A (zh) * 2018-09-19 2019-02-15 成都理工大学 基于多频多域深度学习的雷达步态识别方法
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHE ZAWIYAH CHE HASAN 等: "ANN and SVM Classifiers in Identifying Autism Spectrum Disorder Gait Based on Three-Dimensional Ground Reaction Forces", 《TENCON 2018 - 2018 IEEE REGION 10 CONFERENCE》 *
PAPERWEEKLY: "新型RNN：将层内神经元相互独立以提高长程记忆 | CVPR 2018论文解读", 《HTTPS://BLOG.CSDN.NET/C9YV2CF9I06K2A9E/ARTICLE/DETAILS/79825602》 *
孙忠胜 等: "单人行走运动参数估计方法", 《北京航空航天大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111273284A (zh) * 2020-03-06 2020-06-12 电子科技大学 一种人体躯干微动状态变化特征提取方法
CN112818808A (zh) * 2021-01-27 2021-05-18 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法
CN112818808B (zh) * 2021-01-27 2024-01-19 南京大学 一种结合两个向量嵌入空间的高精度步态识别方法

Also Published As

Publication number Publication date
CN110414426B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN106295684B (zh) 一种基于微多普勒特征的动态连续/非连续手势识别方法
Verma et al. Application of convolutional neural networks for evaluation of disease severity in tomato plant
Du et al. Transfer learning for human activities classification using micro-Doppler spectrograms
CN110045348A (zh) 一种基于改进卷积神经网络的人体运动状态分类方法
Luo et al. Human activity detection and coarse localization outdoors using micro-Doppler signatures
CN110334741A (zh) 基于循环神经网络的雷达一维距离像识别方法
Suto et al. Feature analysis to human activity recognition
CN108664894A (zh) 基于深度卷积对抗神经网络的人体动作雷达图像分类方法
CN108564005A (zh) 一种基于卷积神经网络的人体跌倒辨识方法
Shi et al. Human activity recognition based on deep learning method
Liu et al. Combining convolutional neural network and support vector machine for gait-based gender recognition
CN107103338A (zh) 融合卷积特征和集成超限学习机的sar目标识别方法
Zhong et al. Impact of seasonal variations on foliage penetration experiment: A WSN-based device-free sensing approach
CN112130118B (zh) 基于snn的超宽带雷达信号处理系统及处理方法
CN110414426A (zh) 一种基于pc-irnn的行人步态分类方法
Ding et al. Wihi: WiFi based human identity identification using deep learning
Darzikolaei et al. Classification of radar clutters with artificial neural network
Alnujaim et al. Generative adversarial networks to augment micro-Doppler signatures for the classification of human activity
Zhai et al. A novel particle swarm optimization trained support vector machine for automatic sense-through-foliage target recognition system
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
He et al. Deep learning based human activity classification in radar micro-Doppler image
Shen et al. Node identification in wireless network based on convolutional neural network
Qi et al. Multi-classification algorithm for human motion recognition based on IR-UWB radar
CN109086667A (zh) 基于智能终端的相似活动识别方法
Zhu et al. Classification of UAV-to-ground targets based on enhanced micro-Doppler features extracted via PCA and compressed sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant