CN111950437B - 基于深度学习模型的步态识别方法、装置和计算机设备 - Google Patents
基于深度学习模型的步态识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111950437B CN111950437B CN202010791169.9A CN202010791169A CN111950437B CN 111950437 B CN111950437 B CN 111950437B CN 202010791169 A CN202010791169 A CN 202010791169A CN 111950437 B CN111950437 B CN 111950437B
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- learning model
- frequency
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013136 deep learning model Methods 0.000 title claims abstract description 85
- 230000005021 gait Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000001133 acceleration Effects 0.000 claims abstract description 43
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请揭示了一种基于深度学习模型的步态识别方法、装置和计算机设备，其中方法包括：获取加速度传感器采集的数据；对数据进行合成得到合成信号；对合成信号进行去均值和滤波处理；对滤波后的数据进行滑窗处理、时域和频域处理，得到数据对应的频谱图，将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。本申请的基于深度学习模型的步态识别方法、装置和计算机设备，只要求用户自身的智能移动设备内嵌有加速度传感器，采集加速度传感器数据，数据采集的门槛和成本大大降低，对数据进行简单的时域和频域处理，再利用深度学习模型进行步态识别，识别效率高，方案简单，便于推广。
Description
技术领域
本申请涉及到生物识别领域中的步态识别技术，特别是涉及到一种基于深度学习模型的步态识别方法、装置和计算机设备。
背景技术
随着科学技术的发展，步态识别技术越来越受到人们的重视，并被广泛应用于智能穿戴设备、安防监控、运动健康修复、军事等领域。步态识别技术主要分为两种，一种是基于摄像头的步态识别，另一种是基于传感器的步态识别。基于摄像头的方式研究成本和实验的复杂度比较高，不利于推广。而基于传感器的方式成本低且操作简单，受到了研究者与市场青睐。传统的步态识别方法大多基于可穿戴设备实现，需要用户长期佩戴多种传感器，舒适性差且成本高。随着智能移动终端的发展，基于移动终端的步态识别技术成为研究的热点。
传统步态识别方案实现流程大致为：数据采集，大部分传统方法采集加速度传感器和陀螺仪数据；信号数据处理，对传感器信号执行去噪、滤波操作；特征提取，主要包含时域特征、频域特征和时频特征的数据提取；模型分类，主要是传统的机器学习方法，比如KNN算法、C4.5决策树和SVM等进行模型识别分类。传统方法普遍存在以下的缺点：需要多种传感器数据支持，传感器佩戴位置对最终分类结果影响较大；特征提取方法过于复杂，需要掌握相关领域的专业知识，加大了研究难度；传统机器学习方法应用于步态识别方向效率较低，推广到实际应用场景较难。
发明内容
本申请的主要目的为提供一种基于深度学习模型的步态识别方法、装置和计算机设备，旨在解决目前传统的步态识别方法方案复杂、识别效率较低、应用成本较高的技术问题。
为了实现上述发明目的，本申请提出一种基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
进一步地，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I的步骤之前还包括：
判断采集到的数据是否为无效数据；
若为所述无效数据，则将所述无效数据剔除。
进一步地，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
将所述滑窗处理过的数据通过频域变换得到频域信号I3；
将所述低频时域信号I1，高频时域信号I2和所述频域信号I3归一化，合成频谱图。
进一步地，所述将所述滑窗处理过的数据通过频域变换得到频域信号I3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
进一步地，所述预先训练的深度学习模型为CNN深度学习模型。
进一步地，在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度模型的参数；
将训练样本数据输入到CNN深度模型中，经过前向传播和梯度下降反向传播处理；
不断调整所述CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
进一步地，所述预先训练的深度学习模型的训练采用TensorFlow深度学习框架。
本申请实施例还提供一种基于深度学习模型的步态识别装置，包括：
获取模块，用于获取加速度传感器采集的数据；
合成模块，用于利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
第一处理模块，用于对合成信号I进行去均值和滤波处理；
第二处理模块，用于对滤波后的数据进行滑窗处理；
第三处理模块，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
识别模块，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于深度学习模型的步态识别方法、装置和计算机设备，先采集三路加速度传感器信号并进行时域和频域分析，再将时域信号与频谱转换为图像结构，最后用深度学习模型提取特征，识别得到结果，相比于固定位置佩戴传感器的方法，本方案只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，而且只需要采集加速度传感器数据，对数据进行简单的时域和频域处理，再利用深度网络模型进行步态识别，处理过程简单，识别效率高，降低了研究的门槛和成本，有利于推广。
附图说明
图1为本申请一实施例的基于深度学习模型的步态识别方法的流程示意图；
图2为本申请一实施例的深度学习模型的训练流程示意图；
图3为本申请一实施例的深度学习模型的推理流程示意图；
图4为本申请一实施例的基于深度学习模型的步态识别装置的结构示意框图；
图5为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种基于深度学习模型的步态识别方法，应用于移动终端设备，包括步骤：
S1、获取加速度传感器采集的数据；
S2、利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
S3、对合成信号I进行去均值和滤波处理；
S4、对滤波后的数据进行滑窗处理；
S5、对滑窗处理过的数据进行时域和频域处理，得到频谱图；
S6、将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
如上述步骤S1所述，目前市售智能移动终端中大部分都安装了与计步相关的加速度传感器(Accelerometer)和陀螺仪传感器(Gyroscope)，其中，加速度传感器又称为G-sensor，可以测量物体在平面直角坐标系中x,y,z三个坐标轴上的加速度值，陀螺仪又称为角速度传感器(Gyro)，可以测量物体偏转、倾斜时分别在x、y、z三轴上的转动角速度，单位是r/s(radians/second)。相比于传统的步态识别方法，本申请降低了对传感器的要求，无需陀螺仪、磁力计等传感器支持，仅仅采集加速度传感器信号，就可实现步态识别。现有移动终端主流框架(ios,安卓)均可实时或批量读取手机加速度传感器数据，且加速度传感器采样频率可自行设置，本申请建议采样频率>50Hz，以保证识别结果的准确性。
如上述步骤S2～S5所述，需要对采集到的数据信号进行数据预处理，主要是对传感器信号执行去噪、滤波操作。在本申请中，具体的处理方式为：信号处理的大致流程为：
1)无效数据剔除：当移动终端处于静止状态时，加速度信号基本不发生变化，可认为此时无步态产生，把静止数据剔除。
2)三路加速度传信号合成一路：三路加速度信号分别代表空间坐标系x，y，z三轴的方向，信号合成公式为I＝(x2+y2+z2)1/2；信号合成可以在一定程度上削弱传感器位置与角度对识别结果的影响。
3)滤波与滑窗处理：对合成信号I进行去均值和滤波处理，对滤波后的数据进行滑窗，建议窗口持续时长为1～5s，窗口内采样点数需为2n，例如：采样率为50Hz时，可设置滑窗大小为128点，滑动步长为64点，滑窗重叠部分64点。
4)时域和频域信号归一化：本申请将每一滑动窗的信号作为一个样本，单样本经过滤波或小波变换等方法，可分解为低频I1(0～2Hz)、高频I2(>2Hz)两部分时域信号；单样本经过频域变换可得到信号频谱I3，注意处理结束后I1,I2,I3需保持长度一致；将三路输出统一归化至0～1之间后合成为1*128*3的矩阵，这也就是深度模型处理图片时的输入格式。
如上述步骤S6所述，将前述步骤获得的频谱图输入到预先训练的深度学习模型中，获得模型输出的步态结果，最终步态识别结果可被分为3类：走路、跑步、爬楼梯。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I的步骤之前包括：
S201、判断采集到的数据是否为无效数据；
S202、若为所述无效数据，则将所述无效数据剔除。
如上所述，当移动终端处于静止状态时，加速度信号基本不发生变化，可认为此时无步态产生，把静止数据剔除。
在一个具体的实施例中，也可以利用聚类算法分析合成信号，获取各个步态(走路、跑步、爬楼梯)的加速度信号的数据分类，剔除不属于该分类的非跑步类运动数据，如打篮球、游泳、骑行等等。
在一个具体的实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
S51、将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
S52、将所述滑窗处理过的数据通过频域变换得到频域信号I3；
S53、将所述低频时域信号I1，高频时域信号I2和所述频域信号I3归一化，合成频谱图。
如上所述，将每一滑动窗的信号作为一个样本，单样本经过滤波或小波变换等方法，可分解为低于预设频率值的低频时域信号I1、大于所述预设频率值得高频时域信号I2两部分时域信号，优选地，所述预设频率值为2Hz；单样本经过频域变换可得到信号频谱I3，注意处理结束后I1,I2,I3需保持长度一致；将三路输出统一归化至0～1之间后合成为1*128*3的矩阵频谱图，这也就是深度模型处理图片时的输入格式。本方案中，同时采用了时域和频域处理，将时域和频域原始信号作为模型输入，而不是手动提取特征，最大程度保留了原始信号的信息，特征提取过程由深度学习模型实现。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
如上所述，本申请在频域处理中采用了CZT(chirp z-transform)变换，可以细化频谱有效频段特征，效果优于FFT变换。传统的步态识别算法提取特征非常有限，时域主要提取平均值(Mean)、标准差(STD)、两轴之间的相关系数(Corr)和均方根(Rms)等，频域主要有FFT系数、频域熵(FDE)等。综上所述，传统方法在特征提取过程中丢失了有效步态信息，且手动计算特征过程中，由于计算方法选择不当，也容易造成数据污染。
在一个具体的实施例中，所述预先训练的深度学习模型为CNN深度学习模型。深度学习模型可选用卷积神经网络(CNN)、递归神经网络(LSTM)等多种网络模型。本申请考虑模型轻量化，所以选用较简单的网络模型，考虑CNN网络具有局部连接、权值共享和下采样等优点，本申请最终选用CNN网络模型实现步态识别，CNN网络模型的结构包括多个级联的层卷积层和池化层，不断地对数据进行特征提取，后面接2-4层全连接层用于分类，最后接一个softmax层将分类结果转化成对应结果的概率，从而判断最终步态识别的结果。
在一个实施例中，在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对CNN深度学习模型进行训练的步骤，所述对CNN深度学习模型进行训练的步骤包括：
S601、获取训练样本数据；
S602、对训练数据进行预处理；
S603、初始化所述CNN深度模型的参数；
S604、将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
S605、不断调整CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
如上步骤所述，如上所述，在利用CNN深度学习模型进行步态识别之前，需要训练得到该模型。具体地，先要获取训练数据集，对训练数据集进行预处理，预处理的过程与上述步骤S2～S5一致，然后用处理过得训练数据对模型进行训练，得到所述预先训练的CNN深度学习模型。更具体地，首先将卷积神经网络进行权值初始化，输入处理过的训练数据，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用梯度下降反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练。上述损失函数可以为交叉熵损失函数。
在一个具体的实施例中，所述预先训练的深度学习模型的训练采用TensorFlow深度学习框架。
如上所述，本实施例中采用的深度学习框架是Tensorflow，TensorFlow Lite框架是TensorFlow针对移动和嵌入式设备的轻量级解决方案。它支持设备端机器学习推理，并具有的低延迟和较小的二进制文件尺寸。
在一个具体的实施例中，如上所述的基于深度学习模型的步态识别方法也可应用于服务端，在服务器端完成深度学习模型的训练和步态识别，所述服务端可以是服务器，服务器端具有强大的运算能力，模型训练和步态识别过程可以更快。
在本实施例中，如图2所示，深度学习模型的训练过程具体为：首先加载训练数据集，对训练数据进行预处理，其处理过程如上述步骤S2～S5所述，然后定义Graph，关联Graph构建Session，将初始参数传入sess.run函数开始训练模型，然后利用前向传播和梯度下降反向传播对参数进行优化，直到达到epoch或出现过拟合停止训练，将训练完成的模型保存为pb格式供移动端直接调用执行步态识别推理。
在一个具体的实施例中，如上所述的基于深度学习模型的步态识别方法在移动端完成步态识别过程，充分利用移动端良好的实时性。如图3所示，深度学习模型进行推理也就是步态识别的过程具体为：开始后，首先加载pb格式的模型文件，之后TFLiteConverter函数把pb文件转成tflite文件，加载tflite模型，加载所有的tensor，把获取到的处理过的数据加载到输入tensor中，调用invoke方法进行推理，在输出tensor中获取推理结果也就是模型识别到的步态结果。
本申请实施例的基于深度学习模型的步态识别方法，相比于固定位置佩戴传感器的方法，本申请只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，有利于推广；相比于采集多种传感器的方法，本申请只需要采集加速度传感器数据，研发的工作量大大降低；相比于复杂的特征提取过程，本申请只需要进行简单的时域和频域处理，一定程度减低研究的门槛；在信号处理过程中使用CZT变换，对信号频谱进行细化，能体现信号有效频带的细节特征；将深度学习模型分开为服务端训练和移动端推理两个过程，这个充分利用了服务器强大的算力特性和移动端良好的实时性。
参照图4，本申请实施例中还提供一种基于深度学习模型的步态识别装置，包括：
获取模块1，用于获取加速度传感器采集的数据；
合成模块2，用于利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
第一处理模块3，用于对合成信号I进行去均值和滤波处理；
第二处理模块4，用于对滤波后的数据进行滑窗处理；
第三处理模块5，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
识别模块6，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述基于深度学习模型的步态识别装置还包括：
数据判断模块，用于判断采集到的数据是否为无效数据；
无效数据剔除模块，用于若为所述无效数据，则将所述无效数据剔除。
在一个实施例中，所述第三处理模块5包括：
分解单元，用于将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
频域变换单元，用于将所述滑窗处理过的数据通过频域变换得到频域信号I3；
归一化单元，用于将所述低频时域信号I1，高频时域信号I2和所述频域信号I3归一化，合成频谱图。
在一个实施例中在一个具体的实施例中，所述频域变换单元包括：
CZT变换单元，用于通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
如上所述，可以理解地，本申请中提出的所述基于深度学习模型的步态识别装置的各组成部分可以实现如上所述基于深度学习模型的步态识别方法任一项的功能，具体结构不再赘述。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于预训练的深度网络模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习模型的步态识别方法。
上述处理器执行上述的基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I的步骤之前还包括：
判断采集到的数据是否为无效数据；
若为无效数据，则将无效数据剔除。
在一个实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
将所述滑窗处理过的数据通过频域变换得到频域信号I3；
将所述低频时域信号I1，高频时域信号I2和所述频域信号I3归一化，合成频谱图。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
在一个实施例中，所述预先训练的深度学习模型为CNN深度学习模型。
在一个实施例中在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度模型的参数；
将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
不断调整所述CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
在一个实施例中，所述预先训练的深度学习模型的设计和训练采用TensorFlow深度学习框架。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于深度学习模型的步态识别方法。
上述处理器执行上述的基于深度学习模型的步态识别方法，包括：
获取加速度传感器采集的数据；
利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果。
在一个实施例中，所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I＝(x2+y2+z2)1/2对采集到的数据进行合成，得到合成信号I的步骤之前还包括：
判断采集到的数据是否为无效数据；
若为所述无效数据，则将所述无效数据剔除。
在一个实施例中，所述对所述滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
将所述滑窗处理过的数据通过频域变换得到频域信号I3；
将所述低频时域信号I1，高频时域信号I2和所述频域信号I3归一化，合成频谱图。
在一个实施例中，所述将所述滑窗处理过的数据通过频域变换得到频域信号I3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
在一个实施例中，所述预先训练的深度学习模型为CNN深度学习模型。
在一个实施例中在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度模型的参数；
将训练样本数据输入到所述CNN深度模型中，经过前向传播和梯度下降反向传播处理；
不断调整所述CNN深度模型的参数，使模型的损失函数不断减小，其中所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
在一个实施例中，所述预先训练的深度学习模型的设计和训练采用TensorFlow深度学习框架。
上述执行的基于深度学习模型的步态识别方法，相比于固定位置佩戴传感器的方法，本申请只要求用户自身的智能移动设备内嵌有加速度传感器，数据采集的门槛和成本大大降低，有利于推广；相比于采集多种传感器的方法，本申请只需要采集加速度传感器数据，研发的工作量大大降低；相比于复杂的特征提取过程，本申请只需要进行简单的时域和频域处理，一定程度减低研究的门槛；在信号处理过程中使用CZT变换，对信号频谱进行细化，能体现信号有效频带的细节特征；将深度学习模型分开为服务端训练和移动端推理两个过程，这个充分利用了服务器强大的算力特性和移动端良好的实时性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (7)
1.一种基于深度学习模型的步态识别方法，其特征在于，包括：
获取加速度传感器采集的数据；
利用公式I=(x 2+y 2+z 2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
对合成信号I进行去均值和滤波处理；
对滤波后的数据进行滑窗处理；
对滑窗处理过的数据进行时域和频域处理，得到频谱图；
将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果；
所述获取加速度传感器采集的数据的步骤之后，并且所述利用公式I=(x 2+y 2+z 2)1/2对采集到的数据进行合成，得到合成信号I的步骤之前，还包括：
判断采集到的数据是否为无效数据；
若为所述无效数据，则将所述无效数据剔除；
所述若为所述无效数据，则将所述无效数据剔除的步骤，包括：
基于聚类算法分析合成信号，获取各个所述步态的加速度信号的数据分类，剔除不属于所述数据分类的非跑步类运动数据；
所述对滑窗处理过的数据进行时域和频域处理，得到频谱图的步骤包括：
将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I 1和大于所述预设频率值的高频时域信号I 2；
将所述滑窗处理过的数据通过频域变换得到频域信号I 3；
将所述低频时域信号I 1，高频时域信号I 2和所述频域信号I 3归一化，合成频谱图；
所述将所述滑窗处理过的数据通过频域变换得到频域信号I 3的步骤包括：
通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I 3。
2.根据权利要求1所述的基于深度学习模型的步态识别方法，其特征在于，所述预先训练的深度学习模型为CNN深度学习模型。
3.根据权利要求2所述的基于深度学习模型的步态识别方法，其特征在于，在所述将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果的步骤之前，还包括对所述CNN深度学习模型进行训练的步骤，所述对所述CNN深度学习模型进行训练的步骤包括：
获取训练样本数据；
对训练数据进行预处理；
初始化所述CNN深度学习模型的参数；
将训练样本数据输入到所述CNN深度学习模型中，经过前向传播和梯度下降反向传播处理；
不断调整CNN深度学习模型的参数，使模型的损失函数不断减小，其中，所述损失函数为交叉熵损失函数；
重复上述步骤，当所述损失函数等于或小于期望值时，结束训练。
4.根据权利要求1~3任一项所述的基于深度学习模型的步态识别方法，其特征在于，所述预先训练的深度学习模型的训练采用TensorFlow深度学习框架。
5.一种基于深度学习模型的步态识别装置，其特征在于，包括：
获取模块，用于获取加速度传感器采集的数据；
合成模块，用于利用公式I=(x 2+y 2+z 2)1/2对采集到的数据进行合成，得到合成信号I，其中x、y、z分别代表在x轴、y轴、z轴方向的加速度；
第一处理模块，用于对合成信号I进行去均值和滤波处理；
第二处理模块，用于对滤波后的数据进行滑窗处理；
第三处理模块，用于对滑窗处理过的数据进行时域和频域处理，得到频谱图；
识别模块，用于将所述频谱图输入到预先训练的深度学习模型中，获得模型输出的步态识别结果；
数据判断模块，用于判断采集到的数据是否为无效数据；
无效数据剔除模块，用于若为所述无效数据，则将所述无效数据剔除；
所述若为所述无效数据，则将所述无效数据剔除的步骤，包括：
基于聚类算法分析合成信号，获取各个所述步态的加速度信号的数据分类，剔除不属于所述数据分类的非跑步类运动数据；
所述第三处理模块，包括：
分解单元，用于将所述滑窗处理过的数据分解为低于预设频率值的低频时域信号I1和大于所述预设频率值的高频时域信号I2；
频域变换单元，用于将所述滑窗处理过的数据通过频域变换得到频域信号I3；
归一化单元，用于将所述低频时域信号I1，高频时域信号 I2和所述频域信号 I3归一化，合成频谱图；
所述频域变换单元，包括：
CZT变换单元，用于通过CZT变换将所述滑窗处理过的数据变换为所述频域信号I3。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010791169.9A CN111950437B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习模型的步态识别方法、装置和计算机设备 |
| PCT/CN2020/124725 WO2021139337A1 (zh) | 2020-08-07 | 2020-10-29 | 基于深度学习模型的步态识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010791169.9A CN111950437B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习模型的步态识别方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950437A CN111950437A (zh) | 2020-11-17 |
| CN111950437B true CN111950437B (zh) | 2024-05-10 |
Family
ID=73333204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010791169.9A Active CN111950437B (zh) | 2020-08-07 | 2020-08-07 | 基于深度学习模型的步态识别方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111950437B (zh) |
| WO (1) | WO2021139337A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591552A (zh) * | 2021-06-18 | 2021-11-02 | 新绎健康科技有限公司 | 一种基于步态加速度数据进行身份识别的方法及系统 |
| CN113591561A (zh) * | 2021-06-18 | 2021-11-02 | 新绎健康科技有限公司 | 一种基于声谱图进行身份识别的方法及系统 |
| CN113516828B (zh) * | 2021-09-15 | 2022-01-07 | 深圳市信润富联数字科技有限公司 | 溺水监测方法、装置、设备与计算机可读存储介质 |
| CN113866455A (zh) * | 2021-09-30 | 2021-12-31 | 中铁桥隧技术有限公司 | 基于深度学习的桥梁加速度监测数据异常检测方法、系统和装置 |
| CN113970420B (zh) * | 2021-10-13 | 2022-04-05 | 中国科学院力学研究所 | 一种基于深度学习的激波风洞测力信号频域分析方法 |
| CN115019393A (zh) * | 2022-06-09 | 2022-09-06 | 天津理工大学 | 一种基于卷积神经网络的外骨骼机器人步态识别系统及方法 |
| CN117219265A (zh) * | 2023-10-07 | 2023-12-12 | 东北大学秦皇岛分校 | 多模态数据分析方法、装置、存储介质和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836744B1 (en) * | 2000-08-18 | 2004-12-28 | Fareid A. Asphahani | Portable system for analyzing human gait |
| CN107103297A (zh) * | 2017-04-20 | 2017-08-29 | 武汉理工大学 | 基于手机加速度传感器的步态身份识别方法及系统 |
| CN107103219A (zh) * | 2017-04-10 | 2017-08-29 | 南京大学 | 基于步态的可穿戴设备用户识别方法及系统 |
| EP3355783A1 (en) * | 2015-09-28 | 2018-08-08 | Case Western Reserve University | Wearable and connected gait analytics system |
| CN110647857A (zh) * | 2019-09-29 | 2020-01-03 | 南京工程学院 | 一种步态识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9921058B2 (en) * | 2014-05-19 | 2018-03-20 | Stmicroelectronics International N.V. | Tracking dynamic on-stage objects |
-
2020
- 2020-08-07 CN CN202010791169.9A patent/CN111950437B/zh active Active
- 2020-10-29 WO PCT/CN2020/124725 patent/WO2021139337A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836744B1 (en) * | 2000-08-18 | 2004-12-28 | Fareid A. Asphahani | Portable system for analyzing human gait |
| EP3355783A1 (en) * | 2015-09-28 | 2018-08-08 | Case Western Reserve University | Wearable and connected gait analytics system |
| CN107103219A (zh) * | 2017-04-10 | 2017-08-29 | 南京大学 | 基于步态的可穿戴设备用户识别方法及系统 |
| CN107103297A (zh) * | 2017-04-20 | 2017-08-29 | 武汉理工大学 | 基于手机加速度传感器的步态身份识别方法及系统 |
| CN110647857A (zh) * | 2019-09-29 | 2020-01-03 | 南京工程学院 | 一种步态识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950437A (zh) | 2020-11-17 |
| WO2021139337A1 (zh) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950437B (zh) | 基于深度学习模型的步态识别方法、装置和计算机设备 | |
| CN108345846A (zh) | 一种基于卷积神经网络的人体行为识别方法及识别系统 | |
| CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
| CN113642432B (zh) | 一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别的方法 | |
| Su et al. | HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors | |
| CN111797804A (zh) | 一种基于深度学习的信道状态信息人类活动识别方法及系统 | |
| CN109726662A (zh) | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 | |
| CN111178288B (zh) | 基于局部误差逐层训练的人体姿态识别方法和装置 | |
| CN115294658B (zh) | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 | |
| CN107609501A (zh) | 人体相近动作识别方法及装置、存储介质、电子设备 | |
| WO2023108873A1 (zh) | 一种脑网络和脑成瘾连接计算方法及装置 | |
| Li et al. | Multi-convLSTM neural network for sensor-based human activity recognition | |
| CN111291804A (zh) | 基于注意力机制的多传感器时间序列分析模型 | |
| Shen et al. | A classifier based on multiple feature extraction blocks for gait authentication using smartphone sensors | |
| Pang et al. | Cross-Attention Enhanced Pyramid Multi-Scale Networks for Sensor-based Human Activity Recognition | |
| Imran et al. | Harresnext: An efficient resnext inspired network for human activity recognition with inertial sensors | |
| CN115329800B (zh) | 一种基于解耦训练的卷积神经网络活动识别方法 | |
| Ma | Summary of research on application of deep learning in image recognition | |
| Dhammi et al. | Classification of human activities using data captured through a smartphone using deep learning techniques | |
| Zhang et al. | An Improved Deep Convolutional LSTM for Human Activity Recognition Using Wearable Sensors | |
| Monica et al. | Recognition of medicine using cnn for visually impaired | |
| CN114601455A (zh) | 基于两级神经网络的运动识别方法 | |
| CN114916928A (zh) | 一种人体姿态多通道卷积神经网络检测方法 | |
| CN113065638A (zh) | 一种神经网络压缩方法及其相关设备 | |
| Luo et al. | Classification algorithm for motor imagery EEG signals based on parallel DAMSCN-LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |