CN111723662A - 一种基于卷积神经网络的人体姿态识别方法 - Google Patents
一种基于卷积神经网络的人体姿态识别方法 Download PDFInfo
- Publication number
- CN111723662A CN111723662A CN202010419639.9A CN202010419639A CN111723662A CN 111723662 A CN111723662 A CN 111723662A CN 202010419639 A CN202010419639 A CN 202010419639A CN 111723662 A CN111723662 A CN 111723662A
- Authority
- CN
- China
- Prior art keywords
- layer
- data
- neural network
- convolutional neural
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 abstract 1
- 238000013507 mapping Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 101100008046 Caenorhabditis elegans cut-2 gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的人体姿态识别方法，包括：移动传感器原始数据采集并打上标签、数据频率降采样和归一化处理并划分训练集和测试集、卷积神经网络训练、模型移植到安卓端进行人体姿态识别。根据卷积神经网络用于人体姿态识别方法，该实施引入了Split‑Transform‑Merge策略，提出了一组更小通道数的乐高卷积核，按照随机映射和循环矩阵的方法堆叠这些卷积核以此实现卷积操作，最后将生成的乐高特征图垂直合并经过全连接层送入分类器用于传感器数据的识别。本发明具有识别速度快、识别准确度高、计算量小、泛化能力强等特点，同时在智能家居、健康检测、运动追踪等方面具有十分重要的作用。
Description
技术领域
本发明属于穿戴式设备智能监控领域，尤其涉及一种基于卷积神经网络的人体姿态识别方法。
背景技术
近年来，随着信息技术的发展和智能科技的普及，全球科技变革正在进一步推进，云计算、物联网、大数据和人工智能等技术也在飞速发展。其中，人体姿态识别技术已开始在计算机视觉相关领域中广泛应用。其应用范围十分广泛，可用于人机交互、影视制作、运动分析、游戏娱乐等各种领域。人们可以利用人体姿态识别定位人体关节点运动轨迹并记录其运动数据，实现3D动画模拟人体运动来制作电影电视；也可以通过记录的轨道和数据对运动进行分析等。
随着智能可穿戴设备研究的不断发展，基于可穿戴传感器的人体姿态识别已经成为了重要的研究领域，如运动姿态的检测、智能家居、智能医疗助手等等。但是人体的姿态形式可谓多种多样，即使同一种姿态都会因为个体的差异有很大的区别，所以如何建立一个高精度的网络模型便成为了亟待解决的问题。
通常，为了解决直接在人体上安置多个传感器设备导致的不方便，如何使用较少甚至只是用一组传感器进行高准确率的人体姿态识别是一个非常实际的研究问题。然而使用智能手机或智能手表的内置传感器进行人体姿态识别，国内外早已有很多研究应用，目前市面上多数智能手环手表和手机均有姿态识别的应用程序APP。此类人体姿态识别方法绝大多数为阈值检测法，即通过判断传感器原始或处理后的数据是否大于或小于预先设定的好阈值来分类动作类型。这种方法计算简单，占用智能移动设备的内存少，但与此同时，其缺点也很明显：不同产品准确率参差不齐，能够识别的动作类别也十分有限。这一方面是各个公司研发人员技术差距的原因，更重要的一方面原因是此类方法的局限。需要识别的动作类别越多，此种算法构建起来越复杂。
深度学习在模式识别上有着很好的发展前景。其中以卷积神经网络为代表的模型架构更是掀起了高潮。卷积神经网络在计算机视觉领域受到极大关注，它不仅可以处理多维数据，而且在分类搭建上比传统方法效果更加显。对比传统的机器学习方法，例如支持向量机、决策树、朴素贝叶斯等，虽然在精度上有着显著的提高，同时因为网络结构的复杂给计算机带来的计算量同样惊人。因此如何降低对硬件设备的需求度和保证计算精度质量的前提下减轻计算机负荷便成为首要解决的问题。
发明内容
发明目的：针对上述问题，本发明的目的是提供一种基于更小滤波器的卷积神经网络用于可穿戴式设备的人体姿态识别方法，以摆脱计算机运算负荷大，运算时间长、识别准确度低的问题。
技术方案：一种基于卷积神经网络的人体姿态识别方法，该方法包括如下步骤：
Step1，通过移动传感器采集各活动类别人体姿态动作信号数据，并对这些动作信号数据附上相应的动作类别标签；
Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本和测试样本；所述处理包括：数据进行时间序列信号频率降采样排列为数据信号图，将上述处理得到的数据信号图进行归一化处理即将其按比例缩放，使之落入特定的(0,1)区间；
Step3，对上述处理后的数据作为输入样本送进卷积神经网络训练，并调节卷积神经网络模型参数，以得到最优卷积神经网络模型；
Step4，将训练好的最优网络模型保存并生成.pt文件并将文件移植到移动智能终端，通过利用移动智能终端获取人体姿态动作数据，最终编译运行得到人体姿态动作识别结果。
进一步的，所述Step1中，降采样频率设定为30Hz-40Hz。
进一步的，所述Step2中，包括对数据进行空值剔除和剔除后按照数据所属对应活动类别重新整理，并按照一定比例分别作为训练样本和测试样本。
进一步的，在Step3中，上述处理后的数据是一个四维张量，其数据格式为(N，W，H，C)，其中，N为数据个数，W为经过上述数据处理后的数据图宽度，H为经过上述数据处理后的数据图高度，C为经过上述数据处理后的数据图通道数，接下来定义和初始化神经网络权重和偏置函数，并将上述处理后的数据作为输入样本送进卷积神经网络训练，调节卷积神经网络模型权重和偏置值，以得到最优卷积神经网络模型。
进一步的，所述神经网络的的结构包括输入层、三层卷积层、全连接层、输出层。
进一步的，所述第一层卷积层卷积操作如下：将处理后的数据送入输入层得到一个输入矩阵，将此输入矩阵送入第一层卷积神经网络进行网络训练以提取输入数据样本的特征信息，第一层卷积神经网络包括一组卷积核(F＝{f1,f2,...,fn}∈Rd×1×c×n，其中，d×1是卷积核F的尺寸，c是其通道数，n是卷积核f的个数，与输入数据样本进行卷积操作，Y＝XTF，其中，Y是进行该卷积操作后的输出矩阵，XT是输入数据样本经过输入层以后得到的输入矩阵的转置，F是实施该卷积操作所使用的卷积核。
进一步的，所述第二层卷积层卷积操作如下：将第一层卷积神经网络的输出矩阵Y堆叠成特征图送入第二层卷积神经网络进行卷积操作，
其中
是进行该卷积操作后的输出矩阵，YT是第一层卷积神经网络进行卷积操作后的输出矩阵的转置，B是实施该卷积操作所使用的一组乐高卷积核。
进一步的，第二层卷积层卷积的具体过程如下：
Step1：Split：将第一层卷积神经网络执行卷积操作后得到的特征图等分成o个部分，将等分的特征图作为新的输入送入第二层卷积神经网络；
Step2：Transform：将等分的o张特征图分别与乐高卷积核b执行卷积操作得到o×b张新的特征图；
Step3：Merge：将第二步生成的特征图垂直合并，最后堆叠成一张输出特征图送入第三层卷积神经网络进行相应的卷积操作。
进一步的，第三层卷积层卷积的具体过程如下：第三层的卷积操作和第二层的卷积操作相同，将此输出特征图平铺展成一维向量的形式送入全连接层，全连接层的输出连接到最后的Softmax输出层进行人体姿态动作的识别分类。
有益效果：和现有技术相比，本发明的技术方案具有以下有益技术效果：
原始数据进行频率降采样处理可将数据特征三轴彼此柔和，并通过卷积神经网络训练后实现高精度判别同时可以大幅度削减网络模型的参数量从而降低对于计算机的硬件要求，并能大幅缩短网络训练时间；本发明在保证数据不失去动作特征情况下，采用滑窗技术快速地对数据进行预处理，有效避免了传统数据处理的弊端；本发明在经过多层更加有效的卷积神经网络训练后可轻松地应用于安卓智能手机和智能手表等移动终端，适应时代发展潮流。
附图说明
图1是本发明的流程图；
图2是本发明的原理图；
图3是本发明原始三轴加速度数据的小批次波形图；
图4是本发明进行频率降采样和归一化处理后对应小批次波形图；
图5是本发明训练次数对应的损失值变化图；
图6是本发明测试数据集的混淆矩阵图；
图7是本发明移植到安卓端的识别界面图。
具体实施方式
以下将结合附图和具体实施，对本发明的技术方案及效果进行详细说明。
本发明提出一种基于卷积神经网络的人体姿态识别方法，包括如下步骤：
Step1，招募志愿者，并佩戴移动传感器，记录志愿者不同身体部位(如腕部、胸部、腿部等)动作(如站立、坐下、上楼梯、下楼梯、跳跃、走路等)下的三轴加速度数据，并对这些动作信号数据附上相应的动作类别标签；
Step2，对采集到的三轴加速度数据进行遍历，同时去除其中传感器未能正确记录而出现的空值，将遍历后的数据进行频率降采样处理，经过归一化处理后将数据分为训练集和测试集，所述频率降采样处理和归一化处理为：数据进行时间序列信号频率降采样排列为数据信号图、将上述处理得到的数据信号图进行归一化处理即将其按比例缩放，使之落入特定的(0,1)区间；
Step3，上述处理后的数据是一个四维张量，其数据格式为(N，W，H，C)，其中N为数据个数，W为经过上述数据处理后的数据图宽度，H为经过上述数据处理后的数据图高度，C为经过上述数据处理后的数据图通道数(其中该处理后的数据的通道数为1)。接下来定义和初始化神经网络权重和偏置函数，并将上述处理后的数据作为输入样本送进卷积神经网络训练，调节卷积神经网络模型权重和偏置值，以得到最优卷积神经网络模型；
Step4，将上述训练好的最优卷积神经网络模型保存并生成.pt文件移植到移动智能终端，通过利用移动智能终端获取人体姿态动作数据，最终编译运行得到人体姿态动作识别结果。
本发明基于卷积神经网络用于可穿戴式设备的人体姿态识别方法，能对跳跃，走路，上楼，下楼，站立，坐下六种动作姿态进行识别。
图1为发明对象的流程图，从移动传感器采集到人体运动的三维加速度时间序列，经过数据预处理后输入到卷积神经网络进行模型训练，并将训练后得到的理想模型应用于移动智能终端上，以此实现人体姿态的辨别。
图2为卷积神经网络结构图，包括：输入层、三层卷积层、全连接层、输出层。
具体来说，首先将从移动传感器采集到的各活动类别人体姿态动作信号数据进行时间序列信号频率降采样和归一化处理，将处理后的数据送入输入层得到一个输入矩阵，将此输入矩阵送入第一层卷积神经网络进行网络训练以提取输入数据样本的特征信息，第一层卷积神经网络具体实施过程如图2中的Conv模块所示，由一组卷积核：F＝{f1,f2,...,fn}∈Rd×1×c×n，其中d×1是卷积核F的尺寸，c是其通道数，n是卷积核f的个数，与输入数据样本进行卷积操作，即Y＝XTF，其中，Y是进行该卷积操作后的输出矩阵，XT是输入数据样本经过输入层以后得到的输入矩阵的转置，F是实施该卷积操作所使用的卷积核。
实验过程中卷积核F的尺寸为(6，1)，卷积步长为(2，1)，卷积层填充设置为(1，0)，共有128个卷积核，使用ReLu激活函数并加入BatchNorm层。经过第一层卷积神经网络训练后，得到的输出特征图的通道数为实施该层卷积操作的卷积核f的个数即128，最后经过BatchNorm层后得到输出通道数为128的特征图。通常情况下卷积核F的通道数c比较大，这导致了整个网络的参数量和FLOPs剧增，使得整个模型的复杂度很大从而增加了计算机的负荷。
基于上述问题，该发明实施了一组乐高卷积核
其中d×1是卷积核B的尺寸，
是其通道数，k是卷积核b的个数)。正如图2中的LWConv所示，将第一层卷积神经网络的输出矩阵Y堆叠成特征图送入第二层卷积神经网络进行卷积操作(
其中
是进行该卷积操作后的输出矩阵，YT是第一层卷积神经网络进行卷积操作后的输出矩阵的转置，B是实施该卷积操作所使用的一组乐高卷积核)。实验过程中卷积核B的尺寸为(6，1)，卷积步长为(2，1)，卷积层填充设置为(1，0)，共有256个卷积核，使用ReLu激活函数并加入BatchNorm层。经过第二层卷积神经网络训练后，得到的输出特征图的通道数为128，最后经过BatchNorm层后得到输出通道数为256的特征图。由于该卷积核B的通道数
这使得在卷积操作过程中大大地降低了计算机运算成本从而到达更有效的实施。
第二层卷积神经网络的卷积操作具体实施如下：
本实施采用经典的Split-Transform-Merge策略，使用一组乐高卷积核
其中d×1是卷积核B的尺寸，
是其通道数，k是乐高卷积核b的个数)进行卷积操作，分如下三步：
Step1：Split：将第一层卷积神经网络执行卷积操作后得到的特征图(通道数为128)按通道数等分成o个部分(实验过程中，o＝2，即等分成2个部分以得到2张通道数为64的新的特征图)，将等分的特征图作为新的输入送入第二层卷积神经网络；
Step2：Transform：将等分的o张(实验过程中，o＝2)特征图分别与乐高卷积核b执行卷积操作。
实验过程中，经过第一层卷积神经网络执行卷积操作后得到的特征图(通道数为128)按通道数被切分成2份以得到2张通道数为64的新的特征图，乐高卷积核b的个数为256个，将切分好的2张通道数为64的特征图分别与256个乐高卷积核执行卷积操作，每张特征图均与乐高卷积核进行卷积，一共生成512张新的特征图。
值得注意的是，该卷积操作过程中涉及到两个超参数o和m的调节，其中，o代表经过第一层卷积神经网络执行卷积操作后得到的特征图被切分成的份数；m代表经过乐高卷积操作后得到的输出特征图的通道数与普通卷积操作后得到的输出特征图的通道数的比值，具体说来，对于某一层普通卷积而言，若实施该卷积操作的卷积核个数为256个，则经过该层卷积操作后得到的输出特征图的通道数等于其卷积核的个数为256；对于某一层乐高卷积而言，若实施该卷积操作的乐高卷积核个数为256个，则经过该层乐高卷积操作后得到的输出特征图的通道数和m取值有关，若m＝0.5，则通道数为128。其中m一般取值范围是0.125-0.5，该实施中o＝2，m＝0.5。
Step3：Merge：将第二步生成的特征图垂直合并，最后堆叠成一张输出特征图，由于实验中设置了超参数m＝0.5，所以堆叠后的输出特征图的通道数为128，并经过BatchNorm层后得到输出通道数为256的特征图送入第三层卷积神经网络进行相应的卷积操作。
具体地，将上述Step3输出的特征图(通道数为256)送入第三层卷积神经网络重复执行第二层卷积神经网络所述步骤，即将上述Step3输出的特征图(通道数为256)等分成2份得到2张通道数为128的新的特征图，分别与384个乐高卷积核执行卷积操作，每张特征图均与乐高卷积核进行卷积，一共生成768张新的特征图用于提取更多的特征信息，将这些新的特征图垂直合并，堆叠成一张输出特征图。由于实验中设置了超参数m＝0.5，所以堆叠后的输出特征图的通道数为192，并经过BatchNorm层后得到输出通道数为384的特征图。
将此输出特征图平铺展成一维向量的形式送入全连接层，全连接层的输出连接到最后的Softmax输出层进行人体姿态动作的识别分类。
实验过程中，上述第三层卷积网络的卷积核B的尺寸为(6，1)，卷积步长为(2，1)，卷积层填充设置为(1，0)，共有384个卷积核，使用ReLu激活函数并加入BatchNorm层，全连接层神经元个数为15000。网络训练中采用动态学习率确保曲线震荡小，初始学习率设置为0.001，每100epochs下降原来的0.1倍。
对比传统的卷积神经网络，本实施能够极大地减少整个网络模型的参数量并且大幅度降低计算成本，同时拥有较强的泛化能力等。通过实验对比可知，该实施能够保持和常规卷积神经网络模型同样的精度甚至提高了整个网络的收敛速度。
图3是原始传感器三轴加速度数据的小批次波形图。移动传感器的下采样频率优选设定在33Hz左右。图4是原始数据经过预处理后对应小批次变化波形图。
为了训练卷积神经网络，本发明将采集到的数据样本分为两类：训练样本和测试样本。训练样本作为卷积神经网络的输入进行模型训练，测试样本作为识别准确率的考量依据。本实施例中，把数据集的70％作为训练集，把数据集的30％作为测试集。
图5是该神经网络模型经过500epochs训练后得到的损失图。
该损失图记录了网络训练中所使用的两个超参数o和m的取值，即o＝2，m＝0.5。通过调节o和m不同的取值，该神经网络模型最终对人体姿态动作的识别性能也有所不同，从而提高了网络的泛化能力。
图6是本实施测试集混淆矩阵图。
通过对混淆矩阵进行分析，可以得出卷积神经网络模型对不同动作的识别精度情况，从而帮助修改网络参数。当训练的卷积神经网络符合设计要求，即不同动作的识别精度在97％左右，即可将该模型移植到智能终端上使用。
图7是本发明移植到安卓端的识别界面图。
值得注意的是，该实施采用PyTorch框架搭建网络结构并保存训练好的模型参数。特别地，若选择在Android Studio中调用TensorFlow Inference库进行姿态识别，即在移植到安卓端的过程中，需要进行模型间的转换工作，即.pth文件→.onnx文件→.pb文件。
需要说明的是，本发明实施例中的人体姿态识别装置具体可以集成在智能移动终端中，上述智能终端具体可以是智能手机、智能手表等终端，此处不作限定。
由上可见，本发明实施例中的人体姿态识别装置通过采集智能终端的加速度数据，然后对采集到的数据进行时间序列信号频率降采样和归一化处理，并将预处理后的数据输入到一个人体姿态识别神经网络模型，最后得到人体姿态识别结果。由于人体姿态识别模型是基于预设的训练集合卷积神经网络训练得到，因此，通过将加速度数据预处理后输入已训练好的人体姿态识别模型，即可实现对人体姿态的识别，从而实现了基于加速度数据的非视觉手段的人体姿态识别。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (9)
1.一种基于卷积神经网络的人体姿态识别方法，其特征在于，该方法包括如下步骤：
Step1，通过移动传感器采集各活动类别人体姿态动作信号数据，并对这些动作信号数据附上相应的动作类别标签；
Step2，对上述采集到的动作信号数据进行数据预处理，并将处理后的数据划分为训练样本和测试样本；所述处理包括：数据进行时间序列信号频率降采样排列为数据信号图，将上述处理得到的数据信号图进行归一化处理即将其按比例缩放，使之落入特定的(0,1)区间；
Step3，对上述处理后的数据作为输入样本送进卷积神经网络训练，并调节卷积神经网络模型参数，以得到最优卷积神经网络模型；
Step4，将训练好的最优网络模型保存并生成.pt文件并将文件移植到移动智能终端，通过利用移动智能终端获取人体姿态动作数据，最终编译运行得到人体姿态动作识别结果。
2.根据权利要求1所述的姿态识别方法，其特征在于，所述Step1中，降采样频率设定为30Hz-40Hz。
3.根据权利要求1或2所述的姿态识别方法，其特征在于，所述Step2中，包括对数据进行空值剔除和剔除后按照数据所属对应活动类别重新整理，并按照一定比例分别作为训练样本和测试样本。
4.根据权利要求1或2所述的姿态识别方法，其特征在于，在Step3中，上述处理后的数据是一个四维张量，其数据格式为(N，W，H，C)，其中，N为数据个数，W为经过上述数据处理后的数据图宽度，H为经过上述数据处理后的数据图高度，C为经过上述数据处理后的数据图通道数，接下来定义和初始化神经网络权重和偏置函数，并将上述处理后的数据作为输入样本送进卷积神经网络训练，调节卷积神经网络模型权重和偏置值，以得到最优卷积神经网络模型。
5.根据权利要求4所述的姿态识别方法，其特征在于，所述神经网络的的结构包括输入层、三层卷积层、全连接层、输出层。
6.根据权利要求5所述的姿态识别方法，其特征在于，所述第一层卷积层卷积操作如下：将处理后的数据送入输入层得到一个输入矩阵，将此输入矩阵送入第一层卷积神经网络进行网络训练以提取输入数据样本的特征信息，第一层卷积神经网络包括一组卷积核(F＝{f1,f2,...,fn}∈Rd×1×c×n，其中，d×1是卷积核F的尺寸，c是其通道数，n是卷积核f的个数，与输入数据样本进行卷积操作，Y＝XTF，其中，Y是进行该卷积操作后的输出矩阵，XT是输入数据样本经过输入层以后得到的输入矩阵的转置，F是实施该卷积操作所使用的卷积核。
7.根据权利要求6所述的姿态识别方法，其特征在于，所述第二层卷积层卷积操作如下：将第一层卷积神经网络的输出矩阵Y堆叠成特征图送入第二层卷积神经网络进行卷积操作，
其中
是进行该卷积操作后的输出矩阵，YT是第一层卷积神经网络进行卷积操作后的输出矩阵的转置，B是实施该卷积操作所使用的一组乐高卷积核。
8.根据权利要求7所述的姿态识别方法，其特征在于，第二层卷积层卷积的具体过程如下：
Step1：Split：将第一层卷积神经网络执行卷积操作后得到的特征图等分成o个部分，将等分的特征图作为新的输入送入第二层卷积神经网络；
Step2：Transform：将等分的o张特征图分别与乐高卷积核b执行卷积操作得到o×b张新的特征图；
Step3：Merge：将第二步生成的特征图垂直合并，最后堆叠成一张输出特征图送入第三层卷积神经网络进行相应的卷积操作。
9.根据权利要求8所述的姿态识别方法，其特征在于，第三层卷积层卷积的具体过程如下：第三层的卷积操作和第二层的卷积操作相同，将此输出特征图平铺展成一维向量的形式送入全连接层，全连接层的输出连接到最后的Softmax输出层进行人体姿态动作的识别分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419639.9A CN111723662B (zh) | 2020-05-18 | 2020-05-18 | 一种基于卷积神经网络的人体姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419639.9A CN111723662B (zh) | 2020-05-18 | 2020-05-18 | 一种基于卷积神经网络的人体姿态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723662A true CN111723662A (zh) | 2020-09-29 |
| CN111723662B CN111723662B (zh) | 2023-07-11 |
Family
ID=72564640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010419639.9A Active CN111723662B (zh) | 2020-05-18 | 2020-05-18 | 一种基于卷积神经网络的人体姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723662B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328674A (zh) * | 2020-11-17 | 2021-02-05 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN113920545A (zh) * | 2021-12-13 | 2022-01-11 | 中煤科工开采研究院有限公司 | 一种井工煤矿下人员姿态检测的方法和装置 |
| CN114916928A (zh) * | 2022-05-12 | 2022-08-19 | 电子科技大学 | 一种人体姿态多通道卷积神经网络检测方法 |
| CN116070104A (zh) * | 2022-11-16 | 2023-05-05 | 北京理工大学 | 一种实时监测康复行为的方法及可穿戴设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045602A1 (zh) * | 2016-09-07 | 2018-03-15 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与系统 |
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| CN109685148A (zh) * | 2018-12-28 | 2019-04-26 | 南京师范大学 | 多类别人体动作识别方法及识别系统 |
| CN110222760A (zh) * | 2019-06-04 | 2019-09-10 | 东南大学 | 一种基于winograd算法的快速图像处理方法 |
| CN110309837A (zh) * | 2019-07-05 | 2019-10-08 | 北京迈格威科技有限公司 | 基于卷积神经网络特征图的数据处理方法及图像处理方法 |
| WO2019232854A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 手写模型训练方法、手写字识别方法、装置、设备及介质 |
-
2020
- 2020-05-18 CN CN202010419639.9A patent/CN111723662B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045602A1 (zh) * | 2016-09-07 | 2018-03-15 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与系统 |
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| WO2019232854A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 手写模型训练方法、手写字识别方法、装置、设备及介质 |
| CN109685148A (zh) * | 2018-12-28 | 2019-04-26 | 南京师范大学 | 多类别人体动作识别方法及识别系统 |
| CN110222760A (zh) * | 2019-06-04 | 2019-09-10 | 东南大学 | 一种基于winograd算法的快速图像处理方法 |
| CN110309837A (zh) * | 2019-07-05 | 2019-10-08 | 北京迈格威科技有限公司 | 基于卷积神经网络特征图的数据处理方法及图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| SUDONG CAI, ET AL: "Implementation of Hybrid Deep Learning Architecture on Loop-Closure Detection", 2018 13TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION (WCICA) * |
| 吴天舒;张志佳;刘云鹏;裴文慧;陈红叶;: "基于改进SSD的轻量化小目标检测算法", 红外与激光工程, no. 07 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328674A (zh) * | 2020-11-17 | 2021-02-05 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN112328674B (zh) * | 2020-11-17 | 2024-05-14 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN113920545A (zh) * | 2021-12-13 | 2022-01-11 | 中煤科工开采研究院有限公司 | 一种井工煤矿下人员姿态检测的方法和装置 |
| CN114916928A (zh) * | 2022-05-12 | 2022-08-19 | 电子科技大学 | 一种人体姿态多通道卷积神经网络检测方法 |
| CN114916928B (zh) * | 2022-05-12 | 2023-08-04 | 电子科技大学 | 一种人体姿态多通道卷积神经网络检测方法 |
| CN116070104A (zh) * | 2022-11-16 | 2023-05-05 | 北京理工大学 | 一种实时监测康复行为的方法及可穿戴设备 |
| CN116108403A (zh) * | 2022-11-16 | 2023-05-12 | 北京理工大学 | 一种具有注意力机制的浅层卷积神经网络结构及优化方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723662B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723662A (zh) | 一种基于卷积神经网络的人体姿态识别方法 | |
| Pranav et al. | Facial emotion recognition using deep convolutional neural network | |
| CN109472194B (zh) | 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 | |
| Tang et al. | Multiscale deep feature learning for human activity recognition using wearable sensors | |
| CN110309861B (zh) | 一种基于生成对抗网络的多模态人类活动识别方法 | |
| Yang et al. | Dynamic gesture recognition using surface EMG signals based on multi-stream residual network | |
| Ha et al. | Multi-modal convolutional neural networks for activity recognition | |
| CN108345846A (zh) | 一种基于卷积神经网络的人体行为识别方法及识别系统 | |
| CN108062170A (zh) | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 | |
| CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
| CN110610158A (zh) | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 | |
| CN113642432B (zh) | 一种基于协方差矩阵变换的卷积神经网络用于人体姿态识别的方法 | |
| CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
| CN111753683A (zh) | 一种基于多专家卷积神经网络的人体姿态识别方法 | |
| CN109726662A (zh) | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 | |
| CN111178288B (zh) | 基于局部误差逐层训练的人体姿态识别方法和装置 | |
| Liu et al. | A CNN-transformer hybrid recognition approach for sEMG-based dynamic gesture prediction | |
| Mutegeki et al. | Feature-representation transfer learning for human activity recognition | |
| CN106406516A (zh) | 一种智能手机本地实时的运动轨迹特征提取与识别方法 | |
| Zhang et al. | Multi-STMT: multi-level network for human activity recognition based on wearable sensors | |
| Xu et al. | An enhanced human activity recognition algorithm with positional attention | |
| Saha et al. | Decoding human activities: Analyzing wearable accelerometer and gyroscope data for activity recognition | |
| Wenzheng | Human activity recognition based on acceleration sensor and neural network | |
| Wang et al. | Robust Human Activity Recognition via Wearable Sensors Using Dynamic Gaussian Kernel Learning | |
| CN109498362A (zh) | 一种偏瘫患者手部运动功能康复训练装置及模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |