CN109711324A - 基于傅里叶变换和卷积神经网络的人体姿态识别方法 - Google Patents
基于傅里叶变换和卷积神经网络的人体姿态识别方法 Download PDFInfo
- Publication number
- CN109711324A CN109711324A CN201811585913.9A CN201811585913A CN109711324A CN 109711324 A CN109711324 A CN 109711324A CN 201811585913 A CN201811585913 A CN 201811585913A CN 109711324 A CN109711324 A CN 109711324A
- Authority
- CN
- China
- Prior art keywords
- data
- convolutional neural
- neural networks
- recognition method
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 7
- 230000002269 spontaneous effect Effects 0.000 abstract description 2
- 210000002569 neuron Anatomy 0.000 description 11
- 230000036544 posture Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 229930091051 Arenine Natural products 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于傅里叶变换和卷积神经网络的人体姿态识别系统，包括以下步骤：1、收集九轴陀螺仪和加速度计的数据集；2.对收集的数据进行预处理，并且按照一定的比例把数据分成测试集和训练集；3.将训练集和测试集送入卷积神经网络进行训练，网络自发完善自身的参数；4.将训练好的网络移植到终端上。在实际过程中，手机自带的陀螺仪加速度计采集到的数据可以输入到已经训练好的网络中，实现对当前行为的姿态识别。本发明有效的提高了数据的辨识度；识别精度高，识别类型多；识别方法识别的动作数量具有可扩展性，且扩展操作简单，易于开发人员操作；相比于视频或者图像识别的方法，可以有效的保护用户隐私。
Description
技术领域
本发明涉及人工智能领域的数据处理优化方法和神经网络层结构的合理化方法，尤其涉及一种基于傅里叶变换和卷积神经网络的人体姿态识别方法。
背景技术
人体姿态识别是是当前计算机视觉领域的一个重点研究的问题，同时，也是当前的一个研究热点。例如在机场、工厂等一些比较复杂的环境下，采用动作姿态识别这类人机交互技术能够提供比其他识别(语音等)更加精确的信息输入。总之，在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域，人体动作姿态的识别都有广阔的应用前景。然而，由于人体姿态的多样性，以及个体动作的差异性，如何建立一种识别能力强的模型就一直是一个重点的研究课题。
深度学习在模式识别上有着很好的发展前景。深度学习(Deep Learning)起源于人工神经网络(Artificial Neural Network,ANN)的研究。其中卷积神经网络是含有卷积层(Convolutional Layer)的神经网络。卷积神经网络在计算机视觉领域受到极大关注，卷积神经网络不仅可以处理一维数据(例如，文本)，它还特别适合处理二维数据(例如，图像)和三维数据(例如，视频以及本专利提及的三维加速度数据)。卷积神经网络属于人工智能范畴，在模式识别分类器的构建上比传统方法效率更高，且易于扩展，能够实现比传统方法动作识别类型更多的识别模型。
发明内容
发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种基于傅里叶变换和卷积神经网络的人体姿态识别系统，该方法识别精度高，能够识别多种类型的姿态。
技术方案：一种基于傅里叶变换和卷积神经网络的人体姿态识别方法，包括如下步骤：
步骤1、收集九轴加速度计的数据集；
步骤2、对收集的数据进行预处理，并且按照一定的比例把数据分成测试集和训练集；优选的，将数据集按照4：1的比例分为训练集和测试集。
步骤3、构建卷积神经网络的层结构，将训练集和测试集送入卷积神经网络进行训练；
步骤4、将训练好的网络移植到智能终端上，利用智能终端的陀螺仪加速度计采集数据，输入到网络中，实现对当前姿态的识别。
所述步骤1中，采样频率为20-30Hz。
所述步骤2中，对数据的预处理过程包括归一化处理和傅里叶变换处理，处理完后将数据按照要求存储；所述处理完后的数据按照如下步骤存储：
2.1、先将九轴数据进行堆叠处理，每36个数据按照‘123456789、135792468、147158259、369483726’的顺序堆叠，并且进行归一化操作；
2.2、对堆叠的数据进行二维的离散傅里叶变换；
2.3、将数据以每一个批次长为128、宽为36进行保存。
所述步骤3中，所述卷积神经网络包括两个卷积层，两个池化层，一个全连接层以及一个分类输出层。
进一步的，所述第一个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为5，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数处理；第一个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(4，4)，步长为(4，4)；所述第二个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为10，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数来处理；第二个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(2，2)，步长为(2，2)；所述全连接层包括1000个隐藏节点，激励函数为relu。
采用上述方案后，由于卷积神经网络的优势，只要样本数量足够，通过调整参数，本发明可以将能够分类的动作类别扩展到更多。本发明在智能监控、人体姿态识别等方面具有重要实际应用意义。
有益效果：和现有技术相比，本发明具有如下显着进步：1、利用傅里叶变换来处理数据，将时域变成频域，有效的提高了数据的辨识度。2、利用人工智能-卷积神经网络识别方法，识别精度高，识别类型多。3、识别方法识别的动作数量具有可扩展性，且扩展操作简单，易于开发人员操作；4、相比于视频或者图像识别的方法,可以有效的保护用户隐私。
附图说明
图1为本发明的目标处理流程图；
图2为数据处理结果示意图；
图3为卷积神经网络结构图；
图4、图5、图6为训练过程示意图。
具体实施方式
下面结合附图和具体实施例对发明的技术方案及有益效果进行详细说明。
一种基于傅里叶变换处理和卷积神经网络的多类别人体姿态识别方法，包括如下步骤：
步骤一，在第三者监督记录的情况下获取九轴陀螺仪加速度计的数据，数据可通过两个方法来进行采集：1、采取智能手机本身的陀螺仪加速度计来进行采集。2、采取一些研究所或者大学有现成的九轴陀螺仪加速度计数据。如果用智能终端采集数据，采样频率优选为25Hz。
步骤二，对九轴陀螺仪加速度计数据进行预处理，处理过程包括归一化，二维离散型傅里叶变换，处理完后将数据按照要求存储。具体的，每次取四组数据，每一组数据均为九轴的，按照123456789的顺序排序，将九轴陀螺仪加速度计按照‘123456789 135792468147158259 369483726’的顺序堆叠，并且进行归一化操作，再对数据进行二维的离散傅里叶变换，将数据以每一个批次长为128、宽为36的格式进行保存。
处理完之后将数据分成两类，一类是测试集，一类是训练集；优选的，将数据集按照4：1的比例分为训练集和测试集。
步骤三，构建卷积神经网络的层结构，将训练集和测试集送入卷积神经网络进行训练，网络会自发的完善自己的参数，来使得该网络的准确度上升。具体步骤为：
3.1、第一个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为5，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数来处理。
3.2、第一个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(4，4)，步长为(4，4)。
3.3、第二个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为10，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数来处理。
3.4、第二个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(2，2)，步长为(2，2)。
3.5、全连接层包括1000个隐藏节点，激励函数为relu。
步骤四，将训练好的网络移植到终端上，例如智能手机，利用智能终端的陀螺仪加速度计采集数据，输入到网络中，在实际过程中，手机自带的陀螺仪加速度计采集到的数据可以输入到已经训练好的网络中，实现对当前行为的姿态识别。
本发明基于预设的训练集和卷积神经网络结构训练得到人体姿态识别模型，能对走、跑、上楼、下楼、坐立、站立六种种动作姿态进行识别。
图1所述为目标处理的流程图，从智能移动终端采集到人体运动的三维加速度时间序列后，整合处理后输入至初始卷积神经网络进行模型训练，将训练好的符合设计要求的模型输出至移动终端上，使之能在移动智能终端上离线识别人体动作。
如图2所示，可以看出九轴数据在进行堆叠和再傅里叶变换后频域的特征非常明显，这样也便于卷积神经网络的识别。
作为卷积神经网络的输入，加速度数据需要进行折叠。本实施例将九轴陀螺仪加速度计数据尺寸设置为(128,36,1)，分别代表长、宽和深度。这样就可以使每一小段时间内的数据形如像素图片，以适配卷积神经网络的训练。当然，可以根据实际需求自行设置合适的值，此处不做限定。
图3为卷积神经网络结构图，主要包括：输入层，两层卷积和最大池化层，一个全连接层和一个输出层。
神经网络基本单元神经元的公式如下：
其中，x是神经元输入，n是输入参数个数，b是偏置，hW,b(x)是神经元输出。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。
本发明此部分只需要设置卷积核的大小及神经元个数即可。卷积核大小和神经元个数的取值为经验值，没有固定的取值方法，实施例中卷积核大小为5*5，两个卷积层的神经元个数分别为5和10，此数据仅供参考。
子采样也叫做池化(pooling)，通常有均值子采样(mean pooling)和最大值子采样(max pooling)两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。
模型最终的具体实验参数列举如下：第一层卷积核的数据尺寸为(5,5)，共有5个卷积核；整个实验的池化核都为(4，4)，池化步长都为2，都使用最大池化策略；第二层卷积层的卷积核数据尺寸为(5,5)，共有10个卷积核；全连接层包含1000个隐藏节点；学习率为0.0001；drop-out为1。
图4、图5、图6为训练的过程，可以看出,是一个较为正常的趋势，无论是训练还是测试都是一个上升的趋势，最后能够超过0.90，loss也在这个进程下无限趋近与0。
当训练的卷积神经网络符合设计要求，即可将该模型提取到移动智能终端上使用。若训练的卷积神经网络不符合设计要求，需要修改各隐藏层的神经元个数。神经元个数修改到哪个值为宜，需要反复测试。若上述修改各隐藏层的神经元个数的方法对识别准确率影响甚微，建议添加隐藏层数或增加训练样本数。
由上可见，本发明实施例中的人体姿态识别装置通过采集智能终端的加速度数据，基于采集到的所述智能终端的加速度数据，并将预处理后的数据输入已训练好的人体姿态识别模型，得到人体姿态识别结果。由于人体姿态识别模型是基于预设的训练集合卷积神经网络训练得到，因此，通过将加速度数据预处理后输入已训练好的人体姿态识别模型，即可实现对人体姿态的识别，从而实现了基于加速度数据的非视觉手段的人体姿态识别。
Claims (7)
1.一种基于傅里叶变换和卷积神经网络的人体姿态识别方法，其特征在于，包括如下步骤：
步骤1、收集九轴加速度计的数据集；
步骤2、对收集的数据进行预处理，并且按照一定的比例把数据分成测试集和训练集；
步骤3、构建卷积神经网络的层结构，将训练集和测试集送入卷积神经网络进行训练；
步骤4、将训练好的网络移植到智能终端上，利用智能终端的陀螺仪加速度计采集数据，输入到网络中，实现对当前姿态的识别。
2.根据权利要求1所述人体姿态识别方法，其特征在于：所述步骤1中，采样频率为20-30Hz。
3.根据权利要求1所述人体姿态识别方法，其特征在于：所述步骤2中，对数据的预处理过程包括归一化处理和傅里叶变换处理，处理完后将数据按照要求存储。
4.根据权利要求3所述人体姿态识别方法，其特征在于，所述处理完后的数据按照如下步骤存储：
2.1、先将九轴数据进行堆叠处理，每36个数据按照‘123456789、135792468、147158259、369483726’的顺序堆叠，并且进行归一化操作；
2.2、对堆叠的数据进行二维的离散傅里叶变换；
2.3、将数据以每一个批次长为128、宽为36进行保存。
5.根据权利要求1所述人体姿态识别方法，其特征在于，所述步骤3中，所述卷积神经网络包括两个卷积层，两个池化层，一个全连接层以及一个分类输出层。
6.根据权利要求5所述人体姿态识别方法，其特征在于：所述第一个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为5，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数处理；第一个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(4，4)，步长为(4，4)；所述第二个卷积层使用二维的卷积神经网络，输入参数为预处理之后的数据，卷积核数量为10，大小为(5，5)，每一次的步长大小为(1，1)，使用relu函数来处理；第二个池化层使用一维的最大池化层，输入参数为第一个卷积层的输出数据，池化大小为(2，2)，步长为(2，2)；所述全连接层包括1000个隐藏节点，激励函数为relu。
7.根据权利要求1所述人体姿态识别方法，其特征在于：所述步骤2中，将数据集按照4：1的比例分为训练集和测试集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585913.9A CN109711324A (zh) | 2018-12-24 | 2018-12-24 | 基于傅里叶变换和卷积神经网络的人体姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811585913.9A CN109711324A (zh) | 2018-12-24 | 2018-12-24 | 基于傅里叶变换和卷积神经网络的人体姿态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711324A true CN109711324A (zh) | 2019-05-03 |
Family
ID=66257454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811585913.9A Pending CN109711324A (zh) | 2018-12-24 | 2018-12-24 | 基于傅里叶变换和卷积神经网络的人体姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711324A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414590A (zh) * | 2019-07-24 | 2019-11-05 | 重庆大学 | 基于智能移动设备和卷积神经网络的人体活动识别方法 |
| CN112149728A (zh) * | 2020-09-22 | 2020-12-29 | 成都智遥云图信息技术有限公司 | 一种快速的多模态图像模板匹配方法 |
| CN113126764A (zh) * | 2021-04-22 | 2021-07-16 | 中国水利水电科学研究院 | 一种基于智能手表的个人用水量检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846729A (zh) * | 2017-01-12 | 2017-06-13 | 山东大学 | 一种基于卷积神经网络的跌倒检测方法和系统 |
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| US20180261071A1 (en) * | 2017-03-10 | 2018-09-13 | Turing Video, Inc. | Surveillance method and system based on human behavior recognition |
| CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
-
2018
- 2018-12-24 CN CN201811585913.9A patent/CN109711324A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846729A (zh) * | 2017-01-12 | 2017-06-13 | 山东大学 | 一种基于卷积神经网络的跌倒检测方法和系统 |
| US20180261071A1 (en) * | 2017-03-10 | 2018-09-13 | Turing Video, Inc. | Surveillance method and system based on human behavior recognition |
| CN108062170A (zh) * | 2017-12-15 | 2018-05-22 | 南京师范大学 | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 |
| CN108564005A (zh) * | 2018-03-26 | 2018-09-21 | 电子科技大学 | 一种基于卷积神经网络的人体跌倒辨识方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414590A (zh) * | 2019-07-24 | 2019-11-05 | 重庆大学 | 基于智能移动设备和卷积神经网络的人体活动识别方法 |
| CN112149728A (zh) * | 2020-09-22 | 2020-12-29 | 成都智遥云图信息技术有限公司 | 一种快速的多模态图像模板匹配方法 |
| CN112149728B (zh) * | 2020-09-22 | 2023-11-17 | 成都智遥云图信息技术有限公司 | 一种快速的多模态图像模板匹配方法 |
| CN113126764A (zh) * | 2021-04-22 | 2021-07-16 | 中国水利水电科学研究院 | 一种基于智能手表的个人用水量检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| CN108062170A (zh) | 基于卷积神经网络和智能终端的多类别人体姿态识别方法 | |
| CN109472194B (zh) | 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 | |
| CN108596039B (zh) | 一种基于3d卷积神经网络的双模态情感识别方法及系统 | |
| Yan et al. | Face recognition based on convolution neural network | |
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| CN110287880A (zh) | 一种基于深度学习的姿态鲁棒性人脸识别方法 | |
| Arora et al. | AutoFER: PCA and PSO based automatic facial emotion recognition | |
| CN109670548A (zh) | 基于改进lstm-cnn的多尺寸输入har算法 | |
| CN111950455B (zh) | 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 | |
| CN103065158B (zh) | 基于相对梯度的isa模型的行为识别方法 | |
| Xu et al. | Facial expression recognition based on Gabor Wavelet transform and Histogram of Oriented Gradients | |
| CN109711324A (zh) | 基于傅里叶变换和卷积神经网络的人体姿态识别方法 | |
| CN110610158A (zh) | 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统 | |
| CN110503076A (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
| CN109815920A (zh) | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 | |
| CN109726662A (zh) | 基于卷积和循环组合神经网络的多类别人体姿态识别方法 | |
| Mutegeki et al. | Feature-representation transfer learning for human activity recognition | |
| CN109685148A (zh) | 多类别人体动作识别方法及识别系统 | |
| CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
| CN104966052A (zh) | 基于属性特征表示的群体行为识别方法 | |
| CN106971145A (zh) | 一种基于极限学习机的多视角动作识别方法及装置 | |
| CN111753683A (zh) | 一种基于多专家卷积神经网络的人体姿态识别方法 | |
| Borgalli et al. | Deep learning for facial emotion recognition using custom CNN architecture | |
| Rwelli et al. | Gesture based Arabic sign language recognition for impaired people based on convolution neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
| RJ01 | Rejection of invention patent application after publication |