CN108345846A - 一种基于卷积神经网络的人体行为识别方法及识别系统 - Google Patents

一种基于卷积神经网络的人体行为识别方法及识别系统 Download PDF

Info

Publication number
CN108345846A
CN108345846A CN201810083701.4A CN201810083701A CN108345846A CN 108345846 A CN108345846 A CN 108345846A CN 201810083701 A CN201810083701 A CN 201810083701A CN 108345846 A CN108345846 A CN 108345846A
Authority
CN
China
Prior art keywords
model
convolutional neural
data
neural networks
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810083701.4A
Other languages
English (en)
Inventor
徐文超
庞雨欣
杨艳琴
陈晓琛
宋凡迪
黄雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201810083701.4A priority Critical patent/CN108345846A/zh
Publication of CN108345846A publication Critical patent/CN108345846A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明提出了一种基于卷积神经网络(Convolutional Neural Network)的人体行为识别方法,包括三个阶段:数据采集与预处理阶段,模型建立与训练阶段和模型应用阶段。本方法中建立的卷积神经网络结构能够在简单的数据预处理基础上有效识别人体六种日常行为活动,为将识别方法移植到计算能力有限的智能手机中提供了良好的基础,适用于基于智能手机端的人体日常活动记录、健康追踪与健康监测等应用领域。

Description

一种基于卷积神经网络的人体行为识别方法及识别系统
技术领域
本发明涉及六种人体日常行为,包括行走,慢跑,上下楼梯,站立与坐着,状态分析及健康监测等领域,具体为一种基于卷积神经网络的人体行为识别方法及识别系统。
背景技术
随着信息技术的发展,集成了各种各样传感器(例如三轴加速度传感器和陀螺仪等)的智能手机也愈发普及。近几年,越来越多的基于手机传感器的人体行为识别的应用软件被开发用来记录和监控人体的日常行为活动,同时能有效地帮助用户建立一个健康的生活习惯,在这个领域,寻求一种高效的人体生理活动的识别方法就成为了其中最关键、最核心和最紧迫的问题。
其中一个常见的基于智能手机的人体行为识别方法是通过使用谷歌提供的行为识别应用程序编程接口(Google Activity Recognition API)实现的,此API可以识别的人体行为包括骑自行车、跑步、走路和静止等,但是通过此接口实现的人体行为识别的准确率很低,其原因是使用者的运动模式(运动速度、步态等)不尽相同,即用户个体差异较大,因此针对不同年龄、体型和性别的人群,其较为单一和固定的行为活动判定方法并不全部适用和有效。
发明内容
本发明的目的是针对上述问题,提出一种能减小人体运动模式多样性在人体行为识别领域中带来的影响,具有较低计算复杂度,较高识别准确率,较高灵活性和鲁棒性,且移植性高的实时人体行为活动识别的方法,可用于基于智能手机的人体日常行为活动记录、健康追踪与健康监测等应用领域。
本发明提出了一种基于卷积神经网络(Convolutional Neural Network)的人体行为识别方法,包括三个阶段:数据采集与预处理阶段,模型建立与训练阶段和模型应用阶段,包括如下步骤:
数据采集与预处理阶段
通过在智能手机中安装数据采集软件访问手机内三轴加速度传感器,储存其采集的原始三轴加速度数据和用户反馈的真实的行为活动标签,采集的行为数据包括行走,慢跑,上下楼梯,站立与坐着等六种日常行为,共收集了N组数据,每组包含三个方向的加速度数据;
对采集的原始三轴加速度数据均进行归一化处理,归一化公式如下所示:
式中,μ和σ分别是数据集Z(Z=加速度传感器x,y,z三个轴的数据集)的均值和方差;
对经过处理后的数据使用滑动窗口(半重叠,尺寸为n)进行分割,分割后共得到N/n*2组数据,每组包含n*3个数据,且每组数据间具有50%的重叠;
对上述N/n*2组数据按照70/30的比例随机抽取出模型的训练数据和测试数据,包括相对应的行为标签信息;
模型建立与训练阶段
包括模型结构的建立、超参数的选取等步骤;将训练数据输入建立好的卷积神经模型中训练模型,每次输入的数据大小为1*n*3,模型训练好后对测试数据进行识别,将预测的行为标签与测试数据真实的行为标签进行对比和分析,最终得到该模型对六种日常行为的识别准确率;
若模型对行为的识别准确率没有达到90%以上,则需对模型进行优化,此优化过程主要体现在超参数调整与函数方法的重选取,建立好新的卷积神经网络模型后,继续对新模型进行训练;反之,则认为此模型能有效识别六种人体行为活动,保存此模型的结构和参数值;
模型应用阶段
将能有效识别六种行为的卷积神经模型整合到安卓应用软件中,最终实现基于智能手机的人体日常行为活动识别的应用。
本发明提出的基于卷积神经网络的人体行为识别方法中,对卷积神经网络模型的建立包括如下步骤:
步骤a:将卷积层作为卷积神经网络模型的第一层,单个卷积核尺寸为1*c1*3,卷积核数量为c1,其移动步长为s,输入数据被第一层卷积核卷积后得到的数据尺寸为1*[(c1-n)/s+1]*c1*3;
步骤b:将最大池化层作为卷积神经网络模型的第二层,单个池化层滤波器的尺寸为1*p,其移动步长为s_p,步骤a中得到的结果经过第二层最大池化层下采样后得到的数据尺寸为1*{{[(c1-n)/s+1]-p}/s_p+1}*c1*3;
步骤c:将另一个卷积层作为卷积神经网络模型的第三层,单个卷积核尺寸为1*c2*c1*3,卷积核数量为c2,其移动步长为s,步骤b得到的最终结果经过第三层卷积核卷积后得到的数据尺寸为1*{{{{[(c1-n)/s+1]-p}/s_p+1}-c2}/s+1}*c1*c2*3;
步骤d:将一个全连接层作为卷积神经网络模型的第四层,将步骤c中的三维结果拉伸为一维特征向量,作为第四层全连接层的输入,全连接层中神经元个数为H个;
步骤e:将卷积神经网络模型的第五层作为模型的最终输出层,此层中的概率输出函数将输出六种行为活动的预测概率,并将概率最大的行为对应的标签作为最终的预测结果。
本发明提出的基于卷积神经网络的人体行为识别方法中,所述概率输出函数为Softmax函数。
本发明提出的基于卷积神经网络的人体行为识别方法中,所述第一层和所述第三层的卷积层的建立中,在对卷积核权重初始化的过程中对初始化函数进行了优化,将服从标准高斯分布函数的初始化权重替换成服从截断的高斯分布函数的初始化权重,将区间(μ-2*σ,μ+2*σ)外过小的值丢弃。
本发明提出的基于卷积神经网络的人体行为识别方法中,网络第四层全连接层的建立中,在全连接层中引入Dropout技术,Dropout率为0.5;同时在全连接层中,选择的神经元激活函数为tanh函数。
本发明提出的基于卷积神经网络的人体行为识别方法中,将最终得到的所述卷积神经网络模型移植到安卓手机的步骤主要包括:将所述卷积神经网络模型转换为.pb文件,并导入Android Studio项目文件(/assets)中;生成并添加在Android平台上调用模型需要的jar包和so文件;在项目的java文件中添加TensorFlowClassifier.java文件,在此文件中对TensorFlowInferenceInterface进行初始化,然后直接调用事先导入的.pb模型文件,对手机实时采集的三轴加速度数据进行识别,并分别得到六种行为的识别概率,最后选择概率最大的行为作为对用户一段时间内行为活动的预测结果。
基于以上方法,本发明还提出了一种基于卷积神经网络的人体行为识别系统,包括:数据采集与预处理模块、模型建立与优化模块及模型应用模块;其中,
所述数据采集与预处理模块通过数据采集软件访问三轴加速度传感器,储存其采集的原始的人体活动三轴加速度数据与用户反馈的真实的行为活动标签,并对三个轴的数据信息进行归一化处理,得到服从正态分布的三轴加速度数据;使用滑动窗口对处理后的三轴加速度数据进行数据分割处理,得到卷积神经网络模型的输入数据以及对应的标签;对分割后的数据按比例随机抽取得到模型的训练数据和测试数据;
所述模型建立与优化模块建立卷积神经网络模型与优化卷积神经网络模型;其中,所述建立卷积神经网络模型中,建立了一个包含两个卷积层、一个最大池化层、一个全连接层和预测概率输出层的网络结构;所述优化卷积神经网络模型中,根据训练好的卷积神经网络模型对测试数据的预测结果是否足够准确进一步对模型进行优化,优化过程包括模型超参数的调整与相关函数方法的重选取;
所述模型应用模块将所述卷积神经网络模型移植到软件中,实现实时人体行为识别的应用。
本发明提出的基于卷积神经网络的人体行为识别方法及识别系统的识别准确率远高于支持向量机模型的识别准确率,不仅如此,如SVM此类基于较为复杂的数据特征提取的分类方法不能很好的移植到计算能力有限的便携设备(如智能手机)中,而本发明却能满足这个要求,即能将理论方法应用与实际使用当中。
附图说明:
图1为本发明基于卷积神经网络的人体行为识别方法的流程示意图。
图2为本发明中卷积神经网络的结构框架示意图。
图3为本发明基于卷积神经网络的人体行为识别系统的示意图。
具体实施方式
结合以下具体实施例和附图,对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等,除以下专门提及的内容之外,均为本领域的普遍知识和公知常识,本发明没有特别限制内容。
本发明的核心内容是在简单数据预处理的基础上建立一个能对人体日常行为进行有效识别的卷积神经网络模型,该模型处理的数据是智能手机中三轴加速度传感器采集的原始三轴加速度值和用户反馈的行为标签,预测的行为包括行走,慢跑,上下楼梯,站立与坐着等六种日常行为活动,经过对模型进行多次训练、优化和测试后得到能有效识别人体行为的卷积神经网络模型,然后将此模型移植到安卓手机中最终实现实时人体行为活动识别的应用。下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供一种基于卷积神经网络的人体行为识别方法,包括:
步骤一:行为数据采集与预处理阶段,通过在智能手机中安装数据采集软件访问手机内三轴加速度传感器,储存其采集的原始三轴加速度数据和用户反馈的真实的行为活动标签,此步骤中共有36名年龄、性别和体型差异较大的用户参与数据收集,大大提高了模型的泛化性能,采集的行为数据包括行走,慢跑,上下楼梯,站立与坐着等六种日常行为,共收集了N组数据,每组包含三个方向的加速度数据;
步骤二:对步骤一中采集的原始三轴加速度数据均进行归一化处理,归一化公式如下所示:
公式中,μ和σ分别是数据集Z(Z=加速度传感器x,y,z三个轴的数据集)的均值和方差;
步骤三:对经过步骤二处理后的数据使用滑动窗口(半重叠,尺寸为n)进行分割,分割后共得到N/n*2组数据,每组包含n*3个数据,且每组数据间具有50%的重叠;
步骤四:对上述N/n*2组数据按照70/30的比例随机抽取出模型的训练数据和测试数据,包括相对应的行为标签信息;
步骤五:卷积神经网络模型建立阶段,包括模型结构的建立、超参数的选取等;
步骤六:模型训练阶段,将步骤四中的训练数据输入建立好的卷积神经模型中训练模型,每次输入的数据大小为1*n*3,模型训练好后对测试数据进行识别,将预测的行为标签与测试数据真实的行为标签进行对比和分析,最终得到该模型对六种日常行为的识别准确率;
步骤七:步骤六中,若模型对行为的识别准确率没有达到90%以上,则对模型进行优化,此优化过程主要体现在超参数调整与函数方法的重选取,建立好新的卷积神经网络模型后,返回步骤六继续对新模型进行训练;反之,则认为此模型能有效识别六种人体行为活动,保存此时模型的结构和参数值;
步骤八:将能有效识别六种行为的卷积神经模型整合到安卓手机应用软件中,最终实现基于智能手机的人体日常行为活动识别的应用。
本发明提出的基于卷积神经网络的人体行为识别方法中,步骤五中对卷积神经网络模型的建立包括如下步骤:
步骤a:将卷积层作为卷积神经网络模型的第一层,单个卷积核尺寸为1*c1*3,卷积核数量为c1,其移动步长为s,步骤四中的输入数据经过第一层卷积核卷积后得到的数据尺寸为1*[(c1-n)/s+1]*c1*3;
步骤b:将最大池化层作为卷积神经网络模型的第二层,单个池化层滤波器的尺寸为1*p,其移动步长为s_p,步骤a中得到的结果经过第二层最大池化层下采样后得到的数据尺寸为1*{{[(c1-n)/s+1]-p}/s_p+1}*c1*3;
步骤c:将另一个卷积层作为卷积神经网络模型的第三层,单个卷积核尺寸为1*c2*c1*3,卷积核数量为c2,其移动步长为s,步骤b得到的最终结果经过第三层卷积核卷积后得到的数据尺寸为1*{{{{[(c1-n)/s+1]-p}/s_p+1}-c2}/s+1}*c1*c2*3;
步骤d:将一个全连接层作为卷积神经网络模型的第四层,将步骤c中的三维结果拉伸为一维特征向量,作为第四层全连接层的输入,全连接层中神经元个数为H个;
步骤e:将卷积神经网络模型的第五层作为模型的最终输出层,此层中的概率输出函数将输出六种行为活动的预测概率,并将概率最大的行为对应的标签作为最终的预测结果。
经过多次上述步骤对模型进行优化和调整,最终得到具有最优识别效果的卷积神经网络模型,其相关参数设置如表1所示,其采用的优化方法有:
如步骤a、步骤b和步骤c的卷积神经网络模型的第一层卷积层、第二层最大池化层和第三层卷积层的建立中,采用了一维(1D)卷积和一维池化的数据处理方法,此方法能在保证具有较高分类正确率的同时,提高待预测数据对卷积神经网络的训练和测试速度,能有效提高卷积神经网络的学习效率,特别在需要对卷积神经网络模型进行反复调参、涉及到大数据量处理和大计算量的应用中其优化效果更为显著,此方法在多次对模型进行调整的过程中节省了不少时间。
如步骤d的网络第四层全连接层的建立中,为了防止神经网络模型发生过拟合现象,同时增大网络模型的泛化性能,在全连接层中引入了Dropout技术,这是一个能有效防止网络过拟合且能减少模型训练耗时的方法,选择的Dropout率为0.5,此时效果最好,原因是当Dropout率为0.5的时候Dropout随机生成的网络结构最多,能有效提高了网络的泛化性能;另外在全连接层中,选择的神经元激活函数为tanh函数,因为tanh函数的输出均值接近0,且其输出和输入能够保持非线性单调上升和下降关系,符合BP网络的梯度求解,容错性好,符合人脑神经细胞的规律;
如步骤e的第五层概率输出层的建立中,采用的概率输出函数是Softmax函数,此函数最大的特点在于:它把每个神经元的输入与当前层所有神经元输入之和的比值,当作该神经元的输出。这使得输出更容易被解释:神经元的输出值越大,则该神经元对应的类别是真实类别的可能性更高。
如步骤a和步骤c的第一层和第三层的卷积层的建立中,在对卷积核权重初始化的过程中对初始化函数进行了优化,将原来服从标准高斯分布函数的初始化权重替换成了服从截断的高斯分布函数的初始化权重,即舍弃掉了高斯函数区间(μ-2*σ,μ+2*σ)外过小的值,截断的高斯能避免标准高斯带来的过小的权重值初始化卷积核后造成的零梯度网络,从而使网络失去数据分类效果;
如步骤六的模型训练阶段,使用了自适应时刻估计方法(Adaptive MomentEstimation,Adam)来对模型卷积核的权重进行更新和优化从而使模型最终损失函数最小,Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计来动态调整针对每个参数的学习速率,Adam也是基于梯度下降的方法,但是每次迭代参数的学习步长都有一个确定的范围,不会因为很大的梯度导致很大的学习步长,参数值比较稳定,在实际应用中,Adam方法效果良好,与其他自适应学习率算法相比,其收敛速度更快,学习效果更为有效,而且可以纠正其他优化技术中存在的问题,如学习率消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。
表1卷积神经网络模型的参数配置
为了对上述最终建立的模型进行直观的行为识别性能评估,将本发明提出的基于卷积神经网络的人体行为识别方法与另一种机器学习中常用的分类方法——支持向量机(Support Vector Machine,SVM)进行了行为识别准确率的对比,在经过提取自相同数据集的训练数据训练后,两个不同的模型对测试数据的识别结果如表2所示,表2分别展示了两种分类模型对六种常见人体日常行为活动的识别结果的混淆矩阵,从表中可以看出,本发明提出的人体行为识别方法的识别准确率(91.97%)远高于支持向量机方法的识别准确率(82.27%),具有优秀的识别效果,不仅如此,如SVM此类基于较为复杂的数据特征提取的分类方法不能很好的移植到计算能力有限的便携设备(如智能手机)中,而本发明提出的方法却能满足这个要求,即能将理论方法应用与实际使用当中。
表2两种分类方法识别结果
将最终得到的识别效果最优的卷积神经网络模型移植到安卓手机的步骤主要包括:首先将模型转换为.pb文件,并导入Android Studio工程项目子文件(/assets)中;生成并添加在Android平台上调用TensorFlow构建的模型需要的jar包和so文件;在工程项目的java文件中添加TensorFlowClassifier.java文件,在此文件中主要完成调用模型以及对实时采集的三轴加速度数据进行识别的任务,首先对TensorFlowInferenceInterface进行初始化,然后直接调用事先导入的.pb模型文件对手机实时采集的三轴加速度数据进行识别,并分别得到模型对六种人体日常行为的识别概率,最后选择概率最大的行为活动作为对用户一段时间内行为活动的预测结果。
分别在三类手机中对本发明提出的卷积神经网络模型的识别效果进行了测试,手机的具体参数如表3所示。测试结果表明,这三类手机的性能差异不影响模型对行为识别的效果,因此本发明提出的人体行为识别方法具有优秀的可移植性和普适性。
表3三类手机相关参数
品牌 型号 操作系统 ROM RAM
三星 Galaxy Note3 Android 4.3 16GB 3GB
小米 Note Android 4.4 64GB 3GB
红米 Note Android 7.1 8GB 1GB
如图3所示,本发明还提出了一种基于卷积神经网络的人体行为识别系统,包括:数据采集与预处理模块、模型建立与优化模块及模型应用模块。
数据采集与预处理模块,通过数据采集软件访问三轴加速度传感器,储存其采集的原始的人体活动三轴加速度数据与用户反馈的真实的行为活动标签,并对三个轴的数据信息进行归一化处理,得到服从正态分布的三轴加速度数据;使用滑动窗口对处理后的三轴加速度数据进行数据分割处理,得到卷积神经网络模型的输入数据以及对应的标签;对分割后的数据按比例随机抽取得到模型的训练数据和测试数据。
模型建立与优化模块,建立卷积神经网络模型与优化卷积神经网络模型;其中,建立卷积神经网络模型中,建立了一个包含两个卷积层、一个最大池化层、一个全连接层和预测概率输出层的网络结构;优化卷积神经网络模型中,根据训练好的卷积神经网络模型对测试数据的预测结果是否足够准确进一步对模型进行优化,优化过程包括模型超参数的调整与相关函数方法的重选取。
模型应用模块,将卷积神经网络模型移植到软件中,实现实时人体行为识别的应用。
对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于卷积神经网络的人体行为识别方法,其特征在于,包括:数据采集与预处理、模型建立与优化及模型应用;
所述数据采集与预处理包括:通过数据采集软件访问三轴加速度传感器,储存其采集的原始的人体活动三轴加速度数据与用户反馈的真实的行为活动标签,并对三个轴的数据信息进行归一化处理,得到服从正态分布的三轴加速度数据;使用滑动窗口对处理后的三轴加速度数据进行数据分割处理,得到卷积神经网络模型的输入数据以及对应的标签;对分割后的数据按比例随机抽取得到模型的训练数据和测试数据;
所述模型建立与优化包括:建立卷积神经网络模型与优化所述卷积神经网络模型;其中,建立卷积神经网络模型中,建立了一个包含两个卷积层、一个最大池化层、一个全连接层和预测概率输出层的网络结构;优化所述卷积神经网络模型中,根据训练好的卷积神经网络模型对测试数据的预测结果是否足够准确进一步对模型进行优化,优化过程包括模型超参数的调整与相关函数方法的重选取;
所述模型应用包括:将优化后的所述卷积神经网络模型移植到软件中,实现实时人体行为识别的应用。
2.如权利要求1所述的基于卷积神经网络的人体行为识别方法,其特征在于,所述归一化处理公式如下:
式中,μ和σ分别是数据集Z的均值和方差,Z=加速度传感器x,y,z三个轴的数据集。
3.如权利要求1所述的基于卷积神经网络的人体行为识别方法,其特征在于,使用尺寸为n且半重叠的滑动窗口对三轴加速度数据进行分割,分割后共得到N/n*2组数据,每组包含n*3个数据,且每组数据间具有50%的重叠。
4.如权利要求1所述的基于卷积神经网络的人体行为识别方法,其特征在于,对分割后的数据按照70/30的比例随机抽取出模型的训练数据和测试数据,包括相对应的行为标签信息。
5.如权利要求1所述的基于卷积神经网络的人体行为识别方法,其特征在于,对卷积神经网络模型的建立包括如下步骤:
步骤a:将卷积层作为卷积神经网络模型的第一层,单个卷积核尺寸为1*c1*3,卷积核数量为c1,其移动步长为s,输入数据被第一层卷积核卷积后得到的数据尺寸为1*[(c1-n)/s+1]*c1*3;
步骤b:将最大池化层作为卷积神经网络模型的第二层,单个池化层滤波器的尺寸为1*p,其移动步长为s_p,步骤a中得到的结果经过第二层最大池化层下采样后得到的数据尺寸为1*{{[(c1-n)/s+1]-p}/s_p+1}*c1*3;
步骤c:将另一个卷积层作为卷积神经网络模型的第三层,单个卷积核尺寸为1*c2*c1*3,卷积核数量为c2,其移动步长为s,步骤b得到的最终结果经过第三层卷积核卷积后得到的数据尺寸为1*{{{{[(c1-n)/s+1]-p}/s_p+1}-c2}/s+1}*c1*c2*3;
步骤d:将一个全连接层作为卷积神经网络模型的第四层,将步骤c中的三维结果拉伸为一维特征向量,作为第四层全连接层的输入,全连接层中神经元个数为H个;
步骤e:将卷积神经网络模型的第五层作为模型的最终输出层,此层中的概率输出函数将输出六种行为活动的预测概率,并将概率最大的行为对应的标签作为最终的预测结果。
6.如权利要求5所述的基于卷积神经网络的人体行为识别方法,其特征在于,所述概率输出函数为Softmax函数。
7.如权利要求5所述的基于卷积神经网络的人体行为识别方法,其特征在于,所述第一层和所述第三层的卷积层的建立中,在对卷积核权重初始化的过程中对初始化函数进行了优化,将服从标准高斯分布函数的初始化权重替换成服从截断的高斯分布函数的初始化权重,将区间(μ-2*σ,μ+2*σ)外过小的值丢弃。
8.如权利要求5所述的基于卷积神经网络的人体行为识别方法,其特征在于,网络第四层全连接层的建立中,在全连接层中引入Dropout技术,Dropout率为0.5;同时在全连接层中,选择的神经元激活函数为tanh函数。
9.如权利要求1所述的基于卷积神经网络的人体行为识别方法,其特征在于,将最终得到优化后的所述卷积神经网络模型移植到安卓手机的步骤主要包括:将所述卷积神经网络模型转换为.pb文件,并导入Android Studio项目文件中;生成并添加在Android平台上调用模型需要的jar包和so文件;在项目的java文件中添加TensorFlowClassifier.java文件,在此文件中对TensorFlowInferenceInterface进行初始化,然后直接调用事先导入的.pb模型文件,对手机实时采集的三轴加速度数据进行识别,并分别得到六种行为的识别概率,最后选择概率最大的行为作为对用户一段时间内行为活动的预测结果。
10.一种基于卷积神经网络的人体行为识别系统,其特征在于,包括:数据采集与预处理模块、模型建立与优化模块及模型应用模块;其中,
所述数据采集与预处理模块,通过数据采集软件访问三轴加速度传感器,储存其采集的原始的人体活动三轴加速度数据与用户反馈的真实的行为活动标签,并对三个轴的数据信息进行归一化处理,得到服从正态分布的三轴加速度数据;使用滑动窗口对处理后的三轴加速度数据进行数据分割处理,得到卷积神经网络模型的输入数据以及对应的标签;对分割后的数据按比例随机抽取得到模型的训练数据和测试数据;
所述模型建立与优化模块,建立卷积神经网络模型与优化卷积神经网络模型;其中,所述建立卷积神经网络模型中,建立了一个包含两个卷积层、一个最大池化层、一个全连接层和预测概率输出层的网络结构;所述优化卷积神经网络模型中,根据训练好的卷积神经网络模型对测试数据的预测结果是否足够准确进一步对模型进行优化,优化过程包括模型超参数的调整与相关函数方法的重选取;
所述模型应用模块,将优化后的所述卷积神经网络模型移植到软件中,实现实时人体行为识别的应用。
CN201810083701.4A 2018-01-29 2018-01-29 一种基于卷积神经网络的人体行为识别方法及识别系统 Pending CN108345846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810083701.4A CN108345846A (zh) 2018-01-29 2018-01-29 一种基于卷积神经网络的人体行为识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810083701.4A CN108345846A (zh) 2018-01-29 2018-01-29 一种基于卷积神经网络的人体行为识别方法及识别系统

Publications (1)

Publication Number Publication Date
CN108345846A true CN108345846A (zh) 2018-07-31

Family

ID=62961723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810083701.4A Pending CN108345846A (zh) 2018-01-29 2018-01-29 一种基于卷积神经网络的人体行为识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN108345846A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189767A (zh) * 2018-08-01 2019-01-11 北京三快在线科技有限公司 数据处理方法、装置、电子设备及存储介质
CN109447162A (zh) * 2018-11-01 2019-03-08 山东大学 一种基于Lora和Capsule的实时行为识别系统及其工作方法
CN109460727A (zh) * 2018-10-31 2019-03-12 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法
CN109685148A (zh) * 2018-12-28 2019-04-26 南京师范大学 多类别人体动作识别方法及识别系统
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法
CN109770913A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于反向传播神经网络的步态异常识别方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN110008847A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于卷积神经网络的泳姿识别方法
CN110223291A (zh) * 2019-06-20 2019-09-10 南开大学 一种基于损失函数的训练眼底病变点分割网络方法
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110414590A (zh) * 2019-07-24 2019-11-05 重庆大学 基于智能移动设备和卷积神经网络的人体活动识别方法
CN110458033A (zh) * 2019-07-17 2019-11-15 哈尔滨工程大学 一种基于可穿戴位置传感器的人体行为序列识别方法
CN110895663A (zh) * 2018-09-12 2020-03-20 杭州海康威视数字技术股份有限公司 一种两轮车识别方法、装置、电子设备及监控系统
CN111079547A (zh) * 2019-11-22 2020-04-28 武汉大学 一种基于手机惯性传感器的行人移动方向识别方法
CN111291882A (zh) * 2018-12-06 2020-06-16 北京百度网讯科技有限公司 一种模型转换的方法、装置、设备和计算机存储介质
CN111291865A (zh) * 2020-01-21 2020-06-16 北京工商大学 一种基于卷积神经网络和孤立森林的步态识别方法
CN111753683A (zh) * 2020-06-11 2020-10-09 南京师范大学 一种基于多专家卷积神经网络的人体姿态识别方法
CN111860191A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于信道选择卷积神经网络的人体姿态识别方法
CN111860188A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于时间和通道双注意力的人体姿态识别方法
CN112932469A (zh) * 2021-01-26 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于CNN+Transformer的三轴加速度活动识别方法
CN113903068A (zh) * 2021-10-19 2022-01-07 深圳市中博科创信息技术有限公司 基于人脸特征的陌生人监控方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245608A (zh) * 2015-10-23 2016-01-13 同济大学 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法
CN205680247U (zh) * 2016-04-19 2016-11-09 陈进民 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN105245608A (zh) * 2015-10-23 2016-01-13 同济大学 基于自编码网络的车联网网络节点筛选及其通达性路由构建方法
CN205680247U (zh) * 2016-04-19 2016-11-09 陈进民 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器
CN106446930A (zh) * 2016-06-28 2017-02-22 沈阳工业大学 基于深层卷积神经网络的机器人工作场景识别方法
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189767B (zh) * 2018-08-01 2021-07-23 北京三快在线科技有限公司 数据处理方法、装置、电子设备及存储介质
CN109189767A (zh) * 2018-08-01 2019-01-11 北京三快在线科技有限公司 数据处理方法、装置、电子设备及存储介质
CN110895663A (zh) * 2018-09-12 2020-03-20 杭州海康威视数字技术股份有限公司 一种两轮车识别方法、装置、电子设备及监控系统
CN110895663B (zh) * 2018-09-12 2023-06-02 杭州海康威视数字技术股份有限公司 一种两轮车识别方法、装置、电子设备及监控系统
CN109460727A (zh) * 2018-10-31 2019-03-12 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109460727B (zh) * 2018-10-31 2021-04-06 中国矿业大学 一种基于人体行为识别的考场监控系统及方法
CN109447162A (zh) * 2018-11-01 2019-03-08 山东大学 一种基于Lora和Capsule的实时行为识别系统及其工作方法
CN109447162B (zh) * 2018-11-01 2021-09-24 山东大学 一种基于Lora和Capsule的实时行为识别系统及其工作方法
CN109543590A (zh) * 2018-11-16 2019-03-29 中山大学 一种基于行为关联度融合特征的视频人体行为识别算法
CN111291882A (zh) * 2018-12-06 2020-06-16 北京百度网讯科技有限公司 一种模型转换的方法、装置、设备和计算机存储介质
CN109685148A (zh) * 2018-12-28 2019-04-26 南京师范大学 多类别人体动作识别方法及识别系统
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN109770913A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于反向传播神经网络的步态异常识别方法
CN110008847A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于卷积神经网络的泳姿识别方法
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110223291A (zh) * 2019-06-20 2019-09-10 南开大学 一种基于损失函数的训练眼底病变点分割网络方法
CN110458033A (zh) * 2019-07-17 2019-11-15 哈尔滨工程大学 一种基于可穿戴位置传感器的人体行为序列识别方法
CN110458033B (zh) * 2019-07-17 2023-01-03 哈尔滨工程大学 一种基于可穿戴位置传感器的人体行为序列识别方法
CN110414590A (zh) * 2019-07-24 2019-11-05 重庆大学 基于智能移动设备和卷积神经网络的人体活动识别方法
CN111079547A (zh) * 2019-11-22 2020-04-28 武汉大学 一种基于手机惯性传感器的行人移动方向识别方法
CN111079547B (zh) * 2019-11-22 2022-07-19 武汉大学 一种基于手机惯性传感器的行人移动方向识别方法
CN111291865B (zh) * 2020-01-21 2021-12-10 北京工商大学 一种基于卷积神经网络和孤立森林的步态识别方法
CN111291865A (zh) * 2020-01-21 2020-06-16 北京工商大学 一种基于卷积神经网络和孤立森林的步态识别方法
CN111753683A (zh) * 2020-06-11 2020-10-09 南京师范大学 一种基于多专家卷积神经网络的人体姿态识别方法
CN111860188A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于时间和通道双注意力的人体姿态识别方法
CN111860191A (zh) * 2020-06-24 2020-10-30 南京师范大学 一种基于信道选择卷积神经网络的人体姿态识别方法
CN112932469A (zh) * 2021-01-26 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于CNN+Transformer的三轴加速度活动识别方法
CN113903068A (zh) * 2021-10-19 2022-01-07 深圳市中博科创信息技术有限公司 基于人脸特征的陌生人监控方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108345846A (zh) 一种基于卷积神经网络的人体行为识别方法及识别系统
Quaid et al. Wearable sensors based human behavioral pattern recognition using statistical features and reweighted genetic algorithm
Gao et al. Deep neural networks for sensor-based human activity recognition using selective kernel convolution
CN107153871B (zh) 基于卷积神经网络和手机传感器数据的跌倒检测方法
Zhu et al. Efficient human activity recognition solving the confusing activities via deep ensemble learning
CN110532996A (zh) 视频分类的方法、信息处理的方法以及服务器
Villanueva et al. Bitter melon crop yield prediction using machine learning algorithm
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
CN110610158A (zh) 一种基于卷积和门控循环神经网络的人体姿态识别方法及系统
Shojaedini et al. Mobile sensor based human activity recognition: distinguishing of challenging activities by applying long short-term memory deep learning modified by residual network concept
CN111723662A (zh) 一种基于卷积神经网络的人体姿态识别方法
Zheng et al. An efficient mobile model for insect image classification in the field pest management
Zhongkai et al. A comparative study: Toward an effective convolutional neural network architecture for sensor-based human activity recognition
Apolloni et al. Training a network of mobile neurons
CN109711324A (zh) 基于傅里叶变换和卷积神经网络的人体姿态识别方法
Wen et al. MapReduce-based BP neural network classification of aquaculture water quality
Shi et al. Sensor‐based activity recognition independent of device placement and orientation
Walse et al. A study on the effect of adaptive boosting on performance of classifiers for human activity recognition
CN112370058A (zh) 一种基于移动端对用户的情感进行识别与监测方法
Shanmugavadivu Bio-optimization of deep learning network architectures
Koskimäki et al. Adaptive model fusion for wearable sensors based human activity recognition
Dhammi et al. Classification of human activities using data captured through a smartphone using deep learning techniques
Kilinc et al. Inertia based recognition of daily activities with anns and spectrotemporal features
CN112801283B (zh) 一种神经网络模型、动作识别方法、装置及存储介质
Pechuho et al. Cotton crop disease detection using machine learning via tensorflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180731